摒棄深度與生成式特征依賴，突破低特征目標(biāo)跟蹤難題：中科君達(dá)視界研發(fā)的基于空間聚類的MOT技術(shù)

   1、技術(shù)背景

   多目標(biāo)運(yùn)動(dòng)跟蹤（Multi-Object Tracking,MOT）是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向。任務(wù)在于連續(xù)視頻幀中同時(shí)檢測(cè)并關(guān)聯(lián)多個(gè)運(yùn)動(dòng)目標(biāo)，輸出每個(gè)目標(biāo)的唯一身份ID及隨時(shí)間變化的軌跡，挑戰(zhàn)在于解決“檢測(cè)-關(guān)聯(lián)”的閉環(huán)問題。

   實(shí)際應(yīng)用中常發(fā)生于低特征環(huán)境下，如目標(biāo)同質(zhì)化、紋理缺失、光照不足、目標(biāo)遮擋等，MOT方法面臨檢測(cè)失效痛點(diǎn)，且無(wú)法關(guān)聯(lián)并重建軌跡。

   為解決痛點(diǎn)，近年來(lái)視覺測(cè)量工程師們對(duì)傳統(tǒng)MOT方法不斷進(jìn)行優(yōu)化改進(jìn)：路徑一基于深度學(xué)習(xí)特征增強(qiáng)MOT，核心引入深度神經(jīng)網(wǎng)絡(luò)自動(dòng)提取目標(biāo)的深度特征，并通過結(jié)合長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型對(duì)目標(biāo)的運(yùn)動(dòng)軌跡和外觀特征進(jìn)行聯(lián)合建模實(shí)現(xiàn)多目標(biāo)跟蹤，優(yōu)勢(shì)在于自動(dòng)處理大量數(shù)據(jù)并學(xué)習(xí)有用特征，可處理部分低特征場(chǎng)景下的多目標(biāo)跟蹤任務(wù)，但模型泛化能力有限，當(dāng)訓(xùn)練樣本與實(shí)際應(yīng)用場(chǎng)景存在差異時(shí)，無(wú)法有效檢測(cè)。

   路徑二生成式特征增強(qiáng)MOT， 核心引入生成式模型增強(qiáng)檢測(cè)目標(biāo)的視覺特征，如生成與實(shí)際目標(biāo)相似但具有不同視角、光照條件的新圖像，結(jié)合生成特征與原始特征，用于后續(xù)目標(biāo)匹配與軌跡關(guān)聯(lián)。該方法一定程度上解決低特征環(huán)境下多目標(biāo)跟蹤難題，但面臨計(jì)算成本高、對(duì)生成模型質(zhì)量敏感以及實(shí)時(shí)性困局。

   2、技術(shù)路徑

   千眼狼算法工程師們，基于檢測(cè)目標(biāo)的“三維運(yùn)動(dòng)連續(xù)性”較“二維外觀差異”更具不變性的理論前提，結(jié)合高速攝像技術(shù)，研發(fā)一種“基于空間聚類的低特征場(chǎng)景MOT”技術(shù)，通過“幾何重建→時(shí)空聚類→物理驗(yàn)證→軌跡糾錯(cuò)”四大技術(shù)步驟，從數(shù)據(jù)源頭解決特征缺失，規(guī)避“深度學(xué)習(xí)特征增強(qiáng)MOT”和“生成特征增強(qiáng)MOT”對(duì)特征的依賴，且空間聚類和投影操作計(jì)算輕量，可保障計(jì)算效率與實(shí)時(shí)性，實(shí)現(xiàn)低特征場(chǎng)景下的檢測(cè)-關(guān)聯(lián)完美閉環(huán)。

   3、關(guān)鍵突破

   千眼狼圍繞檢測(cè)路徑與關(guān)聯(lián)路徑，實(shí)現(xiàn)四大關(guān)鍵技術(shù)環(huán)節(jié)突破：

   ·幾何重建：基于極線約束的雙視角匹配與三維重建，即利用左右高速攝像機(jī)的內(nèi)參與外參計(jì)算基礎(chǔ)矩陣F，并通過極線幾何約束篩選匹配點(diǎn)對(duì)，最終使用雙目幾何三角化重建得到3D點(diǎn)云，包含噪聲和離群點(diǎn)。

   · 時(shí)空聚類：追蹤多幀圖像中的三維點(diǎn)位置構(gòu)建三維軌跡，再按空間一致性與幀時(shí)間連續(xù)性對(duì)三維點(diǎn)進(jìn)行分簇，合并距離接近、變化趨勢(shì)一致的點(diǎn)形成連續(xù)軌跡，刪除連續(xù)幀中出現(xiàn)次數(shù)小于閾值的“短軌跡”，以剔除不穩(wěn)定或偶然出現(xiàn)的噪聲點(diǎn)，得到初步篩選后的有效三維軌跡集合。

   · 物理驗(yàn)證：將三維軌跡重投影到左右高速攝像機(jī)圖像平面，對(duì)比左右圖像上的投影軌跡，去除重復(fù)匹配的軌跡。

   · 軌跡糾錯(cuò)與重連：通過對(duì)軌跡進(jìn)行三維二次曲線擬合，并計(jì)算實(shí)際軌跡點(diǎn)到擬合曲線的誤差，標(biāo)記超出誤差閾值的異常區(qū)間，斷開異常軌跡段，再依據(jù)軌跡分段的空間位置和時(shí)間連續(xù)性計(jì)算相似度，對(duì)滿足條件的軌跡段進(jìn)行重連并平滑處理，恢復(fù)完整連續(xù)軌跡。

   4、案例驗(yàn)證

   在一項(xiàng)針對(duì)數(shù)百個(gè)快速移動(dòng)黑色小球進(jìn)行拋落實(shí)驗(yàn)追蹤驗(yàn)證中，由于黑色小球表面顏色單一缺乏明顯紋理特征，屬于典型低特征場(chǎng)景，通過空間聚類MOT的幾何重建技術(shù)，獲取了黑色小球準(zhǔn)確的位置信息，利用2D投影剔除一對(duì)多誤匹配方法，提高了軌跡的唯一性和準(zhǔn)確性，再進(jìn)一步通過對(duì)軌跡進(jìn)行擬合分析識(shí)別并修正錯(cuò)誤軌跡連接，增強(qiáng)跟蹤結(jié)果的穩(wěn)定性和可靠性。

   5、結(jié)語(yǔ)

   千眼狼“基于空間聚類的MOT技術(shù)”通過結(jié)合雙視角匹配與三維重建，有效解決了低特征環(huán)境下的目標(biāo)跟蹤難題，利用極線約束篩選匹配點(diǎn)對(duì)，通過三維重建獲取準(zhǔn)確位置信息，采用空間聚類方法優(yōu)化軌跡，減少了誤匹配和軌跡斷裂問題，具有較強(qiáng)的抗噪能力和軌跡糾錯(cuò)機(jī)制，顯著提升了跟蹤精度和穩(wěn)定性。中科君達(dá)視界工程師們將通過算法優(yōu)化提高實(shí)時(shí)性，進(jìn)一步提升低特征場(chǎng)景下高速運(yùn)動(dòng)目標(biāo)跟蹤檢測(cè)與關(guān)聯(lián)效率。