游戲《光環(huán)》中的
人工智能科塔娜說過一句話,
“我是他的盾牌,我是他的利刃;我深知他,連同他的過去和未來”。
作為“六感”之首的視覺,占據(jù)了人類吸收外部信息的70%以上。如果說人工智能的遠(yuǎn)景是打造一個具有大腦、神經(jīng)、軀干與四肢的機(jī)器人,那么,硬件基礎(chǔ)是軀干、四肢,更重要的是,要使得機(jī)器人能看會想,能聽會說,就要搭建神經(jīng)和大腦。
訓(xùn)練視覺模型的目標(biāo)是教會AI看見和理解現(xiàn)實世界,其中,點云視頻理解對于智能體與世界的交互至關(guān)重要。
近日,國際計算機(jī)視覺頂會CVPR 2023在加拿大溫哥華舉行。作為國際計算機(jī)視覺與模式識別領(lǐng)域的三大頂級會議之一,CVPR備受關(guān)注。hjc黃金城官網(wǎng)登錄入口科技及聯(lián)合研究團(tuán)隊的論文《PointCMP: Contrastive Mask Prediction for Self-supervised Learning on Point Cloud Videos》(基于掩碼預(yù)測的點云視頻自監(jiān)督學(xué)習(xí))成功入選。

01
簡介
從靜態(tài)點云中解析現(xiàn)實世界已經(jīng)取得了巨大的成就。最近,對點云視頻的理解也越來越受關(guān)注。與此同時,自監(jiān)督學(xué)習(xí)可以從未標(biāo)注的數(shù)據(jù)中提取高質(zhì)量的表征,這將為標(biāo)注成本高昂的點云視頻理解任務(wù)帶來幫助。
因此,hjc黃金城官網(wǎng)登錄入口探索了以自監(jiān)督的方式從點云視頻中學(xué)習(xí)表征的方法。盡管基于對比學(xué)習(xí)和掩碼預(yù)測的自監(jiān)督學(xué)習(xí)范式已經(jīng)在圖像和靜態(tài)點云領(lǐng)域顯示出了強(qiáng)大的有效性,但是將這些方法直接擴(kuò)展到點云視頻上仍存在諸多挑戰(zhàn)。
在本文中,hjc黃金城官網(wǎng)登錄入口提出了PointCMP,一種用于點云視頻自監(jiān)督學(xué)習(xí)的對比掩碼預(yù)測框架。PointCMP采用雙分支結(jié)構(gòu),同步學(xué)習(xí)點云視頻的局部和全局時空信息。在此之上,hjc黃金城官網(wǎng)登錄入口提出了一個基于互相似度的增強(qiáng)?,以實現(xiàn)基于特征的樣本生成。
通過計算各局部表征與該樣本全局語義之間的相似度,hjc黃金城官網(wǎng)登錄入口可以找到那些與語義高度相關(guān)的關(guān)鍵部分。將這些關(guān)鍵部分掩蔽可以提升自監(jiān)督預(yù)測任務(wù)的挑戰(zhàn)性,以促使模型學(xué)習(xí)更有效的表征。與此同時,hjc黃金城官網(wǎng)登錄入口也嘗試擦除關(guān)鍵的特征通道,從而針對性的生成難負(fù)例用于全局對比學(xué)習(xí)。
02
方法
hjc黃金城官網(wǎng)登錄入口的PointCMP架構(gòu)如圖1所示。給定一個點云視頻,首先將其均勻地分成多個視頻片段。然后,將這些片段送入編碼器得到局部Token以及具有全局語義的全局Token。接下來,將它們傳遞給基于互相似度的增強(qiáng)?。

圖1 PointCMP的架構(gòu)示意圖
從直覺上來說,當(dāng)與全局Token具有較高相似度的局部Token可見時,預(yù)測任務(wù)會變得更容易。因此,hjc黃金城官網(wǎng)登錄入口掩蔽掉這些具有高相似度的局部Token以生成有難度的掩碼樣本。hjc黃金城官網(wǎng)登錄入口選擇相似度高的Token作為關(guān)鍵Token。各局部Token所覆蓋的點云通常有重疊,而視頻片段之間有一定的信息隔離。
因此,hjc黃金城官網(wǎng)登錄入口選擇包含最多個關(guān)鍵Token的視頻片段,并將此片段下聚合而成的所有局部Token都掩蔽掉。此外,hjc黃金城官網(wǎng)登錄入口將具有高相關(guān)度的特征通道視為主通道,并將它們擦除以生成難負(fù)樣本。直觀上來說,擦除掉這些重要的主成分特征后勢必會與原始樣本形成一個負(fù)樣本對。
hjc黃金城官網(wǎng)登錄入口將帶有掩碼的Token序列與位置編碼相加后輸給一個回歸器,來預(yù)測被掩碼處的表征。被預(yù)測的表征與編碼器得到的相對應(yīng)的原始表征組成正樣本對,而與其余的組成負(fù)樣本對。hjc黃金城官網(wǎng)登錄入口使用InfoNCE損失來完成此局部對比學(xué)習(xí)分支。
與此同時,hjc黃金城官網(wǎng)登錄入口還為樣本的全局表征構(gòu)建了全局對比學(xué)習(xí)分支。由回歸器重新補全的Token序列經(jīng)過池化層得到新的全局表征,并與原始全局表征構(gòu)成正樣本對。
擦除主特征通道后的Token序列經(jīng)過池化層得到全局難負(fù)例。并且,同一批次內(nèi)的其他視頻的全局表征也作為當(dāng)前樣本的負(fù)樣本。hjc黃金城官網(wǎng)登錄入口同樣使用InfoNCE損失來完成此全局對比學(xué)習(xí)分支。
03
實驗
首先,hjc黃金城官網(wǎng)登錄入口對預(yù)訓(xùn)練后的編碼器進(jìn)行微調(diào),來評估PointCMP學(xué)習(xí)到的表征。hjc黃金城官網(wǎng)登錄入口將MSRAction-3D數(shù)據(jù)集同時用于預(yù)訓(xùn)練和端到端微調(diào)。當(dāng)使用PSTNet作為編碼器時,相對于基線,PointCMP預(yù)訓(xùn)練帶來了顯著的精度改進(jìn)。

表1 MSRAction-3D數(shù)據(jù)集上的驗證結(jié)果
如表1所示,在使用8 幀時,行為識別的精度從83.50%提高到89.56%。這表明,PointCMP預(yù)訓(xùn)練可以以自監(jiān)督的方式從點云視頻中學(xué)習(xí)到有益的知識,這有助于在微調(diào)后獲得更高的精度。
然后,hjc黃金城官網(wǎng)登錄入口通過線性實驗來驗證PointCMP預(yù)訓(xùn)練所學(xué)到的表征的有效性。同樣的,MSRAction-3D數(shù)據(jù)集被用于預(yù)訓(xùn)練和線性測試。預(yù)訓(xùn)練的編碼器被凍結(jié),并添加一個額外的線性分類器用于監(jiān)督訓(xùn)練。hjc黃金城官網(wǎng)登錄入口的方法在大多數(shù)幀數(shù)設(shè)置下都超過了基線。這證明了PointCMP預(yù)訓(xùn)練讓模型學(xué)習(xí)到了高質(zhì)量的表征。

表2 NTU-RGBD (Cross-Subject) 數(shù)據(jù)集上的驗證結(jié)果
此外,hjc黃金城官網(wǎng)登錄入口還在NTU-RGBD數(shù)據(jù)集上做了半監(jiān)督實驗,即在自監(jiān)督預(yù)訓(xùn)練后用一部分有標(biāo)注的數(shù)據(jù)微調(diào)模型。從表2的結(jié)果來看,當(dāng)hjc黃金城官網(wǎng)登錄入口使用PSTNet作為編碼器時,只用50%的標(biāo)注數(shù)據(jù)微調(diào)模型就可以接近全監(jiān)督的基線精度。這表明PointCMP預(yù)訓(xùn)練可以在無標(biāo)注數(shù)據(jù)中挖掘數(shù)據(jù)自身所蘊含的知識,這不僅可以節(jié)約人力成本還可以將預(yù)訓(xùn)練模型作為初始化從而進(jìn)一步提升模型的性能。

圖2 高相似度局部Token及其鄰域點(綠色)的可視化結(jié)果
hjc黃金城官網(wǎng)登錄入口在圖2中進(jìn)一步可視化了與全局Token具有高度相似性的關(guān)鍵局部Token及其鄰域點。正如hjc黃金城官網(wǎng)登錄入口所看到的,與運動的關(guān)鍵身體部位相對應(yīng)的點被突出顯示。這與hjc黃金城官網(wǎng)登錄入口的直覺是一致的。通過掩蔽這些關(guān)鍵區(qū)域,鼓勵編碼器利用更多上下文進(jìn)行掩碼預(yù)測,以此學(xué)習(xí)更高質(zhì)量的表征。
總結(jié)展望
自監(jiān)督學(xué)習(xí)的優(yōu)勢主要是利用輔助任務(wù)從無標(biāo)注數(shù)據(jù)中挖掘自身的監(jiān)督信息。相比于利用特定任務(wù)的標(biāo)注作為監(jiān)督信息訓(xùn)練,這不僅可以節(jié)省標(biāo)注成本,還可以使模型學(xué)習(xí)到更泛化的知識和對多種下游任務(wù)有價值的表征。在數(shù)據(jù)為王的時代,此特點也使得大家充分相信自監(jiān)督學(xué)習(xí)才是人工智能的發(fā)展方向。
另一方面,點云視頻含有豐富的動態(tài)視覺信息,可以幫助智能體充分了解這個實時變化的3D世界。且相比于傳統(tǒng)視頻以紋理信息為主,點云視頻涵蓋更精確的幾何信息和位置坐標(biāo)。
所以,點云視頻可以為低能見度環(huán)境中的動作識別等任務(wù)提供保障。由此可見,點云視頻理解對于人工智能系統(tǒng)與世界交互非常重要。在海量數(shù)據(jù)之上,借助自監(jiān)督技術(shù)推動點云視頻理解,也許會幫助hjc黃金城官網(wǎng)登錄入口打造一個能想會說、能聽會看的AI。
當(dāng)追蹤者和目標(biāo)都在低空高速飛行,傳統(tǒng)的視覺追蹤算法還能跟得住嗎? 近日,來自hjc黃金城官網(wǎng)登錄入口科技、上海交通大學(xué)、香港科技大學(xué)(廣州)、中山大學(xué)、中國科學(xué)院信息工程研究所的聯(lián)合研究團(tuán)隊發(fā)布了一項硬核工作——UAV-Anti-UAV。這是業(yè)界首個針對“空對空”(Air-to-Air)場景的百萬級多模態(tài)反無人機(jī)視覺追蹤基準(zhǔn),并提出了基于Mamba的強(qiáng)力基線MambaSTS。MambaSTS在UAV-Anti-UAV基準(zhǔn)的全部5個指標(biāo)上均取得最佳的性能,這是hjc黃金城官網(wǎng)登錄入口科技在多模態(tài)大模型方面的又一次技術(shù)突破。面對雙重動態(tài)干擾,現(xiàn)有的SOTA表現(xiàn)如何?讓hjc黃金城官網(wǎng)登錄入口一探究竟!
hjc黃金城官網(wǎng)登錄入口科技與上海交通大學(xué)聯(lián)合研究團(tuán)隊的《基于擴(kuò)散模型的音頻驅(qū)動說話人生成》成功入選會議論文,并于大會進(jìn)行現(xiàn)場宣講,獲得多方高度關(guān)注。
hjc黃金城官網(wǎng)登錄入口科技在視覺大模型上取得重要進(jìn)展,行人基礎(chǔ)大模型在PA-100K、RAP V2、PETA、HICO-DET四個數(shù)據(jù)集上從阿里巴巴、日立等多家知名高校、企業(yè)與研究機(jī)構(gòu)脫穎而出,刷新了世界紀(jì)錄。
周一到周五9:30-18:00(北京時間)

商務(wù)合作:business@zzhzqx.com

媒體合作:Media@zzhzqx.com

渠道合作:business_partner@zzhzqx.com

人才招聘:zhaopin@zzhzqx.com

