美女视频黄的大全免费视_一级婬片a级中文字幕_国can中文字幕日韩_亚洲色无码专区在线播放

hjc黃金城官網(wǎng)登錄入口



無需標(biāo)注數(shù)據(jù) hjc黃金城官網(wǎng)登錄入口科技及聯(lián)合研究團(tuán)隊提出一種視覺模型自監(jiān)督學(xué)習(xí)方法

2023-06-27
back

游戲《光環(huán)》中的

人工智能科塔娜說過一句話,

“我是他的盾牌,我是他的利刃;我深知他,連同他的過去和未來”。

作為“六感”之首的視覺,占據(jù)了人類吸收外部信息的70%以上。如果說人工智能的遠(yuǎn)景是打造一個具有大腦、神經(jīng)、軀干與四肢的機(jī)器人,那么,硬件基礎(chǔ)是軀干、四肢,更重要的是,要使得機(jī)器人能看會想,能聽會說,就要搭建神經(jīng)和大腦。


訓(xùn)練視覺模型的目標(biāo)是教會AI看見和理解現(xiàn)實世界,其中,點云視頻理解對于智能體與世界的交互至關(guān)重要。

近日,國際計算機(jī)視覺頂會CVPR 2023在加拿大溫哥華舉行。作為國際計算機(jī)視覺與模式識別領(lǐng)域的三大頂級會議之一,CVPR備受關(guān)注。hjc黃金城官網(wǎng)登錄入口科技及聯(lián)合研究團(tuán)隊的論文《PointCMP: Contrastive Mask Prediction for Self-supervised Learning on Point Cloud Videos》(基于掩碼預(yù)測的點云視頻自監(jiān)督學(xué)習(xí))成功入選。


01

簡介

從靜態(tài)點云中解析現(xiàn)實世界已經(jīng)取得了巨大的成就。最近,對點云視頻的理解也越來越受關(guān)注。與此同時,自監(jiān)督學(xué)習(xí)可以從未標(biāo)注的數(shù)據(jù)中提取高質(zhì)量的表征,這將為標(biāo)注成本高昂的點云視頻理解任務(wù)帶來幫助。
因此,hjc黃金城官網(wǎng)登錄入口探索了以自監(jiān)督的方式從點云視頻中學(xué)習(xí)表征的方法。盡管基于對比學(xué)習(xí)和掩碼預(yù)測的自監(jiān)督學(xué)習(xí)范式已經(jīng)在圖像和靜態(tài)點云領(lǐng)域顯示出了強(qiáng)大的有效性,但是將這些方法直接擴(kuò)展到點云視頻上仍存在諸多挑戰(zhàn)。

在本文中,hjc黃金城官網(wǎng)登錄入口提出了PointCMP,一種用于點云視頻自監(jiān)督學(xué)習(xí)的對比掩碼預(yù)測框架。PointCMP采用雙分支結(jié)構(gòu),同步學(xué)習(xí)點云視頻的局部和全局時空信息。在此之上,hjc黃金城官網(wǎng)登錄入口提出了一個基于互相似度的增強(qiáng)?,以實現(xiàn)基于特征的樣本生成。
通過計算各局部表征與該樣本全局語義之間的相似度,hjc黃金城官網(wǎng)登錄入口可以找到那些與語義高度相關(guān)的關(guān)鍵部分。將這些關(guān)鍵部分掩蔽可以提升自監(jiān)督預(yù)測任務(wù)的挑戰(zhàn)性,以促使模型學(xué)習(xí)更有效的表征。與此同時,hjc黃金城官網(wǎng)登錄入口也嘗試擦除關(guān)鍵的特征通道,從而針對性的生成難負(fù)例用于全局對比學(xué)習(xí)。


02

方法

hjc黃金城官網(wǎng)登錄入口的PointCMP架構(gòu)如圖1所示。給定一個點云視頻,首先將其均勻地分成多個視頻片段。然后,將這些片段送入編碼器得到局部Token以及具有全局語義的全局Token。接下來,將它們傳遞給基于互相似度的增強(qiáng)?。


圖1 PointCMP的架構(gòu)示意圖


從直覺上來說,當(dāng)與全局Token具有較高相似度的局部Token可見時,預(yù)測任務(wù)會變得更容易。因此,hjc黃金城官網(wǎng)登錄入口掩蔽掉這些具有高相似度的局部Token以生成有難度的掩碼樣本。hjc黃金城官網(wǎng)登錄入口選擇相似度高的Token作為關(guān)鍵Token。各局部Token所覆蓋的點云通常有重疊,而視頻片段之間有一定的信息隔離。
因此,hjc黃金城官網(wǎng)登錄入口選擇包含最多個關(guān)鍵Token的視頻片段,并將此片段下聚合而成的所有局部Token都掩蔽掉。此外,hjc黃金城官網(wǎng)登錄入口將具有高相關(guān)度的特征通道視為主通道,并將它們擦除以生成難負(fù)樣本。直觀上來說,擦除掉這些重要的主成分特征后勢必會與原始樣本形成一個負(fù)樣本對。

hjc黃金城官網(wǎng)登錄入口將帶有掩碼的Token序列與位置編碼相加后輸給一個回歸器,來預(yù)測被掩碼處的表征。被預(yù)測的表征與編碼器得到的相對應(yīng)的原始表征組成正樣本對,而與其余的組成負(fù)樣本對。hjc黃金城官網(wǎng)登錄入口使用InfoNCE損失來完成此局部對比學(xué)習(xí)分支。

與此同時,hjc黃金城官網(wǎng)登錄入口還為樣本的全局表征構(gòu)建了全局對比學(xué)習(xí)分支。由回歸器重新補全的Token序列經(jīng)過池化層得到新的全局表征,并與原始全局表征構(gòu)成正樣本對。
擦除主特征通道后的Token序列經(jīng)過池化層得到全局難負(fù)例。并且,同一批次內(nèi)的其他視頻的全局表征也作為當(dāng)前樣本的負(fù)樣本。hjc黃金城官網(wǎng)登錄入口同樣使用InfoNCE損失來完成此全局對比學(xué)習(xí)分支。


03

實驗

首先,hjc黃金城官網(wǎng)登錄入口對預(yù)訓(xùn)練后的編碼器進(jìn)行微調(diào),來評估PointCMP學(xué)習(xí)到的表征。hjc黃金城官網(wǎng)登錄入口將MSRAction-3D數(shù)據(jù)集同時用于預(yù)訓(xùn)練和端到端微調(diào)。當(dāng)使用PSTNet作為編碼器時,相對于基線,PointCMP預(yù)訓(xùn)練帶來了顯著的精度改進(jìn)。

表1 MSRAction-3D數(shù)據(jù)集上的驗證結(jié)果

如表1所示,在使用8 幀時,行為識別的精度從83.50%提高到89.56%。這表明,PointCMP預(yù)訓(xùn)練可以以自監(jiān)督的方式從點云視頻中學(xué)習(xí)到有益的知識,這有助于在微調(diào)后獲得更高的精度。


然后,hjc黃金城官網(wǎng)登錄入口通過線性實驗來驗證PointCMP預(yù)訓(xùn)練所學(xué)到的表征的有效性。同樣的,MSRAction-3D數(shù)據(jù)集被用于預(yù)訓(xùn)練和線性測試。預(yù)訓(xùn)練的編碼器被凍結(jié),并添加一個額外的線性分類器用于監(jiān)督訓(xùn)練。hjc黃金城官網(wǎng)登錄入口的方法在大多數(shù)幀數(shù)設(shè)置下都超過了基線。這證明了PointCMP預(yù)訓(xùn)練讓模型學(xué)習(xí)到了高質(zhì)量的表征。



表2 NTU-RGBD (Cross-Subject) 數(shù)據(jù)集上的驗證結(jié)果

此外,hjc黃金城官網(wǎng)登錄入口還在NTU-RGBD數(shù)據(jù)集上做了半監(jiān)督實驗,即在自監(jiān)督預(yù)訓(xùn)練后用一部分有標(biāo)注的數(shù)據(jù)微調(diào)模型。從表2的結(jié)果來看,當(dāng)hjc黃金城官網(wǎng)登錄入口使用PSTNet作為編碼器時,只用50%的標(biāo)注數(shù)據(jù)微調(diào)模型就可以接近全監(jiān)督的基線精度。這表明PointCMP預(yù)訓(xùn)練可以在無標(biāo)注數(shù)據(jù)中挖掘數(shù)據(jù)自身所蘊含的知識,這不僅可以節(jié)約人力成本還可以將預(yù)訓(xùn)練模型作為初始化從而進(jìn)一步提升模型的性能。


圖2 高相似度局部Token及其鄰域點(綠色)的可視化結(jié)果


hjc黃金城官網(wǎng)登錄入口在圖2中進(jìn)一步可視化了與全局Token具有高度相似性的關(guān)鍵局部Token及其鄰域點。正如hjc黃金城官網(wǎng)登錄入口所看到的,與運動的關(guān)鍵身體部位相對應(yīng)的點被突出顯示。這與hjc黃金城官網(wǎng)登錄入口的直覺是一致的。通過掩蔽這些關(guān)鍵區(qū)域,鼓勵編碼器利用更多上下文進(jìn)行掩碼預(yù)測,以此學(xué)習(xí)更高質(zhì)量的表征。


總結(jié)展望

自監(jiān)督學(xué)習(xí)的優(yōu)勢主要是利用輔助任務(wù)從無標(biāo)注數(shù)據(jù)中挖掘自身的監(jiān)督信息。相比于利用特定任務(wù)的標(biāo)注作為監(jiān)督信息訓(xùn)練,這不僅可以節(jié)省標(biāo)注成本,還可以使模型學(xué)習(xí)到更泛化的知識和對多種下游任務(wù)有價值的表征。在數(shù)據(jù)為王的時代,此特點也使得大家充分相信自監(jiān)督學(xué)習(xí)才是人工智能的發(fā)展方向。

另一方面,點云視頻含有豐富的動態(tài)視覺信息,可以幫助智能體充分了解這個實時變化的3D世界。且相比于傳統(tǒng)視頻以紋理信息為主,點云視頻涵蓋更精確的幾何信息和位置坐標(biāo)。
所以,點云視頻可以為低能見度環(huán)境中的動作識別等任務(wù)提供保障。由此可見,點云視頻理解對于人工智能系統(tǒng)與世界交互非常重要。在海量數(shù)據(jù)之上,借助自監(jiān)督技術(shù)推動點云視頻理解,也許會幫助hjc黃金城官網(wǎng)登錄入口打造一個能想會說、能聽會看的AI。

您可能感興趣

全國熱線電話

400-151-5992

周一到周五9:30-18:00(北京時間)

  • 商務(wù)合作:business@zzhzqx.com

  • 媒體合作:Media@zzhzqx.com

  • 渠道合作:business_partner@zzhzqx.com

  • 人才招聘:zhaopin@zzhzqx.com

數(shù)字中國 · 產(chǎn)業(yè)發(fā)展 · 個人精靈

Copyright?2026 粵公網(wǎng)安備 44011502001099號

粵ICP備15087156號 hjc黃金城官網(wǎng)登錄入口科技集團(tuán)股份有限公司

使用條款/法律聲明/防詐騙聲明
關(guān)注hjc黃金城官網(wǎng)登錄入口

掃描二維碼,關(guān)注hjc黃金城官網(wǎng)登錄入口科技
精彩一手掌握



【網(wǎng)站地圖】【sitemap】

留言咨詢

請?zhí)顚懸韵卤砀?,hjc黃金城官網(wǎng)登錄入口的銷售代表會盡快與您聯(lián)系

  • 姓名 *
  • 工作郵箱
  • 電話 *
  • 城市 *
  • 公司名稱 *
  • 行業(yè)
  • 職位
  • 產(chǎn)品/解決方案
    AI定義設(shè)備
    場景定義設(shè)備
    機(jī)場專用產(chǎn)品
    刷臉支付終端
    活體模組
    智慧金融
    智慧治理
    智慧交通
    智慧商業(yè)
  • 預(yù)算
  • 請輸入需求描述 *

提交成功

hjc黃金城官網(wǎng)登錄入口的銷售代表會盡快與您聯(lián)系