日韩欧美精品三级,激情婷婷亚洲,日韩午夜一区,夜夜夜精品看看

近日，中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所仿生視覺系統(tǒng)實驗室李嘉茂研究員團隊在視覺人體姿態(tài)估計領(lǐng)域取得了重要進展。團隊圍繞2D及3D人體姿態(tài)估計這兩個緊密關(guān)聯(lián)的任務(wù)，分別提出了創(chuàng)新方法，兩項成果被計算機視覺與模式識別中國科學(xué)院一區(qū)期刊IEEE Transactions on Circuits and Systems for Video Technology (TCSVT,IF=11.1) 和IEEE Transactions on Multimedia(TMM,IF=9.7)錄用，論文題目分別為“Hierarchical Contrastive Consistency for Human Pose Estimation in Images and Videos”與“MMCPose: Multimodal Condition-Driven 3D Human Pose Estimation via Diffusion Models”。

HICCON: 基于層次化對比一致性約束的2D人體姿態(tài)估計方法

2D人體姿態(tài)估計是一項面向人體對象的基礎(chǔ)視覺感知任務(wù)，旨在通過圖像或視頻精準(zhǔn)定位人體姿態(tài)關(guān)鍵點位置，為理解人體運動和行為提供結(jié)構(gòu)化數(shù)據(jù)。然而，現(xiàn)有方法在復(fù)雜場景下難以兼顧空間定位準(zhǔn)確性與時間運動連貫性，尤其在視頻中如何保持姿態(tài)估計的穩(wěn)定性是一大挑戰(zhàn)。

為此，團隊提出了一個高效的層次化對比一致性約束（HICCON），能夠靈活嵌入多種姿態(tài)估計模型中，提升2D姿態(tài)估計性能。該方法在空間域上建模關(guān)鍵點與身體部件之間的關(guān)系，在時間域上捕捉幀與片段之間的運動模式。HICCON分別從空間與時間兩個維度提取多層次特征——包括關(guān)鍵點級、部件關(guān)系級、實例級和片段級等不同粒度，并施加對比學(xué)習(xí)約束，增強模型對復(fù)雜姿態(tài)的判別能力。實驗表明，在主流視頻姿態(tài)數(shù)據(jù)集PoseTrack上，結(jié)合HICCON的多個模型均顯著超過基準(zhǔn)性能。本方法也表明了對比學(xué)習(xí)機制在人體視覺表征建模中的應(yīng)用潛力和重要作用。

HICCON在PoseTrack數(shù)據(jù)集上相較于基準(zhǔn)方法實現(xiàn)顯著提升

MMCPose:多模態(tài)條件驅(qū)動擴散生成的3D人體姿態(tài)估計方法

在獲得2D人體關(guān)鍵點基礎(chǔ)上，3D人體姿態(tài)估計致力于恢復(fù)人體關(guān)鍵點在三維空間中的位置，這一技術(shù)在虛擬現(xiàn)實、運動分析、人機交互等領(lǐng)域有著廣泛應(yīng)用。然而，這一過程面臨“深度模糊”等固有挑戰(zhàn)，即同一組2D關(guān)鍵點可能對應(yīng)多個合理的3D姿態(tài)。當(dāng)前基于擴散生成式框架的方法雖然一定程度上緩解了這一問題，但由于模型缺乏對人體外觀輪廓、語義理解等方面的認(rèn)識，導(dǎo)致在預(yù)測中仍會生成不合理的姿態(tài)，這一問題在遮擋嚴(yán)重或人群密集等復(fù)雜場景下尤為突出。

為解決上述問題，團隊提出了MMCPose模型，創(chuàng)新地將多模態(tài)人體先驗作為條件信號，引導(dǎo)擴散過程生成合理且準(zhǔn)確的3D姿態(tài)。模型融合了三類結(jié)構(gòu)化信息：人體關(guān)節(jié)拓?fù)潢P(guān)系、基于自然語言的部件描述、以及提升姿態(tài)關(guān)注度的人體掩碼。為了更好地發(fā)揮多模態(tài)條件的引導(dǎo)作用，還設(shè)計了一個多模態(tài)表征-姿態(tài)交互機制，實現(xiàn)引導(dǎo)信號與生成過程之間的深度交互，從而提升模型在姿態(tài)建模上的感知能力與生成質(zhì)量。在Human3.6M和MPI-INF-3DHP等基準(zhǔn)集上的測試表明，MMCPose取得了領(lǐng)先性能，特別是在Human3.6M上將平均誤差降至30.8毫米。本方法也說明了多模態(tài)引導(dǎo)以及人體先驗知識對于解決三維人體視覺感知任務(wù)的關(guān)鍵作用。

在Human3.6M數(shù)據(jù)集上MMCPose達(dá)到了最優(yōu)性能

上述兩項研究成果均得到了科技創(chuàng)新2030重大項目、上海市自然科學(xué)基金、上海市優(yōu)秀學(xué)術(shù)帶頭人項目支持，上海微系統(tǒng)所仿生視覺系統(tǒng)實驗室博士后徐稀俠為論文第一作者，實驗室主任李嘉茂研究員為通訊作者。