前沿技術(shù)飛速發(fā)展，創(chuàng)新應(yīng)用模式層出不窮，為教育、科研的數(shù)字化轉(zhuǎn)型與突破打下了堅實基礎(chǔ)。

清華大學(xué)軟件學(xué)院副教授、博士生導(dǎo)師、中國人工智能學(xué)會副秘書長徐楓親自率隊，借助諾亦騰慣性動捕系統(tǒng)，完成一系列人體全身動捕研究，引入物理優(yōu)化與單目鏡頭，持續(xù)強(qiáng)化動捕應(yīng)用技術(shù)攻關(guān)，并發(fā)表多篇相關(guān)論文。真正做到了既有高度，又能落到實處。

01

二次研發(fā)

讓強(qiáng)者更強(qiáng)

“創(chuàng)造新的東西，不斷研究打磨、精益求精，是做科學(xué)研究最大的樂趣。”徐楓教授強(qiáng)調(diào)到。他帶領(lǐng)團(tuán)隊以諾亦騰慣性傳感器為基礎(chǔ)，成功開發(fā)了TransPose全身人體運(yùn)動捕捉系統(tǒng)。諾亦騰慣性傳感器具備體積小、精準(zhǔn)度高、抗磁干擾以及續(xù)航時間長等特性，為其團(tuán)隊的研究提供了有力支撐。

TransPose系統(tǒng)在隨后的項目中表現(xiàn)出色，以高達(dá)90幀/秒的速度運(yùn)行，在關(guān)節(jié)旋轉(zhuǎn)誤差、位置誤差等數(shù)據(jù)方面都體現(xiàn)了超前的優(yōu)勢。采集者只需佩戴6個傳感器在手腕、小腿、頭部和后背的位置，便能基于傳感器提供的加速度、角度數(shù)據(jù)，輸出人體姿態(tài)（每個關(guān)節(jié)的旋轉(zhuǎn)角度）和全局運(yùn)動（人體根節(jié)點(diǎn)的位移）數(shù)據(jù)。這些精確穩(wěn)定的動捕數(shù)據(jù)可以直接應(yīng)用于模型驅(qū)動，無需進(jìn)行額外的平滑處理。

原文鏈接（請復(fù)制至瀏覽器）

https://arxiv.org/abs/2105.04605

02

物理優(yōu)化?

實現(xiàn)全身受力估計

然而，由于輸入慣性數(shù)據(jù)的稀疏性，TransPose動捕系統(tǒng)仍面臨一系列問題，如難以準(zhǔn)確區(qū)分坐和站的動作，以及身體抖動、身體穿過地面、腳部滑動等反物理現(xiàn)象，這直接影響了系統(tǒng)的實用性。究其原因，是TransPose動捕系統(tǒng)沒有充分考慮真實世界的物理約束。

為解決上述問題，徐楓團(tuán)隊引入基于動力學(xué)的物理優(yōu)化方法，并創(chuàng)新性提出基于學(xué)習(xí)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）隱藏狀態(tài)初始化策略，以及雙重比例微分（PD）姿態(tài)控制器。這些方法使得系統(tǒng)能夠?qū)崟r估計人體關(guān)節(jié)受力、地面作用力等，從而使動捕數(shù)據(jù)更符合真實世界中人體運(yùn)動的物理規(guī)律，大大提升了姿態(tài)估計的準(zhǔn)確度、動作的平滑性和真實感，同時也顯著增強(qiáng)了系統(tǒng)的流暢性和穩(wěn)定性。

原文鏈接（請復(fù)制至瀏覽器）

https://arxiv.org/abs/2203.08528

03

加入相機(jī)?

完成環(huán)境精確重建

盡管如此，純慣性動捕依然很像人蒙著眼睛走路?——?我們可以真切感受身體每一個動作，但隨著時間的累積，越來越難以確定自己的位置。于是，徐楓團(tuán)隊試圖打開慣性動捕的“眼睛”。

以真實行走時，眼睛發(fā)揮的重要作用為靈感，他們將相機(jī)固定在頭部并向正前方拍攝，讓系統(tǒng)在捕捉人體運(yùn)動的同時感知環(huán)境信息。慣性動捕系統(tǒng)可獲取穩(wěn)定的人體運(yùn)動信號，定位與建圖（SLAM）技術(shù)能完成全局位置的高精度估計，通過對這兩種互補(bǔ)技術(shù)的精妙運(yùn)用，并在多個關(guān)鍵算法上進(jìn)行人體運(yùn)動先驗和視覺跟蹤的融合，得以實現(xiàn)魯棒和精確的人體定位與地圖重建。

原文鏈接（請復(fù)制至瀏覽器）

https://arxiv.org/abs/2305.01599

“促進(jìn)前沿科技與教育科研的深度融合,是推動學(xué)術(shù)與教學(xué)數(shù)字化轉(zhuǎn)型升級的必經(jīng)之路?！?/strong>