查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

兩份發(fā)明原理一樣，都是利用機(jī)器學(xué)習(xí)模型和反向運(yùn)動學(xué)來預(yù)測關(guān)節(jié)并推斷全身姿勢

（映維網(wǎng)Nweon?2022年03月19日）對于好萊塢式的精確全身動捕技術(shù)，相關(guān)的設(shè)置成本相當(dāng)高昂和繁雜。盡管負(fù)責(zé)Reality Labs事業(yè)群的準(zhǔn)Meta首席技術(shù)官安德魯·博斯沃思（Andrew Bosworth）先前表示Quest?2當(dāng)前的內(nèi)向外追蹤無法支持全身動捕，而且未來更加難以實(shí)現(xiàn)，但這家公司依然在積極地進(jìn)行探索，并希望能夠早日研發(fā)出用于消費(fèi)者頭顯的全身動捕技術(shù)。

日前，美國專利商標(biāo)局就公布了名為“Systems and methods for predicting elbow joint poses”和“Systems and methods for predicting lower body poses”的Meta專利申請。其中，兩份發(fā)明的原理一樣，都是利用機(jī)器學(xué)習(xí)模型和反向運(yùn)動學(xué)來預(yù)測關(guān)節(jié)并推斷全身姿勢。

由于關(guān)節(jié)肌肉在人體運(yùn)動期間存在一定的關(guān)聯(lián)對應(yīng)性，所以系統(tǒng)可以根據(jù)反向運(yùn)動學(xué)骨骼模型，通過對一個關(guān)節(jié)姿勢的確實(shí)來預(yù)測推斷其他關(guān)節(jié)，然后再整合成一個完整的身體姿勢。

簡單來說，對于肘關(guān)節(jié)姿勢預(yù)測，設(shè)備可以確定頭部姿勢并通過攝像頭捕獲前臂/手腕圖像，然后由經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型根據(jù)所述信息及前臂/手腕和肘部的肌肉關(guān)節(jié)對應(yīng)關(guān)系來預(yù)測推斷肘關(guān)節(jié)的姿勢。

對于全身姿勢預(yù)測，可以首先通過前述方式并根據(jù)頭部和前臂/手腕捕獲圖像預(yù)測推斷整合上半身姿勢，然后經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型可以根據(jù)上半身姿勢來預(yù)測推斷整個下半身姿勢。最后，系統(tǒng)整合上半身和下半身的姿勢。

圖2是與用戶102相關(guān)聯(lián)的示例身體姿勢。其中，計算系統(tǒng)108可以生成與用戶102相關(guān)聯(lián)的身體姿勢200。身體姿勢200包括反向運(yùn)動學(xué)的骨骼幀，后者可包括一個或多個關(guān)節(jié)的列表。在特定實(shí)施例中，身體姿勢包括與用戶102相關(guān)聯(lián)的一個或多個關(guān)節(jié)的關(guān)節(jié)姿勢，例如但不限于頭部姿勢210、手腕姿勢220、肘部姿勢220、肩部姿勢240、頸部姿勢250、上部脊椎姿勢260、下部脊椎姿勢270、臀部姿勢280、膝蓋姿勢290或腳踝姿勢295。

1. 肘關(guān)節(jié)及上半身姿勢

圖3A是頭顯攝像頭在其有限視場內(nèi)捕獲的手臂圖像。其中，102為用戶左臂，106為左臂握持的控制器。

在圖3B中，系統(tǒng)可以利用諸如Mask R-CNN等技術(shù)來生成分割掩模并劃分多個區(qū)域。分割掩?？梢员硎緸槎S矩陣，每個矩陣元素對應(yīng)于輸入圖像中的像素。

在一個實(shí)施例中，系統(tǒng)可以利用非線性運(yùn)動學(xué)優(yōu)化解算器來推斷一個或多個關(guān)節(jié)姿勢。例如，非線性解算器可利用骨架解算器功能來推斷反向運(yùn)動學(xué)的單個幀（單個身體姿勢）。

在特定實(shí)施例中，非線性解算器可使用參數(shù)和預(yù)定靜態(tài)權(quán)重來推斷身體姿勢200，其推斷用戶102的關(guān)節(jié)在特定時間或狀態(tài)的最可能姿勢。推斷的身體姿勢可以包括用戶102的一個或多個關(guān)節(jié)的姿勢，例如肘關(guān)節(jié)230。

在特定實(shí)施例中，圖像數(shù)據(jù)和分割掩?？捎糜谠u估非線性解算器推斷的一個或多個中間關(guān)節(jié)姿勢的準(zhǔn)確性，并隨后更新非線性解算器以在后續(xù)迭代中更準(zhǔn)確地預(yù)測一個或多個關(guān)節(jié)姿勢。例如，非線性解算器可以接收一個或多個輸入并推斷一個或多個關(guān)節(jié)的中間姿勢，例如肘關(guān)節(jié)姿勢。

利用前述的原理，系統(tǒng)可以根據(jù)頭部姿勢和前臂/手腕圖像信息來肘關(guān)節(jié)姿勢并推斷整合上半身姿勢。

2. 下半身半身姿勢

正如前面所言，人體關(guān)節(jié)肌肉之間存在一定的關(guān)聯(lián)對應(yīng)性，所以在通過上述方式推斷整合出上半身姿勢后，經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型可以進(jìn)一步根據(jù)上半身和下半身的關(guān)聯(lián)對應(yīng)性，以推斷整合出的上半身姿勢作為輸入，然后推斷包含雙腿的下半身姿勢。最后，系統(tǒng)可以整合上半身姿勢和下半身姿勢。

如圖3所示，在特定實(shí)施例中，可以通過使用經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型來處理上半身姿勢205，并根據(jù)對應(yīng)關(guān)系來生成下半身姿勢215。圖3示出了利用輸入的上身姿勢生成下身姿勢。具體而言，經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型300可以基于生成性對抗網(wǎng)絡(luò)（GAN）并利用上半身姿勢205來生成下半身姿勢215。然后，計算系統(tǒng)可以將生成的上半身姿勢205與生成的下半身姿勢215相結(jié)合。

圖4示出了用于訓(xùn)練生成對抗網(wǎng)絡(luò)（GAN）400進(jìn)行姿勢預(yù)測的配置。GAN可以包括兩個獨(dú)立的神經(jīng)網(wǎng)絡(luò)，一個Generator405（“G”）和一個Discriminator 410（“D”）。在特定實(shí)施例中，Generator405和Discriminator410可以實(shí)現(xiàn)為神經(jīng)網(wǎng)絡(luò)。

Generator405可配置為接收生成的上身姿勢205作為輸入，并輸出生成的下身姿勢215。在特定實(shí)施例中，上半身姿勢205可與下半身姿勢215組合以生成全身姿勢425。在特定實(shí)施例中，Discriminator410可以配置為在區(qū)分由Generator405推斷生成的“假”全身姿勢425和來自訓(xùn)練姿勢數(shù)據(jù)庫440的“真”訓(xùn)練姿勢435。在特定實(shí)施例中，一個或多個訓(xùn)練全身姿勢435可包括來自一個或多個圖像的全身姿勢。

Generator405和Discriminator410可以視為對手，因?yàn)镚enerator405的目標(biāo)是生成可以欺騙Discriminator410的假姿勢（換句話說，增加Discriminator410的錯誤率），而Discriminator410的目標(biāo)是正確區(qū)分“假”姿勢與“真”姿勢。

通過經(jīng)過訓(xùn)練的GAN，系統(tǒng)可以利用上半身姿勢來推斷下半身姿勢。

相關(guān)專利：Facebook Patent | Systems and methods for predicting elbow joint poses

相關(guān)專利：Facebook Patent | Systems and methods for predicting lower body poses

名為“Systems and methods for predicting elbow joint poses”和“Systems and methods for predicting lower body poses”的Meta專利申請都是在2020年9月提交，并在日前由美國專利商標(biāo)局公布。需要注意的是，這只是一份專利申請，不確定具體的效果，尤其是因?yàn)檫@是一種推斷預(yù)測方法。

---
原文鏈接：https://news.nweon.com/95365