查看引用/信息源請點擊：映維網(wǎng)Nweon

人臉重建

（映維網(wǎng)Nweon?2022年08月18日）Landmark通常在人臉分析中起著關(guān)鍵作用，但關(guān)于身份或表情的眾多方面無法僅用稀疏Landmark來進行表示。為了更精確地重建人臉，行業(yè)通常將Landmark與深度圖像等附加信號或微分渲染等技術(shù)相結(jié)合。但令研究人員好奇的一個問題是：為了進一步簡化流程和優(yōu)化資源利用，是否可以單純依靠（密集）Landmark來實現(xiàn)逼真的人臉重建呢？

在2022年歐洲計算機視覺會議（European Conference on Computer Vision），微軟提出了自己的解決方案：單純依靠密集Landmark來實現(xiàn)逼真人臉重建。其中，團隊表示相關(guān)方法可以準確預(yù)測十倍于平常的Landmark，覆蓋整個頭部，包括眼睛和牙齒。

正如前面所述，微軟表示他們的方法可以準確預(yù)測十倍于平常的Landmark，覆蓋整個頭部，包括眼睛和牙齒。簡單來說，這是通過使用合成訓(xùn)練數(shù)據(jù)來實現(xiàn)，從而保證了完美的Landmark標(biāo)注。

概括而言，團隊的方法主要包括兩步：

• 首先預(yù)測概率密集Landmark L，每個Landmark都具有位置μ和確定性σ。

• 然后，研究人員將3D人臉模型擬合到L，通過優(yōu)化模型參數(shù)Φ最小化能量E

值得注意的是，盡管人類可能會始終使用68個Landmark標(biāo)記圖像，但手動使用密集Landmark標(biāo)注圖像是不可能的。為了保證完美的Landmark標(biāo)注，微軟使用人臉合成系統(tǒng)渲染了100000張合成訓(xùn)練圖像。團隊指出，沒有合成數(shù)據(jù)提供的完美注釋，密集地標(biāo)預(yù)測是不可能的。

通過將可變形模型擬合到密集Landmark，研究人員實現(xiàn)了自然場景下最先進的單目3D人臉重建結(jié)果。通過在單目和多視圖場景中展示準確和富有表現(xiàn)力的面部表現(xiàn)捕捉，團隊表明密集的Landmark是跨幀整合面部形狀信息的理想信號。實驗比較證明了所述方法的高效性：可以預(yù)測密集Landmark，并在單個CPU線程以超過150FPS的速度擬合3D人臉模型。

---
原文鏈接：https://news.nweon.com/99887