Wonder3D是一種新穎的方法，能夠從單視圖圖像生成高保真的紋理網(wǎng)格。盡管基于Score?Distillation?Sampling?(SDS)的方法展示了從2D擴(kuò)散先驗(yàn)恢復(fù)3D幾何的潛力，但它們通常受到耗時(shí)的每形狀優(yōu)化和不一致的幾何形狀的困擾。

相比之下，某些工作直接通過(guò)快速網(wǎng)絡(luò)推斷產(chǎn)生3D信息，但其結(jié)果通常質(zhì)量較低，缺乏幾何細(xì)節(jié)。Wonder3D提出了一個(gè)跨域擴(kuò)散模型，生成多視圖法線圖和相應(yīng)的彩色圖像，確保了一致性，并引入了一個(gè)幾何感知的法線融合算法，從多視圖2D表示中提取高質(zhì)量的表面。

Paper鏈接：https://arxiv.org/abs/2310.15008

Readpaper鏈接：https://readpaper.com/paper/2018914528499977984

項(xiàng)目地址：https://www.xxlong.site/Wonder3D/

Demo地址：https://huggingface.co/spaces/flamehaze1115/Wonder3D-demo

詳細(xì)介紹

Wonder3D的目標(biāo)：從單張圖片中快速重建高保真的紋理網(wǎng)格。

現(xiàn)有技術(shù)的局限性：基于SDS的方法雖然展示了從2D圖像恢復(fù)3D幾何的潛力，但通常需要耗時(shí)的優(yōu)化，并且?guī)缀涡螤羁赡懿灰恢隆６苯油ㄟ^(guò)網(wǎng)絡(luò)推斷產(chǎn)生3D信息的方法，其結(jié)果質(zhì)量較低，缺乏幾何細(xì)節(jié)。

Wonder3D的方法：提出了跨域擴(kuò)散模型，生成多視圖法線圖和相應(yīng)的彩色圖像。為了確保一致性，采用了多視圖跨域注意力機(jī)制，促進(jìn)了跨視圖和模態(tài)之間的信息交換。最后，引入了幾何感知的法線融合算法，從多視圖2D表示中提取高質(zhì)量的表面。

評(píng)估結(jié)果：與先前的工作相比，Wonder3D在重建結(jié)果、健壯的泛化能力和顯著的效率方面都表現(xiàn)出色。

設(shè)計(jì)相關(guān)的測(cè)試：

動(dòng)物相關(guān)的測(cè)試：

觀點(diǎn)：

在學(xué)術(shù)上，它為3D重建提供了一個(gè)新的視角，特別是在處理單視圖圖像時(shí)可以得到一個(gè)不錯(cuò)的結(jié)果。此外，其跨域擴(kuò)散模型和幾何感知的法線融合算法確實(shí)挺新穎的，可以進(jìn)行深挖。

在商業(yè)上，可以利用這個(gè)快速重建技術(shù)對(duì)大部分的簡(jiǎn)單的3d建模工作進(jìn)行替代，而且可以提供給用戶一個(gè)還不錯(cuò)的快速預(yù)覽圖。

特邀作者：日本早稻田大學(xué)計(jì)算機(jī)系博士? 王軍杰