原創(chuàng) | 文 BFT機器人

隨著虛擬現(xiàn)實和虛擬世界技術的發(fā)展，博物館藏品的數(shù)字化是一個越來越受關注的新興話題。世界上許多著名的博物館都在為網(wǎng)上展覽建立自己的數(shù)字館藏。

在這些藏品中，有一種特殊而重要的藏品昆蟲、人體組織、水生生物和其他易碎的標本需要保存在一些堅硬但透明的材料中（圖1）。

為了將這些藏品數(shù)字化，抽象出一個獨特的研究問題，即透過玻璃般的外部觀察并恢復內(nèi)部物體的幾何形狀。具體來說，任務是從場景的多個2D視圖中重建感興趣對象的3D幾何形狀。

圖1

該任務的一個主要挑戰(zhàn)是在空氣和透明塊的界面上由光的反復反射和折射引起的嚴重的圖像畸變。由于它使單視點假設失效，大多數(shù)現(xiàn)有的多視點三維重建方法往往失敗。因此，本文提出了一種新的方法ReNeuS，它使用一種新穎的混合渲染策略，考慮到玻璃/空氣界面上多次光線反射和折射，以精確地重建三維模型。

01??該篇論文的創(chuàng)新點

1. 提出了一種新的研究問題，即透明容器內(nèi)部物體的三維重建問題。

2. 提出了一種新的三維重建方法ReNeuS，該方法可以處理玻璃/空氣界面上多次光線反射和折射，并且能夠?qū)碗s場景進行分割和重建。

3. 使用了一種基于射線跟蹤和體積渲染技術相結(jié)合的混合渲染策略來處理兩個子空間之間的光線交互，從而提高了重建效果。

圖2 ReNeuS框架的概覽圖。

ReNeuS是一種新穎的神經(jīng)重建方法，用于透明容器中昆蟲的三維重建。該方法的主要步驟包括場景分割、神經(jīng)渲染、反向傳播訓練和三維重建。

首先，對于給定的透明容器場景，ReNeuS將其分為內(nèi)部和外部兩個子空間（圖2）。

內(nèi)部子空間包含昆蟲標本及其周圍環(huán)境，而外部子空間則包含容器壁和周圍環(huán)境。這種場景分割方式可以有效地減少光線追蹤過程中的計算量，并提高重建精度。

接下來，ReNeuS使用多層感知器（MLPs）對內(nèi)部場景進行編碼，以表示幾何和外觀信息。

具體來說，ReNeuS使用隱式神經(jīng)網(wǎng)絡來表示內(nèi)部場景的表面形狀，并使用體積渲染技術來表示其外觀特征。這種神經(jīng)隱式表示方式可以有效地處理復雜的光線折射和反射現(xiàn)象，并提高重建精度。

然后，ReNeuS使用遞歸光線追蹤過程來生成圖像。

在每個迭代步驟中，通過神經(jīng)隱式表示計算每個子光線的輻射度，并將其累加到顏色值中。這種神經(jīng)渲染方式可以有效地處理復雜的光線傳輸現(xiàn)象，并提高重建精度。

接著，ReNeuS使用反向傳播算法來訓練神經(jīng)網(wǎng)絡，以最小化預測圖像與真實圖像之間的差異。

具體來說，ReNeuS使用漸進式訓練策略來逐步優(yōu)化神經(jīng)網(wǎng)絡的性能，以提高重建精度和泛化能力。在每個訓練階段，ReNeuS使用真實圖像和預測圖像之間的差異來計算損失函數(shù)，并使用反向傳播算法來更新神經(jīng)網(wǎng)絡的權重。

最后，ReNeuS使用基于體素的三維重建算法來從渲染圖像中恢復昆蟲標本的三維形狀。

具體來說，ReNeuS將渲染圖像轉(zhuǎn)換為體素表示，并使用Poisson重建算法來生成光滑的三維網(wǎng)格模型。這種基于神經(jīng)網(wǎng)絡和體素表示的三維重建方法可以有效地處理復雜的透明場景，并提高重建精度和效率。

02??實驗

在實驗中，作者使用了一個包含10個真實昆蟲標本的透明玻璃容器數(shù)據(jù)集和一些合成數(shù)據(jù)集來評估他們的方法。作者還與其他基線方法進行了比較，包括傳統(tǒng)的多視角立體重建方法和最新的深度學習方法。

結(jié)果表明，ReNeuS在處理透明場景中的三維重建問題方面表現(xiàn)出色，并且可以重建出小昆蟲標本的翅膀和觸角等細節(jié)結(jié)構(gòu)。這些實驗結(jié)果證明了ReNeuS方法的有效性和優(yōu)越性。

圖3展示了在合成數(shù)據(jù)集上使用ReNeuS和基線方法進行三維形狀重建的結(jié)果。

表1展示了在合成數(shù)據(jù)集上使用ReNeuS和其他基線方法進行定性評估的結(jié)果。

圖4展示了在真實數(shù)據(jù)集上使用ReNeuS和其他基線方法進行三維重建的可視化結(jié)果。

論文的結(jié)論是作者提出的ReNeuS方法可以成功地解決透明容器中物體的三維重建問題，并且在實驗中取得了比其他基線方法更好的效果。

這個方法可以應用于數(shù)字化脆弱博物館藏品等領域，為文化遺產(chǎn)保護和數(shù)字化提供了新的思路和方法。

網(wǎng)址：https://xueshu.baidu.com/usercenter/paper/show?paperid=1m4q0tj0gc530ay0rs4p04w0e5712811&site=xueshu_se標題：Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a?Transparent Container

更多精彩內(nèi)容請關注公眾號：BFT機器人

本文為原創(chuàng)文章，版權歸BFT機器人所有，如需轉(zhuǎn)載請與我們聯(lián)系。若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，將及時回應。