12月7日至12月10日，由騰訊游戲?qū)W院舉辦的2020騰訊游戲開(kāi)發(fā)者大會(huì)（Tencent Game Developers Conference，簡(jiǎn)稱(chēng) TGDC）于線(xiàn)上舉行。在大會(huì)第三天，騰訊互動(dòng)娛樂(lè)光子技術(shù)中心的KevinWang就動(dòng)捕在游戲中的開(kāi)發(fā)與應(yīng)用流程，以一段動(dòng)捕過(guò)程的實(shí)際錄像為例，發(fā)表了“捕風(fēng)捉影，讓虛擬更現(xiàn)實(shí)”的演講。
?

?

在演講中，KevinWang提到，動(dòng)捕在游戲中能節(jié)省人力時(shí)間與開(kāi)銷(xiāo)，能以最快的方式呈現(xiàn)實(shí)時(shí)的概念，用相同的數(shù)據(jù)拍攝不同的鏡頭，可以利用多個(gè)角色去當(dāng)替身，并且可以讓細(xì)節(jié)更逼真。KevinWang還講述了動(dòng)捕硬體分為電磁類(lèi)和光學(xué)類(lèi)，通過(guò)實(shí)例講解了動(dòng)捕的準(zhǔn)備與拍攝的過(guò)程。

KevinWang表示，隨著技術(shù)的發(fā)展，動(dòng)捕已經(jīng)非常簡(jiǎn)便了，但之后發(fā)展的空間還會(huì)很大，并且隨著手游玩家的需求和移動(dòng)設(shè)備性能地提升，動(dòng)捕或許會(huì)成為手游的一大趨勢(shì)。
?

?

以下為演講實(shí)錄，由游戲日?qǐng)?bào)編輯整理

動(dòng)捕在游戲開(kāi)發(fā)中的價(jià)值

第一點(diǎn)，節(jié)省人力時(shí)間與開(kāi)銷(xiāo)。不如用手K的方式去呈現(xiàn)出200分鐘的動(dòng)畫(huà)，可能需要請(qǐng)七八個(gè)動(dòng)畫(huà)師，花費(fèi)半年的時(shí)間才能完成。但如果以動(dòng)捕的方式去做，只需要兩到三天左右的時(shí)間，就能完成。然后把這些動(dòng)畫(huà)轉(zhuǎn)移到3D角色上面，做出一系列后續(xù)的細(xì)節(jié)上面的清理，也許只需要花一個(gè)月不到的時(shí)間，就可以達(dá)到相同，甚至于更逼真的動(dòng)作效果。

第二點(diǎn)，能以最快的方式呈現(xiàn)實(shí)時(shí)的概念。

第三點(diǎn)可以用相同的數(shù)據(jù)拍攝不同的鏡頭。比如說(shuō)有兩個(gè)人在演對(duì)手戲，用動(dòng)捕的方式，可以把他的動(dòng)作捕捉到電腦里面。之后如果我們想要去拍這些鏡頭，就可以很快地把捕捉下來(lái)的這些動(dòng)作播放出來(lái)，再實(shí)時(shí)地去搭建我們要拍的鏡頭，所以說(shuō)這是一個(gè)非常省時(shí)的方式。如果是在一個(gè)電影的場(chǎng)景里面，用真人去拍攝，要搭建這么多個(gè)鏡頭，演員肯定要重新去演繹這個(gè)場(chǎng)景，可能要演繹個(gè)很多次，每一次演繹下來(lái)都會(huì)有少許的差別。

第四點(diǎn)，可以利用多個(gè)角色去當(dāng)替身。比如《死亡擱淺》里的主角，只錄了幾個(gè)動(dòng)作，之后都是用替身演員完成的。

第五點(diǎn)，動(dòng)捕可以讓細(xì)節(jié)更逼真。如果以手K的方式去做動(dòng)畫(huà)，最困難的其實(shí)是怎么樣去看這個(gè)人的施力點(diǎn)與受力點(diǎn)。比如把力量放在左腳到將力量換到右腳，中間這個(gè)取力與卸力的過(guò)程，其實(shí)是在手K里面，比較難展現(xiàn)出來(lái)的地方。

動(dòng)捕硬體分類(lèi)

第一類(lèi)型叫做電磁類(lèi)，電磁類(lèi)的運(yùn)作方式是，它有一個(gè)中央磁鐵然后與很多不同的接收器相連。這個(gè)接收器其實(shí)是綁定在他這一套動(dòng)捕服的上面的，所以基本上你只要把這些接收器調(diào)到應(yīng)該調(diào)的位置，就可以去進(jìn)行很好的拍攝。這樣做不僅成本低，還不受場(chǎng)地大小的限制，十分方便使用。

但這也有不好的地方，動(dòng)捕衣服的尺寸不同，會(huì)限制演員的選擇，多角色拍攝需要買(mǎi)多套服裝，而且道具也無(wú)法捕捉到。對(duì)于這一點(diǎn)，我們目前有個(gè)想法，不需要很干凈的數(shù)據(jù)，用這個(gè)動(dòng)捕下來(lái)的數(shù)據(jù)，與鏡頭里面的拍攝相結(jié)合，就能達(dá)到一個(gè)比較好的效果。

第二類(lèi)就是光學(xué)類(lèi)。因?yàn)橛泻芏嗯_(tái)不同的紅外線(xiàn)相機(jī)，每臺(tái)相機(jī)里的數(shù)據(jù)其實(shí)只有這個(gè)反光球的球點(diǎn)，基本上它是看不到整個(gè)人的。為保護(hù)演員，反光球是非常軟的。另外一點(diǎn)就是動(dòng)捕光學(xué)的硬體，它有好處 也有壞處。

好處方面，因?yàn)閳?chǎng)地大，所以它可以拍很多個(gè)人同時(shí)做一些事情，而且能拍攝不同的的角色，包括馬、狗等。另外，它還可以拍攝不同大小形的道具，這是電磁類(lèi)的系統(tǒng)無(wú)法做到的。

壞處方面，它整套的硬體非常昂貴，大概3到40萬(wàn)美金左右。還需要租一個(gè)專(zhuān)門(mén)拍攝的大場(chǎng)地。在后置方面，因?yàn)樾枰涯切┍徽趽醯姆垂馇蛑匦抡页鰜?lái)，所以后置花費(fèi)時(shí)間很多。
?

動(dòng)捕迷思

第一點(diǎn)，數(shù)據(jù)拍攝完可以馬上進(jìn)引擎。因?yàn)檠輪T與角色與實(shí)際上3D的角色基本都不會(huì)是1：1的比例。所以會(huì)產(chǎn)生不同的數(shù)據(jù)，這些數(shù)據(jù)都需要去做后續(xù)的調(diào)整、清理才能夠進(jìn)引擎。

第二點(diǎn)，所有輸出的動(dòng)作都會(huì)與演員無(wú)差。因?yàn)檠輪T與3D角色身材、身高上的不同，所以這些數(shù)據(jù)還是會(huì)有些許的差別。

第三點(diǎn)，道具要以真實(shí)的道具為主。以槍為例，通常來(lái)講因?yàn)橹亓繂?wèn)題，會(huì)用塑料管和海綿膠帶來(lái)展現(xiàn)槍的外形。但如果要拍一個(gè)cinematic的場(chǎng)景，就需要一個(gè)真實(shí)重量版的槍?zhuān)屟輪T能夠去演繹出這把槍的重量。

最后一點(diǎn)，如果用了動(dòng)捕，就不需要?jiǎng)赢?huà)師去手K。第一是因?yàn)椴皇撬械臇|西都可以用來(lái)做動(dòng)捕。比如紙、車(chē)子、飛機(jī)這些東西都比較難去達(dá)到動(dòng)捕的效果，所以還是需要?jiǎng)赢?huà)師去手K做出這些無(wú)法動(dòng)捕的動(dòng)作。之后做出臉部、身體的動(dòng)捕，也需要?jiǎng)赢?huà)師的幫忙，去完成這一系列的數(shù)據(jù)。

動(dòng)捕的準(zhǔn)備與拍攝的過(guò)程?

開(kāi)拍的兩個(gè)星期之前，問(wèn)一下客人想要拍什么樣的動(dòng)作，與需要準(zhǔn)備什么樣的道具。并在客人來(lái)之前準(zhǔn)備測(cè)試好。再加上非常好的應(yīng)變能力與想象力，才能夠在最短的時(shí)間之內(nèi)達(dá)到最完美的要求。

拍攝的時(shí)候，需要做的內(nèi)容，第一點(diǎn)叫做Calibration，光學(xué)攝像機(jī)的校正。也就是使用反光棒的揮動(dòng)去計(jì)算攝像機(jī)的精準(zhǔn)位置。并且矯正過(guò)的攝像機(jī)不能被移動(dòng)，如果不小心碰撞到攝像機(jī)，需要重新校正所有攝像機(jī)。?
所以KevinWang建議，不要穿反光的衣服或者是鞋子，另外大家盡量不要靠近放這些攝像頭角架的位置。
?

第二點(diǎn)，Calibration之后，需要上反光球，就是Markers。這些反光球會(huì)固定于演員各個(gè)關(guān)節(jié)上面的點(diǎn)，比如肩膀 手肘 手腕這些地方。動(dòng)捕的軟體可以很明確地計(jì)算出，比如說(shuō)膀到手肘是upper arm。所以反光球所在的所有位置也是一個(gè)非常重要的事情。后續(xù)也可以通過(guò)調(diào)整反光球的位置，來(lái)達(dá)到你需要的效果。

第三點(diǎn)，關(guān)節(jié)的活動(dòng)拍攝。需要演員在開(kāi)拍之前先把所有的關(guān)節(jié)先活動(dòng)一遍，讓軟體能夠知道整個(gè)關(guān)節(jié)的活動(dòng)度有多大，之后以軟體計(jì)算出他所有如手腕這些關(guān)節(jié)點(diǎn)能達(dá)到的位置。
之后再用這一系列的數(shù)據(jù)放到3D角色上面，用真實(shí)在場(chǎng)地里面拍攝的影片做一個(gè)對(duì)比，找出最好的方式，去把3D角色匹配到Video Reference上面。

第四點(diǎn)，大型動(dòng)捕室的道具需求。不同顏色的膠帶代表不同的場(chǎng)景，用蘋(píng)果箱和軟墊來(lái)搭建武器、樓梯等道具，電線(xiàn)、鋁條、木板等搭建大型道具。

最后，KevinWang通過(guò)動(dòng)捕片場(chǎng)的拍攝過(guò)程，演示了上述的每一步。

動(dòng)捕的后置流程

第一點(diǎn)叫做Tracking就是清理反光球的數(shù)據(jù)。攝取下來(lái)反光球的數(shù)據(jù)，定位球的點(diǎn)，全部規(guī)劃好了之后才能夠看到一個(gè)3D的效果。

第二個(gè)叫做Solving，將清理完的反光球數(shù)據(jù)轉(zhuǎn)移到一個(gè)能夠縮放的動(dòng)捕角色上面。再通過(guò)縮放，讓反光球的點(diǎn)，能夠達(dá)到實(shí)際上演員當(dāng)初所設(shè)定這些反光球的位置。

第三點(diǎn)叫做Retargeting，把能夠縮放的動(dòng)捕角色，再轉(zhuǎn)移到游戲的角色上。因?yàn)檠輪T與任務(wù)角色人物的身高、 體重都有差別，所以需要做出很多細(xì)微的調(diào)整。 ?再接下來(lái)是Motion Edit，做出所有抖動(dòng)，或者是有穿透的清理。這一步需要將多個(gè)動(dòng)作，融合成為一個(gè)動(dòng)作。?

最后一步Final motion，請(qǐng)動(dòng)畫(huà)師做出手指與道具這些細(xì)節(jié)的動(dòng)作，甚至于到臉部動(dòng)捕的清理。 ?臉部動(dòng)捕與虛擬相機(jī)的使用

?在最早之前臉部動(dòng)捕的方式是讓演員坐在一張椅子上，前面也許有大概三四十臺(tái)相機(jī)，臉上也會(huì)放很多反光球的點(diǎn)，但這是一個(gè)非常浪費(fèi)時(shí)間的方法。隨著技術(shù)的變遷，現(xiàn)在有所謂頭戴式的頭盔能夠去做動(dòng)捕，通過(guò)頭盔上一個(gè)小小的攝像頭錄取臉上所有的表情，之后與身體的數(shù)據(jù)去同步達(dá)到一個(gè)非常好的臉部與身體動(dòng)捕的效果。 ?虛擬相機(jī)

紅外線(xiàn)相機(jī)與反光球就等于是動(dòng)捕最基本的要求，將所有的定位點(diǎn)找出來(lái)之后，把它c(diǎn)onstrain到一個(gè)假裝的 virtual的view point上面，就可以讓我們?cè)趫?chǎng)景里面實(shí)時(shí)地看到這個(gè)東西是怎么移動(dòng)的。如果在Motion Builder里面加入一個(gè)Camera，把它c(diǎn)onstrain在這個(gè)東西上面基本上Virtual camera Then the virtual camera就這么形成了。

之后的推進(jìn)、拉遠(yuǎn)，把數(shù)據(jù)播放出來(lái)，錄這個(gè)數(shù)據(jù)，這些東西都可以在這個(gè)Virtual Camera上面完成。

動(dòng)捕整體在游戲中的流程

第一個(gè)就是在做一個(gè)游戲之前，一定要有一個(gè)非常好的概念，有了這個(gè)概念之后才能夠請(qǐng)2D的手繪師，把這個(gè)場(chǎng)景與這個(gè)人物畫(huà)出來(lái)。畫(huà)出來(lái)之后就需要請(qǐng)3D建模師把它做成一個(gè)3D的模型。

但因?yàn)檫@個(gè)模型沒(méi)有骨骼，所以沒(méi)有辦法去手K動(dòng)畫(huà)，所以要進(jìn)行骨骼的綁定。綁定之后會(huì)請(qǐng)一個(gè)Storyboard artis，畫(huà)出這個(gè)Cinematic的場(chǎng)景，再進(jìn)入到We will give a storyboard to the following departments這個(gè)Previz ?Layout這個(gè)鏡頭創(chuàng)作的部門(mén)。

這個(gè)部門(mén)的員工會(huì)很快地以一個(gè)手K的方式，把這個(gè)3D人物以之前Storyboard的方式去展現(xiàn)出來(lái)。然后去做一些剪接，如果整體看起來(lái)沒(méi)有什么大問(wèn)題，才會(huì)進(jìn)入到動(dòng)捕。把之前這些手K的數(shù)據(jù)，轉(zhuǎn)換成真人動(dòng)捕下來(lái)的數(shù)據(jù)，做數(shù)據(jù)上面的清理，再回到鏡頭的部門(mén)讓他們?nèi)プ鲵?yàn)證，通過(guò)更改之前搭設(shè)好的鏡頭，讓它能夠去跟隨動(dòng)捕的這些3D人物一起去運(yùn)作。

再通過(guò)動(dòng)畫(huà)加強(qiáng)的部門(mén)，去加強(qiáng)手指的這些動(dòng)畫(huà)。沒(méi)有辦法去用動(dòng)捕做出來(lái)的數(shù)據(jù)，也會(huì)要求動(dòng)畫(huà)師在這個(gè)環(huán)節(jié)里面完成。

然后就是進(jìn)入到引擎里完成特效、模擬等步驟，比如說(shuō)衣服的動(dòng)法、頭發(fā)的飄動(dòng)方式等。接下來(lái)就是光效渲染，讓這些人物看起來(lái)更像是在這個(gè)場(chǎng)景里面互動(dòng)。

最后，KevinWang還回答了兩個(gè)問(wèn)題：

第一個(gè)問(wèn)題，動(dòng)捕發(fā)展至今您認(rèn)為其定位是什么，動(dòng)捕仍是比較頂級(jí)的技術(shù)手段還是已經(jīng)成為了游戲常規(guī)研發(fā)流程的一部分，動(dòng)捕未來(lái)還有怎么樣地一個(gè)進(jìn)化？

KevinWang回答道隨著技術(shù)的發(fā)展，動(dòng)捕已經(jīng)非常簡(jiǎn)便了，但之后發(fā)展的空間還會(huì)很大，或許之后在家里面就能夠完成動(dòng)捕。 ?

第二個(gè)問(wèn)題，動(dòng)捕過(guò)去比較常見(jiàn)于主機(jī)游戲的大型單機(jī)游戲，隨著手游玩家的需求和移動(dòng)設(shè)備性能地提升，KevinWang覺(jué)得動(dòng)捕會(huì)成為手游的一大趨勢(shì)。
?

最后KevinWang還為大家分享了一個(gè)幕后花絮，《北極特快車(chē)》的幕后人員在拍攝最后一天，跟主角湯姆?漢克斯合照的時(shí)候忘關(guān)閃光燈了，加上反光球的作用，所以在照片上基本看不出來(lái)人物的臉部。所以建議大家在區(qū)與有臉部反光球的演員合影的時(shí)候，一定記得關(guān)掉閃光燈。??