她叫Siren，不是人，也可以是所有人
首發(fā)：騰訊（ID：tencent）
今天，介紹一個(gè)人，名字叫Siren（塞任）。
朱唇輕啟，嘴角含笑，這半張臉很普通。
而整個(gè)人，看上去也很普通。但她不普通，因?yàn)椋?，不是人?/strong>
作為數(shù)字虛擬人，她有自己的名字，Siren，意為古希臘傳說中半人半鳥的女海妖。由騰訊互娛事業(yè)群的NEXT Studio 與Epic Games、Cubic Motion和3Lateral等業(yè)內(nèi)各領(lǐng)域頂尖公司聯(lián)合團(tuán)隊(duì)開發(fā)而成。
她，實(shí)際上也是人。
她的面部形象，來自于中國(guó)的女演員姜冰潔。
但Siren 也可以是所有人，她能夠惟妙惟肖地“演繹”出其他人的表情，包括你的。
這項(xiàng)成果代表了目前實(shí)時(shí)渲染技術(shù)的業(yè)界頂尖水平。
Siren 所有的動(dòng)作表情都是實(shí)時(shí)捕捉并實(shí)時(shí)渲染。只要將這套動(dòng)捕設(shè)備，戴在你頭上。它能實(shí)時(shí)跟蹤200多個(gè)面部特征點(diǎn)，并將這些數(shù)據(jù)實(shí)時(shí)地映射到Siren的面部Rig（骨骼綁定）驅(qū)動(dòng)Siren的3D臉部模型。動(dòng)作表情以每秒60幀輸出在屏幕上。
最最重點(diǎn)的是——數(shù)字虛擬人是可以基于任何人的樣子進(jìn)行掃描，掃描之后，TA就是被掃描者的復(fù)刻和分身了。而驅(qū)動(dòng)這一數(shù)字虛擬人的表情和動(dòng)作的，可以是其他人。
這樣，很多奇妙的事情就可以發(fā)生了。
周杰倫曾經(jīng)幻想，能穿越時(shí)空，回到30年前，跟鄧麗君合唱一首歌。他說：那是多么榮幸的一件事啊。30年后，他真的，跟她，隔空對(duì)唱。
周杰倫沒有想到——這場(chǎng)機(jī)緣來自科技，是45名工程師耗2個(gè)月心血打造，這場(chǎng)重逢，讓兩個(gè)時(shí)代的歌手，在萬千目光中，共譜了一曲。
《速度與激情7》里，保羅·沃克在不幸離世前，電影只拍完了八成左右的戲份，劇組是如何處理余下未拍攝的呢？
導(dǎo)演只好用CG方式來制作數(shù)字替身，輔以3D跟蹤和相機(jī)運(yùn)動(dòng)匹配來完成剩余鏡頭，他還找來沃克的兄弟拍攝沃克的戲份。影片的結(jié)尾，導(dǎo)演把保羅之前的影像剪輯到一起，給影迷一份深刻動(dòng)人的完美懷念。
過去，讓逝去的人重生，仿佛是一個(gè)無法實(shí)現(xiàn)的夢(mèng)?？萍甲屢磺凶兊每赡?。
Siren 的出現(xiàn)，可以讓人物“還原”，變得更簡(jiǎn)單。
如果說3D“鄧麗君”、“保羅”像電影特效制作一樣，是一幀幀通過離線渲染摳出來的，那么Siren則是實(shí)時(shí)渲染出來的，可以實(shí)時(shí)互動(dòng)。這個(gè)過程在15毫秒內(nèi)完成，一般人幾乎感受不到延遲。
而為了追相片級(jí)的表現(xiàn)，整個(gè)開發(fā)過程，團(tuán)隊(duì)都需要在不同光照條件和相機(jī)位置下對(duì)比真實(shí)照片和引擎渲染結(jié)果，一點(diǎn)點(diǎn)修正。
換衣服對(duì)于她來說，就是揮揮手，抖三抖的事。
現(xiàn)在Siren不管是高精度的面部動(dòng)捕，還有長(zhǎng)時(shí)間的身體動(dòng)作捕捉，都一步步的做到盡可能的接近真實(shí)。有了它，你可以和任何一個(gè)“人”實(shí)時(shí)互動(dòng)交流。
那么有了Siren之后，會(huì)帶來哪些改變？
我們可以大膽想象，未來，你也可以像《頭號(hào)玩家》里的主人公一樣，將自己的一舉一動(dòng)映射到虛擬角色身上，他是通過魔幻眼鏡完成自由變身，而你通過Siren，完成置換。
除了在游戲中感受虛擬人的魅力，Siren在影視方向的想象空間也很大。
要知道，從替身到摳像，從人體皮膚的面具到真人倒模，在這些方面，電影的創(chuàng)意可謂層出不窮。
有了Siren之后，你再也不用擔(dān)心這些流量小花鮮肉的演技了，形象掃一掃，剩下的表情驅(qū)動(dòng)請(qǐng)交給真正的“演技派”。
當(dāng)然對(duì)于老藝術(shù)家，我們也可以在他們年輕時(shí)，用數(shù)字化技術(shù)將他們定格在最美的時(shí)候，讓他們的才華在藝術(shù)作品中以最鮮活的姿態(tài)存在。
除了成為“復(fù)刻”的明星，Siren本身是不是也可以成為全能偶像？
完全可以啊。初音未來多火不用說，洛天依的名字你想必也不陌生，那么對(duì)于更真實(shí)的Siren，潛力更是無限。
出個(gè)MV，上綜藝，甚至開演唱會(huì)，代言游戲都不是問題，如果被賦予人工智能，能夠想象的空間足夠大。
你也可以成為虛擬主播？
脫離各種后期加持，無需動(dòng)漫制作，告別濾鏡、醫(yī)美，面對(duì)最考驗(yàn)實(shí)時(shí)技術(shù)的直播，相信Siren小姐姐，也能應(yīng)付自如，不用錄播，人設(shè)就立在那里?？赡苣闼吹降呐許iren背后，驅(qū)動(dòng)的是一個(gè)摳腳大漢呢。
還能變身智能語音助手？
Siren現(xiàn)在還需要真人驅(qū)動(dòng)，未來，是否可以由AI驅(qū)動(dòng)？那么想象家里像《銀翼殺手》里，有一個(gè)虛擬伴侶或助手，想必很奇妙，叫你起床，關(guān)照你增添衣物，家里的一切因?yàn)樗兊檬嫘模杏X擁有了一個(gè)田螺姑娘呢。
“高保真，實(shí)時(shí)渲染，可交互，虛擬數(shù)字人....."
這些技術(shù)亮點(diǎn)背后，是Project Siren背后站著的一群人帶來的嘗試。這群由騰訊互娛事業(yè)群的NEXT Studio 與業(yè)內(nèi)各領(lǐng)域頂尖公司聯(lián)合組成的開發(fā)團(tuán)隊(duì)，正努力鍛造超真實(shí)虛擬偶像的可能性。
未來，充滿不確定性和挑戰(zhàn)，我們期待Siren的再一次“改變”。
轉(zhuǎn)載請(qǐng)?jiān)谖恼麻_頭和結(jié)尾顯眼處標(biāo)注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。
未經(jīng)授權(quán)嚴(yán)禁轉(zhuǎn)載，授權(quán)事宜請(qǐng)聯(lián)系作者本人，侵權(quán)必究。
本文禁止轉(zhuǎn)載，侵權(quán)必究。
授權(quán)事宜請(qǐng)至數(shù)英微信公眾號(hào)(ID: digitaling) 后臺(tái)授權(quán)，侵權(quán)必究。
評(píng)論
評(píng)論
推薦評(píng)論
全部評(píng)論（9條）