英偉達Project Holodeck虛擬場景,用AI實現(xiàn)虛擬場景真實化
一年一度的北京國際廣播電影電視展(下文簡稱“BIRTV 2017”)可以說是廣播電視行業(yè)的技術(shù)風(fēng)向標(biāo),而在今年第26屆BIRTV上,我們印象中的顯卡廠商英偉達帶來了諸多的驚喜。
在BIRTV 2017上,,英偉達展示旗下一系列適用于傳媒娛樂領(lǐng)域各類專業(yè)工作流程的GPU渲染和VR技術(shù),包括NVIDIA Quadro視覺計算設(shè)備 (VCA) 、以及基于NVIDIA Quadro專業(yè)圖像解決方案的8K視頻實時編輯、VR 全景實時渲染等。
同時,他們現(xiàn)場演示了之前推出的Project Holodeck、以及合作伙伴Foundry公司的NUKE特效合成軟件和MODO高級三維建模軟件。
在此前的SIGGRAPH 2017上,英偉達就已經(jīng)展示他們基于人工智能的強大圖像渲染能力,而在娛樂傳媒領(lǐng)域,神經(jīng)網(wǎng)絡(luò)和人工智能正在改變傳統(tǒng)的影像內(nèi)容制作。比如神經(jīng)網(wǎng)絡(luò)會自動根據(jù)場景描述生成場景圖片,模仿各種藝術(shù)家的風(fēng)格,將普通的圖片內(nèi)容轉(zhuǎn)化為相對應(yīng)的風(fēng)格。
在BIRTV 2017上,英偉達中國區(qū)業(yè)務(wù)拓展總監(jiān)何猶卿介紹了他們具有強大光線追蹤功能的OptiX 5.0,“在NVIDIA DGX Station上運行OptiX 5.0,能夠為設(shè)計師、藝術(shù)家和其他內(nèi)容創(chuàng)作者提供相當(dāng)于150個基于標(biāo)準(zhǔn)CPU服務(wù)器的渲染能力。”
另外借助英偉達 GPU和深度學(xué)習(xí),能夠在保證計算機運行速度和性能的同時,更輕松地實現(xiàn)逼真的影視特效效果,實現(xiàn)更快地渲染圖像。在一些細節(jié)工作上,英偉達還通過大量的視頻文本訓(xùn)練,讓CG角色直接模仿出現(xiàn)實中人說話的微表情動作變化,不再需要后期人員再一幀幀的自己制作。
為VR而生的NVIDIA 360 Video SDK
在虛擬現(xiàn)實方面,NVIDIA 也一直致力于幫內(nèi)容開發(fā)者更快、更高效地利用GPU制作出更好的VR內(nèi)容,這其中不得不提到他們的VRWorks SDK。VRWorks SDK主要包括四個方面的內(nèi)容:360 video、圖像渲染、音效、物理特性和觸感。
英偉達的業(yè)務(wù)人員在BIRTV 2017上著重介紹了360度視頻捕捉方面的內(nèi)容。英偉達于去年SIGGRAPH 2016時推出了LIVE 360 MONO,今年SIGGRAPH 2017上推出了LIVE 360 STEREO,相比較只能實現(xiàn)單聲道的MONO,“STEREO相當(dāng)于兩只眼睛的視覺渲染,達到更有沉浸感的效果。”
而VRWorks 360 Video SDK支持實時&離線視頻拼接、Mono和Stereo方案、最高支持32路的4K視頻輸入。
目前,內(nèi)容制作者可以去英偉達官網(wǎng)下載360 Video SDK。
多人協(xié)作虛擬環(huán)境Project Holodeck
在展位現(xiàn)場,英偉達還設(shè)置了專門的Project Holodeck體驗間。
今年5月推出的Project Holodeck類似于一個虛擬現(xiàn)實環(huán)境,它讓參觀者親自體驗其如何幫助創(chuàng)意工作者將高保真、全分辨率的模型導(dǎo)入到虛擬現(xiàn)實系統(tǒng),并融合視覺、聽覺和觸覺等現(xiàn)實體驗,從而提供逼真的協(xié)作型工作場景。
相比較我們現(xiàn)在的虛擬內(nèi)容,Project Holodeck可以根據(jù)物理條件去模擬出包括觸覺在內(nèi)的一些物理特效,比如讓你摸到的東西是有真實物理觸覺反饋。在現(xiàn)場演示的“超跑demo”中,該汽車有五千多萬個面組成,在虛擬環(huán)境中,你可以隨意調(diào)整汽車的顏色、測量車輪的大小,甚至是解剖整個汽車的零部件等。
既然是多人協(xié)作的虛擬工作環(huán)境,英偉達的工作人員表示只要網(wǎng)絡(luò)條件允許,再加上一臺強力的NVIDIA機器加速,就能實現(xiàn)異地協(xié)同工作。
所以Project Holodeck可以解決VR里面實時操作、多人協(xié)同的問題。雖然現(xiàn)階段的開發(fā)版本只針對汽車制造業(yè)。但是實際上未來是可以應(yīng)用于更多有此類需求的其他領(lǐng)域,例如建筑行業(yè),讓更多行業(yè)領(lǐng)域從業(yè)者能夠從其中受益。