隨著其他虛擬現(xiàn)實(shí)頭盔制造商有望為其即將推出的機(jī)型帶來(lái)面部和眼球追蹤功能，HTC希望通過(guò)為其Vive Focus 3提供新的配件來(lái)保持步伐。該公司表示，這些附件將提供 “更自然和沉浸式的VR體驗(yàn)”，并實(shí)現(xiàn)無(wú)障礙功能，如凝視控制。

99美元的面部追蹤器使用一個(gè)單聲道相機(jī)，從佩戴者的嘴唇、下巴、臉頰、下巴、牙齒和舌頭捕捉表情。其目的是在化身上實(shí)時(shí)復(fù)制用戶的 “逼真的面部表情和嘴部動(dòng)作”。

宏達(dá)電表示，面部追蹤器具有60Hz的追蹤率，并能 “以最小的延遲使嘴唇與聲音同步”--該系統(tǒng)的響應(yīng)時(shí)間低于10毫秒。該設(shè)備可插入耳機(jī)的USB-C接口，重量約為11.6克，所以它應(yīng)該不會(huì)給你的腦袋帶來(lái)負(fù)擔(dān)。

至于售價(jià)249美元的眼部追蹤器，它有一個(gè)雙攝像頭系統(tǒng)，可以捕捉到目光的方向和來(lái)源，眨眼以及你的瞳孔大小和位置。它的重量約為54克，以磁力吸附在耳機(jī)上。宏達(dá)電指出，“真實(shí)的 ”眼睛活動(dòng)可以改善VR中的非語(yǔ)言互動(dòng)。更重要的是，眼球追蹤模塊可用于研究目的。

該公司建議，演講輔導(dǎo)、培訓(xùn)和客戶服務(wù)管理是很好的使用案例。今年早些時(shí)候，HTC為頭盔發(fā)布了一個(gè)腕部追蹤器配件，它補(bǔ)充說(shuō)，眼睛和面部追蹤可能有助于促進(jìn)在虛擬社交環(huán)境中更好地參與，如活動(dòng)、遠(yuǎn)程會(huì)議和閑逛。

這些附件甚至可能被用于動(dòng)作捕捉，以幫助在電視、電影和游戲中對(duì)角色的面部進(jìn)行動(dòng)畫處理。宏達(dá)電表示，在Vive Wave SDK和即將推出的OpenXR支持的幫助下，開(kāi)發(fā)者可以將用戶的生物識(shí)別數(shù)據(jù)整合到應(yīng)用程序中。此外，還有Unity、虛幻游戲引擎和Native的整合。

人臉識(shí)別，是基于人的面部特征進(jìn)行身份識(shí)別的生物識(shí)別技術(shù)，可以被用來(lái)解鎖智能手機(jī)，提供對(duì)建筑物的安全訪問(wèn)，并加快機(jī)場(chǎng)的護(hù)照檢查等。現(xiàn)在，人臉識(shí)別在VR中也有應(yīng)用。

來(lái)自澳大利亞、新西蘭和印度的國(guó)際研究小組將人臉識(shí)別技術(shù)提升到一個(gè)新的水平，利用人的表情在VR環(huán)境中操縱物體，無(wú)需使用手持控制器或觸摸板。

在由昆士蘭大學(xué)領(lǐng)導(dǎo)的一項(xiàng)世界首創(chuàng)的研究中，人機(jī)交互專家使用神經(jīng)處理技術(shù)來(lái)捕捉一個(gè)人微笑、皺眉和咬緊牙關(guān)時(shí)的樣子，并使用每種表情來(lái)觸發(fā)VR環(huán)境中的特定動(dòng)作。

研究人員稱，系統(tǒng)已被設(shè)計(jì)為通過(guò)腦電圖(EEG)耳機(jī)識(shí)別不同的面部表情。微笑用來(lái)觸發(fā)“移動(dòng)”命令，皺眉觸發(fā)“停止”命令，咬緊牙關(guān)觸發(fā)“行為”命令，以此代替手持控制器執(zhí)行這些動(dòng)作。

研究人員設(shè)計(jì)三個(gè)虛擬環(huán)境，快樂(lè)、中性和恐懼，并測(cè)量每個(gè)人沉浸在每個(gè)場(chǎng)景時(shí)的認(rèn)知狀態(tài)和生理狀態(tài)。通過(guò)再現(xiàn)微笑、皺眉和咬緊牙關(guān)這三種普遍的面部表情，探索環(huán)境變化是否會(huì)觸發(fā)三種表情中的一種。

例如，在快樂(lè)環(huán)境中，參與者的任務(wù)是穿過(guò)公園，用網(wǎng)捕捉蝴蝶。用戶微笑時(shí)移動(dòng)，皺眉時(shí)停止;在中性環(huán)境中，參與者的任務(wù)是在車間里穿梭，撿起散落在各處的物品。咬緊牙關(guān)會(huì)觸發(fā)一個(gè)動(dòng)作，這里是撿起物品，而開(kāi)始和停止的命令是由微笑和皺眉觸發(fā);在可怕的環(huán)境中也采用了同樣的面部表情，參與者在地下基地中穿梭，射擊僵尸。

總體而言，雖然手持控制器的性能可能會(huì)更好，因?yàn)樗鼈儽让娌勘砬楦庇^。但是參與者表示，感覺(jué)更沉浸在面部表情控制的VR體驗(yàn)中。

最后，研究人員表示，這項(xiàng)技術(shù)也可用于補(bǔ)充手持式控制器，在那里面部表情是一種更自然的互動(dòng)形式。此外，還將允許殘疾人(包括截肢者和運(yùn)動(dòng)神經(jīng)元疾病患者)在VR中進(jìn)行免提交互。

為了使虛擬現(xiàn)實(shí)(VR)體驗(yàn)高度可信，F(xiàn)acebook Reality Labs(FRL)的研究人員開(kāi)發(fā)了一種名為“Codec Avatars”的系統(tǒng)，使VR用戶能夠與他人互動(dòng)，同時(shí)精確地表現(xiàn)自己的形象實(shí)時(shí)動(dòng)畫。Facebook的研究科學(xué)家Shih-En Wei說(shuō)：“我們的工作證明，可以精確地從緊密安裝在VR頭顯上的攝像頭制作逼真的化身。”

研究人員配置了一個(gè)帶有最少傳感器的頭顯，用于面部捕捉，系統(tǒng)可以在VR中實(shí)現(xiàn)雙向，真實(shí)的社交互動(dòng)。該團(tuán)隊(duì)表示，VR系統(tǒng)可以使用最少的頭顯攝像頭(HMC)精確跟蹤用戶的實(shí)時(shí)面部表情，從而以非常詳細(xì)的個(gè)人形象為頭像設(shè)置動(dòng)畫。

通過(guò)使用每個(gè)像素比較轉(zhuǎn)換后的圖像，不僅僅是面部特征以及3D化身的渲染，我們可以通過(guò)可微分渲染在跟蹤頭顯的圖像和3D化身的狀態(tài)之間進(jìn)行精確映射。

在映射建立后，訓(xùn)練神經(jīng)網(wǎng)絡(luò)從實(shí)時(shí)的最小一組攝像機(jī)圖像中預(yù)測(cè)人臉參數(shù)。除了為VR中的化身設(shè)置動(dòng)畫外，F(xiàn)acebook團(tuán)隊(duì)還在構(gòu)建系統(tǒng)，使人們能夠通過(guò)一些圖像或視頻快速輕松地創(chuàng)建自己的頭像。

Facebook團(tuán)隊(duì)將在7月28日至8月1日期間在洛杉磯舉行的“SIGGRAPH 2019”上展示他們的VR實(shí)時(shí)面部動(dòng)畫系統(tǒng)。

研究人員還將展示人工智能(AI)技術(shù)。網(wǎng)絡(luò)(GAN)執(zhí)行一致的多視圖圖像樣式轉(zhuǎn)換，以自動(dòng)將HMC紅外圖像轉(zhuǎn)換為看起來(lái)像呈現(xiàn)的化身，但具有與VR用戶相同的面部表情的圖像。

，近期Facebook也公布了一項(xiàng)基于容積捕捉的動(dòng)態(tài)全身虛擬形象方案：可感知驅(qū)動(dòng)信號(hào)的全身動(dòng)態(tài)虛擬形象系統(tǒng)。其特點(diǎn)是采用一個(gè)根據(jù)條件變化的自動(dòng)編碼模型，可以將姿態(tài)、面部關(guān)鍵點(diǎn)等不完整的驅(qū)動(dòng)信號(hào)轉(zhuǎn)化成動(dòng)畫數(shù)據(jù)，生動(dòng)且逼真的體現(xiàn)人體結(jié)構(gòu)和動(dòng)態(tài)外觀變化。

實(shí)際上，全身動(dòng)態(tài)形象生成所面臨的困難是，包括面部在內(nèi)的全身動(dòng)作捕捉信息不完整，因此通過(guò)解析動(dòng)捕系統(tǒng)獲得驅(qū)動(dòng)信號(hào)，來(lái)實(shí)現(xiàn)更加通用的全身動(dòng)態(tài)模型效果。此外，還結(jié)合潛在空間模型，來(lái)捕捉動(dòng)態(tài)虛擬形象所需的其余信息。利用驅(qū)動(dòng)數(shù)據(jù)，該方案生成的變分模型將包含一小部分由缺失數(shù)據(jù)組成的不確定內(nèi)容，然后通過(guò)算法來(lái)預(yù)測(cè)和分配這一部分的數(shù)據(jù)。