眼球追蹤、注視點渲染（Foveated rendering ）被許多VR硬件技術(shù)廠商視為下一代VR頭顯的突破口。眼球追蹤顧名思義，而注視點渲染可以根據(jù)人眼的注視過程，為用戶最佳視覺點（fovea）呈現(xiàn)清晰精準(zhǔn)的畫面，而周邊視覺范圍則是更簡單、更模糊的畫面。日前，F(xiàn)acebook現(xiàn)實實驗室的工程師們提出了DeepFovea，一種人工智能輔助的替代方案，可以創(chuàng)建“半透明化的外圍視頻”，而不是實際呈現(xiàn)精確的外圍圖像。這個新過程被稱為“凹形重建”，F(xiàn)acebook表示，它可以將RGB視頻壓縮14多倍，且用戶感知到的畫面質(zhì)量沒有顯著下降。

上圖：DeepFovea使用人工智能“重建”外圍像素，且不會出現(xiàn)保真度丟失的情況，節(jié)省了相當(dāng)多的處理時間。

在捕捉視頻流時，DeepFovea只對每個視頻幀中10%的像素進(jìn)行采樣，主要集中在（但不全是）用戶眼睛注視的區(qū)域，如上圖中的蜥蜴頭。相比之下，周邊區(qū)域僅由分散的點采樣，這些分散的點離眼睛的注視區(qū)域越遠(yuǎn)，密度越小。然后，系統(tǒng)使用訓(xùn)練有素的生成對抗神經(jīng)網(wǎng)絡(luò)從這些小型樣本中重建每一幀畫面，同時依靠視頻流的時間和空間內(nèi)容穩(wěn)定地填充視頻細(xì)節(jié)。

如上圖所示，未完全采樣的蜥蜴頭在幀與幀之間基本上無法區(qū)分，而“重建”圖像中相鄰的樹皮沒有“參考”像素那么清晰和詳細(xì)。但事實并非如此。傳統(tǒng)的注視點渲染系統(tǒng)將這些像素描繪成低分辨率的平面陰影塊，而DeepFovea保留了，或者說更準(zhǔn)確地保留了更多的原始形狀和顏色。

與注視點渲染相比，DeepFovea的關(guān)鍵之處是更好地組合了電源效率和圖像質(zhì)量。Facebook聲稱，渲染減少14倍，這意味著它將能夠向以依賴凝視檢測的顯示器提供實時、低延遲的視頻——這是構(gòu)建輕量級VR和AR頭顯的必要步驟，顯示原來在云空間中呈現(xiàn)的高分辨率圖形。人們認(rèn)為全天佩戴的Oculus AR頭顯不切實際，除非移動芯片在實時3D地圖上的功耗能大幅降低，像我們觀看流媒體視頻時的功耗一樣。

Facebook的Michael Abrash首次暗示了DeepFovea背后的概念：在未來五年內(nèi)把以深度學(xué)習(xí)為基礎(chǔ)的注視點渲染和良好的眼球追蹤結(jié)合在一起，從而實現(xiàn)更高分辨率的VR頭顯，比如“Half Dome”原型。在今年的OC6大會上，Abrash表示，公司將在自己的辦公室里測試下一代的Half Dome硬件，然后再將其向公眾展示。