多年以前,一個叫做頭戴顯示的技術(HMD),開啟了從真實世界去感知虛擬世界的途徑,其中包括兩項很重要的人機交互技術:虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)。現(xiàn)今,不管是VR還是AR,都非常強調用戶的交互性,因此自然也離不開各式各樣的傳感器。與智能手機等傳統(tǒng)硬件對比,VR/AR產品同樣集成了視覺傳感、體感識別、眼球追蹤、觸覺反饋等等一系列對周圍環(huán)境感知,并進而對用戶形成動作反饋,完成用戶視覺、聽覺、觸覺、嗅覺等全部的人體感知體驗。小編今天就給大家講講在VR眼球追蹤技術上,小而美的一些初創(chuàng)公司帶給我們如何的驚喜。
一、七鑫易維VR眼球追蹤模組——aGlass
七鑫易維眼球追蹤模組aGlass
七鑫易維,據(jù)說是全球最早做到Full FOV Tracking的眼球追蹤技術公司。在去年11月2日的時候,發(fā)布了全球首款VR眼球追蹤模組aGlass。
VR行業(yè)發(fā)展的痛點很多,其中影響較大的因素之一就是對高清視頻的渲染?,F(xiàn)階段,VR界對高清視頻只能做到局部渲染,并且要求硬件配置很高,下面以Oculus Rift視頻渲染為例子:用戶需要配備1000美金以上的計算機才能正常運行, Nvidia GeForce 970或AMD Radeon 290顯卡的成本就達300美金,而這僅僅只是渲染1k分辨率的視頻。目前,VR結合眼球追蹤進行局部渲染技術是解決VR硬件配置價格高一個非常好的方案。七鑫易維發(fā)布的這套眼球追蹤模組aGlass,擁有注視點渲染的技術特性,可以使得在同等硬件性能條件下,使渲染效率提高7倍以上,節(jié)省87%的像素數(shù)據(jù)量。
同樣的,aGlass還擁有“全場視角追蹤、高精度、低延遲”等技術優(yōu)勢,還支持視力矯正鏡片,近視客戶可配備適合自己的鏡片;免工具拆裝,使用簡易便捷; 100-380 Hz的刷新率,適應各種使用情況。
目前,眼球追蹤模組aGlass已支持HTC Vive、Oculus Rift等VR頭戴產品,用于提升用戶的VR體驗。
眼控瞄準(飛行類游戲)
眼球追蹤模組aGlass技術解析:
1.全視場角追蹤 垂直30°,水平50°,覆蓋FOV大于110°的主流VR設備,追蹤范圍廣,可以無死角覆蓋整個VR顯示屏幕,在國際范圍內都屬首創(chuàng)。
2.高精度低延遲 在VR游戲中,對眼控操作的精確度和實時性要求非常高,目前我們的追蹤速度可達240Hz,延遲低于5ms。
3.防抖追蹤算法 VR設備使用時需要佩戴在頭上,大部分VR應用都需要頭部運動的配合,頭動會造成VR設備和眼睛的相對位移,這種狀態(tài)下獲得的眼動數(shù)據(jù)無疑對硬件和算法有很大的挑戰(zhàn)。我們通過精確的防抖算法,用戶在使用的過程中即使頭動也不會影響眼球追蹤的精度。
已運用眼球追蹤模組aGlass的HTC Vive消費級頭盔
二、Fove被動式眼球追蹤技術
Fove VR
早在2014年,隨著當時三星Gear VR推出,基于虛擬現(xiàn)實技術的產品也在市場上也越來越多。位于位于東京的初創(chuàng)公司Fove也想藉此火上一把,當時結合公司原有資源,順勢推出了Fove VR頭盔。據(jù)悉,F(xiàn)ove VR是全球第一款使用眼球追蹤技術的消費級顯示設備。
與其他虛擬現(xiàn)實(VR)頭盔相通之處,兩者都擁有3D立體畫面顯示、配備頭部運動追蹤功能,不同的是,F(xiàn)ove VR首創(chuàng)了VR界眼球追蹤技術,例如在游戲體驗中,F(xiàn)ove VR可以方便游戲玩家通過追蹤雙眼視線移動位置,而直接以視線瞄準游戲中的人物角色。
Fove VR眼球追蹤實現(xiàn)原理:在Fove VR頭顯鏡片的下方,嵌入了兩個紅外攝像頭,設備可以根據(jù)反射光線計算眼睛的傾斜角度,從而追蹤用戶瞳孔活動。目前,還需要進行視線校準,戴上頭顯后,需要跟隨屏幕上的白點移動下。
Fove VR擁有360度視角,結合了眼球和頭部位置追蹤,定位傳感等技術,讓用戶可以用眼睛控制顯示器。在其他虛擬現(xiàn)實世界中,所有的景像都很清晰,但FOVE VR能追蹤用戶的視點,然后讓圖像處理引擎調整焦點,在虛擬世界中實現(xiàn)景深效果。
據(jù)悉,F(xiàn)ove VR使用了非干擾性紅外眼球追蹤技術,延時低,精確度高,也不會干擾用戶視覺。Fove VR這項技術讓使用者在畫面中精確定位目標,并能立即進行鎖定,相比使用鼠標鍵盤操作起來也會更加便捷。
Fove VR顯示器技術規(guī)格
Fove VR市場上的主要競爭對手包括Oculus Rift和索尼PS VR,F(xiàn)ove并不會直面與它們進行競爭,而是展開更大的虛擬現(xiàn)實市場,同樣,有傳Fove與微軟進行合作,把該技術整合在微軟Xbox硬件中。
三、SMI公司“注視點渲染技術”
“注視點渲染技術”模擬人眼對焦情況
在2016年初CES展會上,專注跟蹤人眼技術公司SMI給我們展示了一種模擬人類視覺的“注視點渲染技術”,把虛擬現(xiàn)實的視覺技術推向一個具有劃時代意義的新高度。 據(jù)悉,“注視點渲染技術”通過模擬人眼視物的對焦情況,對視野畫面中的視覺中心、視覺邊緣和中間過渡區(qū)分別進行100%、20%和60%的分辨率的渲染,以減少VR硬件的運算量。
“注視點渲染技術”能夠運用當今的GPU、CPU技術做出非常逼真渲染的體驗。這項技術恰好利用人類視覺來簡化需要渲染到屏幕的內容。在凝視聚焦的畫面中央,也就是視網膜中心的部分,畫面會很清晰,“注視點渲染技術”利用低延遲眼部追蹤跟蹤人眼的中央凹,只渲染用戶聚焦的圖像的全分辨率。這樣做的目的是,大幅減少了電腦渲染的內容,同時能讓硬件實現(xiàn)更好的性能。
針對渲染分辨率達不到人眼速率上,SMI使用低延時程序,配合250Hz刷新率攝像頭,讓“注視點渲染技術”在速率上也達到了精確于跳式眼球的測量標準。
在會上,SMI“注視點渲染技術”只展示結合到Oculus Rift DK1和DK2升級套件中的眼部跟蹤,但今后可能還會改變。SMI方面表示,“基于目前的VR技術尚且無法實現(xiàn)‘注視點渲染技術’,在第二代的虛擬現(xiàn)實頭顯中,所有產品將有望結合眼球追蹤技術為用戶提供更好的沉浸式體驗。”
結合SMI公司注視點渲染技術的Oculus Rift DK2