揭秘:高通驍龍黑科技如何玩轉(zhuǎn)移動(dòng)VR
說(shuō)起虛擬現(xiàn)實(shí)(Virtual Real,VR),筆者曾體驗(yàn)過(guò)HTC VIVE,在耗費(fèi)十分鐘時(shí)間適應(yīng)后就可以愉快玩耍了,但一個(gè)問(wèn)題制約了游戲體驗(yàn)——煩人的連線,不輕的頭盔拖著笨重的長(zhǎng)線嚴(yán)重影響做動(dòng)作,筆者甚至連蹲下射擊都懶得做,別說(shuō)跑動(dòng)、跳躍和緊急閃避了,這讓對(duì)FPS玩家而言原本駕輕就熟的僵尸射擊游戲變成了僵尸塔防。“有無(wú)線VR該多好”,這就是筆者體驗(yàn)過(guò) VIVE后的心聲,也是移動(dòng)領(lǐng)域與VR結(jié)合的價(jià)值所在,而高通(Qualcomm)驍龍?zhí)幚砥髡歇?dú)門技巧讓VR跨入移動(dòng)領(lǐng)域。
玩轉(zhuǎn)移動(dòng)VR 驍龍有先天優(yōu)勢(shì)
在高通驍龍820處理器中Adreno 530 GPU、Hexagon 680 DSP以及Kryo CPU組成全新異構(gòu)計(jì)算“鐵三角”,在此基礎(chǔ)高通加入了Qualcomm Symphony System Manager,以協(xié)調(diào)三者分工。這意味著當(dāng)正確的處理器在處理對(duì)應(yīng)的任務(wù)時(shí),或正確的處理器通過(guò)適當(dāng)?shù)慕M合方式來(lái)處理對(duì)應(yīng)的任務(wù)時(shí),甚至可以實(shí)現(xiàn)更高系統(tǒng)性能,也更加省電。最重要的是,實(shí)現(xiàn)該特性無(wú)需安裝特殊軟件,全部可以依靠底層硬件自動(dòng)完成。在此不妨將驍龍820稱之為“異構(gòu)運(yùn)算樂團(tuán)”,虛擬現(xiàn)實(shí)浸入式體驗(yàn)就是這個(gè)樂團(tuán)合奏的華彩。
過(guò)去,許多人在爭(zhēng)論是否有必要在移動(dòng)端采用2K分辨率。然而進(jìn)入了VR時(shí)代,眼睛距離屏幕從數(shù)米、數(shù)十厘米縮短到只有近視眼鏡的距離。在眼睛距離屏幕只有1至2厘米的時(shí)候,莫說(shuō)2K分辨率是否有必要,4K顯示變得至關(guān)重要。為了保證運(yùn)動(dòng)畫面流暢,在電視上了往往采用了專用集成電路進(jìn)行MEMC(運(yùn)動(dòng)補(bǔ)償),以提高畫面幀速、刷新率。而驍龍820上僅需憑借Adreno 530 GPU高性能,即可實(shí)現(xiàn)4K下的高幀率插入,保證畫面流暢。另外Adreno 530 VPU和DPU帶來(lái)的圖像增強(qiáng)技術(shù)在VR體驗(yàn)中得到發(fā)揮,通過(guò)降噪、分辨率插值、HDR處理等算法改善畫質(zhì),不怕消費(fèi)者拿著高倍放大鏡觀察圖像了。
?。]有4K顯示的VR體驗(yàn)如左圖所示,像素大作戰(zhàn))
?。╒R體驗(yàn)中運(yùn)動(dòng)顯示也是一問(wèn)題,相信沒人愿意觀看左圖的畫面))
?。ˋdreno 530 VPU和DPU對(duì)面面進(jìn)行HDR處理、降噪)
玩過(guò)相機(jī)的都知道變形失真(畸變)和色散是大敵,在VR中則更加突出,因?yàn)閂R需要360度3D環(huán)視,至少是左右眼兩個(gè)畫面的拼合,畸變?cè)酱笫д婢驮酱?,而色散則會(huì)大幅影響清晰度,在驍龍?zhí)幚砥鞯幕冃拚δ芎蜕⒀a(bǔ)償(由Adreno 530 GPU實(shí)現(xiàn))功能的雙重優(yōu)化下可以改善移動(dòng)VR的畫質(zhì)。
僅有漂亮圖像是不夠的,VR體驗(yàn)需要使感官步調(diào)一致,這正是驍龍820異構(gòu)運(yùn)算樂團(tuán)的實(shí)力體現(xiàn)。Qualcomm Immersive Audio技術(shù)能夠提供完全清晰的、讓人感覺身臨其境的音效,而帶有Hexagon矢量擴(kuò)展(HVX)的Qualcomm Hexagon 680 數(shù)字信號(hào)處理器(DSP)采用的傳感器處理,與Adreno 530 GPU的虛擬渲染必須協(xié)同工作,音效、圖傳、傳感器并行才能讓使用者感覺自己環(huán)顧于一個(gè)VR世界中。
另外,移動(dòng)VR對(duì)無(wú)線數(shù)據(jù)傳輸是嚴(yán)苛的考驗(yàn),相對(duì)單純的4K視頻,移動(dòng)VR需要傳輸360度的視覺信息,這對(duì)網(wǎng)絡(luò)帶寬提出了相當(dāng)高的要求。在過(guò)去玩網(wǎng)游的時(shí)候時(shí)延(ping)是游戲體驗(yàn)的核心,在體驗(yàn)VR/AR應(yīng)用時(shí)感覺不適主要也是因?yàn)闀r(shí)延,可靠的高速數(shù)據(jù)傳輸才是真理,想想VIVE那粗壯的連線,不就是為了可靠高速并且低時(shí)延傳輸數(shù)據(jù)么?
這恰恰是驍龍?zhí)幚砥鞯哪檬趾脩?,相?duì)于競(jìng)爭(zhēng)對(duì)手僅在旗艦移動(dòng)處理器實(shí)現(xiàn)了802.11ac標(biāo)準(zhǔn)WiFi,并且不支持MU-MIMO技術(shù),高通從驍龍 820開始就支持802.11ad標(biāo)準(zhǔn)WiFi。在以往WiFi運(yùn)行在2.4GHz與5GHz頻段之上,而802.11ad采用了高頻載波的60GHz頻段,除了帶來(lái)7Gbps高帶寬以滿足VR龐大的傳輸帶寬要求之外,還能有效降低延遲,驍龍820采用802.11ad傳輸VR內(nèi)容時(shí)時(shí)延僅為20毫秒甚至縮短到10毫秒。這意味著當(dāng)用戶帶上驍龍820支持頭戴式VR設(shè)備或是手機(jī)等獨(dú)立裝置時(shí),就能享受到與有線HTC VIVE相似的VR體驗(yàn)。
不在規(guī)格表之上的驍龍黑科技
在實(shí)現(xiàn)VR技術(shù)時(shí)最大挑戰(zhàn)之一是減少輸入動(dòng)作(頭部轉(zhuǎn)動(dòng))與屏幕更新顯示(從刷新的屏幕發(fā)出的光線)之間的時(shí)間,也就是moTIon-to- photon(MTP)時(shí)延。簡(jiǎn)單的說(shuō),傳統(tǒng)VR體驗(yàn)時(shí),眩暈感比在搖晃的公交車上看手機(jī)還嚴(yán)重得多,隨著你的頭部轉(zhuǎn)動(dòng)甚至只是隨便走走,都可能就產(chǎn)生被晃暈的感覺。
所以設(shè)備減少M(fèi)TP時(shí)延是在用戶移動(dòng)保持虛擬世界穩(wěn)定的關(guān)鍵。研究表明,虛擬現(xiàn)實(shí)中良好的用戶體驗(yàn)需要大約20毫秒或更低的MTP時(shí)延。在刷新顯示屏之前需要很多處理步驟:綜合各種慣性傳感器和視覺傳感器進(jìn)行傳感器融合、視圖生成、渲染/解碼和圖像校正進(jìn)行取樣,最后才是刷新顯示屏,鑒于60hz顯示設(shè)備本身就有17毫秒作于的時(shí)延,因此這些操作必須高速完成。
驍龍820 就是可以滿足這一要求的SoC,其異構(gòu)運(yùn)算設(shè)計(jì)可以實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)連接,減少單個(gè)任務(wù)處理的時(shí)延,同時(shí)并行盡量多的任務(wù)得以最大限度減少M(fèi)TP時(shí)延,讓軟件、傳感器和顯示屏在一起和諧運(yùn)作,具有獨(dú)特的優(yōu)勢(shì)以支持出眾的移動(dòng)虛擬現(xiàn)實(shí)體驗(yàn)。此外,高通早已實(shí)現(xiàn)了傳感器接口統(tǒng)一與管理,利于快速反饋數(shù)據(jù)到SoC各個(gè)子處理器當(dāng)中。
驍龍 VR SDK已經(jīng)上路 谷歌Daydream欽定平臺(tái)
虛擬現(xiàn)實(shí)平臺(tái)的一個(gè)關(guān)鍵部分是軟件和工具,Qualcomm Technologies 已經(jīng)公布了基于驍龍820的驍龍VR SDK,驍龍VR SDK將首次支持多項(xiàng)針對(duì)最佳VR用戶體驗(yàn)的、至關(guān)重要的新技術(shù)。它們包括:DSP傳感器融合、快速光子移動(dòng)、支持鏡頭校正的立體渲染、VR圖層以及功耗管理。
其中DSP傳感器融合利用驍龍820中包含的全套技術(shù),該SDK讓開發(fā)者能夠通過(guò)驍龍傳感器內(nèi)核,輕松獲取來(lái)自高頻陀螺儀和加速計(jì)的感應(yīng)數(shù)據(jù),并利用 Hexagon 680 DSP進(jìn)行預(yù)測(cè)性的頭部位置處理,打造具備更佳響應(yīng)性的沉浸式體驗(yàn)??焖俟庾右苿?dòng)針對(duì)MTP時(shí)延的降低,通過(guò)異步時(shí)間扭曲及單顯示緩存,提供快速的3D畫面渲染,能夠減少高達(dá)50%的延遲。
開發(fā)包的誕生意味著移動(dòng)VR開發(fā)者不需要考慮更多復(fù)雜的技術(shù)問(wèn)題,專注內(nèi)容有利于整個(gè)行業(yè)的發(fā)展。谷歌在Google I/O大會(huì)上公布了Daydream虛擬現(xiàn)實(shí)平臺(tái),這是搭建在Android N基礎(chǔ)之上的高性能移動(dòng)虛擬現(xiàn)實(shí)平臺(tái),很可能會(huì)成為世界上最大的虛擬現(xiàn)實(shí)平臺(tái), Daydream智能手機(jī)將搭載驍龍?zhí)幚砥?。驍龍VR SDK就是對(duì)Daydream的補(bǔ)充,可使各OEM廠商利用驍龍異構(gòu)計(jì)算和傳感器引擎的一流虛擬現(xiàn)實(shí)體驗(yàn)?zāi)芰?,進(jìn)一步優(yōu)化虛擬現(xiàn)實(shí)體驗(yàn)。
結(jié)語(yǔ)
移動(dòng)VR已經(jīng)上路,高通和谷歌已經(jīng)為開發(fā)者、廠商準(zhǔn)備軟硬件好了,相信下一個(gè)移動(dòng)VR體驗(yàn)不會(huì)僅僅出現(xiàn)在產(chǎn)品發(fā)布會(huì)上,而是走進(jìn)消費(fèi)者當(dāng)中,而且它將不是一個(gè)簡(jiǎn)單粗暴的智能手機(jī)套VR盒子產(chǎn)品。