VR可以說是當下最火熱的科技趨勢之一，但VR音頻技術卻從沒有在專業(yè)音頻領域獲得熱捧。雖然音頻技術幾乎是和視頻服務一起進入市場，但在VR游戲、VR電影等中的表現(xiàn)卻遠不如畫面更“吸睛”。

這么久以來，VR音頻這個概念一直都不溫不火。無論是CD、SACD音樂、黑膠唱片還是流媒體音樂服務使用的都是較為傳統(tǒng)的立體聲音頻技術。這幾年，盡管有類似純音頻藍光環(huán)繞技術、雙聲道錄制技術、宣稱能真實還原家庭影院級的環(huán)繞聲體驗等的不斷出現(xiàn)，但并不能讓大眾發(fā)現(xiàn)其在技術上有什么較大的突破。

雖然早在2010年，配備Realiser A8處理器的耳機確實有著強大的空間定位能力，并能做出令人震撼的聲音效果，但遺憾的是，其生產商已經不再生產這一產品。

如此一來，VR音頻的身影也變得越發(fā)莫測了起來，仿佛越來越沒了存在感。難道說，VR音頻就要這樣涼涼了么？

斯坦福研發(fā)全息聲音合成系統(tǒng)，自動渲染動畫聲音

而就在近日，斯坦福新開發(fā)出的一項有關聲音的新技術，又將VR音頻帶回了大家眼前。斯坦福研究人員通過計算快速移動和震動表面所產生的壓力波，開發(fā)出了一款全息聲音合成系統(tǒng)。斯坦福方面宣稱該系統(tǒng)可以自動為計算機動畫渲染逼真的聲音。

對于這個新系統(tǒng)，斯坦福大學計算機科學系的Doug James教授說道：“我們可以用物理和計算機圖形為場景制作動畫。在此之前，行業(yè)內的技術無法為復雜的動畫內容生成逼真又同步的聲音，比如說濺水或碰撞物體。而此時，該系統(tǒng)填補了技術上的這一空白。”

通過幾何和物理運動，系統(tǒng)可以計算出每個對象的振動，以及如何像揚聲器那樣通過振動來激發(fā)聲波。其能計算由快速移動和震動表面拋出的壓力波，但不能復制室內聲學。因此，盡管不能在宏偉的大教堂中重現(xiàn)回聲，但該系統(tǒng)可以實現(xiàn)各種其他情況下的聲音。例如，鈸相撞、顛倒的碗旋轉到停止、往杯子里倒?jié)M水、虛擬人物用擴音器說話等。

由此方法產生的模擬聲音將非常的逼真。該系統(tǒng)顧及到了動畫中每個對象所產生的聲波，同時還能預測這些聲波，在場景中與其他對象和聲波相互作用，將會產生什么樣的彎曲、反彈或削弱的效果。斯坦福方面表示，許多的測試都表明了該系統(tǒng)生成的聲音都十分讓人震撼。

但這項系統(tǒng)也有令人遺憾的地方。其仍難以逼真的模擬出，那些復雜對象間相互作用所發(fā)出的聲音。對此，斯坦福研究小組也坦言，這需要他們繼續(xù)投入研究來找到應對的解決方案。

其實相較于視覺，人們在聽覺上并沒有那么敏感。很多時候，在畫面與聲音同步進行的情況下，人們更容易在畫面中獲取到較多的信息，從而忽略了一些聲音上的細節(jié)。那么，是不是說明VR音頻就不重要了呢？

答案顯然是否定的。對于VR中的音頻處理，小編認為大家需要用一種新的思考方式。過于逼真的聲音確實不適合所有的承載模式。比如在影院中，當觀眾面對著2D視頻，然而聲音卻從四面八法而來，這確實會分散觀眾的注意力，并讓其產生對視頻內容的不解。

但是，VR頭顯的出現(xiàn)，改變了這一切。研究顯示，逼真的音頻是在VR中建立臨場感的重要先決條件。通過VR頭顯，用戶可以轉向任何方向，并看到一個連續(xù)的視覺場景。視覺上連續(xù)的場景與環(huán)繞式聲音，兩者共同構建了一個VR系統(tǒng)。也正因此，才有望為用戶提供一個更接近現(xiàn)實的臨場感。

而為了追求好的臨場感、現(xiàn)場感，其必不可少的就是交互性。當用戶佩戴上頭顯，其至少轉頭會看到不同的全景內容，聲音也隨之變化。類似于在游戲里邊，玩家從一個房間進入到另外一個房間，聽到從同一個點發(fā)出的聲音都應該是不一樣的。這和視覺的變化其實差不多。正是由于這些交互特性的引入使得真實性的提升，也證明了VR音頻的存在是很有必要的。

VR音頻就是需要通過交互來給用戶一個更好的臨場感。另外很重要的一點，開發(fā)者通過VR音頻可以更方便的展現(xiàn)自己的意圖。用戶還可以通過聲音來更好地理解開發(fā)者想表達的意思。相反，如果沒有聲音的提示，那么觀眾在觀看的時候是完全按照自己的喜好，邊看視頻邊猜測視頻到底在表達什么。

很顯然，這是非常沒有效率的。而但凡是國外那些拍得非常好的VR作品，無一例外其聲音效果都做得非常棒。依賴于VR音頻，這些視頻將更有目的性的去引導觀眾觀看內容。這樣一來，也讓視頻作品更具有了節(jié)奏感。

在VR中，用戶處于場景中心，可以自主選擇觀看的方向和角度。用戶想要通過頭顯加耳機的方式感受VR體驗，就需要在雙聲道立體聲輸出的耳機上聽到來自各個方向的聲音。另一方面，用戶時常需要來回轉動頭部或有大幅度的身體運動，因此還要考慮身體結構對于聲音的影響。如此一來，就需要解決兩個關鍵的問題，一個是怎么放，另一個是怎么聽。

首先，聲音怎么放？開發(fā)者在VR中制作聲音時，就要以用戶為中心，在整個球形的區(qū)域內安排聲音位置。當其確定某一方向為基準后，畫面內容與用戶位置也就相對確定了。以此來定位的話，既有水平方向的環(huán)繞聲，也有了垂直方向上的聲音。通過水平轉動和垂直轉動這兩個參數，開發(fā)者就能控制視角在360度球形范圍的朝向，以及隨時與畫面配合的聲音的變化。

另一方面，用戶只有一副耳機，該如何實現(xiàn)電影院里杜比全景聲的效果呢？這里面用到一項技術叫做HRTF（Head-related Transfer Function，頭部傳送函數），該技術能夠計算并模擬出聲音從某一方向傳來以及移動變化時的效果，有點類似于一個濾波器。其對原始聲音進行頻段上的調整，使其能更接近人耳接收到的聽感效果，并通過耳機來回放。

而基于這樣的原理，有不少的廠商已經進行了嘗試來創(chuàng)造VR中的音頻。

Valve曾收購了音效公司Impulsonic，Impulsonic有一個基于物理的聲音傳播和3D音頻解決方案，名為“Phonon”。去年，Valve開放了Photon音效工具的后續(xù)產物Steam Audio SDK。該方案能夠通過空間音效增強VR沉浸體驗，允許游戲的音頻與場景幾何體建立交互與反彈回音，從而增強體驗。Steam Audio支持Windows、Linux、macOS和安卓等多個平臺，也不局限于特定的VR設備和Steam。

2017年，谷歌也與音頻公司Firelight和AudiokineTIc合作，推出了一個VR音頻插件。開發(fā)者利用該插件可以根據虛擬空間大小、材料以及對象位置的改變來調整聲音，營造更加逼真的氛圍。該插件可以無縫集成到Unity和Unreal引擎中，使用時開發(fā)者只需要對3D音頻進行簡單調節(jié)，能夠很輕易地創(chuàng)造空間音頻。

與英偉達類似，2016年8月，AMD曾發(fā)布了一項名為TrueAudio Next的實時動態(tài)聲音渲染技術，讓虛擬現(xiàn)實中的聲音和畫面更為同步。該技術同樣使用物理方式模擬，讓渲染的聲音無限接近真實環(huán)境的聲音，在虛擬建模中進行多次反射，利用Radeon Rays光線追蹤技術讓系統(tǒng)辨別VR空間布局并定位空間中的物體。AMD已將該技術開源。

到2016年5月，NVIDIA推出了一個專門用于VR場景，并是基于物理技術的聲學仿真技術“VRWorks Audio”。該技術借鑒了光線追蹤渲染的思路，充分考慮了3D場景的渲染，通過將音頻交互映射到3D場景中的物體上，使音頻聽起來更加自然。

用戶不斷移動，能夠聽到回聲的變化以及帶來的空間感，除了能夠判斷聲音是由該物體發(fā)出之外，還能判斷出物體的方向、遠近等等更多的信息。

早在2014年，Oculus就已授權VisiSonic的RealSpace 3D音頻技術，并將其融入Oculus Audio SDK中。通過跟蹤器上所發(fā)來的空間信息來處理聲音信息，讓聽者覺得該聲音是從這個物體中發(fā)出來的。這項技術非常依賴定制的HRTF，通過耳機來再現(xiàn)精準的空間定位。

已有的技術確實可以實現(xiàn)VR音頻，用戶也可通過其辨別方向和距離。但是VR音頻技術要求的，不僅僅只是提供環(huán)境中物體的位置信息，而是需要能反饋出更多的空間環(huán)境狀態(tài)。

以游戲為例，當場景中的光線越來越暗，玩家的視覺必定受到限制，這個時候就要靠音頻來確定環(huán)境狀態(tài)。腳步聲、風聲、動物的叫聲等都能為玩家提供信息，誘導其下一步的行動和交互。因此，精準有效的音頻技術在VR中特別重要，不僅僅是游戲、視頻，在其他例如教育、社交等領域，VR音頻技術還需要進一步的成熟。