更酷的XR:Unity Qualcomm 3D音頻插件
付出辛苦努力將Unity中的擴(kuò)展現(xiàn)實(shí)(XR)項(xiàng)目盡可能開發(fā)得栩栩如生,但是,您不想讓聲音也能令人身臨其境嗎?畢竟,用戶的眼睛陶醉于六個(gè)自由度(6DoF)的同時(shí),他們的耳朵不也應(yīng)該享受同樣的快感嗎?用戶轉(zhuǎn)動(dòng)頭部或眼睛時(shí),游戲畫面看起來不同,那么,聲音也應(yīng)當(dāng)聽起來不一樣。
我們剛剛發(fā)布了Unity Qualcomm? 3D音頻插件,這是一款雙聲道空間音頻插件,可用于創(chuàng)建XR(包括AR和VR)體驗(yàn)和游戲。利用插件,您可以很輕松地將逼真的音頻添加到VR頭顯中逼真的視頻中,這樣,聲音就能像在現(xiàn)實(shí)環(huán)境中那樣傳遞到用戶的耳中。而且,如果這些頭顯搭載了Qualcomm 驍龍? 835或驍龍845移動(dòng)處理器,您還可以將任務(wù)從CPU卸載到DSP,以節(jié)省電量。
如何用Unity Qualcomm 3D音頻插件制作更酷的XR?
不論您是剛開始進(jìn)行新的XR項(xiàng)目,還是希望將現(xiàn)有項(xiàng)目中數(shù)百個(gè)單聲道聲音轉(zhuǎn)換為空間音頻,您都可以在Unity界面利用這個(gè)插件的音頻功能來實(shí)現(xiàn)。
· 多達(dá)64個(gè)同步空間音頻對(duì)象——假設(shè)您將用戶帶入?yún)擦汁h(huán)境中。昆蟲啁啾,鳥兒歌唱,各種動(dòng)物的叫聲,樹葉沙沙作響,腳下的植物被踩后發(fā)出嘎吱嘎吱地聲響。XR體驗(yàn)中的每個(gè)元素都可以擁有一組不同的位置和聲音。
· 兩個(gè)同步環(huán)繞聲場(chǎng)(Ambisonic)——Ambisonic是使用一階球諧函數(shù)對(duì)任意數(shù)量的聲音進(jìn)行編碼和解碼的一種方式,整個(gè)音景聽起來跟隨著您的頭部轉(zhuǎn)動(dòng),不僅有水平環(huán)繞聲音,還可以聽到上下前后的聲音。以上述叢林環(huán)境為例,本插件提供了Ambisonic聲場(chǎng),可以為你添加的空間音頻對(duì)象提供逼真的周圍環(huán)境。一般來說,和許多獨(dú)立的空間音頻對(duì)象相比,從Ambisonics構(gòu)建出逼真的氛圍,性能損耗更少,開發(fā)時(shí)間更短。
· 高質(zhì)量的聲音和運(yùn)動(dòng)到聲音的低延遲——用戶看到和聽到的之間有一絲延遲都是XR開發(fā)者的噩夢(mèng)。本插件旨在減少音頻和視頻之間的延遲。還提供直接渲染,實(shí)現(xiàn)較低的信噪比和逼真的方向感知。
· 可定制的鞋盒(shoebox)混響——聲音在不同表面(木頭、石塊、金屬)上有不同的回響。本插件允許在移動(dòng)時(shí),比如說從狹窄的混凝土隧道移動(dòng)到開闊地帶時(shí),改變回聲和聲音反射。
· 支持?jǐn)?shù)字信號(hào)處理器(DSP)——在搭載驍龍835或驍龍845移動(dòng)平臺(tái)的設(shè)備上,可以選擇將混響卸載到DSP,以降低功耗并節(jié)約CPU周期,處理其他任務(wù)。
這些功能加在一起可以打造出可靠的聲音體驗(yàn),與XR游戲和應(yīng)用中的視覺體驗(yàn)相匹配。
使用3D音頻插件進(jìn)行開發(fā)
本插件兼容Android、Windows 7(32位或64位)和Windows 10(64位)的Unity版本2017.1.0f3和2017.2.0f3。
當(dāng)然,Unity的成功很大一部分在于允許您使用Windows、MacOS或Linux工作站開發(fā)游戲,然后就可以部署到PS4、Xbox 360、Android等平臺(tái)。這樣,在使用3D音頻插件時(shí),只要維護(hù)一個(gè)Unity項(xiàng)目;不必維護(hù)項(xiàng)目各單獨(dú)版本,不論是否有插件。在不支持的平臺(tái)上,您可以禁用本插件;禁用時(shí)消耗的資源量幾乎可以忽略不計(jì)。
在一個(gè)包含數(shù)百種聲音的大型項(xiàng)目中,添加空間音頻、混響和Ambisonic聲場(chǎng)等功能需要大量的手動(dòng)轉(zhuǎn)換工作。您也可以將項(xiàng)手動(dòng)工作自動(dòng)化,但勢(shì)必又增加了一項(xiàng)開發(fā)工作。即使項(xiàng)目不打算用于VR或使用空間音頻,3D音頻插件也可以轉(zhuǎn)換現(xiàn)有項(xiàng)目中任意數(shù)量的音頻源。您可以使用插件創(chuàng)建Q3DAudioGlobalSettings對(duì)象,該對(duì)象可以自動(dòng)檢測(cè)有單聲道音頻片斷的音頻源,然后將其轉(zhuǎn)換為3D音頻聲音對(duì)象。
構(gòu)建時(shí),您可以選擇在ARM CPU上運(yùn)行或卸載到DSP。這意味著您不必完全聽信我們所說的卸載到DSP可以節(jié)省電量的話;兩種方式您都可以嘗試,然后決定哪一種更好。
已經(jīng)在用Qualcomm 3D音頻工具套件開發(fā)項(xiàng)目了嗎?如果答案是肯定的話,您會(huì)很高興知道,我們創(chuàng)建插件時(shí)結(jié)合了該套件2.0版本,而且,我們音頻軟件的發(fā)布與VR頭顯和芯片的發(fā)布一致。
接下來
項(xiàng)目中的聲音設(shè)計(jì)是構(gòu)建可信、逼真的6DoF體驗(yàn)和游戲的重要一環(huán),因此,空間音頻可以讓您的XR項(xiàng)目脫穎而出。
現(xiàn)在,Qualcomm開發(fā)者網(wǎng)絡(luò)可以應(yīng)要求提供Unity Qualcomm 3D音頻插件。您會(huì)發(fā)現(xiàn)它提供了比Daydream更好的Unity工作流程,在驍龍835和845上的性能更佳。
您可以在移動(dòng)世界大會(huì)和游戲開發(fā)者大會(huì)上找到我們。我們將在現(xiàn)場(chǎng)向您介紹如何使用插件在XR和游戲項(xiàng)目中實(shí)現(xiàn)與視頻相匹配的沉浸體驗(yàn)。