VR技術(shù)賦予視障人士辨別方向和物體識(shí)別的能力
計(jì)算機(jī)有視覺(jué)而人沒(méi)有,我們?yōu)槭裁床辉噲D讓前者幫助后者呢?或許這就CARA背后的主旨,CARA 是加州理工學(xué)院開(kāi)發(fā)的一款新的 HoloLens 應(yīng)用程序。
該軟件借助 HoloLens 的深度感知能力,使用計(jì)算機(jī)視覺(jué)算法掃描環(huán)境并識(shí)別物體。然后,該應(yīng)用程序向視力受損的用戶(hù)告知物體的存在,使用空間音頻讓用戶(hù)確定物體在他們空間中的相對(duì)位置。
加州理工學(xué)院(Caltech)生物科學(xué)教授、神經(jīng)生物學(xué)執(zhí)行官馬庫(kù)斯 · 梅斯特(Markus Meister)博士和本杰明 · f · 比亞吉尼(Benjamin f. Biaggini)博士在一份聲明中表示:“想象一下,在這個(gè)世界里你周?chē)械奈矬w都有聲音,都能和你說(shuō)話(huà)。無(wú)論你注視著什么,你關(guān)注的不同物體都會(huì)被激活,并對(duì)你說(shuō)出它們的名字。你能想象在這樣一個(gè)世界里四處走動(dòng),完成一些我們通常使用視覺(jué)系統(tǒng)完成的任務(wù)嗎?這就是我們?cè)谶@里所做的——為物體賦予聲音。”
Cara 是由研究生 Yang Liu 領(lǐng)導(dǎo)的科學(xué)家團(tuán)隊(duì)在 Meister 的實(shí)驗(yàn)室開(kāi)發(fā)的,可以提供了幾種模式來(lái)幫助使用者。當(dāng) HoloLens 掃描環(huán)境時(shí),系統(tǒng)的聚光模式可以根據(jù)用戶(hù)的視線(xiàn)來(lái)識(shí)別物體,而Scan模式則可以從左到右來(lái)識(shí)別物體。
研究小組通過(guò)設(shè)計(jì)一條通往加州理工學(xué)院貝克曼行為生物學(xué)大樓的路線(xiàn)來(lái)測(cè)試這個(gè)應(yīng)用程序。在使用Cara 系統(tǒng)時(shí),每個(gè)測(cè)試對(duì)象都成功地根據(jù)HoloLens的導(dǎo)航走出迷宮。 此外,研究小組還設(shè)計(jì)了一個(gè)虛擬現(xiàn)實(shí)環(huán)境,作為其他研究人員評(píng)估自己輔助設(shè)備的考試。
該應(yīng)用程序仍在開(kāi)發(fā)中,目前的工作包括改進(jìn)和加強(qiáng)計(jì)算機(jī)視覺(jué)算法。這個(gè)團(tuán)隊(duì)設(shè)想在銀行、酒店和商店等場(chǎng)所部署軟件來(lái)幫助客戶(hù)瀏覽他們的環(huán)境。Meister 、 Liu以及合著者、南加州大學(xué)的博士后學(xué)者 Noelle Stiles,在一篇名為《AR為盲人提供認(rèn)知幫助的能力》的研究論文中詳細(xì)說(shuō)明了該研究小組的發(fā)現(xiàn)。
去年,游戲開(kāi)發(fā)者 Javier Davalos 用 HoloLens 創(chuàng)造了一個(gè)類(lèi)似的概念驗(yàn)證。他的版本也使用環(huán)境掃描識(shí)別表面和空間音頻給用戶(hù)提示他們的相對(duì)位置,但不是以口述識(shí)別的對(duì)象的形式:演示應(yīng)用程序會(huì)在用戶(hù)接近障礙物的時(shí)候增強(qiáng)音量,并發(fā)出警報(bào)。
我們很欣喜的看到,越來(lái)越多的從事增強(qiáng)現(xiàn)實(shí)和視覺(jué)輔助工具應(yīng)用的公司在用各種技術(shù)來(lái)幫助殘疾人。比如,此外VR網(wǎng)曾報(bào)道過(guò)的紐約大學(xué)的學(xué)生團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)可以實(shí)時(shí)翻譯手語(yǔ)的應(yīng)用程序,甚至 Magic Leap 也獲得了類(lèi)似的專(zhuān)利技術(shù)。與此同時(shí),Starks 的AR耳機(jī)也可以通過(guò)頭戴式顯示器為聽(tīng)力受損的人提供字幕。經(jīng)常有人把增強(qiáng)現(xiàn)實(shí)描述為給普通人“超能力”,如果你了解自己的超級(jí)英雄傳說(shuō),這可能是件好事,當(dāng)然也可能是件壞事。但是現(xiàn)在,為了給那些沒(méi)有擁有能力的人提供虛擬視覺(jué)的禮物,至少我們?cè)谟眠@些能力做好事。