哈佛大學(xué)研發(fā)深度傳感器可用于可穿戴設(shè)備及AR/VR
(文章來(lái)源:VR網(wǎng))
受到跳蛛的啟發(fā),哈佛大學(xué)約翰·保爾森工程與應(yīng)用科學(xué)學(xué)院(SEAS)的研究人員開(kāi)發(fā)了一種緊湊而高效的深度傳感器。該傳感器將多功能,扁平的金屬元素與超高效算法結(jié)合在一個(gè)單鏡頭里來(lái)測(cè)量深度??捎糜谖⑿蜋C(jī)器人、小型可穿戴設(shè)備或輕量級(jí)的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)頭盔。
“進(jìn)化產(chǎn)生了各種各樣的光學(xué)配置和視覺(jué)系統(tǒng),而這些光學(xué)配置和視覺(jué)系統(tǒng)是為不同目的量身定制的。而光學(xué)設(shè)計(jì)和納米技術(shù)最終使我們能夠探索人造深度傳感器和其他視覺(jué)系統(tǒng),這些系統(tǒng)同樣具有多樣性和有效性?!闭撐暮现摺⑽锢韺W(xué)博士Zhujun Shi 這樣表示。
當(dāng)今許多深度傳感器,例如手機(jī)、汽車(chē)和視頻游戲機(jī)中的深度傳感器,都使用集成光源和多個(gè)攝像頭來(lái)測(cè)量距離。例如,智能手機(jī)上的人臉識(shí)別使用數(shù)千個(gè)激光點(diǎn)來(lái)映射人臉輪廓,這適用于有足夠空間放置電池和快速電腦的大型設(shè)備,但對(duì)于像智能手表或微型機(jī)器人這樣的功率和計(jì)算能力有限的小型設(shè)備呢?
我們知道,人類使用立體視覺(jué)來(lái)測(cè)量深度,這意味著當(dāng)我們看著一個(gè)物體時(shí),我們的兩只眼睛中的每只正在收集略有不同的圖像。嘗試以下操作:將手指直接放在您的臉部前面,然后交替睜開(kāi)和閉合雙眼。看看手指是如何移動(dòng)的?事實(shí)上,我們的大腦獲取了這兩個(gè)圖像,并逐個(gè)像素地對(duì)其進(jìn)行檢查,然后根據(jù)像素的移動(dòng)方式計(jì)算到手指的距離。
但是,這種匹配計(jì)算,即你獲取兩幅圖像,然后搜索對(duì)應(yīng)的部分,在計(jì)算上是很繁瑣的。人類有一個(gè)很好的、很大的大腦來(lái)進(jìn)行這些計(jì)算,但是蜘蛛沒(méi)有。不過(guò),如今跳蛛已經(jīng)進(jìn)化出一種更有效的深度測(cè)量系統(tǒng):跳蛛的每只主眼都有一些分層排列的半透明視網(wǎng)膜,這些視網(wǎng)膜可測(cè)量具有不同模糊量的多個(gè)圖像。
例如,如果一只跳躍的蜘蛛用一只主眼注視著一只果蠅,那么該果蠅在一個(gè)視網(wǎng)膜的圖像中會(huì)顯得更清晰,而在另一幅視網(wǎng)膜的圖像中則更模糊。正是這種模糊變化編碼了果蠅的飛行距離信息。在機(jī)器視覺(jué)中,這種距離計(jì)算稱為離焦深度。但是到目前為止,要復(fù)制大自然,就需要配備有內(nèi)部動(dòng)力元件的大型攝像頭,這些攝像頭可以隨時(shí)間捕獲不同焦點(diǎn)的圖像。但很明顯,這限制了傳感器的速度和實(shí)際應(yīng)用。
而金屬元素可以解決這一問(wèn)題。該論文的研究人員通過(guò)實(shí)驗(yàn)證明了金屬可以同時(shí)產(chǎn)生包含不同信息的多個(gè)圖像,且在此基礎(chǔ)上,設(shè)計(jì)了可以同時(shí)產(chǎn)生兩個(gè)具有不同模糊度的圖像的金屬材料。該金屬為緊湊的深度傳感而設(shè)計(jì),由亞波長(zhǎng)間隔的方形納米顆粒組成。如下圖所示,通過(guò)交替使用兩種不同的納米圖形(在這里以紅色和藍(lán)色顯示),該金屬同時(shí)形成兩個(gè)圖像。這兩幅圖像模擬了跳蛛眼中分層的視網(wǎng)膜所捕捉到的圖像。
但不同于跳蛛的是,跳蛛是通過(guò)分層的視網(wǎng)膜來(lái)捕獲多個(gè)同時(shí)圖像的,而金屬則可以將光線分開(kāi),并在光敏傳感器上同時(shí)形成兩個(gè)不同的散焦圖像。而在獲取分層圖像后,為解決繁瑣計(jì)算的問(wèn)題,該研究團(tuán)隊(duì)還開(kāi)發(fā)了一種超級(jí)高效的算法,來(lái)解釋這兩幅圖像,并構(gòu)建一個(gè)深度圖來(lái)表示物體距離。
Zickler實(shí)驗(yàn)室研究人員、該論文合著者,博士QiGuo表示:“能夠一起設(shè)計(jì)超表面和計(jì)算算法是非常令人興奮的,這是創(chuàng)建計(jì)算傳感器的新方法,它為許多可能性打開(kāi)了大門(mén)。”金屬透鏡是一項(xiàng)改變游戲規(guī)則的技術(shù),因?yàn)樗麄冇心芰?shí)現(xiàn)現(xiàn)有的和新的光學(xué)功能,比現(xiàn)有的鏡片更有效、更快、更少體積和復(fù)雜性。光學(xué)設(shè)計(jì)和計(jì)算成像技術(shù)的突破使我們研制出了這種新型深度相機(jī),它將為科學(xué)和技術(shù)帶來(lái)廣泛的機(jī)遇。