一款受跳蛛啟發(fā)而研發(fā)的深度傳感器
當(dāng)今大多數(shù)深度傳感器都使用集成光源和多個攝像頭來測量距離。例如,智能手機(jī)的面容ID利用數(shù)千個激光點(diǎn)來映射人臉輪廓。這適用于搭載電池組件和快速計算組件的大型設(shè)備,但是對于功率和計算量有限的小型設(shè)備(如智能手表或微型機(jī)器人)呢?結(jié)果表明,生物進(jìn)化提供了大量的選擇。生物進(jìn)化是一個令人沉醉的領(lǐng)域,而這方面的研究同時啟發(fā)了一系列的科技進(jìn)步。以跳蛛為例,盡管大腦細(xì)小,但其依然具備令人印象深刻的深度感知能力,這使得它們能夠精確地突擊毫無戒心的獵物。
跳蛛進(jìn)化出了一種有效的深度感知系統(tǒng),這使得它們能夠精確地突擊毫無戒心的獵物。受其啟發(fā),哈佛大學(xué)約翰·保爾森工程與應(yīng)用科學(xué)學(xué)院的研究人員開發(fā)了一種緊湊而高效的深度傳感器,并可用于微型機(jī)器人,小型可穿戴設(shè)備,或輕型虛擬現(xiàn)實/增強(qiáng)現(xiàn)實頭顯。這款組件將多功能扁超透鏡與超高效算法結(jié)合在了一起,只需單次捕獲即可測量深度。
論文第一作者、物理系博士后Zhujun Shi表示:“生物進(jìn)化產(chǎn)生了各種各樣的光學(xué)配置和視覺系統(tǒng),而它們都是針對不同的目的量身定制。光學(xué)設(shè)計和納米技術(shù)終于允許我們探索具有類似多樣性和效能的人造深度傳感器和其他視覺系統(tǒng)。”完整論文已發(fā)布在《Proceedings of the National Academy of Sciences》。
人類通過立體視覺來測量深度,這意味著當(dāng)我們看著一個對象時,兩只眼睛正在采集略有不同的圖像。請嘗試如下操作:將手指直接放在眼前,然后睜開和閉合雙眼。這時請留意手指位置的微妙變化?大腦會對兩個圖像進(jìn)行逐像素檢查,然后根據(jù)像素的移動方式計算手指的距離。電氣工程和計算機(jī)科學(xué)教授Todd Zickler和Ami Kuan Danoff指出:“這種匹配計算需要大量的計算負(fù)擔(dān)。人類擁有一個優(yōu)秀的巨大腦袋來應(yīng)付這種計算,但蜘蛛沒有。”
跳蛛進(jìn)化出出一種更為有效的深度測量系統(tǒng)。每只主眼都具有一些分層排列的半透明視網(wǎng)膜,它們可以測量具有不同模糊量的多個圖像。例如,如果一只跳蛛用一只主眼看著一只果蠅,一個視網(wǎng)膜的果蠅會顯得更清晰,而另一個視網(wǎng)膜的果蠅則會變得模糊。這種模糊變化能夠編碼有關(guān)跳躍距離的信息。在計算機(jī)視覺中,這種距離計算稱為離焦深度。但要復(fù)刻大自然,你需要搭載電動組件,并且可以隨時間變化捕獲不同焦點(diǎn)圖像的大型攝像頭。這限制了傳感器的速度和實際應(yīng)用。這時,超透鏡派上了用場。
Capasso解釋說:“超透鏡是一種顛覆性的技術(shù),因為它們能夠更有效,更快速地實現(xiàn)現(xiàn)有和全新的光學(xué)功能,而且體積和復(fù)雜性要小得多。融合光學(xué)設(shè)計和計算成像方面的突破,我們開發(fā)出了這款新型深度攝像頭,而它將為科學(xué)和技術(shù)領(lǐng)域帶來廣泛的機(jī)遇。”值得一提的是,這份研究得到了美國空軍科學(xué)研究所和美國國家科學(xué)基金會的支持。
應(yīng)用物理學(xué)教授Federico Capasso及其實驗室已經(jīng)證明,超透鏡可以同時產(chǎn)生包含不同信息的多個圖像。以這項研究作為基礎(chǔ),Zhujun Shi團(tuán)隊設(shè)計了可以同時產(chǎn)生兩個具有不同模糊度的圖像的超透鏡。
超透鏡(中間)捕獲3D場景的圖像,如放置在不同位置的蠟燭火焰(左),并利用受跳蛛眼睛啟發(fā)的高效計算機(jī)視覺算法來生成深度圖(右)。深度圖的顏色表示對象距離。較近和較遠(yuǎn)的對象分別著色為紅和藍(lán)。同屬于Capasso實驗室的Zhujun Shi表示:“不是像跳蛛那樣使用分層的視網(wǎng)膜來捕獲多個同時的圖像,超透鏡將光線分開,并在一個光電傳感器上并排形成兩個散焦不同的圖像。”然后,Zickler小組開發(fā)的超高效算法將解釋這兩個圖像并構(gòu)建一個用來表示對象距離的深度圖。同屬于Zickler實驗室的博士后Qi Guo指出:“能夠一起設(shè)計超表面和計算算法令人感到非常興奮。這是創(chuàng)建計算傳感器的新方法,它為許多可能性打開了大門。”