一款受跳蛛啟發(fā)而研發(fā)的深度傳感器
當(dāng)今大多數(shù)深度傳感器都使用集成光源和多個(gè)攝像頭來測(cè)量距離。例如,智能手機(jī)的面容ID利用數(shù)千個(gè)激光點(diǎn)來映射人臉輪廓。這適用于搭載電池組件和快速計(jì)算組件的大型設(shè)備,但是對(duì)于功率和計(jì)算量有限的小型設(shè)備(如智能手表或微型機(jī)器人)呢?結(jié)果表明,生物進(jìn)化提供了大量的選擇。生物進(jìn)化是一個(gè)令人沉醉的領(lǐng)域,而這方面的研究同時(shí)啟發(fā)了一系列的科技進(jìn)步。以跳蛛為例,盡管大腦細(xì)小,但其依然具備令人印象深刻的深度感知能力,這使得它們能夠精確地突擊毫無戒心的獵物。
跳蛛進(jìn)化出了一種有效的深度感知系統(tǒng),這使得它們能夠精確地突擊毫無戒心的獵物。受其啟發(fā),哈佛大學(xué)約翰·保爾森工程與應(yīng)用科學(xué)學(xué)院的研究人員開發(fā)了一種緊湊而高效的深度傳感器,并可用于微型機(jī)器人,小型可穿戴設(shè)備,或輕型虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)頭顯。這款組件將多功能扁超透鏡與超高效算法結(jié)合在了一起,只需單次捕獲即可測(cè)量深度。
論文第一作者、物理系博士后Zhujun Shi表示:“生物進(jìn)化產(chǎn)生了各種各樣的光學(xué)配置和視覺系統(tǒng),而它們都是針對(duì)不同的目的量身定制。光學(xué)設(shè)計(jì)和納米技術(shù)終于允許我們探索具有類似多樣性和效能的人造深度傳感器和其他視覺系統(tǒng)。”完整論文已發(fā)布在《Proceedings of the National Academy of Sciences》。
人類通過立體視覺來測(cè)量深度,這意味著當(dāng)我們看著一個(gè)對(duì)象時(shí),兩只眼睛正在采集略有不同的圖像。請(qǐng)嘗試如下操作:將手指直接放在眼前,然后睜開和閉合雙眼。這時(shí)請(qǐng)留意手指位置的微妙變化?大腦會(huì)對(duì)兩個(gè)圖像進(jìn)行逐像素檢查,然后根據(jù)像素的移動(dòng)方式計(jì)算手指的距離。電氣工程和計(jì)算機(jī)科學(xué)教授Todd Zickler和Ami Kuan Danoff指出:“這種匹配計(jì)算需要大量的計(jì)算負(fù)擔(dān)。人類擁有一個(gè)優(yōu)秀的巨大腦袋來應(yīng)付這種計(jì)算,但蜘蛛沒有。”
跳蛛進(jìn)化出出一種更為有效的深度測(cè)量系統(tǒng)。每只主眼都具有一些分層排列的半透明視網(wǎng)膜,它們可以測(cè)量具有不同模糊量的多個(gè)圖像。例如,如果一只跳蛛用一只主眼看著一只果蠅,一個(gè)視網(wǎng)膜的果蠅會(huì)顯得更清晰,而另一個(gè)視網(wǎng)膜的果蠅則會(huì)變得模糊。這種模糊變化能夠編碼有關(guān)跳躍距離的信息。在計(jì)算機(jī)視覺中,這種距離計(jì)算稱為離焦深度。但要復(fù)刻大自然,你需要搭載電動(dòng)組件,并且可以隨時(shí)間變化捕獲不同焦點(diǎn)圖像的大型攝像頭。這限制了傳感器的速度和實(shí)際應(yīng)用。這時(shí),超透鏡派上了用場(chǎng)。
Capasso解釋說:“超透鏡是一種顛覆性的技術(shù),因?yàn)樗鼈兡軌蚋行?,更快速地?shí)現(xiàn)現(xiàn)有和全新的光學(xué)功能,而且體積和復(fù)雜性要小得多。融合光學(xué)設(shè)計(jì)和計(jì)算成像方面的突破,我們開發(fā)出了這款新型深度攝像頭,而它將為科學(xué)和技術(shù)領(lǐng)域帶來廣泛的機(jī)遇。”值得一提的是,這份研究得到了美國空軍科學(xué)研究所和美國國家科學(xué)基金會(huì)的支持。
應(yīng)用物理學(xué)教授Federico Capasso及其實(shí)驗(yàn)室已經(jīng)證明,超透鏡可以同時(shí)產(chǎn)生包含不同信息的多個(gè)圖像。以這項(xiàng)研究作為基礎(chǔ),Zhujun Shi團(tuán)隊(duì)設(shè)計(jì)了可以同時(shí)產(chǎn)生兩個(gè)具有不同模糊度的圖像的超透鏡。
超透鏡(中間)捕獲3D場(chǎng)景的圖像,如放置在不同位置的蠟燭火焰(左),并利用受跳蛛眼睛啟發(fā)的高效計(jì)算機(jī)視覺算法來生成深度圖(右)。深度圖的顏色表示對(duì)象距離。較近和較遠(yuǎn)的對(duì)象分別著色為紅和藍(lán)。同屬于Capasso實(shí)驗(yàn)室的Zhujun Shi表示:“不是像跳蛛那樣使用分層的視網(wǎng)膜來捕獲多個(gè)同時(shí)的圖像,超透鏡將光線分開,并在一個(gè)光電傳感器上并排形成兩個(gè)散焦不同的圖像。”然后,Zickler小組開發(fā)的超高效算法將解釋這兩個(gè)圖像并構(gòu)建一個(gè)用來表示對(duì)象距離的深度圖。同屬于Zickler實(shí)驗(yàn)室的博士后Qi Guo指出:“能夠一起設(shè)計(jì)超表面和計(jì)算算法令人感到非常興奮。這是創(chuàng)建計(jì)算傳感器的新方法,它為許多可能性打開了大門。”