計算機與人類視覺有什么差異?如何提高計算機視覺?
據(jù)報道,UCSB研究發(fā)現(xiàn)計算機與人類視覺具有很大的差異,即使機器視覺方面取得了巨大的進步,仍然無法比得上動物在復雜場景的視覺搜索方面的能力,如何用人眼搜索策略提升計算機視覺至關重要。因此,當目標物體與場景的大小不一致時,看漏了目標并不是人類的缺陷;相反,它是一種有用的策略的副產品,即大腦能夠快速減少潛在的干擾物的影響。
在繼續(xù)閱讀之前,請觀察下圖,找出圖中所有的牙刷。
你注意到圖中左邊那支巨大的牙刷了嗎?可能沒有。根據(jù)加州大學圣巴巴拉分校心理學與腦科學系的科學家們的說法,這是因為當人類在尋找一個特定的物體時,經常容易看漏大小與場景的其余部分不相匹配的物體。
加州大學圣巴巴拉分校的研究人員發(fā)現(xiàn),當人類在尋找一個特定的物體時,經常容易看漏大小與場景的其余部分不相匹配的物體。他們研究這一現(xiàn)象,試圖更好地理解人類和計算機在進行視覺搜索時的區(qū)別,提出利用人類的視覺搜索策略提高計算機視覺能力。
當人類在尋找一個特定的物體時,經常容易看漏大小與場景的其余部分不相匹配的物體。
科學家們正在研究這一現(xiàn)象,試圖更好地理解人類和計算機在進行視覺搜索時的區(qū)別。他們的發(fā)現(xiàn)發(fā)表在最新一期 Current Biology 雜志上。
藏在眼皮底下“當某些東西以不同尋常的大小出現(xiàn)時,你會更經常地看漏,因為你的大腦會自動忽略它,”UCSB教授Miguel Eckstein說,他專門研究計算人類視覺(computaTIonal human vision)、視覺注意力和搜索。
該實驗使用的是計算機生成的圖像中的普通物體的場景,這些圖像的顏色、角度和大小不一,并混進“目標缺失”的場景。研究人員要求60名被試者在這些圖像中搜索特定物品(例如:牙刷、停車計時器、鼠標),并使用眼球追蹤軟件監(jiān)控他們的視線。
研究人員發(fā)現(xiàn),當物體大小與尋常大小差別很大(太大或太?。r,人們往往會更容易忽略目標,哪怕他們已經直直地盯著目標對象。
相比之下,根據(jù)科學家們的報告,計算機視覺不會出現(xiàn)這個問題。但是,在實驗中,研究人員發(fā)現(xiàn),最先進的計算機視覺技術——深度神經網絡——也有其自身的局限性。
人類搜索策略可以改進計算機視覺
深度學習算法將紅色框里的鍵盤錯誤地識別為手機(來源:UC Santa Barbara)
例如,一個CNN深度學習神經網絡錯誤地將計算機鍵盤識別為手機,它基于形狀的相似性,以及物體相對手的位置(手機經常被拿在手中)。但對人類來說,這個物體的大小(相對于人的手)顯然與手機是不一致的。
研究人員在論文中指出:“這種策略可以讓人在快速做決策時減少失誤。”
Eckstein說:“我們的想法是,當你第一次看到一個場景時,你的大腦會在幾百毫秒甚至更短的時間里快速處理這個場景的信息,然后你會使用這些信息來引導你尋找物體出現(xiàn)的典型位置。”“同時,你也會把注意力集中在那些與你所尋找的物體大小一致的物體上。”
也就是說,人類的大腦利用物體間的關系來引導他們的眼睛——這是一個快速處理場景信息的有用策略,可以消除干擾,減少誤報。
根據(jù)研究人員的說法,通過利用大腦用來減少誤報的一些技巧,這一發(fā)現(xiàn)可能對改善計算機視覺有所啟發(fā)。
未來的研究Eckstein說:“有一些理論認為,患有自閉癥譜系障礙的人更關注局部的場景信息,而不是整體的結構。”Eckstein正在計劃一項后續(xù)研究,他說:“因此,有一種可能性是,患有自閉癥譜系障礙的人可能更不容易看漏那些被錯誤放大的物體,但在我們進行這項研究之前,尚沒法確定這一點。”
接下來,研究人員將關注當我們看到錯誤放大的物體時發(fā)生的大腦活動。
博士后研究員Lauren Welbourne說:“有許多研究已經確定了大腦中處理場景和物體的區(qū)域,現(xiàn)在研究人員正在努力了解這些場景和物體的哪些特定屬性被呈現(xiàn)給大腦的這些區(qū)域。”目前的研究主要集中在物體是如何在大腦皮層上呈現(xiàn),以及場景背景如何影響物體的感知。
他說:“所以我們要做的是找出這些大腦區(qū)域對在一個場景中正確或錯誤地縮放的物體是如何做出反應的。這可能有助于我們確定哪些區(qū)域對使我們看漏被錯誤放大的物體有影響。”