最近的研究給出了很多關(guān)于深度網(wǎng)絡(luò)對(duì)環(huán)境過于敏感的案例，如將大象放進(jìn)房間。

圖 3：添加遮擋致使深度網(wǎng)絡(luò)失靈。左：用摩托車進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識(shí)別為人類。中：用自行車進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識(shí)別為人類，而且叢林將網(wǎng)絡(luò)對(duì)車把的識(shí)別誤導(dǎo)為鳥。右：用吉他進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識(shí)別為人類，而且叢林將網(wǎng)絡(luò)對(duì)吉他的識(shí)別誤導(dǎo)為鳥。

對(duì)背景的過度敏感可以歸咎于數(shù)據(jù)集有限的規(guī)模。對(duì)于任意的對(duì)象，數(shù)據(jù)集中只能包含有限數(shù)量的背景，因此神經(jīng)網(wǎng)絡(luò)存在偏好。

例如，在早期的圖像標(biāo)注數(shù)據(jù)集中，我們觀察到長(zhǎng)頸鹿只會(huì)出現(xiàn)在樹的附近，因此生成的標(biāo)注沒有提及圖像中沒有樹的長(zhǎng)頸鹿，盡管它們是最主要的對(duì)象。

對(duì)于深度網(wǎng)絡(luò)等數(shù)據(jù)驅(qū)動(dòng)型方法來說，捕獲背景大量變化的難題以及探索大量噪聲因素的需要是一個(gè)很大的問題。確保網(wǎng)絡(luò)可以解決所有這些問題似乎需要無窮大的數(shù)據(jù)集，這又會(huì)給訓(xùn)練和測(cè)試數(shù)據(jù)集帶來巨大的挑戰(zhàn)。

「大型數(shù)據(jù)集」還不夠大

組合性爆炸

以上所提到的所有問題都未必是深度學(xué)習(xí)的癥結(jié)所在，但它們是真正問題的早期信號(hào)。也就是說，現(xiàn)實(shí)世界中的圖像數(shù)據(jù)集組合起來非常大，因此無論多大的數(shù)據(jù)集都無法表征現(xiàn)實(shí)世界的復(fù)雜性。

組合性大是什么意思？想象一下通過從目標(biāo)字典中選擇目標(biāo)并將它們放在不同的配置中來構(gòu)建一個(gè)可視場(chǎng)景。實(shí)現(xiàn)這一任務(wù)的方法數(shù)量可以達(dá)到指數(shù)級(jí)。

即使是含有單個(gè)目標(biāo)的圖像也能擁有類似的復(fù)雜性，因?yàn)槲覀兛梢杂脽o數(shù)種方法對(duì)其進(jìn)行遮擋。其背景也有無數(shù)種變化的可能。

盡管人類能夠自然地適應(yīng)視覺環(huán)境中的種種變化，但深度神經(jīng)網(wǎng)絡(luò)更加敏感、易錯(cuò)，如圖 3 所示。我們注意到，這種組合性爆炸在一些視覺任務(wù)中可能不會(huì)出現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像中的應(yīng)用通常非常成功，因?yàn)槠浔尘暗淖兓鄬?duì)較少（如胰腺和十二指腸總是離得很近）。

但是對(duì)于許多應(yīng)用來說，如果沒有一個(gè)指數(shù)級(jí)的大型數(shù)據(jù)集，我們就無法捕捉到現(xiàn)實(shí)世界的復(fù)雜性。

這一缺陷帶來了一些重大問題，因?yàn)樵谟邢揠S機(jī)樣本上進(jìn)行訓(xùn)練、測(cè)試模型這一標(biāo)準(zhǔn)范式變得不切實(shí)際。這些樣本量永遠(yuǎn)無法大到可以表征數(shù)據(jù)底層分布的程度。因此我們不得不面對(duì)以下兩個(gè)新問題：

1. 在需要龐大數(shù)據(jù)集才能捕獲現(xiàn)實(shí)世界組合復(fù)雜性的任務(wù)中，如何在規(guī)模有限的數(shù)據(jù)集上訓(xùn)練算法才能使其表現(xiàn)良好？

2. 如果只能在有限子集上測(cè)試，我們?nèi)绾尾拍苡行y(cè)試這些算法以確保它們?cè)邶嫶髷?shù)據(jù)集上表現(xiàn)良好？

克服組合性爆炸

從現(xiàn)有形式來看，深度神經(jīng)網(wǎng)絡(luò)等方法很可能無法克服組合性爆炸這一難題。無論是訓(xùn)練還是測(cè)試，數(shù)據(jù)集似乎永遠(yuǎn)不夠大。以下是一些潛在的解決方案。

組合性

組合性是一種基本原則，可以詩意地表述為「一種信仰的體現(xiàn)，相信世界是可知的，人類可以拆解、理解并按照自己的意愿重組事物」。此處的關(guān)鍵假設(shè)在于，結(jié)構(gòu)是分層的，由更基本的子結(jié)構(gòu)按照一組語法規(guī)則組合而成。這意味著，子結(jié)構(gòu)和語法可以從有限的數(shù)據(jù)中習(xí)得，然后泛化到組合的場(chǎng)景中。

與深度網(wǎng)絡(luò)不同，組合性模型（compositional model）需要結(jié)構(gòu)化的表征，這些表征明確地表明其結(jié)構(gòu)和子結(jié)構(gòu)。組合性模型具備超越所見數(shù)據(jù)的推理能力，可以推理系統(tǒng)、進(jìn)行干涉、實(shí)施診斷并基于相同的底層知識(shí)結(jié)構(gòu)解決許多不同的問題。

Stuart Geman 曾說過，「世界是組合的，或者說上帝是存在的，」否則上帝就要手工焊接人類智能了。盡管深度神經(jīng)網(wǎng)絡(luò)擁有某種形式的復(fù)雜性，如高級(jí)特征由來自低級(jí)特征的響應(yīng)組合而成，但這并不是本文中提到的組合性。

圖 4：從（a）到（c），可變性遞增并使用了遮擋。（c）是一個(gè)龐大的組合數(shù)據(jù)集示例，本質(zhì)上和驗(yàn)證碼相同。有趣的是，關(guān)于驗(yàn)證碼的研究表明，組合性模型的性能很好，但深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)卻很差。

圖 4 是關(guān)于組合性的一個(gè)示例，與合成分析有關(guān)。

組合性模型的若干概念優(yōu)勢(shì)已經(jīng)體現(xiàn)在一些視覺問題中，如使用相同的底層模型執(zhí)行多個(gè)任務(wù)和識(shí)別驗(yàn)證碼。其它非視覺示例也表明了相同的論點(diǎn)。

嘗試訓(xùn)練進(jìn)行智商測(cè)試的深度網(wǎng)絡(luò)沒有取得成功。這一任務(wù)的目標(biāo)是預(yù)測(cè)一個(gè) 3x3 網(wǎng)格中缺失的圖像，其它 8 個(gè)格子的圖像都已給出，任務(wù)中的底層規(guī)則是組合性的（干擾可以存在）。

相反地，對(duì)于一些自然語言應(yīng)用，神經(jīng)模塊網(wǎng)絡(luò)的動(dòng)態(tài)架構(gòu)似乎足夠靈活，可以捕捉到一些有意義的組合，其性能優(yōu)于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)。

實(shí)際上，我們最近證實(shí)，經(jīng)過聯(lián)合訓(xùn)練后，各個(gè)模塊確實(shí)實(shí)現(xiàn)了它們預(yù)期的組合功能（如 AND、OR、FILTER(RED) 等）。

組合性模型有很多理想的理論特性，如可解釋、可生成樣本。這使得錯(cuò)誤更容易診斷，因此它們比深度網(wǎng)絡(luò)等黑箱方法更難被欺騙。

但學(xué)習(xí)組合性模型很難，因?yàn)樗枰獙W(xué)習(xí)構(gòu)件和語法（甚至語法的性質(zhì)也是有爭(zhēng)議的）。并且，為了通過合成進(jìn)行分析，它們需要擁有目標(biāo)和場(chǎng)景結(jié)構(gòu)的生成模型。

除了一些例外，如臉、字母和規(guī)則紋理圖像，將分布放在圖像上很難。

更重要的是，處理組合性爆炸需要學(xué)習(xí) 3D 世界的因果模型以及這些模型如何生成圖像。對(duì)人類嬰兒的研究表明，他們通過建立預(yù)測(cè)所處環(huán)境結(jié)構(gòu)的因果模型來學(xué)習(xí)。

這種因果理解使他們能夠從有限的數(shù)據(jù)中學(xué)習(xí)并泛化到新環(huán)境中。這類似于將牛頓定律和太陽系的托勒密模型進(jìn)行對(duì)比，牛頓定律以最少的自由參數(shù)給出了因果理解，而托勒密模型給出了非常準(zhǔn)確的預(yù)測(cè)，但需要大量的數(shù)據(jù)來確定其細(xì)節(jié)。

在組合數(shù)據(jù)上測(cè)試

在現(xiàn)實(shí)世界的組合復(fù)雜度上測(cè)試視覺算法的一個(gè)潛在挑戰(zhàn)是，我們只能在有限的數(shù)據(jù)上進(jìn)行測(cè)試。博弈論通過關(guān)注最壞的案例而不是一般的案例來解決這個(gè)問題。

正如我們之前所說的，如果數(shù)據(jù)集沒有捕捉到問題的組合復(fù)雜度，那么一般案例在有限大小數(shù)據(jù)集上的結(jié)果可能沒有意義。

很明顯，如果目標(biāo)是開發(fā)用于自動(dòng)駕駛汽車或醫(yī)學(xué)圖像中診斷癌癥的視覺算法，那將注意力放在最壞的案例上是有意義的，因?yàn)樗惴ǖ氖?huì)導(dǎo)致嚴(yán)重的后果。

如果能夠在低維空間中捕捉故障模式，如立體的危險(xiǎn)因素，我們就可以用計(jì)算機(jī)圖形和網(wǎng)格搜索來研究它們。但對(duì)于大多數(shù)視覺任務(wù)，尤其是涉及組合數(shù)據(jù)的任務(wù)來說，很難識(shí)別出少數(shù)可以被隔離或測(cè)試的危險(xiǎn)因素。

一個(gè)策略是將標(biāo)準(zhǔn)對(duì)抗攻擊的概念擴(kuò)展到包含非局部結(jié)構(gòu)，這可以通過允許導(dǎo)致圖像或場(chǎng)景改變但不會(huì)顯著影響人類感知的復(fù)雜操作（如遮擋或改變被觀察物體的物理屬性）來實(shí)現(xiàn)。

將這一策略應(yīng)用于處理組合數(shù)據(jù)的視覺算法仍然頗具挑戰(zhàn)性。但，如果在設(shè)計(jì)算法時(shí)考慮到了組合性，那它們的顯式結(jié)構(gòu)可能使得診斷并確定它們的故障模式成為可能。

小結(jié)

幾年前，Aude Oliva 和 Alan Yuille（一作）共同組織了一場(chǎng)由美國國家科學(xué)基金會(huì)資助的計(jì)算機(jī)視覺前沿研討會(huì)（MIT CSAIL 2011）。會(huì)議鼓勵(lì)大家坦誠交換意見。

與會(huì)人員對(duì)于深度網(wǎng)絡(luò)在計(jì)算機(jī)視覺方面的潛力存在巨大分歧。Yann LeCun 大膽預(yù)測(cè)，所有人都將很快使用深度網(wǎng)絡(luò)。他的預(yù)測(cè)是對(duì)的。

深度網(wǎng)絡(luò)的成功令人矚目，還使計(jì)算機(jī)視覺變得非常熱門，大大增加了學(xué)界和業(yè)界的互動(dòng)，促使計(jì)算機(jī)視覺被應(yīng)用于很多領(lǐng)域并帶來很多其它重要的研究成果。

即便如此，深度網(wǎng)絡(luò)還存在巨大挑戰(zhàn)，而我們要實(shí)現(xiàn)通用人工智能和理解生物視覺系統(tǒng)，就必須克服這些挑戰(zhàn)。我們的一些擔(dān)憂與最近對(duì)深度網(wǎng)絡(luò)的批評(píng)中提到的類似。

隨著研究人員開始在越來越現(xiàn)實(shí)的條件下處理越來越復(fù)雜的視覺任務(wù)，可以說最嚴(yán)峻的挑戰(zhàn)是如何開發(fā)能夠處理組合性爆炸的算法。

雖然深度網(wǎng)絡(luò)會(huì)是解決方案的一部分，但我們認(rèn)為還需要涉及組合原則和因果模型的互補(bǔ)方法，以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外，面對(duì)組合性爆炸，我們要再次思考如何訓(xùn)練和評(píng)估視覺算法。