最近的研究給出了很多關(guān)于深度網(wǎng)絡(luò)對環(huán)境過于敏感的案例，如將大象放進(jìn)房間。

圖 3：添加遮擋致使深度網(wǎng)絡(luò)失靈。左：用摩托車進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識別為人類。中：用自行車進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識別為人類，而且叢林將網(wǎng)絡(luò)對車把的識別誤導(dǎo)為鳥。右：用吉他進(jìn)行遮擋后，深度網(wǎng)絡(luò)將猴子識別為人類，而且叢林將網(wǎng)絡(luò)對吉他的識別誤導(dǎo)為鳥。

對背景的過度敏感可以歸咎于數(shù)據(jù)集有限的規(guī)模。對于任意的對象，數(shù)據(jù)集中只能包含有限數(shù)量的背景，因此神經(jīng)網(wǎng)絡(luò)存在偏好。

例如，在早期的圖像標(biāo)注數(shù)據(jù)集中，我們觀察到長頸鹿只會出現(xiàn)在樹的附近，因此生成的標(biāo)注沒有提及圖像中沒有樹的長頸鹿，盡管它們是最主要的對象。

對于深度網(wǎng)絡(luò)等數(shù)據(jù)驅(qū)動型方法來說，捕獲背景大量變化的難題以及探索大量噪聲因素的需要是一個很大的問題。確保網(wǎng)絡(luò)可以解決所有這些問題似乎需要無窮大的數(shù)據(jù)集，這又會給訓(xùn)練和測試數(shù)據(jù)集帶來巨大的挑戰(zhàn)。

「大型數(shù)據(jù)集」還不夠大

組合性爆炸

以上所提到的所有問題都未必是深度學(xué)習(xí)的癥結(jié)所在，但它們是真正問題的早期信號。也就是說，現(xiàn)實世界中的圖像數(shù)據(jù)集組合起來非常大，因此無論多大的數(shù)據(jù)集都無法表征現(xiàn)實世界的復(fù)雜性。

組合性大是什么意思？想象一下通過從目標(biāo)字典中選擇目標(biāo)并將它們放在不同的配置中來構(gòu)建一個可視場景。實現(xiàn)這一任務(wù)的方法數(shù)量可以達(dá)到指數(shù)級。

即使是含有單個目標(biāo)的圖像也能擁有類似的復(fù)雜性，因為我們可以用無數(shù)種方法對其進(jìn)行遮擋。其背景也有無數(shù)種變化的可能。

盡管人類能夠自然地適應(yīng)視覺環(huán)境中的種種變化，但深度神經(jīng)網(wǎng)絡(luò)更加敏感、易錯，如圖 3 所示。我們注意到，這種組合性爆炸在一些視覺任務(wù)中可能不會出現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像中的應(yīng)用通常非常成功，因為其背景的變化相對較少（如胰腺和十二指腸總是離得很近）。

但是對于許多應(yīng)用來說，如果沒有一個指數(shù)級的大型數(shù)據(jù)集，我們就無法捕捉到現(xiàn)實世界的復(fù)雜性。

這一缺陷帶來了一些重大問題，因為在有限隨機樣本上進(jìn)行訓(xùn)練、測試模型這一標(biāo)準(zhǔn)范式變得不切實際。這些樣本量永遠(yuǎn)無法大到可以表征數(shù)據(jù)底層分布的程度。因此我們不得不面對以下兩個新問題：

1. 在需要龐大數(shù)據(jù)集才能捕獲現(xiàn)實世界組合復(fù)雜性的任務(wù)中，如何在規(guī)模有限的數(shù)據(jù)集上訓(xùn)練算法才能使其表現(xiàn)良好？

2. 如果只能在有限子集上測試，我們?nèi)绾尾拍苡行y試這些算法以確保它們在龐大數(shù)據(jù)集上表現(xiàn)良好？

克服組合性爆炸

從現(xiàn)有形式來看，深度神經(jīng)網(wǎng)絡(luò)等方法很可能無法克服組合性爆炸這一難題。無論是訓(xùn)練還是測試，數(shù)據(jù)集似乎永遠(yuǎn)不夠大。以下是一些潛在的解決方案。

組合性

組合性是一種基本原則，可以詩意地表述為「一種信仰的體現(xiàn)，相信世界是可知的，人類可以拆解、理解并按照自己的意愿重組事物」。此處的關(guān)鍵假設(shè)在于，結(jié)構(gòu)是分層的，由更基本的子結(jié)構(gòu)按照一組語法規(guī)則組合而成。這意味著，子結(jié)構(gòu)和語法可以從有限的數(shù)據(jù)中習(xí)得，然后泛化到組合的場景中。

與深度網(wǎng)絡(luò)不同，組合性模型（compositional model）需要結(jié)構(gòu)化的表征，這些表征明確地表明其結(jié)構(gòu)和子結(jié)構(gòu)。組合性模型具備超越所見數(shù)據(jù)的推理能力，可以推理系統(tǒng)、進(jìn)行干涉、實施診斷并基于相同的底層知識結(jié)構(gòu)解決許多不同的問題。

Stuart Geman 曾說過，「世界是組合的，或者說上帝是存在的，」否則上帝就要手工焊接人類智能了。盡管深度神經(jīng)網(wǎng)絡(luò)擁有某種形式的復(fù)雜性，如高級特征由來自低級特征的響應(yīng)組合而成，但這并不是本文中提到的組合性。

圖 4：從（a）到（c），可變性遞增并使用了遮擋。（c）是一個龐大的組合數(shù)據(jù)集示例，本質(zhì)上和驗證碼相同。有趣的是，關(guān)于驗證碼的研究表明，組合性模型的性能很好，但深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)卻很差。

圖 4 是關(guān)于組合性的一個示例，與合成分析有關(guān)。

組合性模型的若干概念優(yōu)勢已經(jīng)體現(xiàn)在一些視覺問題中，如使用相同的底層模型執(zhí)行多個任務(wù)和識別驗證碼。其它非視覺示例也表明了相同的論點。

嘗試訓(xùn)練進(jìn)行智商測試的深度網(wǎng)絡(luò)沒有取得成功。這一任務(wù)的目標(biāo)是預(yù)測一個 3x3 網(wǎng)格中缺失的圖像，其它 8 個格子的圖像都已給出，任務(wù)中的底層規(guī)則是組合性的（干擾可以存在）。

相反地，對于一些自然語言應(yīng)用，神經(jīng)模塊網(wǎng)絡(luò)的動態(tài)架構(gòu)似乎足夠靈活，可以捕捉到一些有意義的組合，其性能優(yōu)于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)。

實際上，我們最近證實，經(jīng)過聯(lián)合訓(xùn)練后，各個模塊確實實現(xiàn)了它們預(yù)期的組合功能（如 AND、OR、FILTER(RED) 等）。

組合性模型有很多理想的理論特性，如可解釋、可生成樣本。這使得錯誤更容易診斷，因此它們比深度網(wǎng)絡(luò)等黑箱方法更難被欺騙。

但學(xué)習(xí)組合性模型很難，因為它需要學(xué)習(xí)構(gòu)件和語法（甚至語法的性質(zhì)也是有爭議的）。并且，為了通過合成進(jìn)行分析，它們需要擁有目標(biāo)和場景結(jié)構(gòu)的生成模型。

除了一些例外，如臉、字母和規(guī)則紋理圖像，將分布放在圖像上很難。

更重要的是，處理組合性爆炸需要學(xué)習(xí) 3D 世界的因果模型以及這些模型如何生成圖像。對人類嬰兒的研究表明，他們通過建立預(yù)測所處環(huán)境結(jié)構(gòu)的因果模型來學(xué)習(xí)。

這種因果理解使他們能夠從有限的數(shù)據(jù)中學(xué)習(xí)并泛化到新環(huán)境中。這類似于將牛頓定律和太陽系的托勒密模型進(jìn)行對比，牛頓定律以最少的自由參數(shù)給出了因果理解，而托勒密模型給出了非常準(zhǔn)確的預(yù)測，但需要大量的數(shù)據(jù)來確定其細(xì)節(jié)。

在組合數(shù)據(jù)上測試

在現(xiàn)實世界的組合復(fù)雜度上測試視覺算法的一個潛在挑戰(zhàn)是，我們只能在有限的數(shù)據(jù)上進(jìn)行測試。博弈論通過關(guān)注最壞的案例而不是一般的案例來解決這個問題。

正如我們之前所說的，如果數(shù)據(jù)集沒有捕捉到問題的組合復(fù)雜度，那么一般案例在有限大小數(shù)據(jù)集上的結(jié)果可能沒有意義。

很明顯，如果目標(biāo)是開發(fā)用于自動駕駛汽車或醫(yī)學(xué)圖像中診斷癌癥的視覺算法，那將注意力放在最壞的案例上是有意義的，因為算法的失敗會導(dǎo)致嚴(yán)重的后果。

如果能夠在低維空間中捕捉故障模式，如立體的危險因素，我們就可以用計算機圖形和網(wǎng)格搜索來研究它們。但對于大多數(shù)視覺任務(wù)，尤其是涉及組合數(shù)據(jù)的任務(wù)來說，很難識別出少數(shù)可以被隔離或測試的危險因素。

一個策略是將標(biāo)準(zhǔn)對抗攻擊的概念擴展到包含非局部結(jié)構(gòu)，這可以通過允許導(dǎo)致圖像或場景改變但不會顯著影響人類感知的復(fù)雜操作（如遮擋或改變被觀察物體的物理屬性）來實現(xiàn)。

將這一策略應(yīng)用于處理組合數(shù)據(jù)的視覺算法仍然頗具挑戰(zhàn)性。但，如果在設(shè)計算法時考慮到了組合性，那它們的顯式結(jié)構(gòu)可能使得診斷并確定它們的故障模式成為可能。

小結(jié)

幾年前，Aude Oliva 和 Alan Yuille（一作）共同組織了一場由美國國家科學(xué)基金會資助的計算機視覺前沿研討會（MIT CSAIL 2011）。會議鼓勵大家坦誠交換意見。

與會人員對于深度網(wǎng)絡(luò)在計算機視覺方面的潛力存在巨大分歧。Yann LeCun 大膽預(yù)測，所有人都將很快使用深度網(wǎng)絡(luò)。他的預(yù)測是對的。

深度網(wǎng)絡(luò)的成功令人矚目，還使計算機視覺變得非常熱門，大大增加了學(xué)界和業(yè)界的互動，促使計算機視覺被應(yīng)用于很多領(lǐng)域并帶來很多其它重要的研究成果。

即便如此，深度網(wǎng)絡(luò)還存在巨大挑戰(zhàn)，而我們要實現(xiàn)通用人工智能和理解生物視覺系統(tǒng)，就必須克服這些挑戰(zhàn)。我們的一些擔(dān)憂與最近對深度網(wǎng)絡(luò)的批評中提到的類似。

隨著研究人員開始在越來越現(xiàn)實的條件下處理越來越復(fù)雜的視覺任務(wù)，可以說最嚴(yán)峻的挑戰(zhàn)是如何開發(fā)能夠處理組合性爆炸的算法。

雖然深度網(wǎng)絡(luò)會是解決方案的一部分，但我們認(rèn)為還需要涉及組合原則和因果模型的互補方法，以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外，面對組合性爆炸，我們要再次思考如何訓(xùn)練和評估視覺算法。