深度學習雖然到現(xiàn)在依然火熱，Gary Marcus 卻向我們潑了冷水，Gary Marcus 表示別忽視深度學習的種種問題，其實深度學習的現(xiàn)狀一點都不樂觀，我們還有許多的難題沒有解決，學到的知識并不深入而且很難遷移。

紐約大學心理學教授 Gary Marcus 曾是 Uber 人工智能實驗室的負責人，他自己創(chuàng)立的人工智能創(chuàng)業(yè)公司 Geometric Intelligence 2016 年 12 月被 Uber 收購，自己也就加入 Uber 幫助他們建立人工智能實驗室。Gary Marcus 也曾號召研究人員們「借用認知科學領域的知識」，更多地構建和人類類似的認識概念。

然而 Gary Marcus 卻不是一個令人深受鼓舞的「正面人物」，實際上他曾反復對人工智能和深度學習潑冷水，警告大家我們現(xiàn)在取得的進展多么微不足道、人們又有多么過于樂觀。

圣誕-元旦長假剛過，Gary Marcus 在 arXiv 上傳了一篇論文，對現(xiàn)在火熱的深度學習的現(xiàn)狀進行了全面的、而且一點都不樂觀的分析。他在論文中針對現(xiàn)在火熱的深度學習指出了十個問題，小編把這十個問題簡單介紹如下：

人類學可以根據(jù)明確的規(guī)律學習，比如學會一元二次方程的三種形式以后就可以用來解各種題目；也可以從不多的幾個樣本中迅速學到隱含的規(guī)律，見過了京巴、柴犬之后，再見到德牧就知道它也是一種狗。然而深度學習不是這樣的，「越多的數(shù)據(jù) = 越好的模型表現(xiàn)」就是深度學習的基本規(guī)律，它沒有能力從字面上給出的規(guī)律學習。

對企業(yè)來說，IT 巨頭在深度學習時代更容易憑更大的數(shù)據(jù)量建立起馬太效應，第二梯隊的競爭者們已經開始感到擔憂。學者們也對此不是很樂觀，Geoffrey Hinton 在近期的膠囊論文中也提到「卷積網絡在新類別上泛化能力的困難度……要么在網格中復制特征檢測器，網格的大小隨著維度數(shù)目指數(shù)增長，要么同樣以指數(shù)方式增加的標注訓練集的大小」。對于可用的數(shù)據(jù)有限的場合，深度學習往往并不是最佳的選擇。

我們都知道深度學習的「深」指的是網絡的層數(shù)深、隱層數(shù)目多，而人類喜歡且崇敬的對事物運行規(guī)律的深刻總結則在深度學習中無處可尋。

即便對于需要和環(huán)境交互、理應更好地認識到環(huán)境規(guī)律的強化學習模型，一旦環(huán)境發(fā)生任何變化，它們也仍然需要重新適應——它們其實沒有真的理解「墻」是什么、「通道」是什么。除了 DeepMind 的玩 Atari 游戲的強化學習模型表現(xiàn)出了這樣的特點，其它許多研究者在各自的研究領域中也都觀察到了輕微改變輸入數(shù)據(jù)就會造成輸出結果有巨大差別的現(xiàn)象。

深度學習模型學到的數(shù)據(jù)模式，看起來要比我們認為的弱得多。

舉例來說，對多數(shù)深度學習語言模型來說，句子就是一串單詞而已，然而在語言學家眼中，句子是有固有的層次結構的；英文長句中的定語從句就是一類經典的例子，同樣是結構基本完整的句子，從層次結構角度講卻只是某一個詞或者詞組的補充說明。

深度學習對于各種層次化的結構都無能為力。人類可以把「煮米飯」這個目標拆分成「淘米、加水、設火力時間」幾個動作逐個完成，游戲 AI 也有需求找到單個操作和全局戰(zhàn)略之間的平衡和協(xié)調。然而深度學習是提供不了層次化的理解、總結、控制等等能力的，它本身學到的特征就是「平坦」的，或者說是非層次化的，每個特征都只是清單中的一項。所以深度學習系統(tǒng)自身沒有能力表示出層次化結構，嘗試用一些技巧提取層次化結構的 Word2Vec 之類的模型就馬上可以脫穎而出。

然而考慮到多數(shù)任務、多數(shù)數(shù)據(jù)、多數(shù)電氣系統(tǒng)都有顯而易見的層次結構（這甚至就是人類構建實用系統(tǒng)的基本思路），深度學習在它們之上的表現(xiàn)都還很值得懷疑。

人類在看過書籍電影之后總能對其中的轉折和故事發(fā)展提出不同于原作的見解、對作者的暗示提出種種猜想，然而即便是在 SQuAD 問答數(shù)據(jù)集上表現(xiàn)最好的模型，也只能是在給定的文本中找到最相關的詞句然后把它們進行組合而已，完全沒有創(chuàng)新和理解暗示的能力。即便已經有研究者做出了嘗試，目前來說也沒有任何深度學習系統(tǒng)基于真實知識做開放性推理的能力可以和人類相提并論。