本文作者曾經(jīng)多次預(yù)測了技術(shù)發(fā)展的趨勢，最近的一次預(yù)測是“2011年軟件發(fā)展的趨勢與預(yù)測”。10項預(yù)言中，準(zhǔn)確地命中了6項，比如JavaScript VM、NoSQL、大數(shù)據(jù)分析、私有云、Scala語言等等。今年，他對深度學(xué)習(xí)的發(fā)展趨勢做了一個預(yù)測，主要是研究領(lǐng)域的趨勢預(yù)測，而不是工業(yè)界的應(yīng)用。

　　以下是對2017年度的預(yù)測內(nèi)容。

　　1、硬件將加速倍增摩爾定律

　　作者根據(jù)其觀察到Nvidia和Intel的發(fā)展動態(tài)，認(rèn)為這是顯而易見的趨勢。由于Nvidia具有完整的深度學(xué)習(xí)生態(tài)系統(tǒng)，它們在整個2017年都將主導(dǎo)占據(jù)主導(dǎo)地位。在另一個深度學(xué)習(xí)生態(tài)系統(tǒng)成熟之前，沒有人會拋棄Nvidia而追求其它的平臺。Intel的Xeon Phi方案中途夭折，預(yù)計要到2017年年中才能在性能上追趕上Nvidia，那時基于Nervana的芯片才推向市場。Intel的FPGA方案可能因為成本原因而被云提供商所采納。降低功耗是頭等大事。預(yù)計到2017年年中，Intel的Nervana芯片每秒可完成30萬億次浮點(diǎn)運(yùn)算。作者個人猜測，Nvidia目前已經(jīng)能夠?qū)崿F(xiàn)每秒20萬億次浮點(diǎn)運(yùn)算，他打賭Intel在2018年之前不會有太多動作。Intel手中的唯一可能的一張王牌是3D XPoint技術(shù)。這將有助于提高整個硬件堆棧，但不一定是提升核心能力。

　　2、卷積神經(jīng)網(wǎng)絡(luò)（CNN）將會統(tǒng)治而RNNs和LSTM將被淘汰

　　作者認(rèn)為CNN模型將成為深度學(xué)習(xí)系統(tǒng)的主流模型。RNN和LSTM模型及其遞歸設(shè)置和嵌套的記憶節(jié)點(diǎn)將越來越少地使用，因為它們無法與CNN所抗衡。就如同GOTO在代碼中消失一樣，作者希望RNN和LSTM模型也被淘汰。

　　3、簡單的調(diào)參工作將被元學(xué)習(xí)取代

　　當(dāng)作者剛開始接觸深度學(xué)習(xí)時，他認(rèn)為優(yōu)化算法，特別是二階的算法能夠有巨大的提升。如今，已經(jīng)有替我們優(yōu)化模型的深度學(xué)習(xí)模型了。我們不在需要費(fèi)盡心思改進(jìn)SGD算法了，作者認(rèn)為重要的一個原因是元學(xué)習(xí)（meta-learning）能夠根據(jù)領(lǐng)域自適應(yīng)地優(yōu)化學(xué)習(xí)過程。

　　4、可微分記憶網(wǎng)絡(luò)將更常見

　　記憶模塊將從核心節(jié)點(diǎn)中抽取出來，只是作為計算機(jī)制的一個獨(dú)立組件，作者覺得這是一個很自然的結(jié)果或者說架構(gòu)。他認(rèn)為LSTM的遺忘門、輸入門和輸出門沒有必要，它們可以被輔助的可微分記憶模塊所取代。這呼應(yīng)了作者對CNN模型的預(yù)測。

　　5、強(qiáng)化學(xué)習(xí)只會變得更具創(chuàng)造性

　　對于現(xiàn)實的觀察永遠(yuǎn)是不完美的。我們身邊存在著大量SGD無法解決的問題。因此，任何實踐性的深度學(xué)習(xí)系統(tǒng)都必須包含某些形式的強(qiáng)化學(xué)習(xí)。除此之外，強(qiáng)化學(xué)習(xí)將會出現(xiàn)在各種深度學(xué)習(xí)的訓(xùn)練過程中。作者認(rèn)為強(qiáng)化學(xué)習(xí)極大地促進(jìn)了元學(xué)習(xí)。

　　6、對抗與合作學(xué)習(xí)將成為王牌

　　在過去，我們的深度學(xué)習(xí)系統(tǒng)都只有單一的目標(biāo)函數(shù)。今后，作者希望看到兩個或兩個以上的網(wǎng)絡(luò)合作或競爭來實現(xiàn)一個最佳的解決方案。參見“博弈論揭示了深度學(xué)習(xí)的未來”。

　　7、轉(zhuǎn)移學(xué)習(xí)引領(lǐng)產(chǎn)業(yè)化

　　Andrew Ng認(rèn)為這非常重要，作者也表示贊同！

　　8、更多的應(yīng)用程序?qū)⑹褂蒙疃葘W(xué)習(xí)組件

　　在2016年，我們已經(jīng)看到深度學(xué)習(xí)在更大的搜索算法中用作一個功能評價組件。alphago采用深層學(xué)習(xí)來評估策略。谷歌的Gmail自動回復(fù)系統(tǒng)將深度學(xué)習(xí)與集束搜索（beam search）結(jié)合。作者希望看到更多的這類混合算法，而不是新的end-to-end的被訓(xùn)練的DL系統(tǒng)。

　　9、更多的采用設(shè)計模式

　　深度學(xué)習(xí)只是眾多需要抽象結(jié)構(gòu)的復(fù)雜領(lǐng)域之一。盡管它用到了很多高深的數(shù)學(xué)知識，仍有很多未經(jīng)證明和模糊的概念可以借鑒在其它復(fù)雜領(lǐng)域已被證明是有效的方法，比如在軟件開發(fā)領(lǐng)域有效。作者認(rèn)為人們最終會從深度學(xué)習(xí)與模式設(shè)計中得到啟發(fā)。

　　10、工程將超過理論

　　作者認(rèn)為研究人員的背景和他們所使用的數(shù)學(xué)工具會給他們的研究方法帶來偏見。深度學(xué)習(xí)系統(tǒng)和無監(jiān)督學(xué)習(xí)系統(tǒng)等等這些新的東西可能我們從來沒有遇到過。因此，他覺得沒有證據(jù)表明我們的傳統(tǒng)分析工具將對解開深度學(xué)習(xí)的謎團(tuán)提供任何幫助。幾十年來，物理學(xué)中大量的動態(tài)系統(tǒng)一直困擾著作者，他將此類比于深度學(xué)習(xí)系統(tǒng)。

　　然而，盡管我們?nèi)狈α私馄浔举|(zhì)，但是將不會阻止工程上的應(yīng)用。作者覺得深度學(xué)習(xí)幾乎就像是生物技術(shù)或基因工程。我們已經(jīng)創(chuàng)建了模擬學(xué)習(xí)機(jī)，我們不知道他們是如何工作的，但是這并沒有阻止任何人進(jìn)行創(chuàng)新。