加利福尼亞州圣何塞——在人工智能中，硬件是尾巴，軟件是狗——這是一只非常活躍的狗。只需瀏覽流行的arXiv.org網(wǎng)站，即可找到每天發(fā)布的一到兩篇新研究論文。

Wei Li 在英特爾領(lǐng)導一個致力于機器學習的軟件團隊，他滔滔不絕地列出了十幾個流行的卷積、循環(huán)和其他神經(jīng)網(wǎng)絡(luò)模型。添加另一層，大多數(shù)大型云和芯片供應(yīng)商都創(chuàng)建了自己的框架，以在其平臺上優(yōu)化構(gòu)建和運行模型。

“有多種拓撲和框架需要測試，”他說。

不要讓復雜性壓倒你，BabbleLabs 的首席執(zhí)行官 Chris Rowen 說，這是一家為音頻任務(wù)創(chuàng)建 DNN 引擎的初創(chuàng)公司。“神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)對效率很重要，但其中任何一個都可以完成工作，”他說?！霸诤芏嗲闆r下，這幾乎是風格問題?！?

自動化學習可能是推動軟件變革的最強大的大趨勢?？赡苄枰獛资甑臅r間才能演變成仍然被認為是一種科幻小說——可以獨立于人類學習的機器。與此同時，研究人員正在幫助今天的神經(jīng)網(wǎng)絡(luò)朝著這個方向邁出一小步。

“在我看來，人工智能的未來是自我監(jiān)督學習，”被認為是卷積神經(jīng)網(wǎng)絡(luò)之父的 Yann LeCun 說，現(xiàn)在廣泛用于計算機視覺和其他系統(tǒng)。他在最近的一篇論文中寫道：“趨勢是越來越依賴于無監(jiān)督、自我監(jiān)督、弱監(jiān)督或多任務(wù)學習，在這些學習中，更大的網(wǎng)絡(luò)表現(xiàn)得更好?！?

廣義對抗網(wǎng)絡(luò)作為一種讓系統(tǒng)做出自己的預(yù)測的技術(shù)，正在顯示出前景。在最近的一次演講中，LeCun 展示了用于設(shè)計時尚服裝和引導自動駕駛汽車的 GAN 示例。他還提到了 BERT 等工作，這是一種使用谷歌最近開源的未標記數(shù)據(jù)的預(yù)訓練技術(shù)。

這樣的代碼需要大鐵和大量內(nèi)存，未來的算法將需要更大的模型。LeCun 說，明天的神經(jīng)網(wǎng)絡(luò)也將更加動態(tài)和稀疏，使用新的基本原語，如動態(tài)、不規(guī)則圖。

從長遠來看，“一個希望是，訓練一個預(yù)測視頻的系統(tǒng)將使它能夠發(fā)現(xiàn)世界上許多隱藏的規(guī)律、幾何和物理學……[由此產(chǎn)生的預(yù)測模型]可能成為智能系統(tǒng)的核心……對于此類應(yīng)用例如機器人抓取和自動駕駛，”他補充道。

對于為三星智能手機設(shè)計 AI 模塊的 Jinook Song 等工程師來說，近期的挑戰(zhàn)尤其嚴峻。他最近描述了最新的 8 納米 Exynos 芯片中的 5.5 毫米2 塊，當神經(jīng)網(wǎng)絡(luò)允許修剪多達四分之三的重量時，該芯片的性能達到 6.937 TOPS。

他沒有踩剎車。當被問及他對下一代最想要什么時，他說手機功率預(yù)算中的某種學習能力。

今天，強化學習的用途有限，但引起了廣泛關(guān)注，這部分歸功于谷歌在圍棋和其他游戲中與人類專家對弈的結(jié)果。英特爾的 Wei Li 表示，該技術(shù)將在未來的自動駕駛汽車中發(fā)揮關(guān)鍵作用。

“強化學習就像一個代理，它嘗試事物并查看它們在現(xiàn)實世界中的工作方式，通常是在通用 CPU 上進行模擬”，因此它可能需要對定制芯片上的代理和運行模擬的 CPU 進行加速，Dave Patterson 解釋說，他是一位資深的計算機研究人員，現(xiàn)在在 Google 工作了一段時間。

由于使用了時域編碼，佐治亞理工學院的研究人員最近在低端系統(tǒng)上進行了強化學習。參與該項目的 Arijit Raychowdhury 說，為該系統(tǒng)闡明正確的獎勵是一大挑戰(zhàn)——這可能是一個全新的計算機科學領(lǐng)域。

例如，在一個項目中，學生們仔細定義了獎勵，以鼓勵無人機最大限度地延長電池壽命。它做到了——不動?！皡?shù)太多，很容易弄錯，”Raychowdhury 說。

“深度強化學習是去年伯克利最熱門的課程之一，”韓國科學技術(shù)高等研究院教授 Hoi-Jun Yoo 說?！斑@項技術(shù)看起來很有前途，但有很多變化，而且算法仍在開發(fā)中，因此尚不清楚它們?nèi)绾斡绊懹布??！?

同時，中間件也在發(fā)展。今天的 AI 程序員“不像傳統(tǒng)程序員那樣選擇一種語言并堅持使用 20 年，”帕特森說?！帮@然，每隔幾年，研究人員就會換馬……這個領(lǐng)域非常令人興奮，算法不斷改進。”

MPEG 社區(qū)即將參與進來。本月，它正在評估最初的提案，以響應(yīng)去年秋天提出的關(guān)于使用 MPEG 壓縮經(jīng)過訓練的神經(jīng)網(wǎng)絡(luò)的方法的呼吁。諾基亞是積極響應(yīng)者之一。

它的早期階段，尤其是對于嵌入式環(huán)境，與數(shù)據(jù)中心運營商開始理解的早期工具和方法相去甚遠。“為嵌入式系統(tǒng)開發(fā)深度學習并不適合膽小的人，”Rowen 說?！笆挂磺姓＿\行需要限制、錯誤、工具組合……而且實施仍然不完整和不成熟。”

該領(lǐng)域一家初創(chuàng)公司的首席執(zhí)行官表示，用于構(gòu)建和運行神經(jīng)網(wǎng)絡(luò)模型的新興企業(yè)軟件產(chǎn)品類別也是如此?！斑@個行業(yè)到處都需要抽象層，但它們還不存在，”Determined AI 的 Evan Sparks 說?！叭狈藴饰募袷絹韺С隹蚣芎蛥f(xié)議之間的模型以構(gòu)建協(xié)同工作的工具——這是工具領(lǐng)域的狂野西部?！?

這也是一次淘金的機會。“我對市場的最佳代理和下限是 Nvidia 去年的數(shù)據(jù)中心收入約為 40 億美元，高于三年前的約 2 億美元——幾乎全部用于深度學習，”Sparks 說，他的客戶涉及從半導體等各個領(lǐng)域和基因組學到廢物管理。

今天，最好的神經(jīng)網(wǎng)絡(luò)軟件“存在于 Facebook、谷歌和微軟的四堵墻內(nèi)，”他說?！八麄冋跇?gòu)建比任何人都更多更好的模型，并且擁有只能在內(nèi)部使用的高級軟件，但我的目標是讓其他人也可以使用這種質(zhì)量的軟件?！?