這13張圖告訴你深度學(xué)習(xí)到底有多火
深度學(xué)習(xí)火熱不是假象,以下的十個(gè)指數(shù)級(jí)增長(zhǎng)趨勢(shì)證明:深度學(xué)習(xí)在過去的一年內(nèi)獲得了極快的發(fā)展,已經(jīng)成為當(dāng)下人工智能的“頂梁柱”。本文從 ImageNet、NIPS和CVPR等頂級(jí)學(xué)術(shù)會(huì)議,以及谷歌、英偉達(dá)等企業(yè)應(yīng)用,還有深度學(xué)習(xí)人才與投資、收購(gòu)等角度分析,用13 張圖解讀深度學(xué)習(xí)到底有多火。
圖像識(shí)別準(zhǔn)確率的指數(shù)級(jí)增長(zhǎng)
似乎一切都是從 2015年的 ImageNet 挑戰(zhàn)賽開始的,當(dāng)年在圖像識(shí)別準(zhǔn)確率上,機(jī)器首次超過了人類,被認(rèn)為是一個(gè)里程碑式的突破。
圖:ILSVRC top-5 錯(cuò)誤率
2010年算法的圖像識(shí)別錯(cuò)誤率至少在25%左右,但到2015年,計(jì)算機(jī)圖像識(shí)別錯(cuò)誤率已經(jīng)低于人類(人類水平大概是4%左右)。2015年是 0.03567,也就是3.5%。2016年,ImageNet 競(jìng)賽,圖像識(shí)別錯(cuò)誤率進(jìn)一步下降,錯(cuò)誤率今年的最好成績(jī)?yōu)椋浩骄e(cuò)誤率0.02991,也就是2.99%左右。
從上圖可以看到,在ImageNet 競(jìng)賽中,其實(shí)從2012年,開始,使用深度學(xué)習(xí)方法,錯(cuò)誤率只有15.3 %左右。這是 Hinton 教授和他的兩個(gè)研究生 Alex Krizhevsky, Illya Sutskever 的成果。據(jù)說,他們使用了 兩個(gè) Nvidia 的 GTX 580 CPU (內(nèi)存 3GB, 計(jì)算速度 1.6 TFLOPS), 讓程序接受一百二十萬個(gè)圖像訓(xùn)練, 花了接近六天時(shí)間。
搜索熱度的指數(shù)級(jí)增長(zhǎng)
“深度學(xué)習(xí)”在2012年開始嶄露頭角。下圖是 Google Trends 中“Deep Learning”的搜索趨勢(shì)。
深度學(xué)習(xí)在近兩年來已經(jīng)成為名副其實(shí)的熱詞。
學(xué)術(shù)會(huì)議上深度學(xué)習(xí)影響力的指數(shù)級(jí)增長(zhǎng)
現(xiàn)實(shí)表明,學(xué)術(shù)研究領(lǐng)域確實(shí)迎來爆發(fā)式增長(zhǎng)
圖:NIPS 增長(zhǎng)趨勢(shì)
2016 年,作為學(xué)界頂級(jí)盛會(huì)的 NIPS 共收到投稿超過 2500 篇,最終接收了 568 篇——保守估計(jì)接收率 22.7%。這個(gè)論文接收率并不算那么低(相較其他頂會(huì))。
再看參會(huì)人數(shù)及其近年來的增長(zhǎng)趨勢(shì)(上圖右),2016參會(huì)人數(shù)已經(jīng)超過了5000人——尤其是近兩年,用“直線上升”形容毫不夸張。
CVPR 是計(jì)算機(jī)視覺領(lǐng)域的國(guó)際頂級(jí)會(huì)議。下面是 CVPR 的增長(zhǎng)趨勢(shì)圖:
圖:CVPR 參會(huì)人數(shù)趨勢(shì)
新智元在此前的報(bào)道曾統(tǒng)計(jì)過,本屆會(huì)議共收到論文 2145 篇,創(chuàng)下歷史記錄(有效 1865 篇)。會(huì)議接收論文 643 篇(接收率 29.9%)。
2016 CVPR 會(huì)議接收的論文里,發(fā)表的論文中有 80% 到 90%,口頭報(bào)告更是接近 100% 都來自深度學(xué)習(xí)領(lǐng)域。
深度學(xué)習(xí)技術(shù)在企業(yè)內(nèi)部應(yīng)用的指數(shù)級(jí)增長(zhǎng)
以上能顯示深度學(xué)習(xí)理論的增長(zhǎng)趨勢(shì)。但只有理論嗎?讓我們看看 Google 內(nèi)部對(duì)深度學(xué)習(xí)技術(shù)的使用情況。
圖:Google 使用深度學(xué)習(xí)的趨勢(shì)
從上圖可以看到,2014年到2015年間,谷歌內(nèi)部對(duì)深度學(xué)習(xí)技術(shù)的使用呈直線上升趨勢(shì)。應(yīng)用領(lǐng)域包括:APP、地圖、照片、郵箱、語音、安卓、Youtube、翻譯、機(jī)器人研究、圖像理解、自然語言理解、毒品探測(cè)。
谷歌大腦負(fù)責(zé)人Jeff Dean 在接受《福布斯》的采訪時(shí)曾提到,2011年到2012年間,公司使用深度神經(jīng)網(wǎng)絡(luò)技術(shù)的團(tuán)隊(duì)只有十幾組,現(xiàn)在已經(jīng)超過200多組,有上千人在訓(xùn)練這類的模型,使用的就是谷歌大腦團(tuán)隊(duì)搭建的軟件。
他說:“5年前,當(dāng)我們第一次開始組建機(jī)器學(xué)習(xí)研究組,調(diào)查使用大量的計(jì)算和深度卷積網(wǎng)絡(luò)處理問題的情況,當(dāng)時(shí)公司里還沒有多少人在使用這種方法。后來,我們發(fā)現(xiàn)少數(shù)看起來可以有效應(yīng)用的幾個(gè)地方,其中包括語音識(shí)別系統(tǒng),所以我們跟語音識(shí)別團(tuán)隊(duì)的同事緊密合作,把深度神經(jīng)網(wǎng)絡(luò)加入到語音識(shí)別系統(tǒng)中去,從而在識(shí)別精準(zhǔn)度上獲得了顯著的提升。然后,我們又與幾個(gè)計(jì)算機(jī)視覺相關(guān)的團(tuán)隊(duì)合作,比如圖像識(shí)別和一些街景團(tuán)隊(duì),其中包括,用圖像中的原始像素去訓(xùn)練模型做一些有意思的事情,從圖像中提取文本或者理解圖像(是美洲豹,垃圾車或是別的什么東西)。
有趣的是,隨著時(shí)間的過去,更多的團(tuán)隊(duì)開始采用這些方法,因?yàn)樗麄儠?huì)聽到別的團(tuán)隊(duì)說在嘗試一些別的東西,并且獲得了好的結(jié)果。不然就是,我們可以把他們與這些團(tuán)隊(duì)聯(lián)系起來,或者我們可以提供一些在他們特定的問題語境下如何使用這些方法的建議。后來,我們把這些都正規(guī)化,所以現(xiàn)在我們就有了一個(gè)團(tuán)隊(duì)來做這些擴(kuò)展工作。首先是聯(lián)系想要在產(chǎn)品中用到這些機(jī)器學(xué)習(xí)模型的團(tuán)隊(duì),他們會(huì)描述自己遇到的難題,一般情況下,我們團(tuán)隊(duì)會(huì)說:“這似乎跟其他團(tuán)隊(duì)所遇到的難題很像,我們的解決方案很有用,試試看我們的方案,然后給我們反饋”。
深度學(xué)習(xí)人才需求的指數(shù)級(jí)增長(zhǎng)
從2015年開始,市場(chǎng)對(duì)深度學(xué)習(xí)人才的需求直線上漲,2016年下半年開始更是以超大幅度上漲。另外,2015年開始,我們也看到了大量的學(xué)術(shù)界頂尖人才流向產(chǎn)業(yè)界。
深度學(xué)習(xí)投資上的指數(shù)級(jí)增長(zhǎng)
圖:最近幾年對(duì)AI技術(shù)企業(yè)的投資逐年增長(zhǎng)
2016年二季度期間,融資交易量最多的地區(qū)是美國(guó),共發(fā)生47起交易,融資額合計(jì)5.245億美金。
除美國(guó)以外,全球有15個(gè)國(guó)家和地區(qū)在2016年二季度發(fā)生了AI相關(guān)領(lǐng)域創(chuàng)業(yè)公司的股權(quán)投融資活動(dòng),包括中國(guó)(及香港)、印度、瑞典、烏克蘭、法國(guó)和加拿大等。
其中加拿大、英國(guó)、以色列、德國(guó)的AI領(lǐng)域投資相對(duì)較為活躍,尤其值得注意的幾筆交易是:在加拿大,GE Ventures兩次參與了BitStew Systems的C輪融資,該創(chuàng)業(yè)公司主要做工業(yè)物聯(lián)網(wǎng)(IIoT)的數(shù)據(jù)分析平臺(tái);在英國(guó)倫敦,Lerer Hippeau Ventures,Bloomberg Beta和Salesforce Ventures參與了DigitalGenius的種子輪融資,該創(chuàng)業(yè)公司主要為客服領(lǐng)域提供AI解決方案;在以色列,阿里巴巴集團(tuán)投資了電商搜索發(fā)現(xiàn)創(chuàng)業(yè)公司Twiggle的A輪融資,而包括Khosla Ventures和Marc Benioff在內(nèi)的投資機(jī)構(gòu)則支持了醫(yī)療創(chuàng)業(yè)公司Zebra Medical Vision的B輪融資;在德國(guó),New Enterprise Associates參與了Konux的A輪融資,該創(chuàng)業(yè)公司面向產(chǎn)業(yè)界提供基于AI技術(shù)的傳感器解決方案。
大公司收購(gòu)的指數(shù)級(jí)增長(zhǎng)
人工智能企業(yè)并購(gòu)歷史
2016年,每一個(gè)季度,都有至少10起關(guān)于人工智能的并購(gòu)發(fā)生。這一指數(shù)級(jí)的增長(zhǎng)趨勢(shì)從2014年開始,目前沒有任何下降的趨勢(shì)。
2016年內(nèi)在AI領(lǐng)域發(fā)生了一些非常高調(diào)的收購(gòu)案,包括6月份公開的推特(Twitter)花費(fèi)1.5億美金收購(gòu)Magic Pony Technology,后者是一家專注視覺處理(visual processing)相關(guān)的機(jī)器學(xué)習(xí)(machine learning)算法技術(shù)公司。英特爾于今年8月以超過4以美元的金額收購(gòu) Nervana 等等。
其中,2016也成為英特爾向人工智能和深度學(xué)習(xí)發(fā)力的轉(zhuǎn)型之年,英特爾副總裁 Jason Waxman 在接受 Recode 采訪時(shí)表示,向人工智能轉(zhuǎn)型可能會(huì)有損英特爾向云計(jì)算進(jìn)軍的努力。但 Waxman 也強(qiáng)調(diào)了機(jī)器學(xué)習(xí)的重要性,他表示在英特爾從一個(gè)用戶控制大量連網(wǎng)設(shè)備到世界向一個(gè)數(shù)十億件設(shè)備都相互連并相互對(duì)話的世界轉(zhuǎn)型之際,機(jī)器學(xué)習(xí)非常重要。
大眾在投資的指數(shù)級(jí)增長(zhǎng)
人工智能特別是深度學(xué)習(xí)的發(fā)展,極大地推動(dòng)了英偉達(dá)的股價(jià)的上漲。從2015年開始,英偉達(dá)的股價(jià)一直都高于納斯達(dá)克平均水平。
最新資料顯示, 英偉達(dá)了2016年第三財(cái)季財(cái)報(bào)報(bào)告當(dāng)季公司營(yíng)收實(shí)現(xiàn)大幅增長(zhǎng),遠(yuǎn)超市場(chǎng)預(yù)期。財(cái)報(bào)公布后,英偉達(dá)股價(jià)大漲近30%至87.97美元,創(chuàng)歷史新高。英偉達(dá)股價(jià)自2015年9月以來持續(xù)走高,漲幅已超過三倍多。
今年8月,CEO黃仁勛在投資人會(huì)議上強(qiáng)調(diào),深度學(xué)習(xí)是英偉達(dá)十分重要的增長(zhǎng)動(dòng)力,也是公司一直持續(xù)大力投資的領(lǐng)域,“過去5年來,我們一直默默投資深度學(xué)習(xí),因?yàn)槲覀兿嘈派疃葘W(xué)習(xí)未來對(duì)整個(gè)軟件產(chǎn)業(yè)、整個(gè)計(jì)算機(jī)產(chǎn)業(yè)都有著深遠(yuǎn)的影響,我們把一切都賭在了深度學(xué)習(xí)上”。
黃仁勛還指出,英偉達(dá)數(shù)據(jù)中心業(yè)務(wù),大約有一半都是深度學(xué)習(xí)系統(tǒng),這也是得益于公司在深度學(xué)習(xí)芯片方面的大力投入。
深度學(xué)習(xí)是 AI 的主要驅(qū)動(dòng)力嗎?
上圖是在“Google Trend” 中分別查詢?nèi)斯ぶ悄芎蜕疃葘W(xué)習(xí)在過去5年的搜索趨勢(shì),藍(lán)色是“深度學(xué)習(xí)”,紅色是“人工智能”。“深度學(xué)習(xí)”在總量上要少于“人工智能”,但是增長(zhǎng)趨勢(shì)非常明顯,最近更是越來越接近。并且,從增長(zhǎng)的趨勢(shì)來看,深度學(xué)習(xí)增長(zhǎng)非常明顯。
最后是最重要的一個(gè)趨勢(shì)
人工智能的“智力”水平不斷增長(zhǎng),未來或許會(huì)超越人類,甚至是高智商的人類水平,但是,目前看來,人工智能的智力水平程度也還只比螞蟻好一些。(圖來自Wait Buy Why)。