神經(jīng)網(wǎng)絡(luò)加速器開始被重視的原因是什么
自從以深度學(xué)習(xí)為代表的神經(jīng)網(wǎng)絡(luò)算法的精度大大提升以后,人工智能開始終于又再次火了起來,且有席卷全球之勢。根據(jù)BBC預(yù)測,到2020年,人工智能總體市場將會高達1190億元的規(guī)模,年平均復(fù)合增長率也將達到19.7%。龐大的市場潛力就吸引了眾多的芯片、算法和應(yīng)用廠商投身其中。
和過去的大多數(shù)應(yīng)用不一樣,人工智能在模型訓(xùn)練與推理中需要大量的計算。但受限于其算法和計算本身的特性,過往一直被廣泛使用的傳統(tǒng)計算芯片卻無法滿足這些需求,這就要求芯片廠商去為神經(jīng)網(wǎng)絡(luò)算法打造專用的芯片,尤其是推理端的芯片,也就是俗稱的神經(jīng)網(wǎng)絡(luò)加速器。由于這個市場大家?guī)缀醵继幱谕黄鹋芫€,所以很多新興的和傳統(tǒng)的芯片廠商在上面角逐,這就給開發(fā)者的芯片選擇帶來了困擾。
為此,我們從概念入手,為大家提供神經(jīng)網(wǎng)絡(luò)加速器的(NNA)基本面了解,希望對大家有所啟發(fā)。
神經(jīng)網(wǎng)絡(luò)加速器是趨勢
在談神經(jīng)網(wǎng)絡(luò)加速器之前,我們先了解一下什么是神經(jīng)網(wǎng)絡(luò)。
據(jù)維基百科,在機器學(xué)習(xí)和認知科學(xué)領(lǐng)域,人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)(動物的中樞神經(jīng)系統(tǒng),特別是大腦)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計算模型,用于對函數(shù)進行估計或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進行計算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu),是一種自適應(yīng)系統(tǒng)?,F(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計性數(shù)據(jù)建模工具。
典型的神經(jīng)網(wǎng)絡(luò)具有以下三個部分:
1)結(jié)構(gòu)(Architecture)
結(jié)構(gòu)指定了網(wǎng)絡(luò)中的變量和它們的拓撲關(guān)系。例如,神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重(weights)和神經(jīng)元的激勵值(activiTIes of the neurons)。
2)激勵函數(shù)(AcTIvity Rule)
大部分神經(jīng)網(wǎng)絡(luò)模型具有一個短時間尺度的動力學(xué)規(guī)則,來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。一般激勵函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重(即該網(wǎng)絡(luò)的參數(shù))。
3)學(xué)習(xí)規(guī)則(Learning Rule)
學(xué)習(xí)規(guī)則指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時間推進而調(diào)整。這一般被看做是一種長時間尺度的動力學(xué)規(guī)則。一般情況下,學(xué)習(xí)規(guī)則依賴于神經(jīng)元的激勵值。它也可能依賴于監(jiān)督者提供的目標值和當(dāng)前權(quán)重的值。例如,用于手寫識別的一個神經(jīng)網(wǎng)絡(luò),有一組輸入神經(jīng)元。輸入神經(jīng)元會被輸入圖像的數(shù)據(jù)所激發(fā)。在激勵值被加權(quán)并通過一個函數(shù)(由網(wǎng)絡(luò)的設(shè)計者確定)后,這些神經(jīng)元的激勵值被傳遞到其他神經(jīng)元。這個過程不斷重復(fù),直到輸出神經(jīng)元被激發(fā)。最后,輸出神經(jīng)元的激勵值決定了識別出來的是哪個字母。
人工神經(jīng)網(wǎng)絡(luò)通常是通過一個基于數(shù)學(xué)統(tǒng)計學(xué)類型的學(xué)習(xí)方法(Learning Method)得以優(yōu)化,所以人工神經(jīng)網(wǎng)絡(luò)也是數(shù)學(xué)統(tǒng)計學(xué)方法的一種實際應(yīng)用,通過統(tǒng)計學(xué)的標準數(shù)學(xué)方法我們能夠得到大量的可以用函數(shù)來表達的局部結(jié)構(gòu)空間,另一方面在人工智能學(xué)的人工感知領(lǐng)域,我們通過數(shù)學(xué)統(tǒng)計學(xué)的應(yīng)用可以來做人工感知方面的決定問題(也就是說通過統(tǒng)計學(xué)的方法,人工神經(jīng)網(wǎng)絡(luò)能夠類似人一樣具有簡單的決定能力和簡單的判斷能力),這種方法比起正式的邏輯學(xué)推理演算更具有優(yōu)勢。
擁有了這些神經(jīng)網(wǎng)絡(luò)之后,不但可以在云端架設(shè)服務(wù)器提供人工智能服務(wù),且可以應(yīng)用到智能手機、智能安防甚至智能汽車中實現(xiàn)圖像識別、物體跟蹤和語音識別等任務(wù)。但這些應(yīng)用由于其應(yīng)用場景的不同,還有算法特性的限制,這就要求他們提供低功耗、高效的,專門設(shè)計用來運行這些神經(jīng)網(wǎng)絡(luò)算法的芯片,我們就把他們稱之為“神經(jīng)網(wǎng)絡(luò)加速器”。
再者,從目前看來,由于數(shù)據(jù)收集需要大量運算,因此各國的人工智算法仍然以云端發(fā)展為主。但考慮到信息安全、功耗以及對產(chǎn)品設(shè)計帶來的挑戰(zhàn)問題,以云為中心的架構(gòu)方式并非在任何情況下都是最理想的解決方案,這就推動了對嵌入式人工智能的關(guān)注。那就對相關(guān)的芯片提出了更高的需求。
來源:搜狐