機(jī)器學(xué)習(xí)和深度學(xué)習(xí)已經(jīng)是我們生活的組成部分.人工智能(AI)的應(yīng)用,通過(guò)自然語(yǔ)言處理(NLP),圖像分類和目標(biāo)檢測(cè)深入嵌入我們使用的許多設(shè)備。大多數(shù)人工智能應(yīng)用程序都是通過(guò)云基引擎提供的,這些引擎可以很好地處理它們所使用的內(nèi)容,比如在gmail中輸入電子郵件響應(yīng)時(shí)獲取單詞預(yù)測(cè)。

雖然我們很享受這些AI應(yīng)用的好處,這種方法引入了隱私、耗電、延遲和成本挑戰(zhàn)。如果有一個(gè)本地處理引擎能夠在數(shù)據(jù)本身的來(lái)源處進(jìn)行部分或全部的計(jì)算(推理),這些挑戰(zhàn)是可以解決的。這對(duì)于傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)來(lái)說(shuō)是很困難的,在這種實(shí)現(xiàn)中,內(nèi)存成為了耗電的瓶頸。這個(gè)問(wèn)題可以通過(guò)多層存儲(chǔ)器和使用模擬內(nèi)存計(jì)算方法來(lái)解決,這種方法結(jié)合在一起,使處理引擎能夠滿足更低的毫瓦到微瓦(UW)的功率需求,以便在網(wǎng)絡(luò)邊緣進(jìn)行AI推理。

云計(jì)算的挑戰(zhàn)

當(dāng)AI應(yīng)用程序通過(guò)云基引擎提供服務(wù)時(shí),用戶必須上傳一些數(shù)據(jù)(自愿或不情愿)到云計(jì)算引擎處理數(shù)據(jù)、提供預(yù)測(cè)并將預(yù)測(cè)發(fā)送到下游用戶使用。

與這一進(jìn)程相關(guān)的挑戰(zhàn)概述如下:

1. 隱私和安全問(wèn)題: 對(duì)于一直使用的、始終意識(shí)到的設(shè)備,人們擔(dān)心個(gè)人數(shù)據(jù)(和/或機(jī)密信息)在上傳期間或在數(shù)據(jù)中心的保存期內(nèi)被濫用。

2. 不必要的耗電: 如果每一個(gè)數(shù)據(jù)位都要云計(jì)算,那么它就會(huì)消耗硬件、無(wú)線電、傳輸和云中不必要的計(jì)算的能量。

3. 小型推理的延遲: 有時(shí),如果數(shù)據(jù)來(lái)自邊緣,從云基系統(tǒng)得到響應(yīng)可能需要一秒鐘或更多時(shí)間。對(duì)于人類的感官來(lái)說(shuō),任何超過(guò)100毫秒的潛伏期都是顯而易見(jiàn)的,而且可能很煩人。

4. 數(shù)據(jù)經(jīng)濟(jì)需要有意義: 傳感器無(wú)處不在,而且非常便宜;然而,它們產(chǎn)生了許多數(shù)據(jù)。將每一個(gè)數(shù)據(jù)上傳到云端并進(jìn)行處理是不經(jīng)濟(jì)的。

為了使用本地處理引擎來(lái)解決這些挑戰(zhàn),首先必須對(duì)執(zhí)行推理操作的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行針對(duì)所需用例的給定數(shù)據(jù)集的培訓(xùn)。一般來(lái)說(shuō),這需要高計(jì)算(和內(nèi)存)資源和浮點(diǎn)算術(shù)運(yùn)算。因此,機(jī)器學(xué)習(xí)解決方案的培訓(xùn)部分仍需要在公共或私人云(或本地GPU、CPU、FPGA農(nóng)場(chǎng))上進(jìn)行,并使用數(shù)據(jù)集生成最佳神經(jīng)網(wǎng)絡(luò)模型。一旦神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)備就緒,該模型就可以進(jìn)一步優(yōu)化為具有小型計(jì)算引擎的本地硬件,因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型不需要為推理操作進(jìn)行反向傳播。一個(gè)推理引擎通常需要大量的多重累積引擎,接下來(lái)是激活層,如校正線性單元(RELU),乙狀結(jié)腸體或TAUH取決于神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜性和層之間的池層。

大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型需要大量的Mac操作。例如,即使是相對(duì)較小的"1.0移動(dòng)-224"模型,也有420萬(wàn)個(gè)參數(shù)(權(quán)重),需要5.69億個(gè)Mac操作才能進(jìn)行推斷。由于大多數(shù)模型都是由Mac操作控制的,這里的重點(diǎn)將放在機(jī)器學(xué)習(xí)計(jì)算的這一部分--并探索創(chuàng)建更好解決方案的機(jī)會(huì)。

輸入神經(jīng)元(數(shù)據(jù))用第一層權(quán)重進(jìn)行處理。來(lái)自第一層的輸出神經(jīng)元然后用第二層權(quán)重進(jìn)行處理,并提供預(yù)測(cè)(假設(shè)模型能夠在給定的圖像中找到貓的臉)。這些神經(jīng)網(wǎng)絡(luò)模型使用"點(diǎn)產(chǎn)品"來(lái)計(jì)算每個(gè)層中的每個(gè)神經(jīng)元,用以下公式說(shuō)明(在簡(jiǎn)化公式中略去"偏倚"一詞):

記憶力 數(shù)字計(jì)算中的瓶頸

在數(shù)字神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中,權(quán)重和輸入數(shù)據(jù)存儲(chǔ)在DRAM/SRAM中。權(quán)重和輸入數(shù)據(jù)需要移動(dòng)到Mac引擎進(jìn)行推斷。這一方法導(dǎo)致大多數(shù)功率在獲取模型參數(shù)和輸入數(shù)據(jù)到實(shí)際的Mac操作發(fā)生的ALU時(shí)被耗散。

從能量的角度看問(wèn)題--一個(gè)典型的使用數(shù)字邏輯門的Mac操作消耗大約250焦耳(FJ,或10焦耳)的能量。但在數(shù)據(jù)傳輸過(guò)程中耗散的能量比計(jì)算本身要多兩個(gè)數(shù)量級(jí),并且在50微焦耳的范圍內(nèi)(PJ,或10)。公平地說(shuō),有許多設(shè)計(jì)技術(shù)可以最大限度地減少?gòu)膬?nèi)存到ALU的數(shù)據(jù)傳輸;然而,整個(gè)數(shù)字方案仍然受到馮諾依曼架構(gòu)的限制--因此這是一個(gè)減少浪費(fèi)電力的巨大機(jī)會(huì)。如果執(zhí)行Mac操作的能量可以從~100pj減少到pj的一小部分呢?

通過(guò)模擬內(nèi)存計(jì)算消除內(nèi)存瓶頸

當(dāng)內(nèi)存本身可以用來(lái)減少計(jì)算所需的功率時(shí),在邊緣執(zhí)行推理操作就會(huì)提高功率效率。使用內(nèi)存計(jì)算方法可以最大限度地減少必須移動(dòng)的數(shù)據(jù)量。這反過(guò)來(lái)又消除了數(shù)據(jù)傳輸過(guò)程中浪費(fèi)的能量。使用可操作超低有源功率耗散的閃存電池,能量耗散進(jìn)一步最小化,在備用模式下幾乎沒(méi)有能量耗散。

這種方法的一個(gè)例子是硅存儲(chǔ)技術(shù)(SST),一個(gè)微芯片技術(shù)公司。以SST的超級(jí)閃光燈為基礎(chǔ)內(nèi)存技術(shù),該解決方案包括一個(gè)內(nèi)存中的計(jì)算體系結(jié)構(gòu),該體系結(jié)構(gòu)允許在推理模型的權(quán)重存儲(chǔ)的地方進(jìn)行計(jì)算。這就消除了Mac計(jì)算中的內(nèi)存瓶頸,因?yàn)闆](méi)有為權(quán)重進(jìn)行數(shù)據(jù)移動(dòng)--只有輸入數(shù)據(jù)才能從相機(jī)或麥克風(fēng)等輸入傳感器移動(dòng)到存儲(chǔ)器陣列。

這個(gè)存儲(chǔ)器概念基于兩個(gè)基本原理:(a)晶體管的模擬電流響應(yīng)基于其閾值電壓(VT)和輸入數(shù)據(jù);(b)基爾霍夫電流定律,其中規(guī)定導(dǎo)體網(wǎng)絡(luò)中在某一點(diǎn)上的電流的代數(shù)和是零。

理解基本的非易失性內(nèi)存(NVM)比特單元也很重要,它在這個(gè)多層內(nèi)存體系結(jié)構(gòu)中使用。是兩個(gè)ESF3(嵌入式超閃存3)的橫截面帶有共享擦除門(EG)和源線(SL)的比特單元。每個(gè)比特單元有五個(gè)端子:控制門(Cg)、工作線(WL)、擦除門(EG)、源線(SL)和比特線(LB)。在比特電池上的擦除操作是通過(guò)對(duì)EG施加高壓來(lái)完成的.通過(guò)在WL、CG、BL和SL上應(yīng)用高壓/低壓偏置信號(hào)進(jìn)行編程操作。通過(guò)將低壓偏置信號(hào)應(yīng)用到WL、CG、BL和SL上來(lái)完成讀取操作。

使用這個(gè)內(nèi)存體系結(jié)構(gòu),用戶可以通過(guò)細(xì)粒度編程操作,在不同的VT級(jí)別上編程內(nèi)存比特單元。該存儲(chǔ)技術(shù)利用一個(gè)智能的算法來(lái)調(diào)整存儲(chǔ)單元的浮動(dòng)門(FG)VT,以從輸入電壓中獲得一定的電流響應(yīng)。根據(jù)終端應(yīng)用程序的需求,單元格可以在線性或次閾值操作區(qū)域編程。

展示了存儲(chǔ)和讀取存儲(chǔ)單元格上多個(gè)層次的能力。假設(shè)我們?cè)噲D在內(nèi)存單元格中存儲(chǔ)一個(gè)2位整數(shù)值。對(duì)于這個(gè)場(chǎng)景,我們需要在內(nèi)存數(shù)組中對(duì)每個(gè)單元格進(jìn)行編程,其中包含2位整數(shù)值(00,01,10,11)的四個(gè)可能值之一。下面的四條曲線是四個(gè)可能狀態(tài)中的每一條的IV曲線,而電池的電流響應(yīng)將取決于加在cg上的電壓。

具有內(nèi)存計(jì)算的多重累積運(yùn)算

每個(gè)ESF3電池可以模擬為可變電導(dǎo)(G M )。ESF3電池的電導(dǎo)取決于程序化電池的浮門VT。從訓(xùn)練過(guò)的模型中得到的重量被設(shè)定為存儲(chǔ)單元的浮動(dòng)門VT,因此, M 代表訓(xùn)練過(guò)的模型的重量。當(dāng)一個(gè)輸入電壓(VIN)被施加到ESF3電池上時(shí),輸出電流(UT)將由方程IUT=G給出。 M *VIN,這是輸入電壓與存儲(chǔ)在ESF3電池上的重量之間的乘以操作。

說(shuō)明了小陣列配置(2x2陣列)中的多重累積概念,在該小陣列中,通過(guò)增加輸出電流(從連接到同一列的單元格(從倍增操作))來(lái)執(zhí)行累積操作(例如I1=I11+I21)。根據(jù)應(yīng)用程序的不同,激活功能可以在ADC塊中執(zhí)行,也可以在內(nèi)存塊外使用數(shù)字實(shí)現(xiàn)完成。

為了在更高層次上進(jìn)一步說(shuō)明這個(gè)概念,一個(gè)訓(xùn)練過(guò)的模型的個(gè)體權(quán)重被編程為存儲(chǔ)單元的浮動(dòng)門VT,因此,從訓(xùn)練過(guò)的模型的每個(gè)層的所有權(quán)重(假設(shè)是完全連接的層)都可以編程到一個(gè)內(nèi)存陣列上,就像一個(gè)權(quán)重矩陣。

對(duì)于推理操作,一個(gè)數(shù)字輸入,比如說(shuō)圖像像素,首先使用數(shù)字轉(zhuǎn)換器轉(zhuǎn)換成模擬信號(hào),然后應(yīng)用于存儲(chǔ)器陣列。然后,該陣列為給定的輸入向量并行執(zhí)行數(shù)以千計(jì)的Mac操作,并產(chǎn)生輸出,這些輸出可以進(jìn)入各自神經(jīng)元的激活階段,然后通過(guò)一個(gè)類似數(shù)字轉(zhuǎn)換器(ADC)將其轉(zhuǎn)換為數(shù)字信號(hào)。然后,在進(jìn)入下一層之前,對(duì)數(shù)字信號(hào)進(jìn)行共享處理。

這種類型的內(nèi)存體系結(jié)構(gòu)非常模塊化和靈活。許多膜瓦可以拼接在一起,以構(gòu)建各種具有重量矩陣和神經(jīng)元的大型模型。在這個(gè)例子中,一個(gè)3×4瓦的配置與一個(gè)模擬和數(shù)字的織物在瓦之間縫在一起,數(shù)據(jù)可以從一個(gè)瓦到另一個(gè)瓦通過(guò)共享總線。

到目前為止,我們已經(jīng)初步討論了這種架構(gòu)的硅實(shí)現(xiàn)。軟件開發(fā)包(SDK)的可用性有助于解決方案的部署。除了硅之外,SDK還促進(jìn)了推理引擎的部署。

SDK流是培訓(xùn)框架的不可知論。用戶可以在任何一個(gè)可用的框架中創(chuàng)建神經(jīng)網(wǎng)絡(luò)模型,如張力流、噴燈或其他,根據(jù)需要使用浮點(diǎn)計(jì)算。一旦創(chuàng)建了一個(gè)模型,SDK將幫助量化訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型,并將其映射到存儲(chǔ)器陣列,在那里可以使用來(lái)自傳感器或計(jì)算機(jī)的輸入向量來(lái)執(zhí)行向量-矩陣乘法。

結(jié)論

這種多層存儲(chǔ)器方法及其內(nèi)存計(jì)算功能的優(yōu)點(diǎn)包括:

1. 極低功率: 這項(xiàng)技術(shù)是為低功率應(yīng)用而設(shè)計(jì)的。第一級(jí)功率優(yōu)勢(shì)來(lái)自于這樣一個(gè)事實(shí),即解決方案是內(nèi)存計(jì)算,因此在計(jì)算過(guò)程中不會(huì)在SRAM/DRAM的數(shù)據(jù)和權(quán)重傳輸中浪費(fèi)能量。第二個(gè)能量?jī)?yōu)勢(shì)來(lái)自于閃光電池是以極低電流值的亞閾值模式運(yùn)行的,所以有源功率耗散很低。第三個(gè)優(yōu)點(diǎn)是在備用模式下幾乎沒(méi)有能量耗散,因?yàn)榉且资源鎯?chǔ)器電池不需要任何功率來(lái)保持?jǐn)?shù)據(jù)的連續(xù)性。該方法也非常適合利用重量和輸入數(shù)據(jù)的稀疏性。如果輸入數(shù)據(jù)或權(quán)重為零,則內(nèi)存比特單元不會(huì)被激活。

2. 包足跡較低: 該技術(shù)使用一個(gè)分叉門(1.5T)單元結(jié)構(gòu),而數(shù)字實(shí)現(xiàn)中的SRAM單元?jiǎng)t基于6T架構(gòu)。此外,與6TSRAM電池相比,該電池是一個(gè)小得多的比特細(xì)胞。另外,一個(gè)單元格可以存儲(chǔ)整個(gè)4位整數(shù)值,這與需要4*6=24晶體管的SRAM單元格不同。這提供了一個(gè)小得多的芯片足跡。

3. 較低的開發(fā)成本: 由于內(nèi)存性能瓶頸和馮諾依曼架構(gòu)的局限性,許多專用設(shè)備(如恩維迪亞的Jetsen或谷歌的TPU)傾向于使用較小的幾何形狀來(lái)獲得每瓦特的性能,這是解決邊緣人工智能計(jì)算挑戰(zhàn)的昂貴方法。利用多層存儲(chǔ)器方法,使用模擬內(nèi)存計(jì)算方法,在閃存單元中進(jìn)行芯片計(jì)算,從而可以使用更大的幾何形狀,降低掩模成本和準(zhǔn)備時(shí)間。

邊緣計(jì)算應(yīng)用顯示出巨大的前景。然而,在邊緣計(jì)算能夠起飛之前,還需要解決電力和成本方面的挑戰(zhàn)。一個(gè)主要障礙可以通過(guò)在閃存單元中執(zhí)行計(jì)算的內(nèi)存方法來(lái)消除。這種方法利用了生產(chǎn)證明,事實(shí)上標(biāo)準(zhǔn)類型的多層次存儲(chǔ)技術(shù)解決方案,是優(yōu)化的機(jī)器學(xué)習(xí)應(yīng)用。