隨著在舊金山舉行的國際電子設(shè)備會議(IEDM)和在蒙特利爾舉行的神經(jīng)信息處理系統(tǒng)會議(NeurlPS)的開門紅，對于任何希望跟上人工智能研發(fā)發(fā)展步伐的人來說，本周都顯得十分重要。

正如IBM的研究人員正在詳細介紹用于數(shù)字和模擬人工智能芯片的新人工智能方法。IBM自豪地宣稱，其數(shù)字AI芯片“首次成功地使用8位浮點數(shù)訓(xùn)練了深度神經(jīng)網(wǎng)絡(luò)(DNNs)，同時在深度學(xué)習(xí)模型和數(shù)據(jù)集的頻譜上完全保持了準確性。”

另外，IBM的研究人員正在IEDM上展示一種模擬人工智能芯片，它使用8位精度的內(nèi)存與投影相變內(nèi)存相乘。

“我們確實認為所有這些工作我們正在做,比如試圖獲得精度下降,性能可以和權(quán)力可以繼續(xù)推進AI——是非常重要的,”杰弗里?六須鲇IBM research - almaden的副總裁兼實驗室主任這樣說道。

Linley Group總裁兼首席分析師Linley Gwennap稱：“機器學(xué)習(xí)繼續(xù)快速發(fā)展?，F(xiàn)有的硬件無法有效處理研究人員建立的最大的神經(jīng)網(wǎng)絡(luò)，所以他們正在尋找各種新的方法來提高性能和效率。這些新進展都將給硬件廠商帶來巨大壓力，芯片公司都"必須靈活且迅速地在這個混亂的市場中生存"。

AI的GPU時代結(jié)束了

IBM大膽預(yù)測，GPU在人工智能領(lǐng)域的主導(dǎo)地位將終結(jié)。GPU能夠為圖形處理做很多并行矩陣乘法。這樣的矩陣乘法恰好是你需要用神經(jīng)網(wǎng)絡(luò)做的事情。在Welser看來，“這是一種巧合，但它非常重要。”因為如果沒有它(gpu)，我們永遠也達不到我們今天在AI表現(xiàn)中已經(jīng)看到的水平。Welser還補充說，“隨著我們對人工智能的了解越來越多，我們正在尋找方法來設(shè)計一種更高效的硬件。”

移動到較低的精度

提高效率的一個途徑是降低人工智能處理所需的精度。

六須鲇解釋說,“我們所有的大方向在幾年前開始意識到,雖然我們習(xí)慣于非常精確的計算- 32位浮點計算非常標準,甚至64位,雙精度對于真正準確的計算——這是不一定總是重要的(AI)。”

在人工智能中，他強調(diào)，“你所關(guān)心的神經(jīng)網(wǎng)絡(luò)是當(dāng)你展示一幅圖像或一個詞，如果它得到了正確的答案?！碑?dāng)我們問它是貓還是狗時，它說它是貓。如果這是正確的答案，你就不必關(guān)心中間的所有計算。

理想情況下，人工智能應(yīng)該模仿人眼。威爾斯說:“透過霧蒙蒙的窗戶，你會看到一個人在街上走。這是一種低姿態(tài)的形象，但通常能說“哦，那是我媽媽來了”就足夠了?！八裕灰愕玫搅苏_的答案，這對視力是否合適并不重要。”

他解釋說，這解釋了人工智能處理中精度下降的趨勢。

“對于32位計算，我必須在32位上進行計算。如果我們能在16位上完成，那基本上是計算能力的一半，或者可能是芯片面積的一半，甚至更少?！叭绻隳芙档?位或4位，那就更好了?！彼f，“所以，這給了我一個巨大的勝利，在面積、動力、性能和吞吐量方面——我們能多快完成所有這些。”

然而，Welser承認，“很長一段時間以來，我們都認為人工智能訓(xùn)練必須堅持32位精度。沒有別的辦法了。

2015年，IBM Research發(fā)布了AI模型訓(xùn)練推理的降精度方法，論文描述了一種針對傳統(tǒng)CMOS技術(shù)的新型數(shù)據(jù)流方法。IBM展示了經(jīng)過16位精度訓(xùn)練的模型，與經(jīng)過32位精度訓(xùn)練的模型相比，精度沒有損失。

從那時起，IBM注意到“降低精度的方法很快被采納為行業(yè)標準，16位培訓(xùn)和8位推斷現(xiàn)在已經(jīng)很普遍，并刺激了創(chuàng)業(yè)公司和風(fēng)險投資的爆炸式增長，用于降低基于精度的AI芯片?！北M管出現(xiàn)了這種新趨勢，但由于需要保持模型的高精度，用數(shù)字表示小于16位的“訓(xùn)練”幾乎是不可能的。