【導(dǎo)讀】AI技術(shù)在未來(lái)將會(huì)如何發(fā)展，在上一篇文章《人工智能下一個(gè)10年：敢問(wèn)路在何方？》中，筆者從人工智能的三要素?cái)?shù)據(jù)、算法、算力的角度闡述了AI產(chǎn)業(yè)的演進(jìn)趨勢(shì)。

AI時(shí)代的算力、算法和數(shù)據(jù)處在一種螺旋式的提升關(guān)系中。未來(lái)10年，我們將進(jìn)入一個(gè)“算力為王”的智能社會(huì)，算力成為AI產(chǎn)業(yè)的核心驅(qū)動(dòng)力，算力的發(fā)展也將開啟它自己的黃金時(shí)代。

本文我們就從算力的發(fā)展說(shuō)起，聊聊未來(lái)10年，算力的挑戰(zhàn)和機(jī)遇。

算力有多重要？

算力警告

人們從來(lái)沒(méi)有想到過(guò)芯片的算力會(huì)有到達(dá)極限的一天，至少?gòu)膩?lái)沒(méi)有想到芯片算力極限會(huì)這么快到來(lái)。

• 每一網(wǎng)絡(luò)遍歷的計(jì)算量，或給定深度學(xué)習(xí)模型中單次遍歷(即權(quán)值調(diào)整)所需的浮點(diǎn)運(yùn)算數(shù)

  
  

• 訓(xùn)練整個(gè)模型的硬件負(fù)擔(dān)，用處理器數(shù)量乘以計(jì)算速度和時(shí)間來(lái)估算

  
  

• 香農(nóng)定律：定義了熵、信道容量和失真情況下壓縮極限，我們距離這三個(gè)極限已比較接近

  
  

• 馮諾依曼架構(gòu)：指五個(gè)最基本模塊加上程序存儲(chǔ)原理，是圖靈意義下最好的一種實(shí)現(xiàn)。瓶頸在于數(shù)據(jù)和計(jì)算的分離。在深度學(xué)習(xí)中，龐大數(shù)據(jù)量本身就會(huì)形成一個(gè)瓶頸

  
  

• 摩爾定律：摩爾定律的不斷演進(jìn)發(fā)展,高性能芯片大幅降低了深度學(xué)習(xí)算法所需的計(jì)算時(shí)間和成本，摩爾定律正在逐漸放緩

  
  

• 重新定義“數(shù)據(jù)-信息-知識(shí)" ,制定全新的計(jì)算范式

  
  

• 設(shè)計(jì)實(shí)現(xiàn)全新的、通用的計(jì)算體系、感知體系、通訊架構(gòu)

  
  

• 需要探索全新的芯片模態(tài)。傳統(tǒng)的馮諾依曼架構(gòu)已難以支持當(dāng)前深度學(xué)習(xí)所需的計(jì)算要素

  
  

• 一是基于老架構(gòu)，使其老樹開新花，以英偉達(dá)、AMD、Xilinx和Google等為代表的芯片大廠基于馮諾伊曼計(jì)算架構(gòu)繼續(xù)發(fā)展GPU、FPGA和ASIC芯片

  
  

• 二是開發(fā)新架構(gòu)，如存算一體芯片、軟件定義硬件、類腦芯片等

  
  

AI芯片的關(guān)鍵技術(shù)和挑戰(zhàn)

• 訓(xùn)練

  
  

• 對(duì)AI芯片有高算力、高容量和訪問(wèn)速率、高傳輸速率、通用性的要求

  
  

• 推理

  
  

• 對(duì)于AI芯片主要注重算力功耗比、時(shí)延、價(jià)格成本的綜合能力。實(shí)驗(yàn)證明低精度運(yùn)算（如float16，int8）可達(dá)到幾乎和float32同等的推理效果，所以AI推理芯片有低精度算力的要求

  
  

• AI芯片當(dāng)前的核心是利用乘加計(jì)算（multiplier and accumulation，MAC）陣列來(lái)實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)中最主要的卷積運(yùn)算的加速。MAC陣列的大量運(yùn)算，會(huì)造成功耗的增加。很多AI應(yīng)用的場(chǎng)景對(duì)于功耗都有嚴(yán)格的限制，如何達(dá)到優(yōu)異的性能功耗比是AI芯片研發(fā)的一個(gè)重要目標(biāo)

  
  

• 深度學(xué)習(xí)算法中參與計(jì)算的數(shù)據(jù)量龐大，導(dǎo)致內(nèi)存帶寬成為了整個(gè)系統(tǒng)的一個(gè)瓶頸“Memory Wall”也是需要優(yōu)化和突破的主要問(wèn)題

  
  

• 提高編譯器和工具鏈軟件的優(yōu)化能力、易用性越來(lái)越重要

  
  

普惠的算力

正如前面闡述的，算力有多重要，就有多昂貴。巨大的算力需求，使得GPU價(jià)格一直居高不下。高昂的成本，讓更多的用戶在AI世界的大門面前望而卻步。

• Make it work

  
  

• Make it perform

  
  

• Make it cheap

  
  

• 針對(duì)芯片架構(gòu)進(jìn)行創(chuàng)新

  
  

• AI應(yīng)用不同于傳統(tǒng)計(jì)算架構(gòu)，AI的算法、模型均有各自特點(diǎn)，因此，從新設(shè)計(jì)芯片的架構(gòu)，使得性能、能效比達(dá)到最優(yōu)

  
  

• 這也是初創(chuàng)企業(yè)最大的機(jī)會(huì)

  
  

• 軟件定義硬件

  
  

• 虛擬化、資源池化等技術(shù)實(shí)現(xiàn)算力的動(dòng)態(tài)可調(diào)，按需供給

  
  

• 生態(tài)開放和開源

  
  

• 規(guī)?；鼓墚a(chǎn)業(yè)，在產(chǎn)業(yè)中實(shí)現(xiàn)規(guī)?；?/span>

  
  

• 實(shí)現(xiàn)盈利，保證產(chǎn)業(yè)健康可持續(xù)

  
  

• 在產(chǎn)業(yè)發(fā)展演進(jìn)中實(shí)現(xiàn)產(chǎn)品和技術(shù)迭代

  
  

展望下一個(gè)十年

未來(lái)10年，將是人工智能算力的“超摩爾時(shí)代”

• 一方面，芯片制程技術(shù)從7納米、5納米到3納米不斷突破

  
  

• 另一方面，將人工智能算法和算力耦合設(shè)計(jì)，智能芯片的算力密度提升將超越摩爾定律約束，從而帶來(lái)性價(jià)比更高的智能算力，讓算力無(wú)處不在

  
  

• 5G傳輸技術(shù)的加持，也將以更大的傳輸帶寬、更低的延時(shí)，讓智能實(shí)時(shí)、可感、泛在

  
  

結(jié)語(yǔ)

• 冷兵器時(shí)期的——“人力時(shí)代”：那時(shí)候的一切基本靠肌肉，人能制造工具，讓自己區(qū)別于了其他生物

  
  

• 工業(yè)革命開啟了“馬力時(shí)代”：雖然叫馬力，其實(shí)這個(gè)單位評(píng)價(jià)的一直是物理功率和化學(xué)能量

  
  

• 時(shí)至今日，人類正在逐步被“算力時(shí)代”所取代