除了Google、Facebook、亞馬遜(Amazon)和百度(Baidu)等業(yè)界“大咖”一直在設(shè)計(jì)用于訓(xùn)練和推論的深度學(xué)習(xí)芯片，幾乎每一周，我們都還會(huì)聽說有一些“名不見經(jīng)傳”的新創(chuàng)公司開發(fā)出新一代AI SoC架構(gòu)。

盡管有這么多的AI新芯片陸續(xù)發(fā)布，但一位資深的產(chǎn)業(yè)分析師——Tirias Research首席分析師Kevin Krewell提醒道：“機(jī)器學(xué)習(xí)處理領(lǐng)域充斥著許多新的主張，但只有真正可用的芯片和軟件才能展現(xiàn)實(shí)力。”

事實(shí)上，這么多的產(chǎn)品中卻找不到一款可在今年或甚至明年上市。直到真正的芯片上市，我們才有辦法知道哪些芯片是真的，哪些只是誤導(dǎo)市場的煙霧彈。

然而，最近在一次與Arteris營銷副總裁Kurt Shuler的采訪中，他提醒我們，有時(shí)候，像AI芯片這樣一個(gè)被過度宣傳的新興市場中，真正發(fā)生哪些事情的答案必須要向更深層的食物鏈中去尋找。

誰在打造AI SoC?

Arteris日前推出新的互連IP以及名為FlexNoc 4的AI軟件套件。據(jù)Shuler稱，該公司的新產(chǎn)品旨在加速下一代深度神經(jīng)網(wǎng)絡(luò)(DNN)和機(jī)器學(xué)習(xí)系統(tǒng)的開發(fā)。

從與Shuler的訪談中可以發(fā)現(xiàn)，Arteris憑借其網(wǎng)絡(luò)芯片(NoC) IP，已經(jīng)將自家公司提升至一個(gè)新高度，清楚可見在全球AI SoC設(shè)計(jì)領(lǐng)域中有誰在經(jīng)營哪些業(yè)務(wù)。

據(jù)Shuler表示，當(dāng)專為訓(xùn)練而設(shè)計(jì)的AI芯片比以往任何時(shí)候都更加強(qiáng)大、更復(fù)雜，而且還經(jīng)常與大規(guī)模平行處理器整合時(shí)，“互連變得格外重要”。

Shuler在采訪中分享了目前使用該公司互連IP和工具開發(fā)AI SoC的芯片公司名單。雖然這份清單中包括許多沒沒無聞的新創(chuàng)公司和現(xiàn)有的系統(tǒng)供貨商(包括日本相機(jī)OEM和一些大型系統(tǒng)OEM)，但它清楚地描繪出現(xiàn)有SoC公司也在切入AI芯片設(shè)計(jì)及其最新進(jìn)展。

(來源：Arteris)

在汽車領(lǐng)域，這份清單中不乏Mobileye、恩智浦(NXP)和東芝(Toshiba)等知名大廠;針對(duì)移動(dòng)性，當(dāng)然少不了海思半導(dǎo)體(HiSilicon)。至于網(wǎng)絡(luò)和自動(dòng)化的機(jī)器學(xué)習(xí)類別，Arteris的客戶還包括了Movidius和百度(Baidu)。

根據(jù)Shuler的觀察，“中國目前正興起一波AI芯片淘金熱潮。”中國政府正大力支持各種相關(guān)活動(dòng)。包括云天勵(lì)飛(Intellifusion)、燧原科技(Enflame Technology)、天數(shù)智芯(Iluvatar Corex)、寒武紀(jì)科技(Cambricon Technologies)和嘉楠耘智(Canaan Creative)等多家中國業(yè)者也積極與Arteris合作投入AI芯片的開發(fā)。

誰在推動(dòng)AI架構(gòu)?

相較于應(yīng)用處理器(AP)或物聯(lián)網(wǎng)(IoT)芯片必須支持定義明確的架構(gòu)，AI SoC則全然不同。Shuler說，“例如，應(yīng)用處理器基本上就是一種架構(gòu)。但對(duì)于AI SoC，每個(gè)人都還在嘗試各種途徑。”

至今還沒有哪一種SoC架構(gòu)能一統(tǒng)AI世界，也沒有一種所謂正確設(shè)計(jì)AI SoC的方法。Shuler指出，這使得“靈活性”成為AI SoC設(shè)計(jì)的一項(xiàng)重要元素。

他說，“目前大多都是軟件人員在開發(fā)AI芯片。”

因此，軟件人員可能會(huì)說，“讓我們看看這種特殊的DNN類型。我們都專精于數(shù)學(xué)，所以想弄清楚哪一部份能以硬件加速。”每個(gè)人都跟著這樣做，一直到有人終于問了，“數(shù)據(jù)需要整理嗎?我們應(yīng)該清除不需要的數(shù)據(jù)。我們能開發(fā)出有助于更快得到答案的硬件嗎?”當(dāng)然，但接下來，同樣的軟件類型起不了作用后，他們可能還會(huì)問：“我們?cè)撊绾渭铀龠@種卷積?”

因此，Shuler解釋說，許多設(shè)計(jì)團(tuán)隊(duì)傾向于個(gè)別處理元素——每個(gè)元素都有一些數(shù)學(xué)成份、一些本地內(nèi)存。然而，最終真正未解決的問題是“數(shù)據(jù)流”(data flow)。

雖然處理元素之間必須能夠彼此通訊，但也必須管理處理組件和內(nèi)存之間的傳輸流量。Shuler說：“數(shù)據(jù)流是他們無法真正了解的問題之一。”但他們必須能夠“以最有效率的方式保持這些數(shù)據(jù)的流動(dòng)。”這就是互連IP和工具得以發(fā)揮作用之處。

架構(gòu)問題

Arteris從與各種系統(tǒng)和SoC公司合作開發(fā)AI芯片的經(jīng)驗(yàn)中，更清楚地掌握了AI芯片面臨的架構(gòu)問題。

Shuler說目前主要有三大挑戰(zhàn)。他首先提到的是AI訓(xùn)練芯片，并指出網(wǎng)絡(luò)拓?fù)?、芯片尺寸太大，以及需要更大的帶寬，包括芯片上?shù)據(jù)流以及存取至芯片外接內(nèi)存。

Shuler解釋說，關(guān)于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，AI芯片設(shè)計(jì)人員通常會(huì)尋找網(wǎng)格、環(huán)形和圓環(huán)等元素，這有助于建立可預(yù)測的數(shù)據(jù)流。Arteris根據(jù)從AI芯片客戶學(xué)習(xí)到的各種知識(shí)，在其FlexNoC AI中打造了新的IP技術(shù)。Shuler說，該新工具能夠“自動(dòng)產(chǎn)生拓?fù)浣Y(jié)構(gòu)”，為硬件設(shè)計(jì)人員提供了“客制和優(yōu)化拓?fù)浜蛡€(gè)別網(wǎng)絡(luò)路由器”的機(jī)會(huì)。

另一項(xiàng)重大設(shè)計(jì)挑戰(zhàn)來自于設(shè)計(jì)人員必須能夠?qū)嶋H處理大型芯片的現(xiàn)實(shí)問題。

大型AI芯片可能成為時(shí)序收斂等問題的根源(來源：Arteris)

Shuler提到，他所見過的最大型AI芯片尺寸約20 x 20 mm。400 mm 2是一相當(dāng)大的芯片了。他解釋說，尺寸大小真的很重要，因?yàn)樵贏I芯片上跨越長距離時(shí)需要“較長的芯片路徑，而這將導(dǎo)致時(shí)序收斂問題”。據(jù)Arteris指出，新工具提供的“來源同步通訊”和“虛通道鏈路”有助于解決這個(gè)問題。

第三項(xiàng)挑戰(zhàn)是最經(jīng)常被提到的問題：帶寬。芯片上數(shù)據(jù)流以及存取至芯片外接內(nèi)存都需要很大的帶寬。

支援群播

最近幾個(gè)月，AI芯片客戶越來越關(guān)注于芯片是否能支持“群播”(multicast)。

為什么需要群播?因?yàn)樗芤员M量接近網(wǎng)絡(luò)目標(biāo)的方式播送數(shù)據(jù)，從而使芯片上和芯片外內(nèi)存帶寬的利用優(yōu)化。Shuler說：“這將更有效率地升級(jí)DNN權(quán)重、影像映像以及其他群播數(shù)據(jù)。”

AI芯片日益需要智能群播功能。例如上述的廣播電臺(tái)技術(shù)能使NoC帶寬利用優(yōu)化(來源：Arteris)

加一家新創(chuàng)公司Provino Technologies首席執(zhí)行官Shailendra Desai曾經(jīng)在接受《EE Times》采訪時(shí)表示，由于該公司開發(fā)出NoC IP，目前正獲得了好幾家名列Fortune 500的公司關(guān)注。Desai表示，系統(tǒng)供應(yīng)商如今都要求AI芯片“支持群播”，因?yàn)樗麄冋J(rèn)為這將顯著地降低AI芯片的功耗和延遲。

Shuler也認(rèn)同“智能群播”是目前每一個(gè)AI SoC設(shè)計(jì)師都在追求的功能。

內(nèi)存存取

眾所周知，外接內(nèi)存的數(shù)據(jù)經(jīng)常需要移進(jìn)移出，但由此帶來的功耗，是在設(shè)計(jì)AI芯片時(shí)最頭痛的問題。

一方面，新創(chuàng)公司Mythic期望將神經(jīng)網(wǎng)絡(luò)映像至NOR內(nèi)存數(shù)組。據(jù)該公司介紹，這種新架構(gòu)能以節(jié)省多達(dá)兩個(gè)數(shù)量級(jí)的功耗計(jì)算和儲(chǔ)存數(shù)據(jù)。

但是，對(duì)于等不及Mythic推出商用產(chǎn)品的人來說，目前并沒什么選擇。他們必須找到最節(jié)能的方法來建立存取至芯片外接內(nèi)存的途徑。

為此，Arteris提供第二代高帶寬內(nèi)存(HBM2)和多信道內(nèi)存支持工具，讓設(shè)計(jì)人員能整合HBM2多信道內(nèi)存控制器以及“8或16通道交錯(cuò)”。

藉由Arteris的工具部署記錄器緩沖區(qū)和“流量聚合和數(shù)據(jù)寬度轉(zhuǎn)換”，即可透過8或16個(gè)目標(biāo)網(wǎng)絡(luò)接口單元，將各種不同的連接組合于HBM2前端，如下圖所示：

HBM2和多信道內(nèi)存支持(來源：Arteris)

未來：“一定有人陣亡…”

Arteris規(guī)劃了一個(gè)遠(yuǎn)大的未來藍(lán)圖，畢竟，AI SoC設(shè)計(jì)移動(dòng)并不只是“空談”或幻影。從取得Arteris IP授權(quán)的業(yè)者即可證實(shí)，許多新創(chuàng)公司和傳統(tǒng)SoC供貨商都在設(shè)計(jì)AI芯片。有趣的是，Arteris發(fā)布的設(shè)計(jì)工具也顯示許多公司都面臨相同的設(shè)計(jì)問題。

但實(shí)際上，大多數(shù)產(chǎn)業(yè)觀察家并不看好目前所有的AI芯片公司都能在五年后繼續(xù)存在。

一位不愿透露姓名的AI新創(chuàng)公司主管表示，“最終必然會(huì)有公司陣亡。每一家新創(chuàng)公司都必須考慮如何退場，未來并不一定會(huì)一路順風(fēng)。”

他看到一個(gè)可能的重要變量是“云端解決方案供貨商和OEM的需求”，他們希望在內(nèi)部開發(fā)自家芯片。因此，他們很可能造成“一些新創(chuàng)公司的退場。”

而在邊緣端，“仍然存在一些機(jī)會(huì)，但要和大型公司競爭也不容易。”這將促使一些希望求生存的競爭者采取“更高風(fēng)險(xiǎn)的路徑”，例如AI在內(nèi)存內(nèi)計(jì)算(IMC)、模擬等方面。

歷史背景

AI芯片新創(chuàng)公司正從創(chuàng)投業(yè)者(VC)手中獲得了大把創(chuàng)投資金。然而，Linley Gwennap總裁Linley Gwennap說，“雖然VC通常都會(huì)審慎行事，但僅有1/5或1/10的投資案能帶來巨大報(bào)酬即可接受。無論是VC或任何人應(yīng)該都不會(huì)指望所有的新創(chuàng)公司都能繁榮興盛。”

Linley認(rèn)為，“VC大舉投資AI新創(chuàng)公司，主要是因?yàn)檫@些解決方案的市場規(guī)模很大，在未來五年內(nèi)，每年創(chuàng)造的芯片營收可能至少都有100億美元。”

但是，“在新創(chuàng)公司開始出貨產(chǎn)品之前，你很難對(duì)其進(jìn)行評(píng)估。”他指出，這種循環(huán)就像回到了我們開始對(duì)話AI芯片之處。

Linley說：“即使是像Wave和Graphcore等似乎比多數(shù)公司發(fā)展更超前的公司，就算發(fā)布了一些性能基準(zhǔn)，也不允許第三方公開評(píng)估其產(chǎn)品。許多新創(chuàng)公司已經(jīng)遠(yuǎn)遠(yuǎn)落后于其最初所承諾的性能和時(shí)間表。等到這些產(chǎn)品能夠公開供測試時(shí)，證據(jù)自然就會(huì)出現(xiàn)了;預(yù)計(jì)在一年后，我們將更能了解整個(gè)市場定位。”