據(jù)安謀科技統(tǒng)計(jì)，過(guò)去一年中國(guó)有60個(gè)用到了NPU的芯片項(xiàng)目，而其中55%的都是選擇了自研NPU。自研NPU也就意味著軟件工具鏈也都各有所不同，因此在AI應(yīng)用的推理側(cè)，有著非常嚴(yán)重的碎片化的現(xiàn)象。為了解決這種NPU硬件碎片化問題，加速NPU生態(tài)發(fā)展，安謀科技近日發(fā)布了其最新的”周易“X2 NPU產(chǎn)品。憑借著可拓展的算力架構(gòu)、自定義的算子、大模型優(yōu)化架構(gòu)以及開放的Compass軟件平臺(tái)，“周易”X2 NPU不是為了單獨(dú)解決某一個(gè)問題、或者某一個(gè)應(yīng)用痛點(diǎn)而來(lái)，而是為了解決全行業(yè)的端側(cè)AI推理難題，助力AI走入通用應(yīng)用層面。

“周易”X2 NPU——適用多類型端側(cè)推理，兼具高效低耗

“無(wú)論是手持終端設(shè)備、汽車應(yīng)用場(chǎng)景還是像現(xiàn)在十分火熱的GPT和邊緣側(cè)高性能計(jì)算場(chǎng)景，對(duì)于人工智能的算力要求是成倍提升的?！卑仓\科技產(chǎn)品總監(jiān)楊磊分享到。手機(jī)上的算力已經(jīng)達(dá)到了30TOPS，PC上也有了45TOPS的高算力方案推出，而在汽車上已經(jīng)有了幾百TOPS的算力需求；像Chat-GPT這樣的大模型對(duì)于算力的需求更是以成倍增加。安謀科技最新發(fā)布的“周易”X2 NPU，就能夠很好地解決以上這些場(chǎng)景中的算力難題。

據(jù)悉，“周易”X2 NPU是基于安謀科技最新的“周易”V3架構(gòu)指令集，相比前代產(chǎn)品有了非常多的性能提升。首先是在算力上，能夠支持實(shí)現(xiàn)320TOPS的子系統(tǒng)的算力。第二是通過(guò)i-Tiling技術(shù)，大幅減少帶寬需求，進(jìn)一步提升計(jì)算效率，從而大幅降低系統(tǒng)的成本。第三是實(shí)時(shí)任務(wù)調(diào)度，通過(guò)專門的硬件加速調(diào)度器來(lái)做實(shí)時(shí)的任務(wù)調(diào)度和管理，從而滿足汽車等高實(shí)時(shí)性的應(yīng)用場(chǎng)景。第四是支持混合精度計(jì)算，包括定點(diǎn)計(jì)算、整數(shù)型計(jì)算和浮點(diǎn)計(jì)算，并且可以很好地平衡整體功耗、計(jì)算密度和計(jì)算精度。第五是專門優(yōu)化的Transformer性能，針對(duì)圖像處理等進(jìn)行了專門的優(yōu)化。第六是增加了無(wú)損的權(quán)重壓縮的技術(shù)，實(shí)現(xiàn)了帶寬的節(jié)省。第七是針對(duì)手持電池供電設(shè)備進(jìn)行了低功耗優(yōu)化，在7nm節(jié)點(diǎn)能夠做到10TOPS/w的能效。第八是針對(duì)手機(jī)拍照中的AI降噪、視頻超分插幀等進(jìn)行了專門的優(yōu)化。

據(jù)安謀科技執(zhí)行副總裁、產(chǎn)品研發(fā)負(fù)責(zé)人劉澍介紹，“周易”X2 NPU第一個(gè)瞄準(zhǔn)的是汽車市場(chǎng)。而在此次發(fā)布會(huì)上，安謀科技也展示了一個(gè)面向汽車場(chǎng)景的320TOPS參考方案。在一個(gè)子系統(tǒng)中集成了四個(gè)Cluster，每個(gè)Cluster中集成了4個(gè)核和Cluster Management。

與國(guó)際上比較通用的汽車SoC對(duì)比，在跑Swin-Transformer，采用相似的MAC數(shù)量的前提下，“周易”X2可以實(shí)現(xiàn)最高260%的性能優(yōu)勢(shì)。除了一些MAC配置比較重的算子外，安謀科技還針對(duì)了Softmax、instance Normalization、Layer Normalization、Slice、矩陣運(yùn)算等都進(jìn)行了合理優(yōu)化，才能達(dá)到這個(gè)實(shí)測(cè)結(jié)果。

而針對(duì)移動(dòng)端場(chǎng)景，安謀科技展示了一個(gè)對(duì)標(biāo)業(yè)界旗艦手機(jī)的30TOPS方案，在一個(gè)X2 Cluster中集成了三個(gè)核，提供了AI降噪、視頻超分等專門的優(yōu)化。在與其他旗艦SoC的對(duì)比中，“周易”X2 SoC可以實(shí)現(xiàn)同樣的精度水平，但在MobileNet、UNET、YOLO等典型網(wǎng)絡(luò)中能提供更好的性能優(yōu)勢(shì)。

而除了上述展示的分別汽車和移動(dòng)端這兩大類應(yīng)用場(chǎng)景的子系統(tǒng)外，劉澍還表示“周易”X2 NPU可以滿足更高算力的邊緣服務(wù)器類的應(yīng)用需求，未來(lái)還會(huì)推動(dòng)針對(duì)新興領(lǐng)域的高性能子系統(tǒng)開發(fā)，希望把“周易”X系列NPU推向更多大算力的領(lǐng)域，不斷地發(fā)展。

第三代“周易”架構(gòu)——并行、可拓展和軟硬件耦合

為什么“周易”X2 NPU有這么好的彈性，能夠?qū)崿F(xiàn)從幾十TOPS到幾百TOPS的算力拓展，而且還都兼顧了很好的能效比？這背后的奧秘就來(lái)自其最新的第三代“周易”架構(gòu)，以及與Compass軟件平臺(tái)的緊密耦合。

“周易”X2 NPU的計(jì)算核心分為兩個(gè)大的部件，一個(gè)是可編程、靈活的單元，采用了VLIN架構(gòu)，負(fù)責(zé)通用向量處理；另一個(gè)是專門負(fù)責(zé)Tensor處理的、集合了多種高不同種類算子的加速單元；兩者有機(jī)地結(jié)合在一起構(gòu)成了一個(gè)基本的NPU核，多個(gè)NPU的核可以進(jìn)一步組成Cluster，多個(gè)Cluster進(jìn)一步還可以繼續(xù)拓展。

一個(gè)Cluster中的拓展除了兩部分計(jì)算單元外，還需要高帶寬的內(nèi)部NoC、Debug單元、電源管理單元以及內(nèi)部的Memory，構(gòu)成一個(gè)計(jì)算的Cluster。TSM（Task Scheduling Manager）是一個(gè)關(guān)鍵部件，可以將計(jì)算任務(wù)調(diào)度到合適的核或Cluster上。

另一個(gè)優(yōu)勢(shì)在于，“周易”架構(gòu)能做到高效能AI固定運(yùn)算和靈活編程要求的有效平衡。安謀科技開發(fā)了很多高效能的NN算子，可供客戶直接調(diào)用；而且提供了很多可重配置的結(jié)構(gòu)單元，來(lái)適配客戶的更多新算子。還開發(fā)了專門的NN Compiler，整合了i-Tiling的技術(shù)節(jié)省帶寬。從底層軟件、到中間部件，包括runtime、IDE、Simulator等都在“周易”Compass軟件平臺(tái)上實(shí)現(xiàn)了整合，而且安謀科技還提供了界面友好的OpenCL Compiler，通過(guò)一次編程個(gè)就可以將多類運(yùn)算單元整合起來(lái)。在頂層，安謀科技定義了一套套Compass IR的公開標(biāo)準(zhǔn)接口，將IR直接對(duì)接到上層神經(jīng)網(wǎng)絡(luò)或底層硬件。此外，“周易” V3架構(gòu)中還有一個(gè)核心部件是量化部件，可以把各種浮點(diǎn)的原始模型量化到合適精度，在NPU上進(jìn)行最高效的運(yùn)行。

據(jù)安謀科技NPU研發(fā)高級(jí)總監(jiān)孫錦鴻介紹，“周易”架構(gòu)已經(jīng)發(fā)展到第三代，設(shè)計(jì)思路上遵行“并行”和“可拓展性”，在同構(gòu)和異構(gòu)的單元中得到統(tǒng)一。整個(gè)“周易”NPU的設(shè)計(jì)核心思想在指令和數(shù)據(jù)處理單元的同構(gòu)計(jì)算里做到了最大并行。如果在異構(gòu)上，可以把數(shù)據(jù)的Channel和Batch、甚至異構(gòu)算子做成并行，在同構(gòu)和異構(gòu)的單元里得到統(tǒng)一。在此基礎(chǔ)上擴(kuò)展的核和Cluster，通過(guò)不同顆粒度的并行性來(lái)體現(xiàn)到整個(gè)“周易”架構(gòu)的強(qiáng)擴(kuò)展性。雖然“周易”V3架構(gòu)的擴(kuò)展維度很多樣，但都可以通過(guò)統(tǒng)一的OpenCL界面把不同擴(kuò)展性的計(jì)算單元，不同的核通過(guò)統(tǒng)一的編程方式進(jìn)行統(tǒng)一編程，提供較好用戶體驗(yàn)。

在“周易”V3架構(gòu)上，提供了專門針對(duì)圖優(yōu)化的策略，結(jié)合Transpose合成，通過(guò)相同/類似算子融合，可以大大減少處理流水線，從而減少帶寬，提高運(yùn)算效率。在發(fā)布會(huì)現(xiàn)場(chǎng)展示了一個(gè)車載的處理模型，通過(guò)“周易” Compass軟件平臺(tái)：做了8bit的量化，再做了圖優(yōu)化，之后再放到IP里面運(yùn)行，最后實(shí)時(shí)輸出分割后原生的圖像結(jié)果。這一模型的運(yùn)算復(fù)雜度比傳統(tǒng)CNN模型更為復(fù)雜，同時(shí)精度上也會(huì)更好。

孫錦鴻表示，“周易”V3架構(gòu)的研發(fā)的最難點(diǎn)在于如何把易用性、可編程性或最有效地把軟件遷移到“周易”的產(chǎn)品上，做到軟硬件的平衡。要實(shí)現(xiàn)這一難題，安謀科技在“周易”架構(gòu)上提供了支持統(tǒng)一編程的OpenCL界面、Primitive（原語(yǔ)）方法實(shí)現(xiàn)高效算子整合、支持TVM的統(tǒng)一框架實(shí)現(xiàn)與CPU、GPU的異構(gòu)聯(lián)動(dòng)，從而讓其最終得以實(shí)現(xiàn)如此好的軟硬件協(xié)同。

NPU生態(tài)的構(gòu)建和意義

目前端側(cè)的AI推理應(yīng)用，尚處在發(fā)展階段，因此在NPU硬件生態(tài)上呈現(xiàn)出碎片化的現(xiàn)狀。據(jù)安謀科技調(diào)研，去年中國(guó)包含NPU的項(xiàng)目有60個(gè)左右，其中就出現(xiàn)了接近40種方案。每換一個(gè)硬件平臺(tái)，也就意味著整個(gè)軟件工具鏈的改變，這對(duì)于需要切換軟硬件平臺(tái)的應(yīng)用開發(fā)者而言及其復(fù)雜?！霸鯓幽茉谕评韨?cè)使生態(tài)更加友好，尤其是對(duì)于軟件開發(fā)者、應(yīng)用開發(fā)者更加友好，可以讓他們更加方便、快捷地進(jìn)行應(yīng)用的開發(fā)和部署，是安謀科技一直在深入思考的問題。”楊磊分享到。

NPU的軟件移植流程通常包括以下幾個(gè)步驟：浮點(diǎn)模型訓(xùn)練好之后，要針對(duì)硬件進(jìn)行定點(diǎn)的量化，最終變成可執(zhí)行的代碼；代碼還需要在軟件仿真平臺(tái)和硬件開發(fā)板上進(jìn)行測(cè)試，最終部署到硬件上。在這個(gè)開發(fā)的過(guò)程中，越是以算法和數(shù)據(jù)為核心的合作伙伴，越有強(qiáng)烈的軟件工具鏈白盒的訴求。

基于此行業(yè)痛點(diǎn)，安謀科技推出了“周易”NPU軟件開源計(jì)劃。該計(jì)劃包括了幾個(gè)部分：第一是實(shí)現(xiàn)了“周易”中間表示層的開放，第二是免費(fèi)授權(quán)“周易”V3架構(gòu)，鼓勵(lì)自研NPU實(shí)現(xiàn)“周易”架構(gòu)兼容。

中間表示層指的是一個(gè)非常重要的抽象層級(jí)，在底層的細(xì)粒度的指令之上，類似于高級(jí)指令集。這是一個(gè)比較大粒度的抽象層級(jí)，簡(jiǎn)稱為IR，安謀科技實(shí)現(xiàn)了IR層的整個(gè)規(guī)范的全面開源，從而滿足了開發(fā)者在應(yīng)用移植和部署過(guò)程中對(duì)于白盒開發(fā)的需求?！凹词故亲鲎匝蠳PU的合作伙伴，周易開源計(jì)劃也可以幫助到他們節(jié)省約50%的軟件工作量?！睏罾诜窒淼?，“而對(duì)于上層的算法開發(fā)者而言，開源的好處是給了他們一個(gè)較為統(tǒng)一硬件方案?！?

此前Arm就圍繞著CPU IP進(jìn)行了一些開源項(xiàng)目的嘗試，而此次安謀科技的“周易”軟件開源計(jì)劃，是其整個(gè)生態(tài)伙伴計(jì)劃的重要組成部分。據(jù)悉，安謀科技的全部自研產(chǎn)品，包括“周易”NPU、“山?！盨PU、“星辰”CPU、“玲瓏”ISP、VPU等都可以提供給生態(tài)伙伴，透過(guò)TVM的設(shè)計(jì)和Compass平臺(tái)，就能讓“周易”NPU跟Arm其他CPU、GPU結(jié)合起來(lái)，形成合理的異構(gòu)運(yùn)算調(diào)度。而且這個(gè)合作伙伴的定義不僅局限于芯片設(shè)計(jì)客戶，也包括上下游所有的參與者。譬如汽車應(yīng)用而言，包括OEM、Tier1、Tier2、軟件開發(fā)者和創(chuàng)新設(shè)備商等都屬于生態(tài)參與者的一部分。

結(jié)語(yǔ)

隨著ChatGPT的興起，大模型讓AI走入通用應(yīng)用，AI將會(huì)成為一種基礎(chǔ)的計(jì)算支持，成為賦能各種應(yīng)用升級(jí)的沃土。而大模型、多模態(tài)輸入等對(duì)于算力的要求越來(lái)越高，走入通用后的端側(cè)的硬件碎片化問題，都是當(dāng)下端側(cè)NPU發(fā)展的挑戰(zhàn)。安謀科技的“周易”X2 NPU推出，有望解決這一挑戰(zhàn)，并且真正實(shí)現(xiàn)NPU生態(tài)的繁榮。

劉澍表示，安謀科技將一直堅(jiān)持“本土創(chuàng)新、全球標(biāo)準(zhǔn)”的理念，不斷完善自研產(chǎn)品矩陣，和Arm IP形成優(yōu)勢(shì)互補(bǔ)，通過(guò)這樣的方式滿足本土客戶需求，發(fā)揮本土資源能力，支持產(chǎn)業(yè)繁榮發(fā)展。