邊緣設(shè)備的AI應(yīng)用中，Cortex-M CPU+Ethos-U NPU是許多端側(cè)AI解決方案的基石。然而，隨著人工智能技術(shù)的迅速發(fā)展，特別是大型語言模型參數(shù)規(guī)模的不斷擴(kuò)大，即便是最高性能的Cortex-M85和Ethos-U85的AI系統(tǒng)，也逐漸暴露出其局限性。盡管Cortex-M85提供低功耗和高效率的微控制器性能，配合Ethos-U85神經(jīng)處理單元能夠滿足部分輕量級(jí)AI任務(wù)的需求，但它在面對(duì)超過更大規(guī)模參數(shù)的大型模型時(shí)顯得力不從心。受限于其架構(gòu)，Cortex-M系統(tǒng)缺乏對(duì)高級(jí)語言的充分支持、無法運(yùn)行復(fù)雜的Linux系統(tǒng)管理，并且內(nèi)存（如System SRAM和System Flash）的容量和靈活性不足以應(yīng)對(duì)日益增長(zhǎng)的語言模型規(guī)模。這些限制使得端點(diǎn)AI難以適應(yīng)當(dāng)前對(duì)高性能計(jì)算和實(shí)時(shí)處理的需求，尤其是在智能駕駛、復(fù)雜語音識(shí)別和大規(guī)模數(shù)據(jù)分析等前沿應(yīng)用場(chǎng)景中。因此，升級(jí)到更強(qiáng)大的Cortex-A基礎(chǔ)系統(tǒng)成為必然選擇。而此前要直接從Cortex-M85直接升級(jí)到Cortex-A520時(shí)，跨步是否過大？對(duì)于這些物聯(lián)網(wǎng)的AI+應(yīng)用，能效仍是尤為關(guān)鍵的考量。因此Arm最新推出了基于Armv9.2架構(gòu)的最小CPU——Arm Cortex-A320。旨在通過更好的能效表現(xiàn)，以及來自Armv9架構(gòu)的安全和AI特性支持，來更好地幫助客戶實(shí)現(xiàn)邊緣AI的應(yīng)用?；贑ortex-A320+Ethos-U85的邊緣AI解決方案通過更高的計(jì)算能力、支持Linux系統(tǒng)以及擴(kuò)展的存儲(chǔ)和模型規(guī)模，為邊緣設(shè)備帶來了突破性的可能性。

推理才是 AI 釋放價(jià)值的關(guān)鍵——從云端下沉到端側(cè)，AI將無處不在

從技術(shù)發(fā)展的角度來看，推理（Inference）正日益成為人工智能（AI）釋放核心價(jià)值的關(guān)鍵所在。隨著AI技術(shù)從云端逐步下沉到端側(cè)，其應(yīng)用場(chǎng)景正在以前所未有的速度擴(kuò)展，逐步實(shí)現(xiàn)“無處不在”的愿景。過去，AI的強(qiáng)大能力主要依賴于云端的高算力和大數(shù)據(jù)處理，但如今，隨著端側(cè)設(shè)備算力的提升和算法的優(yōu)化，推理過程正逐步遷移到終端。這不僅降低了延遲、提升了效率，還讓AI能夠在更多離線場(chǎng)景中發(fā)揮作用。從智能家居到自動(dòng)駕駛，從移動(dòng)設(shè)備到工業(yè)物聯(lián)網(wǎng)，AI的端側(cè)推理能力正在重塑各行各業(yè)?？梢灶A(yù)見，隨著這一趨勢(shì)的深入，AI將真正融入生活的每一個(gè)角落，成為推動(dòng)技術(shù)進(jìn)步和社會(huì)變革的 omnipresent（無處不在的）力量。

“Arm 推出的適用于 Armv8-M 架構(gòu)的 Cortex-M 向量擴(kuò)展技術(shù)——Helium，以及Arm Ethos-U AI 加速器已在物聯(lián)網(wǎng)領(lǐng)域廣泛應(yīng)用，將 AI 和機(jī)器學(xué)習(xí) (ML) 計(jì)算能力帶到了數(shù)十億臺(tái)邊緣設(shè)備上。”Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬?。–hloe Ma）分享到，“但創(chuàng)新者永遠(yuǎn)不會(huì)停滯不前，所以今天 Arm 發(fā)布以全新基于 Armv9 架構(gòu)的超高能效 CPU —— Arm Cortex-A320 以及對(duì) Transformer 網(wǎng)絡(luò)具有原生支持的 Ethos-U85 AI 加速器為核心的邊緣 AI 計(jì)算平臺(tái)?！?

在邊緣AI領(lǐng)域，Arm最新推出的技術(shù)組合展現(xiàn)了令人矚目的協(xié)同設(shè)計(jì)理念。據(jù)Chloe介紹，這并非簡(jiǎn)單地將CPU與AI加速器堆疊在一起，而是通過深度整合實(shí)現(xiàn)了Cortex-A320與Ethos-U85之間的相輔相成，為開發(fā)者帶來了更高效的AI工作負(fù)載處理能力。我們注意到，Cortex-A320通過提供更高的內(nèi)存容量和帶寬，為Ethos-U85上的大模型推理注入強(qiáng)勁動(dòng)力，使其執(zhí)行效率顯著提升。而對(duì)于那些開發(fā)者不傾向于在Ethos-U85上運(yùn)行的AI任務(wù)，Cortex-A320則提供了靈活的回退選項(xiàng)，其內(nèi)置的Neon和SVE2引擎能夠在CPU側(cè)高效應(yīng)對(duì)多樣化需求。這種設(shè)計(jì)讓智能物聯(lián)網(wǎng)和消費(fèi)電子生態(tài)系統(tǒng)得以在恰當(dāng)?shù)臅r(shí)間與場(chǎng)景中，精準(zhǔn)分配最適合的工作負(fù)載。

邊緣AI的新基石——Armv9 賦能Cortex-A320，實(shí)現(xiàn)信息安全與 AI 的雙重突破

全新 Cortex-A320的微架構(gòu)來自于Cortex-A520基礎(chǔ)，在面積和功耗方向上進(jìn)行了優(yōu)化取舍，最終在性能上的表現(xiàn)令人眼前一亮。相比前代超高效 CPU Cortex-A35，其機(jī)器學(xué)習(xí) (ML) 計(jì)算能力提升高達(dá) 10 倍；在 GEMM 性能方面，Cortex-A320 相較目前Cortex-M85提高了八倍。這種性能提升不僅歸功于 Armv9 架構(gòu)在 AI 處理上的增強(qiáng)，還源于 Cortex-A320 內(nèi)存訪問性能的大幅提高和頻率的增加。

這一飛躍使其能夠輕松應(yīng)對(duì)日益復(fù)雜的邊緣 AI 任務(wù)。同時(shí)，得益于高效的分支預(yù)測(cè)器和預(yù)取器設(shè)計(jì)，其標(biāo)量計(jì)算性能提升了 30%（SPECINT2K6基準(zhǔn)測(cè)試），為通用計(jì)算提供了更強(qiáng)支撐。更值得一提的是能效：相較高效的 Armv9.2 CPU Cortex-A520，Cortex-A320 的功耗降低 50%，在低能耗場(chǎng)景中展現(xiàn)出無可比擬的優(yōu)勢(shì)。此外，支持最高四核共享集群的設(shè)計(jì)，讓它能夠根據(jù)需求靈活擴(kuò)展，適配從智能家居到工業(yè)物聯(lián)網(wǎng)的多樣化應(yīng)用場(chǎng)景。

Cortex-A320 的核心競(jìng)爭(zhēng)力離不開 Armv9 架構(gòu)的加持。在安全性方面，隨著邊緣設(shè)備承載的軟件和數(shù)據(jù)價(jià)值日益提升，Cortex-A320 引入了一系列強(qiáng)化的特性。Secure EL2增強(qiáng)了 TrustZone 的隔離性，為軟件容器提供了更安全的運(yùn)行環(huán)境；PACBTI（指針驗(yàn)證/分支目標(biāo)識(shí)別）有效緩解跳轉(zhuǎn)編程中的安全隱患；而內(nèi)存標(biāo)記擴(kuò)展 (MTE) 通過標(biāo)記機(jī)制顯著降低了內(nèi)存漏洞被利用的風(fēng)險(xiǎn)。這些特性共同構(gòu)建了一個(gè)更堅(jiān)固的安全防線，為物聯(lián)網(wǎng)設(shè)備保駕護(hù)航。

與此同時(shí)，AI 計(jì)算能力的提升同樣令人矚目。Cortex-A320 充分利用 Armv9 的Neon 和 SVE2技術(shù)，支持 BFloat16 等新數(shù)據(jù)類型，并新增矩陣乘法指令，大幅優(yōu)化了神經(jīng)網(wǎng)絡(luò)的推理與訓(xùn)練效率。這不僅提升了計(jì)算精度和能效，也讓 Cortex-A320 成為邊緣 AI 任務(wù)的理想平臺(tái)，能夠高效處理復(fù)雜的實(shí)時(shí)工作負(fù)載。

邊緣 AI 的成功不僅依賴硬件性能，更需要靈活的工作負(fù)載分配能力。Cortex-A320 在這方面表現(xiàn)出色：它既能與 AI 加速器協(xié)同運(yùn)行連續(xù)圖像檢測(cè)等高能效任務(wù)，也能通過 CPU 處理單張圖像檢測(cè)等場(chǎng)景。為進(jìn)一步釋放 CPU 的 AI 潛力，Arm 引入了 Kleidi 軟件庫。KleidiAI 針對(duì) AI 框架開發(fā)者優(yōu)化，支持 Neon 和 SVE2，已集成于 Llama.cpp、ExecuTorch 和 LiteRT 等主流框架，加速 Meta Llama 3、Phi-3 等大模型的運(yùn)行；而 KleidiCV 則專注于機(jī)器視覺任務(wù)。這種軟硬結(jié)合的策略顯著提升了 Cortex-A320 的應(yīng)用彈性。

生態(tài)支持同樣是其亮點(diǎn)。Cortex-A320 可無縫運(yùn)行 FreeRTOS、Zephyr 等實(shí)時(shí)操作系統(tǒng) (RTOS)，以及 Linux、Android 等功能豐富的系統(tǒng)，開箱即用支持 Linux，并可輕松移植安卓。這種多操作系統(tǒng)兼容性為開發(fā)者提供了廣闊的選擇空間。此外，作為 Armv9 家族一員，其軟件兼容性覆蓋從高性能 Cortex-X925 到低功耗 Cortex-A320 的全系列處理器，開源社區(qū)和編譯器的支持進(jìn)一步縮短了開發(fā)周期，降低了總體擁有成本 (TCO)。

對(duì)于現(xiàn)有物聯(lián)網(wǎng)設(shè)備用戶，Cortex-A320 提供了一條平滑的升級(jí)路徑。無論是從 Cortex-A35 還是全球出貨量最大的 Cortex-A53 遷移，這款處理器都能帶來 Armv9 的安全性、性能和生態(tài)優(yōu)勢(shì)。對(duì)于 Linux 開發(fā)者，快速部署功能豐富的操作系統(tǒng)將大幅節(jié)省時(shí)間與成本；而對(duì)于從MCU升級(jí)而來的RTOS 用戶，如運(yùn)行 Zephyr 的場(chǎng)景，Cortex-A320 為 MCU 工作負(fù)載提供了面向未來的靈活升級(jí)方案，增強(qiáng)計(jì)算能力和內(nèi)存支持，助力低能耗設(shè)備集成 AI 功能。

首個(gè)基于Armv9架構(gòu)的邊緣AI平臺(tái)——Cortex-A320+Ethos-U85

此次的新品發(fā)布，Arm稱是首個(gè)基于Armv9架構(gòu)的邊緣AI計(jì)算平臺(tái)發(fā)布。而這個(gè)邊緣AI計(jì)算平臺(tái)，就是由CPU+NPU組成。CPU即上文介紹的新品Cortex-A320，而NPU仍是Ethos-U85。

Arm 的 Ethos-U 系列是一款專為邊緣 AI 和嵌入式設(shè)備設(shè)計(jì)的高效微神經(jīng)處理單元（microNPU），其目標(biāo)是將強(qiáng)大的機(jī)器學(xué)習(xí)（ML）推理能力帶入資源受限的物聯(lián)網(wǎng)（IoT）和低功耗場(chǎng)景。自 2020 年初推出以來，Ethos-U 系列憑借其緊湊的設(shè)計(jì)和優(yōu)異的能效比，成為 Arm 在邊緣計(jì)算領(lǐng)域的重要布局。ARM Ethos-U系列處理器在神經(jīng)網(wǎng)絡(luò)性能提升方面的強(qiáng)大能力，能夠助力開發(fā)者解鎖神經(jīng)網(wǎng)絡(luò)的全部潛能。從Ethos-U55到Ethos-U65再到Ethos-U85，MAC單元數(shù)持續(xù)提升的同時(shí)，還增加了對(duì)于最新的AI模型架構(gòu)Transformer的支持。通過對(duì)矩陣乘法（Matrix Multiplication）和權(quán)重（Weights）的優(yōu)化，Ethos-U85處理器目前可以更高效地執(zhí)行這些復(fù)雜的AI任務(wù)。

Ethos-U85需由一個(gè)主處理器（可以是 Cortex-M 或 Cortex-A）進(jìn)行驅(qū)動(dòng)，一些具有明確定義的 AI 工作負(fù)載的邊緣 AI 用例可以通過將神經(jīng)網(wǎng)絡(luò)處理卸載到專用 NPU 上，從而釋放主處理器的計(jì)算密集型任務(wù)。

主處理器與 Ethos-U 間可以有多種配置方式。Ethos-U 可由像 Cortex-M55 等啟用 Helium 的 Cortex-M 處理器驅(qū)動(dòng)使用。而對(duì)于以Cortex-A為主處理核心的SoC而言，可以通過一個(gè)Cortex-M與Ethos-U搭配組成一個(gè)ML島的方式，來與主處理器核心進(jìn)行AI負(fù)載卸載。而更直接的方式是，Cortex-A 處理器也可以直接驅(qū)動(dòng) Ethos-U NPU。這種配置無需專門的 Cortex-M 作為“驅(qū)動(dòng)”處理器。Ethos-U85 的 Linux 驅(qū)動(dòng)程序可在 Cortex-A 主控制器上運(yùn)行。

此次最新的Cortex-A320就具備直接驅(qū)動(dòng)Ethos-U85的能力，這也非常有助于原先基于Cortex-M85+Ethos-U85的方案進(jìn)行升級(jí)，從而獲得對(duì)于更大參數(shù)模型的支持。據(jù)Chloe分享，從 Cortex-M 處理器 + AI 加速器的組合升級(jí)到當(dāng)前的組合（Cortex-A320+Ethos-U85）后將會(huì)給客戶獲得很多優(yōu)勢(shì)。首先是在模型方面，之前只是對(duì) CNN 或語音模型等非常小的傳統(tǒng)模型能夠支持，而現(xiàn)在的方案支持最新的語言模型，無論是大模型還是小模型。其次，Cortex-M升級(jí)到Cortex-A之后能夠很好支持Linux或Android這類更為復(fù)雜的操作系統(tǒng)，這些操作系統(tǒng)在內(nèi)存管理方面具備更高的靈活性，能夠同時(shí)支持SRAM和DRAM，并且在優(yōu)化DRAM以支持更大容量?jī)?nèi)存的同時(shí)，還能有效降低內(nèi)存訪問的延遲。這意味著，當(dāng)采用先進(jìn)的操作系統(tǒng)時(shí)，應(yīng)用開發(fā)者無需再自行進(jìn)行這些底層的內(nèi)存優(yōu)化工作，這對(duì)產(chǎn)品上市的時(shí)間以及解決方案形成的時(shí)間都大有助益。

結(jié)語

在邊緣 AI 持續(xù)升溫的背景下，Arm 通過 Cortex-A320 鞏固了其在物聯(lián)網(wǎng)領(lǐng)域的領(lǐng)導(dǎo)地位。這款處理器不僅以超高能效和強(qiáng)勁性能滿足了當(dāng)下需求，更以安全性提升和靈活生態(tài)為未來發(fā)展鋪路。從智能物聯(lián)網(wǎng)到消費(fèi)電子，Cortex-A320+Ethos-U85的全新平臺(tái)正以“恰當(dāng)時(shí)間、合適場(chǎng)景”的方式，推動(dòng) AI 無處不在的愿景逐步落地。我們相信，Cortex-A320 的推出不僅是一次硬件升級(jí)，更是邊緣計(jì)算邁向成熟的重要里程碑，其影響力將在未來多年持續(xù)顯現(xiàn)。

“Arm 今天發(fā)布的全新平臺(tái)不僅僅是一次漸進(jìn)式的升級(jí)，它代表了我們?yōu)槲磥磉吘売?jì)算和 AI 處理提出的新范式。這是我們首次專為物聯(lián)網(wǎng)應(yīng)用設(shè)計(jì)的 Armv9 架構(gòu)處理器，它將超高能效與先進(jìn) AI 能力相結(jié)合，實(shí)現(xiàn)了前所未有的突破。當(dāng)它與 Ethos-U85 結(jié)合時(shí)，將催生出全新的應(yīng)用類別，開啟無限可能?！盋hloe總結(jié)到，“物聯(lián)網(wǎng)領(lǐng)域正在迎來前所未有的機(jī)遇與生機(jī)，我們堅(jiān)信，AI 的未來在邊緣，而邊緣 AI 的未來屬于 Arm?！?