全球領(lǐng)先的無線連接、智能感知技術(shù)及定制SoC解決方案的授權(quán)許可廠商CEVA, Inc. (納斯達(dá)克股票代碼： CEVA)宣布推出增強型NeuPro-M NPU系列，以業(yè)界領(lǐng)先的性能和能效滿足下一代生成式人工智能(Generative AI)的處理需求，適用于從云端到邊緣的各類別的人工智能推理工作負(fù)載。NeuPro-M NPU架構(gòu)和工具經(jīng)過重新設(shè)計，除支持CNN和其他神經(jīng)網(wǎng)絡(luò)外，還支持transformer網(wǎng)絡(luò)，并支持未來的機器學(xué)習(xí)推理模型，因而能夠在通信網(wǎng)關(guān)、光連接網(wǎng)絡(luò)、汽車、筆記本電腦和平板電腦、AR/VR頭戴式設(shè)備、智能手機以及任何其他云端或邊緣使用案例中，基于NeuPro-M NPU進行無縫開發(fā)和運行高度優(yōu)化的應(yīng)用，充分利用生成式人工智能和傳統(tǒng)人工智能的功能。

CEVA副總裁兼視覺業(yè)務(wù)部門總經(jīng)理Ran Snir 評論道：“基于transformer的網(wǎng)絡(luò)需要大量增加計算和內(nèi)存資源以推動生成式人工智能，從而要求新的方法和優(yōu)化的處理架構(gòu)來滿足這股計算和內(nèi)存需求的增長。我們的 NeuPro-M NPU IP經(jīng)過專門設(shè)計，高效、低成本地處理當(dāng)前和未來的傳統(tǒng)人工智能和生成式人工智能工作負(fù)載。這款I(lǐng)P具有可擴展性，可處理從邊緣到云端的用例，并可以在未來支持新的推理模型。我們利用這款架構(gòu)實現(xiàn)了性能飛躍，為各種使用案例帶來了美好的生成式人工智能前景，涵蓋從成本敏感的邊緣設(shè)備到高效的云計算，以及兩者之間的所有應(yīng)用。”

市場研究機構(gòu)ABI Research預(yù)測，邊緣人工智能出貨量將從2023年的24億臺增長到2028年的65億臺，年均復(fù)合增長率(CAGR)為22.4%*。生成式人工智能將是支撐增長的重要力量，而日益復(fù)雜的智能邊緣應(yīng)用正在推動對更強大、更高效的人工智能推理技術(shù)的需求。特別地，雖然生成式人工智能中使用的大型語言模型(LLM)以及視覺和音頻transformer能夠改變產(chǎn)品和行業(yè)，但在邊緣設(shè)備上運行時，將會對性能、功耗、成本、延遲和內(nèi)存帶來新的挑戰(zhàn)。

ABI Research高級分析師Reece Hayden表示：“如今，生成式人工智能的硬件市場高度集中，少數(shù)幾家廠商占據(jù)主導(dǎo)地位。為了兌現(xiàn)技術(shù)承諾，在云端和邊緣領(lǐng)域都需要明確的路徑去實現(xiàn)更低功耗、更低成本推理處理，這將通過更小的模型尺寸和更高效的硬件來實現(xiàn)。CEVA的NeuPro-M NPU IP是別具吸引力的方案，能夠在設(shè)備上部署具有出色功耗預(yù)算的生成式人工智能，同時具有可擴展性，使得NeuPro-M能夠滿足網(wǎng)絡(luò)設(shè)備及其他設(shè)備中更多的性能密集型用例。

受益于推理和建模技術(shù)的不斷發(fā)展，人們在設(shè)備層面可以利用更小的特定領(lǐng)域LLM、視覺transformer和其他生成式人工智能模型的新功能，相應(yīng)地，這將改變基礎(chǔ)設(shè)施、工業(yè)、汽車、PC、消費產(chǎn)品和移動市場的應(yīng)用。最重要的是，由于集成了矢量處理單元(VPU)，增強型NeuPro-M 架構(gòu)具有高度通用性和面向未來的可擴展性，可支持未來的任何網(wǎng)絡(luò)層。此外，這款架構(gòu)還支持任何激活函數(shù)和任何數(shù)據(jù)流，具有數(shù)據(jù)和權(quán)重的真正稀疏性，最高可將處理性能提升 4 倍，使得客戶能夠使用單一 NPU 系列滿足多種應(yīng)用和多個市場的需求。為了實現(xiàn)多樣化人工智能市場所需的更大可擴展性，NeuPro-M增加了全新的 NPM12 和 NPM14 NPU 內(nèi)核，分別具有兩個和四個NeuPro-M引擎，可輕松提供更高性能人工智能工作負(fù)載。增強型 NeuPro-M 系列目前包括四款NPU，分別是NPM11、NPM12、NPM14和NPM18。NeuPro-M具有多功能性以及卓越的性能和能效，成為當(dāng)今業(yè)界領(lǐng)先的 NPU IP產(chǎn)品，在 3nm 工藝節(jié)點上可實現(xiàn) 350 TOPS/Watt 峰值性能，在基于transformer的LLM 推理中，每瓦每秒可處理超過 150 萬個token。

CEVA為增強型NeuPro-M架構(gòu)提供經(jīng)過改進的綜合開發(fā)工具鏈，它基于CEVA屢獲殊榮的神經(jīng)網(wǎng)絡(luò)AI 編譯器CDNN，具有架構(gòu)感知功能，可充分利用NeuPro-M并行處理引擎，最大限度地提高客戶的AI應(yīng)用性能。CDNN軟件包括一個內(nèi)存管理器，用于降低內(nèi)存帶寬和優(yōu)化負(fù)載平衡算法，并兼容包括TVM和ONNX的常見開源框架。