全球領先的無線連接、智能感知技術及定制SoC解決方案的授權許可廠商CEVA, Inc. (納斯達克股票代碼： CEVA)宣布推出增強型NeuPro-M NPU系列，以業(yè)界領先的性能和能效滿足下一代生成式人工智能(Generative AI)的處理需求，適用于從云端到邊緣的各類別的人工智能推理工作負載。NeuPro-M NPU架構和工具經(jīng)過重新設計，除支持CNN和其他神經(jīng)網(wǎng)絡外，還支持transformer網(wǎng)絡，并支持未來的機器學習推理模型，因而能夠在通信網(wǎng)關、光連接網(wǎng)絡、汽車、筆記本電腦和平板電腦、AR/VR頭戴式設備、智能手機以及任何其他云端或邊緣使用案例中，基于NeuPro-M NPU進行無縫開發(fā)和運行高度優(yōu)化的應用，充分利用生成式人工智能和傳統(tǒng)人工智能的功能。

CEVA副總裁兼視覺業(yè)務部門總經(jīng)理Ran Snir 評論道：“基于transformer的網(wǎng)絡需要大量增加計算和內(nèi)存資源以推動生成式人工智能，從而要求新的方法和優(yōu)化的處理架構來滿足這股計算和內(nèi)存需求的增長。我們的 NeuPro-M NPU IP經(jīng)過專門設計，高效、低成本地處理當前和未來的傳統(tǒng)人工智能和生成式人工智能工作負載。這款IP具有可擴展性，可處理從邊緣到云端的用例，并可以在未來支持新的推理模型。我們利用這款架構實現(xiàn)了性能飛躍，為各種使用案例帶來了美好的生成式人工智能前景，涵蓋從成本敏感的邊緣設備到高效的云計算，以及兩者之間的所有應用。”

市場研究機構ABI Research預測，邊緣人工智能出貨量將從2023年的24億臺增長到2028年的65億臺，年均復合增長率(CAGR)為22.4%*。生成式人工智能將是支撐增長的重要力量，而日益復雜的智能邊緣應用正在推動對更強大、更高效的人工智能推理技術的需求。特別地，雖然生成式人工智能中使用的大型語言模型(LLM)以及視覺和音頻transformer能夠改變產(chǎn)品和行業(yè)，但在邊緣設備上運行時，將會對性能、功耗、成本、延遲和內(nèi)存帶來新的挑戰(zhàn)。

ABI Research高級分析師Reece Hayden表示：“如今，生成式人工智能的硬件市場高度集中，少數(shù)幾家廠商占據(jù)主導地位。為了兌現(xiàn)技術承諾，在云端和邊緣領域都需要明確的路徑去實現(xiàn)更低功耗、更低成本推理處理，這將通過更小的模型尺寸和更高效的硬件來實現(xiàn)。CEVA的NeuPro-M NPU IP是別具吸引力的方案，能夠在設備上部署具有出色功耗預算的生成式人工智能，同時具有可擴展性，使得NeuPro-M能夠滿足網(wǎng)絡設備及其他設備中更多的性能密集型用例。

受益于推理和建模技術的不斷發(fā)展，人們在設備層面可以利用更小的特定領域LLM、視覺transformer和其他生成式人工智能模型的新功能，相應地，這將改變基礎設施、工業(yè)、汽車、PC、消費產(chǎn)品和移動市場的應用。最重要的是，由于集成了矢量處理單元(VPU)，增強型NeuPro-M 架構具有高度通用性和面向未來的可擴展性，可支持未來的任何網(wǎng)絡層。此外，這款架構還支持任何激活函數(shù)和任何數(shù)據(jù)流，具有數(shù)據(jù)和權重的真正稀疏性，最高可將處理性能提升 4 倍，使得客戶能夠使用單一 NPU 系列滿足多種應用和多個市場的需求。為了實現(xiàn)多樣化人工智能市場所需的更大可擴展性，NeuPro-M增加了全新的 NPM12 和 NPM14 NPU 內(nèi)核，分別具有兩個和四個NeuPro-M引擎，可輕松提供更高性能人工智能工作負載。增強型 NeuPro-M 系列目前包括四款NPU，分別是NPM11、NPM12、NPM14和NPM18。NeuPro-M具有多功能性以及卓越的性能和能效，成為當今業(yè)界領先的 NPU IP產(chǎn)品，在 3nm 工藝節(jié)點上可實現(xiàn) 350 TOPS/Watt 峰值性能，在基于transformer的LLM 推理中，每瓦每秒可處理超過 150 萬個token。

CEVA為增強型NeuPro-M架構提供經(jīng)過改進的綜合開發(fā)工具鏈，它基于CEVA屢獲殊榮的神經(jīng)網(wǎng)絡AI 編譯器CDNN，具有架構感知功能，可充分利用NeuPro-M并行處理引擎，最大限度地提高客戶的AI應用性能。CDNN軟件包括一個內(nèi)存管理器，用于降低內(nèi)存帶寬和優(yōu)化負載平衡算法，并兼容包括TVM和ONNX的常見開源框架。