隨著通用人工智能的發(fā)展，數(shù)據中心的計算需求逐步提高。針對多模態(tài)數(shù)據、大模型的推理和訓練需要更高的算力支持，而隨著算力提升與之而來的還需更關注在功耗方面的優(yōu)化。對于頭部云計算和服務廠商而言，針對專門用例提高每瓦性能變得至關重要。而這就需要其在CPU的IP微架構層面就開始著手優(yōu)化設計，且需要極高的靈活性和豐厚的軟件生態(tài)能力。Arm Neoverse系列正是迎合了這部分技術發(fā)展趨勢，自推出至今，已經獲得了諸多頭部云服務廠商的認可，基于Neoverse推出的定制服務器CPU也幫助云服務客戶獲得了更具效益的計算服務。而在近日，Arm又推出了其全新的新一代Arm Neoverse N3和Arm Neoverse V3，并且同步提供了Arm Neoverse CSS N3和Arm Neoverse CSS V3；這也是Arm首次提供基于高性能的Neoverse V系列的計算子系統(tǒng)。

云計算基礎設施領域：通過定制芯片支持云計算關鍵負載優(yōu)化

據Arm 基礎設施事業(yè)部產品解決方案副總裁Dermot O’Driscoll介紹，當前基礎設施領域正在發(fā)生顛覆性的變化，頭部企業(yè)正在通過打造定制芯片，來支持云計算在關鍵工作負載中的計算優(yōu)化。頭部云計算廠商關注的性能提升非常極致，期望獲得的是最佳的每瓦性能。他們對于自己的數(shù)據中心、計算設備及運行其中的工作負載非常熟悉，正在嘗試對基礎設施的每一層都進行優(yōu)化，從而讓多樣化的工作負載獲得最佳性能，以期實現(xiàn)每瓦性能的提升。

這種來自不同用例、不同工作負載的每瓦性能，無法通過一個統(tǒng)一的基準測試來量化比較，而是需要針對這些多樣性的用例來專門調校。過去軟件和硬件分別是來自不同公司開發(fā)，這種傳統(tǒng)的模式顯然已無法實現(xiàn)對于特定用例特定負載的每瓦性能調校；云服務廠商希望能夠在硬件的微架構層面，就開展軟硬件的協(xié)同開發(fā)，實現(xiàn)緊密耦合，從而確保自身的軟硬件適配得以順利進行。這種聯(lián)合優(yōu)化，需要一個開放的靈活的CPU的IP平臺，并且軟硬件雙方都需要做出巨大的投入。

而談到通過定制計算來滿足這種微架構層面的軟硬件協(xié)同優(yōu)化，就不得不提到Arm Neoverse平臺。通過Arm的努力，當前這種基礎設施中的協(xié)同設計已經不僅僅局限于 CPU，還能擴展到平臺級別進行內存和 I/O的調優(yōu)，進一步優(yōu)化 TCO。

去年，Arm在Neoverse平臺的產品線擴展出計算子系統(tǒng)（CSS），首款產品為Neoverse CSS N2。這是一套完整驗證和優(yōu)化的計算子系統(tǒng)，兼顧了各種關鍵用例的配置優(yōu)化，可大大縮短了客戶的開發(fā)流程，讓其可以輕松實現(xiàn)芯片棧的管理，使其免于各類IP的復雜選擇和組合，而是專注于軟件調優(yōu)和定制加速這些能夠形成差異化競爭力的部分。

“計算正越來越專用化，通用CPU已不再能滿足需求。在基礎設施領域，我們看到的轉型持續(xù)朝向更復雜的倉庫級計算，它不再只關乎芯片、服務器或機架，而是關乎整個數(shù)據中心?！盇rm高級副總裁兼基礎設施事業(yè)部總經理 Mohamed Awad分享到，“借助 Neoverse CSS，Arm正在助力合作伙伴加快創(chuàng)新步伐。憑借新的Arm Neoverse CSS N3和CSS V3，我們專注于釋放芯粒等新技術的潛力，并更大限度地優(yōu)化實際工作負載的 TCO，這對于包括 AI、數(shù)據庫、網絡等在內的整個基礎設施的生態(tài)系統(tǒng)至關重要?！?

第三代Arm Neoverse：構建高性能IP計算子系統(tǒng)，提高AI應用關鍵負載的計算效能

不斷地迭代提升，實現(xiàn)卓越性能，是ArmNeoverse的成功要素之一。而在第三代平臺上，我們也看到了非常大的提升。

據官方介紹，相較Neoverse N2，Neoverse N3可在多種工作負載下實現(xiàn)20%的每瓦效能效率提升；而且Neoverse N3配備了2MB L2級緩存的選項，在機器學習工作負載上的性能提升了三倍。而CSS N3正是基于新的Neoverse N3 核心打造，為新的N系列引入了Armv9.2功能，每個核心都具備了2MB的專用L2 緩存，并支持最新的PCIe和CXL I/O標準以及UCIe芯粒標準。CSS N3的首個實例可提供32核配置，熱設計功耗 (TDP) 低至40W。此外CSS N3的可擴展性非常強，可覆蓋電信、網絡和DPU等一系列應用。

而Arm Neoverse V3 CPU則是專門針對云端應用、高效能運算(HPC) 和機器學習(ML) 工作負載提供最高效能計算。Arm Neoverse V3系列支持高性能浮點和向量指令，具有SVE/SVE2、Bfloat16和Int8 MatMul等功能；L2級緩存達到了3MB；支持Arm機密計算架構，可在內存中實現(xiàn)數(shù)據完全加密。而基于Neoverse V3而來的計算子系統(tǒng)——CSS V3，在單芯片上最多可擴展至128核，并支持最新的高速內存和I/O標準。

據Dermot O’Driscoll介紹，相較于前一代Neoverse平臺，新一代的Neoverse N3和V3在各種關鍵工作負載下都實現(xiàn)了全面的提升?！癗 系列在壓縮方面取得了性能優(yōu)勢，可降低云服務運營商的成本，并最終降低云服務客戶的成本。同樣地，V 系列顯著提高了協(xié)議緩沖區(qū)的性能，這是在數(shù)據中心內傳輸數(shù)據的一項關鍵功能?！?

而令人關注的是，在AI數(shù)據分析 (AI data analytics)這一項中新一代Neoverse的提升顯著。而這種顯著的提升來自Neoverse在微架構層面針對XGBoost算法的適配優(yōu)化，通過分析合作伙伴的關鍵工作負載核心的特定關鍵任務算法，Arm能夠明確并實施對提升性能最有效的微架構調整方法：這包括改進分支預測、更好地管理最后一級緩存和相關內存帶寬、以及大幅增加 L2 緩存等一系列微架構調優(yōu)等等，最終讓Neoverse N3相比上一代在AI數(shù)據分析工作負載上提升高達196%。

而針對這兩年熱門的生成式AI應用，目前行業(yè)的重點更多放在大語言模型（LLM）的訓練上；然而隨著生成式 AI 廣泛應用于實際業(yè)務場景，其計算的工作重點將轉向推理。這一轉變意味著要找到合適的模型和模型配置并加以訓練，然后將其部署到更具成本效益的計算基礎設施上。而Arm的Neoverse系列CPU則具備滿足這一轉變的優(yōu)勢，包括：非常優(yōu)異的Token生成吞吐量表現(xiàn)；非常高的靈活度，可以適配更多工作負載；易于部署，并可支持各種軟件框架；具備低成本和高能效等優(yōu)勢。Dermot O’Driscoll表示，“CPU推理將是生成式AI計算應用的關鍵組成。目前可以看到這些工作負載已從ML專用的Neoverse功能（如 Bfloat16、MatMul、SVE 和 SVE2）的微架構優(yōu)化中受益，而且這一趨勢還將繼續(xù)?！?

釋放芯粒的潛力，實現(xiàn)加速器和CPU緊密耦合

顯然為了實現(xiàn)更好的特定任務的計算效能，將所有的計算任務都通過CPU來運行并不是最佳選擇；而通過特定的AI加速器來實現(xiàn)特定計算加速會是一種更常見的做法。據統(tǒng)計，當前布局在AI加速器領域的公司已經接近80家。最引人注目的當屬英偉達的Grace Hopper超級芯片，該芯片不僅利用了領先的 Hopper GPU，同時也使用了基于 Neoverse V2平臺的緊耦合計算芯粒 Grace，實現(xiàn)了內存容量和共享內存模式。這種緊耦合的CPU加上加速器配置，對大參數(shù) LLM 非常有益，對檢索-增強-生成 (RAG) 等新興方法也很有幫助。

通過通用計算芯粒+AI加速器的配置，來打造適合特定業(yè)務的專用AI計算芯片，已經成為了業(yè)界的趨勢。通過芯粒技術，可以讓芯片公司在單一芯片上實現(xiàn)多種不同工藝節(jié)點芯粒的組合，例如使用較舊的工藝節(jié)點處理 I/O，同時搭配先進的工藝節(jié)點處理邏輯功能，從而實現(xiàn)更高性能和更高能效表現(xiàn)、同時兼顧更高良率的AI計算芯片。

但將不同的芯粒組合在一起，面臨著諸多的挑戰(zhàn)，例如物理層的兼容性問題、協(xié)議層的打通、包括系統(tǒng)架構層面的電源管理、內存訪問和安全等等一系列的問題。要將多個芯粒組合在一起構成一個可互操作的系統(tǒng)，就需要在生態(tài)系統(tǒng)的層面做出一致的努力。

而Arm正在致力于推動構建一個功能強大、支持通用的芯粒生態(tài)系統(tǒng)。在其近期發(fā)布的芯粒系統(tǒng)架構 (Chiplet System Architecture, CSA) 中，Arm聯(lián)手了業(yè)內20多家合作伙伴，旨在簡化基于CSS打造的計算芯粒與AI加速器并行使用的聯(lián)合設計過程，進而推動整個Arm生態(tài)系統(tǒng)釋放芯粒技術的潛力。

而CSA的成功構建的背后，離不開來自Arm全面設計（Arm Total Design）這一強大的生態(tài)的支持。據Arm基礎設施事業(yè)部營銷副總裁Eddie Ramirez介紹，Arm 全面設計已經有20多家成員加入，其中包括新的EDA和配套IP提供商，以及來自包括韓國、中國臺灣、中國大陸和印度等戰(zhàn)略市場的芯片設計合作伙伴。Arm目前正在與三家主要代工廠展開積極合作，以確保其CSS產品能在其先進工藝節(jié)點上進行優(yōu)化?？蛻舻亩ㄖ菩酒某晒﹄x不開可靠供應鏈的支持，而Arm能夠給這些客戶提供多樣的技術和選擇。

像Socionext已經宣布將會推出基于臺積電領先的2nm工藝開發(fā)的Neoverse CSS V3芯粒，這款配置 32 核的芯?？膳c其他芯粒結合使用，能夠實現(xiàn)經濟高效的可拓展計算方案。

通過Arm全面設計和CSA，Arm正在將幫助客戶將最先進的工藝、EDA工具、多種IP組合、芯粒互連和基礎軟件等技術和資源整合在一起，來幫助客戶實現(xiàn)一站式的AI計算芯片的設計、制造和應用。

Mohamed Awad強調到，隨著越來越多的 AI 工作負載被采用，并貫穿于整個計算流程，涵蓋從大型數(shù)據中心到網絡、服務器以及計算基礎設施的方方面面。Neoverse V3和N3提供了支撐這一轉型所需的計算性能和效率，而在Arm全面設計生態(tài)項目的支持下，Arm的Neoverse計算子系統(tǒng)能夠加速客戶的產品上市時間，并加大對創(chuàng)新的投資力度?！皩⒆吭叫阅堋㈧`活性以及生態(tài)系統(tǒng)這三大要素結合在一起，是Arm Neoverse的獨特之處，也是其能夠在過去幾年中取得成功的原因。Arm Neoverse 計算子系統(tǒng)將這些優(yōu)勢演繹得淋漓盡致。在過去的一年里，CSS 取得了顯著的進展，廣受頭部云服務提供商和初創(chuàng)公司的青睞。這些例證都很好地詮釋了Arm 平臺是未來計算及 AI 的基石?！?