www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置:首頁 > 原創(chuàng) > 劉巖軒
[導讀]隨著通用人工智能的發(fā)展,數(shù)據中心的計算需求逐步提高。針對多模態(tài)數(shù)據、大模型的推理和訓練需要更高的算力支持,而隨著算力提升與之而來的還需更關注在功耗方面的優(yōu)化。對于頭部云計算和服務廠商而言,針對專門用例提高每瓦性能變得至關重要。而這就需要其在CPU的IP微架構層面就開始著手優(yōu)化設計,且需要極高的靈活性和豐厚的軟件生態(tài)能力。Arm Neoverse系列正是迎合了這部分技術發(fā)展趨勢,自推出至今,已經獲得了諸多頭部云服務廠商的認可,基于Neoverse推出的定制服務器CPU也幫助云服務客戶獲得了更具效益的計算服務。而在近日,Arm又推出了其全新的新一代Arm Neoverse N3和Arm Neoverse V3,并且同步提供了Arm Neoverse CSS N3和Arm Neoverse CSS V3;這也是Arm首次提供基于高性能的Neoverse V系列的計算子系統(tǒng)。

隨著通用人工智能的發(fā)展,數(shù)據中心的計算需求逐步提高。針對多模態(tài)數(shù)據、大模型的推理和訓練需要更高的算力支持,而隨著算力提升與之而來的還需更關注在功耗方面的優(yōu)化。對于頭部云計算和服務廠商而言,針對專門用例提高每瓦性能變得至關重要。而這就需要其在CPU的IP微架構層面就開始著手優(yōu)化設計,且需要極高的靈活性和豐厚的軟件生態(tài)能力。Arm Neoverse系列正是迎合了這部分技術發(fā)展趨勢,自推出至今,已經獲得了諸多頭部云服務廠商的認可,基于Neoverse推出的定制服務器CPU也幫助云服務客戶獲得了更具效益的計算服務。而在近日,Arm又推出了其全新的新一代Arm Neoverse N3和Arm Neoverse V3,并且同步提供了Arm Neoverse CSS N3和Arm Neoverse CSS V3;這也是Arm首次提供基于高性能的Neoverse V系列的計算子系統(tǒng)。


云計算基礎設施領域:通過定制芯片支持云計算關鍵負載優(yōu)化

據Arm 基礎設施事業(yè)部產品解決方案副總裁Dermot O’Driscoll介紹,當前基礎設施領域正在發(fā)生顛覆性的變化,頭部企業(yè)正在通過打造定制芯片,來支持云計算在關鍵工作負載中的計算優(yōu)化。頭部云計算廠商關注的性能提升非常極致,期望獲得的是最佳的每瓦性能。他們對于自己的數(shù)據中心、計算設備及運行其中的工作負載非常熟悉,正在嘗試對基礎設施的每一層都進行優(yōu)化,從而讓多樣化的工作負載獲得最佳性能,以期實現(xiàn)每瓦性能的提升。

這種來自不同用例、不同工作負載的每瓦性能,無法通過一個統(tǒng)一的基準測試來量化比較,而是需要針對這些多樣性的用例來專門調校。過去軟件和硬件分別是來自不同公司開發(fā),這種傳統(tǒng)的模式顯然已無法實現(xiàn)對于特定用例特定負載的每瓦性能調校;云服務廠商希望能夠在硬件的微架構層面,就開展軟硬件的協(xié)同開發(fā),實現(xiàn)緊密耦合,從而確保自身的軟硬件適配得以順利進行。這種聯(lián)合優(yōu)化,需要一個開放的靈活的CPU的IP平臺,并且軟硬件雙方都需要做出巨大的投入。

而談到通過定制計算來滿足這種微架構層面的軟硬件協(xié)同優(yōu)化,就不得不提到Arm Neoverse平臺。通過Arm的努力,當前這種基礎設施中的協(xié)同設計已經不僅僅局限于 CPU,還能擴展到平臺級別進行內存和 I/O的調優(yōu),進一步優(yōu)化 TCO。

去年,Arm在Neoverse平臺的產品線擴展出計算子系統(tǒng)(CSS),首款產品為Neoverse CSS N2。這是一套完整驗證和優(yōu)化的計算子系統(tǒng),兼顧了各種關鍵用例的配置優(yōu)化,可大大縮短了客戶的開發(fā)流程,讓其可以輕松實現(xiàn)芯片棧的管理,使其免于各類IP的復雜選擇和組合,而是專注于軟件調優(yōu)和定制加速這些能夠形成差異化競爭力的部分。

“計算正越來越專用化,通用CPU已不再能滿足需求。在基礎設施領域,我們看到的轉型持續(xù)朝向更復雜的倉庫級計算,它不再只關乎芯片、服務器或機架,而是關乎整個數(shù)據中心?!盇rm高級副總裁兼基礎設施事業(yè)部總經理 Mohamed Awad分享到,“借助 Neoverse CSS,Arm正在助力合作伙伴加快創(chuàng)新步伐。憑借新的Arm Neoverse CSS N3和CSS V3,我們專注于釋放芯粒等新技術的潛力,并更大限度地優(yōu)化實際工作負載的 TCO,這對于包括 AI、數(shù)據庫、網絡等在內的整個基礎設施的生態(tài)系統(tǒng)至關重要?!?


第三代Arm Neoverse:構建高性能IP計算子系統(tǒng),提高AI應用關鍵負載的計算效能

不斷地迭代提升,實現(xiàn)卓越性能,是ArmNeoverse的成功要素之一。而在第三代平臺上,我們也看到了非常大的提升。

據官方介紹,相較Neoverse N2,Neoverse N3可在多種工作負載下實現(xiàn)20%的每瓦效能效率提升;而且Neoverse N3配備了2MB L2級緩存的選項,在機器學習工作負載上的性能提升了三倍。而CSS N3正是基于新的Neoverse N3 核心打造,為新的N系列引入了Armv9.2功能,每個核心都具備了2MB的專用L2 緩存,并支持最新的PCIe和CXL I/O標準以及UCIe芯粒標準。CSS N3的首個實例可提供32核配置,熱設計功耗 (TDP) 低至40W。此外CSS N3的可擴展性非常強,可覆蓋電信、網絡和DPU等一系列應用。

而Arm Neoverse V3 CPU則是專門針對云端應用、高效能運算(HPC) 和機器學習(ML) 工作負載提供最高效能計算。Arm Neoverse V3系列支持高性能浮點和向量指令,具有SVE/SVE2、Bfloat16和Int8 MatMul等功能;L2級緩存達到了3MB;支持Arm機密計算架構,可在內存中實現(xiàn)數(shù)據完全加密。而基于Neoverse V3而來的計算子系統(tǒng)——CSS V3,在單芯片上最多可擴展至128核,并支持最新的高速內存和I/O標準。

據Dermot O’Driscoll介紹,相較于前一代Neoverse平臺,新一代的Neoverse N3和V3在各種關鍵工作負載下都實現(xiàn)了全面的提升?!癗 系列在壓縮方面取得了性能優(yōu)勢,可降低云服務運營商的成本,并最終降低云服務客戶的成本。同樣地,V 系列顯著提高了協(xié)議緩沖區(qū)的性能,這是在數(shù)據中心內傳輸數(shù)據的一項關鍵功能?!?

而令人關注的是,在AI數(shù)據分析 (AI data analytics)這一項中新一代Neoverse的提升顯著。而這種顯著的提升來自Neoverse在微架構層面針對XGBoost算法的適配優(yōu)化,通過分析合作伙伴的關鍵工作負載核心的特定關鍵任務算法,Arm能夠明確并實施對提升性能最有效的微架構調整方法:這包括改進分支預測、更好地管理最后一級緩存和相關內存帶寬、以及大幅增加 L2 緩存等一系列微架構調優(yōu)等等,最終讓Neoverse N3相比上一代在AI數(shù)據分析工作負載上提升高達196%。

而針對這兩年熱門的生成式AI應用,目前行業(yè)的重點更多放在大語言模型(LLM)的訓練上;然而隨著生成式 AI 廣泛應用于實際業(yè)務場景,其計算的工作重點將轉向推理。這一轉變意味著要找到合適的模型和模型配置并加以訓練,然后將其部署到更具成本效益的計算基礎設施上。而Arm的Neoverse系列CPU則具備滿足這一轉變的優(yōu)勢,包括:非常優(yōu)異的Token生成吞吐量表現(xiàn);非常高的靈活度,可以適配更多工作負載;易于部署,并可支持各種軟件框架;具備低成本和高能效等優(yōu)勢。Dermot O’Driscoll表示,“CPU推理將是生成式AI計算應用的關鍵組成。目前可以看到這些工作負載已從ML專用的Neoverse功能(如 Bfloat16、MatMul、SVE 和 SVE2)的微架構優(yōu)化中受益,而且這一趨勢還將繼續(xù)?!?


釋放芯粒的潛力,實現(xiàn)加速器和CPU緊密耦合

顯然為了實現(xiàn)更好的特定任務的計算效能,將所有的計算任務都通過CPU來運行并不是最佳選擇;而通過特定的AI加速器來實現(xiàn)特定計算加速會是一種更常見的做法。據統(tǒng)計,當前布局在AI加速器領域的公司已經接近80家。最引人注目的當屬英偉達的Grace Hopper超級芯片,該芯片不僅利用了領先的 Hopper GPU,同時也使用了基于 Neoverse V2平臺的緊耦合計算芯粒 Grace,實現(xiàn)了內存容量和共享內存模式。這種緊耦合的CPU加上加速器配置,對大參數(shù) LLM 非常有益,對檢索-增強-生成 (RAG) 等新興方法也很有幫助。

通過通用計算芯粒+AI加速器的配置,來打造適合特定業(yè)務的專用AI計算芯片,已經成為了業(yè)界的趨勢。通過芯粒技術,可以讓芯片公司在單一芯片上實現(xiàn)多種不同工藝節(jié)點芯粒的組合,例如使用較舊的工藝節(jié)點處理 I/O,同時搭配先進的工藝節(jié)點處理邏輯功能,從而實現(xiàn)更高性能和更高能效表現(xiàn)、同時兼顧更高良率的AI計算芯片。

但將不同的芯粒組合在一起,面臨著諸多的挑戰(zhàn),例如物理層的兼容性問題、協(xié)議層的打通、包括系統(tǒng)架構層面的電源管理、內存訪問和安全等等一系列的問題。要將多個芯粒組合在一起構成一個可互操作的系統(tǒng),就需要在生態(tài)系統(tǒng)的層面做出一致的努力。

而Arm正在致力于推動構建一個功能強大、支持通用的芯粒生態(tài)系統(tǒng)。在其近期發(fā)布的芯粒系統(tǒng)架構 (Chiplet System Architecture, CSA) 中,Arm聯(lián)手了業(yè)內20多家合作伙伴,旨在簡化基于CSS打造的計算芯粒與AI加速器并行使用的聯(lián)合設計過程,進而推動整個Arm生態(tài)系統(tǒng)釋放芯粒技術的潛力。

而CSA的成功構建的背后,離不開來自Arm全面設計(Arm Total Design)這一強大的生態(tài)的支持。據Arm基礎設施事業(yè)部營銷副總裁Eddie Ramirez介紹,Arm 全面設計已經有20多家成員加入,其中包括新的EDA和配套IP提供商,以及來自包括韓國、中國臺灣、中國大陸和印度等戰(zhàn)略市場的芯片設計合作伙伴。Arm目前正在與三家主要代工廠展開積極合作,以確保其CSS產品能在其先進工藝節(jié)點上進行優(yōu)化??蛻舻亩ㄖ菩酒某晒﹄x不開可靠供應鏈的支持,而Arm能夠給這些客戶提供多樣的技術和選擇。

像Socionext已經宣布將會推出基于臺積電領先的2nm工藝開發(fā)的Neoverse CSS V3芯粒,這款配置 32 核的芯??膳c其他芯粒結合使用,能夠實現(xiàn)經濟高效的可拓展計算方案。

通過Arm全面設計和CSA,Arm正在將幫助客戶將最先進的工藝、EDA工具、多種IP組合、芯粒互連和基礎軟件等技術和資源整合在一起,來幫助客戶實現(xiàn)一站式的AI計算芯片的設計、制造和應用。

Mohamed Awad強調到,隨著越來越多的 AI 工作負載被采用,并貫穿于整個計算流程,涵蓋從大型數(shù)據中心到網絡、服務器以及計算基礎設施的方方面面。Neoverse V3和N3提供了支撐這一轉型所需的計算性能和效率,而在Arm全面設計生態(tài)項目的支持下,Arm的Neoverse計算子系統(tǒng)能夠加速客戶的產品上市時間,并加大對創(chuàng)新的投資力度?!皩⒆吭叫阅堋㈧`活性以及生態(tài)系統(tǒng)這三大要素結合在一起,是Arm Neoverse的獨特之處,也是其能夠在過去幾年中取得成功的原因。Arm Neoverse 計算子系統(tǒng)將這些優(yōu)勢演繹得淋漓盡致。在過去的一年里,CSS 取得了顯著的進展,廣受頭部云服務提供商和初創(chuàng)公司的青睞。這些例證都很好地詮釋了Arm 平臺是未來計算及 AI 的基石?!?

聲明:該篇文章為本站原創(chuàng),未經授權不予轉載,侵權必究。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數(shù)字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉