在快速發(fā)展的AI領域，性能至關重要——而這不僅限于計算性能?，F(xiàn)代數(shù)據(jù)中心里，連接GPU、交換機和服務器的網(wǎng)絡基礎設施承受著巨大的壓力。隨著AI模型擴展到數(shù)千億個參數(shù)，行業(yè)關注的焦點正轉(zhuǎn)向AI訓練性能中最為關鍵但又經(jīng)常被忽視的組成部分之一：網(wǎng)絡。

長期以來，對AI網(wǎng)絡進行基準測試和優(yōu)化都需要在昂貴、耗電的GPU上運行實時工作負載。但GPU的可用性有限，而且大規(guī)模測試環(huán)境的配置需要時間和資金。因此，網(wǎng)絡驗證往往要推遲到實際工作負載運行時才能進行——這對于發(fā)現(xiàn)設計缺陷或性能瓶頸來說已經(jīng)太遲了。

在超大規(guī)模AI時代，這種模式已經(jīng)行不通了。

AI網(wǎng)絡基礎設施的負擔與日俱增

當今AI模型的規(guī)模清晰地揭示了未來的基礎設施挑戰(zhàn)。當OpenAI訓練GPT-3這一具有里程碑意義的、規(guī)模為1750億個參數(shù)的語言模型時，運算量大約達到了3.14×1023 FLOPs，這需要數(shù)千個NVIDIA V100 GPU運行數(shù)周的時間。這種工作負載不僅挑戰(zhàn)了計算的極限，還考驗了數(shù)據(jù)中心的整體架構(gòu)。AI訓練工作在GPU、存儲和參數(shù)服務器之間產(chǎn)生了極端的東西向流量。流量模式中的任何擁堵、延遲或不平衡都會對吞吐量和能效產(chǎn)生重大影響。在超大規(guī)模場景下，即使是微小的效率損耗，也會造成數(shù)百萬美元的損失。

然而，盡管網(wǎng)絡層至關重要，行業(yè)卻很少在部署前對網(wǎng)絡基礎設施上的真實AI工作負載執(zhí)行測試。大多數(shù)數(shù)據(jù)中心不得不使用流量生成器、微基準測試或基于主觀猜測構(gòu)建的、無法反映真實訓練動態(tài)的合成模型。在一個新工作負載不斷重新定義性能預期的時代，這樣的做法無疑充滿風險。

基于工作負載仿真，重新思考AI網(wǎng)絡驗證方式

為了滿足大規(guī)模AI的需求，具有前瞻性的企業(yè)目前正在采用AI工作負載仿真——這是一種使用模擬訓練數(shù)據(jù)來重現(xiàn)大語言模型（LLM）訓練、推理及其他AI任務的流量模式和需求的方法。

工程師無需查看GPU是否可用，即可通過仿真工作負載實現(xiàn)以下目標：

?再現(xiàn)真實的AI訓練場景

?測量整個網(wǎng)絡架構(gòu)的性能

?識別擁塞、抖動、緩沖壓力和路由效率低下問題

?對不同的拓撲結(jié)構(gòu)、負載均衡方法和隊列配置執(zhí)行測試

這種基于仿真的方法可以讓團隊在GPU到位之前對數(shù)據(jù)中心網(wǎng)絡進行基準測試和調(diào)試，從而大幅降低成本并加快部署。它還允許工程師重放過往的工作負載，以測試他們的網(wǎng)絡在不同流量組合或擁塞控制策略下的響應情況。

實際應用：企業(yè)發(fā)揮引領作用

這并非停留在理論層面，而是已然落地的實踐。

例如，瞻博網(wǎng)絡（Juniper Networks）近期發(fā)布了一份白皮書，概述了該公司如何利用AI工作負載重放和仿真來驗證AI數(shù)據(jù)中心的交換架構(gòu)。通過在其網(wǎng)絡架構(gòu)中復現(xiàn)真實的LLM訓練流量，瞻博網(wǎng)絡可以測試擁塞場景、分析結(jié)構(gòu)的可擴展性并優(yōu)化隊列配置策略，而無需等待實際GPU的部署。

瞻博網(wǎng)絡的工程師還強調(diào)了在“未來負載條件”下驗證網(wǎng)絡行為的重要性。借助工作負載仿真，他們能夠模擬尚未上線的訓練工作負載，助力其構(gòu)建可滿足下一代AI需求的網(wǎng)絡。

Meta以運營一些全球最先進的AI基礎設施而聞名，它在模擬AI訓練環(huán)境的內(nèi)部測試平臺上大力投入。這些測試平臺讓Meta的工程師能夠使用類似訓練的流量模式來驗證拓撲決策、交換算法和擁塞處理策略。

同樣，Microsoft正在從根本上重新設計其數(shù)據(jù)中心架構(gòu)，以滿足大規(guī)模AI工作負載的需求。這一轉(zhuǎn)變涵蓋定制的AI加速器、創(chuàng)新的機架規(guī)模系統(tǒng)以及為AI訓練量身定制的高帶寬網(wǎng)絡結(jié)構(gòu)。為支持這些轉(zhuǎn)變，Microsoft投入于先進的建模和仿真工具，以復現(xiàn)LLM訓練的密集流量模式。借助這些工具，在部署前，工程師就能夠在受控環(huán)境中評估新的拓撲結(jié)構(gòu)、測試負載均衡策略，并驗證擁塞控制機制。

對于所有這些行業(yè)領導者來說，模擬真實AI工作負載的用意十分明確：避免主觀猜測，縮短驗證時間，確保網(wǎng)絡的擴展能夠跟上AI創(chuàng)新的速度。

工作負載仿真的五大優(yōu)勢

與傳統(tǒng)方法相比，AI工作負載仿真具有以下幾個關鍵優(yōu)勢：

降低成本

無需專門為網(wǎng)絡測試預留昂貴的GPU資源。仿真可在商品硬件或虛擬環(huán)境中進行。

提高速度

支持在硬件采購或部署階段同步進行性能測試，從而加快開發(fā)速度。無需等待機架里的GPU全部可用時再執(zhí)行測試。

真實性

仿真工作負載相比合成流量生成器，能更準確地復現(xiàn)真實的訓練模式（如突發(fā)流量、集體操作、同步階段）。

可重復性

可以捕獲、保存和反復重放工作負載，以測試不同拓撲設計、隊列算法或配置更改的效果。

可擴展性

支持測試未來的“假設”場景，例如驗證當前網(wǎng)絡如何處理來自下一代模型的雙倍流量。這種方法使網(wǎng)絡架構(gòu)師能夠從被動的性能調(diào)整轉(zhuǎn)向主動優(yōu)化——確保AI基礎架構(gòu)的每一層在投入使用之前，都針對吞吐量、延遲和成本效益進行了調(diào)整。

參與超大規(guī)模AI基礎設施建設的企業(yè)實現(xiàn)戰(zhàn)略轉(zhuǎn)變

隨著LLM的不斷發(fā)展——朝著萬億參數(shù)規(guī)模、多模式架構(gòu)和低延遲推理的方向前進——數(shù)據(jù)中心網(wǎng)絡將面臨前所未有的壓力。未來五年，AI集群的東西向流量預計將增長10倍或更多，在這種情況下，“等GPU到位再測試網(wǎng)絡”的舊模式根本無法擴展。企業(yè)如果不能及早、經(jīng)常地驗證其網(wǎng)絡，就可能面臨性能瓶頸、成本超支和產(chǎn)品面市時間延遲等問題。

通過采用AI工作負載仿真，企業(yè)可以從昂貴的試錯轉(zhuǎn)向明智的設計，確保其網(wǎng)絡能夠滿足未來的需求。

結(jié)論：AI網(wǎng)絡測試的未來在于虛擬化

在打造更快、更智能AI模型的競賽中，基礎設施至關重要——而網(wǎng)絡與計算同樣關鍵。贏家將是那些能在生產(chǎn)流量進入系統(tǒng)之前，就能針對AI規(guī)模的工作負載對其網(wǎng)絡進行模擬、測試和優(yōu)化的企業(yè)。

正如瞻博網(wǎng)絡、Meta和Microsoft等公司所展示的那樣，工作負載仿真已不僅是一種戰(zhàn)術優(yōu)勢，它正在成為一種戰(zhàn)略必需。

對于超大規(guī)模云服務商、網(wǎng)絡設備制造商以及任何為AI構(gòu)建數(shù)據(jù)中心網(wǎng)絡的企業(yè)來說，結(jié)論都非常明確：要保持競爭力，就必須采用仿真優(yōu)先的設計，并從一開始就讓網(wǎng)絡為AI做好準備。