www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁(yè) > 芯聞號(hào) > 動(dòng)態(tài)速遞
[導(dǎo)讀]在AI異構(gòu)計(jì)算架構(gòu)中,英特爾至強(qiáng)6處理器作為主控CPU可以與NVIDIA最新GPU很好地協(xié)同。

一、至強(qiáng)6NVIDIA GPU協(xié)同的硬件基礎(chǔ)

術(shù)業(yè)有專(zhuān)攻——AI系統(tǒng)主控CPU英特爾至強(qiáng)6新品處理器淺析

AI異構(gòu)計(jì)算架構(gòu)中,英特爾至強(qiáng)6處理器作為主控CPU可以與NVIDIA最新GPU很好地協(xié)同。根據(jù)英偉達(dá)官網(wǎng)信息,目前其DGX B300系統(tǒng)選擇至強(qiáng)6776P作為唯一主控CPU,采用雙路配置,通過(guò)UPI總線實(shí)現(xiàn)CPU間互連。這8個(gè)GPU通過(guò)NVLink高速互連,是性能比較高端的DGX,為訓(xùn)練等應(yīng)用而設(shè)計(jì)。

作為主控CPU,它和GPU協(xié)同工作,而這個(gè)系統(tǒng)的性能受到諸多因素的影響,這里列出的是最主要的因素,包括I/O、核心性能、內(nèi)存(包括帶寬和容量)、CPU上的預(yù)處理或卸載(offload)能力、整體CPU系統(tǒng)的RAS,以及各種硬件的外形設(shè)計(jì)等。這些都會(huì)影響整個(gè)AI系統(tǒng)的端到端性能,因此AI系統(tǒng)通常比較復(fù)雜。

術(shù)業(yè)有專(zhuān)攻——AI系統(tǒng)主控CPU英特爾至強(qiáng)6新品處理器淺析

這一設(shè)計(jì)的性能提升要點(diǎn)在于:

1. 業(yè)界領(lǐng)先的I/O通道和內(nèi)存能力

AP平臺(tái)的雙路至強(qiáng)6最多可以提供192條PCIe 5.0通道,也就是可以每路提供96條通道,相比上一代提升20%,內(nèi)存通道也可以高達(dá)12個(gè)。直接匹配多GPU的高速接入需求,避免因通道不足導(dǎo)致的帶寬瓶頸。

在SP平臺(tái)上,英特爾還提供了一個(gè)差異化的產(chǎn)品,就是在單個(gè)CPU插槽上提供了更豐富的I/O資源(Rich I/O one socket),總共有136根的PCIe通道,持單插槽連接多塊加速卡與存儲(chǔ)設(shè)備,適用于邊緣端“預(yù)處理+推理”一體化場(chǎng)景。同時(shí),其高帶寬內(nèi)存可容納更大模型參數(shù),提升訓(xùn)練效率。在推理場(chǎng)景中,靈活的核心配置確保資源高效利用,滿足多樣化需求。

2. 核心性能優(yōu)化

至強(qiáng)6區(qū)別于上一代產(chǎn)品的關(guān)鍵技術(shù)突破是Priority Core Turbo(PCT),其技術(shù)本質(zhì)是通過(guò)Speed Select(SST)將單路CPU核心劃分為兩組:最多8個(gè)高頻核心(PCT核心)與剩余低頻核心。在DGX B300場(chǎng)景中,這一技術(shù)直接服務(wù)于“CPU驅(qū)動(dòng)GPU”的典型需求,實(shí)現(xiàn)高頻核心的精準(zhǔn)調(diào)度:當(dāng)GPU需要快速獲取預(yù)處理數(shù)據(jù)(如從內(nèi)存讀取原始數(shù)據(jù)并完成清洗、特征工程)時(shí),8個(gè)PCT核心可睿頻至4.6GHz(傳統(tǒng)64核SKU最大睿頻為3.9GHz),相比全核睿頻(3.6GHz)提升28%。這一特性縮短了數(shù)據(jù)從CPU到GPU的傳輸延遲。

3. 資源分配的靈活性

PCT核心數(shù)量可通過(guò)BIOS或SST-TF工具動(dòng)態(tài)配置,客戶(hù)可根據(jù)實(shí)際負(fù)載調(diào)整——客戶(hù)在使用時(shí)可以根據(jù)需要選擇8個(gè)、6個(gè)、4個(gè)或2個(gè)PCT核心。例如推理場(chǎng)景中若僅需4塊GPU工作,可配置4個(gè)PCT核心對(duì)應(yīng)驅(qū)動(dòng),避免資源浪費(fèi)。與上一代Max Turbo技術(shù)的差異在于:PCT允許全核在線(無(wú)需半數(shù)核心休眠),且維持相同TDP(350W)與散熱設(shè)計(jì),確保硬件兼容性,降低客戶(hù)部署成本。

4. 更強(qiáng)的內(nèi)存架構(gòu)兼容性

更高的內(nèi)存帶寬對(duì)于AI工作負(fù)載至關(guān)重要,因?yàn)锳I的工作流程是一個(gè)完整的數(shù)據(jù)處理管道,而非單一環(huán)節(jié)。在這一過(guò)程中,CPU首先負(fù)責(zé)預(yù)處理,從內(nèi)存中讀取數(shù)據(jù)并進(jìn)行初步處理,隨后將數(shù)據(jù)傳輸至GPU。比如,至強(qiáng)6支持8通道到12通道的DDR5-6400內(nèi)存,還支持MRDIMMs,能提供更高的30%帶寬。

在LLM的生成式推理(如文本續(xù)寫(xiě))中,自注意力機(jī)制需為每個(gè)已處理的Token生成并存儲(chǔ)鍵(Key)和值(Value)矩陣,即KV Cache。KV Cache避免了在解碼階段重復(fù)計(jì)算歷史Token的注意力狀態(tài),但會(huì)隨序列長(zhǎng)度線性增長(zhǎng),占用大量GPU顯存,需要卸載到下一級(jí)存儲(chǔ)中。對(duì)于CXL內(nèi)存來(lái)說(shuō),有一個(gè)典型用例是KV Cache的卸載,通過(guò)用CXL內(nèi)存去替代SSD,這樣KV Cache的訪問(wèn)速度顯著增快,從而提升了性能。

5. RAS和數(shù)據(jù)預(yù)處理

在企業(yè)級(jí)AI訓(xùn)練場(chǎng)景中,系統(tǒng)可靠性直接影響算力利用率與TCO。至強(qiáng)6的RAS體系覆蓋全硬件鏈路,可以通過(guò)RAS特性來(lái)可以提高I/O的穩(wěn)定性、內(nèi)存系統(tǒng)穩(wěn)定性、UPI鏈路穩(wěn)定性、CPU及平臺(tái)穩(wěn)定性。CPU卸載則是針對(duì)MoE(混合專(zhuān)家)模型的另一種優(yōu)化方式。目前市場(chǎng)上已有諸多關(guān)于通過(guò)AMX矩陣技術(shù)將部分MoE模型中的專(zhuān)家層卸載至至強(qiáng)處理器的案例。

術(shù)業(yè)有專(zhuān)攻——AI系統(tǒng)主控CPU英特爾至強(qiáng)6新品處理器淺析

二、為何是至強(qiáng)6776P

NVIDIA DGX B300選擇的雙路至強(qiáng)6776P的核心價(jià)值在于業(yè)界領(lǐng)先的I/O能力、領(lǐng)先的內(nèi)存帶寬、大內(nèi)存容量、領(lǐng)先的RAS能力已經(jīng)為特定AI負(fù)載優(yōu)化的PCT產(chǎn)品。

其4.6GHz的睿頻能力顯著加速數(shù)據(jù)處理,PCT核心以4.6GHz頻率加速數(shù)據(jù)預(yù)處理(如文本分詞、圖像解碼),通過(guò)高速PCIe通道將數(shù)據(jù)傳輸至GPU,形成“CPU預(yù)處理→GPU計(jì)算”的流水線作業(yè)。這款處理器擁有單路88條PCIe通道,雙路則達(dá)到176條。

英偉達(dá)選擇了2 DPC架構(gòu)(每顆CPU提供8通道內(nèi)存,每通道2個(gè)DIMM)進(jìn)行配置,雙路系統(tǒng)可搭載32根DIMM,內(nèi)存最大容量達(dá)8TB。

綜述:開(kāi)放生態(tài)的實(shí)際意義

至強(qiáng)6的核心優(yōu)勢(shì)在于開(kāi)放性與兼容性??蛻?hù)硬件選擇自由,可以根據(jù)成本動(dòng)態(tài)切換,避免被單一供應(yīng)商鎖定。在軟件生態(tài)兼容層面,至強(qiáng)6也完全支持主流AI框架(如TensorFlow、PyTorch)與云原生技術(shù),無(wú)需重新開(kāi)發(fā)適配層,降低技術(shù)遷移成本。

從英偉達(dá)的選擇邏輯看,DGX B300采用至強(qiáng)6應(yīng)該并非單一性能導(dǎo)向,而是綜合考量了生態(tài)開(kāi)放性、成本可控性與技術(shù)成熟度——至強(qiáng)6作為量產(chǎn)級(jí)產(chǎn)品,其穩(wěn)定性與供應(yīng)鏈可靠性已通過(guò)大規(guī)模數(shù)據(jù)中心驗(yàn)證。

至強(qiáng)6在搭配N(xiāo)VIDIA GPU場(chǎng)景中的價(jià)值,本質(zhì)上源于其對(duì)“CPU角色”的清晰定位:核心數(shù)量或睿頻頻率,都是圍繞GPU協(xié)同需求而定,根據(jù)用戶(hù)的不同需求,也可以選擇不同的CPU型號(hào)。在關(guān)鍵路徑(如高頻數(shù)據(jù)傳輸、大內(nèi)存容量、系統(tǒng)穩(wěn)定性)上,至強(qiáng)6可以實(shí)現(xiàn)精準(zhǔn)優(yōu)化。對(duì)于企業(yè)客戶(hù)而言,這意味著在AI基礎(chǔ)設(shè)施建設(shè)中,可通過(guò)標(biāo)準(zhǔn)化硬件獲取可預(yù)期的性能提升,同時(shí)避免為冗余功能支付額外成本。這種“需求導(dǎo)向型”技術(shù)路線,或許正是其成為英偉達(dá)首選主控CPU的核心原因。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專(zhuān)欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

LED驅(qū)動(dòng)電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。

關(guān)鍵字: 驅(qū)動(dòng)電源

在工業(yè)自動(dòng)化蓬勃發(fā)展的當(dāng)下,工業(yè)電機(jī)作為核心動(dòng)力設(shè)備,其驅(qū)動(dòng)電源的性能直接關(guān)系到整個(gè)系統(tǒng)的穩(wěn)定性和可靠性。其中,反電動(dòng)勢(shì)抑制與過(guò)流保護(hù)是驅(qū)動(dòng)電源設(shè)計(jì)中至關(guān)重要的兩個(gè)環(huán)節(jié),集成化方案的設(shè)計(jì)成為提升電機(jī)驅(qū)動(dòng)性能的關(guān)鍵。

關(guān)鍵字: 工業(yè)電機(jī) 驅(qū)動(dòng)電源

LED 驅(qū)動(dòng)電源作為 LED 照明系統(tǒng)的 “心臟”,其穩(wěn)定性直接決定了整個(gè)照明設(shè)備的使用壽命。然而,在實(shí)際應(yīng)用中,LED 驅(qū)動(dòng)電源易損壞的問(wèn)題卻十分常見(jiàn),不僅增加了維護(hù)成本,還影響了用戶(hù)體驗(yàn)。要解決這一問(wèn)題,需從設(shè)計(jì)、生...

關(guān)鍵字: 驅(qū)動(dòng)電源 照明系統(tǒng) 散熱

根據(jù)LED驅(qū)動(dòng)電源的公式,電感內(nèi)電流波動(dòng)大小和電感值成反比,輸出紋波和輸出電容值成反比。所以加大電感值和輸出電容值可以減小紋波。

關(guān)鍵字: LED 設(shè)計(jì) 驅(qū)動(dòng)電源

電動(dòng)汽車(chē)(EV)作為新能源汽車(chē)的重要代表,正逐漸成為全球汽車(chē)產(chǎn)業(yè)的重要發(fā)展方向。電動(dòng)汽車(chē)的核心技術(shù)之一是電機(jī)驅(qū)動(dòng)控制系統(tǒng),而絕緣柵雙極型晶體管(IGBT)作為電機(jī)驅(qū)動(dòng)系統(tǒng)中的關(guān)鍵元件,其性能直接影響到電動(dòng)汽車(chē)的動(dòng)力性能和...

關(guān)鍵字: 電動(dòng)汽車(chē) 新能源 驅(qū)動(dòng)電源

在現(xiàn)代城市建設(shè)中,街道及停車(chē)場(chǎng)照明作為基礎(chǔ)設(shè)施的重要組成部分,其質(zhì)量和效率直接關(guān)系到城市的公共安全、居民生活質(zhì)量和能源利用效率。隨著科技的進(jìn)步,高亮度白光發(fā)光二極管(LED)因其獨(dú)特的優(yōu)勢(shì)逐漸取代傳統(tǒng)光源,成為大功率區(qū)域...

關(guān)鍵字: 發(fā)光二極管 驅(qū)動(dòng)電源 LED

LED通用照明設(shè)計(jì)工程師會(huì)遇到許多挑戰(zhàn),如功率密度、功率因數(shù)校正(PFC)、空間受限和可靠性等。

關(guān)鍵字: LED 驅(qū)動(dòng)電源 功率因數(shù)校正

在LED照明技術(shù)日益普及的今天,LED驅(qū)動(dòng)電源的電磁干擾(EMI)問(wèn)題成為了一個(gè)不可忽視的挑戰(zhàn)。電磁干擾不僅會(huì)影響LED燈具的正常工作,還可能對(duì)周?chē)娮釉O(shè)備造成不利影響,甚至引發(fā)系統(tǒng)故障。因此,采取有效的硬件措施來(lái)解決L...

關(guān)鍵字: LED照明技術(shù) 電磁干擾 驅(qū)動(dòng)電源

開(kāi)關(guān)電源具有效率高的特性,而且開(kāi)關(guān)電源的變壓器體積比串聯(lián)穩(wěn)壓型電源的要小得多,電源電路比較整潔,整機(jī)重量也有所下降,所以,現(xiàn)在的LED驅(qū)動(dòng)電源

關(guān)鍵字: LED 驅(qū)動(dòng)電源 開(kāi)關(guān)電源

LED驅(qū)動(dòng)電源是把電源供應(yīng)轉(zhuǎn)換為特定的電壓電流以驅(qū)動(dòng)LED發(fā)光的電壓轉(zhuǎn)換器,通常情況下:LED驅(qū)動(dòng)電源的輸入包括高壓工頻交流(即市電)、低壓直流、高壓直流、低壓高頻交流(如電子變壓器的輸出)等。

關(guān)鍵字: LED 隧道燈 驅(qū)動(dòng)電源
關(guān)閉