CXL技術(shù)是什么?CXL技術(shù)有哪些關(guān)鍵特征?
在沒有CXL技術(shù)支持的情況下,大集群數(shù)據(jù)中心的數(shù)據(jù)安全可能面臨風險,由此可見CXL技術(shù)的重要性。為增進大家對CXL技術(shù)的認識,本文將對CXL技術(shù)以及CXL技術(shù)的關(guān)鍵特征予以介紹。如果你對CXL技術(shù)具有興趣,不妨繼續(xù)往下閱讀哦。
一、什么是CXL?
所謂CXL,也就是Compute Express Link。作為一種開放標準的高速互聯(lián)協(xié)議,CXL的推出主要是要解決計算器件和內(nèi)存之間的互聯(lián)問題,旨在改善處理器與加速器、內(nèi)存擴展設備等之間的通信。
CXL的起源可追溯到數(shù)據(jù)中心和高性能計算領(lǐng)域?qū)Ω焖?、更高效互連技術(shù)的需求。過去,HDD磁盤和內(nèi)存之間差距很多,但隨著SSD、NVMe 設備的出現(xiàn)逐漸彌補了中間的鴻溝。然而即使采用了NVMe設備,其與內(nèi)存的差異仍然有10倍以上。傳統(tǒng)數(shù)據(jù)庫對于這一差異已經(jīng)不再敏感,原因是因為系統(tǒng)的瓶頸已經(jīng)來到了CPU側(cè),因此這幾年所有人都在關(guān)注列存、向量化等技術(shù)來降低內(nèi)存使用。對于許多應用而言,盡管NVMe的延遲已經(jīng)足夠滿足要求,但是吞吐依然是很明顯的瓶頸,因此并不能完全替代內(nèi)存,這其中模型訓練、向量數(shù)據(jù)都是非常典型的場景。
CXL的出現(xiàn)很好地解決了這個問題,通過將設備掛載到PCIe總線上,CXL實現(xiàn)了設備到CPU之間的互聯(lián),實現(xiàn)了存儲計算分離。CXL 還允許 CPU 以低延遲和高帶寬訪問連接設備上更大的內(nèi)存池,從而擴展內(nèi)存。這可以增加 AI/ML 應用程序的內(nèi)存容量和性能。
CXL利用靈活的處理器端口,可以在 PCIe 或 CXL 模式下運行。這兩種設備類別均可在 PCIe5.0 中實現(xiàn) 32 GT/s 的數(shù)據(jù)速率,在 PCIe6.0 中實現(xiàn)高達 64 GT/s 的數(shù)據(jù)速率,為 AI/ML 應用提供了額外的功能和優(yōu)勢。
二、CXL關(guān)鍵特征
CXL擁有以下三個關(guān)鍵特征:
1.統(tǒng)一的內(nèi)存模型:
CXL支持三種協(xié)議,分別是CXL.io、CXL.cache和CXL.memory。其中CXL.io主要用于傳統(tǒng)的I/O操作,與PCIe類似;CXL.cache和CXL.memory則提供了緩存一致性和內(nèi)存訪問能力,使得CPU與加速器或內(nèi)存擴展設備之間能夠共享和一致性地訪問內(nèi)存。這對于加速器(如GPU、FPGA)而言尤為重要,因為它們可以更有效地訪問系統(tǒng)內(nèi)存,而不必通過緩慢的I/O通道。
2.緩存一致性:
CXL允許處理器和外部設備(如加速器)共享相同的內(nèi)存空間,并保持緩存的一致性。這意味著數(shù)據(jù)在不同設備之間傳輸時不需要頻繁復制或同步,從而提高了性能。
3.高帶寬低延遲:
通過優(yōu)化的協(xié)議棧,CXL在維持高帶寬的同時還能提供低延遲的通信。這使得其在需要快速數(shù)據(jù)交換的應用中非常適合,如AI加速、數(shù)據(jù)分析等。相比于傳統(tǒng)的基于RDMA的分解內(nèi)存架構(gòu),CXL可以實現(xiàn)納秒級的低延遲,相比于NVDIMM的非易失性內(nèi)存,其時延也低幾個數(shù)量級。
“與其他互聯(lián)協(xié)議不一樣,CXL的關(guān)鍵差異點就在于其硬件支持cache coherency?!庇⑻貭?a href="/tags/數(shù)據(jù)中心" target="_blank">數(shù)據(jù)中心和人工智能集團至強客戶解決方案事業(yè)部總經(jīng)理李亞東在介紹CXL時強調(diào)。也正是因為具備這樣的特性,CXL可以實現(xiàn)CPU與加速器或內(nèi)存擴展設備之間能夠共享和一致性地訪問內(nèi)存,真正實現(xiàn)機架級的分解內(nèi)存解耦架構(gòu)?!俺薈XL協(xié)議最初設想的用于CPU-GPU互相以cacheline顆粒度互相訪問對方內(nèi)存并可緩存,CXL還能很好地解決LLM時代內(nèi)存容量、成本、利用率等挑戰(zhàn)?!崩顏問|接著說。
據(jù)負責維護CXL標準的CXL聯(lián)盟介紹,如上圖所示,CXL有三種典型用例。知名分析機構(gòu)Yole更是樂觀預期,到 2028 年,CXL 市場總收入將增長到 150 億美元以上。其中,DRAM 將構(gòu)成 CXL 市場收入的大部分,到 2028 年市場收入將超過 120 億美元。除此以外,CXL 控制器和CXL交換機也將在市場中迅速發(fā)展。
有見及此,越來越多的廠商加入了CXL聯(lián)盟,以抓住這個由服務器和互聯(lián)新協(xié)議帶來的新機遇。
以上便是此次帶來的CXL相關(guān)內(nèi)容,通過本文,希望大家對CXL已經(jīng)具備一定的了解。如果你喜歡本文,不妨持續(xù)關(guān)注我們網(wǎng)站哦,將于后期帶來更多精彩內(nèi)容。最后,十分感謝大家的閱讀,have a nice day!