隨著數(shù)據(jù)中心的不斷深入與高需求，人們對于此領域的拓展研究也在不斷更迭最新技術與開發(fā)最優(yōu)性能產品及解決方案。

前段時間易飛揚(Gigalight)發(fā)布了200G QSFP DD PSM8光模塊，標志著基于NRZ調制的200G低成本數(shù)據(jù)中心內部平行光互連方案基本完成，也象征著公司在200G解決方案上的領先地位。不同于業(yè)界主張的400G方案，易飛揚(Gigalight)堅持200G的數(shù)據(jù)中心解決方案，可為客戶提供一站式的服務和解答。

本文主要根據(jù)現(xiàn)階段超算中心的發(fā)展進程，來分析當前交換機之間InfiniBand技術的特征以及應用領域，其中以200G QSFP DD AOC為例，說明了超算中心互連技術的端口封裝形式朝著更高工作帶寬發(fā)展的現(xiàn)狀。

超算系統(tǒng)里的InfiniBand技術

根據(jù)2017年全球超級計算機500強榜單公布情況，我國無錫“神威--太湖之光”超級計算機以每秒125,435.9TFlop/s的峰值計算能力再次蟬聯(lián)世界第一名，廣州“天河二號”超算系統(tǒng)以每秒54,902.4TFlop/s的峰值計算能力位居世界第二名。

值得注意的是這些超算中心的交換互連技術均采用來自以色列InfiniBand的交換機和網(wǎng)絡適配卡。當前在超算中心互連技術陣營中有以色列的InfiniBand, 高性能Ethernet, IBM的BlueGene, Cray和后起之秀Intel的OmniPath, 這五大技術占據(jù)市場的重要份額，其中InfiniBand和高性能Ethernet占絕對領導地位。

超算中心的互連技術朝著更高帶寬、更低延遲、更低功耗和更密的互聯(lián)端口在發(fā)展，而InfiniBand互連技術在當前成為高性能存儲互連方案的首選，正是因為其滿足了大帶寬和低時延的需求。

InfiniBand是一個統(tǒng)一的互連結構，既可以處理存儲I/O、網(wǎng)絡I/O，也能夠處理進程間通信。它可以將磁盤陣列、SANs、LANs、服務器和集群服務器進行互聯(lián)，在相對短的距離內提供高帶寬、低延遲的傳輸，而且在單個或多個互聯(lián)網(wǎng)絡中支持冗余的I/O通道，讓數(shù)據(jù)中心在局部故障時仍能運轉。

尤其是在未來HPC數(shù)據(jù)中心內部流量大幅增長的情況下，作為應用于服務器之間的網(wǎng)絡連接技術，InfiniBand將擁有更廣闊的發(fā)展空間。

?圖為InfiniBand的產品路標

InfiniBand網(wǎng)絡技術趨勢

InfiniBand的互連接口從過去的銅纜互連逐漸過渡到以VCSEL激光器為主的并行光互連技術，相比之下，光互連技術有著更多的優(yōu)勢：

相比銅纜，光纖衰減低傳輸距離更遠，可達100米。

抗干擾性強、零丟包率，無論在光纖周圍盤繞著多么復雜的強電，傳輸速度始終保持一致。

使用壽命很長、兼容性很高，市場上一般的光纖可以用到10年甚至更久，這一點銅纜網(wǎng)線是無法相比的。

超算中心的互連技術的端口封裝形式朝著更高工作帶寬在發(fā)展，上圖是InfiniBand互連端口封裝形式和工作速率的表格對比，供大家參考。

InfiniBand系統(tǒng)光模塊封裝演進

QSFP+

QSFP+封裝解決方案專為高密度的互連端口而設計，其系統(tǒng)組件包括電磁干擾(EMI)屏蔽罩，光纜、光學引擎，連接器和疊式籠子等零件。

QSFP+封裝形式滿足了高密度的端口需求，它集成了4路發(fā)射和4路接收通道。QSFP+收發(fā)器可以取代4個標準SFP+收發(fā)器，更大的端口密度和整個系統(tǒng)的成本節(jié)約超過傳統(tǒng)SFP+產品。

QSFP28

更高速率的QSFP28(25G四通道小型可插拔)封裝和QSFP+封裝機械結構保持一只大小，QSFP28是為新一代光通信、數(shù)據(jù)中心和超算網(wǎng)絡市場應用而設計的高密度、高速率的產品解決方案。

該封裝提供4路高速率信號通道，每路傳輸速率可從14Gbps發(fā)展至25(28)Gbps, 并將滿足100Gbps以太網(wǎng)(4x25Gbps)和100Gbps的4X InfiniBand數(shù)據(jù)速率(EDR)的需求。

QSFP DD

繼40G QSFP+和100G QSFP28封裝大規(guī)模部署和應用之后, QSFP DD被認為是在下一代的200G/400G網(wǎng)絡部署中最有優(yōu)勢的一種封裝形式。

QSFP DD封裝與QSFP28封裝大小基本一致，只是其長度稍長(雙排金手指連接器)，電接口支持8x25Gbps NRZ(200G)和8x28GBd PAM4(400G), 因此在同等密度的空間接口上，是原來100G QSFP28光模塊工作帶寬的2到4倍。同時QSFP DD也具備向下兼容QSFP28接口的設備，起到保護投資的作用。

200G QSFP DD AOC在InfiniBand中的應用

不同于應用于高層網(wǎng)絡通信的以太網(wǎng), InfiniBand主要用于低層的服務器端輸入/輸出性能的使命，設備之間一般使用有源光纜AOC進行連接。

另外考慮到信號在超高速光纖傳輸中易失真的問題, InfiniBand在光纖中采用差分的方式發(fā)送數(shù)據(jù)信號，并且在信號接收端添加濾波器過濾掉信號噪聲，充分保證了連接網(wǎng)絡的信號完整性。

易飛揚200G QSFP DD多模光模塊和200G QSFP-DD 100m AOC產品，該產品采用自主研發(fā)和封裝的COB(Chip on Board)技術，可為下一代超算(數(shù)據(jù)中心)提供更低成本、低功耗、高密度、高速率的新一代光互連解決方案。

?200G QSFP-DD AOC

該產品在有限緊湊的空間內集成了兩個光引擎，共提供8路25G高速數(shù)據(jù)通道，優(yōu)秀的散熱設計解決溫度積累問題，全溫0~70攝氏度總功耗小于3.5W, 光接口采用MPO24接口(16根光纖), 在多模OM4光纖可保證100米的工作距離。

小結

著名InfiniBand網(wǎng)絡解決方案公司Mellanox市場部副總裁Gilad Shainer先生表示：“在機器學習、HPC云日益發(fā)展的今天，客戶們對于網(wǎng)絡性能的要求到達了極致，InfiniBand HDR 200Gb/s互連方案的高性能、網(wǎng)絡計算能力和網(wǎng)絡自修復能力，是未來智能云計算中心的關鍵技術。”易飛揚(Gigalight)的200G QSFP DD AOC正是為未來云網(wǎng)絡、高性能計算數(shù)據(jù)中心量身制定的互連方案。