網(wǎng)格結構化的布線模塊可以讓數(shù)據(jù)中心管理員最大限度地利用網(wǎng)絡投資。

在過去十年中，隨著網(wǎng)絡規(guī)模的增長，我們可以看到網(wǎng)絡從傳統(tǒng)的三層網(wǎng)絡架構向更平坦、更寬的脊葉架構的轉變。憑借其完全網(wǎng)狀的連接方式，脊葉架構為我們提供了我們所渴望的可預測的高速網(wǎng)絡性能，以及網(wǎng)絡交換結構中的可靠性。

但是在有諸多優(yōu)點的同時，脊葉結構在結構化布線方面也提出了挑戰(zhàn)。在本文中，我們將研究如何構建和擴展一個4路脊柱，并逐步發(fā)展到更多的脊柱網(wǎng)絡（如16路脊柱），并在網(wǎng)絡發(fā)展過程中保持線速度切換能力和冗余。我們也將在結構化布線的主要區(qū)域內(nèi)，探討兩種方法的優(yōu)點和缺點：一種方法使用傳統(tǒng)的光纖跳線，另一種使用光學網(wǎng)格模塊。

發(fā)展簡史

自20世紀80年代作為局域網(wǎng)（LAN）協(xié)議問世以來，以太網(wǎng)以其簡單的算法和低廉的制造成本，一直是數(shù)據(jù)中心和互聯(lián)網(wǎng)發(fā)展的推動力。以太網(wǎng)交換機在切換之前會查看它接收到的每一個包。它只打開外層信封來讀取第2層的地址，而不用讀取IP地址。這允許以太網(wǎng)交換機非常快速地移動數(shù)據(jù)包。

盡管以太網(wǎng)效率很高，但隨著網(wǎng)絡規(guī)模的增大，它也存在一些缺點。在一個由多個以太網(wǎng)交換機組成的網(wǎng)絡中，為了阻止地址解析協(xié)議（ARP）請求等廣播包在網(wǎng)絡中泛濫和循環(huán)，使用了一種稱為生成樹協(xié)議（STP）的技術。STP阻塞冗余鏈接以防止網(wǎng)絡中發(fā)生循環(huán)。在STP技術上運行的網(wǎng)絡在主鏈路失敗時使用冗余鏈路作為故障轉移。這為基礎結構提供了彈性，代價是可用帶寬的利用率僅為一半。

過去很長的一段時間，我們都在使用生成樹的邏輯來構建網(wǎng)絡，直到我們遇到了一系列新的問題。第一個問題是我們的雙核網(wǎng)絡有限，沒有增長空間（為了服務越來越多的客戶，我們的網(wǎng)絡需要相應地增長）。第二個問題是延遲。如果我們有一個大的網(wǎng)絡，我們通常把它們分成更小的網(wǎng)絡，我們稱之為虛擬局域網(wǎng)（VLAN）。這將導致不同類型的數(shù)據(jù)流量具有不同的延遲。與通過第3層核心的不同VLAN之間的流量相比，在單個VLAN中通過第2層網(wǎng)絡的流量具有不同的延遲。

支持生成樹協(xié)議的典型三層網(wǎng)絡。冗余鏈接被阻止，以防止網(wǎng)絡循環(huán)。

脊葉架構簡介

現(xiàn)代電子商務、社交媒體和云應用程序大多使用分布式計算為客戶服務。分布式計算是指服務器與服務器進行對話并并行工作，以創(chuàng)建動態(tài)web頁面并回答客戶問題;它需要相同的延遲。等待結果會讓客戶不滿意。我們需要一個網(wǎng)絡架構，它可以均勻地增長，并為現(xiàn)代應用程序提供統(tǒng)一的延遲。

這些問題的解決方案來自于一種網(wǎng)絡架構，即今天所說的“脊葉架構”。自1952年Charles Clos首次引入多級電路交換網(wǎng)絡（也稱為Clos網(wǎng)絡）以來，這個想法就一直存在。這種網(wǎng)絡架構的主干稱為脊（Spin），每個葉（Leaf） 都通過脊連接到進一步擴展的網(wǎng)絡資源。只需添加更多的脊或葉交換機，網(wǎng)絡就可以均勻地增長，而不會改變網(wǎng)絡性能。

與傳統(tǒng)的3層架構相比，網(wǎng)絡的脊部分水平增長，約束了網(wǎng)絡的層數(shù)。例如，通過雙向脊網(wǎng)絡，我們可以建立網(wǎng)絡，支持多達6000臺主機，通過4路脊網(wǎng)絡，我們可以建立網(wǎng)絡多達12000臺主機，通過16路脊網(wǎng)絡，我們可以超過100，000臺10-GbE主機。

其次，所有的葉交換機都連接到架構中每個可用的脊交換機。這種完全網(wǎng)格化的架構允許任何連接到葉的主機只使用兩個躍點連接其他主機，即交換機到交換機連接。例如，從葉交換機1到脊交換機1，然后從脊交換機1到葉交換機10。因為整個脊層是用冗余方式構建的（在脊或葉交換機宕機的情況下），所以可以自動使用替代路徑和資源。

建立脊葉結構網(wǎng)絡的基本規(guī)則如下：

主要構建模塊是網(wǎng)絡葉交換機和網(wǎng)絡脊交換機。

所有主機只能連接到葉交換機。

葉交換機控制服務器之間的流量。

脊交換機在第2層或第3層的葉子交換機之間沿著最佳路徑向前切換流量。

葉交換機上的上行端口數(shù)量決定了脊交換機的最大數(shù)量。

脊交換機端口數(shù)量決定葉交換機的最大數(shù)量

這些原則影響交換機制造商設計其設備的方式。

仔細觀察一下脊交換機。如果我們觀察一個典型的脊交換機，第一眼我們注意到多個擴展槽，例如4或8個來接受不同的線卡，用于連接葉交換機上行鏈路。

在一個脊葉網(wǎng)絡結構中，葉交換機控制服務器之間的流量，而脊交換機沿著葉交換機之間的最佳路徑轉發(fā)流量。一個被稱為16路脊的架構可以擴展到支持超過100，000個10千兆位以太網(wǎng)主機。

板卡可以有不同的類型，例如36x40G QSFP（用于40-Gig）端口或32x100G QSFP28（用于100-Gig）端口。QSFP （Quad small form pluggable）和QSFP28端口是空的，因此必須分別購買單?；蚨嗄Ｊ瞻l(fā)機或有源光纜（AOC），或雙絞電纜。一般規(guī)則是，脊交換機上可用端口的數(shù)量決定可以連接到脊的葉交換機的數(shù)量，從而決定可以連接到網(wǎng)絡的最大服務器數(shù)量。

接下來，我們將看到監(jiān)控模塊監(jiān)控和管理整個交換機的操作。電源支持層提供充裕的電力，在脊交換機的背面，我們通常有網(wǎng)絡模塊，來協(xié)調不同線卡之間的流量。在脊交換機的板卡上，均勻分布葉交換機的上行鏈路連接，減少了通過結構模塊的數(shù)據(jù)量，從而顯著提高交換機性能。

這增加了端到端包裹交付時間，也就意味著延遲，并需要采購額外的交叉板卡，而這意味著額外的成本。在接下來的章節(jié)中，我們將討論如何使用布線解決這些問題。

仔細觀察葉交換機。當討論葉交換機時，主要考慮的是上行端口的數(shù)量，它決定了可以連接到多少個脊交換機，以及下行端口的數(shù)量，它決定了可以連接到葉交換機的主機數(shù)量。上行鏈路端口可以支持40/100G速度，下行鏈路端口可以根據(jù)您計劃使用的模塊在10G/25G/40G/50G之間進行選擇。

擴展具有冗余和線速交換的脊葉網(wǎng)絡。讓我們考慮一下這種情況。我們有兩個脊交換機，每個脊交換機上有四張板卡，但是每個葉交換機上只有四個上行端口。是否可以將這4個上行鏈路分布在8個板卡中，以保持冗余和線速交換？

如果我們使用40G SR4收發(fā)器，我們知道它們實際上是由4 x10G SR收發(fā)機組成的，一個40G- SR4端口可以被視為四個獨立的10G端口。這稱為端口分開應用（port break-out application）。端口分開允許我們擴展和冗余，因為我們擴展網(wǎng)絡的方式，傳統(tǒng)技術上做不到。例如，可以將2x40G SR4收發(fā)器拆分為8 x10G端口，并輕松地將它們分布在8個板卡上。

使用傳統(tǒng)端口分開的方法進行交叉連接--為了表示這一點，讓我們使用康寧EDGE？ 解決方案端口分開模塊創(chuàng)建一個10G的交叉連接。我們可以使用EDGE解決方案端口分開模塊在脊層端接所有40G QSFP端口。我們可以對葉交換機做同樣的處理?，F(xiàn)在，我們可以簡單地在各自的葉交換機和脊交換機之間做一個LC 跳線連接。通過這樣做，我們可以分開所有40G端口，并將它們分布在4個不同的板卡上。

冗余得到保持，這意味著如果你丟失了一個板卡，你只損失了25%的帶寬。我們通過確保所有的板卡上都連接了所有的葉交換機來維護線速交換，因此不需要通過垂直架構模塊進行通信。每個黃色突出顯示的端口代表一個40G QSFP端口。

這是最優(yōu)的做事方式嗎？ 不。這被稱為使用舊工具構建新網(wǎng)絡。

用網(wǎng)格模塊交叉連接--有更好的方法嗎？

讓我們考慮一下網(wǎng)格模塊。這個網(wǎng)格模塊連接到一側的脊交換機和另一側的葉交換機。脊交換機側端口連接到脊交換機上的單板卡。每次我們在葉交換機側連接一個葉交換機，它就會自動斷開那個端口并將它們在網(wǎng)格模塊上的脊交換機端口上重新連接，這些端口已經(jīng)連接到單獨的板卡上了。

我們不需要做任何LC跳線的修補。我們?nèi)匀粚崿F(xiàn)了我們在上一個場景中嘗試的重新連接，我們有完全的冗余，我們可以從交換機獲得完全的性能。

在這個設置中，一個網(wǎng)格模塊連接到一側的脊交換機和另一側的葉交換機。脊交換機側端口連接到脊交換機上的單板卡。每當用戶連接葉交換機一側的葉端子交換機時，該端口就會自動斷開，并在網(wǎng)格模塊上的脊交換機端口之間來回移動--這些端口已經(jīng)連接到單獨的板卡上。不需要LC-LC跳線修補。

通過網(wǎng)格模塊擴展網(wǎng)絡--從雙路脊交換機到4路脊交換機是容易的。我們只需要在每個脊交換機上使用一個網(wǎng)絡模塊，并將每個從葉交換機而來的40G上行鏈路分配到每個脊交換機的4個板卡上。

使用網(wǎng)格模塊，擴展4路脊交換機是很容易的。我們將網(wǎng)格模塊的脊交換機，連接到其他脊交換機。我們正在失去板卡級的冗余和交換效率，但我們通過將風險分布在16路脊交換機上而獲得了更多的冗余。因此，我們還應該投資矩陣模塊，因為在同一個機箱中，不同的板卡上有不同的葉交換機。通過此項最后的擴展，我們可以得到一個比4路脊交換機大四倍的網(wǎng)絡。

使用網(wǎng)格模塊有幾個優(yōu)點。我們可以降低45%的連接成本。通過用MTP接線代替LC接線，我們可以減少75%的擁塞。因為我們不需要配線架來進行LC斷接和跳接，我們可以在設備主分布區(qū) （MDA） 實現(xiàn)75%的空間節(jié)省。

歷史告訴我們，隨著每一個新的技術發(fā)展，我們必須發(fā)明新的做事方法。今天，這個行業(yè)正在向脊葉結構轉變，交換機制造商已經(jīng)為新一代的數(shù)據(jù)中心交換機架構設計了先進的交換機系統(tǒng)。這種架構的基本要求是構建網(wǎng)格結構的布線模型，使您能夠從矩陣架構投資中獲得最大的收益。

使用網(wǎng)格模塊場景，我們可以超越雙路脊柱，甚至超越4路脊柱，達到如圖所示的16路脊柱。實現(xiàn)這種方法后，用戶確實會丟失板卡級冗余和交換效率; 然而，通過將風險分散到16路脊柱，用戶也獲得了更多的冗余。對于這種類型的網(wǎng)絡部署，值得在矩陣模塊上進行投資，因為在這種情況下，同一機箱的不同板卡上連接著不同的葉交換機。

脊葉結構的網(wǎng)格連接可以使用標準MDA風格的結構化布線系統(tǒng)實現(xiàn)，我們可以將其與”使用舊工具構建新事物“的方法進行比較。使用網(wǎng)格模塊作為構建下一代網(wǎng)絡的新工具可以顯著降低數(shù)據(jù)中心結構的復雜性和連接成本。