美國(guó)國(guó)家超級(jí)計(jì)算應(yīng)用中心(National Center for Supercomputing Applications)正計(jì)劃推出一個(gè)包含380PB磁帶存儲(chǔ)容量和由17000個(gè)SATA驅(qū)動(dòng)器組成的25PB在線磁盤(pán)存儲(chǔ)的存儲(chǔ)基礎(chǔ)設(shè)施。

這個(gè)大規(guī)模存儲(chǔ)基礎(chǔ)設(shè)施將用于支持世界上最大的超級(jí)計(jì)算機(jī)之一，被稱為Blue Waters。由美國(guó)國(guó)家科學(xué)基金會(huì)(NFS)委托制造的Blue Waters預(yù)計(jì)峰值性能將達(dá)到11.5 petaflops，雖然NFS對(duì)其的要求是提供1 petaflop的應(yīng)用程序持續(xù)計(jì)算能力。

美國(guó)伊利諾伊大學(xué)運(yùn)行的NCSA已經(jīng)與Cray公司簽署了一份合同來(lái)建設(shè)這個(gè)超級(jí)計(jì)算機(jī)，該系統(tǒng)將運(yùn)行一個(gè)Lustre并行文件系統(tǒng)，到其后端存儲(chǔ)的吞吐量將超過(guò)1TB每秒。

Blue Waters項(xiàng)目將創(chuàng)造一個(gè)1 petaflop超級(jí)計(jì)算機(jī)來(lái)處理現(xiàn)實(shí)世界科學(xué)和工程應(yīng)用。其中，這臺(tái)超級(jí)計(jì)算機(jī)將幫助人類理解宇宙大爆炸后宇宙是如何演化的，幫助預(yù)測(cè)颶風(fēng)和龍卷風(fēng)的形成，并在新材料的設(shè)計(jì)中在原子水平上發(fā)揮重要作用。

這臺(tái)超級(jí)計(jì)算機(jī)將包含超過(guò)235個(gè)使用380000個(gè)AMD Opteron 6200系列X82處理器的Cray XE6機(jī)柜，和超過(guò)30個(gè)最新推出的Cray XK6超級(jí)計(jì)算機(jī)(擁有3000個(gè)NVIDIA CPU)未來(lái)版本的機(jī)柜。該系統(tǒng)將包含來(lái)自19萬(wàn)個(gè)內(nèi)存DIMM的1.5PB聚合內(nèi)存。

為了支持所有這些計(jì)算能力，NCSA使用Cray Sonexion存儲(chǔ)系統(tǒng)部署了25PB磁盤(pán)存儲(chǔ)。Sonexion原本被稱為Zyratex存儲(chǔ)陣列，該系統(tǒng)通過(guò)40Gbps以太網(wǎng)從Extreme Networks提供高達(dá)1TBps聚合帶寬。

“我們一直努力與網(wǎng)絡(luò)供應(yīng)商合作，以確保他們準(zhǔn)備好迎接40千兆以太網(wǎng)，”NCSA負(fù)責(zé)存儲(chǔ)和網(wǎng)絡(luò)工程的高級(jí)技術(shù)項(xiàng)目經(jīng)理Michelle Butler表示，“我們并不是第一個(gè)使用40Gbps以太網(wǎng)的，但是現(xiàn)在使用這個(gè)以太網(wǎng)的人并不多。”

Butler表示，使用40Gbit以太網(wǎng)網(wǎng)絡(luò)的關(guān)鍵是將管道分成多個(gè)10Gbps以太網(wǎng)通道的能力，使NCSA將架構(gòu)分散到多個(gè)端口。該以太網(wǎng)將被用于連接75臺(tái)主機(jī)。

Butler表示，NCSA還選擇了DataDirect Network的SFA 12K存儲(chǔ)陣列提供100GBps存儲(chǔ)性能來(lái)卸載數(shù)據(jù)到“近線”磁帶庫(kù)系統(tǒng)。該磁帶子系統(tǒng)可擴(kuò)展到500PB容量。

她表示：“該子系統(tǒng)能夠卸載每秒萬(wàn)億字節(jié)的文件系統(tǒng)，所以我們需要一個(gè)非常大的磁帶基礎(chǔ)設(shè)施來(lái)進(jìn)行卸載。”

正在建設(shè)中的Blue Waters超級(jí)計(jì)算機(jī)

在主存儲(chǔ)后面是四個(gè)Spectra Logic 17-frame T-Finity磁帶庫(kù)，磁帶庫(kù)將擁有366個(gè)240MB/sec 的IBM TS1140企業(yè)級(jí)磁帶驅(qū)動(dòng)器。該磁帶庫(kù)將提供高達(dá)每小時(shí)2.2PB的聚合讀/寫(xiě)率。

Butler表示：“我們實(shí)際上評(píng)估了LTO-5或LTO-6和TS1140，我們并沒(méi)有指定何種磁帶驅(qū)動(dòng)器、何種庫(kù)或者其他任何東西。我們希望讓供應(yīng)商自由地向我們提供多種解決方案。”

Butler表示，NCSA選擇IBM磁帶驅(qū)動(dòng)器，而沒(méi)有選擇更流行的中級(jí)LTO驅(qū)動(dòng)器，因?yàn)樗鼈兲峁﹥?yōu)越的性能。TS1140提供240MB每秒的吞吐量，LTO驅(qū)動(dòng)器提供140MB每秒。

在意見(jiàn)請(qǐng)求書(shū)中，Butler的團(tuán)隊(duì)給存儲(chǔ)供應(yīng)商列出了10到15個(gè)要求。除此之外，它們還規(guī)定磁帶庫(kù)必須要符合一定面積，不能超過(guò)一定電力和冷卻要求，并且應(yīng)該滿足某種可靠性和性能目標(biāo)。

Butler表示，磁帶庫(kù)聚合吞吐量的目標(biāo)是100GB/sec，目前，大約為89.5GB/sec。

Cray超級(jí)計(jì)算機(jī)通過(guò)Mellanox IS5000 InfiniBand交換機(jī)和ConnectX InfiniBand適配器連接到磁帶庫(kù)。交換機(jī)使用InfiniBand QDR協(xié)議，提供高達(dá)每個(gè)lane 8Gbps吞吐量和高達(dá)12個(gè)I/O lane。Butler表示，她想要使用更高帶寬版本的InfiniBand， FDR，但是Cray的系統(tǒng)不支持。

InfiniBand FDR提供每個(gè)lane 13.6 Gbps吞吐量和高達(dá)12個(gè)I/O lane。

雖然NCSA可以從很多企業(yè)級(jí)磁盤(pán)存儲(chǔ)供應(yīng)商中選擇產(chǎn)品用于超級(jí)計(jì)算機(jī)中，Butler及其團(tuán)隊(duì)感覺(jué)如果所有產(chǎn)品都來(lái)自于Cray的話，他們將會(huì)得到更好的支持。

“Lustre，如你所知，并不好維護(hù)，所以我們想要與特定供應(yīng)商合作，使用其軟件硬件，并有一個(gè)設(shè)備來(lái)進(jìn)行故障轉(zhuǎn)換等，自2003年以來(lái)，我們就一直運(yùn)行Lustre，”Butler表示，“所以我理解Cray公司試圖為我們簡(jiǎn)化我們的系統(tǒng)。”

更多信息請(qǐng)關(guān)注：21ic網(wǎng)友雜談?lì)l道