國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心推出了一個(gè)存儲(chǔ)基礎(chǔ)設(shè)施，包括380PB的磁帶容量和由17000個(gè)SATA硬盤組成的25PB的在線磁盤存儲(chǔ)。

大量的存儲(chǔ)設(shè)施設(shè)計(jì)用于支持一個(gè)世界上最強(qiáng)大的超級(jí)計(jì)算機(jī)，稱為"藍(lán)水".由國(guó)家自然科學(xué)基金（NFS）委任，藍(lán)水預(yù)計(jì)會(huì)有11.5千萬億次每秒的峰值性能，雖然國(guó)家自然科學(xué)基金提出的規(guī)范要求為1千萬億次的持續(xù)應(yīng)用計(jì)算能力。

國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心，坐落于伊利諾伊大學(xué)，已與Cray簽訂合同建立超級(jí)計(jì)算機(jī)。該系統(tǒng)將運(yùn)行一個(gè)Lustre并行文件系統(tǒng)，每秒超過1TB的吞吐量送到其終端存儲(chǔ)器上。

"藍(lán)水"項(xiàng)目將建造一個(gè)1千萬億次的超級(jí)計(jì)算機(jī)，處理現(xiàn)實(shí)世界的科學(xué)和工程應(yīng)用。它還有助于理解宇宙大爆炸之后如何演變，幫助預(yù)測(cè)颶風(fēng)和龍卷風(fēng)的成因，并在原子級(jí)新材料的設(shè)計(jì)上發(fā)揮其作用。

超級(jí)計(jì)算機(jī)是由超過235個(gè)Cray XE6機(jī)柜組成，采用380,000個(gè)AMD Opteron 6200 Series x82處理器和超過30個(gè)機(jī)柜的最近宣布的帶有3000個(gè)NVIDIA GPU的Cray XK6超級(jí)計(jì)算機(jī)的未來版。該系統(tǒng)將包括有190,000根內(nèi)存條組成的1.5PB的內(nèi)存。

為了支持所有這些計(jì)算能力，國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心使用Cray Sonexion存儲(chǔ)系統(tǒng)部署了25PB的磁盤存儲(chǔ)。Sonexion是Zyratex存儲(chǔ)陣列的再創(chuàng)品牌。該系統(tǒng)通過一個(gè)40Gb每秒的Extreme Networks以太網(wǎng)提供了1TB每秒的總帶寬。

"我們一直在和網(wǎng)絡(luò)供應(yīng)商密切合作來確保他們準(zhǔn)備好實(shí)施40Gb以太網(wǎng)",國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心的負(fù)責(zé)存儲(chǔ)和網(wǎng)絡(luò)工程的高級(jí)項(xiàng)目經(jīng)理米歇爾·巴特勒說，"我們不是最先使用40Gbps以太網(wǎng)的，但我們是少有的幾個(gè)之一。"

使用40Gb以太網(wǎng)的關(guān)鍵是瓜分多個(gè)10Gb以太網(wǎng)通道的能力，使國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心可以通過多個(gè)端口傳送信息，巴特勒說。以太網(wǎng)將用于連接大約75個(gè)主機(jī)。

國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心還選擇了DataDirect網(wǎng)絡(luò)的SFA 12K存儲(chǔ)陣列，提供100GBps的存儲(chǔ)性能來對(duì)"nearline"磁帶庫系統(tǒng)卸載數(shù)據(jù)。磁盤子系統(tǒng)可擴(kuò)展至500PB的容量，巴特勒說。

"子系統(tǒng)必須能夠卸載百萬兆字節(jié)每秒的文件系統(tǒng)，因此我們需要一個(gè)非常大的磁帶驅(qū)動(dòng)器設(shè)備",她說。

在主要存儲(chǔ)以外，還有四個(gè)Spectra Logic 17-frame T-Finity磁帶庫，將有366,240MB/秒的IBM TS1140企業(yè)級(jí)磁帶驅(qū)動(dòng)器。這些磁帶庫將提供每小時(shí)2.2PB的總讀/寫速率。

"實(shí)際上無論是LTO-5或LTO-6還是TS1140我們都評(píng)估了。我們沒有指定的磁帶驅(qū)動(dòng)器，庫或任何東西。我們希望供應(yīng)商有更大的自由來給我們提出多種解決方案",巴特勒說。

巴特勒說國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心選擇IBM磁帶驅(qū)動(dòng)器而不是更流行的中型的LTO驅(qū)動(dòng)器，原因是他們提供了更優(yōu)越的性能。TS1140提供了240MB/秒的吞吐量，相比之下LTO僅為140MB/秒，她說。

在需求建議中，巴特勒的團(tuán)隊(duì)強(qiáng)調(diào)了10至15個(gè)存儲(chǔ)供應(yīng)商要滿足的要求。除其他外，他們規(guī)定磁帶庫必須符合一定的面積，不能超過一定的功率還有散熱的要求，并應(yīng)滿足一定的可靠性和性能指標(biāo)。

巴特勒說磁帶庫總吞吐量的目標(biāo)為100GB/秒。目前，它就在89.5GB/秒左右。

Cray超級(jí)計(jì)算機(jī)通過Mellanox IS5000 InfiniBand交換機(jī)和ConnectX InfiniBand網(wǎng)絡(luò)適配器連接到其磁帶庫。交換機(jī)使用InfiniBand QDR協(xié)議，提供了每通道多達(dá)每秒8Gb的吞吐量，而且多達(dá)12個(gè)輸入/輸出通道。巴特勒說她想使用更高帶寬版的InfiniBand, FDR,但Cray的系統(tǒng)不支持。

InfiniBand FDR,提供每通道高達(dá)13.6Gbps的吞吐量，也就是12個(gè)輸入輸出通道163.6Gbps的總吞吐量。

雖然國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心可以從各種企業(yè)級(jí)磁盤存儲(chǔ)供應(yīng)商選擇用于超級(jí)計(jì)算機(jī)的產(chǎn)品，但巴特勒和她的團(tuán)隊(duì)認(rèn)為如果全選Cray會(huì)得到更好的支持。

"正如你可能知道的那樣，Lustre不是很容易照看與維護(hù)，所以我們想與一個(gè)特定的軟件和硬件供應(yīng)商合作，并且能有做失效備援的和諸如這類棘手問題的設(shè)備。而且，我們2003年就開始使用Lustre了",巴特勒說，"所以我明白Cray試圖為我們簡(jiǎn)化系統(tǒng)。"

更多計(jì)算機(jī)與外設(shè)信息請(qǐng)關(guān)注：21ic計(jì)算機(jī)與外設(shè)頻道