在前不久剛剛結(jié)束的國際高性能計算咨詢委員會第二屆中國研討會上，委員會主席Gilad Shainer先生與俄亥俄州立大學(xué)的Dhabaleswar K.Panda教授就時下高性能計算領(lǐng)域的幾個主要熱點做了探討：GPU計算在高性能計算中的日益激增、云計算與高性能計算的關(guān)系等。

中國高性能計算成長迅速 率先采用GPU非常明智

美國俄亥俄州立大學(xué)的Panda教授是全球范圍內(nèi)高性能計算領(lǐng)域的專家，其在MPI計算優(yōu)化領(lǐng)域做出了杰出的貢獻。他表示，中國高性能計算這兩年發(fā)展迅猛，與中國經(jīng)濟的穩(wěn)步增長有密切關(guān)系。另一方面，中國高性能計算的爆發(fā)式增長尤其是GPU+CPU計算模式的領(lǐng)先，主要原因有兩點：

美國俄亥俄州立大學(xué) Dhabaleswar K.Panda教授

1、GPU雖然有編程通用性差等弊病還處在應(yīng)用邊緣，但對于高性能計算來說GPU龐大數(shù)目的流處理器非常適用于浮點運算。中國的高性能計算系統(tǒng)規(guī)劃和建造者們早于其他國家認識到了這一點，因此這樣的異構(gòu)計算機在中國出現(xiàn)如此大規(guī)模的部署（指“天河一號”）也為全球HPC工作者做了榜樣。

2、目前很多Top10里的高性能計算機采用的是升級換代的模式，因此包括Juguar在內(nèi)的高性能計算系統(tǒng)你可以看到他們在升級處理器和內(nèi)存來提升性能。這樣做的好處是節(jié)省了重新構(gòu)建系統(tǒng)的成本，缺點是他們不能做架構(gòu)調(diào)整。因此升級處理器帶來的性能提升幅度有限，卻又受制于系統(tǒng)架構(gòu)不能采用GPU計算。所以這一點上中國的高性能計算更有遠見。

另一個層面上來看，包括Nvidia Tesla所支持的CUDA環(huán)境，AMD Streaming系列計算卡所支持的OpenCL以及英特爾Knights Ferry系列所支持的x86通用編程環(huán)境。所有這些編程環(huán)境都在試圖讓使用GPU的人更輕松的對“小核”做并行編程。

云計算與高性能計算共存 用GPU-Direct為GPU計算加速

國際高性能計算咨詢委員會主席Gilad先生認為，云計算并不是新概念尤其是在高性能計算領(lǐng)域里——早先各地的計算人員就以云的方式在提交作業(yè)。從服務(wù)器農(nóng)場到網(wǎng)格再到云計算，實際上是云計算這種技術(shù)背后的模式正在逐步走向商業(yè)化，并得到人們的重視。

國際高性能計算咨詢委員會主席Gilad Shainer先生

據(jù)Gilad先生介紹，很多云計算廠商將自身的云計算環(huán)境部署在超級計算機上，如Amazon的EC2和Oracle Sun Exadata和Exalogic兩套數(shù)據(jù)庫專用系統(tǒng)中都采用了基于Infiniband的超級計算機（規(guī)模不同）。Gilad認為，云計算里面使用高性能計算可以有效降低用戶的租用成本。

另一方面，從長遠來看云計算目前還處于概念定型和啟動階段。商業(yè)環(huán)境決定了私有云必然是自主建設(shè)，或自行研發(fā)或采用成熟解決方案，而云環(huán)境對計算性能的渴求使得高性能計算必然會應(yīng)用其中?？梢赃@么說，云計算不一定可以做高性能計算（系統(tǒng)延遲、負載和高可用等不符合高性能計算標準）；但是高性能計算系統(tǒng)一定可以作為云計算的重要節(jié)點。

對于GPU計算的優(yōu)化，Gilad先生所在的Mellanox公司做了很多努力。其中最突出的貢獻要數(shù)通過ConnectX-2 Core-Direct技術(shù)隊GPU通訊進行優(yōu)化。這里簡單說說新傳輸方式與舊方式的區(qū)別（如下圖）：

本圖體現(xiàn)了GPU計算過程中數(shù)據(jù)是如何傳遞的：CPU從內(nèi)存中讀取需要GPU計算的原始數(shù)據(jù)，傳遞給北橋芯片的PCI-E控制器，北橋芯片將數(shù)據(jù)傳給GPU，GPU將其存入緩存，計算的結(jié)果也存入GPU緩存（注意這一過程是不斷進行的，動態(tài)的）；計算結(jié)果再從GPU緩存流經(jīng)GPU傳回給北橋控制器，北橋傳回CPU，CPU將之存入內(nèi)存。

如果說以上過程足夠繁瑣，效率很低的話。那么來看看GPU計算好的結(jié)果是如何傳輸?shù)?mdash;—CPU從內(nèi)存里重新讀取GPU計算的結(jié)果，將需要傳輸?shù)牟糠衷俅嫒雰?nèi)存中網(wǎng)絡(luò)模塊讀取的指定區(qū)域——infiniband網(wǎng)卡通過CPU再讀取相關(guān)信息傳出去。因此可以說，GPU計算時的數(shù)據(jù)傳輸是最大瓶頸。

Mellanox的解決方案很簡單，在不改變現(xiàn)有IT架構(gòu)的情況下——意即原先那套計算流程不變。變化只有一點點：GPU計算結(jié)果在存儲到內(nèi)存之后，直接被infiniband讀取傳輸走，減少了再次通過CPU讀取轉(zhuǎn)存的步驟。從而降低了數(shù)據(jù)傳輸?shù)臅r延——這一點點的改進使得GPU之間的時延降低30%，消除了數(shù)據(jù)在infiniband和GPU之間的拷貝，用心良苦可以想見。