2011年中，谷歌公布了其在2010年全年的數(shù)據(jù)中心耗電情況。根據(jù)谷歌提供的數(shù)據(jù)，這家互聯(lián)網(wǎng)公司一年的電力消耗量高達近23億千瓦時，比21萬個美國家庭一年的用電量加一塊兒還要多。據(jù)斯坦福大學的Jonathan Koomey 估計，截至2010年底，谷歌共擁有近90萬臺服務器，約占全球3%的服務器數(shù)量，但只使用全球數(shù)據(jù)中心1%的電力，目前其部分數(shù)據(jù)中心的年均PUE約為 1.12左右，顯然谷歌數(shù)據(jù)中心的運作比其他數(shù)據(jù)中心更為高效。我們知道除了制冷系統(tǒng)外，數(shù)據(jù)中心的供電系統(tǒng)也是能耗很大的一塊，因此有必要研究一下其供電系統(tǒng)，雖然不一定適合中國國情和一般用戶，但其理念和思路卻是非常值得借鑒的。

由于篇幅有限，變電站及中壓部分就不再展開，但其總體思路是采用中壓配電輸送到機房周邊，靠近負載就近經(jīng)變壓器降壓成低壓，再通過低壓母線輸電到機房內(nèi)的IT機柜上。從圖1我們可以看到模塊化的戶外型變壓器及低壓配電柜環(huán)繞機房周邊，采用集裝箱型的柴油發(fā)電機組作為變配電的供電投切備份，柴發(fā)風管直立到屋頂上排風。經(jīng)過變壓器變壓后的市電通過母線槽或者線纜直連到機房內(nèi)的機柜上方，直接給自帶分布式UPS的服務器供電。

如圖是谷歌數(shù)據(jù)中心內(nèi)部的俯視圖，從這個照片我們可以看到市電經(jīng)前面描述的室外變壓器降壓后直接通過母線槽的方式架設(shè)在每排機柜頂部，再用機柜頂部的配線盒連接到每個機柜PDU，具體細節(jié)我們后面會介紹。由于谷歌定制的服務器上自帶有分布式小UPS，因此谷歌的數(shù)據(jù)中心內(nèi)部不再有UPS室和電池室等，也沒有列頭柜等二次配電環(huán)節(jié)，每個服務器直接采用市電直供技術(shù)，達到接近99.9%的供電效率。如圖3(a)所示的每個機柜直接從機柜頂部母線槽上安裝的配線盒取電，這種供電架構(gòu)非常簡單清爽，大大減少了線纜的采購和工程施工，而且非常靈活便于機柜擴充和帶電檢修維護等，運營起來也非常簡單，還可以根據(jù)機柜的功率和用電可靠性情況靈活調(diào)整配線盒來滿足不同設(shè)備的供電需求。此外，變壓器、中低壓以及柴發(fā)供電外置，且無集中UPS和電池等，機房內(nèi)的空間利用率也非常高。

谷歌的帶小UPS的市電直供服務器大家都應該非常了解了，這里不再詳述，只簡做要介紹。其原理是在服務器內(nèi)安裝底部的12V黑色鉛酸電池用于市電停電保護，市電正常時候，由于沒有外部UPS，市電直接給服務器供電，達到99.9%的供電效率;當市電停電后，直接掛接在12V輸出上的電池短時放電，直至室外的柴發(fā)啟動恢復服務器電源帶載。電池參與放電的時間基本不到一兩分鐘，因此電池的容量很小，大約只有3.2Ah，備電時間遠遠小于傳統(tǒng)數(shù)據(jù)中心15到30分鐘的電池備電需求，因此對柴發(fā)的啟動要求很高。

我們前面知道谷歌的柴發(fā)是模塊化直接安裝在變壓器旁邊的，很有可能是低壓柴發(fā)，其啟動很快。而且每臺柴發(fā)對應一個變壓器，沒有復雜的柴發(fā)并機以及啟動時序等問題，因此正常情況下柴發(fā)啟動時間可以控制在十幾秒以內(nèi)，一兩分鐘的電池備電時間基本上是夠了，但這對運維水平要求就非常高了。當然谷歌的軟件架構(gòu)和業(yè)務備份方面也足夠強壯，甚至部分設(shè)備停電也不會影響到業(yè)務正常運行，因此只有強大的技術(shù)實力才可以采用這種供電架構(gòu)。

如圖是谷歌三聯(lián)柜102a-c的正視圖，以及頂部配電系統(tǒng)100，后者不僅給三聯(lián)柜服務器供電，還給相關(guān)的空調(diào)等支撐設(shè)備供電，比如機柜頂部的風扇等。三聯(lián)柜底部裝有滾輪105，用于支撐機柜，并且方便現(xiàn)場運營人員靈活搬運，每個機柜高度約為30個導軌，估計每個設(shè)備高度約1.5U，總計高度45U左右，整個三聯(lián)柜總共有90個設(shè)備安裝空間。這種設(shè)計使得整個三聯(lián)柜不會太高，無需凳子或者梯子等來協(xié)助。三聯(lián)柜橫向?qū)挾确矫嬉膊粫珜?，叉車等工具可以簡易搬遷，甚至現(xiàn)場安裝人員可以徒手在數(shù)據(jù)中心內(nèi)很容易搬動到需要的地方。

空氣循環(huán)單元107會被安裝在背靠背的兩組三聯(lián)柜之間，該單元包含兩組三聯(lián)柜之間的鎖固框架，以及一到兩個的空調(diào)盤管，還有熱通道頂部的一些風扇等。三聯(lián)柜排出的熱空氣可以進入框架內(nèi)，然后被空調(diào)盤管制冷，最后從頂部的風扇被吹回整個機房冷環(huán)境中。空氣循環(huán)單元107的框架上還架設(shè)有支撐架108，支撐架 108用于安裝線槽110和112等，分別用于布設(shè)供電線纜和光纖或銅纜等?？諝庋h(huán)單元上還有一些網(wǎng)線等，用于控制風扇的轉(zhuǎn)速，并將收集到的壓力、溫度、設(shè)備故障信息等送回到機房監(jiān)控中。

三聯(lián)柜頂部的配電系統(tǒng)100則包括 IT機柜供電的配線盒116，該配線盒向上可通過118接入口從一根或者兩根供電母排上獲得電力，向下則通過配電空開122以及線纜120等給102a- c的三聯(lián)柜每個機柜分別供電。比如每個機柜有三根線120到機柜PDU，那么122配電空開就總共有9個微斷連接到9條輸出線纜120上，或者3個3P的空開。

由于三聯(lián)柜通常都是工廠預制并安裝好TOR的整機柜，當三聯(lián)柜被滾動安裝鎖固在空氣循環(huán)框架107后，就可以直接從線槽110或者 112上連接上聯(lián)光纖。然后供電的配線盒116向上則從供電母線取電，向下則給三聯(lián)柜機柜的 PDU供電。最后等所有的線纜都連接好并帶電后，三聯(lián)柜內(nèi)的服務器上電開始加載系統(tǒng)開始工作。如前面所述，每個機柜有30個導軌安裝30臺服務器，每個機柜采用三相空開，每相空開帶載10臺設(shè)備，每組三聯(lián)柜共有9路輸出空開，如果任何部分發(fā)生故障，那么最多也只會影響到1/9的設(shè)備，在保證人身安全的同時，盡量縮小故障影響面。

圖 5(a)是谷歌三聯(lián)柜更為詳細的展示，三聯(lián)柜202a-c內(nèi)的三個機柜整個連為一體，導軌205用于支撐服務器的安裝。標識為204a-c為機柜上的 PDU垂直安裝在機柜前面的左側(cè)，PDU上有30個左右的母頭插座用于安裝服務器電源插頭。由于PDU和服務器非?？拷也遄酒烬R于服務器前面板，因此可以采用非常短的電源線用于連接服務器和PDU，電源線纜安裝美觀且管理方便。圖5(b)是安裝了服務器的三聯(lián)柜，這些服務器可以是計算、存儲等各種類型的IT設(shè)備。整個三聯(lián)柜通過底部的滾輪方便搬運和安裝，并且這些三聯(lián)柜以及要安裝的服務器會以整機柜的方式在工廠整體安裝調(diào)試好，搬運到現(xiàn)場后整體交付，即插即用，滿足快速部署和建設(shè)的需求。

圖 6(a)是PDU及機柜一角的俯視圖，其中302是用于支撐待安裝服務器的導軌，而304則是PDU的支撐架，用于固定垂直的PDU 306到機柜上。PDU內(nèi)部包含三根導線308、310和312，每根導線連接PDU上1/3的插座，比如導線312連接到PDU頂部的10個插座 314，310負責中間的10個插座，而308則負責底部的10個插座。圖6(b)則描述了服務器主板316被安裝在導軌302上，以及和PDU的電源線連接示意。服務器 316通過電源線320以及電源插頭318從PDU上取電，當然這里電源線只是示意，實際上谷歌的服務器電源往往安裝在熱通道側(cè)，電源線穿過服務器到機柜前面的冷通道來取電，滿足谷歌服務器全正面冷通道維護的需求。圖6(c)更為詳細的展示了導軌302和PDU 306之間的位置，插座314和導軌302 一一對應逐個匹配，所以服務器電源線可以就近很好得連結(jié)到每個插座，當然如果有需要，也可能會有冗余的插座用于安裝其他需要的設(shè)備，比如交換機等。

圖7是PDU的示意圖，整條PDU分為6個子部分，從402到412，每個子部分則包含5個插座。當然也可以分成其他數(shù)量的子部分和不同的插座數(shù)，但每個子部分之間是沒有直接電氣連接的，且每個部分會設(shè)置有獨立的空開或者熔絲等來保護該子部分。標識為418、420和422的三個插座是三個電氣連接口，用于整條PDU從低壓母線排上的配線盒來取電。比如前面的例子，418輸入的電源線會覆蓋到2個PDU子部分，共連接10個插座。同樣的，420和 422 輸入也各覆蓋10個插座。PDU上還安裝有部分的熔絲保護槽414，用于安裝和快速更換熔絲。比如，圖7中414熔絲槽內(nèi)的熔絲可以用于保護和隔離406 部分的5個插座。如果406子部分5個插座的總負載電流不超過15A，那么418的輸入線纜會選擇載流量為30A的電源線，整條PDU則可以承載 3*30A的IT負荷。在230Vac到240Vac供電情況下，418輸入會選擇10AWG或者4mm^2的線纜。根據(jù)谷歌服務器300到400瓦的典型功率，單機柜功率約在9-12KW附近。此外，上級配線盒內(nèi)會選擇容量較大，而且動作響應時間較慢的開關(guān)，這種情況下靠近負載的熔絲會在故障發(fā)生時先于上級的開關(guān)動作，快速切斷負載，并且確保不會影響到上級開關(guān)，這種上下級開關(guān)和熔絲的選擇性問題會在后面詳細描述。

圖 8是標識為600的PDU內(nèi)部電路圖，包含三根導線602、604和606，每根導線及其分支都會連接到共兩根熔絲上，每根熔絲又覆蓋5個插座，這樣每根導線覆蓋10個插座。每根熔絲的載流量也不能選擇過大，以至于不能保護其上級連接的線纜和空開等。比如導線602的上級空開為30A的微斷，那么熔絲就必須選擇小于15A的，這樣確保兩根熔絲的載流量不會超過上級空開30A的分斷能力。同時選擇快熔型熔絲，以保證機柜PDU內(nèi)配置的熔絲動作時間小于配電箱內(nèi)上級微型斷路器的動作時間。5個插座對應1個熔絲，熔絲槽設(shè)計便于熔絲維護更換，以減少修復時間。采用這種一根熔絲只帶5個插座的設(shè)計，保證了任意一臺服務器的電源短路故障只會影響到該子部分的5臺服務器，避免該短路故障擴散到整個機架。同時熔絲可在PDU的熔絲槽內(nèi)快速更換，也減少了被影響服務器的故障修復時間。

圖9(a)展示了帶9P空開的配線盒正視圖，輸入線纜706可從母排或者配電柜取電，其線徑可選擇AWG 2號線或者載流量達到100A的線纜。配線盒面板上有9個型號為Leviton L6-30R的輸出母頭和9P控制空開。配線盒側(cè)面還有個線纜捆扎鉤720，用于輸出線纜的捆扎整理，線纜美觀的同時還能減少下垂線纜的重量對配線盒的拉伸應力。圖9(b)則展示了配線盒內(nèi)部的配線排細節(jié)，比如輸入配線排將輸入的三根火線分配到9個空開上，還有中線排和地線排等用于9個支路的輸出，并且接地排同時還會連接到配線盒外殼上作為接地保護。圖9(c)則是配線盒的側(cè)視圖，展示了輸出線纜如何掛接在線纜鉤上，減少線纜重量對線纜輸出接頭的拉伸應力。這種配線盒設(shè)計有效節(jié)省了機房空間，并滿足快速部署需求。

圖10是四組三聯(lián)柜以及頂部配電盒的示意圖，每組三聯(lián)柜1002從機柜頂部帶9路輸出的IT配線盒1006上取電。除此之外，三聯(lián)柜頂部還有另外一個帶12路輸出的空調(diào)配線盒1010，用于給背靠背兩排機柜間熱通道頂部的置頂空調(diào)風機供電，后面會有詳細介紹。

圖11是前面圖10中四組三聯(lián)柜及其配電部分的俯視圖，同樣的，帶9路輸出的IT配線盒1106給三聯(lián)柜1102供電，而帶12路輸出的空調(diào)配線盒 1110則是給熱通道頂部置頂空調(diào)的3個大風扇供電。不管是1106的IT機柜供電配線盒還是1110的空調(diào)風扇供電配線盒都是通過供電線纜從兩排機柜中間頂部的供電母排114上取電。

置頂空調(diào)1118包含了標識為1120的3 個散熱風扇和標識為1122的變頻驅(qū)動控制器，后者用于控制風扇的轉(zhuǎn)速，同時將置頂空調(diào)的故障信息上傳到機房監(jiān)控中。帶12路輸出的空調(diào)配線盒1110中的9路輸出用于給三個大風扇供電，而剩余的3路輸出則給風扇驅(qū)動控制器供電。而置頂空調(diào)1118的6個風扇及兩個控制器分別從兩套12路輸出空調(diào)配線盒 1110來供電，每邊各一個，避免某個配線盒故障導致整個空調(diào)停機，來提高空調(diào)系統(tǒng)的可靠性。

置頂空調(diào)1118的寬度或者相鄰空調(diào)之間的距離和三聯(lián)柜1104的寬度可能會不一樣，或者說下圖的橫向方向上置頂空調(diào)的數(shù)量和三聯(lián)柜的數(shù)量可以一樣，也可能不一樣，這種配置會隨著三聯(lián)柜功率的不同靈活調(diào)整。比如三聯(lián)柜1104放置高功率服務器情況下，置頂空調(diào)和三聯(lián)柜會一一對應逐個排開，但如果三聯(lián)柜 1104改上架低功率的服務器后，可能會少安裝一些置頂空調(diào)1118，這些空缺出來的空調(diào)位置可以通過通道頂部的一整塊鐵皮來封堵。由于整排機柜共享熱通道，也共享冷通道，那么置頂空調(diào)空缺出來位置的熱空氣會橫向流動或者上下流動，依靠旁邊的置頂空調(diào)風扇來散熱。還有整個機房大環(huán)境是冷通道，那么彌散在整個房間內(nèi)的冷氣可以較為均勻地被全部服務器風扇吸入，很少出現(xiàn)局部熱點。

圖 12是數(shù)據(jù)中心機柜、空調(diào)和配電部分的剖面圖，整個機房的底部是架空地板1202和頂部的天花1204，整個機房的核心部分由兩排機柜1206a和 1206b以及置頂空調(diào)1208、9路輸出的配線盒1210a和1210b、12路輸出的配線盒1212以及母線排1214構(gòu)成。兩排機柜1206a和 1206b從9路輸出的配線盒1210a和1210b來取電，兩排機柜后面熱通道頂部則為置頂空調(diào)1208，其包括6個軸流風機1218、一對風扇控制器 1220以及一對散熱盤管1222。每組風扇和控制器從帶12路輸出的配線盒1212上取電。頂部的母線排可能的載流量約為1000A，覆蓋多組三聯(lián)柜機柜和置頂空調(diào)單元。

正常工作情況下，1206a-b的服務器散發(fā)出來的熱量進入共享的熱通道內(nèi)，經(jīng)過盤管1222制冷后，被熱通道頂部的風機1218吹回到整個機房大冷環(huán)境內(nèi)，再重新被服務器風扇吸入，不斷循環(huán)，機房大冷池環(huán)境如圖13(a)所示。或者如果剛好部分機柜頂部沒有風扇或者該風扇出現(xiàn)故障，則該機柜散發(fā)出來的熱量會橫向流動到相鄰帶風扇的空調(diào)(比如進入或者流出此正視圖)被相鄰的空調(diào)給制冷，共享熱通道內(nèi)部如圖13(b)所示，這種冷通道和熱通道共享的機制可以大大減少制冷系統(tǒng)的局部故障，提高系統(tǒng)可靠性。

圖 12(b)是實際部署機柜上電的流程圖，首先1302步驟在工廠將每臺服務器上架并連好電源線到PDU上，然后是1304步驟將整機柜運送到機房現(xiàn)場泊位，在對應位置固定安裝好整機柜并連好機柜接地線，接著是1306步驟在供電母線上安裝IT機柜供電配線盒，并在1308步驟上連接每個機柜PDU和頂部配線盒，于1310步驟給配線盒總閘合閘上電，最后在1312步驟給每個機柜的PDU供電開啟機柜服務器。我們之前在文章《谷歌的服務器內(nèi)置UPS技術(shù)介紹》中了解到其服務器電源的內(nèi)部作了上電隨機延遲設(shè)計，因此不會在整機柜合閘的瞬間導致大電流沖垮熔絲或者支路空開，或者也可以在遠程后臺逐個上電，避免同時上電的啟動沖擊。

圖14是谷歌數(shù)據(jù)中心內(nèi)部的實際照片局部，很多前面介紹的技術(shù)細節(jié)體現(xiàn)在這個圖片中，可以看到頂部母排及配線盒，中間是線纜托架及空調(diào)，下面為30U高服務器機柜，每臺1.5U高，機柜深度約700mm，冷通道為2塊磚1200mm寬。服務器市電直供，機柜頂部的交換機由白色小UPS帶，30孔PDU，5個熔絲槽一拖六，供電PDU和銅纜理線器一側(cè)，帶專門的理線槽，并采用不同顏色的網(wǎng)線區(qū)別相應的功能，總體較為美觀整齊。

綜上，本文簡單介紹了谷歌數(shù)據(jù)中心的供電架構(gòu)，有些盲人摸象，泛泛介紹了些內(nèi)容，很多技術(shù)細節(jié)還有待進一步充實。但從我們了解的有限知識內(nèi)，這個架構(gòu)是對傳統(tǒng)數(shù)據(jù)中心供電架構(gòu)的顛覆，摒除了傳統(tǒng)上依靠UPS等硬件冗余的低效率模式，追求能效無極限。同時還在高效建設(shè)、便捷運營以及系統(tǒng)可靠性等方面也有很多亮點。雖然這種完全定制的市電直供架構(gòu)不一定適合國內(nèi)數(shù)據(jù)中心用戶，但其低成本、簡單、高效的模塊化建設(shè)思路非常值得國內(nèi)學習。