導讀:美國《紐約時報》網(wǎng)絡(luò)版撰文稱,隨著互聯(lián)網(wǎng)規(guī)模不斷擴大,數(shù)據(jù)處理量也在持續(xù)增加,因此以往利用標準系統(tǒng)來處理數(shù)據(jù)的方式已經(jīng)不能適應(yīng)時代的發(fā)展,而使用一些規(guī)模相對較小,但數(shù)量龐大的系統(tǒng)來對數(shù)據(jù)進行分散處理則更符合現(xiàn)實需求。
以下為文章全文:
技術(shù)浪潮
這里究竟是硅谷還是霍格沃茨魔法學校(HogwartsSchoolofWitchcraftandWizardry)?
過去18個月間,隨著Voldemort、Hadoop和Cassandra等產(chǎn)品名稱的出現(xiàn),這個問題變得越來越難以回答。
它們是一個新的專業(yè)技術(shù)浪潮的一部分。這個技術(shù)浪潮包括一系列軟件和硬件,它們是專門為Facebook、雅虎和谷歌這樣的巨無霸網(wǎng)站創(chuàng)立的,目的是幫助這些網(wǎng)站將數(shù)據(jù)分割成小塊,并且以盡可能迅速和廉價的方式來展示網(wǎng)頁,盡管數(shù)據(jù)處理量還在繼續(xù)增大。例如,F(xiàn)acebook發(fā)明了一種名為Cassandra的技術(shù),用于存儲并搜索用戶收件箱內(nèi)的所有信息。
這些產(chǎn)品多數(shù)都由創(chuàng)業(yè)企業(yè)開發(fā)的,但它們卻表明,由于年輕的企業(yè)試圖利用新舊企業(yè)運營方式的巨大轉(zhuǎn)變獲利,因此在硅谷這個全球科技行業(yè)的核心地帶有望發(fā)生一場變革。
上周剛剛開業(yè)的硬件創(chuàng)業(yè)企業(yè)SeaMicroCEO安德魯·菲爾德曼(AndrewFeldman)說:“業(yè)內(nèi)的情緒很高漲,這是有關(guān)創(chuàng)意與技術(shù)的泡沫?!?
分而治之
在最初的互聯(lián)網(wǎng)泡沫形成之際,企業(yè)都在購買速度最快,價格最高的系統(tǒng),以便處理不斷增大且日趨集中的數(shù)據(jù)庫。但事實證明,對于谷歌和雅虎這類公司目前所從事的業(yè)務(wù)而言,這種方法的成本過高,而且過于笨重。
現(xiàn)在的重點變成了分批處理信息,將數(shù)據(jù)分成許多批次,然后將其分配到數(shù)以千計的電腦和存儲設(shè)備中。這種分而治之(ivide-and-conquer)的方法可以有效管理海量的網(wǎng)絡(luò)數(shù)據(jù)。
為了適應(yīng)軟件設(shè)計的變化,部分硬件廠商也推出了一些全新的電腦系統(tǒng)。
例如,SeaMicro就推出了一系列搭配英特爾凌動(Atom)處理器的電腦服務(wù)器。這類芯片通常被用于手持設(shè)備或智能手機。菲爾德曼表示,這些芯片足以顯示網(wǎng)頁并處理其他一些基本的上網(wǎng)任務(wù),但能耗卻遠低于那些功能強大的服務(wù)器芯片。
由于同時進行了其他一些改進,SeaMicro可以在一個大小跟冰箱相仿的機箱內(nèi)放入十倍于傳統(tǒng)服務(wù)器的芯片,同時還能夠幫助用戶節(jié)約電力和空間成本。
“互聯(lián)網(wǎng)帶來了這種特殊的流量浪潮,”菲爾德曼說,“你必須要創(chuàng)建一種獨特的產(chǎn)品來處理這些流量。”
軟件系統(tǒng)
除了SeaMicro外,SchoonerInformationTechnology也提供類似的專業(yè)化硬件系統(tǒng)。這些創(chuàng)業(yè)企業(yè)的產(chǎn)品還要與Voldemort、Cassandra、CouchDB和MongoDB等專業(yè)化的軟件相配合。這類軟件無需使用甲骨文、IBM和微軟等公司推出的昂貴而傳統(tǒng)的數(shù)據(jù)庫便可以組織并存儲信息。
作為Firefox瀏覽器的出品方,Mozilla工程運營副總裁賈斯汀·菲茨休(JustinFitzhugh)表示,該公司必須要支持4億多用戶使用其技術(shù),因此電力和數(shù)據(jù)中心成本的上升令他們有些抓狂。該公司正在對SeMicro的系統(tǒng)進行測試,并且發(fā)現(xiàn)該系統(tǒng)在處理一些計算較少的任務(wù)時表現(xiàn)不錯。
Facebook工程總監(jiān)鮑比·約翰遜(BobbyJohnson)說:“如果是在10年前,要使用大量的低能耗芯片來處理任務(wù)根本不可能,因為還沒有出現(xiàn)配套的軟件。我們已經(jīng)突破了一個規(guī)模界限,必須將大量的數(shù)據(jù)分散到許多小型設(shè)備中處理,從而提升成本效率?!?
大勢所趨
SchoonerInformationTechnology的系統(tǒng)中裝滿了與iPod和手機類似的高速存儲器,從而創(chuàng)建出一款可以隨時瀏覽大量信息的設(shè)備。這就使得企業(yè)能夠更快地發(fā)送重要信息,而在傳統(tǒng)技術(shù)中,這一過程則需要借助速度較慢的數(shù)據(jù)存儲設(shè)備來完成。
網(wǎng)站管理公司Rackspace的高管喬納森·布萊斯(JonathanBryce)表示,主流企業(yè)已經(jīng)開始使用這些新技術(shù),尤其是軟件,因為他們已經(jīng)被數(shù)據(jù)搞得不知所措。
布萊斯說:“我們知道有一家大型金融服務(wù)企業(yè)使用Cassandra來存儲交易模擬系統(tǒng)生成的數(shù)據(jù)。他們需要在倫敦、香港和紐約獲得同樣的數(shù)據(jù),但利用傳統(tǒng)數(shù)據(jù)庫卻無法做到。”
科技市場研究公司RedMonk創(chuàng)始人斯蒂芬·奧格雷迪(StephenO’Grady)表示,科技行業(yè)經(jīng)常在標準的計算系統(tǒng)與專業(yè)化設(shè)備之間反復。他說:“很明顯,我們現(xiàn)在正向著專業(yè)化的時代邁進。由于網(wǎng)絡(luò)的規(guī)模開始向企業(yè)提出更多要求,因此這是大勢所趨。”