到目前為止，大多數(shù)CIO已經(jīng)注意到大數(shù)據(jù)技術(shù)的發(fā)展前景以及將給企業(yè)業(yè)務(wù)帶來(lái)的全面變革。但殘酷的現(xiàn)實(shí)無(wú)法回避，Hadoop集群在創(chuàng)建、維護(hù)及維護(hù)等各個(gè)方面都難于打理，由此帶來(lái)的資金及時(shí)間壓力令企業(yè)疲于應(yīng)對(duì)?；谶@些理由，Hadoop的全面推廣似乎必定會(huì)胎死腹中。然而VMware公司此番攜宏偉構(gòu)想而來(lái)，意欲將Hadoop集群納入虛擬化技術(shù)的覆蓋范疇之中。技術(shù)烽火的連城燃起令步入云時(shí)代的設(shè)想不再只是空談。

“Hadoop從客觀角度來(lái)說(shuō)已經(jīng)成為大數(shù)據(jù)處理的統(tǒng)一標(biāo)準(zhǔn)，”VMware公司云應(yīng)用程序平臺(tái)產(chǎn)品管理高級(jí)主管Fausto Ibarra認(rèn)為?！暗孒adoop真正為企業(yè)效力，最大的挑戰(zhàn)在于如何說(shuō)服財(cái)務(wù)部門(mén)為Hadoop的部署及維護(hù)劃撥如此龐大的前期經(jīng)費(fèi)。而我們目前所做的努力正是圍繞這一難題，旨在最大程度簡(jiǎn)化Hadoop集群在部署、配置及管理方面的需求，讓大數(shù)據(jù)‘走入尋常百姓家’?！?BR>
開(kāi)源項(xiàng)目Serengeti ：虛擬對(duì)象直指Hadoop

VMware公司日前高調(diào)公布名為Serengeti的全新開(kāi)源項(xiàng)目，其設(shè)計(jì)目的旨在打造一套“一鍵式”部署工具包，借以將Hadoop集群及通用Hadoop組件轉(zhuǎn)化成與VMware 平臺(tái)上的Apache Pig及Apache Hive相類(lèi)似的高可用性功能。VMware公司作為項(xiàng)目帶頭人，還努力與Cloudera、Greenplum、Hortonworks、IBM以及MapR等多家Hadoop發(fā)行版供應(yīng)商聯(lián)手，希望能讓Serengeti項(xiàng)目獲得顛覆性使用效能及一鳴驚人的市場(chǎng)反響。

目前，Hadoop的主要部署環(huán)境仍然局限于物理基礎(chǔ)設(shè)施。這類(lèi)部署工作往往需要耗時(shí)數(shù)天、數(shù)周乃至數(shù)月，而且一旦基礎(chǔ)設(shè)施規(guī)模需求過(guò)大，IT部門(mén)將不得不為獲取必要的硬件及在節(jié)點(diǎn)上安裝發(fā)行版而勞神費(fèi)力;再加上配置過(guò)程的繁瑣及Hadoop組件的復(fù)雜性，整個(gè)處理周期將很難加以準(zhǔn)確規(guī)劃。另外，一旦群體規(guī)模與企業(yè)需求有所偏差，那么整套工作必須要原樣再來(lái)一遍，幾乎沒(méi)人愿意承受這種二次投入帶來(lái)的巨大風(fēng)險(xiǎn)。

“在Serengeti的幫助下，我們能夠在十分鐘以?xún)?nèi)快速部署Hadoop集群，而且不用學(xué)習(xí)任何額外的新知識(shí)，”Ibarra解釋稱(chēng)?！按蠹彝耆梢噪S意選擇適合自己的Hadoop發(fā)行版，而且不必購(gòu)置任何新增硬件——只要能運(yùn)行vSphere的設(shè)備都可以滿(mǎn)足Serengeti的需要。與此同時(shí)，新項(xiàng)目也不會(huì)對(duì)管理員提出更多新要求，只要能在vSphere上實(shí)現(xiàn)的操作，都可以通過(guò)同樣的技能及方式在Serengeti中完成。”

“Hadoop要想成為企業(yè)IT領(lǐng)域廣泛認(rèn)同且全民使用的主流基礎(chǔ)設(shè)施，首先必須要在技術(shù)需求及操作技能方面做到徹底親民，”研究機(jī)構(gòu)OVUM公司首席分析師Tony Baer告訴我們。“大規(guī)模大數(shù)據(jù)集群天然擁有資源密集屬性，因此虛擬化技術(shù)的介入只是時(shí)間問(wèn)題，在這一點(diǎn)上Hadoop別無(wú)選擇。VMware公司所參與的Apache Hadoop項(xiàng)目以及最新的Serengeti Apache項(xiàng)目是兩項(xiàng)關(guān)鍵性舉措，發(fā)展戰(zhàn)略比較靈活的云供應(yīng)商必須以此為契機(jī)，嘗試以實(shí)驗(yàn)或正式啟用的角度進(jìn)軍Hadoop?！?BR>
讓Hadoop準(zhǔn)備好迎接虛擬化

除了Serengeti項(xiàng)目，Ibarra還宣稱(chēng)VMware公司已經(jīng)在與Apache Hadoop社區(qū)共同協(xié)作，希望對(duì)Hadoop分布式文件系統(tǒng)(簡(jiǎn)稱(chēng)HDFS)以及Hadoop MapReduce項(xiàng)目做出調(diào)整，以使其進(jìn)一步“準(zhǔn)備好迎接虛擬化”。這些改動(dòng)會(huì)使橫跨多套虛擬基礎(chǔ)設(shè)施之間的數(shù)據(jù)及計(jì)算工作得到大幅優(yōu)化，并使企業(yè)用戶(hù)獲得更具彈性、安全性及高可用性的Hadoop集群處理能力。

VMware公司同時(shí)也在對(duì)于今年二月推出的開(kāi)源項(xiàng)目Spring進(jìn)行調(diào)整，希望能為Apache Hadoop帶來(lái)更多提升空間。在內(nèi)置了Spring Java應(yīng)用程序框架之后，Spring for Hadoop將允許企業(yè)開(kāi)發(fā)人員輕松創(chuàng)建分布式處理解決方案。Ibarra指出，此次更新將賦予Spring開(kāi)發(fā)人員更強(qiáng)的應(yīng)用程序開(kāi)發(fā)能力，并能使應(yīng)用開(kāi)發(fā)成果與Hbase數(shù)據(jù)庫(kù)、Cascading庫(kù)以及Hadoop安全性相協(xié)調(diào)。

“在一系列更新工作的輔助下，Hadoop已經(jīng)準(zhǔn)備好登上歷史舞臺(tái)了，它注定會(huì)成為下一場(chǎng)表演的核心角色，”Ibarra總結(jié)道。“Hadoop集群的整備工作將史無(wú)前例地簡(jiǎn)單：只需配置一套新的數(shù)據(jù)庫(kù)或服務(wù)器，你就邁進(jìn)了大數(shù)據(jù)時(shí)代的門(mén)檻?！?