IBM四大Power解決方案“進擊”大數(shù)據(jù)
大數(shù)據(jù)中有“黃金”如今已經(jīng)成為公認的事實,但從浩瀚的大數(shù)據(jù)中找出“黃金”卻并不簡單。“工欲善其事,必先利其器”,工匠要做出一件漂亮的作品,一套趁手的鋸刨鑿鉆必不可少,而對于應用大數(shù)據(jù)來說,一套有效的IT基礎架構能大大簡化大數(shù)據(jù)落地的過程,在這方面,IBM有著獨到之處。
11月21日,IBM在上海召開的Power大數(shù)據(jù)論壇上展示了四類基于Power Systems的大數(shù)據(jù)解決方案,分別面向靜態(tài)大數(shù)據(jù)處理、實時大數(shù)據(jù)處理、數(shù)據(jù)倉庫和數(shù)據(jù)集市。這些解決方案的特點是硬件上均采用IBM Power平臺,具有高性能、高可靠、高吞吐等特點,并且集IBM咨詢、服務、硬件、軟件為一體,以應用為導向,面向不同類別的企業(yè)大數(shù)據(jù)應用。
不同的大數(shù)據(jù)需要不同的“提煉”方式
云計算方興未艾,大數(shù)據(jù)又快速興起,如今,大數(shù)據(jù)已經(jīng)成為最為炙手可熱的新興產(chǎn)業(yè)。“中國大數(shù)據(jù)市場未來5年將以51.4%的速度增長”,IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生介紹說,據(jù)IDC預測,中國大數(shù)據(jù)技術與服務市場將從2011年的7760萬美元增長到2016年的6.16億美元。
侯淼先生指出,在行業(yè)方面,大數(shù)據(jù)應用已經(jīng)從電子商務、互聯(lián)網(wǎng)、快消品等行業(yè)向金融、政府、公共事業(yè)、能源、交通等行業(yè)擴展;而從應用場景來看,大數(shù)據(jù)應用已經(jīng)從用戶上網(wǎng)行為分析拓展到電力安全監(jiān)控系統(tǒng)、輿情監(jiān)控等等。
IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生
對于企業(yè)而言,大數(shù)據(jù)帶來了新的機會。“大數(shù)據(jù)與分析能夠幫助企業(yè)實施創(chuàng)新,成為行業(yè)領導者”,侯淼先生表示,大數(shù)據(jù)與分析能夠從“獲取、擴大和保留客戶、改善IT經(jīng)濟效益、優(yōu)化運營和減少欺詐、管理風險、轉型財務流程、創(chuàng)建新業(yè)務模式”等方面為企業(yè)帶來新的價值,故而大數(shù)據(jù)與分析能夠成為當前企業(yè)所面臨的一種“顛覆性”力量。
IBM系統(tǒng)與科技部大中華區(qū)Power Systems產(chǎn)品總監(jiān)李紅女士將大數(shù)據(jù)比喻為新型“石油”,未經(jīng)加工的石油沒有什么價值,而加工過的石油才能助力世界。同樣,如果大數(shù)據(jù)不能有效地加工處理、分析,數(shù)據(jù)就還將是數(shù)據(jù),不會產(chǎn)生任何的價值。“大數(shù)據(jù)需要充分的提煉才能真正服務于客戶,實現(xiàn)價值”,李紅女士強調(diào)說。
“多樣性是大數(shù)據(jù)的一個典型特征,對于不同的大數(shù)據(jù)類型,需要不同的系統(tǒng)對它進行提煉,但作為大數(shù)據(jù)及分析平臺必須要有整體的視角對各類大數(shù)據(jù)進行統(tǒng)一管理,避免掉入孤島陷阱,最終獲得完整數(shù)據(jù)價值”,李紅女士表示,面向不同大數(shù)據(jù)類型,大數(shù)據(jù)應用可分為靜態(tài)批量大數(shù)據(jù)處理、實時大數(shù)據(jù)處理、數(shù)據(jù)倉庫整合、數(shù)據(jù)集市構建四類,IBM面向這四類應用都有著專門的解決方案。
四大Power解決方案進擊大數(shù)據(jù)
大數(shù)據(jù)的分布式結構讓更多的觀點認為“x86+Hadoop”是承載大數(shù)據(jù)的最佳平臺,但IBM有著不同的觀點,IBM所展示的四類大數(shù)據(jù)解決方案均基于Power Systems平臺,IBM認為,Power平臺更加適合大數(shù)據(jù)分析:
“Power系統(tǒng)采用Power7+處理器,每處理器核心具有四個線程,可以同時進行計算,對并發(fā)計算有天然的支持;高吞吐,大數(shù)據(jù)要求I/O和內(nèi)存帶寬,Power7+具有非常大的內(nèi)存和I/O帶寬,這也是沃森超級計算機成功的關鍵;對應用的優(yōu)化,Power7+提供了高度優(yōu)化的JVM,更適合大數(shù)據(jù)應用需求”,李紅女士介紹了Power硬件平臺適合大數(shù)據(jù)應用的三大優(yōu)勢。
IBM Power靜態(tài)大數(shù)據(jù)解決方案基于IBM天合應用服務器(PowerLinux)和GPFS-FPO或HDFS并行文件系統(tǒng),再上面是Platform Symphony管理軟件、InfoSphere BigInsight分析工具或開源Hadoop,形成軟硬一體化的解決方案。“Symphony是同類中最佳的MapReduce執(zhí)行方案,對計算密集型大數(shù)據(jù)應用優(yōu)勢明顯;BigInsight在Hadoop框架上增加了IBM獨特的技術優(yōu)勢,如安全管理和工作流等,并融入了IBM獨特的數(shù)據(jù)分析、機器學習和文本數(shù)據(jù)分析挖掘等技術。”
IBM系統(tǒng)與科技部大中華區(qū)Power Systems產(chǎn)品總監(jiān)李紅女士介紹大數(shù)據(jù)方案
李紅女士特別提到了GPFS-FPO并行文件系統(tǒng),它支持1000個節(jié)點,支持遠程復制、支持大規(guī)模的水平擴展,支持Symphony和BigInsight,并且經(jīng)過多家數(shù)據(jù)庫廠商認證。對于需要先行排序的Sort操作,提供2~3倍Hadoop性能,對于文件檢索等查找工作,提供17倍開源Hadoop的效率,是一個更加適合大規(guī)模應用的并行文件系統(tǒng)。
大數(shù)據(jù)應用并不僅僅是靜態(tài)的,還包括GPS、醫(yī)療檢測分析、天氣預報、金融交易等實時數(shù)據(jù)分析,為此,IBM提供了Power流數(shù)據(jù)解決方案,同樣基于天合應用服務器和GPFS-FPO并行文件系統(tǒng)。“實時大數(shù)據(jù)處理對內(nèi)存要求高, Power對大內(nèi)存的支持非常符合;實時性大數(shù)據(jù)應用中有大量數(shù)據(jù)在流動,對網(wǎng)絡帶寬要求高,這方面Power也有天然優(yōu)勢”,李紅女士表示。
數(shù)據(jù)倉庫是最傳統(tǒng)的數(shù)據(jù)應用類型,是文本型關系型數(shù)據(jù)庫分析,比如經(jīng)營分析系統(tǒng)。在數(shù)據(jù)倉庫方面IBM也有著完善的解決方案。李紅女士介紹說,IBM Power系統(tǒng)采用集中式架構,具有強大的向上擴展能力,為OLTP和OLAP應用提供了性能保障;Power平臺的RAS特性更加適合數(shù)據(jù)庫所要求的苛刻可靠性;DB2 PureScale能夠實現(xiàn)對Power集中式架構的進一步增強,性能及可靠性大幅提高。
在數(shù)據(jù)集市方面,李紅女士介紹了IBM獨有的DB2 BLU加速器技術。BLU加速器采用內(nèi)存列式計算方式,能夠動態(tài)移動無用數(shù)據(jù),這就降低了硬件平臺的內(nèi)存要求;無需解壓就能使用壓縮數(shù)據(jù),更加快速高效。“DB2 BLU+Power的組合,報告和分析能夠快8~25倍,在一些十余年測試中可能高達1000倍;客戶測試結果達到10倍存儲空間節(jié)省。”
李紅女士認為,IBM Power平臺大數(shù)據(jù)解決方案的優(yōu)勢還表現(xiàn)在技術的傳承和完整性方面:“Power傳承了以前的數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、數(shù)據(jù)集市、業(yè)務數(shù)據(jù)庫的優(yōu)勢,和以前的系統(tǒng)鏈接可以做平滑無縫的鏈接,還可以拓展新的需求,如開源的、非結構化數(shù)據(jù)、流數(shù)據(jù)分析等,都可以集成到新的方案里。IBM提供的不光是一個硬件,是一整套的解決方案。”
IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生認為,IBM Power平臺的另一大優(yōu)勢是長期的投入和對客戶的承諾,今年,IBM聯(lián)合谷歌、NV等廠商成立了OpenPower聯(lián)盟,并宣布投入10億美金投入Linux和Power平臺的開源創(chuàng)新,推出基于PowerLinux的天合應用服務器,并在北京成立Power Systems Linux中心,這些投入為IBM Power大數(shù)據(jù)解決方案提供了有力支撐。
IBM大數(shù)據(jù)方案電信行業(yè)顯身手
電信運營商每天要處理大量的數(shù)據(jù),有著天然的大數(shù)據(jù)“金礦”,故而電信成為中國最早涉足大數(shù)據(jù)分析應用的行業(yè)之一,北京電信正是一個典型的例子。據(jù)介紹,北京電信有著豐富的“數(shù)據(jù)資產(chǎn)”,通過判定用戶的使用習慣實現(xiàn)精準的定向營銷、制定符合用戶習慣的資費政策,或者通過用戶興趣愛好提供有針對性的網(wǎng)絡便利性服務,成為北京電信新的利潤增長點。
北京電信選擇了基于IBM PowerLinux天合應用服務器的大數(shù)據(jù)解決方案建立了大數(shù)據(jù)分析平臺,實現(xiàn)了獨立的DPI流量即席查詢功能,并開展了有針對性的內(nèi)容與應用推薦營銷。負責北京電信大數(shù)據(jù)平臺搭建工作的北京信合運通科技有限公司華北大區(qū)技術總監(jiān)徐振介紹說,相比9臺x86服務器,4臺PowerLinux服務器在測試中每核加載速度是x86內(nèi)核的11.18倍,每核處理能力是x86內(nèi)核的9.63倍。Symphony提供了可視化界面,簡化了人員的操作。
北京信合運通科技有限公司華北大區(qū)技術總監(jiān)徐振
IBM大數(shù)據(jù)方案的表現(xiàn)獲得了徐振的認可,他表示,PowerLinux是性能與成本平衡的硬件平臺,GPFS-FPO并行文件系統(tǒng)要更加成熟可靠,Symphony更加適合計算密集型應用。
PowerLinux天合應用服務器是IBM Power家族中一條獨特的產(chǎn)品線,將PowerLinux服務器、Linux操作系統(tǒng)、VAD(增值分銷商)合作伙伴的軟件打包在一起,形成以應用為導向的解決方案。據(jù)侯淼先生介紹,天合應用服務器獲得了中國市場的肯定,獲得了高速增長,今年第三季度的銷售額達到上半年的一倍。
“沃森”:認知計算揭開新篇章
在IBM的大數(shù)據(jù)框架中,著名的“沃森”超級計算機是其中一個特別的系統(tǒng)。眾所周知,誕生于2011年的“沃森”在美國電視節(jié)目《危險邊緣》中戰(zhàn)勝了人類,成為人工智能發(fā)展史上里程碑似的產(chǎn)品。IBM系統(tǒng)與科技部Power Systems全球實驗室服務總監(jiān)Ian Jarman先生表示,“沃森”是全新的認知計算的代表,在大數(shù)據(jù)浪潮的推動下,“沃森”也將有著新的角色。
IBM系統(tǒng)與科技部Power Systems全球實驗室服務總監(jiān)Ian Jarman先生介紹“沃森”
IBM“沃森”實際上并不神秘,它基于90臺Power750服務器,具有2880顆 Power7內(nèi)核,具有500GBps芯片帶寬、15TB內(nèi)存——看上去和它和很多超級計算機沒有什么不同。但Ian強調(diào),“沃森”與眾不同的地方在于它是一種全新的“認知系統(tǒng)”,能夠分析和理解人類語言,演示類似于人類的準確性,運行速度比人腦更快、維度更高。
“沃森”的問世標志著一個“認知計算”時代的來臨,Ian解釋說:“回顧過去100年中計算機的發(fā)展歷史,可以分為三個階段,第一個是列表式,第二個是編程式,第三個叫做認知計算,沃森是其中的代表。沃森的獨特之處是能夠理解自然語言,人類的交流,并以證據(jù)為基礎,作出最好的選擇。另外一個特點是適應和學習,能夠進行人機對話,能夠進行學習,對結果進行修改和改進。”
“沃森”的這種能力正好符合大數(shù)據(jù)及分析的需求,Ian先生介紹說,過去“沃森”的應用僅限于電視節(jié)目或者實驗室,就像一個“演示系統(tǒng)”,隨著大數(shù)據(jù)應用需求的推動,“沃森”的應用領域更加廣泛,如今已經(jīng)應用于醫(yī)療、金融、呼叫中心的服務。“德克薩斯有一個癌癥中心,沃森在其中對醫(yī)生提供建議,以助于治療復雜的疾病和癌癥。”
“沃森”能夠從不同的信息來源采集數(shù)據(jù)并進行提煉,通過證據(jù)得出正確的結論,并能夠進行認知和學習,Ian先生認為這代表了大數(shù)據(jù)應用的發(fā)展方向:“沃森不只是一個應用,它在推動計算機或者是信息技術的發(fā)展。借助非結構信息管理架構(UIMA)平臺,沃森可以和Hadoop 、InfoSphere 、Symphony結合起來,提供更好、更有價值的結論。所以我們認為沃森作為認知計算的一個代表,代表著我們大數(shù)據(jù)的未來。”
目前“沃森”主要應用在三個領域:醫(yī)療、金融和呼叫中心。未來,“沃森”將會應用在更多的領域。Ian先生介紹說,為此IBM推出了一個“沃森”生態(tài)系統(tǒng),向ISV提供技術、工具和API編程接口,已進行認知應用的自助服務培訓、開發(fā)和測試,希望借助云服務和訪問工具,利用沃森幫助合作伙伴開發(fā)他們的認知計算軟件及系統(tǒng)。
另外,IBM建立了一個“沃森”內(nèi)容庫,供應商可以為沃森提供內(nèi)容,包括通用和專用的信息,如醫(yī)療保健等。Ian預計在未來通過生態(tài)系統(tǒng),沃森能夠幫助其他的行業(yè)研發(fā)新的業(yè)務和應用,如旅游和零售,因為這些行業(yè)有著大量的數(shù)據(jù),有著潛在的應用需求。