近來,“大數據時代”的來臨己成為媒體關注的熱門話題。大數據也似乎在一夜之間闖入了任何一個關于互聯(lián)網未來的討論,成為一個炙手可熱無所不包的概念。最近剛結束的大連2013夏季達沃斯世界經濟論壇還為“大數據時代” 的來臨作了專題討論。無論人們對此持有何種觀點,但下列結論是共同的:“大數據時代”的來臨己成為不爭的事實,大數據作為一種新的資源,己對人們生活、企業(yè)商業(yè)活動以及政府公共管理帶來了深遠的變革。
大數據時代的來臨,帶給我們眾多的沖擊,每個人都應當與時俱進、不斷提升,放棄殘缺的守舊思想,大膽接受新的挑戰(zhàn)。
什么是大數據?國際數據公司定義了大數據的四大特征:海量的數據規(guī)模(vast)、快速的數據流轉和動態(tài)的數據體系(velocity)、多樣的數據類型(variety)和巨大的數據價值(value)。僅從海量的數據規(guī)模來看,全球IP流量達到1EB所需的時間,在2001年需要1年,在2013年僅需1天,到2016年則僅需半天。全球新產生的數據年增40%,全球信息總量每兩年就可翻番。
而根據2012年互聯(lián)網絡數據中心發(fā)布的《數字宇宙2020》報告,2011年全球數據總量已達到1.87ZB(1ZB=10萬億億字節(jié)),如果把這些數據刻成DVD,排起來的長度相當于從地球到月亮之間一個來回的距離,并且數據以每兩年翻一番的速度飛快增長。預計到2020年,全球數據總量將達到35~40ZB,10年間將增長20倍以上。
需要強調的是:所謂大數據并不僅僅是指海量數據,而更多的是指這些數據都是非結構化的、殘缺的、無法用傳統(tǒng)的方法進行處理的數據。也正是因為應用了大數據技術,美國谷歌公司才能比政府的公共衛(wèi)生部門早兩周時間預告2009 年甲型H1N1流感的暴發(fā)。
大數據的產生以及特點
當今世界大數據時代己經來臨。什么是大數據?就像當今世界涌現出來的能描述大變局的概念一樣,大都率先出現在歐美社會,進而傳播到全世界。“大數據” 的概念出現與流行也是如此。
顧名思義,大數據就是大量的數據或者說海量的數據?,F代社會從1941年誕生第一臺電子計算機以來,信息技術得到空前迅猛地發(fā)展。這種發(fā)展的內在驅動力是將陽光下所有的事物都“數據化”。 目前,伴隨著互聯(lián)網Web2.0、物聯(lián)網、手機、GPS和光電感應器等技術和硬件出現,數據如井噴一樣大量涌現。有資料顯示,1998年全球網民平均每月使用流量是1MB(兆字節(jié)),2000年是10MB,2008年是1GB(1GB等于1024MB),2014年將是10GB。我國網民數居世界之首,3G手機擁有者達4.2億,每天產生的數據量居世界前列。
當然,僅僅從量的角度來理解大數據是遠遠不夠的。麥肯錫全球研究所報告《大數據:創(chuàng)新、競爭和生產力的下一個前沿》對“大數據”的含義進行了界定:大數據是指大小超出了傳統(tǒng)數據庫軟件工具的抓取、存儲、管理和分析能力的數據群。對于這樣一個定義,我們還可以從大數據4V特點加以理解。所謂4V(Volume 、Variety、 Velocity 、Value)是由描述大數據特性的四個英文詞的字首字母所形成的:
一是數據量巨大(Volume),數據已從 TB 級別躍升至 PB 級別;
二是數據類型多樣化(Variety),有網絡數據、企事業(yè)單位數據、政府數據,網絡數據又有媒體數據(比如社交網絡、博客、微博等)、日志數據(比如搜索引擎,大家上網等等都會留下很多足跡)、還有富媒體數據(視頻、音頻等等),類型紛繁,已無規(guī)律可循,其中非結構化數據所占比例逐年增大;
三是密度低而價值大(Value),以視頻為例,在連續(xù)不間斷監(jiān)控過程中,可能有用的數據也許只有一兩秒,即所謂密度低,是對大量的數據通過“沙里淘金” 的數據挖掘,可是里面又藏著巨大的價值;
四是處理速度快(Velocity),及時分析對某些應用才更有意義,及時處理已經成為趨勢之一,業(yè)內的“一秒定律”認為,各種處理必須在1秒鐘內完成高速實時處理。
從大數據的本質上來說,“大數據”所代表的是當今社會所獨有的一種新型的能力,通過對海量數據進行分析,獲得有巨大價值的產品和服務,獲取更深刻的洞察力。在大數據時代,數據已經成為一種新的經濟資產類別,就像貨幣或黃金一樣。