云計(jì)算和大數(shù)據(jù)導(dǎo)演社會變革大戲
掃描二維碼
隨時隨地手機(jī)看文章
如今,我們站在了IT產(chǎn)業(yè)變革的節(jié)點(diǎn)上,感受著巨浪的侵襲:云計(jì)算和大數(shù)據(jù)的發(fā)展促使IT產(chǎn)業(yè)生產(chǎn)力發(fā)生重大變革;生產(chǎn)力的變化讓許多技術(shù)和模式擁有了新的血液;同時,互聯(lián)網(wǎng)和社會也面臨著重構(gòu)……此時此刻,誰能看清變化趨勢,誰能抓住變革先機(jī),誰便能擁有更大的籌碼。
生產(chǎn)力之變革:系統(tǒng)架構(gòu)+數(shù)據(jù)+人
IT產(chǎn)業(yè)生產(chǎn)力變化,在百度大數(shù)據(jù)首席架構(gòu)師林仕鼎看來,可以從四個時間段來分析大型機(jī)時代、PC時代、互聯(lián)網(wǎng)時代、云計(jì)算時代。
“在大型機(jī)時代,硬件是主要的生產(chǎn)力。”林仕鼎道出了他的觀察與思考,“到了PC時代,軟件則成為主要生產(chǎn)力。” 而進(jìn)入互聯(lián)網(wǎng)時代后,IT產(chǎn)業(yè)生產(chǎn)力變?yōu)榱塑浖?人。“一個軟件開發(fā)出來后,很多工程師會去不斷地升級、完善這個軟件”。
那么,云計(jì)算和大數(shù)據(jù)讓生產(chǎn)力發(fā)生了什么樣的改變?林仕鼎直言:“在云時代,IT產(chǎn)業(yè)生產(chǎn)力變革成了系統(tǒng)架構(gòu)+數(shù)據(jù)+人。”
云計(jì)算帶來的計(jì)算、存儲資源集中化效應(yīng),以及數(shù)據(jù)量的激增,都使得系統(tǒng)架構(gòu)在IT產(chǎn)業(yè)發(fā)展中發(fā)揮越來越關(guān)鍵的作用因?yàn)橹С衷朴?jì)算和大數(shù)據(jù)的基礎(chǔ)就是系統(tǒng)架構(gòu)。大數(shù)據(jù)時代的到來,也使得數(shù)據(jù)更多地參與到了系統(tǒng)和各種服務(wù)的構(gòu)建中。
“在這個新的時代,軟件和系統(tǒng)架構(gòu)可被看成一整個系統(tǒng),更多的人參與進(jìn)來修改、維護(hù)、升級這套系統(tǒng),同時,依靠海量數(shù)據(jù)來完善這個系統(tǒng),提升系統(tǒng)性能。”林仕鼎點(diǎn)出了新生產(chǎn)力三個要素間的關(guān)系。
以百度搜索為例,林仕鼎介紹說:“用戶輸入一個搜索請求,有時一開始我們很難確定在搜索結(jié)果頁面,以什么樣的排序呈現(xiàn)給用戶合適。那么,我們就會分別依照一定的算法,制定兩個排序方法,并在用戶中,隨機(jī)選5%的用戶使用排序方式A,5%用戶使用方式B。之后,將海量的對比結(jié)果和數(shù)據(jù)反饋回機(jī)器學(xué)習(xí)平臺,去分析、挖掘相關(guān)算法的優(yōu)勢,進(jìn)而制定出更優(yōu)的排序方式,完善百度搜索系統(tǒng)。這樣,會使用戶在百度搜索中更好地獲得想要的結(jié)果。”
計(jì)算范式之變革:數(shù)據(jù)中心計(jì)算
實(shí)際上,IT產(chǎn)業(yè)生產(chǎn)力變革也就意味著計(jì)算范式的變化。
如前文所述,計(jì)算、存儲資源集中化效應(yīng),以及海量數(shù)據(jù)的存儲與處理需求,使得系統(tǒng)架構(gòu)發(fā)揮越來越重要的地位,而這一現(xiàn)象也代表著計(jì)算范式的變化。“計(jì)算范式正逐步從桌面系統(tǒng)(即單機(jī)計(jì)算)向數(shù)據(jù)中心計(jì)算發(fā)展。”林仕鼎表示。
范式的變化同時引發(fā)了軟硬件設(shè)計(jì)原則、思路的改變整個IT產(chǎn)業(yè)的技術(shù)根基都在發(fā)生著劇烈變革。
根據(jù)林仕鼎介紹,數(shù)據(jù)中心計(jì)算與單機(jī)計(jì)算相比,在系統(tǒng)設(shè)計(jì)理念上的一大改變就是對容錯的處理思路。“在單機(jī)設(shè)計(jì)理念中,系統(tǒng)一定是越可靠越好,原因很簡單,你只有一臺機(jī)器,壞掉就沒了。所以,在設(shè)計(jì)時,要在系統(tǒng)里面加很多冗余信息和校驗(yàn)邏輯,這樣在出現(xiàn)錯誤后還可恢復(fù)。在數(shù)據(jù)中心計(jì)算中,主要是分布式系統(tǒng)。分布式系統(tǒng)假設(shè)所有的設(shè)備最終都會發(fā)生故障,所以它可以容忍任意一臺設(shè)備出現(xiàn)問題。這使得兩者在系統(tǒng)設(shè)計(jì)上擁有很多差異”。
12另外,單機(jī)計(jì)算和數(shù)據(jù)中心計(jì)算的應(yīng)用場景也不同,前者是單用戶多任務(wù),而后者則是多用戶單任務(wù),因此系統(tǒng)設(shè)計(jì)要更多地考慮并行性問題。百度自主研發(fā)的SSD就是這種理念下的產(chǎn)物。
在傳統(tǒng)的SSD架構(gòu)中,是由一個總的SSD控制器來控制下面的Flash存儲單元,這樣的優(yōu)勢是黑箱化、層次化,不利之處是SSD往往讀取較快,寫入較慢,容易形成瓶頸。而百度根據(jù)應(yīng)用需求,取消了SSD架構(gòu)中的寫緩沖、擦寫平衡等復(fù)雜邏輯,大幅簡化SSD控制器的設(shè)計(jì)。通過將一個大的SSD劃分為N個單元,每個單元都有獨(dú)立的控制器和存儲單元,這些信息和控制接口暴露給上層存儲系統(tǒng)后,形成了多個管道,并行讀取、存儲效率可以大幅提升。
這種設(shè)計(jì)上的創(chuàng)新,使得百度自研SSD相對SATA SSD性能提升6倍成本降低10%,相對PCIE Flash性能提升2倍成本降低40%。
社會之變革:重構(gòu)互聯(lián)網(wǎng)
云計(jì)算和大數(shù)據(jù)已經(jīng)帶來了像IT生產(chǎn)力、計(jì)算范式、開發(fā)方式這樣偏架構(gòu)和技術(shù)的變革,但在林仕鼎看來,它們最大的價值在于讓社會得以革新與升級。“技術(shù)只有當(dāng)真正能夠去改變?nèi)说纳顣r才會更有意義。”林仕鼎堅(jiān)持著這一信條。
而要讓社會變革,就需要依靠云計(jì)算和大數(shù)據(jù)重構(gòu)互聯(lián)網(wǎng)。
想像一下這樣一個場景:當(dāng)你在公司系統(tǒng)里確認(rèn)完出差事宜,你手機(jī)上的某個訂飛機(jī)航班的APP就推送給你幾個符合你喜好的航班,供你選擇。當(dāng)你在手機(jī)上一鍵選擇完后,相關(guān)租車APP就跳出來讓你直接預(yù)約出租車,提供往返機(jī)場或異地開會時的接送服務(wù);并且在你預(yù)定完機(jī)票后,你的手機(jī)會自動進(jìn)入航空公司選座系統(tǒng)……
要實(shí)現(xiàn)這一切,需以云計(jì)算為基礎(chǔ),并融合、聯(lián)通來自各種渠道的海量數(shù)據(jù)。但目前的情況是,數(shù)據(jù)和資源都是分散的。“現(xiàn)在的互聯(lián)網(wǎng)有很多問題,比如每個用戶的數(shù)據(jù)是分散的,這些數(shù)據(jù)被割裂在不同的設(shè)備上、不同的應(yīng)用間,同時,計(jì)算資源也很分散。”林仕鼎表示。
所以,互聯(lián)網(wǎng)需要重構(gòu)。
林仕鼎描述了重構(gòu)互聯(lián)網(wǎng)的關(guān)鍵:搭建統(tǒng)一的云操作系統(tǒng)。“真正的云平臺實(shí)際上是一個人人共享的統(tǒng)一操作系統(tǒng),所有數(shù)據(jù)、服務(wù)、用戶的ID、業(yè)務(wù)系統(tǒng)本身都聚合在一個平臺上,形成一個大規(guī)模、合作創(chuàng)新的平臺。由于有了全局的數(shù)據(jù),大數(shù)據(jù)算法可以發(fā)揮作用,這個平臺在工程師和用戶以及大數(shù)據(jù)的推動下不斷進(jìn)化,最終會變成一個超大的、囊括性的統(tǒng)一智能系統(tǒng)。這本質(zhì)上就是對互聯(lián)網(wǎng)的一次重構(gòu)”。
人與機(jī)器合一組成的這個“生命體”,實(shí)際上是把最終的結(jié)果和產(chǎn)生這個結(jié)果的原因連接在一起了,在林仕鼎看來,這個“生命體”將會快速進(jìn)化,最終重構(gòu)整個社會。
據(jù)悉,百度也在努力地促進(jìn)各種數(shù)據(jù)融合、串聯(lián)起來,以推動百姓生活乃至整個社會的變革與發(fā)展。
12