2011年，時(shí)任商業(yè)智能開發(fā)商Pentaho公司首席技術(shù)官的James Dixon創(chuàng)造了“數(shù)據(jù)湖”這一術(shù)語。他將數(shù)據(jù)湖與當(dāng)時(shí)流行的數(shù)據(jù)集市的典型信息孤島進(jìn)行了對(duì)比：如果將數(shù)據(jù)集市視為銷售瓶裝水的商店(經(jīng)過清潔和包裝處理以便于飲用)，那么數(shù)據(jù)湖就是處于更自然狀態(tài)的大片水體。數(shù)據(jù)湖的內(nèi)容從一個(gè)源頭流入，填滿湖泊。采用數(shù)據(jù)湖，用戶可以來檢查、潛入或采集樣本。

從那時(shí)起，數(shù)據(jù)湖技術(shù)不斷發(fā)展，現(xiàn)在正在與數(shù)據(jù)倉(cāng)庫爭(zhēng)奪大數(shù)據(jù)存儲(chǔ)和分析的市場(chǎng)份額。各種工具和產(chǎn)品支持?jǐn)?shù)據(jù)湖中更快的SQL查詢，而全球三個(gè)主要云計(jì)算提供商都提供了數(shù)據(jù)湖存儲(chǔ)和分析。甚至還推出了將治理、安全性和分析與成本更低的存儲(chǔ)結(jié)合起來的數(shù)據(jù)湖屋的概念。本文將深入探討數(shù)據(jù)湖是什么、如何使用數(shù)據(jù)湖以及如何確保數(shù)據(jù)湖不會(huì)成為數(shù)據(jù)沼澤。

數(shù)據(jù)湖vs數(shù)據(jù)倉(cāng)庫

問題不在于是否需要數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫。很可能兩者都需要，但其目的不同，也可以將它們組合起來。首先了解數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫之間的主要區(qū)別：

數(shù)據(jù)源：數(shù)據(jù)湖的典型數(shù)據(jù)源包括日志文件、來自點(diǎn)擊流的數(shù)據(jù)、社交媒體帖子以及來自互聯(lián)網(wǎng)連接設(shè)備的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫通常存儲(chǔ)從事務(wù)數(shù)據(jù)庫、業(yè)務(wù)線應(yīng)用程序和操作數(shù)據(jù)庫中提取的數(shù)據(jù)以供分析。

模式策略：數(shù)據(jù)湖的數(shù)據(jù)庫模式通常在分析時(shí)應(yīng)用，稱之為讀模式。企業(yè)數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)庫模式通常在創(chuàng)建數(shù)據(jù)存儲(chǔ)之前設(shè)計(jì)，并在數(shù)據(jù)導(dǎo)入時(shí)應(yīng)用于數(shù)據(jù)，這稱之為寫模式。

存儲(chǔ)基礎(chǔ)設(shè)施：數(shù)據(jù)倉(cāng)庫通常采用大量?jī)r(jià)格高昂的內(nèi)存和SSD硬盤，以便快速提供查詢結(jié)果。數(shù)據(jù)湖通常在計(jì)算機(jī)集群上使用價(jià)格較低的機(jī)械硬盤進(jìn)行存儲(chǔ)。數(shù)據(jù)倉(cāng)庫和數(shù)據(jù)湖都使用大規(guī)模并行處理(MPP)來加速SQL查詢。

技術(shù)驅(qū)動(dòng)倍增數(shù)據(jù)價(jià)值 · 場(chǎng)景化應(yīng)用解決“痛點(diǎn)”

2020年4月中共中央、國(guó)務(wù)院發(fā)布《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見》，數(shù)據(jù)已然被定義為繼土地、勞動(dòng)力、資本、技術(shù)之后的生產(chǎn)要素。2021年3月，《中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》提出推進(jìn)要素市場(chǎng)化配置改革，發(fā)展技術(shù)和數(shù)據(jù)要素市場(chǎng)，健全要素市場(chǎng)運(yùn)行機(jī)制，完善交易規(guī)則和服務(wù)體系。

2022年政府工作報(bào)告指出，“促進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展。加強(qiáng)數(shù)字中國(guó)建設(shè)整體布局?！睌?shù)據(jù)顯示，2020年，我國(guó)數(shù)字經(jīng)濟(jì)總量躍居世界第二，數(shù)字經(jīng)濟(jì)規(guī)模達(dá)到39.2萬億元，占GDP比重達(dá)38.6%，增速達(dá)9.7%。不可否認(rèn)，以數(shù)字經(jīng)濟(jì)為代表的新經(jīng)濟(jì)新動(dòng)能正在加速孕育形成。

“如果說建設(shè)數(shù)據(jù)交易的第三方市場(chǎng)是數(shù)據(jù)要素流通和交易產(chǎn)業(yè)1.0的話，我們已經(jīng)走到了2.0。基于多源多模態(tài)數(shù)據(jù)融合認(rèn)知計(jì)算技術(shù)賦能行業(yè)場(chǎng)景的智能決策平臺(tái)，在具體的應(yīng)用場(chǎng)景中也可以融合其它數(shù)據(jù)智能技術(shù)解決企業(yè)、產(chǎn)業(yè)的應(yīng)用痛點(diǎn)問題，有了這些價(jià)值應(yīng)用，數(shù)據(jù)要素流通和交易才能打通了‘任督二脈’，疏通這些數(shù)字經(jīng)濟(jì)場(chǎng)景中的‘毛細(xì)血管’才是這個(gè)產(chǎn)業(yè)的機(jī)會(huì)點(diǎn)?！蔽錆h東湖大數(shù)據(jù)交易中心股份有限公司負(fù)責(zé)人杜小軍說。

能科數(shù)智科技有限公司總經(jīng)理助理付思思說：“我們依托于先進(jìn)的工業(yè)軟件以及電力電子信息技術(shù)，助力區(qū)域優(yōu)化升級(jí)和產(chǎn)業(yè)鏈的完善，這一塊也為客戶提供了以工業(yè)互聯(lián)網(wǎng)為核心的數(shù)字化、網(wǎng)絡(luò)化、智能化的解決方案?！?

據(jù)悉，能科數(shù)智是北京能科科技股份有限公司在貴州成立的子公司，主要致力于工業(yè)互聯(lián)網(wǎng)領(lǐng)域的開拓。目前，公司擁有工業(yè)建模和大數(shù)據(jù)分析、數(shù)據(jù)管理、應(yīng)用開發(fā)及邊緣層處理等多項(xiàng)核心技術(shù)，可實(shí)現(xiàn)全流程的數(shù)字孿生，為工業(yè)企業(yè)數(shù)字化轉(zhuǎn)型升級(jí)、助力我省工業(yè)高質(zhì)量發(fā)展提供新動(dòng)能。