數(shù)據(jù)倉(cāng)庫(kù)是什么

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合，它用于支持企業(yè)或組織的決策分析處理。

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)過(guò)程而不是一個(gè)項(xiàng)目。

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一個(gè)信息提供平臺(tái)，他從業(yè)務(wù)處理系統(tǒng)獲得數(shù)據(jù)，主要以星型模型和雪花模型進(jìn)行數(shù)據(jù)組織，并為用戶提供各種手段從數(shù)據(jù)中獲取信息和知識(shí)。

從功能結(jié)構(gòu)化分，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)至少應(yīng)該包含數(shù)據(jù)獲?。―ata AcquisiTIon）、數(shù)據(jù)存儲(chǔ)（Data Storage）、數(shù)據(jù)訪問（Data Access）三個(gè)關(guān)鍵部分。

企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，是以現(xiàn)有企業(yè)業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ)。數(shù)據(jù)倉(cāng)庫(kù)不是靜態(tài)的概念，只有把信息及時(shí)交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營(yíng)的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時(shí)提供給相應(yīng)的管理決策人員，是數(shù)據(jù)倉(cāng)庫(kù)的根本任務(wù)。因此，從產(chǎn)業(yè)界的角度看，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)是一個(gè)工程，是一個(gè)過(guò)程。

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu)

·數(shù)據(jù)源：是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于RDBMS中的各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場(chǎng)信息和競(jìng)爭(zhēng)對(duì)手的信息等等；

·數(shù)據(jù)的存儲(chǔ)與管理：是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。數(shù)據(jù)倉(cāng)庫(kù)的真正關(guān)鍵是數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù)，同時(shí)也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來(lái)建立數(shù)據(jù)倉(cāng)庫(kù)的核心，則需要從數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)特點(diǎn)著手分析。針對(duì)現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉(cāng)庫(kù)按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和部門級(jí)數(shù)據(jù)倉(cāng)庫(kù)（通常稱為數(shù)據(jù)集市）。

·OLAP（聯(lián)機(jī)分析處理）服務(wù)器：對(duì)分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢(shì)。其具體實(shí)現(xiàn)可以分為：ROLAP（關(guān)系型在線分析處理）、MOLAP（多維在線分析處理）和HOLAP（混合型線上分析處理）。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中；MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫(kù)中；HOLAP基本數(shù)據(jù)存放于RDBMS之中，聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫(kù)中。

·前端工具：主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以數(shù)據(jù)挖掘及各種基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。其中數(shù)據(jù)分析工具主要針對(duì)OLAP服務(wù)器，報(bào)表工具、數(shù)據(jù)挖掘工具主要針對(duì)數(shù)據(jù)倉(cāng)庫(kù)。

目前，數(shù)據(jù)倉(cāng)庫(kù)一詞尚沒有一個(gè)統(tǒng)一的定義，著名的數(shù)據(jù)倉(cāng)庫(kù)專家W.H.Inmon在其著作《Building the Data Warehouse》一書中給予如下描述：數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）是一個(gè)面向主題的（Subject Oriented）、集成的（Integrate）、相對(duì)穩(wěn)定的（Non-VolaTIle）、反映歷史變化（TIme Variant）的數(shù)據(jù)集合，用于支持管理決策。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的概念我們可以從兩個(gè)層次予以理解，首先，數(shù)據(jù)倉(cāng)庫(kù)用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù)；其次，數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。

數(shù)據(jù)倉(cāng)庫(kù)的組成

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)

是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的核心，是數(shù)據(jù)存放的地方和提供對(duì)數(shù)據(jù)檢索的支持。相對(duì)于操縱型數(shù)據(jù)庫(kù)來(lái)說(shuō)其突出的特點(diǎn)是對(duì)海量數(shù)據(jù)的支持和快速的檢索技術(shù)。

數(shù)據(jù)抽取工具

把數(shù)據(jù)從各種各樣的存儲(chǔ)方式中拿出來(lái)，進(jìn)行必要的轉(zhuǎn)化、整理，再存放到數(shù)據(jù)倉(cāng)庫(kù)內(nèi)。對(duì)各種不同數(shù)據(jù)存儲(chǔ)方式的訪問能力是數(shù)據(jù)抽取工具的關(guān)鍵，應(yīng)能生成COBOL程序、MVS作業(yè)控制語(yǔ)言（JCL）、UNIX腳本、和SQL語(yǔ)句等，以訪問不同的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換都包括，刪除對(duì)決策應(yīng)用沒有意義的數(shù)據(jù)段；轉(zhuǎn)換到統(tǒng)一的數(shù)據(jù)名稱和定義；計(jì)算統(tǒng)計(jì)和衍生數(shù)據(jù)；給缺值數(shù)據(jù)賦給缺省值；把不同的數(shù)據(jù)定義方式統(tǒng)一。

元數(shù)據(jù)

元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)?？蓪⑵浒从猛镜牟煌譃閮深?，技術(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)。

技術(shù)元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和管理人員用于開發(fā)和日常管理數(shù)據(jù)倉(cāng)庫(kù)是用的數(shù)據(jù)。包括：數(shù)據(jù)源信息；數(shù)據(jù)轉(zhuǎn)換的描述；數(shù)據(jù)倉(cāng)庫(kù)內(nèi)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義；數(shù)據(jù)清理和數(shù)據(jù)更新時(shí)用的規(guī)則；源數(shù)據(jù)到目的數(shù)據(jù)的映射；用戶訪問權(quán)限，數(shù)據(jù)備份歷史記錄，數(shù)據(jù)導(dǎo)入歷史記錄，信息發(fā)布?xì)v史記錄等。

商業(yè)元數(shù)據(jù)從商業(yè)業(yè)務(wù)的角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。包括：業(yè)務(wù)主題的描述，包含的數(shù)據(jù)、查詢、報(bào)表；

元數(shù)據(jù)為訪問數(shù)據(jù)倉(cāng)庫(kù)提供了一個(gè)信息目錄（informaTIondirectory），這個(gè)目錄全面描述了數(shù)據(jù)倉(cāng)庫(kù)中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、和怎么訪問這些數(shù)據(jù)。是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行和維護(hù)的中心，數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器利用他來(lái)存貯和更新數(shù)據(jù)，用戶通過(guò)他來(lái)了解和訪問數(shù)據(jù)。

訪問工具

為用戶訪問數(shù)據(jù)倉(cāng)庫(kù)提供手段。有數(shù)據(jù)查詢和報(bào)表工具；應(yīng)用開發(fā)工具；管理信息系統(tǒng)（EIS）工具；在線分析（OLAP）工具；數(shù)據(jù)挖掘工具。

數(shù)據(jù)集市（DataMarts）

為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉(cāng)庫(kù)中獨(dú)立出來(lái)的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)（subjectarea）。在數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施過(guò)程中往往可以從一個(gè)部門的數(shù)據(jù)集市著手，以后再用幾個(gè)數(shù)據(jù)集市組成一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)。需要注意的就是再實(shí)施不同的數(shù)據(jù)集市時(shí)，同一含義的字段定義一定要相容，這樣再以后實(shí)施數(shù)據(jù)倉(cāng)庫(kù)時(shí)才不會(huì)造成大麻煩。

數(shù)據(jù)倉(cāng)庫(kù)管理：安全和特權(quán)管理；跟蹤數(shù)據(jù)的更新；數(shù)據(jù)質(zhì)量檢查；管理和更新元數(shù)據(jù)；審計(jì)和報(bào)告數(shù)據(jù)倉(cāng)庫(kù)的使用和狀態(tài)；刪除數(shù)據(jù)；復(fù)制、分割和分發(fā)數(shù)據(jù)；備份和恢復(fù)；存儲(chǔ)管理。

信息發(fā)布系統(tǒng)：把數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)或其他相關(guān)的數(shù)據(jù)發(fā)送給不同的地點(diǎn)或用戶?；赪eb的信息發(fā)布系統(tǒng)是對(duì)付多用戶訪問的最有效方法。

數(shù)據(jù)倉(cāng)庫(kù)的幾大特點(diǎn)

1、數(shù)據(jù)倉(cāng)庫(kù)是面向主題的；操作型數(shù)據(jù)庫(kù)的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織。主題是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。

2、數(shù)據(jù)倉(cāng)庫(kù)是集成的，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)有來(lái)自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來(lái)的數(shù)據(jù)中抽取出來(lái)，進(jìn)行加工與集成，統(tǒng)一與綜合之后才能進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)；

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。

數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期保留，也就是數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過(guò)去某一時(shí)點(diǎn)（如開始應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)的時(shí)點(diǎn)）到當(dāng)前的各個(gè)階段的信息，通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。

3、數(shù)據(jù)倉(cāng)庫(kù)是不可更新的，數(shù)據(jù)倉(cāng)庫(kù)主要是為決策分析提供數(shù)據(jù)，所涉及的操作主要是數(shù)據(jù)的查詢；

4、數(shù)據(jù)倉(cāng)庫(kù)是隨時(shí)間而變化的，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)比較適合處理格式化的數(shù)據(jù)，能夠較好的滿足商業(yè)商務(wù)處理的需求。穩(wěn)定的數(shù)據(jù)以只讀格式保存，且不隨時(shí)間改變。

5、匯總的。操作性數(shù)據(jù)映射成決策可用的格式。

6、大容量。時(shí)間序列數(shù)據(jù)集合通常都非常大。

7、非規(guī)范化的。Dw數(shù)據(jù)可以是而且經(jīng)常是冗余的。

8、元數(shù)據(jù)。將描述數(shù)據(jù)的數(shù)據(jù)保存起來(lái)。

9、數(shù)據(jù)源。數(shù)據(jù)來(lái)自內(nèi)部的和外部的非集成操作系統(tǒng)。

數(shù)據(jù)倉(cāng)庫(kù)用途

信息技術(shù)與數(shù)據(jù)智能大環(huán)境下，數(shù)據(jù)倉(cāng)庫(kù)在軟硬件領(lǐng)域、Internet 和企業(yè)內(nèi)部網(wǎng)解決方案以及數(shù)據(jù)庫(kù)方面提供了許多經(jīng)濟(jì)高效的計(jì)算資源，可以保存極大量的數(shù)據(jù)供分析使用，且允許使用多種數(shù)據(jù)訪問技術(shù)。

開放系統(tǒng)技術(shù)使得分析大量數(shù)據(jù)的成本趨于合理，并且硬件解決方案也更為成熟。在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用中主要使用的技術(shù)如下：

并行

計(jì)算的硬件環(huán)境、操作系統(tǒng)環(huán)境、 數(shù)據(jù)庫(kù)管理系統(tǒng)和所有相關(guān)的數(shù)據(jù)庫(kù)操作、查詢工具和技術(shù)、應(yīng)用程序等各個(gè)領(lǐng)域都可以從并行的最新成就中獲益。

分區(qū)

分區(qū)功能使得支持大型表和索引更容易，同時(shí)也提高了數(shù)據(jù)管理和查詢性能。

數(shù)據(jù)壓縮

數(shù)據(jù)壓縮功能降低了數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中通常需要的用于存儲(chǔ)大量數(shù)據(jù)的磁盤系統(tǒng)的成本，新的數(shù)據(jù)壓縮技術(shù)也已經(jīng)消除了壓縮數(shù)據(jù)對(duì)查詢性能造成的負(fù)面影響。

數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)區(qū)別分析

數(shù)據(jù)庫(kù)：傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。

數(shù)據(jù)倉(cāng)庫(kù)：數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用主要是OLAP（On-Line Analytical Processing），支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。

舉個(gè)最常見的例子，拿電商行業(yè)來(lái)說(shuō)。

基本每家電商公司都會(huì)經(jīng)歷，從只需要業(yè)務(wù)數(shù)據(jù)庫(kù)到要數(shù)據(jù)倉(cāng)庫(kù)的階段。

電商早期啟動(dòng)非常容易，入行門檻低。找個(gè)外包團(tuán)隊(duì)，做了一個(gè)可以下單的網(wǎng)頁(yè)前端 + 幾臺(tái)服務(wù)器 + 一個(gè)MySQL，就能開門迎客了。這好比手工作坊時(shí)期。

第二階段，流量來(lái)了，客戶和訂單都多起來(lái)了，普通查詢已經(jīng)有壓力了，這個(gè)時(shí)候就需要升級(jí)架構(gòu)變成多臺(tái)服務(wù)器和多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)（量大+分庫(kù)分表），這個(gè)階段的業(yè)務(wù)數(shù)字和指標(biāo)還可以勉強(qiáng)從業(yè)務(wù)數(shù)據(jù)庫(kù)里查詢。初步進(jìn)入工業(yè)化。

第三個(gè)階段，一般需要 3-5 年左右的時(shí)間，隨著業(yè)務(wù)指數(shù)級(jí)的增長(zhǎng)，數(shù)據(jù)量的會(huì)陡增，公司角色也開始多了起來(lái)，開始有了 CEO、CMO、CIO，大家需要面臨的問題越來(lái)越復(fù)雜，越來(lái)越深入。高管們關(guān)心的問題，從最初非常粗放的：“昨天的收入是多少”、“上個(gè)月的 PV、UV 是多少”，逐漸演化到非常精細(xì)化和具體的用戶的集群分析，特定用戶在某種使用場(chǎng)景中，例如“20~30歲女性用戶在過(guò)去五年的第一季度化妝品類商品的購(gòu)買行為與公司進(jìn)行的促銷活動(dòng)方案之間的關(guān)系”。

這類非常具體，且能夠?qū)緵Q策起到關(guān)鍵性作用的問題，基本很難從業(yè)務(wù)數(shù)據(jù)庫(kù)從調(diào)取出來(lái)。原因在于：

業(yè)務(wù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)結(jié)構(gòu)是為了完成交易而設(shè)計(jì)的，不是為了而查詢和分析的便利設(shè)計(jì)的。

業(yè)務(wù)數(shù)據(jù)庫(kù)大多是讀寫優(yōu)化的，即又要讀（查看商品信息），也要寫（產(chǎn)生訂單，完成支付）。因此對(duì)于大量數(shù)據(jù)的讀（查詢指標(biāo)，一般是復(fù)雜的只讀類型查詢）是支持不足的。

而怎么解決這個(gè)問題，此時(shí)我們就需要建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)了，公司也算開始進(jìn)入信息化階段了。數(shù)據(jù)倉(cāng)庫(kù)的作用在于：

數(shù)據(jù)結(jié)構(gòu)為了分析和查詢的便利；

只讀優(yōu)化的數(shù)據(jù)庫(kù)，即不需要它寫入速度多么快，只要做大量數(shù)據(jù)的復(fù)雜查詢的速度足夠快就行了。

那么在這里前一種業(yè)務(wù)數(shù)據(jù)庫(kù)（讀寫都優(yōu)化）的是業(yè)務(wù)性數(shù)據(jù)庫(kù)，后一種是分析性數(shù)據(jù)庫(kù)，即數(shù)據(jù)倉(cāng)庫(kù)。

最后總結(jié)一下：

數(shù)據(jù)庫(kù) 比較流行的有：MySQL， Oracle， SqlServer等

數(shù)據(jù)倉(cāng)庫(kù) 比較流行的有：AWS Redshift， Greenplum， Hive等

這樣把數(shù)據(jù)從業(yè)務(wù)性的數(shù)據(jù)庫(kù)中提取、加工、導(dǎo)入分析性的數(shù)據(jù)庫(kù)就是傳統(tǒng)的 ETL 工作?，F(xiàn)在也有一些新的方法，這展開說(shuō)又是另一件事情了。