數據庫和數據倉庫
數據庫已經在信息技術領域有了廣泛的應用,我們社會生活的各個部門,幾乎都有各種各樣的數據庫保存著與我們的生活息息相關的各種數據。作為數據庫的一個分支,數據倉庫概念的提出,相對于數據庫從時間上就近得多。美國著名信息工程專家WilliamInmON博士在90年代初提出了數據倉庫概念的一個表述,認為:“一個數據倉庫通常是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數據集合,它用于對管理決策過程的支持。”
這里的主題,是指用戶使用數據倉庫進行決策時所關心的重點方面,如:收入、客戶、銷售渠道等;所謂面向主題,是指數據倉庫內的信息是按主題進行組織的,而不是像業(yè)務支撐系統(tǒng)那樣是按照業(yè)務功能進行組織的。
集成,是指數據倉庫中的信息不是從各個業(yè)務系統(tǒng)中簡單抽取出來的,而是經過一系列加工、整理和匯總的過程,因此數據倉庫中的信息是關于整個企業(yè)的一致的全局信息。
隨時間變化,是指數據倉庫內的信息并不只是反映企業(yè)當前的狀態(tài),而是記錄了從過去某一時點到當前各個階段的信息。通過這些信息,可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預測。
數據倉庫的特點
數據倉庫,是在數據庫已經大量存在的情況下,為了進一步挖掘數據資源、為了決策需要而產生的,它并不是所謂的“大型數據庫”。數據倉庫的方案建設的目的,是為前端查詢和分析作為基礎,由于有較大的冗余,所以需要的存儲也較大。為了更好地為前端應用服務,數據倉庫往往有如下幾點特點:
1.效率足夠高。數據倉庫的分析數據一般分為日、周、月、季、年等,可以看出,日為周期的數據要求的效率最高,要求24小時甚至12小時內,客戶能看到昨天的數據分析。由于有的企業(yè)每日的數據量很大,設計不好的數據倉庫經常會出問題,延遲1-3日才能給出數據,顯然不行的。
2.數據質量。數據倉庫所提供的各種信息,肯定要準確的數據,但由于數據倉庫流程通常分為多個步驟,包括數據清洗,裝載,查詢,展現等等,復雜的架構會更多層次,那么由于數據源有臟數據或者代碼不嚴謹,都可以導致數據失真,客戶看到錯誤的信息就可能導致分析出錯誤的決策,造成損失,而不是效益。
3.擴展性。之所以有的大型數據倉庫系統(tǒng)架構設計復雜,是因為考慮到了未來3-5年的擴展性,這樣的話,未來不用太快花錢去重建數據倉庫系統(tǒng),就能很穩(wěn)定運行。主要體現在數據建模的合理性,數據倉庫方案中多出一些中間層,使海量數據流有足夠的緩沖,不至于數據量大很多,就運行不起來了。
從上面的介紹中可以看出,數據倉庫技術可以將企業(yè)多年積累的數據喚醒,不僅為企業(yè)管理好這些海量數據,而且挖掘數據潛在的價值,從而成為通信企業(yè)運營維護系統(tǒng)的亮點之一。正因為如此,
廣義的說,基于數據倉庫的決策支持系統(tǒng)由三個部件組成:數據倉庫技術,聯機分析處理技術和數據挖掘技術,其中數據倉庫技術是系統(tǒng)的核心,在這個系列后面的文章里,將圍繞數據倉庫技術,介紹現代數據倉庫的主要技術和數據處理的主要步驟,討論在通信運營維護系統(tǒng)中如何使用這些技術為運營維護帶來幫助。