幾種大數據質量管理策略介紹
在信息時代,數據逐漸成為一種資產,數據質量成為決定資產質量的一個重要方面。何為資源化,是指大數據成為企業(yè)和社會關注的重要戰(zhàn)略資源,并已成為大家爭相搶奪的新焦點。因而,企業(yè)必須要提前制定大數據營銷戰(zhàn)略計劃,搶占市場先機。隨著大數據的發(fā)展,越來越豐富的數據給數據質量的提高帶來了新的挑戰(zhàn)和困難。
大數據質量管理有哪些策略.中琛魔方大數據平臺(www.zcmorefun.com)表示數據質量管理要形成完善的體系,建立持續(xù)改進的流程和良性機制,不斷監(jiān)測數據質量的波動和分析數據質量規(guī)律,及時更新數據質量監(jiān)測的手段和方法,保證系統(tǒng)的數據質量能夠持續(xù)掌握,最終達到數據質量的穩(wěn)定狀態(tài),為業(yè)務系統(tǒng)提供良好的數據保障。
一種數據質量策略,從建立數據質量評價體系、落實質量信息的采集分析與監(jiān)控、建立持續(xù)改進的工作機制和完善元數據管理4個方面,多方位優(yōu)化改進,最終形成一套完善的質量管理體系,為信息系統(tǒng)提供高質量的數據支持。
1、信息系統(tǒng)數據質量
信息由數據構成,數據是信息的基礎,數據已經成為一種重要資源。對于企業(yè)而言,進行市場情報調研、客戶關系維護、財務報表展現、戰(zhàn)略決策支持等,都需要信息系統(tǒng)進行數據的搜集、分析、知識發(fā)現,為決策者提供充足且準確的情報和資料。對于政府而言,進行社會管理和公共服務,影響面更為寬廣和深遠,政策和服務能否滿足社會需要,是否高效地使用了公共資源,都需要數據提供支持和保障,因而對數據的需求顯得更為迫切,對數據質量的要求也更為苛刻。
2、大數據環(huán)境下數據質量管理面臨的挑戰(zhàn)
隨著三網融合、移動互聯網、云計算、物聯網的快速發(fā)展,數據的生產者、生產環(huán)節(jié)都在急速攀升,隨之快速產生的數據呈指數級增長。在信息和網絡技術飛速發(fā)展的今天,越來越多的企業(yè)業(yè)務和社會活動實現了數字化。
大數據時代下的數據與傳統(tǒng)數據呈現出了重大差別,直接影響到數據在流轉環(huán)節(jié)中的各個方面,給數據存儲處理分析性能、數據質量保障都帶來了很大挑戰(zhàn)。由于以上特性,大數據的信息系統(tǒng)更容易產生數據質量問題:
(1)在數據收集方面,大數據的多樣性決定了數據來源的復雜性。來源眾多、結構各異、大量不同的數據源之間存在著沖突、不一致或相互矛盾的現象。在數據獲取階段保證數據定義的完整性、數據質量的可靠性尤為必要。
(2)由于規(guī)模大,大數據獲取、存儲、傳輸和計算過程中可能產生更多錯誤。采用傳統(tǒng)數據的人工錯誤檢測與修復或簡單的程序匹配處理,遠遠處理不了大數據環(huán)境下的數據問題。
(3)由于高速性,數據的大量更新會導致過時數據迅速產生,也更易產生不一致數據。
(4)由于發(fā)展迅速,市場龐大,廠商眾多,直接產生的數據或者產品產生的數據標準不完善,使得數據有更大的可能產生不一致和沖突。
(5)由于數據生產源頭激增,產生的數據來源眾多,結構各異,以及系統(tǒng)更新升級加快和應用技術更新換代頻繁,使得不同的數據源之間、相同的數據源之間都可能存在著沖突、不一致或相互矛盾的現象,再加上數據收集與集成往往由多個團隊協(xié)作完成,期間增大了數據處理過程中產生問題數據的概率。
3、數據質量管理策略
為了改進和提高數據質量,必須從產生數據的源頭開始抓起,從管理入手,對數據運行的全過程進行監(jiān)控,密切關注數據質量的發(fā)展和變化,深入研究數據質量問題所遵循的客觀規(guī)律,分析其產生的機理,探索科學有效的控制方法和改進措施;必須強化全面數據質量管理的思想觀念,把這一觀念滲透到數據生命周期的全過程。
大數據概念應用到IT操作工具產生的數據中,大數據可以使IT管理軟件供應商解決大廣泛的業(yè)務決策。IT系統(tǒng)、應用和技術基礎設施每天每秒都在產生數據。大數據非結構化或者結構數據都代表了‘所有用戶的行為、服務級別、安全、風險、欺詐行為等更多操作’的絕對記錄。大數據分析的產生旨在于IT管理,企業(yè)可以將實時數據流分析和歷史相關數據相結合,然后大數據分析并發(fā)現它們所需的模型。反過來,幫助預測和預防未來運行中斷和性能問題。進一步來講,他們可以利用大數據了解使用模型以及地理趨勢,進而加深大數據對重要用戶的洞察力。 他們也可以追蹤和記錄網絡行為,大數據輕松地識別業(yè)務影響;隨著對服務利用的深刻理解加快利潤增長;同時跨多系統(tǒng)收集數據發(fā)展IT服務目錄。