1大數(shù)據(jù)技術(shù)

大數(shù)據(jù)的處理過程比較復雜,需要從不同類型的數(shù)據(jù)中"去粗存精""去冗分類",最終獲得有價值的信息,整個過程需要經(jīng)過多個處理階段。如今大數(shù)據(jù)處理模型中比較經(jīng)典的是UsamaFayyad等設計的多階段處理模型,其中包含了數(shù)據(jù)采集、預處理、數(shù)據(jù)管理與存儲以及數(shù)據(jù)分析等各個環(huán)節(jié)步驟。通常情況下,可以將大數(shù)據(jù)采集分為基礎支撐層以及智能感知層。大數(shù)據(jù)采集技術(shù)主要包含感知技術(shù)、智能識別技術(shù)、大數(shù)據(jù)接入和傳輸技術(shù)以及大數(shù)據(jù)壓縮技術(shù)等。

所謂的大數(shù)據(jù)預處理是指對大數(shù)據(jù)進行抽取、分辨并予以清洗等操作。因得到的數(shù)據(jù)可能類型以及結(jié)構(gòu)比較多,所以抽取數(shù)據(jù)的過程是將復雜的數(shù)據(jù)轉(zhuǎn)化成便于處理的或者是單一的結(jié)構(gòu),以便對其快速地進行分析處理,對于大數(shù)據(jù)中沒有利用價值的內(nèi)容,需要對其進行"去噪"處理。對大數(shù)據(jù)進行存儲及處理時,需要用到儲存器將采集所得的數(shù)據(jù)存儲起來,并建立對應的數(shù)據(jù)庫,同時開展管理以及調(diào)用工作,解決大數(shù)據(jù)可表示、可存儲等方面的問題。大數(shù)據(jù)的存儲及管理技術(shù)包含了大數(shù)據(jù)的數(shù)據(jù)組織技術(shù)、存儲技術(shù)、數(shù)據(jù)庫技術(shù)和可視化技術(shù)等方面的關(guān)鍵技術(shù)。

目前比較常用的大數(shù)據(jù)存儲和管理方法主要有Tachyon、OFs(Ouant二castFilesystem)、HDFs(HadoopDistributedFilesystem)和ClusterFs等,其中HDFs是一種能夠支持Hadoop計算框架的分布式大數(shù)據(jù)存儲系統(tǒng),具備可擴展性、容錯性以及高并發(fā)性,同時能夠在廉價的服務器設備上運行,是目前使用比較廣泛的大數(shù)據(jù)存儲系統(tǒng)。所謂數(shù)據(jù)挖掘是指"數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KDD)",在此過程中,前面的幾個步驟都是為開展數(shù)據(jù)分析工作做好相應的準備。而數(shù)據(jù)挖掘過程是提取隱藏其中的潛在知識以及信息的過程。以往所用到的數(shù)據(jù)分析方法主要分為統(tǒng)計法、機器學習法、數(shù)據(jù)庫法以及神經(jīng)網(wǎng)絡法等。盡管可以將以往的分析方法應用到大數(shù)據(jù)領域,但是在集合規(guī)模比較大的數(shù)據(jù)時具有一定的局限性,這時候就需要使用云計算技術(shù),在多臺計算機上分解大數(shù)據(jù)的挖掘任務,以此有效增強數(shù)據(jù)的挖掘效率。大數(shù)據(jù)處理的最后一個環(huán)節(jié)是知識成果的展示和使用。如果難以正確顯示數(shù)據(jù)分析所得的結(jié)果,就會對決策者產(chǎn)生誤導。作為大數(shù)據(jù)最有力的展示方式,數(shù)據(jù)可視化技術(shù)可以分為基于圖像的可視化技術(shù)和基于集合、圖標的可視化技術(shù)等。目前大數(shù)據(jù)技術(shù)正逐漸廣泛應用于智慧城市建設、在線社交網(wǎng)絡、智慧醫(yī)療健康以及智能電網(wǎng)等各個方面。

2基于電力大數(shù)據(jù)的用戶用電行為分析

目前,比較常用的用戶用電行為分析方法是聚類分析

法。行業(yè)中普遍使用的聚類分析方法為基于k二means的聚類算法。k二means算法有效解決了經(jīng)典的聚類問題,處理問題快速、簡單,這種方法雖然具有一定的高效性以及伸縮性,但是用這種方法所得的聚類結(jié)果對初值的敏感度比較高,初值不同所產(chǎn)生的結(jié)果也不同,如果初值選擇不合理,就會導致聚類結(jié)果出現(xiàn)偏差,因此面對用電數(shù)據(jù)比較大的電力用戶時,這種方法并不適用。

模糊聚類算法中使用比較廣泛的是模糊C均值聚類算法,這種方法能夠通過對目標函數(shù)予以優(yōu)化獲取每個樣本點對不同類中心的隸屬度,樣本點隸屬的判斷需要以實現(xiàn)樣本數(shù)據(jù)分類為目標。但是,使用模糊C均值類算法對離散數(shù)據(jù)點集合進行處理時,無法處理類型比較特殊的數(shù)據(jù),無法對數(shù)據(jù)是否具備聚類結(jié)構(gòu)進行判斷,并且在選擇初始值時具有較強的依賴性。一些學者提出了以云計算為基礎的電力大數(shù)據(jù)聚類問題的計算方法,這種方法能夠同時處理大量數(shù)據(jù),并且速度也比較快,但是在具體使用過程中,因Hadoop讀寫比較頻繁,而且包含的數(shù)據(jù)量比較大,很容易產(chǎn)生性能方面的問題。對于大數(shù)據(jù)用戶用電行為,使用經(jīng)典聚類算法進行分析的時候存在問題,因此出現(xiàn)了很多改進算法,比如,以云計算為基礎的k二means算法、以sparkR為基礎的并行化k二means算法等。對電力大數(shù)據(jù)用戶的用電行為進行分析的時候,使用云計算k二means算法有利于開發(fā)大規(guī)模的數(shù)據(jù)并對其進行處理,還能夠顯著提升處理能力,使數(shù)據(jù)處理更加高效。運用云計算,能夠在數(shù)據(jù)庫中存儲海量的電力大數(shù)據(jù),并且借助k二means計算模型高效分析數(shù)據(jù)。圖1為基于云計算k二means聚類算法的用戶用電行為分析框架圖。

目前,在電力大數(shù)據(jù)平臺中比較常用的電力大數(shù)據(jù)用戶用電行為分析方法是以云計算為基礎的k二means算法。以sparkR為基礎的并行化k二means算法能夠有效解決設備性能問題以及頻繁讀寫可能存在的錯誤情況,其將Hadoop的電力大數(shù)據(jù)群作為數(shù)據(jù)引擎,再運用k二means算法充分發(fā)揮了大數(shù)據(jù)R語言以及大數(shù)據(jù)內(nèi)存計算的特征,有效提升了數(shù)據(jù)分析能力。圖2為基于SparkR并行化k二means算法的用戶行為分析框架圖,可以將整個過程大體分為數(shù)據(jù)計算、清洗以及用戶用電行為的聚類分析。

和傳統(tǒng)的用戶用電行為分析相比較,以電力大數(shù)據(jù)為基礎的用戶用電行為分析的準確性更高,且能夠有效提升用戶用電設備的使用效率。圖3為兩種用戶用電行為分析方式的對比圖。

由圖3可知,以電力大數(shù)據(jù)為基礎的用戶用電行為分析的理論支持更加科學,可以更加準確地預測各種行為,能夠有效提升設備的使用效率,并且降低不必要的電力消耗。

3結(jié)語

總而言之,電力行業(yè)的數(shù)據(jù)價值高且數(shù)據(jù)量比較大,提高數(shù)據(jù)的利用率能夠有效提升電力企業(yè)的營利水平,無論將其應用于行業(yè)內(nèi)還是行業(yè)外,都會帶來新的發(fā)展機遇。與此同時,這在一定程度上挑戰(zhàn)了大數(shù)據(jù)的認知水平,如何有效處理這些數(shù)據(jù),并從中獲取更有價值的信息,最終將其轉(zhuǎn)化成優(yōu)化的服務決策以及管理模式是決定大數(shù)據(jù)價值能否得以體現(xiàn)的關(guān)鍵。