非結(jié)構(gòu)化數(shù)據(jù)的存儲挑戰(zhàn)怎樣可以得到有效的解決
存儲非結(jié)構(gòu)化數(shù)據(jù)是存儲系統(tǒng)的主要挑戰(zhàn)之一,大數(shù)據(jù)、人工智能、5G等技術(shù)的進步正在產(chǎn)生大量的必須進行管理、存儲和分析的數(shù)據(jù),這為存儲系統(tǒng)帶來了許多挑戰(zhàn)。
當然,處理非結(jié)構(gòu)化數(shù)據(jù)并非是一個“世紀難題”,越來越多的提供商正在興起,幫助企業(yè)滿足處理大量數(shù)據(jù)的需求。存儲技術(shù)也在不斷發(fā)展,有了正確的存儲系統(tǒng)和實踐方法,就可以有效地處理非結(jié)構(gòu)化數(shù)據(jù)。
下面,我們將對關(guān)于存儲非結(jié)構(gòu)化數(shù)據(jù)的五個常見問題進行解析。從分解這些問題所帶來的挑戰(zhàn),到哪種系統(tǒng)最適合存儲它,希望本文能夠?qū)ο鷮τ诖鎯Ψ墙Y(jié)構(gòu)化數(shù)據(jù)的困惑,并幫助您的組織最大限度地利用這些數(shù)據(jù)。
什么是非結(jié)構(gòu)化數(shù)據(jù)?
顧名思義,非結(jié)構(gòu)化數(shù)據(jù)不遵循傳統(tǒng)結(jié)構(gòu),比如金融系統(tǒng)和業(yè)務應用程序中的數(shù)據(jù)。雖然結(jié)構(gòu)化數(shù)據(jù)適合于數(shù)據(jù)庫等嚴格的格式,但非結(jié)構(gòu)化數(shù)據(jù)更自由。非結(jié)構(gòu)化數(shù)據(jù)包括圖像、文本文件、傳感器數(shù)據(jù)和電子郵件等等。
這些文件的非結(jié)構(gòu)化特性有其好處,比如允許分析團隊在不首先標準化數(shù)據(jù)的情況下處理數(shù)據(jù),這可能會帶來更全面的分析。機器學習和人工智能的進步正在使非結(jié)構(gòu)化數(shù)據(jù)的標記和分類變得更容易,這樣信息就更容易訪問,排序也不那么困難。
存儲非結(jié)構(gòu)化數(shù)據(jù)涉及的最大問題是什么?
“令人生畏”這個詞,也許可以用來描述大量的非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)構(gòu)成了今天產(chǎn)生的大部分數(shù)據(jù),而且數(shù)量很多。非結(jié)構(gòu)化數(shù)據(jù)存儲的三個最大障礙是容量、多樣性和價值。
因為非結(jié)構(gòu)化數(shù)據(jù)是由音頻、視頻、圖片甚至社交媒體數(shù)據(jù)等文件組成的,所以很容易看出為什么容量是個挑戰(zhàn)。幸運的是,在非結(jié)構(gòu)化數(shù)據(jù)存儲領(lǐng)域有很多供應商,包括Dell EMC、Pure Storage、Scality和Red Hat等等。涉及到大量的數(shù)據(jù)類型,如果處理不當,多樣性可能會帶來安全問題。由于存儲了如此多的數(shù)據(jù),數(shù)據(jù)的類型——包括個人身份信息、信用卡號碼和社會安全號碼——可能沒有被考慮在內(nèi)。
類似地,當處理這么多數(shù)據(jù)時,數(shù)據(jù)的值可能會在混亂中丟失。在非結(jié)構(gòu)化數(shù)據(jù)中可以找到價值,但是利用這些信息可能很困難。如NetApp這樣的供應商提供的產(chǎn)品可以幫助您有效地對數(shù)據(jù)進行排序,并注意其中包含的內(nèi)容。
什么系統(tǒng)最適合存儲非結(jié)構(gòu)化數(shù)據(jù)?
當涉及到非結(jié)構(gòu)化數(shù)據(jù)存儲時,NAS和對象存儲都有各自的優(yōu)點。NAS是一種傳統(tǒng)的、可靠的存儲系統(tǒng),它的層次結(jié)構(gòu)和有組織的格式使文件易于分類和排序。NAS速度快、用戶友好且得到廣泛支持。然而,NAS缺乏可伸縮性,至少與對象存儲相比是這樣。
對象存儲系統(tǒng)不使用嚴格的格式,而是使用元數(shù)據(jù)來描述數(shù)據(jù),并根據(jù)屬性(如名稱、創(chuàng)建日期和位置)對數(shù)據(jù)進行排序。對象存儲是高度可伸縮的,這使得增加容量變得很容易。然而,對象存儲系統(tǒng)更可能缺乏性能。雖然看起來對象存儲更有優(yōu)勢,但是這兩種存儲系統(tǒng)各有優(yōu)缺點。
閃存呢?
如果您希望提高存儲系統(tǒng)的性能,那么投資閃存來幫助處理非結(jié)構(gòu)化數(shù)據(jù)可能是值得的。閃存成本繼續(xù)下降,使其替代硬盤成為更多工作負載的可行選擇。由于對象存儲難以提高性能,使用混合或全閃存可以顯著提高速度。
隨著性能的提高,基于閃存的SSD消耗更少的電量,占用更少的空間。然而,盡管價格在下降,閃存仍然是一個昂貴的選擇。在將閃存添加到非結(jié)構(gòu)化數(shù)據(jù)存儲策略之前,請評估您的預算,并確保這是
來源:搜狐