存儲(chǔ)：壓垮企業(yè)的最后一顆稻草
[導(dǎo)讀]身處金融危機(jī)的危局，企業(yè)可謂是四面楚歌，危機(jī)重重，但是來自爆炸性數(shù)據(jù)增長(zhǎng)的壓力并不會(huì)因此有所減輕。據(jù)IDC統(tǒng)計(jì)，用戶每年都會(huì)有54%左右的數(shù)據(jù)增長(zhǎng)，這等于是18個(gè)月用戶的數(shù)據(jù)就會(huì)翻一番。長(zhǎng)此以往，用戶的存儲(chǔ)系
身處金融危機(jī)的危局，企業(yè)可謂是四面楚歌，危機(jī)重重，但是來自爆炸性數(shù)據(jù)增長(zhǎng)的壓力并不會(huì)因此有所減輕。據(jù)IDC統(tǒng)計(jì)，用戶每年都會(huì)有54%左右的數(shù)據(jù)增長(zhǎng)，這等于是18個(gè)月用戶的數(shù)據(jù)就會(huì)翻一番。長(zhǎng)此以往，用戶的AN onmouseover=_tipon(this) onmouseout=_tipoff()>存儲(chǔ) AN>系統(tǒng)很快就會(huì)不堪負(fù)荷，形式非常嚴(yán)峻。
對(duì)于企業(yè)而言，另外一個(gè)需要引起注意的是：今年7月1日，中國(guó)將頒布《企業(yè)內(nèi)部控制基本規(guī)范》，相當(dāng)于美國(guó)的薩班斯法案，對(duì)于企業(yè)有關(guān)商業(yè)數(shù)據(jù)舉證，從法律上進(jìn)行了規(guī)定，這對(duì)于企業(yè)的數(shù)據(jù)保護(hù)和存儲(chǔ)都提出了更高的要求。以郵件為例，薩班斯法案中明確規(guī)定，企業(yè)所有電子郵件以及其他電子記錄，必須保留5年或7年以上，同時(shí)要求在規(guī)定時(shí)間內(nèi)完成高速檢索。如果無法提供所需的電子郵件記錄——或由競(jìng)爭(zhēng)對(duì)手來提供這些記錄——會(huì)帶來嚴(yán)重處罰。中國(guó)將要實(shí)施的規(guī)范，是否會(huì)有這樣嚴(yán)厲，尚不得而知。但是強(qiáng)制加強(qiáng)有關(guān)數(shù)據(jù)的保護(hù)是一個(gè)趨勢(shì)，需要企業(yè)認(rèn)真加以重視。
應(yīng)對(duì)從數(shù)據(jù)分析入手
面臨數(shù)據(jù)爆炸性的增長(zhǎng)，單純擴(kuò)容存儲(chǔ)肯定不是一個(gè)辦法，僅從成本上就走不通。那么，計(jì)從何處?前不久訪華的IBM ProtecTIER全球銷售總監(jiān)Mike Doran，IBM ProtecTIER解決方案亞太區(qū)域銷售總經(jīng)理Justin Hildebrandt在接受本報(bào)記者獨(dú)家專訪時(shí)，帶來了一些解決問題的思路。
Doran先生指出，根據(jù)IDC的統(tǒng)計(jì)，當(dāng)今世界結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)已達(dá)到近兩倍(63%)，也就是說，企業(yè)大量的數(shù)據(jù)增長(zhǎng)壓力來自非結(jié)構(gòu)化數(shù)據(jù)，最明顯的例子是E-mail，收到別人發(fā)來的一封電子郵件，隨即轉(zhuǎn)發(fā)，如此就形成了大量的重復(fù)數(shù)據(jù)，如果能夠從技術(shù)上，對(duì)此加以鑒別，就可以有效減輕來自數(shù)據(jù)爆炸性成長(zhǎng)的壓力。
Hildebrandt指出，最有效的辦法就是采用重復(fù)數(shù)據(jù)刪除技術(shù)。據(jù)他介紹，目前在市場(chǎng)上有兩種重復(fù)數(shù)據(jù)刪除技術(shù)，一種是Post Processing(后處理)，另一種是Inline Processing(在線處理)。其中，后處理是把完整的數(shù)據(jù)1：1備份到存儲(chǔ)設(shè)備上，等所有數(shù)據(jù)全部備份成功，在一個(gè)固定時(shí)間，進(jìn)行批處理壓縮，實(shí)現(xiàn)重復(fù)數(shù)據(jù)的刪除;其弊端顯而易見，當(dāng)數(shù)據(jù)量過大后，備份窗口過長(zhǎng)將導(dǎo)致用戶不堪重負(fù);此外，由于承擔(dān)備份存儲(chǔ)的虛擬帶庫不中斷運(yùn)轉(zhuǎn)，很難完成把虛擬帶庫的數(shù)據(jù)離線克隆到磁帶上。
在線處理能夠解決后處理面臨的問題，但是，對(duì)于用戶而言，有些問題也需要加以注意。首先，數(shù)據(jù)的恢復(fù)速度問題，恢復(fù)速度如果太慢，那么采用重復(fù)數(shù)據(jù)刪除技術(shù)將得不償失。此外，有些廠商的系統(tǒng)，其重復(fù)數(shù)據(jù)刪除技術(shù)性能有限，無法處理超過100TB的數(shù)據(jù)。這些問題都會(huì)對(duì)用戶使用造成障礙。
Diligent的選擇
Diligent是全球著名的從事在線處理重復(fù)數(shù)據(jù)刪除技術(shù)的公司，去年IBM收購(gòu)了Diligent之后， 由Doran來出任其全球業(yè)務(wù)總監(jiān)，負(fù)責(zé)美國(guó)、歐洲、以及大中華的市場(chǎng)。
IBM收購(gòu)Diligent之后，針對(duì)市場(chǎng)需求發(fā)布了IBM System Storage TS7650G ProtecTIER新產(chǎn)品。作為一種在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品解決方案，它通過一個(gè)ProtecTIER服務(wù)器，對(duì)虛擬磁帶庫(VTL)提供支持，其中，ProtecTIER提供HyperFactor的在線處理方式的重復(fù)數(shù)據(jù)刪除技術(shù)，它可以提供的壓縮比為25：1，在一些特定的情況下，可以達(dá)到30：1。
據(jù)Hildebrandt介紹，較之市場(chǎng)上其他的在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品，Diligent有兩大獨(dú)創(chuàng)的技術(shù)：緩存駐留索引和專利精簡(jiǎn)算法。其中，緩存駐留索引，使得其索引比可以達(dá)到250000：1，它的價(jià)值在于可以確保系統(tǒng)的性能。一方面它可以確保ProtecTIER備份服務(wù)器不成為備份的瓶頸，另外一方面它對(duì)于備份數(shù)據(jù)恢復(fù)的性能也直觀重要。此外，由于采用緩存駐留索引的技術(shù)，系統(tǒng)就可以極快的速度計(jì)算索引、比較索引，當(dāng)比較結(jié)果相同時(shí)，會(huì)再度進(jìn)行二進(jìn)制比較，確保數(shù)據(jù)一致性。其專利的精簡(jiǎn)算法，可以避免著名的哈希算法(Hashing Algorithms)的不足。
所謂哈希算法，是通過復(fù)雜的哈希算法，計(jì)算出一個(gè)8K的索引值，再通過該索引值進(jìn)行比較，來確定數(shù)據(jù)是否為重復(fù)數(shù)據(jù)。但是哈希算法畢竟是一種算法，存在所謂的哈希沖突，也就說有可能兩個(gè)數(shù)據(jù)雖然完全不同，但計(jì)算出的哈希值是一模一樣的。如果重復(fù)數(shù)據(jù)刪除技術(shù)據(jù)此進(jìn)行數(shù)據(jù)刪除，就導(dǎo)致數(shù)據(jù)不一致性，這是一場(chǎng)災(zāi)難。Diligent專利精簡(jiǎn)算法，當(dāng)有新的備份數(shù)據(jù)讀入時(shí)，在內(nèi)存里先把特征值進(jìn)行定位，然后跟內(nèi)存做比較，如果一旦有相似的特征值，再去從磁盤把相關(guān)的值讀出來，真正做一次二進(jìn)制比較，確保數(shù)據(jù)不會(huì)有誤刪除的現(xiàn)象。通過這種計(jì)算差異以后，再把新的數(shù)據(jù)，通過2：1的LZH標(biāo)準(zhǔn)壓縮格式存。一方面性能更高，同時(shí)可靠性比哈希算法更強(qiáng)，不會(huì)出現(xiàn)任何沖突。
尚需努力
針對(duì)國(guó)內(nèi)市場(chǎng)，Doran指出，數(shù)據(jù)增長(zhǎng)主要分為兩部分：一是on site，一是off site。所謂on site是每天在線處理的生產(chǎn)數(shù)據(jù)，而off site是指?jìng)浞輸?shù)據(jù)。在美國(guó)，這兩部分?jǐn)?shù)據(jù)增長(zhǎng)是相差無幾的;在中國(guó)，比較偏重on site。這說明中國(guó)的數(shù)據(jù)保護(hù)做得不夠好。他表示，隨著有關(guān)法律、法規(guī)的實(shí)施，中國(guó)對(duì)于數(shù)據(jù)備份的需求，將會(huì)呈現(xiàn)快速成長(zhǎng)，而重復(fù)數(shù)據(jù)刪除技術(shù)，將可以有效幫助用戶減緩數(shù)據(jù)存儲(chǔ)的壓力。
針對(duì)主存儲(chǔ)系統(tǒng)，也存在著一定的重復(fù)數(shù)據(jù)，對(duì)此，Doran表示，IBM也對(duì)主存儲(chǔ)的重復(fù)數(shù)據(jù)刪除密切加以注釋，將視用戶的需求，適時(shí)推出有關(guān)產(chǎn)品。但是現(xiàn)在的重復(fù)數(shù)據(jù)刪除的重點(diǎn)還主要集中在數(shù)據(jù)備份領(lǐng)域。在這個(gè)領(lǐng)域，Diligent ProtecTIER為用戶提供了選擇。
對(duì)于企業(yè)而言，另外一個(gè)需要引起注意的是：今年7月1日，中國(guó)將頒布《企業(yè)內(nèi)部控制基本規(guī)范》，相當(dāng)于美國(guó)的薩班斯法案，對(duì)于企業(yè)有關(guān)商業(yè)數(shù)據(jù)舉證，從法律上進(jìn)行了規(guī)定，這對(duì)于企業(yè)的數(shù)據(jù)保護(hù)和存儲(chǔ)都提出了更高的要求。以郵件為例，薩班斯法案中明確規(guī)定，企業(yè)所有電子郵件以及其他電子記錄，必須保留5年或7年以上，同時(shí)要求在規(guī)定時(shí)間內(nèi)完成高速檢索。如果無法提供所需的電子郵件記錄——或由競(jìng)爭(zhēng)對(duì)手來提供這些記錄——會(huì)帶來嚴(yán)重處罰。中國(guó)將要實(shí)施的規(guī)范，是否會(huì)有這樣嚴(yán)厲，尚不得而知。但是強(qiáng)制加強(qiáng)有關(guān)數(shù)據(jù)的保護(hù)是一個(gè)趨勢(shì)，需要企業(yè)認(rèn)真加以重視。
應(yīng)對(duì)從數(shù)據(jù)分析入手
面臨數(shù)據(jù)爆炸性的增長(zhǎng)，單純擴(kuò)容存儲(chǔ)肯定不是一個(gè)辦法，僅從成本上就走不通。那么，計(jì)從何處?前不久訪華的IBM ProtecTIER全球銷售總監(jiān)Mike Doran，IBM ProtecTIER解決方案亞太區(qū)域銷售總經(jīng)理Justin Hildebrandt在接受本報(bào)記者獨(dú)家專訪時(shí)，帶來了一些解決問題的思路。
Doran先生指出，根據(jù)IDC的統(tǒng)計(jì)，當(dāng)今世界結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)率大概是32%，而非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)已達(dá)到近兩倍(63%)，也就是說，企業(yè)大量的數(shù)據(jù)增長(zhǎng)壓力來自非結(jié)構(gòu)化數(shù)據(jù)，最明顯的例子是E-mail，收到別人發(fā)來的一封電子郵件，隨即轉(zhuǎn)發(fā)，如此就形成了大量的重復(fù)數(shù)據(jù)，如果能夠從技術(shù)上，對(duì)此加以鑒別，就可以有效減輕來自數(shù)據(jù)爆炸性成長(zhǎng)的壓力。
Hildebrandt指出，最有效的辦法就是采用重復(fù)數(shù)據(jù)刪除技術(shù)。據(jù)他介紹，目前在市場(chǎng)上有兩種重復(fù)數(shù)據(jù)刪除技術(shù)，一種是Post Processing(后處理)，另一種是Inline Processing(在線處理)。其中，后處理是把完整的數(shù)據(jù)1：1備份到存儲(chǔ)設(shè)備上，等所有數(shù)據(jù)全部備份成功，在一個(gè)固定時(shí)間，進(jìn)行批處理壓縮，實(shí)現(xiàn)重復(fù)數(shù)據(jù)的刪除;其弊端顯而易見，當(dāng)數(shù)據(jù)量過大后，備份窗口過長(zhǎng)將導(dǎo)致用戶不堪重負(fù);此外，由于承擔(dān)備份存儲(chǔ)的虛擬帶庫不中斷運(yùn)轉(zhuǎn)，很難完成把虛擬帶庫的數(shù)據(jù)離線克隆到磁帶上。
在線處理能夠解決后處理面臨的問題，但是，對(duì)于用戶而言，有些問題也需要加以注意。首先，數(shù)據(jù)的恢復(fù)速度問題，恢復(fù)速度如果太慢，那么采用重復(fù)數(shù)據(jù)刪除技術(shù)將得不償失。此外，有些廠商的系統(tǒng)，其重復(fù)數(shù)據(jù)刪除技術(shù)性能有限，無法處理超過100TB的數(shù)據(jù)。這些問題都會(huì)對(duì)用戶使用造成障礙。
Diligent的選擇
Diligent是全球著名的從事在線處理重復(fù)數(shù)據(jù)刪除技術(shù)的公司，去年IBM收購(gòu)了Diligent之后， 由Doran來出任其全球業(yè)務(wù)總監(jiān)，負(fù)責(zé)美國(guó)、歐洲、以及大中華的市場(chǎng)。
IBM收購(gòu)Diligent之后，針對(duì)市場(chǎng)需求發(fā)布了IBM System Storage TS7650G ProtecTIER新產(chǎn)品。作為一種在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品解決方案，它通過一個(gè)ProtecTIER服務(wù)器，對(duì)虛擬磁帶庫(VTL)提供支持，其中，ProtecTIER提供HyperFactor的在線處理方式的重復(fù)數(shù)據(jù)刪除技術(shù)，它可以提供的壓縮比為25：1，在一些特定的情況下，可以達(dá)到30：1。
據(jù)Hildebrandt介紹，較之市場(chǎng)上其他的在線處理重復(fù)數(shù)據(jù)刪除技術(shù)產(chǎn)品，Diligent有兩大獨(dú)創(chuàng)的技術(shù)：緩存駐留索引和專利精簡(jiǎn)算法。其中，緩存駐留索引，使得其索引比可以達(dá)到250000：1，它的價(jià)值在于可以確保系統(tǒng)的性能。一方面它可以確保ProtecTIER備份服務(wù)器不成為備份的瓶頸，另外一方面它對(duì)于備份數(shù)據(jù)恢復(fù)的性能也直觀重要。此外，由于采用緩存駐留索引的技術(shù)，系統(tǒng)就可以極快的速度計(jì)算索引、比較索引，當(dāng)比較結(jié)果相同時(shí)，會(huì)再度進(jìn)行二進(jìn)制比較，確保數(shù)據(jù)一致性。其專利的精簡(jiǎn)算法，可以避免著名的哈希算法(Hashing Algorithms)的不足。
所謂哈希算法，是通過復(fù)雜的哈希算法，計(jì)算出一個(gè)8K的索引值，再通過該索引值進(jìn)行比較，來確定數(shù)據(jù)是否為重復(fù)數(shù)據(jù)。但是哈希算法畢竟是一種算法，存在所謂的哈希沖突，也就說有可能兩個(gè)數(shù)據(jù)雖然完全不同，但計(jì)算出的哈希值是一模一樣的。如果重復(fù)數(shù)據(jù)刪除技術(shù)據(jù)此進(jìn)行數(shù)據(jù)刪除，就導(dǎo)致數(shù)據(jù)不一致性，這是一場(chǎng)災(zāi)難。Diligent專利精簡(jiǎn)算法，當(dāng)有新的備份數(shù)據(jù)讀入時(shí)，在內(nèi)存里先把特征值進(jìn)行定位，然后跟內(nèi)存做比較，如果一旦有相似的特征值，再去從磁盤把相關(guān)的值讀出來，真正做一次二進(jìn)制比較，確保數(shù)據(jù)不會(huì)有誤刪除的現(xiàn)象。通過這種計(jì)算差異以后，再把新的數(shù)據(jù)，通過2：1的LZH標(biāo)準(zhǔn)壓縮格式存。一方面性能更高，同時(shí)可靠性比哈希算法更強(qiáng)，不會(huì)出現(xiàn)任何沖突。
尚需努力
針對(duì)國(guó)內(nèi)市場(chǎng)，Doran指出，數(shù)據(jù)增長(zhǎng)主要分為兩部分：一是on site，一是off site。所謂on site是每天在線處理的生產(chǎn)數(shù)據(jù)，而off site是指?jìng)浞輸?shù)據(jù)。在美國(guó)，這兩部分?jǐn)?shù)據(jù)增長(zhǎng)是相差無幾的;在中國(guó)，比較偏重on site。這說明中國(guó)的數(shù)據(jù)保護(hù)做得不夠好。他表示，隨著有關(guān)法律、法規(guī)的實(shí)施，中國(guó)對(duì)于數(shù)據(jù)備份的需求，將會(huì)呈現(xiàn)快速成長(zhǎng)，而重復(fù)數(shù)據(jù)刪除技術(shù)，將可以有效幫助用戶減緩數(shù)據(jù)存儲(chǔ)的壓力。
針對(duì)主存儲(chǔ)系統(tǒng)，也存在著一定的重復(fù)數(shù)據(jù)，對(duì)此，Doran表示，IBM也對(duì)主存儲(chǔ)的重復(fù)數(shù)據(jù)刪除密切加以注釋，將視用戶的需求，適時(shí)推出有關(guān)產(chǎn)品。但是現(xiàn)在的重復(fù)數(shù)據(jù)刪除的重點(diǎn)還主要集中在數(shù)據(jù)備份領(lǐng)域。在這個(gè)領(lǐng)域，Diligent ProtecTIER為用戶提供了選擇。
下載文檔
