[導讀]身處金融危機的危局，企業(yè)可謂是四面楚歌，危機重重，但是來自爆炸性數據增長的壓力并不會因此有所減輕。據IDC統(tǒng)計，用戶每年都會有54%左右的數據增長，這等于是18個月用戶的數據就會翻一番。長此以往，用戶的存儲系
身處金融危機的危局，企業(yè)可謂是四面楚歌，危機重重，但是來自爆炸性數據增長的壓力并不會因此有所減輕。據IDC統(tǒng)計，用戶每年都會有54%左右的數據增長，這等于是18個月用戶的數據就會翻一番。長此以往，用戶的AN onmouseover=_tipon(this) onmouseout=_tipoff()>存儲 AN>系統(tǒng)很快就會不堪負荷，形式非常嚴峻。
對于企業(yè)而言，另外一個需要引起注意的是：今年7月1日，中國將頒布《企業(yè)內部控制基本規(guī)范》，相當于美國的薩班斯法案，對于企業(yè)有關商業(yè)數據舉證，從法律上進行了規(guī)定，這對于企業(yè)的數據保護和存儲都提出了更高的要求。以郵件為例，薩班斯法案中明確規(guī)定，企業(yè)所有電子郵件以及其他電子記錄，必須保留5年或7年以上，同時要求在規(guī)定時間內完成高速檢索。如果無法提供所需的電子郵件記錄——或由競爭對手來提供這些記錄——會帶來嚴重處罰。中國將要實施的規(guī)范，是否會有這樣嚴厲，尚不得而知。但是強制加強有關數據的保護是一個趨勢，需要企業(yè)認真加以重視。
應對從數據分析入手
面臨數據爆炸性的增長，單純擴容存儲肯定不是一個辦法，僅從成本上就走不通。那么，計從何處?前不久訪華的IBM ProtecTIER全球銷售總監(jiān)Mike Doran，IBM ProtecTIER解決方案亞太區(qū)域銷售總經理Justin Hildebrandt在接受本報記者獨家專訪時，帶來了一些解決問題的思路。
Doran先生指出，根據IDC的統(tǒng)計，當今世界結構化數據增長率大概是32%，而非結構化數據增長已達到近兩倍(63%)，也就是說，企業(yè)大量的數據增長壓力來自非結構化數據，最明顯的例子是E-mail，收到別人發(fā)來的一封電子郵件，隨即轉發(fā)，如此就形成了大量的重復數據，如果能夠從技術上，對此加以鑒別，就可以有效減輕來自數據爆炸性成長的壓力。
Hildebrandt指出，最有效的辦法就是采用重復數據刪除技術。據他介紹，目前在市場上有兩種重復數據刪除技術，一種是Post Processing(后處理)，另一種是Inline Processing(在線處理)。其中，后處理是把完整的數據1：1備份到存儲設備上，等所有數據全部備份成功，在一個固定時間，進行批處理壓縮，實現(xiàn)重復數據的刪除;其弊端顯而易見，當數據量過大后，備份窗口過長將導致用戶不堪重負;此外，由于承擔備份存儲的虛擬帶庫不中斷運轉，很難完成把虛擬帶庫的數據離線克隆到磁帶上。
在線處理能夠解決后處理面臨的問題，但是，對于用戶而言，有些問題也需要加以注意。首先，數據的恢復速度問題，恢復速度如果太慢，那么采用重復數據刪除技術將得不償失。此外，有些廠商的系統(tǒng)，其重復數據刪除技術性能有限，無法處理超過100TB的數據。這些問題都會對用戶使用造成障礙。
Diligent的選擇
Diligent是全球著名的從事在線處理重復數據刪除技術的公司，去年IBM收購了Diligent之后， 由Doran來出任其全球業(yè)務總監(jiān)，負責美國、歐洲、以及大中華的市場。
IBM收購Diligent之后，針對市場需求發(fā)布了IBM System Storage TS7650G ProtecTIER新產品。作為一種在線處理重復數據刪除技術產品解決方案，它通過一個ProtecTIER服務器，對虛擬磁帶庫(VTL)提供支持，其中，ProtecTIER提供HyperFactor的在線處理方式的重復數據刪除技術，它可以提供的壓縮比為25：1，在一些特定的情況下，可以達到30：1。
據Hildebrandt介紹，較之市場上其他的在線處理重復數據刪除技術產品，Diligent有兩大獨創(chuàng)的技術：緩存駐留索引和專利精簡算法。其中，緩存駐留索引，使得其索引比可以達到250000：1，它的價值在于可以確保系統(tǒng)的性能。一方面它可以確保ProtecTIER備份服務器不成為備份的瓶頸，另外一方面它對于備份數據恢復的性能也直觀重要。此外，由于采用緩存駐留索引的技術，系統(tǒng)就可以極快的速度計算索引、比較索引，當比較結果相同時，會再度進行二進制比較，確保數據一致性。其專利的精簡算法，可以避免著名的哈希算法(Hashing Algorithms)的不足。
所謂哈希算法，是通過復雜的哈希算法，計算出一個8K的索引值，再通過該索引值進行比較，來確定數據是否為重復數據。但是哈希算法畢竟是一種算法，存在所謂的哈希沖突，也就說有可能兩個數據雖然完全不同，但計算出的哈希值是一模一樣的。如果重復數據刪除技術據此進行數據刪除，就導致數據不一致性，這是一場災難。Diligent專利精簡算法，當有新的備份數據讀入時，在內存里先把特征值進行定位，然后跟內存做比較，如果一旦有相似的特征值，再去從磁盤把相關的值讀出來，真正做一次二進制比較，確保數據不會有誤刪除的現(xiàn)象。通過這種計算差異以后，再把新的數據，通過2：1的LZH標準壓縮格式存。一方面性能更高，同時可靠性比哈希算法更強，不會出現(xiàn)任何沖突。
尚需努力
針對國內市場，Doran指出，數據增長主要分為兩部分：一是on site，一是off site。所謂on site是每天在線處理的生產數據，而off site是指備份數據。在美國，這兩部分數據增長是相差無幾的;在中國，比較偏重on site。這說明中國的數據保護做得不夠好。他表示，隨著有關法律、法規(guī)的實施，中國對于數據備份的需求，將會呈現(xiàn)快速成長，而重復數據刪除技術，將可以有效幫助用戶減緩數據存儲的壓力。
針對主存儲系統(tǒng)，也存在著一定的重復數據，對此，Doran表示，IBM也對主存儲的重復數據刪除密切加以注釋，將視用戶的需求，適時推出有關產品。但是現(xiàn)在的重復數據刪除的重點還主要集中在數據備份領域。在這個領域，Diligent ProtecTIER為用戶提供了選擇。
對于企業(yè)而言，另外一個需要引起注意的是：今年7月1日，中國將頒布《企業(yè)內部控制基本規(guī)范》，相當于美國的薩班斯法案，對于企業(yè)有關商業(yè)數據舉證，從法律上進行了規(guī)定，這對于企業(yè)的數據保護和存儲都提出了更高的要求。以郵件為例，薩班斯法案中明確規(guī)定，企業(yè)所有電子郵件以及其他電子記錄，必須保留5年或7年以上，同時要求在規(guī)定時間內完成高速檢索。如果無法提供所需的電子郵件記錄——或由競爭對手來提供這些記錄——會帶來嚴重處罰。中國將要實施的規(guī)范，是否會有這樣嚴厲，尚不得而知。但是強制加強有關數據的保護是一個趨勢，需要企業(yè)認真加以重視。
應對從數據分析入手
面臨數據爆炸性的增長，單純擴容存儲肯定不是一個辦法，僅從成本上就走不通。那么，計從何處?前不久訪華的IBM ProtecTIER全球銷售總監(jiān)Mike Doran，IBM ProtecTIER解決方案亞太區(qū)域銷售總經理Justin Hildebrandt在接受本報記者獨家專訪時，帶來了一些解決問題的思路。
Doran先生指出，根據IDC的統(tǒng)計，當今世界結構化數據增長率大概是32%，而非結構化數據增長已達到近兩倍(63%)，也就是說，企業(yè)大量的數據增長壓力來自非結構化數據，最明顯的例子是E-mail，收到別人發(fā)來的一封電子郵件，隨即轉發(fā)，如此就形成了大量的重復數據，如果能夠從技術上，對此加以鑒別，就可以有效減輕來自數據爆炸性成長的壓力。
Hildebrandt指出，最有效的辦法就是采用重復數據刪除技術。據他介紹，目前在市場上有兩種重復數據刪除技術，一種是Post Processing(后處理)，另一種是Inline Processing(在線處理)。其中，后處理是把完整的數據1：1備份到存儲設備上，等所有數據全部備份成功，在一個固定時間，進行批處理壓縮，實現(xiàn)重復數據的刪除;其弊端顯而易見，當數據量過大后，備份窗口過長將導致用戶不堪重負;此外，由于承擔備份存儲的虛擬帶庫不中斷運轉，很難完成把虛擬帶庫的數據離線克隆到磁帶上。
在線處理能夠解決后處理面臨的問題，但是，對于用戶而言，有些問題也需要加以注意。首先，數據的恢復速度問題，恢復速度如果太慢，那么采用重復數據刪除技術將得不償失。此外，有些廠商的系統(tǒng)，其重復數據刪除技術性能有限，無法處理超過100TB的數據。這些問題都會對用戶使用造成障礙。
Diligent的選擇
Diligent是全球著名的從事在線處理重復數據刪除技術的公司，去年IBM收購了Diligent之后， 由Doran來出任其全球業(yè)務總監(jiān)，負責美國、歐洲、以及大中華的市場。
IBM收購Diligent之后，針對市場需求發(fā)布了IBM System Storage TS7650G ProtecTIER新產品。作為一種在線處理重復數據刪除技術產品解決方案，它通過一個ProtecTIER服務器，對虛擬磁帶庫(VTL)提供支持，其中，ProtecTIER提供HyperFactor的在線處理方式的重復數據刪除技術，它可以提供的壓縮比為25：1，在一些特定的情況下，可以達到30：1。
據Hildebrandt介紹，較之市場上其他的在線處理重復數據刪除技術產品，Diligent有兩大獨創(chuàng)的技術：緩存駐留索引和專利精簡算法。其中，緩存駐留索引，使得其索引比可以達到250000：1，它的價值在于可以確保系統(tǒng)的性能。一方面它可以確保ProtecTIER備份服務器不成為備份的瓶頸，另外一方面它對于備份數據恢復的性能也直觀重要。此外，由于采用緩存駐留索引的技術，系統(tǒng)就可以極快的速度計算索引、比較索引，當比較結果相同時，會再度進行二進制比較，確保數據一致性。其專利的精簡算法，可以避免著名的哈希算法(Hashing Algorithms)的不足。
所謂哈希算法，是通過復雜的哈希算法，計算出一個8K的索引值，再通過該索引值進行比較，來確定數據是否為重復數據。但是哈希算法畢竟是一種算法，存在所謂的哈希沖突，也就說有可能兩個數據雖然完全不同，但計算出的哈希值是一模一樣的。如果重復數據刪除技術據此進行數據刪除，就導致數據不一致性，這是一場災難。Diligent專利精簡算法，當有新的備份數據讀入時，在內存里先把特征值進行定位，然后跟內存做比較，如果一旦有相似的特征值，再去從磁盤把相關的值讀出來，真正做一次二進制比較，確保數據不會有誤刪除的現(xiàn)象。通過這種計算差異以后，再把新的數據，通過2：1的LZH標準壓縮格式存。一方面性能更高，同時可靠性比哈希算法更強，不會出現(xiàn)任何沖突。
尚需努力
針對國內市場，Doran指出，數據增長主要分為兩部分：一是on site，一是off site。所謂on site是每天在線處理的生產數據，而off site是指備份數據。在美國，這兩部分數據增長是相差無幾的;在中國，比較偏重on site。這說明中國的數據保護做得不夠好。他表示，隨著有關法律、法規(guī)的實施，中國對于數據備份的需求，將會呈現(xiàn)快速成長，而重復數據刪除技術，將可以有效幫助用戶減緩數據存儲的壓力。
針對主存儲系統(tǒng)，也存在著一定的重復數據，對此，Doran表示，IBM也對主存儲的重復數據刪除密切加以注釋，將視用戶的需求，適時推出有關產品。但是現(xiàn)在的重復數據刪除的重點還主要集中在數據備份領域。在這個領域，Diligent ProtecTIER為用戶提供了選擇。
下載文檔
