重復數據刪除：不再游走在邊緣

    數據保護技術正在日新月異地不斷發展，其中一項令人振奮的技術就是“重復數據刪除”。 從“容量優化”，到“公共分流”以及“單一實例”，不同的廠商對此有著不同的稱呼和術語，但主旨都是清掃用戶存儲空間中大量重復的、冗余的數據。減少對存儲備份的空間需求，進而幫助用戶節約成本。
  
    重復數據刪除技術大約是在去年進入人們視線的，最初提供這項技術產品的廠商包括Asigra，Avamar，DataDamain，Diligent，以及OEM軟件廠商Rocksoft等，如今我們看到所有銷售數據保護產品的廠商們都開始涉獵這項技術。業內人士對重復數據刪除寄予了厚望，甚至預測重復數據刪除技術將遠遠超越CDP成為今年最熱門的新技術。
  
    使用重復數據刪除會有什么好處？
  
    重復數據刪除能幫助最終用戶節省在IT方面存儲空間的投入，不斷發展的重復數據刪除技術可以大大降低用戶對后端介質的需求，而不是以犧牲數據保護作為代價。它可以將備份數據的量減少20倍，如果我們用金錢來衡量的話，重復數據刪除可以將存儲的費用從每GB 30美元減少到1.5美元！這種強大的成本優勢理所當然在IT買家中造成轟動。
  
    不僅僅如此，最終用戶對重復數據刪除還抱有更多的期待，在今后的幾年時間里，重復刪除還將成為主存儲系統最小化數據冗余的一種選擇，以及不同廣域網服務的引擎，因為在流量較小的廣域網中復制操作更容易進行，因而重復數據刪除也顯得尤為重要。
  
    重復數據是如何刪除的？
  
    我們很難理解重復數據刪除的具體工作原理。對于用戶來說，與之相關并且容易混淆的概念包括全量備份和增量備份。顧名思義，全量備份是拷貝整個磁盤卷的內容，我們很容易想象系統經過多次全量備份后會產生多少的重復數據。增量備份是針對于上一次備份（無論是哪種備份）：完成上一次備份后，所有發生變化的文件。當然用戶往往會根據自身的情況設定備份策略，交叉使用多種備份模式。
  
    重復數據刪除要比增量備份走得更遠：增量備份將備份量減到最小，只復制了每次完全備份操作之后有變化的數據塊，而重復數據刪除只復制了那些變化后的不同的數據塊。理想情況是，重復數據刪除是在數據寫入到存儲系統之前完成的（例如Asigra和Avamar），或者是在數據寫入到存儲系統的過程之中進行的（例如Data Damain和Diligent），但是，如果你更加注重數據的保真度，也可以在數據寫入到存儲系統之后進行，這樣就可以避免意外刪除一些寶貴的唯一數據。
  
    重復數據刪除的過程就是從存儲數據中刪除相同的電子郵件信息或者文件。一些廠商會在備份軟件中集成重復數據刪除的功能，如RenewData的ActiveVault，在備份輸出時沒有必要執行額外的重復數據刪除。另外一些廠商則選擇將重復數據刪除刪除作為一個單獨的過程來執行，因為他們在自己的系統中沒有單一實例存儲模型。
  
    以電子郵件的應用為例，標準輸出恢復選項通常包括：
  
    全部恢復（相當于不執行重復數據刪除）
  
    本地電子郵件：電子郵件文件包括給目標用戶的所有信息，這其中包括了在所有位置的復制信息。
  
    本地用戶文件：用戶目錄里包含了所有目標用戶的文件，這其中包括了在所有位置的復制文件。
  
    單一實例目標用戶恢復（使用重復數據刪除）
  
    本地電子郵件：電子郵件文件包括一個實例，每一條信息在文件夾中都是以字母順序排列的，因此，如果信息1存在于兩個文件夾中，文件夾A和文件夾B，然后一次輸出，信息1將只存在于文件夾A中。
  
    本地用戶文件：用戶目錄只包含了一個每一個文件在所有位置中的實例。
  
    單一實例文件夾或路徑目標用戶恢復（使用重復數據刪除）
  
    本地電子郵件：電子郵件文件包括一個實例，每一條信息屬于任意文件夾。因此，如果信息1屬于兩個文件夾，文件夾A和文件夾B，那么一個實例中，信息1將分別包含在每個文件夾中。
  
    本地用戶文件：用戶目錄只包含了一個每一個文件在各自文件夾中的實例。
  
    全局單一實例恢復（全局使用重復數據刪除）
  
    本地電子郵件：只有一個實例，包含了所有目標用戶的每一條信息。
  
    本地用戶文件：只有一個實例，包含了所有目標用戶的每一個用戶文件。
  
    從邊緣到關鍵應用
  
    如今幾乎所有數據保護供應商都擁有重復數據刪除的相關產品，盡管重復數據刪除事實上砍掉了廠商VTL產品的部分容量銷售額，直接影響到廠商的最終收益，但是我們看到，這些數據保護供應商仍然不遺余力的在推廣重復數據刪除所能帶來的種種優勢。而重復數據刪除在成本上可能產生的巨大收益，讓更多的用戶無法抵御他的誘惑。
  
    一家總部設在明尼阿波利斯的律師事務所Winthrop & Weinstine就使用了重復數據刪除技術提供的新的備份模式。該事務所使用Data Domain提供的備份和恢復軟件，將數據復制到遠程站點。而這家公司的信息主管認為，重復數據刪除幫助他們減少了近20倍的備份存儲數據量。
  
    事實上，該企業原有的備份架構是穩定的，但問題在于備份系統中大量冗余的數據導致了龐大的數據量，把如此龐大的數據發送到遠程站點進行容災備份變得不再現實。為此該公司使用Data Domain的重復數據刪除功能，當數據量被壓縮了20倍左右之后，基于磁盤介質的備份模式不再昂貴得無法接受，而該事務所也得以擺脫了傳統的磁帶備份，有了全新的容災架構的選擇。我們可以看見，重復數據刪除不僅僅幫助這家事務所改善了災難恢復的性能，還節省了投入資金。也就是說，公司減少了對第三方備份磁帶的投入。
  
    另外一家位于紐約奧爾巴尼的醫院St.Peter則采用重復數據刪除來解決遠程辦公室的存儲問題。他們使用Avamar Technologies公司的Axion軟件，將遠程站點備份到位于紐約奧爾巴尼的主辦公區，同時還通過重復數據刪除備份工具，備份該醫院所有電腦終端和移動用戶的數據。
  
    整個2006年，業界對重復數據刪除技術的關注不斷升溫?，F在，重復數據刪除技術的應用已經有了指導性的方法，2007年，我們預測重復數據刪除將進一步進駐用戶系統。因為已經有相當一部分企業用戶部署實現了這一技術，重復數據刪除已經不再是一項邊緣技術，這些成功案例給更多的用戶以更大信心來使用。
  
    來自廠商的推動力也是幫助重復數據刪除進駐主流備份架構的重要因素。除了我們前面提到的廠商，其他提供重復數據刪除功能產品的廠商還包括Diligent Technologies，Exagrid System，FalconStor Software以及Sepaton。同時在市場上占像NetApp和Symantec這樣的大廠商也開始涉足這一領域，進一步證明重復數據刪除技術已經有了一席之地。但是不同的廠商定價也不盡相同。舉例來說，Avamar的軟件每TB賣大約9千美元，Data Domain的軟件和網關定價從1萬9千美元到10萬5千美元不等。
  
    薩班斯法案的推動力
  
    我們已經看到重復數據刪除在用戶系統中成功應用的多個案例，但是對于另外一部分公司來說，重復數據刪除不僅僅是一個熱門詞匯這么簡單。
  
    Vaalco Energy是一家休斯敦的石油天然氣開采公司，該公司對重復數據刪除的真正需求聚焦于去年困擾該公司的薩班斯法案的財務審計中。薩班斯法案要求上市公司必須保存相關電子郵件的副本作為存檔，并能在適當時候予以恢復查詢，為此，該公司不得不快速證明公司的備份和恢復過程是遵守法律法規的嚴格規定的。
  
    該公司最終采用了Asigra公司發布的Televaulting軟件，其中集成了重復數據刪除的功能。雖然Vaalco最初只把重復數據刪除技術應用在保存電子郵件方面，以滿足薩班斯法案的要求，但該公司很快就發現了這項技術更大的好處。重復刪除可以減少數據存儲量，因而更加適于在線傳輸到異地進行災難備份，從而減少了公司的后顧之憂。
  
    重復刪除技術在企業中的作用是避免了使用磁帶備份和異地備份，從而讓公司可以選擇高可用性的磁盤介質作為主要備份架構，因而徹底的擺脫磁帶備份所帶來的，很多公司對這項技術都十分感興趣。美國企業戰略集團的分析師表示：“如果你釋放出了更多的存儲空間，你可能會選擇將數據內嵌?！?BR>  
    部屬與應用密切相關
  
    盡管今天單位存儲空間的成本不斷走低，但企業需要存儲或者備份的數據量仍然在持續上漲，導致了企業在磁盤存儲空間方面無止境的成本投入?，F在，已經有相當的一部分用戶已經部署了重復數據刪除，那么企業真正在部署重復數據刪除的時候，需要考慮哪些問題呢。
  
    綜合一些已經部署了重復數據刪除的用戶以及一些專家的意見后我們建議，在決定將這項存儲管理技術應用在你的企業之前，首先需要問問你自己：
  
    使用重復刪除技術是否刻不容緩？還是可以晚一點再來實施？公司執行的是磁盤到磁盤的備份策略，還是使用其他磁帶介質來做增量備份？是否有后端容量約束？是否已經沒有足夠的磁盤空間來存儲所有的數據了？
  
    其次需要詳細咨詢你的廠商：
  
    重復數據刪除發生在哪里？是在客戶端傳送數據之前？是在磁盤設備傳送數據之后？還是在數據寫入虛擬磁帶柜的過程之中？解決方案是否能夠處理客戶所有的備份流？系統是否支持類似于IETF的會話初始化協議（Session Initiation Protocol）的標準？如果重復數據刪除在客戶端進行，是否能快速生成可攝取的數據來滿足高處理能力的系統要求？使用何種方法來確定復制的信息，如何確保沒有錯誤地為數據分類？
  
    企業中的重復數據多占用了10到20倍的存儲空間，這種情況將最終會被消滅，重復數據刪除將幫助用戶釋放出更多的存儲空間。
  
    從這個方面來說，重復數據刪除的前景似乎可以得到保證，因為存儲空間總是會需要資金投入的。企業財務人員和決策者卡住了IT經理的脖子，一方面他們不愿意丟掉任何信息，因為害怕卷入官司或審計之中，另外一方面，又需要時刻面對因數據量飛速膨脹而導致在存儲設備上的投入不斷增長，減少存儲數據的容量就成為為數不多的選擇了。