數據來源: 漢帆客戶使用第三方ISV存儲軟件實測所得

這里將特定測試平臺下未采用壓縮功能時VTL系統的備份速度歸一化為100%，在同樣的硬件配置下，增加軟件壓縮功能之后，整個系統的備份速度下降到原來的54%，也即備份速度減慢了46%。 如果采用Hifn公司DR1000硬件壓縮加速卡，將壓縮部分的運算轉交專門硬件壓縮加速卡，整個系統的備份速度迅速恢復到未采用壓縮時的97%，相對于軟件壓縮，采用硬件壓縮加速卡之后存儲系統備份的速度提升了80%。相對于未使用壓縮功能，系統備份的性能降低僅有3%，對VTL系統的備份速度影響甚微。同時經過壓縮之后，存儲和傳輸中的數據會顯著縮小，存儲介質和網絡帶寬的利用率因此提高。數據的減少不僅使存儲的效率更高、成本更節約，帶寬的利用也降到最低，使更經濟、更快速的實現備份數據的遠程復制成為可能。

重復數據刪除

數據壓縮的對象是備份數據流，也就是在備份數據的字節流中查找重復出現的子串，重復子串出現后，僅記錄原子串的位置和重復的長度。而重復數據刪除的對象是文件或數據塊，判斷新的備份文件或數據塊是否已經出現，如果已經備份過，則僅記錄原文件或數據塊存儲的位置和大小。
早期受限于VTL系統主機CPU的處理能力，重復數據刪除采用的是基于文件的形式，主要應用于電子郵件管理及歸檔系統。隨著處理器性能的提升，以及類似于Hifn DR250/DR255這樣的專門加速卡的出現，重復數據刪除的對象逐漸轉為數據塊。

對于塊級重復數據刪除，當讀取數據時，De-duplication引擎利用Hash算法識別唯一的數據塊，系統將保留Hash索引，每個Hash編碼指向一個不同的數據塊。當新的備份發生時，會自動的與現有的塊進行比對，如果索引中已經有相同的塊，數據將會被刪除或被指向塊的指針所代替；反之，則會被保存并在索引中為其創建一個新的Hash編碼。

衡量重復數據刪除功能的優劣主要是重復數據刪除比率，該參數與所用數據塊的大小也即顆粒精細程度相關。理論上講，更細致的顆粒會帶來更高的重復數據刪除比率。然而，更細致的顆粒意味著大量的Hash表，從而對De-duplication引擎的性能還有恢復時重組模塊造成繁重的負擔，進而導致更糟糕的重復數據刪除性能和更高的CPU消耗。根據用戶業務數據的不同，需要選用不同的顆粒尺寸，業內數據塊的平均大小在4KB-24KB之間。在這種顆粒范圍內，比較合理重復數據刪除比率在10～20：1之間，實際應用時的重復數據刪除比率隨不同的業務數據會有所出入。

由于數據壓縮和重復數據刪除操作的對象屬于備份數據流的不同級別，前者針對字節流，而后者針對數據塊。因此可以將兩種技術有效地結合起來，備份數據流可以先經過De-Duplication執行去重操作，再將唯一的數據塊送入硬件壓縮加速卡壓縮。經這兩步處理之后，需要存儲的數據總量可能只有原始數據的2.5%~5%之間。

Hifn公司作為全球領先的容量優化技術的硬件加速方案提供商，其旗下數據壓縮工業標準專利算法和Express DR系列產品線，為OEM和系統集成商提供了完善的解決方案。其中Express DR1000加速卡提供了業界最強的壓縮處理能力，高達800 MB/s。Express DR250/255加速卡在提供數據壓縮加速的同時，還具有對重復數據刪除技術提供加速的能力，支持MD5、SHA-1等主要安全Hash算法，處理性能達到250MB/s。

硬件壓縮和重復數據刪除，這兩種容量優化技術可以有效地縮小備份數據對物理存儲介質的消耗，提升系統的可靠性，顯著降低數據中心空間、供電和冷卻成本。對于構建新一代節能環保，更綠色的數據中心，具有非常重要的意義。