圖1 重復數據刪除效果示例

重復數據刪除技術按照部署位置可分為源端重復數據刪除和目標端重復數據刪除。顧名思義，源端重復數據刪除就是先刪除重復數據，再將數據傳到備份設備；目標端重復數據刪除是先將數據傳到備份設備，存儲時再刪除重復數據。按照檢查重復數據的算法不同，重復數據刪除可以分為對象（文件）級和塊級的重復數據刪除，對象級的重復數據刪除保證文件不重復；塊級重復數據刪除則將文件分成數據塊進行比較，根據劃分數據塊的不同方法，又可分為定長塊和變長塊的重復數據刪除技術。變長塊的方法可以"斤斤計較"地把每一個重復的字節都刪掉，重復刪除率最高；定長塊的技術只能大致地把相同的數據塊去掉，刪除率次之。

EMC能夠根據客戶的不同需求，提供三種重復數據刪除技術。一是對象級的重復數據刪除。在EMC Centera歸檔平臺中，因為要滿足法規遵從，EMC提供文件級（也叫對象級）的重復數據刪除，將一個文件視為一個對象，當一個對象又被再次存儲時，它不會存兩份同樣的數據，只是返回一個指針，并提示這個數據已經存在。但只有兩個文件一模一樣，它才會只存一次。如果文件哪怕有微小的變化，它就要存兩次。二是Avamar重復數據刪除技術，它是變長塊的源端重復數據刪除，刪除率達到300:1，500:1，甚至更高。三是EMC虛擬磁帶庫（EMC Disk Library，EDL）。EDL跟Avamar是一個互補，Avamar是在源端進行重復數據刪除，EDL是在后端（目標端）進行重復數據刪除。

圖2  EMC Avamar工作原理

重復數據刪除可以給用戶帶來諸多好處。一是減少了存儲容量；二是避免了備份窗口不足的問題；三是可以通過廣域網異地備份，對分支機構的備份可以集中管理；四是在VMware虛擬化環境中，（EMC Avamar在虛擬主機源端進行重復數據刪除后）可以極大地減少備份程序對物理主機CPU和內存資源的爭用。

從獨立的技術到集成的功能

作為全球信息管理解決方案的領導者，EMC很早就對重復數據刪除技術給予關注。2006年11月，EMC就收購當時在重復數據刪除技術的領先廠商Avamar，比IBM收購Diligent早17個月。如今，重復數據刪除技術已經成為EMC BuRA（備份恢復與歸檔）方案的基礎，EMC Avamar與VMware、EMC NetWorker、EMC Backup Advisor和EMC Celerra等產品集成。EMC磁盤庫集成了目標端的重復數據刪除技術。EMC Centera歸檔平臺集成了對象級的重復數據刪除技術。

如果客戶需要廣域網環境下的遠程備份，或者在VMware、大文件服務器以及其它受制于網絡瓶頸的環境下備份，EMC可以提供Avamar重復數據刪除技術，不僅可以減少后臺存儲，而且在源端就已經把重復數據刪除了?？蛻艏瓤梢圆渴餎MC Avamar軟件，也可以購買軟件和硬件集成的EMC Avamar Data Store系統。

如果客戶對現有的備份軟件還滿意，在把數據傳到備份設備時也沒有遇到網絡瓶頸。EMC可以提供具有目標端重復數據刪除技術的虛擬磁盤庫（DL3D），包括面向中型用戶的EMC DL3D 1500和EMC DL3D 3000，面向大型用戶的EMC DL3D 4000，容量從4TB到幾個PB。DL3D可以保證后臺磁盤存儲的優化利用，同時讓客戶受益于災難復制這樣的SAN技術。

重復數據刪除技術加上歸檔技術的應用，讓數據量極大減少，讓備份到磁盤成為可行，讓數據的可用性、可管理性、安全性得到保障，數據的介質更新和長期保存成為可能。EMC在這個領域先一步的行動，也讓它成為應對信息爆炸增長的排頭先鋒，再次加強了它在產業界的領導者地位。

附：大禹治水的傳說

禹為鯀（音ｇǔｎ）之子，又名文命，字高密。相傳生于西羌（今甘肅、寧夏、內蒙南部一帶），后隨父遷徙于崇（今河南登封附近），堯時被封為夏伯，故又稱夏禹或伯。

堯在位的時候，黃河流域發生了很大的水災，莊稼被淹了，房子被毀了，老百姓只好往高處搬。堯召開部落聯盟會議，商量治水的問題。他征求四方部落首領的意見：派誰去治理洪水呢？首領們都推薦鯀。

堯對鯀不大信任。首領們說："現在沒有比鯀更強的人才啦，你試一下吧！"堯才勉強同意。

鯀花了九年時間治水，沒有把洪水制服。因為他只懂得水來土掩，造堤筑壩，結果洪水沖塌了堤壩，水災反而鬧得更兇了。

舜接替堯當部落聯盟首領以后，親自到治水的地方去考察。他發現鯀辦事不力，就把鯀殺了，又讓鯀的兒子禹去治水。

禹改變了他父親的做法，用開渠排水、疏通河道的辦法，把洪水引到大海中去。他和老百姓一起勞動，戴著箬帽，拿著鍬子，帶頭挖土、挑土，累得磨光了小腿上的毛。

經過十三年的努力，終于把洪水引到大海里去，地面上又可以供人種莊稼了。