僅僅在幾年之內，重復數據刪除已經從一個只有大企業才能買得起的技術變成了在備份和恢復領域普遍應用的功能。
重復數據刪除已經變得如此重要以至于數據存儲廠商投入數百萬、甚至數十億美元來收購重復數據刪除技術。例如，去年EMC用20億美元收購Data Domain。
現在，我們將看到重復數據刪除技術的下一個發展：開源軟件重復數據刪除技術。一些成功的開源軟件存儲廠商(Bacula、Nexenta、 Sun/Oracle和Zmanda)以及Opendedup等新的廠商正在向專有的解決方案提出挑戰。
Opendedup
今年3月，一個新的開源軟件重復數據刪除解決方案Opendedu一推出就成為媒體的重要新聞。Opendedup是一個用于Linux的重復數據刪除文件系統，也稱作SDFS，旨在用于擁有虛擬化環境的尋求更高性能、伸縮性、低成本重復數據刪除解決方案的企業。
據開發人員Sam Silverberg說，SDFS的設計目標是利用具有重復數據刪除的存儲優化技術的基于對象的文件系統提供的性能和伸縮性的好處。這個結果是：Opendedup/SDFS能夠刪除1PB或者更多的重復數據;以128K塊尺寸每GB內存支持3TB以上的數據;以每秒290MB的速度執行內聯重復數據刪除;具有高集合I/O性能;支持VMware(以及Xen和KVM);能夠刪除4K塊尺寸的數據。我們沒有提到它是免費的嗎?
Silverberg說，Opendedup/SDFS在一個標準的Linux系統上大約需要20分鐘就可以設置完成，不需要編譯。SDFS卷將安裝，就像任何Linux文件系統一樣創建。曾經在Linux上安裝過卷的人應該都熟悉這些指令。而且，對于需要很少的幫助的人們來說，Opendedup網站上還有一個快速啟用指南和詳細的管理指南。但是，任何人(也就是擁有Linux系統的任何人)都能使用并且從Opendedup中受益嗎?
據Silverberg說，大量使用虛擬化或者正在尋求存儲效率高的基于磁盤的備份系統或者需要存儲大量數據的任何機構都能夠從 Opendedup/SDFS中受益。
但是，Opendedup/SDFS真的是專有的解決方案的替代的技術嗎?
Silverberg說，SDFS擁有超過許多專有的解決方案的性能、伸縮性和成本優勢。目前在開源軟件解決方案中沒有提供復制、基于源的重復數據刪除和每周7天每天24小時電話技術支持。
Silverberg說，SDFS是一個文件系統，能夠像一個存儲設備一樣很容易地實施。但是，它還更深入地集成到了備份和管理程序等解決方案中，但是，沒有連接到專有的API(應用程序編程接口)。
然而，他補充說，如果一個機構正在尋求一共文件系統的天然性能、伸縮性和重復數據刪除，SDFS是一個選擇。許多企業顯然正在這樣做，因為在這個軟件的推出的第一個星期，Opendedup.org發現該網站的訪問人數達到1.4萬，其中許多人下載了這個軟件。
Bacula
開源軟件網絡備份和恢復軟件廠商Bacula Systems也加入了開源軟件重復數據刪除的行列。
Bacula.org的創始人和 Bacula Systems首席技術官Kern Sibbald說，在大多數企業，使用的存儲總量正在以非?？斓乃俣仍鲩L，每年大約增長40%。因此，要跟上需要備份的日益增長的存儲量，我們需要使我們的備份系統速度更快和更有效率。這樣做的一個途徑是推出重復數據刪除功能。
Sibbald說，在Bacula(5.0版)中，我們采用了我們稱作"基礎"工作的東西，允許用戶控制哪些文件將考慮適用于重復數據刪除。這是我們進入重復文件刪除的第一步。這是一個文件級的重復數據刪除，而不是數據塊級的重復數據刪除。
Sibbald指出，有一些存儲分析師把Bacula的重復數據刪除解決方案當作SIS(單實例存儲)，但是，Bacula把它當作文件級的重復數據刪除。
他說，我們已經做得事情的好處是，與其它重復數據刪除技術相比，它的實施比較簡單。它在磁帶和硬盤上做重復數據刪除同樣好，并且非常有效。此外，與正在使用的塊級或者字節級重復數據刪除相反，恢復的時候額外的開銷非常小。
這就是說，Sibbald承認Bacula一直在試驗塊和滑塊重復數據刪除技術。未來發布的軟件中很可能將包含其中一種技術或者兩種技術都包括。
Sibbald說，至于Bacula 5.0.0，這個反應是一直是給人深刻印象的。這個軟件發布的最初的幾天下載量是非常大的。不過，他沒有說下載量的增加與這個軟件包含重復數據刪除功能有多大關系，因為這個軟件還增加了其它的功能。
Zmanda
Zmanda是以Amanda開源軟件備份和恢復軟件為基礎的，同樣開始在其軟件中包含重復數據刪除功能。
Zmanda首席執行官Chander Kant說，我們正在采用源級(在備份客戶方面)和目標級(在存儲介質方面)的重復數據刪除技術。他指出，Amanda已近進行了測試并且用包括EMC的數據域和甲骨文/Sun ZFS在內的一些目標級重復數據刪除技術進行了認證。
Kant說，重復數據刪除可能為Zmanda用戶節省大量的系統資源。我們將看到非常好的壓縮比例。而且，重復數據刪除對于最終用戶是透明的。
同Opendedup和Bacula一樣，對于在Amanda的目標方面包含開源軟件重復數據刪除功能的反應一直是積極的。Kant說，他看到更多的企業，特別是中小企業，采用開源軟件重復數據刪除解決方案。通過節省存儲成本可以擴大他們有限的IT預算。
Nexenta
至于開源軟件存儲解決方案廠商Nexenta Systems，它在今年3月底發布的最新版本存儲解決方案NexentaStor 3.0中采用了基于ZFS的內聯重復數據刪除技術。Nexenta稱，NexentaStor 3.0不僅是為主存儲提供內聯重復數據刪除功能的第一個存儲解決方案，而且像ZFS那樣的開源軟件解決方案在技術上也比專有的技術優越。
NexentaStor 3.0首席執行官Evan Powell說，我們對于ZFS內聯重復數據刪除有非常深刻的印象并且相信它是目前市場上最好的重復數據刪除技術。
的確，當要求比較一下NexentaStor如何進行競爭的時候，Nexenta稱，使用NexentaStor軟件的客戶比使用專有的解決方案的用戶節省75%的成本，主要原因是通過壓縮提高了效率。
至于NexentaStor的目標市場，那可能是擁有微軟Hyper-V、思杰Xen和VMware等大型虛擬化環境的大企業，包括托管的和云計算服務提供商、研發機構和擁有虛擬桌面環境的企業。
標準支持開源軟件
暫時把宣傳放在一邊，開源軟件重復數據刪除解決方案真的像專有的解決方案一樣好或者一樣可靠和有伸縮性嗎?
Bacula公司的 Sibbald說，專有的解決方案是昂貴的并且不提供源代碼，因此不容易檢查和對比他們的性能。從我看到的專有廠商的重復數據刪除統計和lessfs等開源軟件項目的統計來看，我可以說開源軟件解決方案能夠很好地與專有的解決方案競爭。
Zmanda公司的Kant說，過一段時間，重復數據刪除將成為標準。就像我們目前對壓縮算法實施標準化一樣，重復數據刪除也將有標準算法和格式。開源軟件因為標準化而發出光芒。因此，重復數據刪除的未來就是開源軟件。
