就在幾年時間里，重復數據刪除從一個新生的而且只有非常大型的企業才能擔負得起的技術變成一個幾乎大部分備份和恢復解決方案都配置的技術。
重復數據刪除已經變得如此重要以至于數據存儲廠商紛紛花費數百萬美元–甚至數十億美元–來收購重復數據刪除技術。去年夏天，EMC以20億美元的價格收購Data Domain。
現在我們看到重復數據刪除正在掀起另一股發展浪潮：開源重復數據刪除。幾家老牌的開源存儲廠商（Bacula、Nexenta、Sun/Oracle和Zmanda）以及一些新廠商（比如Opendedup）開始挑戰專有的解決方案并推出自己的技術。
Opendedup
今年三月，Opendedup，一個新的開源重復數據刪除解決方案，甫推出便成為各大新聞的頭條。作為針對Linux的重復數據刪除文件系統（也成為SDFS），Opendedup從設計上來說針對的是那些擁有虛擬環境并尋求高性能、可擴展和低成本重復數據刪除解決方案的企業。
根據開發者Sam Silverberg的說法，"SDFS的設計目標是利用基于對象的文件系統的性能和可擴展性優點，通過重復數據刪除優化存儲。"結果是："Opendedup/SDFS可以優化1PB以上的數據；在128K塊大小的情況下，每GB記憶體支持3TB以上數據；在線重復數據刪除的執行速度達到290MB/秒；擁有很高的總I/O性能；支持VMware（以及Xen和KVM），并可以對4K的塊進行重復數據刪除操作。同時，它還是免費的。
Silverberg表示，在標準的Linux系統上，Opendedup/SDFS的安裝只需要大約20分鐘時間，而且不需要編譯。他表示："SDFS卷可以像Linux文件系統那樣載入和創建。如果用戶曾經在Linux系統上載過卷，那么他肯定對SDFS的命令也很熟悉。"此外，對那些需要一些幫助的用戶，SDFS還有一個快速開始指導，同時在Opendedup網站上還有詳細的管理操作指導。那么，使用Linux系統的用戶是否可以使用Opendedup并從中獲益呢？
根據Silverberg的說法，SDFS的適用對象包括：所有大量利用虛擬化的組織（"SDFS可以跨共享的SDFS卷或在單獨的SDFS卷上對數百個虛擬機進行重復數據刪除…….而且可以加速新的虛擬機并快速復制現有的虛擬機"），或那些尋求高存儲效率和基于磁盤備份系統的組織（"SDFS卷可以呈現給基于磁盤的備份，并帶來存儲節約和I/O提升的好處"），或那些需要歸檔大量數據的組織（"SDFS卷可以當作NAS（網絡附加存儲）共享……同時非結構化數據可以復制并歸檔到作為第三層存儲的SDFS卷"）。
不過，Opendedup/SDFS真的可以作為專有解決方案的替代品么？
Silverberg表示："同許多專有解決方案相比，SDFS在性能、可擴展性和成本上具有優勢，不過我認為專有解決方案有一定的真正的技術上的優勢。開源解決方案目前還不能提供遠程復制功能、基于來源端的重復數據刪除和一周七天一天24小時的無間斷的電話支持。"
Silverberg表示，SDFS是一個文件系統，"這使得它可以很容易作為一個存儲設備來實施"，不過"如果不契合到專有API（應用程序編程接口），它更難深入地整合到備份和虛擬機管理器等解決方案"。
不過，他補充道："如果用戶希望獲得的是來自文件系統的裸性能、可擴展性和重復數據刪除功能，那么SDFS是個理想選擇。"顯然很多企業是這樣的，因為就在第一周，Opendedup.org就吸引了1.4萬個獨立訪客的訪問，其中許多人下載了軟件。
Bacula
開源網絡備份和恢復軟件廠商Bacula Systems也進入了開源重復數據刪除領域。
Bacula.org網站創始人兼Bacula Systems首席技術官Kern Sibbald表示："在大部分企業，存儲使用量正在飛快地增加，一些企業的年增長速度達到40%。為了保證這些新增的存儲得到備份，我們需要讓備份程序更快和更有效率。"達到這個目標的一個方法就是引入重復數據刪除。
他表示："通過Bacula[5.0.0版本]，我們可以讓用戶選擇哪些文件可以進行重復數據刪除。這是我們進入重復數據刪除領域的第一步，這是文件層次的重復數據刪除而不是塊層次的重復數據刪除。"
Sibbald指出一些存儲分析師將Bacula的重復數據刪除解決方案比作SIS（單實例存儲），不過Bacula認為它應該是文件層次的重復數據刪除。
他表示："我們的優勢是我們的解決方案同其他重復數據刪除技術相比實施更簡單，而且它在磁帶和磁盤上的表現同樣好且非常高效。此外，同塊層次或比特層次重復數據刪除技術相比，在數據恢復過程中，我們的解決方案不會帶來多少資源開銷。"
Sibbald承認Bacula已經在試驗塊和滑塊重復數據刪除技術，并且很有可能在未來的軟件發布中加入這個技術。
至于Bacula 5.0.0，Sibbald表示市場反響很好。他表示："在發布后幾天時間內，下載量就已經非常大。"不過這次發布也包含了一些其他新的功能，而他也沒法說這種市場反響有多少應歸功于重復數據刪除技術的加入。
Zmanda
以Amanda開源備份和恢復軟件為核心的Zmanda也可能開始在軟件中加入重復數據刪除技術。
Zmanda首席執行官Chander Kant表示："我們同時追求來源端[在備份客戶端上]重復數據刪除和目標端[在存儲媒介上]重復數據刪除。"他指出Amanda已經在測試和認證幾個目標端的重復數據刪除技術，包括EMC的Data Domain和Oracle/Sun的ZFS。
他表示："重復數據刪除可以為Zmanda客戶節約大量系統資源。我們的壓縮比率很高。"此外，重復數據刪除對終端用戶來說是透明的。
Kant表示，和Opendedup/Bacula一樣，市場對Amanda加入目標端開源重復數據刪除技術的反應是積極的。他認為有更多企業，尤其是中小型公司，將采用開源重復數據刪除解決方案，因為這種解決方案"一方面可以節約存儲成本，一方面又可有效利用有限的IT預算"。
Nexenta
至于開源存儲解決方案廠商Nexenta Systems，該公司在今年三月底發布的最新版本的NexentaStor 3.0存儲解決方案上加入了基于ZFS的在線重復數據刪除技術。Nexenta表示不僅NexentaStor 3.0是第一個為主存儲提供在線重復數據刪除功能的存儲解決方案，而且像ZFS這樣的開源解決方案從技術來上來說也比專有解決方案更高級。
Nexenta Systems首席執行官Evan Powell表示："ZFS在線重復數據刪除功能非常強大，我們認為它是市場上最好的重復數據刪除技術。"
在被問到NexentaStor面對競爭表現如何的時候，Nexenta表示同使用專有解決方案相比，使用NexentaStor的用戶一般都獲得了75%的成本節約。這主要是因為通過高比率壓縮獲得了更高的存儲效率。
NexentaStor的目標市場是那些擁有大型虛擬環境（比如微軟Hyper-V、Citrix Xen和VMware）的企業，包括托管和云服務提供商，以及擁有虛擬桌面環境的研發組織和企業。
開源在標準化上更有利
拋開廠商的豪言壯語不談，開源重復數據刪除解決方案真的和專有解決方案一樣好或一樣可靠和可擴展嗎？
Bacula的Sibbald表示："專有解決方案不僅貴，而且還不能獲得源碼，因此不好檢驗或比較它們的性能。從專有廠商提供的重復數據刪除統計數據和開源項目提供的統計數據來看，我認為開源解決方案絕對可以和專有解決方案一較長短。"
Zmanda的Kant表示："隨著時間推移，重復數據刪除將成為標準技術。就像我們現在有標準的壓縮算法一樣，重復數據刪除也將有標準算法和標準格式。開源對標準化有利。因此未來屬于開源重復數據刪除。"
