本文作者George Crump是Storage Switzerland的創始人同時也是George Crump Consulting的創始人，具有二十多年經驗的獨具存儲咨詢顧問。
重復數據刪除已經征服了備份領域，并很快成為主存儲的必備技術。該技術對飽受存儲容量不足之苦的存儲管理員來說是個福音。不過在幾乎每個系統都有某種形式的重復數據刪除且該技術得到廣泛應用之后，我們還能用什么來優化存儲？畢竟，存儲還要增長。文件仍將繼續變得越來越大，文件產生的數量也將越來越多。
在存儲優化上，我們不能止步于廣泛應用重復數據刪除技術和數據壓縮技術。如果我們止步于重復數據刪除和數據壓縮，一旦節約出來的空間被消耗光，我們將會看到存儲增長率會再次加速。我不認為答案是嚴格的保留政策——在文件生命周期結束的時候刪除文件。我在《Information Week》發表的文章中，曾表示滿足日益增長的合規要求的唯一途徑是基本上將每個東西都永遠節約。那么下一步我們能做什么？
首先，我們需要最大化重復數據刪除和數據壓縮所帶來的好處。隨著圍繞這些系統的硬件變得越來越強大，它可以進行更加具有深度的數據檢查并發現更多的冗余。重復數據刪除還可以在存儲堆棧的上下進行整合。像備份那樣，利用針對主存儲的同樣的重復數據刪除元數據可以帶來更高的整體存儲效率。
我們還必須推動軟件超越重復數據刪除引擎所面臨的限制。我們需要跨卷的重復數據刪除，甚至跨制造商的重復數據刪除，以便支持對單個超大卷的重復數據刪除。如今的許多重復數據刪除引擎受限于它們所能處理的重復數據刪除數據的數量。這導致了許多重復數據刪除孤島的產生，而在這些孤島之間也存在著重復的數據。
我們還有一些更加可接受的控制數據增長的方法來進行數據優化。比如，一個準備在相對低分辨率視頻投影機上播放的PowerPoint幻燈片不需要載入只有高端圖像打印機才能打印的圖片。
在我們已經盡可能地讓重復數據刪除技術變得更有效率之后，我們要么要繼續面對存儲增長，要么必須尋找新技術來進一步優化存儲（讓我們祈禱存儲企業家們幫我們進行探索）。這個新技術必須能夠利用或輔助重復數據刪除技術和數據壓縮技術，因為這些技術已經成為幾乎所有存儲系統的內置組成部分。如果這種新技術沒有出現，我們還是必須得面對數據的再次增長。
找到一種方式來存儲所有數據不是問題。存儲系統已經可以支持PB級的存儲，并且每年容量還在不斷增加。我們同時還有能力來更好地連接獨立的系統，因此即使一個系統的容量滿了，我們還可以增加另一個系統并在某種程度上繼續以原來的形式管理存儲系統。我們的問題是如何在數據中心中配置所有這些容量以及如何給這些系統提供電能。
我所能看到的一個潛在的解決方案就是超級密集和高能效的MAID（大規模閑置磁盤陣列），讓整合了重復數據刪除技術的MAID用于最終歸檔。這樣，我們可以充分利用數據中心的每一寸可用的建筑面積來存儲我們所需要的所有數據，并只有在訪問數據的時候才提供電源。另一個解決方案就是將所有這些舊數據發送到云存儲服務提供商那里，把問題留給他們。云存儲服務提供商的存儲系統可以擴展到數百PB。
