重復數據刪除技術作為存儲十大熱點技術備受大家的關注。在備份存儲領域，重刪技術已基本成熟，且具有極高的市場價值，各大廠家都推出了相關的重刪產品，并受到了客戶青睞。而在主存儲領域，重刪技術雖然還不夠成熟，但由于市場的需要及較高的市場價值，很多廠商也都推出了主存儲重刪產品。但在主存儲場景下，客戶對存儲的性能要求都比較高，考慮到對性能的影響，很多廠商在重刪技術上面選擇了后重刪技術，如EMC的VNX、NetApp的FAS。然而，后重刪技術能解決我們主存儲場景下的問題嗎？

重刪之“痛” ——后重刪：

一痛：后重刪與快照天然的就存在兼容性的問題。重刪的目的是對數據進行處理，當存在重復數據時，需要將重復的數據刪除從而達到節約空間的目的，而快照的目的則是將快照后的元數據和數據進行鎖定，保證快照時刻數據的完成性。當快照后進行重刪，重刪為了縮減數據對數據和元數據進行修改或刪除，而快照則是將修改或刪除后的元數據和數據拷貝到快照空間保證快照時刻數據的完成性。為此，雖然重刪縮減了正在使用的空間容量，但快照空間容量則會大幅度增加，最終起不到任何數據縮減的效果。為此，選擇后處理重刪的廠家都要求在重刪壓縮后再進行快照，當前EMC的VNX、NetApp的FAS都存在這樣的情況。這使得用戶在同時使用快照和重刪功能時，非常的不滿意。

二痛：后重刪處理重刪數據會滯后，一般是一天或一周處理一次。這就需要用戶預留足夠的空間存儲這段時間內產生的新數據，即使是所有的新數據都是重復數據。例如：在批量部署虛擬機時，每個虛擬機50G，部署1000個，則需要預留50T的空間，而實際重刪后所占空間僅需要50G。

三痛：后重刪原理：先將數據寫入到設備，待重刪時，再將未重刪的數據讀到內存中進行重刪處理，如下圖1：后處理重刪示意圖。由此可以分析，后處理對一個數據塊需要進行兩次寫，一次讀的操作。也就是說由于后處理重刪的原因，會導致設備總的負荷增加，在設備空閑業務時間很少或不間斷時，后處理重刪實際上對性能的消耗將大于在線重刪（在線重刪對一個數據塊僅需1次寫，如圖：在線重刪示意圖）。同時，由于增加了寫的次數，對磁盤壽命也有一定的影響，特別是SSD，這在閃存陣列中是無法接受的。

 
在線重刪示意圖

四痛：為了更好的使用重刪功能，減少對系統性能的影響。推出后重刪產品的廠商都提供了對應的一些配置策略，以及使用須知等。這使得在使用重刪功能時變得很復雜，需要考慮的東西很多。這不符合存儲的發展方向：簡單、易用。

后重刪有如此多的痛，而在線重刪就沒有了嗎？ 在線重刪由于在寫入數據后就已經完成了重刪，所以可以很好的和快照兼容；在預留空間問題上，由于是實時重刪也不存在問題；在對設備總的IO負荷方面，由于數據經過了重刪寫盤數據更少，顯得優勢更為明顯，特別是在全閃存陣列中。當前主要的全閃存陣列廠商都是采用的在線重刪方案。而在易用性方面，在線重刪功能的配置等，簡單很多，僅需開啟關閉即可。在線重刪真是如此之好？那為何很多主存儲廠商還是選擇了后重刪？

迎難而上，華為選擇在線重刪：

在線重刪需要實時的對每一個IO進行指紋計算、查重及數據壓縮，會占用較多的CPU及磁盤IO?；�于該原�?，很多主存儲廠商，退而求其次，選擇了后處理重刪。而同樣作為主存儲廠商的華為，則另辟蹊徑選擇了在線重刪。

那為什么華為會選擇在線重刪呢？

1、CPU方面：重刪是CPU消耗的大戶。降低重刪對CPU的消耗，是在主存儲重刪中引入在線重刪的關鍵。華為能在設備中增加重刪壓縮加速卡，將重刪壓縮過程中，大量的計算功能放到加速卡中進行計算，從而降低CPU的消耗同時還能提升計算速度。另外，在一些性能要求不高的場景中，則可以去除加速卡降低成本，這樣使得華為在不同場景下支持重刪壓縮功能變得更加靈活、多變。

2、磁盤IO方面：數據查重的過程需要消耗較多磁盤IO，能否使得查重效率最高、速度最快，是整個重刪技術的關鍵。華為在數據查重方面完成了多個關鍵技術的優化：

a)采用SSD Cache技術對存儲重刪元數據進度加速，從而加快重刪過程中元數據的讀寫性能；

b)基于場景的重刪Cache優化，如數據的時空局部性在Cache中的應用等；

c)基于IO特征的優化，根據不同場景的IO智能選擇重刪流程等。經過上面的優化，在線重刪磁盤IO訪問明顯下降，甚至在部分場景下，磁盤IO的訪問量比沒有重刪的情況下還少。華為公司給出了VDI場景下的在線重刪壓縮性能測試情況：在線重刪壓縮性能影響小于10%，而數據縮減率高于3:1。

總結：在線重刪是整個重刪技術的趨勢，而在線重刪卻在主存儲場景中始終步履蹣跚。相信，華為5月份即將發布的新一代企業級OceanStor V3系列新品即是一個很好的契機，將促使在線重刪技術在主存儲場景中開出絢爛的花朵。