NetApp

NetApp在2007年推出的A-SIS,就是一種可應用在網絡存儲設備的De-Dupe技術。

A-SIS可搭配NetApp的NearStore R200、FAS與V系列存儲設備使用,只要存儲設備的Data ONTAP操作系統版本是在7.2.5.1以上,并啟用A-SIS與NearStore授權即可。

A-SIS屬于后處理(post-processing)類型De-Dupe技術,待數據寫入Volume后,再按照排程設定或以CLI或GUI介面手動啟動執行,執行重復刪除運算時以固定的4KB區塊為單位(也就是WAFL檔案系統的區塊單位)。

A-SIS重復刪除運算并非在存取時即時進行,因而能避開影響前端主機存取的問題,可在離峰時間再執行重復刪除;而且在NetApp存儲設備的WAFL檔案系統管理下,A-SIS處理后的數據仍可直接讀取與寫入,不像其他廠商De-Dupe后的數據必須先還原成原始狀態,才能進行存取。缺點則是只能應用在FlexVol型的Volume,不能用在傳統Volume,且重復比對也僅限于該Volume。

Dell Ocarina

Dell在2010年7月藉由并購新創廠商Ocarina,取得了后者的內容感知存儲最佳化技術(Content-Aware Storage Optimization),除獲得Ocarina原本的軟件與應用服務器產品外,預期還會將相關技術應用到Dell自身NAS產品上。

這項技術特點在于整合了壓縮與重復數據刪除兩類技術,系統會解析檔案類型,分別使用不同運算法進行壓縮與重復數據刪除處理,還能讓使用者調整運作區塊大小,適應處理不同型態檔案。

架構上分為Ocarina Optimizer與Ocarina Reader兩個元件,前者負責對原始數據進行重復刪除與壓縮,后者負責將前者處理后的數據、重組為前端主機可讀取的原始檔案形式,并提供彈性的政策功能。缺點是不適用寫入密集環境,較適合讀取密集或少量寫入環境。

部署時采用類似閘道器的方式,將Ocarina的應用服務器部署在NAS存取路徑上,充當前端主機與后端NAS間的中介,并支援高可用性叢集架構。Ocarina也提供純軟件與OEM的銷售形式。

EMC

透過并購,EMC先后取得了Avamar與Data Domain的De-Dupe技術,兩者基本上都是定位于備份應用,不過在這之外,EMC亦在2009年初為Celerra系列NAS的DART操作系統增加稱為Celerra Data deduplication的De-Dupe功能。

Celerra Data deduplication以檔案為基礎運作,兼具De-Dupe與壓縮兩種功能,為避免對前端主機的存取形成沖擊,使用者可透過Celerra Manager介面,設定De-Dupe掃描周期(預設是每隔7天),可接受De-Dupe處理檔案的條件(多久沒被存取、大?。?,以及排除在De- Dupe外的檔案,藉此可將較不被存取的檔案納入De-Dupe、經常被存取的檔案則不進行De-Dupe.

若是未進行De-Dupe的檔案,在存取方面將不會受到任何影響。若前端主機要讀取已被De-Dupe的檔案,DART操作系統會將檔案讀進Celerra記憶體中還原后,再回應給前端主機,整個操作都不在磁盤上進行,藉以提高速度。

若要對De-Dupe的檔案進行寫入或修改,則須先在檔案系統中還原回原始狀態,對能效有較大影響。整體來說亦是較適合讀取密集或少量寫入環境,不太適合寫入密集環境。

Permabit

Permabit是一家De-Dupe軟件廠商,由于該公司業務以OEM形式為主,主要產品是2010年中推出的Albireo數據最佳化軟件,設計上是以嵌入第三方廠商存儲軟件中的方式運作,透過API為存儲軟件提供一個De-Dupe諮詢機制,確認寫入數據是否重復(不參與讀取操作)。

依用戶要求,Albireo可采用線上處理(in-line)、后處理與平行處理等三種部署架構,并提供區塊、檔案與串流等三種形式的 API,可供整合到不同類型的存儲軟件中,其中檔案與串流兩種檔案層級的API還提供內容感知功能,可解析寫入檔案類型、調整De-Dupe處理使用的區塊大小以達到更好的效果。

Albireo可搭配線上、備份、歸檔等不同類型存儲設備,或備份軟件使用,當應用在網絡存儲設備時,可采用對能效沖擊最小的平行處理架構,當前端主機將數據寫入存儲設備時,Albireo會透過API同時取得一份數據復本,對其進行De-Dupe比對,若確認數據為重復,則會驅動存儲系統軟件以非同步方式更新與整并重復的數據。

目前已有Bluearc、Xiotech等存儲廠商與Permabit簽約,準備引進Albireo來搭配他們的存儲設備與軟件。

Nimbus

Nimbus的HALO操作系統可提供整合存儲管理服務,能透過存儲虛擬化技術,將管理的磁盤空間透過CIFS、NFS、iSCSI等協議給前端主機存取,而且還整合了in-line型De-Dupe技術。目前已被應用在Nimbus的S-Class企業存儲設備。

未經允許不得轉載:存儲在線-存儲專業媒體 » 網絡存儲環境下的重復數據刪除技術
分享到

zhuyu

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走