數據存儲產業服務平臺

ZFS系統新增內部塊級重復數據刪除功能

Sun的Zettabyte File System(ZFS)現在有內置重復數據刪除功能了,這樣它可能就是目前最節省空間的文件系統了。

Sun的官方博客上有一篇關于ZFS重復數據刪除功能的文章指出,大塊的數據如字節排列或數據塊或文件都是通過一個散列函數來校驗的,任何重復的數據塊都不會被儲存下來,而是以這個主數據塊為參考。

Sun表示,備份數據、虛擬桌面鏡像和源代碼庫都包含大量重復數據,重復數據刪除功能可以將磁盤空間使用量降低到所需原始空間的一小部分。

文件級重復數據刪除對處理能力的要求最低,但是也是效率最低的方法。數據塊級重復數據刪除要求更多的處理能力,據說這種方法適用于虛擬機鏡像。 字節排列重復數據刪除使用的處理能力最多,是刪除可能重復且在數據塊級上不對稱的小塊數據如電子郵件附件的理想方案。Sun估計這種重復數據刪除方案最適用于應用級環境,因為應用軟件知道數據的具體情況。

ZFS利用SHA 256hashing提供數據塊級重復數據刪除功能,它可以自然映射到ZFS的256比特數據塊檢查和。重復數據刪除是在內部進行的,ZFS假定它正在服務器上運行一個多線程操作系統,具有很強的處理能力。 換句話說,就是多核處理器。

要想開啟這個功能,你只要對ZFS進行相關設置即可:

Zfs set dedupe = on silo

Zfs set dedupe = on silo /mydataset

Zfs set dedupe = off silo /yourdataset

由于數據集中包含了冗余數據,這樣就可以釋放一定的磁盤容量,提高磁盤寫數據I/O速度,因為冗余數據沒有被寫入磁盤。

如果你想確保散列重復數據刪除的安全性,你可以讓ZFS進行全部字節對比,而不是利用散列對比。

Zfs set dedup = verify silo

你也可以用其他方法,利用一個更簡單的散列算法來減少所需的處理能力并將它與驗證功能結合在一起以提高重復數據刪除的整體速度:

Zfs set dedup =fletcher 4,,verify silo

ZFS的重復數據刪除功能可根據文件系統的大小進行調整。一旦映射表過大而無法與內存相匹配,重復數據刪除的性能就會降低,在這里采用固態盤存儲可能要好一些。

ZFS重復數據刪除的優勢在于你不需要使用特殊的存儲陣列來對數據進行重復刪除。普通的陣列產品就相當夠用,它在數據集級上的適用性表明你只需對包含冗余數據的數據集進行重復刪除,而不用牽扯到其他的數據集。

由于它是內部重復數據刪除功能(inline deduplication),因此增加處理核心和內存就可以提高重復數據刪除的速度。讓我們看看GreenBytes是否會從它現在所用的技術轉向ZFS重復數據刪除技術。 將ZFS重復數據刪除產品與專業重復數據刪除存儲陣列作一個性能對比也將是一件有趣的事情。

未經允許不得轉載:存儲在線-存儲專業媒體 » ZFS系統新增內部塊級重復數據刪除功能
精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走