賽思信安(Scidata)針對目前存儲數據量爆炸式增長,數據存儲容量需求不斷擴充的形勢,在國內率先推出了高效存儲優化系統,該系統符合國家環保節能的政策,為企業提供了一種數據存儲管理的新方式。
賽思信安Scidata存儲優化軟件在數據塊級別實現重復內容的全局消冗,存儲系統的容量優化,提高存儲效率,節省存儲空間,降低能源消耗,實現海量數據的綠色存儲。Scidata存儲優化軟件的消冗率可達30:1甚至更高,能夠有效的節省存儲空間。
Scidata存儲優化系統功能:
- 系統采用變長和定長結合的高效的數據塊消冗方法,消冗效率和讀取速率完美平衡,消冗比率達到國際一流水平。
- 系統采用三級緩存機制、局部命中算法、線性哈希算法,系統消冗速度高,對讀取速度影響小于10%。
- 支持基于文件系統的數據透明訪問,系統移植簡單,無需改動應用程序就可支持數據消冗。
- 支持在線和離線數據消冗,可用于不同的應用環境。
- 系統消冗參數可調節,可以根據不同的應用,最大限度的提高消冗率和消冗效率 。
- 系統運行穩定,結構簡單,有很強的容錯處理能力。
Scidata存儲優化系統關鍵技術
1.并行層次式重復數據消除技術
針對重復數據消除率與重復數據消除速率的矛盾問題,賽思首次研發了并行層次式的重復數據消除架構。該策略的基本思路是首先進行粗粒度的重復數據消除,然后進行細粒度的重復數據消除,采用粗粒度重復數據消除可以從高層次快速的篩選掉重復的數據內容,減少細粒度重復數據消除的數據量,從而在一定程度上提高重復數據消除率。同時,對于重復數據消除的關鍵環節采用了并行化,充分利用系統中的多核資源,有效提高重復數據消除速率。
2.動態跳躍和帶雙因子的數據塊動態劃分策略
該機制結合了定長分塊速度快與變長分塊重復數據消除率高的優勢,并在此基礎上做了如下改進:增加了閾值與過濾,并不需要掃描所有的數據,加快了處理速度;引入了雙因子和最大塊長度限制,使等式滿足的概率增加,在一定程度增大了重復數據消除率。
3.基于動態惰性擴充的數據特征信息組織機制
當數據特征信息量比較大時,發生擴充的次數就比較多,如果每次特征信息插入觸發擴充條件時,都進行擴充操作,將會使擴充操作非常頻繁,嚴重影響系統性能。針對該問題,我們研發了惰性擴充機制,基本思想是當滿足擴充條件時,先在內存緩存,緩存到一定條件時,再將特征信息統一進行擴充。通過這種機制可以有效地減少擴充的次數,提高數據特征信息的管理效率。
賽思信安為企業提供綠色節能和低成本的可靠地存儲方案,使企業降低存儲投入,減少運維成本,提高存儲使用效率,擺脫大數據量帶來的煩惱。