數據存儲產業服務平臺

淺談愛數第三代存儲引擎OFS

愛數的備份引擎歷經了Turtle引擎、Hercules引擎,現已經發展到第三代引擎—FAST引擎,如引擎名字一樣,我們在著手架構和實現此引擎時,就希望能夠在性能上有所突破。但在現階段無新的理論基礎以及新算法的誕生,如果希望引擎能夠在備份恢復性能上取得新的突破,只能寄希望于引擎架構上的突破,這也是FAST引擎最鮮明的技術特點,在此文章中,將把FAST引擎的關鍵組件之一:OFS存儲引擎進行初步的介紹。

一、把握趨勢的關鍵點

當Oracle的埃里森鄭重的發誓,Exadata 將會是Oracle最成功的產品,業界還對此不置可否。在完成對Sun公司的收購后,短短一年時間,Oracle就取得了近80%的增長速度,而取得此佳績最關鍵的產品線,正是Exadata2,這款集成Oracle數據庫、Sun服務器和存儲的OLTP專用服務器,幫助用戶在更低總體投資成本下獲得了不凡的性能。

Exadata的成功,不僅僅體現了Oracle并購上的整合能力,更重要反應中大型系統通過集成技術架構獲得更好投資回報率的技術趨勢。通過集成技術架構,不僅僅可以保證系統的每一個組件(硬件模塊和軟件模塊)的運行效率得到充分發揮,而且針對特定應用,進行系統的專用優化,從而取得了顯著的性能突破。

二、OFS 是集成技術架構的產物

Object File System(簡稱OFS) 作為FAST引擎的存儲系統,它是一個運行在用戶態的文件系統,以對象為存儲粒度,以 GNS(Global Namespace) 為命名路徑,采用樹狀結構索引,可支持全局范圍內對象按類別和時間點進行存儲,并且內置重復數據刪除、集群式、分布式存儲、數據生命周期管理等一系列現代文件系統所具有的技術特點。

之所以說OFS是集成技術架構的產物,在開始設計第三代備份恢復引擎FAST之前,不僅僅集成技術架構已經成為業內普遍采用的架構,而且根據愛數的業務戰略規劃,也需要滿足如下兩個關鍵需求:

性能目標:伴隨著用戶數據量的快速膨脹,FAST引擎作為數據調度的關鍵組件,要能夠滿足PB級的數據傳輸和存儲性能目標,而FAST引擎的性能關鍵部件正是后端的存儲系統。

應用環境:第三代引擎FAST不僅僅要滿足愛數在備份容災業務領域的技術需求,還需要滿足歸檔、非結構化文檔存儲的業務技術需求,即FAST引擎本身是一個集成應用的引擎,將用于備份容災、數據歸檔、非結構化文檔存儲等。

正因為如上的一些背景,整個OFS是作為一個專用的存儲引擎與FAST集成,通過集成技術架構實現備份容災、數據歸檔、非結構化文檔存儲等應用領域的存儲需求,并且通過與FAST集成,在Cache、Scale-out橫向擴展等性能優化上將進行應用整合,從而通過更小的付出獲得更優的性能目標。

三、OFS的主要特點和設計目標

1)用戶態文件系統

有別于傳統文件系統,OFS是駐足在已有文件系統之上的 用戶態文件系統 ,并且采用專用API訪問,不支持POSIX或Windows FS等標準訪問接口。此技術方案可保證OFS具有更強移植性(操作系統無關)、簡化開發和維護難度、便于跨網絡和分布式擴展,以及基于雙C技術(Cluster和Cache)來不斷優化性能等。

2)全局對象存儲

OFS適用于網絡存儲,它以GNS作為對象路徑,可保存來自于全局網絡環境的數據集中存儲,例如備份、歸檔、共享等數據集中存儲應用,并且以對象作為存儲粒度,可支持文件、郵件、數據庫、表、設備等各類結構化和非結構化的數據對象的存儲。

GNS是全局名字空間 (Global Namespace),它用于在全局范圍標識一個對象的名稱,這個名稱可以在全局范圍內唯一代表此對象。傳統的命名規則,通常是單系統(一臺計算機或服務器)范圍的,這種情況下實現集中備份、歸檔、文檔管理等,將面臨著名稱沖突,不同平臺、不同協議命名規則的差異,對于一些非文件數據對象,又面臨著沒有可參考的命名規則,正因為諸多缺點,在整個引擎的設計中,引進GNS,如下圖所示,通過GNS,可以將不同平臺、不同協議、不同類型的數據對象命名統一,并且保證在全局范圍內可唯一標識。

3)永遠一致的文件系統

OFS采用全Journal 算法,任何時刻文件系統均處于一致性的狀態,即使遇到非正常斷電或不正常關機后,也不需執行硬盤檢查,即可在復電后2分鐘內迅速提供服務。

OFS支持自修復機制,即使OFS所存儲的數據遭受到意外的破壞,也能保證數據損失降到最低。

4)無容量限制的文件系統

OFS可支持單存儲介質池中介質動態增長、跨存儲的多介質池擴展等,支持ZB級的數據量存儲,可輕松方便地完成在線擴容和動態部署。

備注:1ZB=1024EB=1048576PB= 1073741824TB

5)高性能的文件系統

OFS針對讀寫操作大于合成操作、數據分類及時間點、時間線等應用特征,采用局部原理進行性能優化,在歸檔、備份、共享等應用中具有更好性能,并且結合集群技術,可顯著提升IO整體性能。

OFS支持各種的緩沖優化機制,包括讀、寫緩沖,時間線預鏡像(Timeline Pre-Image),提升整體訪問性能。

OFS針對數據訪問操作(讀寫、刪除、合成等)的不同重要程度,將其劃分為不同的執行優先級,在不同優先級操作并發訪問的情形下,保證關鍵操作的執行性能不受影響。

6)嵌入重復數據刪除

OFS內置重復數據刪除,可將集中存儲的重復數據進行壓縮,進一步提高邏輯存儲容量,并且能夠與文件系統訪問、集群技術等結合,且支持全局范圍(全網絡環境)、指定類別范圍(一個或多個CID)進行重復數據刪除,可保證存儲系統內的整體最佳的重復數據刪除性能。

7)超強快照能力的文件系統

OFS采用時間點節點內置的設計,可在瞬間創建一個快照,并且整體文件系統無快照版本限制。

8)更細粒度的配額管理

OFS可支持介質池、介質、對象的空間配額管理,包括空間配額、容量查詢、容量預先防范、數據智能分布、自動精簡配置(Thin Provisioning)等。

9)通用協議訪問

OFS可通過與FAST內核引擎集成,將支持iSCSI、NFS、CIFS等通用數據訪問協議來訪問OFS所存儲的對象數據,實現數據的直接讀寫,以滿足瞬間恢復、歸檔在線訪問等讀寫需求。

結束語

OFS是愛數的FAST內核引擎中所使用的核心組件,承載著愛數未來數年能夠在存儲備份行業脫穎而出的使命,而要實現所設定的技術目標,我想這也將會是國內存儲技術的一次重要突破,在后續的時間里,我們將逐步就OFS存儲引擎以及FAST內核引擎的技術詳細架構、關鍵算法等進行闡述,希望能夠繼續關注。

未經允許不得轉載:存儲在線-存儲專業媒體 » 淺談愛數第三代存儲引擎OFS
精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走