目前,能支持RDMA技術的物理網絡主要有Infiniband(簡稱IB)、Omni-Path和以太網。

其中,IB為最主流的技術,RDMA市場目前的壟斷者。目前IB網卡和交換機的供應商主要是Mellanox,在高性能計算(HPC)領域,IB是最為廣泛使用的高速網絡設備。

Omni-Path為Intel收購Qlogic之后研制出來的下一代高性能網絡架構,典型速度為100Gbps,且Intel在部分CPU上面直接繼承了相關的接口,可見Intel開拓相關市場的決心。但Omni-Path的應用才開始起步,市場占有率遠沒有IB那么大。

現在的高速以太網(比如25Gb及其以上的網卡),除了支持傳統的TCP/IP之外,也支持RDMA方式?;谝蕴W的RDMA技術有兩種,RoCE和iWRAP。RoCE的主要廠商為Mellanox和Broadcom(Avago),它對交換機的要求較高;iWARP的主要廠商為Intel,對交換機的要求較低。

儲迅對GlusterFS的RDMA模塊的改進

因為RDMA技術的高帶寬和低延遲,GlusterFS在早期的時候便加入了對RDMA的支持。不過,GlusterFS還是以在傳統的TCP/IP網絡中運行為主,如果采用RDMA模式,在HPC等領域持續地大規模讀寫,會遇到連接斷掉I/O不能持續進行等諸多問題,性能的抖動也較大。針對目錄元數據的操作(比如列目錄、刪除目錄、查找文件等),表現出來的問題更多。

針對上述問題,儲迅的研發團隊對GlusterFS的RDMA模塊以及相關代碼做了全面的梳理,優化了讀寫流程,改進了目錄元數據的查找方式,并針對并發操作時不規范的鎖操作導致的race condition問題進行了全面排查。新的代碼經過了大規模的內部測試,以及在基因測序、視頻分析、材料計算等多個客戶處的長時間檢驗,可以穩定地運行在復雜的商用環境中,尤其適合HPC領域的各項計算場景。

除了穩定性,在性能方面,使用儲迅改進版本的GlusterFS,基于同樣的硬件,其并發讀寫性能不僅比TCP/IP模式快3-5倍,而且綜合性能完全可以和Lustre文件系統的性能抗衡。由于GlusterFS比起Lustre有更多的特性,包括數據冗余性等HA特性,且不依賴于昂貴的元數據服務器,所以,該方案具有比Lustre更強的競爭力。

針對具有元數據服務器的分布式文件系統,GlusterFS采用了去中性化的架構,完全屏蔽了元數據服務器。這種架構帶來了更好的數據可靠性,且更容易維護,但也有一定的缺點,主要表現在目錄操作較慢–畢竟列目錄等命令,不能在元數據服務器中直接獲取,而需要遍歷每個存儲節點來獲取內容。儲迅在改進RDMA代碼的同時,也對GlusterFS的相關代碼架構做了優化,對于列目錄等命令,其性能有著較大的提升,甚至在集群硬盤較多的時候,速度能提高一個數量級以上,徹底改變了部分用戶對GlusterFS在元數據操作方面體驗不佳的印象。

儲迅基于RDMA的HPC存儲的完整方案

基于優化了RDMA代碼的GlusterFS,儲迅提供了HPC的完整存儲解決方案,具有高并發、低延遲、數據可靠性高、接口豐富、開箱即用等特點,特別適合基因計算、材料研究、氣象分析、石油勘探、視頻分析等領域。

此外,儲迅還和Infiniband技術的領軍企業–Mellanox建立了戰略合作關系。Mellanox針對儲迅的GlusterFS存儲產品,提供Infiniband和RoCE技術的全面支持,通過行業內的合作伙伴,提供整合的HPC存儲產品方案,不僅僅在穩定性、性能和功能方面給客戶最大的保障,還能為客戶帶來更好的存儲使用體驗,確保能為客戶創造更大的價值。

未經允許不得轉載:存儲在線-存儲專業媒體 » 儲迅為GlusterFS完善RDMA傳輸引擎
分享到

songjy

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走