聯想凌拓資深產品經理吳靜

大家好!我是聯想凌拓產品經理吳靜。受疫情影響很遺憾無法跟大家相約線下高峰論壇,不過好在科技發展能夠讓我們“海內存知己,天涯若比鄰”,通過線上同樣可以跨越時空。今天我分享主題是“數據驅動的基石,聯想凌拓新一代全自研分布式存儲系統”。

數字經濟高速增長

數字經濟已經不是一個新鮮的話題,從2015年的“互聯網+”開始,到2016年的“共享經濟”,2018年的“數字中國”以及現在的“新基建”等等,大眾的關注度越來越高。根據IDC報告,全球前2000名的企業中,有50%企業的業務能力主要是取決于它的數字化能力。

國務院《十四五數字經濟發展規劃》中,2025年數字經濟在中國GDP占比將達到10%、近13萬億的規模。與之相對應,信息基礎建設高速增長,千兆帶寬用戶數從2020年的640萬增長到6000萬,增長近10倍,用戶的增長和各種形態的應用導致數據量更是爆炸性的增長,從51個ZB到達106個ZB。這是一個非常非常高的數字,而且數字的價值會受到越來越多企業重視。

數據資本化是數字經濟未來發展趨勢

數字經濟的核心是把數據看作基礎的生產要素,但是數字價值并不是說一開始就很明確的,一般要經過三個階段來逐步實現。

首先是數據資源的整合。數據類型是多樣的,有結構化的數據、非結構化數據以及半結構化數據,數據類型有塊存儲、文件存儲、對象存儲。如果從數據其他維度來看,有可加工的、有非實體的等一系列特征,數據其實分布在一個一個的存儲孤島當中,只有數據資產資源合到一塊才會形成規模。

第二步是數據的資產化。資產在經濟學里,是能夠產生經濟收益的資源,如果只是把數據存下來不做任何操作,它是不會產生資產的,在使用當中產生直接或者間接的收益才是資產化,數據變現的過程就是數據資產化的過程。

最后是資本化。前面所說資源化或者資產化,只是個別的現象,只有將數據價值擴展到整個行業層面,才會變成資本化。比如說在線支付,支付寶或者是微信支付、京東支付等等,徹底改變我們的支付方式,所產生新的商業模式才能稱為數據資本化,這是未來的數字經濟發展很明顯一個趨勢。

聯想凌拓:最大化的一站式的全方位數字化解決方案提供商

聯想凌拓是一家數字化解決方案的提供商,是聯想和NetApp在中國的合資公司,提供多樣化、一站式的、全方位的產品和數字化的解決方案。通過雙品牌戰略,一方面繼承了NetApp在全閃存數據管理以及通用存儲陣列上的優勢,另一方面以聯想ThinkSystem的服務器幫助用戶提供本地化的服務企業,同時聯想凌拓也具備本地開發的團隊與開發能力,能夠貼近客戶的具體需求,差異化的來解決本地化的問題。

前面我們聚焦一些理念上的內容,那理念的落地還需要一些扎實的技術和過硬的產品。

目前聯想凌拓已經構建了豐富的產品線,從不同的角度來實現對新IT架構無縫的全覆蓋。比如軟件定義領域,下圖中間紅色部分,包括了剛發布的全自研的分布式DXN存儲(這是今天的重點),也包括了DXS分布塊系列以及基于StorageGRID這種基礎的DXL分布式的對象存儲系列,基于這三個產品線實現了軟件定義存儲的全領域的覆蓋。

除此之外,我們還有傳統的交換機、備份一體機、DPA系列產品線等等,基于這些產品線更是實現對端、邊、云、網、智全線覆蓋,而且今年也在積極推動容器平臺Astra,就相關領域進行基礎研究,希望把這些技術領域研究成果應用到中國市場。

以上就是聯想凌拓產品線的概覽情況,接下來進入到今天主題分布式存儲。

聯想凌拓自研分布式存儲DXN系列迭代歷程

聯想凌拓作為一家專業的數據管理解決方案廠商,在2019年合資公司一成立時候就定下了堅持走自研路線的目標,依托于兩家專業的母公司打造全自研的分布式存儲。去年6月發布了分布式存儲1.0版本——DXN1.0,主要面向海量非結構化的數據存儲。這是一種基于云原生技術的敏態存儲架構;去年10月份,我們發布了SP1版,也就是增強版本,適配了包括OpenStack私有云或者云原生的K8S生態環境;考慮到未來國產化大方向,我們也跟海光服務器平臺深度適配,并提供了從硬件、芯片到麒麟操作系統、到存儲軟件全面實現國產化這樣一種方式的產品。

在今年4月,我們正式發布了DXN2.0版本。與之前版本相比,它的拓展性更強,而且支持多模塊方式,穩定可靠,而且通過多種數據保護方式來應對數據丟失的風險;在運維管理方面,通過事前主動防御,事中自動處理以及事后快速兜底的方式,來簡化管理操作和提高存儲管理效率。

市場上,分布式存儲最主要玩家還是硬件平臺廠商,因為軟件必須結合硬件才能發揮分布式存儲最大優勢,那么軟件可以看作分布式存儲的靈魂,而硬件雖然是核心,如果靈魂很強大但身體上病懨懨的話,這一定不是我們追求的效果,反過來,如果是頭腦簡單四肢發達,這也不是我們想要的目標。

聯想凌拓的分布式存儲融合聯想和NetApp兩方面優勢,在硬件服務器平臺上會嘗試更多更多的組合,也可以選擇更多的服務器平臺來適配軟件,利用到服務器上一些最新的技術。

作為聯想凌拓本土資源的分布式存儲,DXN2000機型主要面對的是性能和容量要求均衡型的,采用2U的聯想服務器,直連一個擴展柜D3284,在這個JBOD機箱有84塊卡結合在一塊,總共支持數量超過90塊,非常適合需要大容量但是機房空間緊張的用戶。

左邊是DXN3000機型,是一個高密度的容量型,可以支持到34塊3.5寸的大盤,適合于需要大容量、性價比好的客戶。

中間專門是為5G 8K高清這種視頻流媒體處理打造這種極致性能型的分布式存儲,它使用的是當時是最先進的NVMe、SSD以及Scale out技術,這個分布式存儲也具備了以下四點:包括海量存儲、全對稱分布式架構、多協議就支持以及更可靠的設計。

DXN分布式存儲架構

MagnaScale是分布式存儲內部的操作系統。我們將MagnaScale的軟件部署到聯想的ThinkSystem服務器上,將服務器的內置盤組成存儲資源池,同時對外提供了文件的服務和就S3植入服務,現在,分布式文件更多是將文件的非結構化歸為一類,就像我們 ONTAP軟件一樣,實現非結構化的統一,包括文件、對象等等,它們的邊界同樣在硬件服務器側增加了SSD磁盤來作為盤陣,能夠有效應對大量密接小文件的訪問。

全對撐式架構,打造安全數據堡壘

在分布式存儲中是否有元數據節點,是區分對稱式和非對稱式分布式架構的一種標志。沒有專門的MDS元數據節點的,和其它包括像MagnaScale節點的其實意味著這個節點都是對等的,是真正的全對稱式架構,在集群擴展時元數據切片落在每一節上,性能可以很好地擴展。所以當增加節點時,它的元數據的處理能力也相對增加,不會出現元數據節點熱點的問題。

在元數據安全上,一般來說還是要副本的方式來做保護,可以選擇比如說3N副本或者5副本,當選擇5副本的時候,可以同時實現四個節點同時宕機而不會影響到業務和數據安全。這意味著全對稱式架構能夠打造安全的數據堡壘。

高密度磁盤柜+高效EC算法,整體TCO降低20%

高密度的JBOD磁盤柜加上高效EC糾刪碼算法,能夠讓客戶總體用戶成本TCO下降20%以上。

在相同的容量情況下采用DXN2000加上D3284(JBOD)這種組合, 跟友商相比, 能夠明顯降低用戶的采購成本和管理成本,而且DXN也是業內少數能夠支持縱向擴展的分布式存儲。

同時,DXN也支持高效EC糾刪碼算法,通過EC糾刪碼數據保護,磁盤利用率最高可以達到94%,這也就意味著現在買1PB容量,實際損耗不會超過100TB,如果和2副本和3副本這種數據保護方式相比,糾刪碼的技術能夠大大提升空間的使用效率,在一些大規模容量的場景,明顯節省空間,提升空間使用效率。

分布式存儲依托于聯想ThinkSystem服務器擴展能力,既可以橫向擴展,也可以縱向擴展,縱向擴展中,就是直接通過單節點加 JBOD方式,增加盤柜之后,單個節點就可以達到1.6 PB的容量,到三個存儲節點的話,最小集群的就能提供4.8 PB的容量,這種組合只需要一個機柜,非常適合追求性價比、大容量但是機房空間資源有限的客戶。在橫向擴展上,DXN單個集群可以達到4096個節點,支持超過100億文件數量,支持管理磁盤的數量超過500萬,在線增加這些節點的時候,數據會自動的均衡打散到所有節點上面。采用縱向擴展方式的存儲節點+JBOD的方式,在一個節點下支持這個磁盤數超過了90塊。

有人會問,磁盤數量越多,磁盤故障概率不就越大嗎?有沒有更好的方式來應對這些挑戰呢?這是有的。針對大容量節點,我們一般會采用EC糾刪碼折疊技術,就像動畫一樣,假設現在是6個節點,如果采用4+2的保護模式,它可以同時預防,把數據的分成4個數據片和兩個校驗片,放在六個節點上,假如兩個節點同時都發生了故障,這個時候可以通過剩下節點上保護好數據,再加上糾刪碼的數據,把丟失的數據算回來。這是一種經濟的保護方式。

假如說現在是三個節點,正常情況下只能使用2+1糾刪碼的方式,因為糾刪碼根據節點來進行計算,能夠預防壞掉一個節點,不會存在數據丟失的風險;但是當兩個節點上都有磁盤損壞情況下,就會存在一定的數據丟失風險。預防這個問題的做法是,把物理的節點做成虛擬的節點(Vnode),這樣三臺物理節點就變成六個邏輯節點,就可以嘗試做4+2的糾刪碼方式,這樣的邏輯節點劃分能夠有效應對不同節點同時壞掉多塊盤的風險,數據仍然能通過剩下的磁盤上的數據和糾刪碼的數據算回來。

快照在文件存儲中是一個比較常見的數據保護方式,通過快照可以實時數據文件備份,也可以通過快照來做數據的恢復。傳統的文件快照是一旦說對父目錄做了快照,就不能再對子目錄拍照了,假如現在一個部門有不同的組員,他們有各自工作的目錄,他的工作進度也不相同,只采用一種快照方式,那么其他組員其實也是進入快照保護。假如有數據要恢復的話,有的組員就變的非常不方便。

嵌套式快照是有加強型的一種快照保護方式,能夠對父目錄、子目錄進行解綁,同時對每一個目錄包括子目錄和父目錄各自做快照,隨時隨地保護用戶的數據,非常適合在多部門協作共同使用分布式存儲的場景。

通過SSD盤來加速緩存讀寫,能夠有效提升小文件處理效率。SSD緩存能夠同時對讀和寫的加速效果,在讀這種場景下,SSD Cach能提升讀的命中率,在寫的這種場景下小文件會先寫到SSD緩存盤上,對上層應用確認之后再回寫到HDD磁盤上。對大文件,一般可以選擇磁盤直寫模式,即繞過SSD緩存,利用多塊磁盤的并發能力來提升總體帶寬一種效率,這樣在面對大文件和小文件的時候能夠輕松的應對,因為在小文件時候主要看IOPS,在大文件時候主要看帶寬。

內部測試表明,啟用SSD緩存模式和不啟用SSD緩存模式下的直寫模式,性能相差了76%,而且只用了一塊SSD緩存盤;根據性能的要求增加SSD緩存盤的數量,能大大提升分布式存儲節點性能。采用全對稱式架構,元數據是部署在所有節點上,因此,集群的性能會隨著節點數據量線性增長。

更多的企業存儲設計

在分布式存儲設計中,我們還有很多企業級的設計,比如硬盤的數據校驗,能夠對這存儲的數據文件進行定期校驗,是不是有些損壞,或者因為比特位的反轉造成數據文件的損害或者數據丟失。一旦發生問題的話,會及時進行恢復,這是磁盤一個叫數據校驗的功能,同時也有些磁盤的亞健康的檢測,能夠有效檢測哪些磁盤存在潛在的問題,去定位故障、分析原因,而且也增加了對安全域的支持。

DXN目標應用概覽

聯想凌拓分布式存儲在各行各業都有一些適用的應用場景。

在廣電領域,一些視頻的素材存儲或者是編輯、分發,需要一些大容量、多并發處理場景,還有在金融行業的影像平臺、雙錄系統或者無紙化辦公,大規模數據湖,以及PACS系統存儲等,大多數的時候是要求具有海量、高可靠以及能夠處理海量數據性能這樣的能力。

來看一個實際的醫療行業PACS系統應用案例。

我們知道,在醫院里有許多檢查設備,包括了X光、CT、核磁、超聲或者顯微鏡等,這些檢查設備的統稱為醫學影像設備,為醫學診斷或者減輕患者痛苦提供很大的幫助,管理這些影像設備的系統就叫PACS系統, PACS系統就是把一些影像設備產生各種的文件,通過各種接口進行存放和使用,所以PACS系統是醫療系統核心的生產系統,高可靠性和大容量是PACS影像系統存儲首要要求。

衛健委在2017年實施電子病例提出一個業務管理規范,明確要求電子病歷必須要有醫療機構來保存,要求患者最后一次就診的記錄不少于15年保留期限,住院病歷保存期限不少于30年,這就要求PACS具有海量數據存儲和管理能力。

PACS影像文件中一般是以小文件為主,從幾十K到幾百K不等,可以想象,一個患者從拍片到拿到報告差不多2到3個小時,所以PACS系統具有能夠并發處理大量小文件讀寫,具備海量存儲大容量和高性能、可靠性,一般來說都是采用文件存儲方式,而且分布式特點也是比較符合這種場景的。

聯想凌拓為南方某醫院PACS系統存儲架構提供了端到端的存儲解決方案。PACS系統采用的是文件,后端對應文件的共享協議,后端NFS作為PACS后端訪問協議,因為客戶對數據安全和場景保存是有要求的,在這里也去考慮兩層架構:第一層數用是閃存設備——FAS系列高數值處理能力應付日常大規模的并發量比較高的訪問,但是閃存相對來說價格比較高,因此,它的容量配的其實也不多,為了安全起見,我們同時把數據保存到分布式存儲DXN上,防止萬一閃存出現問題的時候能夠立刻接管應用系統,然后把數據跑到DXN分布式存儲上。

這個架構使使用了三個節點構成一個集群,未來可以根據需求在線擴展,可以自動進行均衡打散。

分布式大容量的可靠性、高性能,也能夠幫助用戶應對一些大規模的這個數據的增長,以及數據的長期存放等問題。

醫院的醫療系統不僅僅只是作為門診和其他應用系統來使用,還要供給其他一些業務系統來使用,包括像CT、X光片或者超聲波等,還要應用到在一些科研領域,這個時候可以直接從分布式存儲上對數據進行拷貝來給其他用戶來使用。

DXN分布存儲是基于云原生這種架構的,它的這種大容量、安全可靠以及高性能,完全符合PACS系統對于存儲的設想和需求。

時間原因我今天分享就到此為止,非常感謝大家!

“2022分布式存儲線上峰會”,由百易傳媒(DOIT)與廈門大學信息學院聯合主辦,中國計算機學會信息存儲專委會、中國計算機行業協會信息存儲與安全專委會、武漢光電國家研究中心協辦,旨在推動分布式存儲技術發展與應用。

未經允許不得轉載:存儲在線-存儲專業媒體 » 聯想凌拓亮相分布式存儲線上峰會,發布新一代全自研分布式存儲系統
分享到

謝世誠

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走