杭州宏杉科技股份有限公司技術總監曹鎮

宏杉科技致力做專業存儲已有十年,數據量的增長和十年前甚至二十年前相比整個變化已經不在一個級別。到2024年,全球基本上可以看到近200GB數據量的增長。

在十年前,大家都談核心交易系統,我們談的是一些結構化的數據,現在所處的時代,按照IDC新的說法,幾個大方向都在轉變,我們現在所處的類似于非結構化數據年代。

大家可以看一下,首先是全閃加速,在2010年的時候,890片10K轉速的2.5寸盤,能夠跑到十萬的IOPS。那個時候我們來講,都已經歡欣雀躍了,我們覺得是當時業界最高的值了。但是現在可以看到,拿閃存來講,幾乎整個延遲和性能都是巨大飛速的提高。也就是說今天看到所有存儲的瓶頸,基本上原來都是后端介質,但是閃存來了之后,確實給這個時代整個發生了一個變化是相當大的。

第二個,我們看到更多的解決方案包括一些廠商在原來自己產品方案都提過數據湖這個概念,可是當時沒有感應到結構化數據和非結構化數據產生,還有在AI現在這個年代里面,這些數據真正形成數據湖之后,我們才發現有諸多的盲點。比如說實際應用解決方案當中怎么把對象存儲和NAS替換還是結合,包括在一些結構化影像來講,幾億數據怎么解決等等都有很大的變化。后面再看主要是兩個更大的方向,一個是對象存儲,再一個是軟件定義。

對象存儲和軟件定義是長期趨勢

對象存儲在最開始應用起步時,是一些做內容管理的公司推出來的。2006年的時候,我們看到一些傳統的存儲企業在談對象存儲這個概念,但是似乎剛需應用沒有來,因為沒有看到更多的非結構化數據,比如微信一天的非結構化數據圖片15億張,這是一個相當大的非結構化數據時代,所以需要在對象存儲和軟件定義這部分。

我們為什么要講軟件定義,因為對象存儲真正的應用興起還是因為云,幾個云的廠商,包括BAT。在軟件定義的時候基本上把對象存儲上升到軟件定義,扁平的概念,就類似于像看谷歌一樣,沒有搞清楚谷歌為什么用一個新型的GFS替換SAN,但是在今天才意識到互聯網時代,數據整個存儲結構整個變化性是非常大的。跟大家說一下,現在切身有一個體會,目前行業幾個相關應用,比如說高性能預算數據元數據IOPS上,我們看到更多有一些SPC方案,現在基本上NVMe SSD來做元數據節點,要求值從早期看到幾十萬的大IOPS到現在的幾千萬IOPS,這是發生的一個變化。

比如說數據湖,現在4K、8K炒了很多年,大家知道一個8K的片子, 原片基本上是2TB,帶寬會對整個數據性能上產生極致的變化。我們剛剛講SPC-1,帶寬這方面也是很大的變化。再一個海量的數據對應對象存儲,因為現在非結構化數據,只要實體有的應用基本上都是億級的文件來做技術。

宏杉最早起步主要聚焦于SAN,在后面幾年的變化中,宏杉在文件和對象包括軟件定義還有備份的解決方案,也做了大量更新。在2020年的也是把產品線分成四大類,一個是傳統SAN存儲,另外一個基于整體結構上構建了一個比較完整的文件系統,再一個開發了對象存儲,后面也是有一些合作方面整個備份的解決方案。

2020年目標還是在一個平臺之上能夠把自己真正原有企業落地解決方案整合在一起。2016年3月30日,宏杉首次發布CloudSAN平臺,在2019年升級為CloudSUN解決,把所有的存儲方案整體打通。

這是NVMe的時代

從我入圈開始,大家一直遵循兩件事情,一件事情當年做硬盤的時候,存儲最大的時候都是因為硬盤,而且是主流,所以硬盤在SSD出來之前,始終解決不了的一個問題,主要還是這個盤本身的延遲和后端協議上的問題。當年的時候,SCSI3這個協議,當年已經足夠了,包括后來看到所謂SAS一些協議,不管是2.0和3.0,主要還是基于SCSI3。NVMe出現的時候,大家在當年都是略微有一些措手不及,第一個發現了具有這樣一個低延遲發生,NVMe本身的SSD做的盤的延遲已經到了幾個ms這樣一個狀況,整體上的延遲在100ms以內,各存儲廠商看到NVMe第一眼的時候,大家就想把盤陣延遲做到這么大。

在當年注定NVMe入局的時候,更重要的是下一步,今天大家看到所有的盤陣還有幾個廠商測試的時候,一會兒可以給大家看一下,大家比拼的是SCSI3。下一步的時候是在那個協議上,在NVMe-oF。

所以現在各廠商下一步競爭,是把自己前端接口協議放在NVMe-oF上面,這是一個大家目前正在忙的事情。在這個基礎數字上我們也做一些基本的拆解,我們發布了第一款NVMe全閃產品,MS7000G2-Mach在SPC-1測試中打破多項世界記錄:1.16控IOPS 1100萬,全球排名第一;2.單控IOPS 68.75萬,全球排名第一;3. 最高壓力時延,0.337ms,全球排名第一。

MOFS SAN共享與分布式構建極致性能。BigHash快速Hash,采用Hash的方式對目錄和文件進行查收。針對文件類型、文件路徑等不同的屬性參數自適應不同的Hash算法,索引速度提升100%。Unimem單一拷貝,減少同一份數據在傳輸和存取過程中多次在內存中copy的現象,延遲減少50%。

節點間平滑數據流動,XAN網絡10/25/40/100Gb低延遲以太網、32GbPCIE網絡?,F在各個廠商都在做文件和對象無縫轉換,已有文件系統性能下降,文件個數急劇增多不堪重負,文件系統多種格式,有不同廠家的文件系統,數據遷移業務不能中斷,宏杉MOSS創新技術:文件與對象間自動轉換。UDP特點,文件和對象間可自由轉換,可相互備份、拷貝和移動,支持多份拷貝,文件及對象可并行工作并實現數據同步。

存儲格局巨變,宏杉以創新引領變革

未來面臨的存儲是軟件定義和分布式和傳統一些存儲相融合的方案,所以在整個方案上,宏杉提出了MOGS的概念,類似于云網通,把結構化數據和非結構化數據在公有云上面做無縫遷移。

總結一下,從宏杉的愿景,首先是立足于基于SAN的存儲,在存儲原有比較原始的存儲虛擬化包括SAN的整合,構建CloudSUN。我們更多也看見整個存儲平臺的數據發生了結構化的數據,不僅僅是結構化的數據還有非結構化的數據。在這個平臺之外,在自己的存儲控制器里能夠啟動自己的虛擬化的概念,宏杉將來的存儲是做的類似于超融合的架構,包括傳統的備份會兼容。事實上來講,十年前最熱的話題,兩地三中心,可能現在提得比較少了,實際上今天看到整個存儲結構來講基本上在原來數據庫層面演變,將來云化在這個方案上來講,各個廠商實施新的方式,我們也會面向未來的數據管理,提供CloudSUN整體解決方案。

另外幾個方向性,國家提出新基建包括整個醫療、交通還有自主可控的方方面面,宏杉也在做相關的積極投入,新型基礎設施是以新發展理念為引領,以技術創新為驅動,以信息網絡為基礎,面向高質量發展需要,提供數字轉型、智能升級、融合創新等服務的基礎設施體系。其中,在銀行領域,宏杉對金融行業文件歸檔和檢索提供服務支持。特別是疫情之后,宏杉把對象存儲數據湖方案廣泛應用在醫共體的方案上,將來社區醫療扁平化,整個醫院信息的拉通方面來講,在對象存儲和數據湖方案方法上是比較多的。而在交通強國這塊,宏杉也推出了大量的解決方案,包括傳統一些基于視頻監控元數據管理對象存儲方案,還有集成的NAS方案,也是將來的重點。

未經允許不得轉載:存儲在線-存儲專業媒體 » 宏杉科技CTO曹鎮:無限數據 無界存儲
分享到

zhangnn

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走