由中國計算機學會信息存儲技術專業委員會、中國教育部信息存儲系統重點實驗室和DOIT、存儲在線共同舉辦的2016中國閃存峰會在京召開,主題為“關鍵之年,讓閃存綻放”,來自產業界的眾多嘉賓圍繞閃存技術本身將如何演變與發展,以及閃存競爭的其它存儲芯片技術,存儲系統將會怎樣發展這些熱點問題進行了精彩的分享。

達沃時代副總裁雷迎春先生發表了名為“超融合與閃存”的主題演講。以下為此次演講實錄:

我是達沃時代的雷迎春,前面幾位主要講關于介質方面的事情,我們從超融合的角度看看面臨的挑戰,以及我們怎么使用閃存系統。

我在2000年左右的時候做存儲,我們的軟件06年的時候開始做,那個時候沒有特別多的開源系統可以借鑒。Yeeos是我們的核心,我們派生出了YeeStor和WooStor中心,西藏到北京,南邊是東莞的14個中心看成是一個操作系統,我們做了這樣的事情。到目前為止,我們也是為數不多的提供運營者,我們的存儲有多種接口,可以跑在虛擬機,也可以跑在物理的環境下。因為我們是SDS的軟件,所以我們硬件上是使用標準的服務器,服務器也可以放在不同的數據中心里。

我們有原數據,這是不同的設計體驗,但企業是有抑制的,有可能是高帶寬的,我們通過分布式的體驗,可以比較好的綜合使用不同的資源。我們可以看到IT結構,第二平臺到第三平臺的升級是一個非常大的概率事件,推動力可能就是數據,我們現在產生的數據太廉價。隨著數據的增加,IT系統越來越復雜,規模越來越大,其實傳統的陣列可能會比較難受。并不是說陣列技術出了問題,而是可能在云結構下面有一些場景適應不了。第三平臺的應用,現在主要就是超融合。今天講講我們在超融合開發過程中碰到的挑戰。

資源共享,傳統的陣列可以獨享CPU,可以盡可能的發揮硬件的特點,我們從編程來看可以利用多線程。如果發揮NVMe可能利用別的模式,但是在超融合不是這樣的,我們說不能使用超過20%的計算資源。我們在程序設計的時候,這不是簡單把軟件可以部署在一塊,絕對不是這樣的情況。超融合它的目標定義來說,更強調是一種均衡的性能,而不是說莫名其妙地提供數據,超融合看到應用的運行流暢性和系統的可靠性,最大的特點就是由于共享資源帶來非常強的限制。

為什么細說這件事情,我們很典型的客戶在教育環境,它們幾乎不具備像傳統IT的管理能力,對它們來說每天干的事情,關機直接拉電閘。第一個傳統的陣列很少被關,不敢動,我們現在的客戶直接關電,這個時候必須得考慮掉電保護,傳統的UPS很難利用超融合,有幾個原因,有可能是成本的原因。如果說你要把這些布件移到超融合,這個產品定義會出問題的。我們對超融合的使用來說,我們是定位于小白用戶,或者說IT感受為0。Server SAN不會考慮掉電的情況,但是超融合不得不考慮掉電。

這個軟件很難受,我們會做很多的操作在里面,因為只能通過軟件的方式避免掉電的事情,所以我認為超融合的故障電是大于Server SAN,虛擬機有各種應用機。存儲本身是自由的,超融合有其它第三方的應用。我們是通過軟件來應對突發性的拉閘式的斷電行為,我認為這是非常困難的事情。

我們傳統的陣列來說,它的硬盤相對固定,這個時候比較容易做一些數據的分布。超融合不太一樣,因為服務器和存儲介質時刻都有可能不存在,所以我們程序里花了很大的時間來解決這樣的意識性問題,資源不存在的事情。超融合需要很復雜的分布式計算技術,也需要很高效地適應節點和資源。有強的一致性,而不是系統的一致性,亞馬遜論文說提供系統的一致性,只要系統一致就可以。我們目前需要存儲一致性,只要數據存儲,你就必須得保證數據一定要存在。無論資源怎么樣,只要少的部分資源丟失不影響數據的,我認為考慮問題可能和做陣列廠商,或者說傳統存儲不太一樣。分布式為什么非常重要,節點失效是常態。

NFS基礎是RBC,你只會建一個鏈條,因為有限制。NFS可能沒有辦法用到帶寬,因為現在的網絡很快了。新的技術出現,都是為了利用已有更好的帶寬資源做。如果標準的話,需要做很復雜的轉化,這會消耗CPU的資源,本身超融合CPU不富裕,不得不用傳統的方式來做。

超融合本身是需要統一存儲的,現在很多的初創企業,或者說已有的超融合領先的企業,包括美國企業,很多的企業提供存儲。但是VM是什么?你有可能會裝數據庫,肯定里面有文件應用會需要文件性的東西。超融合本身還是需要在存儲的池里面提供統一存儲的協議,而不是說僅僅簡單的只是用一個快存儲。超融合也好,Server SAN也好,傳統陣列的功能都得有,需要分布式的技術來實現。由于CPU的限制,可能無法開啟一些功能。比如說去重的問題,我們除了去重還有一些壓縮,但凡會引起到CPU的資源,我們都沒有辦法開這樣的功能。從用戶的場景來說,超融合本身主要就是小白用戶居多,陣列或者說是Server SAN是專業的維護人員,所以它場景是完全不一樣的。超融合不太適合性能。

為什么超融合需要閃存,傳統的情況下VM可以把IO順序化,但是多個VM在一塊會把數據變成一個隨機的IO。沒有閃存是不太可能的,我們曾經在兩年前的時候做過一個全硬盤的超融合,但是這樣的情況下現在的閃存太便宜,而且很容易達到幾萬,所以后來逐漸地把這個方案放棄。但是超融合離開閃存就不需要提了。我們有兩種方式,混合存儲和全閃存,都是利用快速的存儲設備作為緩存。

現在在我們用戶的部署情況下,大部分的應用還是混合存儲,因為超融合的定義和陣列的定義不一樣,陣列的定義是高性能,高可靠,對用戶的成本還是非常敏感的。我們現在更多的工作還是在混合存儲方面。我們設計了日志式的訪問結構。這種方式很難用到超融合里面去。系統改變了IO的邏輯,由于虛擬化的存在可能會影響到存儲軟件對CPU的使用。傳統的做工作,他們沒有想過把數據寫在本地利用超融合,他們想數據怎么寫在外面的存儲,通過網絡。CPU好壞對效果有很大的差別,FTL本身讓閃存看起來像硬盤,閃存本身每次寫操作有可能只采取寫到另外的位置。

了解這件事情本身是我們怎么用好閃存的工作,閃存本身很多的便攜性,英特爾如果想利用好的話,內部架構本身是需要告知的,這些數據我們都是不斷地問它們的負責人。SSD是有內部并行的,有通道、芯片、封裝,SSD本身的讀寫力度越大的話,效果是越好的,力度小的話,開銷會大一些。讀沒有問題,寫的話大塊的寫,不要小塊的寫,我們認為這會影響到我們的系統設計。我們裸設備IO設計中,資源分配是由MDS管理,我們是把它分成段,我們基于裸設備的空閑回收。為了發揮SSD的特點,我們盡可能地順序寫解決可靠性這件事情,一部分的寫緩存,另外做只讀緩存,為了加快訪問,我們在內存里面建立了系統,緩存做了大了,一旦宕機的話,不能秒級的恢復起來,還是需要掃描介質,然后把內存的索引服務恢復起來,這是要加快的。

下面的分布式存儲可以解決可靠性和負載均衡,我們希望部署的方式更大塊的使用閃存和硬盤,這是我們這樣的東西。達沃當前的選擇,讀寫緩存盡可能利用裸設備訪問,解決延遲IOPS的問題。持久化的問題可能是硬盤,也有可能會是閃存,所以這是一套軟件既可以支持全閃,也可以支持混合存儲。

我們自己說是閃存,不能是硬盤,不能采取硬盤的方式訪問,需要采用特殊的結構來做。日志的結構是隨大流,我們利用這樣的方式比較好的可以把閃存的特性發揮出來。但是它的代價本身就是內存資源,規模其實是有限的,盡量減少CPU的消耗,這是我們現在使用的超融合。

超融合本身是一個中產規模,這是小白用戶,不太適合做高性能的事情。怎么讓一個應用運行流暢,可能會是我們非常重要的考慮。開發難度上,超融合的難度是高于分布式存儲。我們最近有幾個月的時間解決存儲的問題,我們在問原廠的程序員,他們有沒有想過這個問題,所以很多的問題可能不得不自己解決,因為如果說不解決的話系統會出很大的事情,所以我認為難度是要高于存儲的,因為存儲只需要考慮自身的事情,而超融合要考慮應用,包括了操作系統本身的東西考慮的比較多。

閃存不是硬盤,需要一種合理的數據結構才能把閃存給使用的比較高效率。雖然混合存儲居多,但是我們認為閃存和硬盤來說還是會共存的,我們現在硬盤還是大量的使用?,F在有的項目一天有幾億個對象,我們需要做千億級規模的存儲,它其實用戶就不想閃存,就是這樣的想法,在他們看來可能還是會用硬盤更加合適,硬盤會在相當長的時間內有生命力。

未經允許不得轉載:存儲在線-存儲專業媒體 » 達沃時代雷迎春:超融合與閃存
分享到

崔歡歡

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走