華為智能數據與存儲產品線全閃存領域產品總監謝黎明

華為智能數據與存儲產品線全閃存領域產品總監謝黎明,發表《告別機械時代,走向更經濟的智能存儲》的主題演講,重點介紹了華為新一代智能存儲 OceanStor Dorado V6。

如何定義智能的存儲?

眾所周知,整個中國經濟增長是非常迅猛的,GDP在全球排名第二。其中,數字經濟占據三分之一的市場份額。

在整個數字化過程中,出現了非常多的新聯接以及新應用。而新聯接、新應用帶來最大的變化就是數據產生的加速和數據流動的加速。同時,還可以看到5G帶來的變化,從人與人之間的聯接變成了萬物互聯,這其中變化的本質是聯接數量的增加,包括數據流動加速。很多新的應用,如VR、AR、8K、智能工廠、自動化駕駛等帶來的數據量是極其龐大的。

以自動駕駛為例,一輛車每天產生的數據量高達64TB。車子從開發到量產需要經歷近100億公里的駕駛里程,才能達到量產要求。而這個過程中大概會產生50EB的數據,海量數據帶給基礎設施的挑戰同樣是巨大的。

面對這樣的挑戰,在今年6月,華為智能數據和存儲產品線發布了面向數據治理的智能數據治理平臺——FusionData。透過該平臺,大家可以看到,必須將整個數據基礎設施進行重新定義才能真正完成在數據治理上的挑戰。

首先從底層來看,計算會發生很多變化,使得數據類型發生了比較大的變化。例如在處理統計信息需要CPU能力;處理圖片、視頻則需要GPU能力;處理機器計算、機器學習可能需要的就是NPU能力,表明未來計算一定是從單一走向異構。

面對多樣數據,不論結構化還是非結構化數據,必須滿足各類數據的接入。因此在數據接入層需要進行重新定義,包括在存儲層,其數據一定是從單一存儲走向融合存儲。

以前的大數據平臺和數據倉從屬于不同的煙囪,如今需要進行融合處理,這就出現了很大變化,包括數據使能層可能需要非常強大的調度器,實現所有大數據數倉調度任務分析,生成一些數據主題去消費,都會使數據使能層發生變化,所以從上到下每一層都必須進行重新定義,才可能真正解決數據治理的問題。

今天是閃存峰會,接下來將會重點介紹華為在閃存方面如何重新定義。

華為閃存從2008年開始至今已有10多年的歷史。在華為整個閃存的發展歷程中,2008年發布了業界第一批閃存,在2014年發布了SAN&NAS融合存儲,到2017年發布了業界最高的SPC-1的測試結果,再到2018年率先于業界發布了全系列NVMe架構存儲系統。整個發展歷程中,華為的創新步伐從未停止。

在今年7月23日,華為在北京發布了OceanStor Dorado V6新一代智能閃存,其在快、穩、智能三個方面有突出表現。

首先是。對于閃存而言,一定是非??斓?,所以上一代華為發布了700萬的IOPS和0.3毫秒時延的存儲系統。7月23日發布的OceanStor Dorado V6達到2000萬的IOPS和0.1毫秒的時延。但這是不是足夠快呢?其實華為做存儲將近20年的時間,華為深有感觸,在生命周期中會經歷非常多的過程,因此需要對數據進行保護,需要“大掃除”,做一些垃圾回收,可能還要打一些快照,做一些備份,還包括內部的后臺處理。在所有場景之下是否可以保證存儲體驗的一致以及對性能的影響最???

OceanStor Dorado V6不僅可以提供高性能指標,還能提供全生命周期性能體驗的穩定。好似開車一般,不僅希望加速快,而且在過溝溝坎坎的時候振蕩非常小。華為現在能做到的是控制在10%以內,而業界大概在30%,這就是華為理解的快。

其次再談一談為什么能這樣的快,為什么能做極致性能?其核心在于軟件、硬件,而最重要的事情是華為擁有五顆芯片去解決這些問題。

華為自研SSD控制器,華為的控制器能夠把讀寫訪問時延降到最低,包括整個控制器單板上面用的板機管理芯片都是華為自己研發的。因此華為能夠做到整個板機各種故障識別,包括準確率能夠實現業界最佳。同時,華為在整個OceanStor Dorado V6上面還搭載了AI芯片,具備自學習能力,使之能夠越用越好。

鯤鵬920處理器就是CPU芯片,這個是存儲控制器上面的關鍵芯片。一顆芯片上面有48個核,大家可以想一想一套高端存儲系統如何才能把如此重核的系統性能發揮到極致?這是一個難題。華為需要利用資源分區的專利技術,去協調重核,將溝通沖突的問題解決,否則核數再多也無處可用,這便是快。

方面,OceanStor Dorado V6在業界又實現了哪些超越?我們知道存儲控制器是常見的故障,控制器故障在生命周期是很可能出現的,而業界針對控制器的故障能做到什么樣的水平呢?壞了一個控制器沒問題,兩個也能冗余,但是后面再壞更多控制器可能就不行了。華為在新的OceanStor Dorado V6架構里面,就把架構做了解耦,能夠實現8個控制器壞了7個情況下還能提供業務。

華為憑什么擁有這樣的可靠性架構呢?其核心的架構設計是華為SmartMatrix全互聯的架構,這樣的架構中間通過RDMA的網絡,實現了前端的IO和后端的控制器以及盤控全部解耦,全互聯的設計,能夠實現這樣的架構。而里面最關鍵的部件就是IO的共享卡,內置了華為自研芯片,把所有的FC芯片、CPU芯片全部整合,這樣做帶來的好處是,我們看到的OceanStor Dorado V6僅僅只有4U的空間就能把它全部搞定。

講完可靠,那智能又意味著什么?上半年在與歐洲運營商客戶交流過程中,他提了一個很好的概念,即白手套式運維。

每個人進入機房是必須帶上手套,主要是為了防止靜電損害設備,而客戶希望手套永遠是白的,永遠不會變臟。而手套變臟的核心是要觸碰設備、操作設備。但如果不觸碰設備、不操作設備,是不是意味著手套不會變臟,而客戶所需要的就是這樣一種運維方式。

而這背后就要求存儲系統擁有足夠的自動化能力去解決這個難題,不觸碰也能夠操作設備,這就叫白手套運維。

白手套運維設計想法得靠三層架構去解決整個自動化的問題,徹底釋放。而設備必須要有AI的能力,所以華為在存儲中應用了AI芯片,其次在管理上實現全生命周期的過程中都能夠自動化,而不僅僅是覆蓋某個環節;其次,還得配備一顆云上智能的大腦,必須能夠做智慧的算法學習。

目前,存儲面臨的問題是相同的,當面臨非常多的場景去匹配,可能需要不同的配置,不同的性能去滿足不同的要求,華為希望打造智能的存儲。

未來存儲上需要承載的IOPS是千萬級的,就意味著我們的IO特征數據可能過億,面對海量的數據分析,完全依靠CPU承載是不行的,必須要有AI的芯片,而華為恰好有這樣的芯片,將該芯片放在存儲中,以解決邊緣智能問題。

如果將它用在不同的技術中,會帶來怎樣的變化?華為的客戶不再關心這些事情,交給存儲自身去學習,去配置,自我優化和完善,這就是智能存儲。

除了存儲上有AI能力以外,更重要的事情是整個管理上必須能夠全流程解決自動化的問題。因為全流程會涉及到設備、規劃、部署、分配、維護、優化整個端到端的環節,往往可能要配十幾個管理員。

現在華為把整個過程全部實現自動化,通過一個簡單的例子,大家或許更為清晰。以前規劃存儲時,可能并不清楚該采購多少容量,多少性能。而現在這套系統就可以告訴用戶,未來在三個月時,系統達到的性能瓶頸,現在應該采購什么樣的控制器達到多少性能等等,徹底地解決管理員,這便是全流程生命周期的自動化。

除了這些還夠不夠呢?還不夠,為什么?因為客戶得要有一顆大腦,這顆大腦在哪里?就在華為的公有云上。華為在公有云上部署了eService系統,將全球19萬臺設備接入到這套系統中,積累了將近2個PB的特征值數據,通過這些特征值數據不斷地學習算法,來去優化運維過程。

用戶能夠發現,在全生命周期過程中的任何場景,都能提供很多智能建議,告訴用戶可能在兩周后某塊盤可能會故障,會告訴用戶什么時候可能會面臨性能的瓶頸,這就是這顆大腦所發揮的作用。

智能化則主要體現在自動化三層架構上面,真正去解放管理員的雙手,實現“白手套”運維。除此之外,在華為整個數據生命周期所有的用戶一定都會有一個痛點非常的明確,即存儲設備這些年大多在英特爾之下,每到三年設備就會過保,可能就會面臨數據遷移,這個過程很可能需要終端業務來做,尤其是一些核心業務。

是否有辦法實現無需遷移?華為在OceanStor Dorado V6上提供這樣的能力,即做設備永新的能力,意味著生命周期內甚至會延長到10年內不再需要再做數據遷移,只需要不斷地去更換整個存儲系統里面的部件,控制器、引擎等等,便可以實現整個設備不斷地更新,這就是設備永新。而這個過程中你就發現不用再做遷移,這樣存儲的使用體驗會相比以往的傳統存儲會有質的變化。

華為如何把閃存推廣出去,如何做普惠,華為在這塊也做了非常多的事情。大家知道華為是既做系統也做盤,而華為的SSD盤已經上市銷售了10年?,F在華為做盤到底是什么程度呢?我們業界NVMe和SaaS的SSD華為是全球第五名,而前四名都是一些老牌的廠家。

華為自己做盤能夠帶來的就是存儲系統跟盤能夠做深度的整合,真正把盤的性能、壽命和容量做到最優,同時可以發揮很多數據縮減的軟件能力。華為現在在做數據縮減,希望通過數據縮減進一步把SSD應用成本降低。

因為SSD相比機械盤速度是100倍的提升,適合做數據庫、數據中心、適合將以前老舊的存儲全部整合成一臺全閃存。這樣可以發現空間的占用,能耗,運維成本等均會大大降低,這就是全閃存最合適做的事情,這也是為什么這些年全閃存發展如此之快。核心在這里,它不僅僅快,不僅僅穩,還是真正的綠色環保。

這就是本次介紹整個OceanStor Dorado V6,新一代智能存儲。我相信它的快、穩,包括智能一定能夠將整個產業加速向全閃存推進,去告別數據中心最后一個機械部件、機械盤,為整個數據基礎設施提供澎湃的新動力。

謝謝大家!

未經允許不得轉載:存儲在線-存儲專業媒體 » 華為謝黎明:告別機械時代,走向更經濟的智能存儲
分享到

zhangnn

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走