存儲專欄:人多錢傻?談談華為40PB單一文件系統驗證的意義

西瓜哥 發表于:14年05月14日 21:00 [原創] 存儲在線

  • 分享:
[導讀]今天我們來解讀一則新聞,也就是華為驗證40PB單一文件系統的新聞。我也聽到有人說,華為有必要這么折騰嗎,感覺這么做不就是人多錢傻嗎?

存儲在線 專欄文章:今天我們來解讀一則新聞,也就是華為驗證40PB單一文件系統的新聞《華為大數據存儲實現統一管理40PB文件系統》。

華為上周發布這個新聞后,在業界引起了較大的反響。但我也聽到有人說,華為有必要這么折騰嗎,感覺這么做不就是人多錢傻嗎?(西瓜哥沒敢用人傻錢多這個詞,怕被西瓜扁,O(∩_∩)O哈?。?/p>

大家知道,存儲廠商一般宣傳自己的性能強大,為了證明這點,都會通過第三方機構進行性能的PK測試,比如華為的OceanStor 9000去年就在SPEC(Standard Performance Evaluation Corporation,標準性能評測機構)測試,創造了一個500萬OPS的世界最快NFS記錄。


這個性能的PK是有意義的,因為是第三方機構,客戶容易認可,在市場競爭中有非常大的意義。

但極限容量驗證,真的有必要嗎?HDS VSP號稱可以虛擬化256PB的第三方存儲,好像沒有看到類似的驗證。而且容量的驗證可是沒有第三方的驗證機構,你就說支持這么大容量就可以了,反正客戶一般也用不了這么大容量。再說了,就算你驗證了,客戶也未必信啊。因為沒有第三方驗證。

那么,華為做這個吃力不討好的極限驗證有啥意義呢?西瓜哥開始也以為是否華為人多錢傻,但這兩天咨詢了一些業內人士的意見,發現其實不是這么簡單。

我們知道,華為OceanStor 9000號稱支持288個節點,40PB的容量。而且支持單一文件系統。要驗證這個容量的極限,物料的成本肯定是很高的。

為了給大家一個直觀的印象,我們看一下其中一個華為CE12800交換機上的網線,就知道這是一個多么龐大的工程。


再用數字來闡述一下硬件配置:每個節點配置35塊4TB SATA硬盤,1塊200GBSSD,兩張10GE卡,48GB內存,2顆IntelXeon E5-2420-6Core CPU,共計10080塊4TBSATA硬盤,288塊200GB SSD,13824GB內存,576顆CPU(共3456核)。

再說一下網絡:如果采用非標準組網,后端和前端分別使用了一臺華為CE12812 10GE交換機,每臺交換機包含576個10GE端口。每個節點出兩根光纖連接交換機,作為后端通道,288個節點共計576根光纖。另外出一根光纖連接交換機作為前端通道,288個節點共計288根光纖??蛻舳瞬捎?2臺壓力機,每臺壓力機出4根光纖連接交換機,共計288根光纖。整個組網前后端共計1152根光纖,其中576個為后端,576為前端。如果采用標準組網,那么網絡的規模還需要翻翻。(這里一根包含收發,其實就是一對的意思)

不知道這10000塊硬盤有多少耗電量,不過,光這1000多對光纖,估計就可以把西瓜哥壓死了。

為什么華為愿意去做這種好像是人多錢傻的事情?問了一下業內的人士,總結了幾點原因:

1. 華為OceanStor 9000的主要競爭對手是EMC ISILON,雖然現在華為的產品性能上已經勝出,容量上華為宣傳40PB,而ISILON宣傳20PB,大家都是單一文件系統。但據說ISILON驗證過15PB的容量,而且ISLION業界應用很多。華為的是新產品,需要驗證一下,給客戶以信心;

2. 客戶的數據增長很快?,F在很多客戶雖然沒有40PB的數據,但預計3-5年內超過20PB數據的客戶很多。因此,客戶也非常關注系統的擴展能力;

3. 驗證40PB下解決方案的能力。大家知道,幾十個節點和幾百個節點對系統的要求是不一樣的,有一個量變到質變的過程。比如你28個節點自動部署很簡單,288個節點部署可能就不成功,就像VDI的啟動風暴一樣。這個只有在極限的情況下,才能暴露很多小規模場景下不會出現的問題。

4. 除了驗證40PB的單一文件系統的容量極限外,其實也同時可以驗證大規模系統的穩定性,故障修復的快慢,節點增刪對系統的影響,性能是否線性增長,可維護性和可服務性,大規模系統在線升級,甚至可以跑具體的應用,驗證超百億文件的支持情況等等。其實,由于Oceanstor 9000采用的是通用的硬件構造的一種全分布的大數據平臺,因此,這種大規模的驗證更多是驗證軟件的健壯性。

由于這是一種內部的驗證,華為比較聰明,找來了CPU廠商英特爾、硬盤廠商希捷以及NVDIMM廠商AgigA Tech來共同見證,增加可信度,并且可以得到廠商的技術支持。INTEL和希捷大家都比較熟悉,而AgigA Tech是提供非易失內存的廠商,也就是系統掉電后,內存的數據可以保留。由于OceanStor 9000采用分布式元數據的架構,因此,每個節點上都有元數據,未來提高可靠性,節點掉電后,內存的數據需要得到保護。而AgigA Tech采用最新的NVDIMM技術,不需要電池(維護麻煩,有充放電次數問題),采用超級電容的方式,掉電后內存的數據會快速寫入板載的閃存芯片里,大大提高系統的可靠性。

綜上所述,華為的這個40PB單一文件系統驗證意義還是很大的,也只有大廠才有能力做這種極限測試,畢竟這個是非常勞民傷財的事情。但這個也會給客戶一些信心,特別是在現在這個宣傳指標虛高的社會環境。據說華為以后還要搞100PB,200PB甚至EB級別的極限驗證。

不知道各位親是否也認為華為這些極限驗證也是人多錢傻的事情呢?

希望大家積極反饋你的意見和建議,微信掃描如下二維碼,關注微信公眾號“高端存儲知識”,與作者微信互動。通過掌上DOIT移動客戶端,您可以訂閱西瓜哥專欄,第一時間獲得知名專家和業界領袖的深度剖析與趨勢分析。

[責任編輯:西瓜哥]
西瓜哥
西瓜哥周末把HDS VSP G1000的資料都看了一遍,大約有幾十篇英文PDF文件吧。因此,今天就把我的學習心得和大家分享一下,給那些大家沒有時間看的網友做一個概括的了解。
官方微信
weixin
精彩專題更多
華為OceanStor V3系列存儲系統是面向企業級應用的新一代統一存儲產品。在功能、性能、效率、可靠性和易用性上都達到業界領先水平,很好的滿足了大型數據庫OLTP/OLAP、文件共享、云計算等各種應用下的數據存儲需求。
12月15日,中國閃存聯盟成立,同時IBM Flash System卓越中心正式啟動
DOIT、DOSTOR、易會移動客戶端播報中國存儲峰會盛況。
 

公司簡介 | 媒體優勢 | 廣告服務 | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯系我們 | 會員注冊 | 訂閱中心

Copyright © 2013 DOIT Media, All rights Reserved.

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走