SPC-1性能測試結果發展規律

從行業洞察角度,浪潮還注意到這樣一個現象:在SPC報告顯示主流廠商雙控性能呈現這樣的態勢:每四年IOPS翻番、延遲也是倍速降低;KIOPS的價格下降4倍、GB單價下降兩倍。

為什么要關注雙控?因為盤陣、集中存儲使用的緩存鏡像保存大量元數據、配置數據、集群數據、狀態數據,在空閑時數據才會寫入磁盤,為防止單點失敗,至少會在兩個控制器保存有副本,以提高可靠性,通常只有這兩個控制器針對同一個I/O流、同一個卷才能承接存儲服務。

浪潮存儲首席架構師孫斌介紹存儲從硬盤、混閃到全閃的性能演進歷程。

從雙控角度,IOPS的值代表著存儲性能的一個重要指標,無論是4控、8控還是16控,四年來,這個值迭創新高。

從SPC的報告中選擇了兩組數據作為對照,總結出存儲的“硬盤-混閃-全閃”的性能演進歷程:

硬盤時代,雙控IOPS的最高值是25萬,TOP廠商的平均IOPS約為十萬;在全閃存的今天已經實現了雙控45萬,頂級廠商平均IOPS突破了131萬;

在平均延時方面,硬盤時代是5.11毫秒,如今已經低至0.92毫秒,并且所有廠商都可以做到IO亞毫秒級響應;

在平均性價比方面,每KIOPS從硬盤時代的5139美元跌至今天的328美元,差距擴大至三到四倍,原因是除了介質的變化,還在于CPU性能的提升以及軟硬件融合;

在可用空間方面,軟件棧技術的采用,使得RAID0提升至RAID5,可用資源大幅節省,同樣的投資可以獲得更多的物理空間,另外,需求提升了產能,每GB投入從50美元下降到今天的14美元。

從上可以發現,一方面,企業客戶的數據持有量在持續膨脹,另一方面,技術的使然,從硬盤到混閃、SSD全閃時代,存儲成本每四年倍速遞減。

你方唱罷我登場,SPC價值猶存

SPC是由世界級存儲供應商聯合組成的一個非盈利機構,20年來專注于存儲行業供應商性能評測。針對存儲行業的需求和關注,SPC創建了首個存儲行業標準的性能標準。從組件級評估到完整的分布式存儲系統的測量,SPC標準提供嚴格的、經過審計的和可靠的性能度量。

SPC收集客觀并分析送測廠商從硬盤、混閃到全閃時間推移的變化過程中雙控系統IOPS、平均延遲、$/KIOPS,ASU價格等產品及指標變化,嘗試定義存儲性能負載(workload)以及提供產生負載壓力測試工具,為廠商提供可以發布自行測試平臺一類的服務,對每個版本性能負載詳細的定義是公開的,任何廠商都可以免費下載,但測試工具則需要成為會員去購買,每次發布廠商報告需要支付一定的費用。

SPC的觀點經常被業界主流媒體及機構,諸如Block&File (Chris Mellor)、TheRegister、StorageNewsLetter、ZDNet等引用,相關的主流廠商也選擇不同維度進行分析,形成新的觀點。

十年前,SPC榜單上全球前五名的存儲廠商基本上都來自美國,隨著日本、中國、韓國等亞洲廠商陸續介入,兩年前開始,美國廠商越來越少了。

按照不少存儲大咖的觀點,美國廠商退出后,這個榜單就沒有什么價值了,因為都是亞洲廠商在“玩”,而且這些廠商的產品也很難打入美國市場。

但浪潮存儲并不這么看。

“盡管美國公司越來越少,但這個榜單依然有效?!崩顺闭J為原因在于,跟行業TOP客戶溝通交流的時候,廠商要想證明自己的產品性能和技術實力,僅靠自家的測試報告、成功案例遠遠不具備說服力,必須提供第三方公告到整個生態圈的測試報告。

其次,全閃棧對硬件軟件產生的變革發揮著積極的作用,而SPC嘗試對在線事務處理負載進行系統的梳理,并且在過去四年時間SPC持續演進,今年11月還發布了升級版3.10,因此可以斷定Workload永遠不會過時。這也是SPC另一項重要的貢獻。

SPC-1演進歷程

從榜單上看,最近兩年技術更新進入了相對的平緩期,性能數據的變化已經下降為兩位數。這引發人們對未來發展方向的猜想。在浪潮看來,未來四年,技術棧上存儲還將迎來很多發展機遇,會有更多創新型廠商進入,所有廠商都將借助SPC榜單來展示自己存儲性能的提升。

“在這樣一個技術的變革期,誰搶占住風口就贏得更多的關注,并且能帶動營銷,反過來又促進研發投資、加速技術和產品的升級換代?!睂O斌強調。

深度梳理和分析SPC Workload

浪潮對SPC的Workload進行了深度解讀,期望借此對參與存儲方案合作的SI、ISV合作伙伴以及行業最終客戶起到一定的參考作用。

在這個將SPC全文100頁的報告濃縮為一頁的幻燈片上,存儲空間被分成SU-1、SU-2、SU-3三部分,每個空間的比例不同,其中SU-1的Data Store超過50%,而SU-3為12.5%,這些空間的變化來自于SPC的會員單位的行業應用洞察。

SPC-1 Workload和演進歷程

這三部分存儲空間承載的I/O并發流速并不一樣,每個I/O流的I/O模式也各不相同,如SU-1的臨時存儲一共有四個并發流,其中三個都是8KB,另外一個流是混合流,速率從4K到64K不等,同時I/O流下發到盡管分出來差不多45的空間里,每個I/O流真正訪問存儲池或者卷,其存儲空間的范圍也不一樣。

這些數據是捕捉了大量的workload后進行的一個系統統計分析,以嘗試能夠在實驗室環境里面進行復原。

測試流程分為預埋數據、預埋數據監測以及數據收集,收集的各種性能數據涉及不同負載,時間可能長達到十幾個小時,負載壓力從百分之百滿載按十個百分點下降或上升,之后再進行數據驗證,檢測數據是否為當時定義的數據模式,最后進入系統,這個時候會做一些控制器重啟,檢測可靠性等方面的能力。

全閃存最關注也是行業客戶尚未關注到的I/O規格指標有哪些?浪潮最后得出的結論如下:

一是響應時間。

響應時間分成兩類,一是百分之百滿負載壓力情況下,二是有選擇的、不等負載力度環境下進行復雜運算(這種狀態下客戶可以感知到性能、感知到響應時間)。

二是延遲。

硬盤時代、響應時間為毫秒級的時候,尾延遲并不重要,但如果平均延時在一毫秒的時候,突然蹦出數十毫秒的響應,可能就要出問題了,因為大家一直習慣了非??焖俚捻憫?。不管延遲是99%,99.999%,誤差都需要在5%這樣一個時間范圍內。

1.全閃Workload對比:從行業中來,到行業中去

目前,浪潮存儲正嘗試把全閃存應用最多的金融、通信以及AI等主流行業合作一起制訂相應的行業標準。在金融行業,浪潮存儲從2019年1月參與制訂全閃的技術規范測試規范,也了解到這些行業的頂級企業在集采和入圍采購環境下從混閃到全閃對workload的性能要求和規格變化,覆蓋控制器升級/故障性能,盤故障、RAID重建性能。對比發現,通信和金融行業相對比較完善,AI在彈性能力和數據服務疊加領域還未涉及。

通過梳理后建立了三個緯度:

一是基準模式,包括業界熟知的I/O大小、隨機順序等;

二是彈性能力,如在客戶生產應用的生命周期需要進行維護,包括綜合橫向的擴容、軟件的升級,在真正出現這樣那樣軟硬件的故障期間、恢復以后等的性能表現;

三是數據服務疊加。

從這三個方面來看規格指標的定義,SPC-1的workload指標定義與行業客戶匯總起來的定義其實有偏差,各有長短,但是相對來說在基準測試模型方面,SPC的定義更系統、更完整。

2.全閃存儲性能 場景關鍵能力之重

為什么業界對全閃系統更關注性能和workload、如何獲取workload、如何存放存放workload,需要什么樣的工具?

另一家行業組織,全球網絡存儲工業協會(Storage Networking Industry Association,簡稱SNIA)十多年前專門運作了類似的技術工作組并發布了相應的工具,不過業界參與的積極性還不夠高。

在浪潮存儲眼里,其實這是非常好的合作機會。

浪潮存儲正在與部分高校合作。在溝通中發現,高等院校很希望接觸到生產環境的測試,“從那兒挖掘出一些廠商以為是礦但高校認為是金子的好東西來”。

為了評估抓獲workload存放產生負載,市場上已經推出了十多個工具,受到國內行業客戶青睞的是vdbench,作為開源產品,由于創作者已經退休,所以該工具并沒有得到持續維護,也一樣存在有待于解決的問題。

無論是SPC還是IO500等專業工具以及商業工具、開源工具,除了體系梳理,將來也會存在變革的機會。

為什么要考慮全閃性能在場景存儲關鍵能力上所處的位置?Gartner從2016年到2019年《全閃關鍵能力(critical capabilities)報告》時間軸變化中,把全閃存存儲產品服務的IT應用場景分為五大類:在線交易、服務器虛擬化、高性能計算、數據分析和VDI;這五大場景中,Gartner收集的是真實客戶使用IT基礎設施的體驗,以及從浪潮這樣的存儲廠商方面獲取的信息。

通過建立相應的權重,可以看到性能在全閃的7項關鍵能力中在5大場景占據4個權重第一,其中虛擬桌面排名第二位,虛擬桌面存儲的不全是持久的數據,也有一些虛擬機OS相關的臨時文件,這部分數據如果出現問題,產生的影響不大,畢竟VDI客戶關心的是數據的效率服務,比如重刪、壓縮等,后者比重占20%~40%;高性能計算的比重從42%提升至44%、數據分析場景從25%提升至36%,在線交易場景由28%降為26%,其他場景無變化。

Gartner《全閃關鍵能力(critical capabilities)報告》場景關鍵能力權重

Gartner的《全閃關鍵能力報告》中表明,廠商和客戶應用關注的重點都在性能方面,并且正在加大研發領域的投入;性能,也堪稱全閃存存儲關鍵的因素。

3.存儲負載與性能規格指標體系

依據各三方機構、行業客戶的匯總信息,其建立的全閃存儲工作負載、規格指標等其實各有短長;廠商也有責任和義務幫助用戶明確workload要覆蓋哪些、哪些是主流的、哪些是場景所需要不同的路徑,同時也需要開發出自己能夠捕獲workload的測試工具,并在實驗室里面可以重放,每一個新產品、新技術上市之前要做好驗測,和一些場景結合定義方案。

浪潮存儲對性能矩陣進行了結構化梳理,用一頁PPT來呈現,組合了數千workload要素:一是基準,二是服務疊加,如快照、復制、雙活以及壓縮、重刪等,三是在應用生命周期發生的擴容、升級、故障,維護等工作在遷移workload上面的性能指標。

存儲負載與性能規格指標體系

最龐大的是基礎。PPT對IOPS、I/O Sizes、隨機順序、讀寫比例等業界熟知的概念進行更多抽象化梳理,從而展示了一個樹型的、從上往下,在橢圓形框中并行的選項,但真實生產應用環境存儲負載遠遠不止一條路徑,可能下來后有8條、16條幾十條的路徑下來,需要收集大量的規格指標。

4.全閃存儲面臨性能瓶頸

全閃的性能,多好算好,是不是已經足夠好,發展到了盡頭?

眾所周知,時下計算機、服務器、存儲、網絡設計,都是遵從上世紀40年代的馮諾依曼架構,其I/O處理能力有兩個基本的要求:容量按需增長、與計算處理一致的速度。在過去5年,CPU遠遠不及摩爾定律翻番的要求,人工智能GPU/NPU算力正在接棒CPU,延續高速增長摩爾定律,加劇存儲I/O性能問題嚴重性。

站在今天的角度看明天,存儲系統瓶頸已經很明顯,NVMe(PCIeG3-G5)和DIMM成為SCM接口,并發效率極高,非易失性介質正在進化到存儲級內存,訪問速度的提升尤其是延遲的降低呈百倍級的變化,達到微秒級,而帶寬隨著PCIe的升級也是5至10倍的提升,曾經的16G正在向25G、64G、100G這樣的高速存儲發展。

全閃存儲的系統性能瓶頸 (來源:Redrawing the boundaries of software and Fast Memory)

借用行業兩個經典報告《Redrawing the boundaries of software and Fast Memory 》與《Hennessy and Patterson, Computer Architecture》的數據來展示從硬盤時代到SAS SSD,NVMe SSD到DIMM的SCM介質,軟件棧在延遲方面所占的權重越來越高,從不足1%到90%以上,即軟件棧的延時瓶頸;而CPU的性能過去5年僅有5%的增長,已經成為IOPS的瓶頸。

洞察應用存儲負載,建立性能量化評估體系,構筑客戶可信性能的全閃存儲。

存儲性能增長技術及浪潮存儲的創新實踐

面向性能的全閃技術演進

在浪潮存儲眼中,業界存儲性能增長方面正在研發、或剛剛完成或者是提前要啟動的一些新技術可以分成四大類:

一是并行,從CPU多核/雙路/多節點到集群的節點,從軟件棧來看有三類技術,分別是IOPS與帶寬、數據級并行DLP、任務級并行TLP;

二是針對熱數據,提供機器學習的方法予以識別,通過分層和緩存技術降低響應時間;

三是軟件棧簡化,要做快速I/O路徑,對CPU進行綁核,核之間不會出現爭用。而且所有的軟件棧,都是線性增長,用戶態采用非中斷輪詢模式,數據平面內存零拷貝;

最后是硬件加速,方式有數據的轉碼、數據的傳輸,實現數十倍的提升。

以上是浪潮存儲從一家存儲企業去洞察行業在全閃應用workload負載,以及性能相關的規格指標得出的觀察。

浪潮全閃存儲性能實踐(來源:SPC-1官網)

稍加留意,你就會注意到,最近一些年來浪潮在SPC基準測試報告當中浪潮存儲不斷獲得最高的成績,如中端存儲AS5500G2在2018年以亞毫秒延遲的評測值和IOPS性能達到最高紀錄的2.5倍成為全球中端存儲的性能領跑者;2020年3月AS5600G2的IOPS評測值超越國內廠商全部高端存儲,創造了16控存儲產品性能的全球最高紀錄;中端存儲升級版AS5500G5 2020年8月創造了8控存儲產品性能的全球最高成績;入門級產品AS2200在10月份的SPC報告中,以優異的性能價格比排名全球第一。

浪潮預測未來2到3年,Nand SSD到SCM Disk到PMM、異構等很多新的介質,以及NVMoF、網絡等新的協議,還有新的總線等將引發存儲架構翻天覆地的變化。他指出,目前尚無完整的體系能夠覆蓋非常復雜、動態變化的存儲負載,隨著技術的持續演進,應用的也會發生變化。他相信,存儲技術未來三到五年將面臨重要的技術變革期,這個領域會變得越來越熱鬧,更多國家的廠商都會參與其中。

過去兩年間,浪潮存儲在性能領域做了大量的工作。以iTurbo智能加速引擎v2.0技術為例,它在資源調度方面對任務分核、并行無鎖,增強軟件并行功能以無限擴充硬件資源,同時讓數據的識別進行分流處理,尤其是像全閃存這樣上面兩層下面兩層,還要做垃圾的回收處理,智能感知技術可區分熱溫數據并進行分層或者緩存,對即將發生的數據進行預讀。

十年的歷練,浪潮存儲已經積累的深厚的經驗,在技術領域取得了一個接一個的突破,在應用領域也贏得越來越高端行業客戶,奠定了存儲行業領導場上的地位。前不久,浪潮存儲又提出了“新存儲之道”,即以存儲平臺為根基、七大極致技術為手段,加速數據處理、數據共享和加強數據在線,幫助企業解決新數據時代下的存儲新挑戰,徹底釋放數據價值、為智慧時代提速。

未經允許不得轉載:存儲在線-存儲專業媒體 » 浪潮存儲:從SPC探秘存儲負載與性能優化技術
分享到

謝世誠

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走