表一 測試需求項簡表

同時， 根據梳理的測試需求項整理了測試的硬件環境。硬件需求分為客戶壓力測試機、OceanStor 9000節點及交換機配置。具體包含客戶測試機的選型、配置及OceanStor每節點的硬件配置，如，每節點內存&NVDIMM、網卡、SSD、SAS磁盤需求、交換機型號和接口數。

3化整為零，步步為營

大規模硬件設備互聯、軟件快速部署、系統性能調優等問題都是業界難以突破500萬OPS基準測試的重要因素。華為測試項目組決定：初始使用小規模集群，做小規模測試，隨后增加測試節點，最終完成系統500萬OPS測試目標。

3.1 小試牛刀

小規模集群驗證中，實證選定客戶機及內存、網卡配置可滿足測試需求，且按照線性擴展原則，20臺客戶機即可滿足測試終極測試目標需要。
并且OceanStor 9000在10、20、40節點規模的測試環境下，取得50萬OPS，100萬、200萬OPS時延都低于2ms的結果，達到了小規模測試要求，取得了階段性的勝利。

 
圖1 10節點測試結果

 
圖2 20節點測試結果

 
圖3 40節點測試結果

3.1一步一腳印，再出發

通過了小規模的階段測試，項目組沒有時間進行慶賀，馬不停蹄向500萬OPS目標前進。隨著節點的增多，產品交付中的細小、低概率問題被無數倍的放大，成為華為質量里不可接受的問題。

»»質量一致性

根據測試驗證進度計劃，華為供應鏈采用多批次供貨策略。在進行100節點集群驗證時，發現在軟件、系統配置相同情況下，其中一臺設備性能與其他設備相差10倍以上。經過分析，發現該設備在相同操作系統配置，相同啟動選項條件下，設備時鐘源與其他設備不一樣。針對這個問題進一步分析，最終判定是該臺設備的一個硬件器件參數異常，造成時鐘源選擇錯誤。通過增加物料參數檢查、調整該參數使用，在確?？煽康臈l件下，容忍更大的偏差等硬、軟多個手段解決該問題。

»»大規模集群部署和監控

使用單節點修改配置、順序啟動等傳統的部署方案不能夠滿足大規模集群部署。OceanStor 9000設計了方便易用的部署和監控方式，在小規模集群驗證中，只要導入配置表單，系統即能自動完成部署，完成文件系統裝載，20節點約半小時。經優化系統最大文件句柄數，協調各節點之間TCP鏈接、監控鏈接。100節點部署時間大約在1 小時左右，系統部署性能得到大幅提升。

»»大規模系統參數調優

系統中有大量的可調參數用于優化性能，如何快速的找到最有效的參數，并調整到合適的值對于測試小組來說是個巨大的挑戰。調優小組將參數分為操作系統參數和巫山文件系統參數兩大類；操作系統參數又分為協議棧相關和硬件驅動相關兩類。

文件系統調優主要集中在各子系統對系統資源的分配，使用iostat、systemtap、perf、sar等系統工具以及自研延時分析統計工具，詳細分析網絡IO地圖、磁盤IO地圖，內存使用比例關系，流程耗時，線程及接口CPU占用情況，逐步調整出各子系統最佳線程配比，最佳內存分配比例，最佳CPU綁定策略。

通過觀察網絡獨立壓力測試的情況，分別對BIOSMaxPayload、中斷均衡腳本、TCP buffer等參數進行調整，使得網卡延時縮短，吞吐量增大，最終網絡獨立壓力測試獲得最好效果。

最后將操作系統和文件系統整合到一起，確定調整參數有效，對有沖突或者還有明顯瓶頸的位置，再次綜合分析原因。

»»并行的開發和性能調優版本管理

為了應對并行的功能開發與性能調優，每個模塊、接口、獨立流程開發時即保證功能正確、異常處理完善、代碼無冗余、系統資源使用合理。每日自動構建集成的LLT測試及時發現獨立單元可能的問題，并且得出這些單元的性能情況。每次構建若發現單元性能差異，與發現問題一樣及時得到解決。

迭代模塊交付后，在自動化測試中集成性能測試，監控每個版本性能基線，出現性能倒退或者與理論分析不符，及時分析可能原因作出優化。以下為性能優化迭代流程圖。

 
所有優化均落入版本發布流程落入交付版本，保證客戶能夠獲得高質量高性能產品。

測試過程中碰到的問題有大、有小，有預計之中，也有意料之外的難題，測試項目組齊心協力，解決了一個又一個的難題。隨著測試數據的步步達成，終極目標近在咫尺。

4一直在路上

 
100節點測試結果

OceanStor 9000產品提交四種集群規模（10、20、40、100節點）SPECsfs2008性能測試結果，并一次性通過SPEC認證。其中100節點規模的系統OPS可達到5,030,264,時延也低至1.63ms，在SPECsfs2008性能測試結果中遙遙領先。從四種規模測試結果可以很容易看出，OPS 性能與節點數量成正比，并且時延曲線趨勢一致(時延都在2ms以下)，完全滿足系統大規模擴展時容量與性能的雙重需求，同時，最終的100節點部署時間在1小時左右，加快了實際項目交付的進度。真實的測試環境、第三方認證的測試數據，大大消除了客戶對產品的疑慮，這些行動的出發點不僅是因為華為人對產品質量的信心，更是華為人“以客戶為中心”核心價值的體現。

“有時候會碰到客戶對產品性能參數的質疑，我們會婉轉的給客戶看華為存儲產品經過第三方認證的測試結果。華為存儲產品的規格、性能參數不是空洞洞的寫在產品彩頁中的，而是實實在在通過真實測試環境測出來的，并是獲得第三方的認證的規格。同樣，在客戶側的測試中，我們的測試結果令客戶非常滿意，產品獲得了客戶的高度認可。”海量存儲產品總經理袁遠描述了客戶從質疑到信服的心理變化。

面對產品獲得的榮譽，測試項目組卻一刻不能停歇，OceanStor 9000極限容量的測試目標已經確定， 項目組成員又開始忙碌起來……

SPECsfs2008基準小百科

SPEC（Standard Performance Evaluation Corporation）標準性能評估機構是全球系統應用性能評測的權威機構之一（SPEC 組織官網：http://www.spec.org/）。 EMC、Netapp、IBM等60個IT主流廠家都是SPEC機構成員，均參與標準的制定并且通過該標準認證機構發布產品性能數據。
SPECsfs2008是文件服務應用的核心測評基準(http://www.spec.org/sfs2008/ )是將典型文件服務器應用進行抽象，把真實的業務壓力轉化為可測試、可衡量的參數值：通過文件訪問的吞吐量和響應時間評估文件服務器性能，同時保證存儲數據可靠性、一致性，并遵守接入一致性原則。
在SPEC 官網上，通過測試的產品名單每季度刷新，最新的2013年第四季度通過測試的產品名單，可參閱：http://www.spec.org/sfs2008/results/res2013q4/。