目前HPC應用正從過去的傳統科研領域計算密集型，逐漸向新興的大數據、人工智能以及深度學習等方向進行融合和演進。繼而，數字時代無論是智能制造、智慧醫療、智慧城市、智能家居，HPC都將成為核心技術。特別是近兩年備受關注的人工智能領域，如自動駕駛汽車、無人機、人臉識別、醫療診斷以及金融分析和商業決策等，其核心是大數據支持，HPC成為人工智能模型訓練的重要支撐平臺。

HPC通過極快的處理速度，獲取大量數據進行復雜的運算，實現數據即時分析，達到快速決策的目標。因此，HPC機群對于存儲有著較高的性能要求，保證來自多個HPC服務器密集而多樣的分析行為。

同時，由于未分析的原始數據會越積越多，并且未來還會有更多的數據需要研究/處理，因此容量和擴展性也是重要的考慮因素。HPC的總體數據最終會達到PB級別，需要超大的存儲容量才能完成歸檔。

在HPC應用環境下，業務軟件眾多（其中運行的應用算例各不相同），從而導致不同的業務對I/O負載要求不同，其中包括帶寬型、IPOS型、元數據OPS密集型、及基于MPI框架的應用需要并行訪問同一個文件的并行I/O等。例如，在新興的AI場景中會牽涉到預處理階段、訓練階段和仿真等階段，都對帶寬及IOPS有著各不相同的高要求。

在傳統的油氣勘探典型場景中，假設需要同時滿足震資料處理和地震資料解釋兩種應用場景對IO負載的不同要求，通常需要為其分別配置存儲A及存儲B，以滿足不同的IO負載性能。因此，在HPC應用的場景下，滿足高帶寬、高IOPS及低時延的混合負載模型是HPC存儲面臨的巨大挑戰。

?性能衡量標準

帶寬型業務的衡量標準（單位時間內的數據總吞吐量），主要特點有每個I/O大且處理次數少，單次I/O處理時間較長；IOPS型業務性能衡量標準（單位時間內處理的總I/O請求，及每個I/O處理的時長），主要特點是單位時間內I/O請求頻度較高，I/O請求量大，且處理時間較短；使用同一個存儲設備，在混合負載的情況下主要沖突體現在：CPU調度策略，帶寬型業務與IOPS型業務呈現為相反的調度策略，傳統技術無法實現帶寬型業務與IOPS型業務計算性能的雙重保障。

?軟件棧調度策略要求

混合負載下同樣存在軟件調用棧處理的邏輯沖突，物理性能瓶頸主要存在網絡帶寬、硬件帶寬及內存帶寬上。要想減少性能瓶頸就要通過減少網絡轉發、減少內存訪問實現、降低數據冗余。繼而與IOPS型業務產生沖突，在IOPS的應用場景下，性能瓶頸主要集中在CPU算力及軟件調用棧深度，需要通過降低I/O請求的放大量，從而降低軟件調用棧的深度。因此，在同一設備中，既要保障帶寬型業務場景的處理性能，又要確保IOPS型業務場景性能，給存儲系統的處理邏輯帶來了巨大的挑戰。

介質訪問模型

另外針對不同的業務類型，最佳的訪問模型也各不相同。要求I/O越大，通過磁頭、柱面和扇區組成的（3D參數）使得磁盤LBA連續度越高，則帶寬型業務的性能越高。然而，針對IOPS場景，I/O的大小與磁盤管理的顆粒度越匹配，則性能越高。因此，在混合負載下，主要問題體現在，數據布局如何兼顧I/O不同需求。

柏科數據ISCould分布式存儲可采用多維度創新信息技術來解決HPC場景下混合負載沖突帶寬機IOPS業務共存問題，分別通過一系列關鍵技術實現極致帶寬性能及IOPS性能。

混合負載性能雙優化

通過I/O直通存儲技術將前端應用寫入的大I/O直通存儲到節點的存儲層，以減少網絡帶寬、硬件帶寬及內存帶寬的帶寬放大問題。小I/O則通過RDMA直接內存訪問技術，將分散在其他存儲節點小I/O進行聚合存儲，隨即寫入到非易失性高速存儲介質，可進一步降低CPU的消耗。既保證了帶寬型業務中帶寬問題，又提升了IOPS的性能。同時采用，分布式糾刪技術，對元數據節點進行存儲，可通過糾刪碼算法將原始數據進行編碼，不僅保障了數據安全性，同時實現存儲空間高可用。

?軟件棧智能調度

為了進一步實現混合負載下的最佳性能，通過CPU智能分組算法及全方位QoS管理技術，來實現自適I/O大小的軟件棧調用能力。軟件棧智能調度是通過大小I/O的特點，通過CPU動態分組技術，實現CPU自動歸屬應用，為不同要求的I/O實行專核專用的策略，保障關鍵業務運行及IOPS業務快速響應。同時，ISCould分布式存儲可智能識別IOPS優先級別，采用全方位QoS管理技術，確保前臺優于后臺的機制。充分實現混合負載下的極致低時延。

智能處理策略

目前磁盤管理通常采用Write in place的管理方式，這種管理方式在長時間的運行之后，由于數據及部分文件反復創建、重刪，會導致傳統數據碎片化嚴重。大I/O寫入會被拆解成多個小I/O，使得磁盤LBA連續度越低。通過兩次智能處理策略，首先通過智能數據處理技術，可將數據寫入連續的磁盤空間中，將無效數據在后臺進行垃圾回收。在通過對象組智能平衡技術，對磁盤進行實時監控 、動態計算， 自動調整磁盤空間。