浪潮NF5488A5創造18項MLPerf推理性能紀錄

性能大幅提升3倍，全棧AI能力優勢凸顯

在此次基準測試中，浪潮AI服務器NF5488A5在開放優化(Open)和固定任務(Closed)的ResNet50基準性能測試中，均表現優異，相比2019年MLPerf推理榜單的服務器最好性能提升高達3倍。

MLPerf ResNet50推理性能2019 VS 2020對比

NF5488A5是浪潮自研的新一代AI服務器，是此次MLPerf全球競賽中唯一可以在4U空間內支持8塊安培架構A100芯片實現NVLink高速互聯的AI服務器。浪潮NF5488A5在系統拓撲上采用了超低延遲設計，支持PCIe 4.0全鏈路極致優化，高頻通信單元采用一級拓撲最近連接，最大限度提升處理器到AI芯片間的通信性能。同時，通過配置NUMA節點，確保每顆處理器與其直連的GPU之間通信性能最優，最大限度降低通信延遲。此外，NF5488A5通過深度優化系統結構設計，確保設備可在高溫環境下穩定運行。

本次基準測試中，浪潮展示出了卓越的AI計算軟硬件協同優化能力。在硬件層面，通過對CPU、GPU硬件性能的精細校準和全面優化，使CPU性能、GPU性能、CPU與GPU之間的數據通路均處于對AI推理最優狀態；在軟件層面，結合GPU硬件拓撲對多GPU的輪詢調度優化使單卡至多卡性能達到了近似線性擴展；在深度學習算法層面，結合GPU Tensor Core 單元的計算特征，通過自研通道壓縮算法成功實現了模型的極致性能優化，在精度無損的情況下性能提升近2倍。

各服務器MLPerf AI推理性能對比（以浪潮NF5488A5為基準，越高越好）

浪潮是全球領先的AI計算領導廠商，其AI服務器在中國的市場份額已連續三年保持在50%以上。浪潮致力于AI計算平臺、資源平臺和算法平臺的研發創新，并通過元腦生態與AI領先企業共同推進AI產業化和產業AI化進程。