報告還對過去5年，工業、政府以及學術研究機構采用的HPC文件系統進行了深入調查分析。結論是，NFS仍然是目前最廣泛采用的文件系統，但使用率已從2015年的54%下降到2019年的46%。Lustre、HDFS、GPFS/Sectrum Scale則分別實現增長，其中Lustre由21%增長至32.5%、HDFS由15%增長至24.7%、GPFS/Sectrum Scale由23%增長至26.8%。

在調查的194個超級計算機站點中，共使用了349個文件系統，平均每個站點使用1.8個文件系統。 超過50%的政府網站和30%的學術網站使用Lustre和GPFS/Sectrum Scale，工業選擇NFS、HDFS和RedHat的居多。除此之外，GFS、CEPH和Pan FS占比雖然不高，但在政府、學術界和工業都不同程度的應用。

HPC存儲“大家談”

無論是開源還是商用存儲，也不管選用哪種分布式文件系統，HPC存儲技術發展終究是要適應市場的需求，特別是適應當前企業不斷深化的數字化轉型和智能化升級需求。隨著云計算、大數據以及AI融入到千行百業，無論是傳統企業、政府還是學術研究機構，數據的快速增長將避無可避，由此帶來的龐大數據處理與分析需求，勢必推動HPC存儲廠商的技術創新和變革。

面對快速增長的數據存儲、管理、分析、低延時、高帶寬的應用需求。HPC存儲廠商在做什么?總結來說，主流廠商都在瞄準大數據分析和AI分析場景，通過收購或技術創新不斷提升HPC存儲性能。

作為存儲行業的老牌廠商，戴爾易安信有著豐富的HPC解決方案組合，既有基于Lustre、BeeGFS包裝的并行存儲解決方案主打傳統HPC場景，又有基于PowerScale(前Isilon)構建的數據湖解決方案主打HPDA場景，同時推出了系列全閃存儲機型和PowerEdge服務器、400GbE開放式網絡交換機等形成AI就緒解決方案，通過多種方案組合應對傳統HPC向HPDA、HPC-based AI演進趨勢。

IBM正在將軟件定義的IBM Spectrum Scale存儲產品與基于 IBM POWER9處理器的I/O密集型服務器結合起來。通過將整個組織的存儲需求整合到 IBM ESS 5000 和基于 NVMe的ESS 3000上，支持需求苛刻的 HPC、分析和/或高容量存儲需求。IBM ESS 5000專為數據湖而設計，單個節點的性能可達到 55 GB/秒，可擴展至堯字節級容量。

戴爾易安信和IBM都將存儲未來的發展壓向“AI、分析和HPC”應用，足見各大廠商對HPDA、HPC-based AI應用場景方向的看好和認可。

作為一家專注于高性能計算存儲的供應商，DDN擁有一系列快速訪問和可擴展陣列，可單獨使用，也可以與GRIDscaler Spectrum Scale和EXAscaler Lustre系列中的橫向擴展并行文件系統捆綁使用。近年來，DDN通過一系列的收購來強化其存儲系統面向AI、5G等場景的支撐能力。2019年收購軟件定義存儲公司Nexenta，該公司擁有一系列文件，塊和對象存儲軟件產品，以及基于ZFS文件系統。Nexenta已進入了市場，其在物聯網市場也在開拓計劃中。收購Nexenta，不僅能拓展DDN存儲面向5G、AI以及物聯網等場景的能力，還可以在Lustre和Spectrum Scale產品之下獲得更為通用的文件存儲。

對比業界幾種主流的文件系統，Lustre作為超20年歷史的老牌開源并行文件系統，專門面向HPC場景設計，具有很強的擴展性和超高的帶寬能力，HPC場景生態上也支持度很高。但開源文件系統的通病也在它身上充分體現出來，系統復雜性高和調優維護復雜是客戶對Lustre詬病最多的點，同時，Lustre的企業特性較少，小文件性能偏弱也成為其面向HPDA/AI場景演進的障礙。

IBM Spectrum Scale(前GPFS)作為并行文件系統的另一大分支，相比Lustre在企業特性方面和小文件性能上有了較大的增強，但仍然沒能擺脫系統復雜性高和調優維護復雜的帽子，隨著IBM近兩年在整體存儲市場走弱，Spectrum Scale也面臨困境。

PowerScale的OneFS作為通用分布式文件系統的代表，憑借多協議互通能力和系統易用性，在新興的以自動駕駛為代表的HPDA場景斬獲了較多的市場份額，但不支持MPI并行訪問接口和相對較弱的性能，又限制了其在HPDA場景的競爭力。

隨著傳統HPC向HPDA、HPC-based AI方向演進，各行業迎來了數據量爆發和異構算力加入，那么有沒有一種存儲能解決企業的所有需求，應對跨協議訪問、混合負載性能、成本、可靠性等多方面給存儲帶來新的挑戰?

2020年HC大會期間，國內存儲市場的領軍者華為正式發布新一代HPDA存儲解決方案，依托OceanStor Pacific提供的多協議互通、面向混合負載、超高密設計能力，強勢進軍HPC/HPDA市場。華為作為國內頂尖科技公司的代表，一旦全力投入某個領域，還是能給我們帶來很多期待的：

首先，華為OceanStor Pacific可以實現POSIX/MPI/NFS/CIFS/HDFS/S3等多種協議的無損互通，實現HPDA場景下不同協議訪問的數據零拷貝。相比業界網關式的協議互通，OceanStor Pacific的多服務構建在統一的非結構化數據底座上，每種協議均可直接訪問，無需網關或插件，從而可以實現性能無損和語義無損的協議互通能力，同時各服務能夠共享數據底座豐富的特性能力。

其次，華為OceanFS新一代并行文件系統，架構設計時同時繼承了分布式存儲的高并發帶寬能力和集中式存儲的小文件高OPS能力，再輔以DPC(Distributed Parallel Client)分布式并行客戶端支持MPI-IO，實現單流和單客戶端性能加速，實現了面向混合負載的全場景加速，能夠更從容的應對HPDA場景的復雜業務負載。

針對HPC和大數據、AI技術融合后帶來的數據量爆發，華為OceanStor Pacific還推出了系列化高密硬件，來降低海量數據的空間占用和存儲成本。OceanStor Pacific 9950高密NVMe全閃機型可在5U空間提供高達160GB/s的帶寬和200萬的IOPS性能;OceanStor Pacific 9550高密大容量機型則可在5U空間放置120塊HDD盤，提供高達1.68PB裸容量，通過兩者的分級，可以實現數據的性能與成本均衡。

歷史上，華為強勢進軍某個領域，都給該領域帶來了巨大的變化，這次華為憑借系列硬核技術發力HPC/HPDA場景，我們也有理由相信將推動HPC向HPDA、HPC-based AI方向的快速演進，實現HPC產業升級。我們也期待有更多的存儲廠商發力HPDA場景，讓HPDA存儲的春天早日到來!

來源：飛象網