去年11月底OpenAI發布ChatGPT聊天機器人,一周內用戶量突破100萬,然后緊跟時勢的是谷歌的Bard,國內百度的文心一言,阿里的通義千問等等,生成式AI的火熱程度可見一斑。
這次AI新變革在存儲行業也產生了重大影響,Gartner、Forrester等研究機構都在預測后續沖擊,那么在行業里誰會借生成式AI的東風獲得高收益呢,接下來梳理一下。
硬件方面
DRAM——運行大模型做訓練和推理的CPU/GPU服務器會需要更多,其中就包括用于GPU的高帶寬內存HBM,這個在8月29-30日,2023年全球閃存峰會上也將有此類話題展開,大家可以關注一下。
PCIe——PCIe 4.0和5.0組件提供商要為需求激增做準備。
CXL——CXL是一種開放式內部互連新標準,做硬件內存池化,目標是提高內存容量和數據傳輸帶寬,降低延遲。面向CPU和專用加速器的密集型工作負載,支持在主機和設備間進行高效穩定的存儲器訪問。
到CXL 2.0增加了交換、加密和對持久內存的支持,受大模型的需求刺激,企業對CXL 2.0的支持應該會加速,這也意味著DRAM擴展器、CXL交換機和組件公司,如三星、SK海力士等都會受益。
NAND和SSD——需求越來越多,QLC和高層數TLC NAND會受益。
存儲陣列——需要高容量和高速 IO。AI/ML集群將需要PB級容量,大模型訓練運行將需要高速數據集讀取和寫入,要求軟硬件提升并行訪問速度。
這主要有利于使用NVMe協議和支持Nvidia GPU服務器GPUDirect文件訪問的全閃存陣列。戴爾、DDN、NetApp、Pure Storage (AIRI) 和 VAST Data 等企業已經準備好利用這一點。對象存儲和塊存儲供應商則要多多努力。
軟件方面
以CXL為發力點的軟件企業——比如MemVerge等企業講述的大內存時代隨著AIGC的出現加速到來。
數據分析——供應商要抓緊調用大模型前端。
數據庫、倉庫和湖倉——一些國外企業已經在用自然語言實時查詢其組織的數據庫/數據湖,比如數據庫初創公司SingleStore就通過投喂給ChatGPT矢量函數實現SQL查詢功能,通用基礎的功能很好用。不過對國內來說,想從數據庫發家致富還是要等技術再成熟,足夠安全才行,想立刻變現是個dream。
高速陣列——供應商可能會將他們的軟件移植到將運行生成式AI模型的公有云上。這樣就可以支持采用混合本地/公有云的方法來運行大語言模型的客戶。
橫向擴展并行文件系統——IBM (Storage Scale) 和WEKA等供應商定位很好,因為他們的現有客戶采用生成式AI技術,對新客戶也更具吸引力。
其它
云文件服務供應商——可以用存儲在云上的數據集來投喂大模型,但數據需要從其底層對象庫實現更快地訪存;類似AWS、Azure和谷歌用類似 GPUDirect的方式把數據從S3和Azure Blob存儲傳送到GPU實例里。
數據編排——如果能編排大模型所需的數據就可能會獲得收益。
數據保護和安全——連接聊天機器人接口到企業設備使用時要保護數據集和識別漏洞。特定領域的聊天機器人可以檢查組織的攻擊面并確定保護它的操作。
磁盤陣列——速度太慢,但可以作為閃存之后的第二層級。
安全供應商——聊天機器人等人工智能技術可以讓它們更有效地檢測和響應惡意軟件及處理用戶交互。