黃金比例是數學上一種堪稱“完美”的比例關系,最早由歐幾里得在《幾何原本》中進行了系統論述。之后,黃金比例的理念被廣泛應用到數學、物理、建筑、農業等多個領域,代表著最合理、最協調的一種情況或者狀態。
在數據中心領域,相關資源的合理配比愈發受到用戶們的關注。尤其是隨著大模型和生成式AI應用的興起,對于算力、存力等需求迅速提升,越來越多數據中心用戶意識到數據中心資源需要平衡配置和協調發展,才能充分發揮其能力與價值。
今年以來,產業界多次呼吁AI時代的數據中心建設不能走向偏科,算力與存力的建設同等重要。正如浪潮信息存儲產品線副總經理劉希猛所言:“當前,生成式AI時代的‘百模爭秀’格局初現,AI大模型的建設不僅要有算力底座,更要有存力平臺。將數據中心的計算、全閃存儲、混閃存儲按照1:1:1黃金比例建設,用戶可最大化獲得投資回報比?！?/p>
數據中心不能“偏科”
Gartner預測,到2023年將有20%的內容被AIGC所創建;到2025 年人工智能生成數據占比將達到10%。不可否認,生成式AI、大模型正在成為數據中心基礎設施發展最大的牽引力?？梢灶A見,由AIGC和大模型帶來的基礎設施投入在未來會持續增長。
但從目前真實情況看,數據中心的建設是“偏科”和“失衡”的。出于各種原因,“重算力、輕存力”的現象較為明顯,大部分用戶非?？粗谿PU等算力產品的部署,卻忽視了存力建設的重要性,更缺少對于數據中心整體資源的規劃與匹配。
眾所周知,大模型應用的核心是高質量數據,數據的質量又決定著算法的性能、泛化能力和應用效果,而高質量數據的得到又與存力息息相關,圍繞數據的“傳輸、存儲、分析、管理、安全”等環節,存力是釋放數據價值必不可少的關鍵因素。
事實上,大模型發展到今天,已經屬于一個大規模、高質量數據和數據高效處理的工程難題。隨著大模型逐漸向多模態的方向演進,意味著除了持續的算力需求之外,對于數據存儲的容量、性能、多協議支持、可靠性、數據管理等帶來前所未有的變化。
例如,大模型多元異構數據的歸集、標注、訓練、推理和歸檔均需要極高的效率來移動數據,這意味著支持異構數據的多協議融合將是解決大模型數據移動與處理效率的關鍵所在;又如,AIGC應用會產生大量推理需求,隨之而來的就是大規模的并行處理和復雜IO,對數據存儲性能要求極高;再如,大模型訓練動輒需要調用成百上千快GPU卡,并且存在著不同的CheckPoint,對于存儲的穩定可靠要求越來越高。
劉希猛直言,數據存儲與管理在AIGC時代承擔著兩個重要責任:其一、支撐起海量多元異構數據的全生命周期管理工作;其二、承載起AIGC數據訓練、推理對于性能、延時、容量、擴展性等各種嚴苛需求。
對于用戶而言,除了需要重視存力建設之外,一個不容忽視的現實挑戰即:數據中心的算力、存力資源比例到底應該如何配置才算最佳?為此,浪潮信息帶來了它的答案:從數據容量、帶寬、訪問頻率以及成本等多個因素綜合考量,未來數據中心在實踐中需要形成算力、閃存和混閃的1:1:1黃金比例,以滿足AIGC、大模型等人工智能應用的需求。
黃金比例是如何得出的?
相比于歐美成熟市場,我國存力的發展一直滯后于算力。這從我國數據中心全閃存普及率較低、容災保護建設力度較弱等方面可見一斑。
隨著AIGC時代的到來,這種滯后的現象更加明顯與突出。面對AIGC迅猛的算力需求,很多用戶從一開始就“走一步看一步”,往往是先購買算力,使用過程中發現存力跟不上,再去著手配置相應的存力,缺乏數據中心資源整體規劃,建設方式明顯落伍。
某種程度而言,我國通過普及和推廣數據中心算力、閃存和混閃的1:1:1黃金比例既能讓用戶在基礎設施層面更好地支撐起AIGC領域的創新,又可推動我國數據中心存力建設,實現數據中心整體資源配置和利用水平的提升。
但數據中心資源配置的黃金比例為什么會是“1個GPU節點,對應1個全閃存儲、對應1個混閃存儲” ?浪潮信息之所以會提出算力、閃存和混閃的1:1:1黃金比例,主要來自兩個方面的核心原因:
首先,黃金比例源自于浪潮信息較早就涉足大模型的實踐。早在2021年,浪潮信息就發布了源1.0中文大模型,當時該模型參數就高達2457億個,訓練文本數據量高達50TB,在這些年的大模型訓練、推理實踐中,浪潮信息自身的基礎設施產品起到了關鍵的支撐作用;同時,浪潮信息也深刻感受到數據中心算力、存力的合理配置,對于發展大模型的重要性。
例如,在大模型訓練與推理場景中,數據存儲最大的挑戰就是如何將不同將數據源源不斷傳輸到CPU和GPU,因此對于數據處理性能、如何與GPU配合等考驗極大?！皩τ谠?.0的實踐是浪潮信息存儲產品的先天優勢。市場中很少有企業能搭建一套大規模集群來進行支撐大模型的應用?！崩顺毙畔⒎植际酱鎯Ξa品線總經理姜樂果如是說。
其次,作為國內領先Top2級的企業級存儲廠商,浪潮信息對于閃存、混閃等相關存力技術的未來發展有著深刻洞察,加上浪潮信息相關存儲解決方案已經在國內多家AIGC企業中成功應用,對于AIGC時代數據中心的整體建設已經積累了較多實踐。
“浪潮信息在閃存領域具有全棧技術創新能力,從底層SSD的控制器到存儲系統軟硬件,再到上層應用,實現盤控協同,以及數據全鏈路的優化,有利于像AIGC這類應用充分釋放數據的價值?！眲⑾Ｃ脱a充道。
事實上,考慮到市場內外部環境與因素,未來算力市場GPU緊缺的情況還將持續很長一段時間,這也讓算力、閃存和混閃的1:1:1黃金比例具有非常強的實踐意義。在算力緊缺的情況下,同等算力配置下,以存強算,通過算力與存力的合理配置,可以充分發揮基礎設施整體資源的價值。
為了進一步推動黃金比例在數據中心領域的推廣,浪潮信息近期又正式推出針對大模型應用存儲系統:AS 15000G7,以幫助用戶從復雜的基礎設施中解脫出來,全力投入到AIGC創新之中。
AS 15000G7,讓黃金比例落在實處
可以說,黃金比例的普及,存儲系統是關鍵。
眾所周知,近年來隨著閃存介質容量的持續提升以及價格的不斷下降,為存力在國內的發展創造了極好的條件。毫無疑問,AIGC的興起,將進一步驅動全閃、混閃等存儲產品加速創新。
“AIGC類應用帶來了對容量、性能、功能等需求的全面提升?！苯獦饭榻B道,“存儲系統不僅需要進行全新組合與設計,進而滿足AIGC類應用的數據存儲需求,還要避免傳統存儲方案的復雜性和低效率?！?/p>
因此,浪潮信息面向AIGC應用場景打造出AS 15000G7,通過極致性能、極致管理、極致融合和極致效率來滿足用戶們對于大模型訓練的數據存儲在性能、管理、融合和效率方面的綜合需求,助力AIGC在各個行業的落地,并加速釋放數據價值。
首先,針對大模型高并發、復雜IO等特征,AS 15000G7從架構、硬件、關鍵技術、IO路徑優化等多個方面為AIGC帶來了極致性能,為大模型的訓練等帶來性能保障。具體來看,AS 15000G7通過GDS、RDMA技術縮短I/O路徑,并且利用智能元數據管理顯著提升數據訪問和檢索速度;另外,獨有的智能網絡優化技術實現提升網絡端口并發能力,時延縮短50%以上,尤其是小文件級傳輸的時延可降至毫秒級。
其次,針對大模型訓練流程管理,AS 15000G7提供全流程透明可控的極致管理。AS 15000G7可同時搭載AIStation調度平臺和InView數據管理平臺,對AI服務器、網絡、存儲等設備進行智能運維,支持訓練推理全流程的多租戶管理、資源分配、數據管理分析?？梢酝ㄟ^一套存儲實現對AIGC數據采集、清洗、訓練、推理、歸檔不同場景全流程的設備資源監控和管理。
第三,針對大模型多元異構數據的歸集、標注、訓練、推理和歸檔,AS 15000G7融合架構實現多源異構巨量數據的極致融合,對文件、對象、大數據以及視頻的存儲方式進行并行訪問,支持多協議實時互訪互通和系統扁平擴展,數據訪問過程中保持語義一致、性能無損,從而對AI大模型海量多源異構非結構化數據實現高效共享。
最后,針對大模型所需要的巨額投入,AS 15000G7可助力用戶實現黃金比例的數據中心資源最佳配比,提升投資回報比,帶來極致效率。AS 15000G7根據閃存、磁盤、磁帶、光盤等不同介質分為性能型、均衡型、容量型三種機型,并且基于自動化的數據分層和遷移,在應用安全透明的前提下,實現熱溫冷冰數據全生命周期的管理,帶來TCO的顯著降低。
毋庸置疑,AIGC的興起標志著人工智能發展的拐點已至。當下,中國已經成為全球AIGC創新與發展的熱土。不完全統計,當前國內大模型數量已經超過200個,不同類型的企業均在全力推動AIGC、大模型的發展。如今,人們愈發意識到“大模型產業發展,基礎設施先行”的道理,算力、閃存和混閃的1:1:1黃金比例建設理念出現可謂是恰逢其時,有助于探索AIGC的企業降低基礎設施復雜度,從而更好地聚焦創新。
“AIGC現在才剛剛起步,未來會持續帶來對基礎設施的需求。預計到2026年,黃金比例的建設模式有望得到廣泛應用?！眲⑾Ｃ妥詈蟊硎镜?。
