該評選為攻堅算力領域中的熱點、難點和關鍵問題設立,秉承“開創性、引領性、權威性、公平性”原則,旨在發掘在算力或相關產業達到全球領先水平的基礎理論、創新方法、方法模式和平臺應用的創新成果。評審委員會由中國科學院院士、中國工程院院士、知名高校及科研機構專家、領軍企業技術帶頭人組成,集聚中國算力相關領域最具影響力的專家學者。

“PAI靈駿智算服務”是阿里云面向高速增長的AI計算需求打造的算力基礎設施服務,可一站式為企業及開發者提供AI開發全流程的工程平臺和智能算力。它具有超大并行計算規模、高性能、高效率、高利用率等特點,具備高達10萬卡量級的集群可擴展規模,能支撐多個萬億參數大模型同時訓練,其中單訓練任務可達萬卡規模,千卡規模的線性擴展效率達92%。

在此前實踐錘煉中,PAI靈駿智算服務穩定支撐了10萬億參數多模態大模型的低能耗訓練,在通義千問等大模型的訓練和應用中,將大模型訓練效率顯著提高近 10 倍,推理效率提升2倍以上。

該評選認為,阿里云PAI靈駿智算服務“以高性能網絡、高性能文件存儲、高穩定性、極致軟硬件聯合優化能力和serverless化服務能力,為大模型研究、AI for Science、AIGC等場景提供堅實支撐”。

PAI靈駿智算服務在多個核心技術領域具備領先性和創新性。動輒上千億參數的大模型訓練,并非靠簡單“堆顯卡”就能完成,而是囊括底層算力、網絡、存儲、數據計算、AI框架等復雜技術的系統性工程。除了要通過精巧的設計實現超大計算工程落地外,還要做到“又快又省”,“榨干每一滴算力性能”。

在IaaS基礎設施層,阿里云打造了智能計算集群靈駿,通過端網一體、軟硬融合的可預期網絡技術對集群計算資源進行統籌和優化,實現芯片間微秒級穩定互聯和高效并行計算。相關技術創新大幅消除了AI算力拓展性瓶頸,靈駿集群規模最大可拓展至“10萬卡級”,能為大模型的開發和應用提供靈活多尺度的智能算力,對上層平臺應用提供便捷的容器化服務。

在PaaS平臺服務層,阿里云機器學習平臺PAI可對龐大訓練任務進行自動分拆和分配,通過硬件、網絡、框架一體化協同調度能力,提供速度最快、算力最省的高性能分布式訓練方案。同時,PAI配置了自動容錯訓練框架AIMaster,在大語言模型動輒數周、數月的訓練周期中,提供極致的穩定性保障,減少人工介入成本,可將大模型訓練時間縮短10倍。此外,PAI提供簡單易用的RLHF強化學習框架,能大幅提升大語言模型效果表現。

PAI靈駿智算服務還推出了國內首個serverless化智算服務模式,提供一鍵開通、按需分配、極簡運維的用戶體驗,支持AI計算資源靈活復用,可大幅提升集群利用率,降低客戶的使用成本。

據了解,阿里云PAI靈駿智算服務已被眾多企業及科研單位應用。阿里云與小鵬汽車合建的智算中心“扶搖”成為國內最大的自動駕駛智算中心,將小鵬汽車自動駕駛模型訓練速度提升170倍以上。阿里云與復旦大學共同打造的云上智算平臺CFFF,近期發布了45億參數量的中短期天氣預報大模型,將預測速度從原來的小時級縮短到了3秒內。



未經允許不得轉載:存儲在線-存儲專業媒體 » 將大模型訓練效率提升10倍,阿里云斬獲“算力中國”年度突破成果
分享到

謝世誠

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走