Aurora超算是英特爾最近參與的備受矚目的項目之一,它對英特爾整個系統產品組合都挺有挑戰性。事實上,Aurora超算不僅是世界上最大的GPU集群,同時,預計將成為第一臺峰值性能達到每秒2百億億次(2×10^18)浮點運算能力的超算。

作為一位在英特爾工作了22年的老兵,在面對Aurora超算時,Olivier Franza還是感受到了壓力。

2016年,Olivier Franza作為系統硬件架構師加入了Aurora項目,2021年,他成了首席架構師,目睹了Aurora項目向基于GPU架構的重大轉變。

“首席架構師要做的就是根據客戶的高標準要求,來調整超算的整體系統架構,”Franza解釋說?!笆紫軜嫀熞矔P注一些基本的參數,比如總體性能指標,功耗情況,還有一些RAS(可靠性、可用性、可維護性)特性,這些對于構建有擴展性的系統都至關重要?!?/p>

當然,首席架構師要關注的是整個系統方方面面,從一個個節點到一個個機架再到整個系統,還要包括各種網絡和存儲組件,都需要考慮到。

一次技術路線轉變為塑造未來產品創造了機會

Aurora超算是早期規劃中計劃采用一系列的英特爾產品技術。隨著英特爾產品路線的調整,Aurora的規劃也做出改變。

當英特爾宣布打造數據中心GPU產品線后,Franza參與到了英特爾數據中心GPU Max系列產品的設計討論工作當中。

所以說,Aurora超算不是一步到位成現在這樣的。Aurora超算的構建過程,影響著英特爾戰略和產品線規劃,也使得Aurora超算能在很高的層面解決規模和性能問題。

Franza表示,英特爾通過從組件到系統做出很多調整來滿足Aurora超算的需求。

比如,英特爾至強CPU Max系列處理器的架構和概念,就衍生自英特爾至強Phi的一些特性,這是第一個在封裝里集成了高帶寬和高容量創新內存架構的產品。

此外,為了追求更高的性能,Aurora超算的各種子系統都取得了一些進步,從刀片服務器的散熱,到高密度集成的方式再到存儲部分,都有許多創新。

值得一提的是,在這一過程中,英特爾還構建了一個全新的存儲系統——DAOS(分布式異步對象存儲)。

Franza表示,這是一個開源項目,可以在傳統硬件上實現高速存儲,而Aurora超算是首批使用DAOS的用戶之一,同時也是目前DAOS部署規模最大的用戶。

從設計組件到把數千個系統連在一起

Aurora超算項目加強了英特爾系統級思考能力,也推動了英特爾內部各業務部門之間的協作,與外部阿貢科學家和HPE(HPE是該項目的另外一個主要參與者)工程師之間的協作,有很多跨職能部門和跨組織的協作工作。

“讓一整個團隊統一行動,交付像Aurora這樣的超級計算機,對我們許多人來說,是一生難得一次的經歷?!盕ranza說。

盡管工程師在六月份就安裝了最后一臺刀片服務器,但Aurora超算后續的大規模測試、穩定性驗證還需要Franza 夜以繼日的工作。

Franza為一個大的團隊提供指導,該團隊負責Aurora超算的啟動、驗證、穩定、優化工作,盡可能發揮系統在負載下的性能表現。其中最值得注意的是High Performance Linpack(HPL)基準測試,這是Top500榜單的排名依據,榜單上都是全球最強的超算系統。

每天早上,Franza都會仔細檢查每個節點在夜間的運行情況,并為第二天及以后的工作制定計劃。每天下午,Franza都會開會總結進展和遇到的難題。這樣的工作每天都有,而機器也一直在運轉當中。

“我們會系統地進行驗證,”Franza解釋說?!跋葟膯蝹€刀片服務器開始,然后轉向機架規模,再到多個機架規模,以此進行大規模驗證?!?/p>

Aurora超算由10624臺刀片服務器組成,擁有63744塊英特爾Max系列GPU,是世界上規模最大的GPU集群。在166個機架當中,使用了一共21248塊英特爾至強Max CPU。

Franza介紹稱,Aurora超算中心的大小相當于4個網球場那么大,聽起來規模就很大,但只有親眼看到它,才會真正意識到它有多大。

Franza的首要工作就是確保系統穩定性,功能完善,還要能正常運行。這是一項非常艱巨的任務,而Franza已經看到了勝利的曙光。

走在數據中心的通道里,看著燈光閃爍著,看著機器在正常運轉,這令Franza感到神清氣爽,并且很有滿足感和成就感。

“一生一次難得一次”的努力,打造解決科學難題的超級計算機

打造一座有影響力的科研超級計算機固然會面臨很多難題和阻礙,但考慮到Aurora超算在癌癥研究方面的巨大潛力,有機會讓所有人受益,Franza內心的使命感支撐他走了過來。

Aurora超算不僅會用于解決世界上一些最復雜的科學和工程問題,它還是運行生成式AI,并將生成式AI用于研究的理想平臺。

據了解,Aurora超算將支持迄今為止,規模最大的大型語言模型,即1萬億參數的Aurora GenAI項目,從而提高科學家的工作效率、簡化科學家的工作。

Franza做的是一件了不起的事情,而工作中令他感到欣慰的還有團隊協作和友情。

Aurora超算是一項工程量浩大的項目,需要許多人付出長期努力,需要大量的毅力。

從Franza的介紹中了解到,其核心團隊一直保持著馬拉松式的心態,直到最后一刻都不能放松,團隊需要的是那種能夠長時間專注于極具挑戰性事物的人,而這些人最終所取得的成就是大部分人都很難做到的。

未經允許不得轉載:存儲在線-存儲專業媒體 » Aurora超算可解決最復雜的工程難題,也可用于運行最大的生成式AI模型
分享到

zhupb

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走