國際高性能計算咨詢委員會亞太區主席劉通

HPC與云計算交融,超算技術鋪開大圈子

眾所周知,超算話題在國內最火的兩天就是兩個榜單公布的時候,一個是國際范圍的TOP500,一個就是國內的TOP100(筆者注:明天會公布2016年度的TOP100)。兩個榜單制造了很多超算界的明星,例如項目方的天河計算系統,基礎設施供應商如Mellanox、Intel、聯想、曙光等。劉通介紹,Mellanox獨愛TOP500。

wechatimg3

首先,TOP500的超算系統統計基數大,劉通這些先進的超算系統采用的網絡方案實施更具代表性。據統計,Mellanox 互聯了TOP500中70.4%的HPC系統,互聯了TOP500中近50%的千萬億次系統(Petasale),相比采用其它互連方案的系統多出超過1倍。今年6月的榜單相比去年底的,無論是采用56Gb/s的FDR InfiniBand還是100Gb/s 的EDRInfiniBand網絡,都有所增加。

其次,劉通認為TOP500已經演變為HPC與云計算/互聯系統的混合排名,而這需要Mellanox基于超算互聯技術向基于云需要的高可擴展性方面做出創新的能力。不難發現,在兩份榜單中,越來越多的國內基于以太網互連的Web 2.0和云計算的數據中心開始入駐榜單。這些數據中心對于網絡傳輸的計算能力需求或許未必如傳統超算在MPI層那么高,但卻對高可擴展的系統網絡追求更高的效率。在這方面,Mellanox的以太網卡因為擁有RoCE(RDMA over Converged Ethernet)特性,通過遠程直接內存訪問機制在以太網上提供高效數據傳輸以及非常低的延遲,從而為這些數據中心帶來極高的性能、可擴展性、效率并且帶來極高的投資回報。

image2

劉通介紹,其實RDMA技術在超算領域早已有之,但在近兩年才開始得到了云數據中心更廣泛的認知。一方面,是云計算技術在人工智能、機器學習、數據挖掘、大數據分析領域的開展,RDMA技術有個更大范圍的用武之地。同時,Mellanox也在近兩年積極推動RDMA技術的產學研合作。例如,HPC Advisory Council接連舉辦大學生RDMA編程挑戰賽,本年度第四屆大賽吸引了全國及亞太區近60支高校隊伍參賽,輻射地域包括上海、西安、四川、武漢站、南京、合肥等地。

將CPU減負到底,開始注重節能

很長時間以來,超算領域都算是IT界一個不溫不火的話題。例如,天河計算和神威·太湖之光似乎在打榜成功后才能成為一個公眾話題。除此之外,這個圈子很多時候的創新與進展都是自己偷著樂的狀態。不過這兩年情況有所改觀,在隨著傳統人工智能、機器學習、數據挖掘概念的火熱,超算技術實現這些概念落地上優勢愈發明顯。很多超算領域的技術開始普世,甚至挑戰起傳統計算觀念,正如剛才提到的RDMA,以及接下來要說到的網絡協議卸載技術等等。

一直以來,Mellanox在高性能網絡領域都是和Intel唱的對臺戲。后者總是想讓自己的CPU承擔更多的網絡能力,例如OPA,而后者則致力于為CPU減負,按照劉通的說法就是深耕“協處理器”的開發,即網絡協議卸載技術。

wechatimg5

例如,Mellanox前不久推出 Switch-IB 2交換機,主打的也是高性能計算、Web 2.0數據庫和云數據中心交換市場。Switch-IB 2能夠實現100Gb/s的端口傳輸速率。 其中最為醒目的亮點就是,Switch-IB 2號稱是世界上首臺智能網絡交換機,能將MPI操作從CPU卸載至網絡,將系統性能提升10倍。

wechatimg4

Mellanox的多通路技術(Multi-HOST)能夠讓多個主機直接與單一網絡控制器相連接,同時保證各主機間的完全獨立、互不干涉。而且,這里面的主機可以基于不同的CPU架構(例如: x86,Power,ARM等),每個主機也能保證擁有其專用的服務質量(QoS)機制和主機管理通道。與此同時,多個主機共享同樣的網絡接口,從而還節省了交換機端口、電纜數量、占地面積和系統能耗等。

不難看出,隨著超算技術圈子的越鋪越大,高性能計算的應用也有了更大的范圍和外延。在Mellanox的身上,我們很容易對未來高興計算正在發生的以越發明顯的特征,更高的效能同時要注重更加有利于低碳環保的理念,而這又會助理超算應用范圍進一步拓寬。

未經允許不得轉載:存儲在線-存儲專業媒體 » HPC與云計算交融,超算技術鋪開大圈子
分享到

wangky

存儲在線(DOSTOR)高級編輯

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走