浪潮AI邊緣服務器前視圖
AI芯片是以模組方式而不是傳統的芯片方式供貨給設備商，而該模組主要應用于IT場景，其140*78mm的尺寸是按照IT的大機柜場景設計的，在CT標準的狹小機箱內實現32顆AI芯片是極具挑戰的。浪潮計劃采用8個1U寬，5U高的LC槽位，每槽位4顆AI芯片互連實現32顆AI芯片的規格。
受物理空間限制，一塊LC板上只能放置2個AI芯片模組，如何在這樣的槽位內實現4個AI模組是達成該產品規格的關鍵問題。針對該問題，浪潮提出橋接，對扣，Retimer三種解決方案。由于芯片放置于AI模組上，模組同PCB連接時本身需要一對連接器，無論哪種方案都會涉及到AI芯片的25Gbps多次跨越連接器的問題。依據芯片廠家規范，4顆芯片無法多次跨越連接器，也就無法分布在兩塊單板上。但客戶需求是最強的AI算力，若不能實現單槽位4個 AI芯片互聯，服務器計算能力也會下降，無法滿足客戶需求。那就只剩一個選擇，突破廠家規范，解決25Gbps多次跨連接器的信號完整性問題，實現4顆芯片分布在2個板上互連。
三種芯片連接方案
跨板互連方案最大的技術挑戰是信號完整性設計。因為跨板互連方案不僅會導致信號傳輸距離大幅增加，而且當25Gbps信號多次跨越連接器，會加大25Gbps信號之間的串擾，增大高速信號的抖動。由于該應用無法滿足芯片原廠對系統鏈路的設計規則要求，鮮有廠商敢于嘗試這項挑戰芯片廠商設計規則的研發任務。但為了服務用戶、滿足客戶邊緣端極致化的AI算力需求，浪潮承接了這項高難度的研發任務。
規范要向應用妥協
要在1U的空間實現4顆AI芯片之間25Gbps跨板連接，就要解決信號跨板互連時的信號完整性問題。而造成信號失真的主要因素包括單板材料、傳輸長度、連接器性能及數量等等。
芯片廠商對芯片板卡上的信號損耗、回損、串擾都會有明確的要求：
芯片系統的鏈路總插損要小于21dB，其中芯片模組本身會占據8dB，留給系統的損耗為13dB。
最好的PCB板材，信號布線最長仍不能超過11英寸;
線路信號初始是900mV，到達接收端眼高會降低至0mV，需要靠芯片內部的補償機制回復眼圖。傳輸過程多使用連接器傳輸距離就要變短，同時鏈路串擾要增加。每多使用1個連接器，就需要把總線長縮短0.5英寸。同時鏈路串擾要小于7mV，多使用一次連接器，串擾會增加2mV左右。因此一般最多支持2個連接器。
“舉例來說，信號在PCB線路中傳輸就像冰壺在冰面上滑行，滑行的最長距離取決于冰面本身的光滑程度，如果冰壺在冰面遇到障礙發生顛簸，或者和其他冰壺發生碰撞，就會減小冰壺滑行的最大距離。高速信號經過信道中的連接器，就像冰壺遇到冰面的障礙，會引起信號的抖動和衰減，可能會導致信號無法正確的傳輸到接收端?！崩顺毖邪l工程師侯紹錚解釋。
“但由于邊緣端空間受限，4個AI模塊無法放置于同一塊單板上，要跨板連接就不得不在鏈路中增加連接器，那么如何系統性的減少鏈路長度、改善鏈路反射點性能、優化信號間的串擾是架構設計、信號完整性設計能力的重要指標，也是產品成功與否的關鍵能力?！?/p>
通過前期的仿真分析，浪潮選定背扣式，即方案二作為了設計方案。為了保持信號傳輸路徑最短，滿足插損要求，信號線的布線路徑不能如下圖左側黃線路徑設計，必須從連接器內部穿過。而這會導致25Gbps信號穿過25Gbps信號過孔(紅圈)之間發生串擾。浪潮工程師通過合理的布線層設計及創新性使用背鉆技術，改變過孔的長度，規避了線到孔的信號串擾。
高速信號過孔情況
依據芯片廠家的設計規則，要求AI模組端連接器有效過孔深度小于50mil，而跨板互連連接器又必須滿足stub小于10mil的要求，兩者在本方案中是沖突的。為了解決這一問題浪潮通過對有效孔長及stub對信號完整性的影響逐一仿真分析，并根據項目具體鏈路情況建模，先后仿真分析了3種不同布線方案的24種布線方式，依據該項目仿真結果同廠家規范允許的鏈路設計進行了對比，確定最終設計方案。
浪潮PCBA板布線方案
盡管項目的設計、器件選型、驗證無論是難度還是復雜度都很高，但隨著設計方案逐漸明晰，設計中的技術風險被一一攻克，浪潮開發的背扣式AI模組跨板互連方案，成功實現4個AI模組多次跨連接器的25Gbps互連，不僅達成了客戶的規格需求，也完善了面向邊緣端AI應用場景的服務器設計規范。
眼圖結果
從AI到邊緣，客戶應用打破規范是未來的趨勢
2019年5G商用牌照正式下發，5G剛剛開始，邊緣計算也剛剛開始?？拷W絡邊緣側的計算是場景化的，是高度應用驅動的，不論是一般性的計算還是邊緣AI，都需要在實際應用中一步步探索。這個過程就是技術上創新的過程。
這種技術創新不單單是要滿足更強的計算性能，更低的時延，更寬的帶寬，更是一個以實際需求，客戶實際應用驅動的不同技術標準和規范碰撞和調整的過程?？梢灶A見，隨著5G和AI等技術的發展，面對客戶不同的邊緣AI場景下海量的計算需求，將會有越來越多的廠商去打破行業規范，為邊緣數據中心提供更加多元和創新的解決方案。
