IT技術就是如此日新月異，讓你永遠追不上發展的腳步。當我們還沒有太清楚HBM，技術發展已經到了HBM3。對此，需要簡單回顧一下，針對內存高帶寬、大容量、低功耗的需求，從2013年開始，國際電子元件工業聯合會(JEDEC)先后制定了3代、多個系列版本的高帶寬存儲器(HBM、HBM2、HBM2E、HBM3)標準。2022年1月28日，JEDEC正式發布了JESD238 HBM DRAM(HBM3)標準，技術指標較現有的HBM2和HBM2E標準有巨大的提升，芯片單個引腳速率達到6.4Gbit/s，實現了超過1TB/s的總帶寬，支持16-Hi堆棧，堆棧容量達到64GB。

美光的新產品就是新標準的產物，其實現了8層堆疊24GB容量，引腳速率超過9.2Gb/s，總帶寬超過1.2TB/s。該產品基于美光1β DRAM制程工藝，將24Gb DRAM裸片封裝進行業標準尺寸的8層堆疊模塊中。據了解，美光12層堆疊的36GB 容量產品也將于2024年第一季度開始出樣。其中，美光所使用的主要技術是將硅通孔（TSV）數量翻倍，從而增加了5倍金屬密度以降低熱阻，并實現了更為節能的數據通路設計。

如今的技術發展就到了這樣的一個程度，非常適用于生成式AI領域對多模態、數萬億參數AI模型的需求。有數據表明，在已經部署的1000萬個圖形處理器（GPU）用例中，單個美光第二代HBM3 內存可節約5W功耗，能在五年內節省高達5.5億美元的運營費用。

在我們驚訝HBM3帶來容量和性能的同時，我們也要關注到HBM的一些局限性，如因為講HBM與CPU、GPU等主芯片封裝在一起，在出廠時就已經將規格定死，因而系統搭配缺乏靈活性。此外，相比DDR內存其容量偏小，價格昂貴，存在因為主頻偏低所導致延遲偏高等問題。但這些都是指針對通用市場和應用的狀況，但是針對AI，生成式AI的場景，HBM3 內存的優勢還是顯而易見的。

對于HBM3內存新科技帶來的沖擊波，了解產品性能和特點的時候，我們也要關注其所使用的場景，物盡其用，最大程度發揮科技的優勢，而不是被科技沖昏了頭腦！這樣就足夠了！