美光科技宣布推出業界首款第二代 8 層堆疊（8-High）24GB HBM3，並於今天開始送樣。此產品頻寬達 1.2TB/s 以上，每腳位傳輸速率超過 9.2Gb/s，較目前市面上的 HBM3 解決方案高出 50%。此外，美光第二代 HBM3 的每瓦效能較前幾代產品提升 2.5 倍，刷新 AI 數據中心的關鍵性能、容量及功耗指標。美光指出，這些改進縮短了業界訓練 GPT-4 等大型語言模型及其更高階版本所需時間，幫助 AI 推論所需的基礎硬體架構發揮最佳功效，並提供卓越的總體擁有成本（TCO）。

奠基於先進的1β DRAM製程節點，美光領先業界的HBM解決方案能在業界標準封裝尺寸中，將24GB的晶粒組裝為8層高度的立方體。美光12層堆疊（12-High） 36GB HBM3亦將於2024年第一季開始送樣。

透過此堆疊高度，美光可提供較競品解決方案高出50%的容量。美光第二代HBM3性能功耗比和每腳位傳輸速率的改善，對因應當前AI資料中心的高功耗需求而言至關重要。美光提供較現行HBM3解決方案多出一倍的直通矽晶穿孔（TSV）數量，又以五倍金屬密度減少熱阻抗，並採用高能效資料路徑設計，實現功耗的改善。

身為2.5D/3D堆疊和先進封裝技術的領導者，美光成為台積電3DFabric聯盟的合作夥伴，攜手塑造半導體和系統創新的未來。在第二代HBM3產品的研發中，美光與台積電的合作為順利導入和整合AI及高效能運算設計應用的運算系統奠定了堅實基礎。台積電已收到美光第二代HBM3樣品，且雙方正密切合作，以進行進一步的評估和測試，進而助力客戶的次世代高效能運算應用創新。

在生成式AI方面，美光第二代HBM3亦能符合多模態數兆參數AI模型所需。公司指出，每組堆疊24GB的容量、大於9.2Gbps的每腳位傳輸速率除了能減少大型語言模型30%以上的訓練時間，進而降低總體擁有成本外，也能大幅提升每日查詢次數，讓訓練完成的模型在使用時更有效率。不僅如此，美光第二代HBM3傲視業界的每瓦效能也替現代AI資料中心扎實省下營運費用：若以裝設1,000萬個GPU計算，每組堆疊節能5瓦，預計將能在五年內省下多達5.5億美元的營運成本。

美光副總裁暨運算產品事業群總經理Praveen Vaidyanathan表示，美光第二代HBM3的研發重點，在於為客戶及業界提供卓越的AI及高效能運算解決方案；美光所考慮的一項重要標準，就是第二代HBM3產品能否輕鬆與客戶平臺整合。對此，記憶體內建的自我測試（MBIST）不僅可徹底程式化，還能以規格中的最高每腳位傳輸速率進行測試，有助於改善與客戶的測試能力，提升協作效率，並縮短上市時間。

NVIDIA超大規模與高效能運算副總裁Ian Buck表示，生成式AI的核心是加速運算，而這種運算則受益於具有高頻寬及能源效率的HBM；NVIDIA與美光在廣泛產品領域的合作已行之有年，也渴望能在第二代HBM3上持續合作，以推動AI創新。

美光運用其全球工程組織開發這項突破性的產品，包含於美國進行設計和製程研發、於日本進行記憶體製造，及於台灣進行先進封裝。繼採用1α製程節點24Gb單體式DRAM晶粒的96GB DDR5模組問世，以支援高容量需求的伺服器解決方案後，美光今日又宣布推出基於1β製程節點24Gb晶粒的24Gb HBM3產品，為美光業界技術領先地位立下新的裏程碑。

美光也計劃於2024年上半年推出採用1β製程節點32Gb單體式DRAM晶粒的128GB DDR5模組。這些產品展示了美光在AI伺服器領域的領先技術創新。

（本文由 授權轉載；首圖來源：達志影像）

延伸閱讀：