美光推新一代 HBM3 記憶體,推動生成式 AI 創新

2023-07-27 14:30:00    編輯: MoneyDJ
導讀 美光科技宣布推出業界首款第二代 8 層堆疊(8-High)24GB HBM3,並於今天開始送樣。此產品頻寬達 1.2TB/s 以上,每腳位傳輸速率超過 9.2Gb/s,較目前市面上的 HBM3 解決...


美光科技宣布推出業界首款第二代 8 層堆疊(8-High)24GB HBM3,並於今天開始送樣。此產品頻寬達 1.2TB/s 以上,每腳位傳輸速率超過 9.2Gb/s,較目前市面上的 HBM3 解決方案高出 50%。此外,美光第二代 HBM3 的每瓦效能較前幾代產品提升 2.5 倍,刷新 AI 數據中心的關鍵性能、容量及功耗指標。美光指出,這些改進縮短了業界訓練 GPT-4 等大型語言模型及其更高階版本所需時間,幫助 AI 推論所需的基礎硬體架構發揮最佳功效,並提供卓越的總體擁有成本(TCO)。

奠基於先進的1β DRAM製程節點,美光領先業界的HBM解決方案能在業界標準封裝尺寸中,將24GB的晶粒組裝為8層高度的立方體。美光12層堆疊(12-High) 36GB HBM3亦將於2024年第一季開始送樣。

透過此堆疊高度,美光可提供較競品解決方案高出50%的容量。美光第二代HBM3性能功耗比和每腳位傳輸速率的改善,對因應當前AI資料中心的高功耗需求而言至關重要。美光提供較現行HBM3解決方案多出一倍的直通矽晶穿孔(TSV)數量,又以五倍金屬密度減少熱阻抗,並採用高能效資料路徑設計,實現功耗的改善。

身為2.5D/3D堆疊和先進封裝技術的領導者,美光成為台積電3DFabric聯盟的合作夥伴,攜手塑造半導體和系統創新的未來。在第二代HBM3產品的研發中,美光與台積電的合作為順利導入和整合AI及高效能運算設計應用的運算系統奠定了堅實基礎。台積電已收到美光第二代HBM3樣品,且雙方正密切合作,以進行進一步的評估和測試,進而助力客戶的次世代高效能運算應用創新。

在生成式AI方面,美光第二代HBM3亦能符合多模態數兆參數AI模型所需。公司指出,每組堆疊24GB的容量、大於9.2Gbps的每腳位傳輸速率除了能減少大型語言模型30%以上的訓練時間,進而降低總體擁有成本外,也能大幅提升每日查詢次數,讓訓練完成的模型在使用時更有效率。不僅如此,美光第二代HBM3傲視業界的每瓦效能也替現代AI資料中心扎實省下營運費用:若以裝設1,000萬個GPU計算,每組堆疊節能5瓦,預計將能在五年內省下多達5.5億美元的營運成本。

美光副總裁暨運算產品事業群總經理Praveen Vaidyanathan表示,美光第二代HBM3的研發重點,在於為客戶及業界提供卓越的AI及高效能運算解決方案;美光所考慮的一項重要標準,就是第二代HBM3產品能否輕鬆與客戶平臺整合。對此,記憶體內建的自我測試(MBIST)不僅可徹底程式化,還能以規格中的最高每腳位傳輸速率進行測試,有助於改善與客戶的測試能力,提升協作效率,並縮短上市時間。

NVIDIA超大規模與高效能運算副總裁Ian Buck表示,生成式AI的核心是加速運算,而這種運算則受益於具有高頻寬及能源效率的HBM;NVIDIA與美光在廣泛產品領域的合作已行之有年,也渴望能在第二代HBM3上持續合作,以推動AI創新。

美光運用其全球工程組織開發這項突破性的產品,包含於美國進行設計和製程研發、於日本進行記憶體製造,及於台灣進行先進封裝。繼採用1α製程節點24Gb單體式DRAM晶粒的96GB DDR5模組問世,以支援高容量需求的伺服器解決方案後,美光今日又宣布推出基於1β製程節點24Gb晶粒的24Gb HBM3產品,為美光業界技術領先地位立下新的裏程碑。

美光也計劃於2024年上半年推出採用1β製程節點32Gb單體式DRAM晶粒的128GB DDR5模組。這些產品展示了美光在AI伺服器領域的領先技術創新。

(本文由 授權轉載;首圖來源:達志影像)

延伸閱讀:



關鍵字: , ,


標題:美光推新一代 HBM3 記憶體,推動生成式 AI 創新

地址:https://www.utechfun.com/post/243341.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

猜你喜歡