訓練 Grok 3 模型恐要 10 萬顆 H100 GPU,耗掉一座小城市用電量

2024-04-10 18:16:00    編輯: 陳 冠榮
導讀 特斯拉、xAI 創辦人暨執行長馬斯克(Elon Musk)對 AGI(Artificial General Intelligence,通用人工智慧)發展做出大膽預測,並討論 AI 產業面臨的兩大挑戰...


特斯拉、xAI 創辦人暨執行長馬斯克(Elon Musk)對 AGI(Artificial General Intelligence,通用人工智慧)發展做出大膽預測,並討論 AI 產業面臨的兩大挑戰。

馬斯克日前透過 X 平台(前身為 Twitter)與挪威央行投資管理公司(Norges Bank Investment Management)執行長坦根(Nicolai Tangen)線上對談,預測最快 2025 年或 2026 年超越人類智慧,但需要大量 GPU 訓練,同時需要大量電力供應 GPU 運算。

隨著 Grok 1.5 釋出,xAI 正在訓練下一代大型語言模型 Grok 2,預計可在 5 月完成訓練。馬斯克透露,訓練 Grok 2 需要多達 20,000 顆 NVIDIA H100 GPU,到了 Grok 3 以後模型需要 100,000 顆 H100 GPU。

進一步看,H100 GPU 充分利用時功耗約 700W,因此 100,000 顆 GPU 用於 AI 和 HPC 工作負載,可能消耗高達 70 兆瓦。由於這些 GPU 需要伺服器和冷卻系統來運行,可以肯定地是,擁有 100,000 顆 H100 GPU 的資料中心消耗約 100 兆瓦的電力,相當於一座小城市的用電量。

馬斯克強調,目前 GPU 供應短缺已是重大障礙,但電力供應在未來一兩年內將變得越來越棘手,這樣的雙重限制凸顯出 AI 技術演進、運算需求激增所面臨的挑戰。

(首圖來源:shutterstock)



關鍵字: , , , , , ,


標題:訓練 Grok 3 模型恐要 10 萬顆 H100 GPU,耗掉一座小城市用電量

地址:https://www.utechfun.com/post/356484.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

猜你喜歡