GPU 大廠輝達（Nvidia）超大規模和 HPC 業務副總裁兼總經理 Ian Buck，日前公開活動時表示，客戶投資數十億美元購買新輝達硬體，以跟上 AI 大模型需求，提高收入和生產力。從投資效益說，硬體用在 AI 大語言模型訓練，投資 1 美元回收 5 美元，如果用在大模型推理，投資 1 美元更回收 7 美元。
Buck 表示，建設大型資料中心企業特別受惠，四至五年使用壽命內獲豐厚回報。模型訓練方面，雲端運算商購買 GPU 每花 1 美元，四年內提供算力能收回 5 美元，推理用更有利可圖，每花 1 美元能有 7 美元回報，且這數字還會增長。
黃仁勳也說過類似的話，Buck 解釋原因。借助 CUDA 演算法創新，輝達將 H100 的 LLM 執行速度提升三倍，將 Llama 3 等模型成本降低三分之一。H200 推理性能較 H100 翻倍，對生產有巨大價值。
Buck 舉例，700 億參數的 Llama 3 單台 HGX H200 伺服器每秒輸出 24,000 個 Token，支援超過 2,400 名用戶，照定價看，託管 Llama 3 的供應商每花 1 美元買輝達 HGX H200 伺服器，四年內從 Llama 3 token 計費賺到 7 美元。
Llama、Mistral 或 Gemma 等 AI 推理模型不斷發展，輝達將開放性 AI 模型導入 NVIDIA 推理微服務 (NIM) 架構，最佳化 Blackwell 架構 GPU 推理執行度。GPU 支援 FP4 和 FP6 類型數據，低強度 AI 負載能提高能效。
輝達資料顯示，與 Hopper 架構相較，Blackwell 架構訓練速度比 H100 快四倍，推斷速度快 30 倍，能即時運行兆級參數大語言模型生成式 AI，降低成本和能耗 4%。這呼應黃仁勳喊過多次的「買越多，省越多」口號，但不能忽視，輝達 GPU 價格也快速上漲。
(首圖來源：輝達)
文章看完覺得有幫助，何不給我們一個鼓勵
想請我們喝幾杯咖啡？
每杯咖啡 65 元
x
1
x
3
x
5
x
您的咖啡贊助將是讓我們持續走下去的動力
標題：投資輝達 AI 晶片 1 美元賺 7 美元，實現黃仁勳買越多省越多口號
地址：https://www.utechfun.com/post/396133.html