輝達的乙太網路技術加速建造全球最大 AI 超級電腦

2024-10-30 12:20:00    編輯: MoneyDJ
導讀 輝達(NVIDIA) xAI 在美國田納西州孟菲斯市使用 NVIDIA Spectrum-X 乙太網路平台打造出規模龐大、搭載 10 萬個 NVIDIA Hopper Tensor 核心 GPU 的...


輝達(NVIDIA) xAI 在美國田納西州孟菲斯市使用 NVIDIA Spectrum-X 乙太網路平台打造出規模龐大、搭載 10 萬個 NVIDIA Hopper Tensor 核心 GPU 的 Colossus 超級電腦叢集。

NVIDIA Spectrum-X平台為多租戶、超大規模AI工廠提供卓越性能而設計,使用標準乙太網路做為其遠端直接記憶體存取(RDMA)網路。

Colossus是全球最大的人工智慧超級電腦,用於訓練xAI的Grok系列大型語言模型,並為X Premium用戶提供聊天機器人功能。xAI正在將Colossus的規模擴大一倍,總計將搭載20萬個NVIDIA Hopper GPU。

xAI與NVIDIA在短短122天內就建置出相關配套設施與Colossus這具最先進的超級電腦,這種規模的系統通常要用到幾個月到幾年的時間建置。從安裝第一個機架到開始訓練AI僅歷時19天。

NVIDIA表示,Colossus超級電腦在訓練規模極為龐大的Grok模型時,展現出前所未有的網路效能。在所有三層網路結構中,系統都未因流量碰撞而出現應用程式延遲或封包遺失的情況。Colossus超級電腦藉由Spectrum-X壅塞控制功能,保有95%的資料輸送量;標準乙太網路會無法大規模達到這樣的效能水準,會造成上千次的流量碰撞,又只能提供60%的資料輸送量。

(本文由 授權轉載;首圖來源:)

延伸閱讀:

文章看完覺得有幫助,何不給我們一個鼓勵

想請我們喝幾杯咖啡?

每杯咖啡 65 元

x 1
x 3
x 5
x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0


關鍵字: , , ,


標題:輝達的乙太網路技術加速建造全球最大 AI 超級電腦

地址:https://www.utechfun.com/post/439604.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。

猜你喜歡