GPU 大廠輝達 (NVIDIA) 宣布，正式推出 NVIDIA AI Foundry 代工服務和 NVIDIA NIM 推理微服務。在此基礎上，客戶可以使用 Meta 的 Llama 3.1 AI 模型，藉由輝達的軟體、運算硬體和專業知識，為特定領域客製化構建超級人工智慧 (AI) 模型。
輝達表示，在 NVIDIA AI Foundry 的方面，是由 NVIDIA DGX Cloud AI 平台提供支援。該平臺與世界領先的公有雲共同設計，為企業提供大量計算資源，並可根據 AI 需求的變化輕鬆擴展。另外，NVIDIA AI Foundry 還包括 Nemotron 和 Edify 等輝達創建的 AI 模型、流行的開放式基礎模型、用於客製化模型的 NVIDIA NeMo 軟體，以及 NVIDIA DGX Cloud 上的專用容量等。
基於以上的架構，客戶可以利用專有數據、由 Llama 3.1 405B 和輝達 Nemotron Reward 模型生成的合成數據，用以訓練這些超級 AI 模型。
另外，藉由 NVIDIA AI Foundry 的資料輸出結果，可透過 NVIDIA NIM（一個推理微服務，其中包括定制模型、優化引擎和標準 API）部署到任何地方。NVIDIA NIM 是一套加速推理微服務，允許企業在雲端運算、資料中心、工作站和 PC 等任何地方的 NVIDIA GPU 上運行 AI 模型。
輝達強調，藉由使用產業標準的 API，開發人員只需幾行代碼就能利用 NIM 部署人工智慧模型。NIM 容器無縫集成 Kubernetes（K8s） 生態系統，可以高效地協調和管理容器化人工智慧應用。目前包括醫療保健、金融服務、零售、運輸和電信領域的公司已經開始使用 NVIDIA NIM 微服務來支援 Llama。首批使用 Llama 3.1 新版 NIM 微服務的企業包括沙烏地阿拉伯國家石油公司、AT&T、Uber 和其他產業領導者。
(首圖來源：輝達提供)
文章看完覺得有幫助，何不給我們一個鼓勵
想請我們喝幾杯咖啡？
每杯咖啡 65 元
x
1
x
3
x
5
x
您的咖啡贊助將是讓我們持續走下去的動力
標題：輝達推出 NVIDIA AI Foundry 代工服務為客戶建構客製化模型
地址：https://www.utechfun.com/post/401227.html