NVIDIA 針對 Windows 的 TensorRT-LLM 加速，為 Windows PC 平台帶來驚人效能提升，據該公司展示的旗艦 GeForce RTX 4090 GPU 性能數據，TensorRT-LLM 軟體更將效能提升高達 70%。
整個 NPU 生態系統在 2024 年僅達 50 TOPS，但在 AI-Decoded 部落格，NVIDIA 分享其現有 GPU 系列如何超越整個 NPU 生態系統，比如地球上最快的遊戲顯示卡 GeForce RTX 4090 達到 1321 TOPS，成為運行大型語言模型（LLM）最快的桌面 AI 解決方案。
據報導，NVIDIA RTX GPU 提供高達 48 GB 的 VRAM，在處理大型語言模型時非常強大，NVIDIA 的 RTX 硬體不僅配備專用視訊記憶體，還透過硬體 Tensor Core 和軟體 TensorRT-LLM 加速，如 NVIDIA GeForce RTX 4090 GPU 在啟用 TensorRT-LLM 加速時，效能顯著提高超過 4 倍。
最近，NVIDIA 使用開源 Jan.ai 平台分享一些在 GeForce RTX 40 GPU 上執行的新基準測試，以及針對具專用 AI NPU 的筆記型電腦 CPU 測試結果，在不含 TensorRT-LLM 時，NVIDIA GeForce RTX 4090 GPU 表現比 AMD Ryzen 9 8945HS CPU 高 8.7 倍，加速後優勢更擴大至 15 倍（比非 TensorRT-LLM 配置提高 70%），前者每秒最多可處理 170.63 個詞元，而 AMD CPU 每秒處理 11.57 個詞元。
NVIDIA 還展示 GeForce RTX 40 桌面 CPU 如何從入門級 242 TOPS 擴展到高階 1321 TOPS，與今年將在 SOC 看到的最新 45-50 TOPS AI NPU 相比，最低階也提高 4.84 倍，最高階則提高 26.42 倍，這些基準測試數據都再三顯示 NVIDIA 於 AI 領域具領先優勢。
（首圖來源：）
標題：GeForce RTX 40 GPU 性能數據展示，TensorRT-LLM 將效能提升達 70%
地址：https://www.utechfun.com/post/383542.html