生成式 AI 開發競爭固然激烈，但企業著重的除了效能外，處理速度和成本也是相當重要的部分，因此同一模型如何能夠以更快速度處理就成為另一個競爭目標。有新創最近創下每秒處理 Llama 3 8B 的 1,000 個 Token 的新紀錄，引來目光注目。
SambaNova Systems 最新的測試中，Llama 3 8B 參數指示模型的處理速度達到了每秒 1,000 個 Token。這結果獲得測試公司 Artificial Analysis 驗證，超過了 Groq 先前保持的每秒 800 個 Token 的記錄。SambaNova 使用了自家研發的「可重構數據流元件」（RDU）晶片，類似 AI 加速器，配合 Samba-1 Turbo 模型來運行，提升處理速度。
SambaNova 總裁 Rodrigo Liang 解釋，達到每秒 1,000 個 Token 的關鍵在於對可重構數據流架構所帶來的迭代改良，使 SambaNova 能夠針對模型進行平衡資源分配，解決瓶頸，進而顯著提高效率和性能。效能快速之餘，也可以確保優質輸出，最大限度地減少 AI 幻覺等問題，符合企業要求。這樣不只能改善 AI 代理的工作流程，還透過釋出運算負載來執行其他任務，可以降低基礎設施的運作成本。
Artificial Analysis 聯合創始人 George Cameron 強調，這成就在快速發展的 AI 晶片競賽中相當重要。尤其是對於依賴處理速度的應用範圍，例如需要快速回應時間和大量文件解釋能力的 AI 代理和消費應用等。
（本文由 授權轉載；首圖來源：）
標題：生成式 AI 運算速度競賽漸趨激烈，SambaNova 達成 Llama 3 8B 每秒處理 1,000 Token 新紀錄
地址：https://www.utechfun.com/post/377816.html