Google 十多年前意識到需要一款專門用於機器學習的晶片，因此 2013 年開始研發製造全球首款專為 AI 打造的加速器 TPU v1（Tensor Processing Unit），並在 2017 年推出首款 Cloud TPU。
在 Google I/O 2024 開發者大會，Google 發表第六代 TPU──Trillium，是至今最高效能且最節能的 TPU。
與 TPU v5e 相比，Trillium 每一晶片峰值計算效能提升 4.7 倍，Google 將其高頻寬記憶體（High Bandwidth Memory，HBM）容量和頻寬提升 1 倍，晶片間互連網路（Interchip Interconnect，ICI）頻寬也提高 1 倍。此外，Trillium 配備第三代 SparseCore，這是處理超大嵌體的專用加速器，用於處理進階排名和推薦工作負載。不只如此，Trillium 能源效率比 TPU v5e 高出 67%。
Trillium 可在單個高頻寬、低延遲的 Pod 擴展多達 256 個 TPU。除了該 Pod 級別的可擴充性以外，Trillium 借助多切片技術（Multislice technology）和 Titanium 智慧處理單元（Intelligence Processing Unit），還能擴充到數百個 Pods。
Trillium 幫助 Google 更快訓練下一代基礎模型，以較短延遲時間和較低成本提供模型服務。
TPU 是 Google 推出許多服務的最大功臣之一，要是少了它，如即時語音搜尋、相片物件辨識及互動式語言翻譯，還有最先進的 Gemini、Gemma、Imagen 模型等無法順利問世。
（首圖來源：截圖）
標題：Google 發表第六代 Trillium TPU，運算效能提升 4.7 倍
地址：https://www.utechfun.com/post/370846.html