為了發展自家生成式 AI，蘋果一直在測試大型語言模型（LLM），但蘋果同時要思考的是，要如何將 LLM 塞進手機與筆電。現在有消息稱，LLM 對 CPU 與記憶體資源負荷太重，蘋果正嘗試將 LLM 存在 NAND 快閃記憶體，以實現多裝置輕鬆存取的目標。
一般情況 LLM 需要 AI 加速器與較高 DRAM 儲存容量。《TechPowerUp》報導，蘋果努力將 LLM 技術導入記憶體容量有限的設備；蘋果發表，探討如何將 LLM 導入記憶體容量有限裝置（如 iPhone），蘋果研究員開發用快閃記憶體儲存 AI 模型資料的技術。
論文指出，蘋果 iPhone 與 Mac 有大量可用快閃記憶體，透過稱為「視窗化」技術繞過限制視窗，讓資料更有效分組，使 AI 模型更快從快閃記憶體讀取資料，並加速理解力。AI 模型也會重複使用處理過數據，減少提取快閃記憶體資料的需求，讓整個處理過程更快。
上述兩種方法都使 AI 模型運行速度達 iPhone 可用 RAM 大小的兩倍，使標準處理器速度提高五倍、圖形處理器速度提高 25 倍。
有大量證據證明，蘋果相當重視 AI；首先是自家聊天機器人（Apple GPT）。據傳明年 iPhone 16 系列會搭載升級麥克風，雖然對蘋果成本提高不少，但可升級語音輸入功能，對 Siri 執行多項任務非常必要。
另有傳言，某種形式生成式 AI 明年發表時，會整合至 iOS 18 作業系統；即便現在蘋果技術還落後 OpenAI、Google、亞馬遜等公司，但這技術差距可能會在 2024 年大幅縮小。
（首圖來源： on Freepik）
標題：CPU 資源太滿塞不下，傳蘋果研究將 LLM 存在 NAND
地址：https://www.utechfun.com/post/307213.html