端側大模型（Edge AI models），也就是只在設備本地（如智能手機、IoT設備、嵌入式系統等）運行的大模型，過去一兩年來非常流行。
具體表現在，終端設備廠商，如蘋果、榮耀、小米、OV等，AI公司如商湯科技，都推出了自研的純端側大模型。
端側大模型存在的意義，就是“以小博大”。
簡單來說，和雲側大模型相比，端側大模型要在本地部署，所以參數規模都不大，不用擔心私密數據在推理時被泄露；不需要網絡傳輸，因此響應速度更快；設備原生搭載，不需要租用雲資源，用起來更省……
聽起來，端側大模型簡直是AI設備不可或缺的標配啊。但實際情況，可能出乎很多人的意料。
我們在調研和使用多個終端廠商的大模型時發現，端雲協同、雲端大模型，才是大模型在端側的主流形式。
比如目前很流行的“手機拍照一鍵擦除背景人物”，僅靠端側大模型的計算能力是無法實現的，需要端雲協同來完成。
再比如公文寫作、長文要點總結、PDF要點摘要等，端側大模型要么無法完成，比如榮耀、OPPO端側大模型都不支持PDF文本摘要，小米MiLM的支持度和生成效果也不夠好。
最終，用戶還是要訪問GPT-4、文心一言、智譜清言、訊飛星火、KIMI等雲端大模型的網頁/APP，來滿足一些復雜AIGC任務需求。
不難看到，端側大模型聽起來很美，但真正用起來卻有點雞肋。
而隨着雲端大模型“變大”（走向統一多模態）又“變小”（壓縮技術），留給“端側大模型”的時間，真的不多了。
端側大模型不是萬能的，但沒有雲側大模型是萬萬不能的
目前來看，“端側大模型”收益和損失這筆账，根本算不平。
先說收益，雲端大模型比端側大模型對用戶的價值更大。
端側AI首先要保障用戶體驗，先有價值，再說其他。只能在設備本地運行，意味着“端側大模型”注定不會太大，必然限制了模型本身的性能表現，無法媲美雲端大模型。
所以，用戶在使用端側大模型時，要犧牲一部分體驗，那么所獲得的收益是否更大呢？並不是。
雲端大模型的能力變得越來越強大，與不得不“因小失大”的端側大模型，拉开了更大的體驗差距。比如近期OpenAI和谷歌鬥得火熱的多模態大模型，GPT-4o和Gemini帶來令人驚豔的語音交互、多種模態一次生成等能力，處理圖片、視頻、音頻等數據和復雜邏輯，都要在雲端運行。
一位國內PC行業的資深從業者曾告訴腦極體，大模型出來之後我們硬件企業就在研究，怎么將大模型跟PC結合，究竟什么是真正的AI PC？結論就是，搭載了GPT-4（代指當下最先進大模型）的硬件，確實可以叫“AI xx”，模型能力才是最核心的。
所以，想做好端側AI，端側大模型不是萬能的，但沒有雲側大模型是萬萬不能的。
雲端大模型不得不用，那端側大模型也一樣非用不可嗎？這就要來說說損失了。
不用端側大模型，並不會給用戶帶來更大的麻煩。
此前，終端追求搭載“端側大模型”，主要受限於兩點：計算瓶頸、安全顧慮。大模型推理對實時性的要求，雲端相比本地的時延更高。此外，手機、PC涉及大量隱私數據，傳輸到雲端進行推理，讓很多人有顧慮。上述兩點“損失”正在被積極地解決。
比如前不久谷歌I/O大會上，就發布了響應速度快、成本低的輕量化模型Gemini 1.5 Flash。谷歌採用了“蒸餾”方法，將較大Gemini 模型的核心知識和技能遷移到了更小、更高效的模型中，Gemini 1.5 Flash在摘要、聊天應用、圖像和視頻字幕等多種任務中，有很好的表現，可以在不同平台運行。
此外，本地計算硬件針對AI任務進行優化，也可以提升雲端推理服務的流暢度。目前x86、Arm陣營都在積極提升端側計算單元對AI專項任務的適配度，已經有旗艦和高端手機支持實時運行大規模參數量的大模型。
數據安全層面，終端廠商和大模型企業都推出了相應的隱私安全保護機制，通過“數據可用不可見”、脫敏、聯邦學習等多種手段，防範泄露風險。
以一貫注重隱私安全的蘋果爲例，也自研了端側模型OpenELM，可在手機和筆記本電腦等設備上運行，但在真正上线AIGC等能力時，據說也將選擇與大模型企業合作（國外據傳是OpenAI，國內據傳是文心一言）。
綜上，使用“雲端大模型”的收益正顯著增大，不用“端側大模型”的損失卻越來越小。這讓“以小博大”端側大模型，顯得越來越不劃算了。
接下來的故事也不難預測，隨着越來越多的終端企業，紛紛把雲端大模型塞進設備，純端側大模型的存在會越來越尷尬，進入到“不好用－不愛用－更不好用”的循環中。
這端側大模型，終端廠商是非做不可嗎？
你可能會問了，既然端側大模型不如雲端大模型好用，爲什么終端廠商還都在下大力氣做呢？
客觀情況是，大模型必須得有，但終端廠商並不適合做雲端大模型，所以端側、端雲協同就成了必選項。
一位國內某終端企業的負責人曾直言：即使我的研發費用再翻一倍，也沒法做像ChatGPT、AIGC、Sora這樣的通用大模型，還是會選擇跟百度、騰訊、阿裏巴巴等夥伴合作。
比如榮耀正在引導百模千態，在手機中接入文心一言等通用大模型，以及高德地圖、航旅縱橫等行業大模型；華爲在PC中接入了文心一言、訊飛星火、智譜AI的通用大模型，同時上线了基於自研盤古大模型的AI紀要功能……
從主觀角度猜測，終端廠商做端側大模型，既有品牌方面的考量，彰顯大模型技術的自研能力，也有“將靈魂握在自己手裏”的考慮，類似於銀行、金融機構、車企希望將數據這一核心優勢，掌握在自己手裏，打造行業大模型，而非交給大模型廠商。
終端廠商，既希望通過合作雲端大模型，拔高AI設備的體驗優勢，增強產品對消費者的吸引力，又希望通過自研抓住端側大模型，守住數據護城河，是進可攻、退可守的大模型策略。
我們預計，隨着雲端大模型的性能、能力在非线性增長，終端廠商的純端側大模型，會被拉开越來越大的差距，無法成爲消費者的購买決策依據。
不遠的將來，能否在設備側整合優質雲端大模型生態，會成爲AI終端設備的賽點。
總結一下就是，端側大模型，終端廠商可以做，但沒必要。雲側大模型，終端廠商必須有，且得比人強。
深度協作的不只大模型，還有兩類廠商
在一次與華爲終端的交流中，對方提到：華爲是唯一一個雲側通用大模型、端側大模型全自研的終端廠商（指盤古大模型），這給AI硬件奠定了很好的基礎。比如要完成一個復雜的AIGC任務，可以拆分爲雲、端、邊緣等並行訓練，兼顧推理效果、運行速度、數據安全等。
需要說明的是，上述思路仍處於概念驗證階段，目前我們還未能在華爲終端設備上體驗到盤古大模型從雲到端的深度整合。但這一理念，在邏輯上確實是說得通的——通過端雲高效協同，可以建立起無短板的大模型產品力，打動AI硬件的潛在消費者，而這離不开終端廠商和通用大模型廠商的深度合作。
端側大模型和雲側通用大模型全自有的終端企業，確實具備緊密融合的先天優勢，不過，其他廠商也可以通過开放生態補足，形成一個更全面的AGI模型生態。
這對雙方來說，是一件互利共贏的事情：
通用大模型廠商，需要借助終端廠商的龐大設備生態，作爲大模型落地的土壤，回收基座模型的龐大投入。借助端側的設備數據，更好地解決大模型的幻覺問題，推動模型進化。
而終端廠商，需要通用大模型（尤其是尖端版本的雲端大模型）作爲體驗支撐，爲用戶提供最先進的AIGC應用和體驗，避免在基座模型上投入太高的研發成本，也避免在AI體驗上被其他終端廠商拉大。
在此基礎上，終端廠商和雲端通用大模型廠商還要抓緊解決的重點問題：
安全問題。如何在保證隱私數據的基礎上，學習設備數據，明確數據權益與責任歸屬，對數據產生的商業收益建立合理的分配機制。
开發者分利政策。無論是手機的AI應用，還是雲端大模型的AI應用，都需要开發者來完成。終端开發者生態和大模型开發者生態的進一步打通，也會增加對开發者的吸引力，加速AI應用的孵化。那么，如何共同賦能並分利給开發者，將成爲兩類廠商合作與博弈的關鍵。
今年上半年，我們見證了通用大模型的諸多突破，留給端側大模型的時間已經不多了，留給終端廠商構建大模型共同體生態的機會窗口期，也並不會太久。
下半年，我們或將見證一場“終端廠商+大模型廠商”攜手的“陣營战”。
原文標題 : 留給“端側大模型”的時間不多了
標題：留給“端側大模型”的時間不多了
地址：https://www.utechfun.com/post/378915.html