2024年10月21日，夏威夷——驍龍峰會期間，高通技術公司宣布與騰訊混元合作，基於驍龍8至尊版移動平台，共同推動了騰訊混元大模型7B和3B版本的終端側部署，展示了此合作實現出色的運行表現。這將有助於騰訊混元大模型爲廣泛的業務場景提供技術支持，通過利用終端側AI加速產品創新，有效降低運營成本，並進一步擴展生成式AI在終端側的應用和普及。 

驍龍8至尊版移動平台搭載全新的第二代定制高通Oryon CPU和增強的高通HexagonNPU，充分利用高通AI引擎優勢，能夠帶來更強大的終端側生成式AI處理能力。驍龍8至尊版的強大AI算力，結合高通AI軟件棧以及行業領先的工具套件，包括高通AI模型增效工具包（AIMET）等，爲模型提供了全棧優化能力。通過使用基於硬件的INT4量化技術，可以大幅提升騰訊混元大模型在終端側的運行效率，端側推理實現首個token生成時延達到150ms，解碼速率達到超過30 tokens/秒。 

騰訊混元大模型已爲騰訊內部超過700個業務場景和C端應用提供底層技術支持，包括微信輸入法、騰訊手機管家、QQ、騰訊視頻、QQ瀏覽器、企業微信、騰訊會議等，通過實現面向驍龍8至尊版的終端側部署，能夠利用終端側生成式AI的豐富優勢，更好地滿足廣泛的終端側業務需求。例如，騰訊手機管家短信智能識別功能率先利用騰訊混元的終端側模型能力，通過海量數據結合深度神經網絡與預訓練，讓模型具備極強的語義理解能力，通過結合上下文語境信息更准確地理解短信意圖，使短信召回率大幅提高將近200%，識別准確率提升20%。由於部分短信涉及用戶個人敏感信息，端側AI還可以在保證出色性能表現的同時，有效保護用戶的個人信息隱私安全。 

高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉表示：“高通與騰訊混元大模型團隊長期攜手推動前沿終端側技術創新在移動應用中的部署和推廣，爲廣大用戶和消費者打造創新的應用體驗。高通公司致力於賦能廣大ISV合作夥伴和开發者，利用高通強大的異構計算、行業領先的CPU、GPU、NPU和軟件解決方案，在搭載驍龍平台的終端上推動生成式AI應用的普及，惠及全球更多用戶。” 

騰訊機器學習平台部總經理，騰訊混元大模型負責人王迪表示：“騰訊混元已經構建起了全鏈路的大模型矩陣和應用平台。同時，騰訊混元不斷完善部署生態。在雲服務場景，我們通過多種技術在提升效果的同時調用價格持續降低。在智能終端場景，騰訊和高通持續深入合作，賦能不同業務對端側模型的部署需求，並在騰訊豐富的生態中持續迭代能力，讓更多的B端和C端用戶獲得實用大模型的非凡體驗。” 

欲觀看峰會主題演講直播回放，請訪問驍龍峰會專題頁。

標題：高通與騰訊混元合作，基於驍龍8至尊版共同推動騰訊混元大模型終端側部署

地址：https://www.utechfun.com/post/435175.html