終端側生成式AI解決方案將查詢和推理轉移到PC和手機等邊緣終端，讓开發者和雲服務提供商能夠打造更加經濟可靠，且隱私性更高的生成式AI。

高通和微軟確認達成合作關系，將面向消費級和企業級終端、以及工業設備，規模化擴展AI能力，爲用戶帶來行業領先的AI體驗。

2023年5月23日，西雅圖——在Microsoft Build2023开發者大會期間，高通技術公司展示了公司最新的終端側AI創新，包括在驍龍®計算平台上運行生成式AI，以及开發者在採用驍龍平台的Windows11 PC上創建應用的新路徑。

高通技術公司產品管理高級副總裁ZiadAsghar表示：“爲了讓生成式AI真正爲更多人所接受和使用，許多推理工作需要在邊緣終端上處理。我們擁有行業領先的AI硬件和軟件，可以賦能开發者充分利用我們強大的AI能力，在搭載驍龍平台的筆記本電腦、手機和其他終端上打造令人驚豔的全新用戶體驗。”

AI的未來既需要終端側AI，也需要雲端AI。在終端側運行AI應用可提升成本效益、增強隱私性、個性化並降低時延。與僅在CPU或GPU上進行AI工作負載處理比較，驍龍平台集成專用的高通AI引擎，處理AI工作負載可以更加高效，讓小巧輕薄的設備也能支持終端側AI。

在Microsoft Build期間，高通技術公司將帶來技術演示，並帶來能夠支持在下一代Windows11 PC上开發生成式AI的工具。StableDiffusion作爲一款文本生成圖像的生成式AI模型，參數超過10億，目前已經能夠完全在終端側運行。高通技術公司表示，未來幾個月內，包括大語言模型(LLM)在內的參數高達100億的模型將有望在終端側運行。爲了增強高通AI軟件棧並幫助开發者打造下一代終端側AI體驗，高通AI引擎DirectSDK將在Microsoft Build上首次面向公衆推出。借助ONNXRuntime和高通AI軟件棧，如今用戶在使用5G版SurfacePro 9和聯想ThinkPadx13s的時候就可以在其搭載的第三代驍龍8cx平台上的AI引擎運行AI工作負載。

微軟Windows芯片和系統集成公司副總裁PavanDavuluri表示：“爲了在廣泛的終端和應用領域擴展AI，雲端和終端側處理缺一不可。通過將微軟在雲端AI上的領先優勢以及Windows平台的能力與高通技術公司的終端側AI專長相結合，我們將加速由生成式AI體驗所帶來的發展機遇。”

高通技術公司還將在大會期間展示爲驍龍平台原生編譯熱門應用可帶來的顯著性能提升，並上线全新的开發者門戶網站，便於從統一的入口集中獲取驍龍本开發所需的關鍵工具、資源和支持。

標題：高通和微軟在Microsoft Build开發者大會上攜手 推動終端側AI規模化擴展

地址：https://www.utechfun.com/post/216868.html