在科技之光的照耀下,大模型從雲端的殿堂飄然而至終端的舞台。這一歷史性的跨越,不僅賦予了數據處理以迅捷之翼,更將智能體驗推向了前所未有的高度。終端上的大模型以靈動的姿態,即時捕捉並回應着每一個細微的需求,將AI的觸角延伸至世界的每一個角落。
近日,在EEVIA主辦的第12屆中國硬科技產業鏈創新趨勢峰會暨百家媒體論壇上,安謀科技產品總監鮑敏祺發表了精彩的主題演講《端側AI應用芯機遇,NPU加速終端算力升級》。他深入剖析了端側AI發展的廣闊前景,並詳細介紹了安謀科技自研NPU的最新進展。
端側AI正在崛起
AIGC大模型帶來的算力提升是端側AI迎來的最大機遇。鮑敏祺表示,從近期頭部大廠的發布中都可以看出,端側AI的應用已經得到了業界的一致認可。
當前,國際和國內實際部署的主流端側大模型體量主要集中在100億參數以下。這一限制主要是由於端側設備的內存帶寬範圍通常在50-100GB/s之間。爲了滿足用戶對應用實時性的需求,10-30億參數的大模型最適合部署在現有的帶寬條件下。這些模型能夠在保持高效性能的同時,提供快速響應和高質量的服務。
頭部終端廠商如OPPO、vivo、小米、榮耀和華爲等,都在積極推動端側AI的發展。他們不僅自研了適合端側部署的大模型,還將其與具體業務場景緊密結合。芯片廠商也達成了共識,認爲AI NPU(神經網絡處理單元)將是未來消費類電子產品發展的重點。NPU通過專門優化的硬件架構,能夠大幅提升端側設備的AI計算能力,同時降低功耗。
盡管端側AI的發展勢頭強勁,但鮑敏祺強調,這並不意味着要徹底放棄雲端AI。相反,他認爲兩者應該實現互補,才能產生最大的收益。端側AI的優勢在於其時效性和數據本地化帶來的安全性。由於數據處理發生在設備本地,用戶的隱私得到更好的保護,同時也能實現實時響應。而雲端AI則具備更強的推理能力和大規模數據處理能力,可以進行更復雜的任務。因此,結合端側和雲端的優勢,將爲用戶提供更加全面和高效的AI體驗。
從人機交互界面的發展歷史來看,從最初的物理按鍵到觸摸屏和語音交互,再到當前的Agent智能體,每一次變革都極大地提升了用戶體驗。未來的趨勢將是多模態場景,即結合圖像、音頻、視頻等多種輸入方式,使設備能夠更全面地理解用戶的需求。通過觀察和學習,未來的AI系統將能夠更好地預測和滿足用戶的期望,從而實現真正的智能化。
以三重升級應對三重挑战
端側AI的快速發展給硬件設備帶來了三重挑战:成本、功耗和生態系統。
成本的挑战主要來自於設備的存儲容量、帶寬和芯片計算資源。功耗則源自對數據的大量搬運,而且大模型無法像CNN一樣實現高度復用,也會大幅提升功耗。最後,开發工具的不斷優化和支持也是挑战所在。
針對這些挑战,安謀科技自研的“周易”NPU圍繞微架構、能效和並行處理等方面進行了升級。
○ 微架構:鑑於CNN與Transformer的差異性,“周易”NPU在保留CNN能力的基礎上,又針對Transformer進行了優化,克服了實際計算中的瓶頸。
○效率:進行混合精度的量化,比如int4和fp16,在算法和工具鏈層面上實現低精度量化。同時,對數據進行無損壓縮和改變稀疏度,從而增加有效帶寬。另外,採用In-NPU interconnection技術,實現了對總线帶寬的擴展。
○並行處理:採用數據並行或模型並行,使用負載均衡和Tiling,減少了數據的搬運。
鮑敏祺還詳細介紹了下一代的周易“NPU”架構,不僅包含了能夠適應多任務場景的Task Schedule Manager,而且整個架構具備可擴展能力,並增加DRAM以實現高帶寬的匹配,還增加了OCM(Optional on Chip SRAM),以支持有特殊要求的算法。
鮑敏祺在演講中特別強調了“周易”NPU對異構計算的支持,並指出無論是從能效還是整個SoC(系統級芯片)的面積角度來看,異構計算都是端側AI芯片的最佳選擇。他解釋道,面對不同的應用場景,異構計算能夠實現算力的靈活裁剪,並將不必要的功耗降到最低。
跨領域的應用專家
周易“NPU”已經在多個關鍵領域展示了其強大的性能和靈活性,特別是在汽車應用、AI加速卡以及AIoT場景中。
在汽車應用中,不同的場景會對應不同的算力需求。如果是車載信息娛樂系統,對算力的要求不會太高,但是在ADAS應用中,很多情況下要執行多任務,對算力的要求就會大幅提升。而“周易”NPU的算力範圍是20~320TOPS,可以根據需求裁剪出所需的算力。鮑敏祺表示,搭載了“周易”NPU的芯擎科技“龍鷹一號”已累計出貨超過40萬片,並成功定點應用於吉利旗下的領克、銀河系列以及一汽紅旗等20余款主力車型中。
在AI加速卡的應用中,周易“NPU”能夠與智能汽車、PC、機器人等不同類型的主機處理器(Host AP)進行高效交互,處理音頻、圖像、視頻等多種數據形式。這種多模態模型的支持能力使得周易“NPU”能夠在復雜的數據環境中保持高性能和靈活性。在AIoT場景中,設備通常受到面積和功耗的嚴格限制。盡管如此,周易“NPU”仍能提供高效的算力支持,同時保證高度的安全性。這使得它成爲多個應用場景的理想選擇。
鮑敏祺最後表示,下一代周易“NPU”將會繼承並顯著增強前代產品的強算力、易部署以及可編程等特點和優勢,並圍繞精度、帶寬、調度管理、算子支持等多個方面進行持續優化。同時,NPU不僅要考慮適配現在的存儲介質,還要考慮到對未來各種存儲介質的適配,使得NPU能夠更好地滿足當前及未來市場需求。
標題:智能無處不在:安謀科技“周易”NPU开啓端側AI新時代
地址:https://www.utechfun.com/post/442735.html