不斷發展的邊緣人工智能世界需要一種新型計算

圍繞人工智能的炒作是無可避免的。雖然人們的注意力一直集中在生成式人工智能(GenAI)的大型語言模型(LLM)和數據中心上，但在物聯網(IoT)的邊緣，整個世界都在迅速發展。在這裏，多模態感知和人工智能分析應用於資源受限的環境，以提供情境感知計算，使設備更直觀、更智能、更實用、更易於使用。這些支持人工智能的邊緣設備，如顯示器、音箱、安全系統、筆記本電腦、平板電腦和工業控制系統，幾乎獨立於數據中心運行，利用本地化、低延遲處理來創造這些增強的用戶體驗，同時保護隱私，並節省能源和網絡帶寬。

最近一系列以人工智能爲重點的個人電腦和智能手機的發布，預示着人工智能的下一次重大轉變——GenAI和邊緣推理在高度優化的物聯網設備上的交集，適用於消費者、企業和工業應用。

而這種結合邊緣人工智能的機會，將改變我們與技術的互動方式。

物聯網邊緣的人工智能

在邊緣設備中實現人工智能，需要我們通過觸摸、音頻、語音、視覺、視頻或其他“現實世界”數據來感知和收集輸入，處理這些數據並連接到另一個設備或網絡。這些操作必須在規模、功耗、成本和計算效率方面做到最好。這是在加入GenAI之前。問題在於，人工智能軟件在邊緣運行的能力遠遠領先;硬件基礎——驅動所需的處理和連接的芯片，正在迎頭趕上。

以生成語音轉文本應用爲例。這種應用越來越普遍，可通過基於雲的連接在具有先進處理硬件的設備中使用，如PC和智能手機。挑战在於將這種能力遷移到更小的、電池供電的邊緣設備上，這些設備缺乏必要的GenAI計算資源。

目前的解決方案主要建議改造其他系統中使用的現有硬件方法，例如CPU、MPU和GPU，並將其安裝到邊緣IoT設備上。這些芯片和電路板不太適合低功耗設備的需求。成本模型具有挑战性，芯片制造商經常嘗試利用“淘汰”策略來重新利用和限制原本用於其他類型產品的芯片的性能。

我們需要一種新的硅片設計方法，這種方法明確針對邊緣AI計算進行了優化。我們稱之爲AI原生方法。

AI原生：全新硬件類別及更多

從硬件角度來看，這種AI-Native方法將可擴展的異構處理元素（CPU、GPU、NPU和DSP）組合在一系列IC中，爲各種應用提供合適的計算能力。

使應用程序开發人員面臨的挑战更加復雜的是，邊緣計算和物聯網總體而言是一個比數據中心更加分散的領域，數據中心的標准已經非常完善，主要由芯片供應商和超大規模企業制定。在物聯網中，處理和連接數據的多種專用方法破壞了一致性和可預測性的目標。

鑑於此，在物聯網設備中實現人工智能功能雖然誘人，但也增加了復雜性，並可能讓开發人員、客戶和用戶感到沮喪。無論如何，圍繞邊緣人工智能的炒作和FOMO導致了各種特殊和專有解決方案的出現。這些解決方案基於傳統硬件和軟件以及相關的开發環境，無法有效利用人工智能的潛力。

除此之外，目前在實施人工智能方面存在着一種停滯狀態，尤其是首次實施時。在某些情況下，企業有數據，但沒有人工智能模型，或者不知道從哪裏开始开發它們。那些擁有模型的企業往往面臨着一個令人困惑且不兼容的生態系統，其中包括开發輔助工具、硬件平台和編程工具來部署它們。很多企業都在觀望，意識到了機會，但不確定如何利用。

因此，除了優化的硬件之外，开發人員還需要一種適用於物聯網的“邊緣AI”類型的开發環境。這將包括訪問开源工具和模型，而不僅僅是與一種實施方法綁定的供應商特定產品，，以構建針對工作負載優化的解決方案。

基礎牢固

好在，在將人工智能應用於視覺、音頻、語音和其他消費物聯網模式方面，已經做了很多工作。然而，專注於爲AI工作負載提供合適規模的處理和工具/框架，將能夠在幾乎無限範圍的物聯網應用中實現具有成本效益的情境感知。

這種新型AI原生處理器，由支持生態系統、开發工具和真正的AI優先方法支持，將成爲解決邊緣情境感知計算和GenAI的基礎。它將加速开發和採用更有用、更有意義的IoT設備，以滿足不受數據中心束縛的用戶不斷變化的AI需求。

---

標題：不斷發展的邊緣人工智能世界需要一種新型計算

地址：https://www.utechfun.com/post/408825.html