人工智能 (AI) 正在改變當今的工業格局。 從企業軟件到機器自動化的一切都受益於多層神經網絡的能力（通過足夠的數據和訓練）來理解我們的世界。 但隨着深度學習模型規模的不斷膨脹，爲更復雜的自然語言處理 (NLP) 和其他人工智能應用打开了大門，所需的計算量也隨之增加。 對於邊緣人工智能來說，這就是一個問題。

邊緣AI趨勢

在智能手機或車載車輛等便攜式計算硬件上部署深度學習算法，使用戶能夠獲得強大的圖像識別功能——這只是衆多用例之一。 在邊緣人工智能硬件上本地運行模型可以提供針對任何連接中斷的恢復能力。

還有能源方面的考慮。 考慮到訓練具有數十億參數的模型的能源成本以及在此過程中消耗大量冷卻水，用戶开始質疑在雲中運行大型人工智能算法對環境的影響。 但事實證明，开發人員已經成爲修剪模型的專家，以減少深度學習推理的計算需求，而對結果的准確性影響很小。

這些效率措施對於實現邊緣人工智能來說是個好消息。 爲了理解各種方法的工作原理，首先描繪深度學習的圖景並考慮多層神經網絡如何將輸入轉化爲有意義的輸出是很有用的。

在抽象層面上，您可以將深度神經網絡視爲通用函數逼近器。 給定足夠的參數，一切都可以用數學函數來表示。 您可能見過以 3D 形式繪制時看起來像貝殼的公式或類似於樹枝的分形。 事實證明，大量的人工神經元能夠描述圖像並找到句子中缺失的單詞。

訓練這些人工智能算法涉及調整數百萬個模型權重，以使人工神經元的模式對某些輸入敏感，例如圖像中的邊緣特徵。 還需要爲網絡中的每個節點設置偏差，以確定使相應的人工神經元“放電”所需的激活強度。

如果您曾經見過覆蓋着旋鈕的模擬音樂合成器，這是一個很好的類比，但請將旋鈕的數量乘以一百萬或更多。 我們的輸入可以是攝像機的輸入，在完成所有設置後，每當圖像中看到狗時，攝像機就會打开燈。

查看表盤上的數字，我們可能會發現某些參數比其他參數更重要。 這給我們帶來了模型修剪的概念，這是將算法壓縮到邊緣人工智能硬件上的一種方法。

如今，开發人員使用各種方法使邊緣 AI 神經網絡運行速度更快、尺寸更小以適應而不影響性能。 一種方法是將非常小的模型權重歸零，這可以精確定位對算法行爲影響很小的人工神經元。

另一個技巧是通過幾次迭代重新訓練修剪後的模型，這可能會導致對其他參數進行微調，以恢復任何丟失的准確性。 一些經過修剪的圖像識別算法可以比原始神經網絡表現得更有效，這對於邊緣人工智能來說是一個很好的結果。

不幸的是，大型語言模型（LLM）可能更難優化，因爲重新訓練步驟並不簡單。 但一種名爲 Wanda（通過權重和激活進行修剪）的新方法已在 LLaMA 系列 LLM 上進行了評估，表明考慮激活路徑可以修剪 50% 的結構，而不會造成性能的重大損失。 而且，重要的是，不需要重新運行訓練來更新權重。

考慮權重的表示方式也很有幫助——例如，將值存儲爲 8 位整數而不是單精度浮點格式 (FP32) 可以顯着節省內存。 傳統上，模型權重被縮放到 0 到 1 之間，但這些值仍然可以從節省內存的整數中恢復以進行處理。

使邊緣人工智能應用程序的算法更加高效的另一種策略是部署所謂的教師和學生模型，學生可以從教師提供的更豐富的信息中學習。 具體來說，教師模型可以爲學生模型提供最可能結果的概率分布作爲訓練輸入。

這種方法已成功用於構建 DistilBERT，這是 BERT 的精煉版本：更小、更快、更便宜、更輕。 Hugging Face 研究人員使用教師和學生模型（也稱爲知識蒸餾）表明，可以將 BERT 模型的大小減少 40%，同時保留 97% 的語言理解能力，速度提高 60%。

要理解爲什么這如此重要，值得注意的是 BERT 是目前最有用的 NLP 模型之一。 BERT 可用於文本編碼，以從其他數據中檢索相似的段落。 它可以總結大量的文本信息並提供問題的答案。

考慮到邊緣人工智能，輕量級 NLP 模型可以在本地處理數據，以保護隱私並保護客戶可能不希望發送到雲端的敏感信息。 例如，公司可以使用 DistilBERT 構建自己專有的語義搜索引擎來導航業務數據，而無需將任何數據發送給 Google。

人工智能成功案例

雲中人工智能的成功故事啓發了各種用例。 而且，隨着开發人員在將算法性能壓縮到更小的佔用空間方面變得更加熟練，我們預計這些優勢也將轉化爲邊緣人工智能應用程序。

此外，用戶可以依靠越來越多的工具來優化他們的機器學習模型。 谷歌的 TensorFlow 模型優化工具包支持將模型部署到對處理、內存、功耗、網絡使用和模型存儲空間有限制的邊緣設備。

還有其他選項，例如可以爲嵌入式系統提供高效深度學習的模型優化 SDK。 供應商包括瑞典深度科技公司 Embedl，該公司最近籌集了 45 MSEK（410 萬美元）來擴大其業務。

“Embedl 的解決方案在汽車領域开發自動駕駛系統 (AD) 和高級駕駛輔助系統 (ADAS) 時提供了顯着的性能增強，”該公司在其網站上寫道。 “它還將使人工智能能夠融入到硬件功能較弱的消費產品中。”

該公司表示，客戶可以使用該 SDK 創建可在電池供電設備上運行的深度學習算法，這標志着邊緣人工智能的另一個趨勢。

標題：邊緣AI：如何讓深度學習更高效

地址：https://www.utechfun.com/post/260944.html