關於人工智能給數據中心電力帶來的問題，已經有很多報道。緩解壓力的一種方法是使用“邊緣LLM”，這使得人工智能系統能夠在pc、平板電腦、筆記本電腦和智能手機上本地運行。

邊緣LLM的明顯優勢包括降低LLM培訓成本、減少查詢LLM的延遲、增強用戶隱私並提高可靠性。

如果能夠通過降低處理能力需求來減輕數據中心的壓力，那么邊緣的llm就有可能消除對千兆瓦級人工智能數據中心工廠的需求。但這種方法真的可行嗎？

隨着有關將支撐生成式人工智能的LLM轉移到邊緣的討論越來越多，我們仔細研究了這種轉變是否能夠真正減輕數據中心的壓力。

智能手機引領邊緣人工智能

發展最快的邊緣AI用例是智能手機上的輕量級LLM。華爲已开發了不同大小的LLMPangu5.0，最小版本已與其智能手機操作系統HarmonyOS集成。運行該操作系統的設備包括華爲Mate30Pro5G。

與此同時，三星开發了GaussLLM，用於三星GalaxyAI，該技術在其旗艦智能手機三星S24中運行。其AI功能包括實時翻譯、語音轉文本和總結筆記、圓圈搜索以及照片和消息輔助。

三星電子的LPDDR5XDRAM半導體也進入了量產階段。這些12納米芯片直接在設備上處理內存工作負載，使手機的操作系統能夠更快地與存儲設備一起工作，從而更有效地處理人工智能工作負載。

總體而言，智能手機制造商正在努力縮小LLM的大小。他們正試圖將其參數數量從ChatGPT-3的1750億個減少到20億個左右。

英特爾和AMD也參與了邊緣AI的开發。AMD正在开發能夠快速本地運行300億參數LLM的筆記本電腦芯片。同樣，英特爾也組建了一個合作夥伴生態系統，正在努力开發AIPC。這些支持AI的設備可能比普通型號更貴。但加價可能不會像預期的那么高，而且隨着採用率的提高，加價可能會大幅下降。

邊緣AI的昂貴部分主要在於訓練。在推理模式下使用的訓練模型不需要昂貴的設備來運行。早期的部署可能是針對錯誤和“幻覺”不太重要且聲譽受損風險不太可能太大的場景。

示例包括增強型推薦引擎、人工智能驅動的互聯網搜索以及創建插圖或設計。在這裏，依靠用戶來檢測可疑的響應或表現不佳的圖像和設計。

數據中心對LLM的影響

隨着數據中心准備大幅增加密度和功率需求以支持人工智能的發展，邊緣趨勢的LLM對數字基礎設施意味着什么？

在可預見的未來，在邊緣運行的模型將繼續在數據中心進行訓練。因此，目前來自人工智能的大量流量在短期內不太可能減弱。但數據中心內訓練的模型已經在發生變化。來自OpenAI、谷歌和亞馬遜等企業的大規模模型將繼續存在。但規模較小、更專注的LLM正在崛起。

到2027年，企業使用的GenAI模型中將有超過50%專門針對某個行業或業務功能，而2023年這一比例約爲1%。領域模型可以更小、計算強度更低，並降低與通用模型相關的幻覺風險。

爲減少GenAI的大小和處理強度而开展的开發工作，將延伸到可在各種設備上運行的更高效的邊緣LLM。一旦邊緣LLM獲得發展勢頭，它們有望減少需要在集中式數據中心進行的AI處理量，這完全取決於規模。

目前，LLM訓練在很大程度上主導了GenAI，因爲模型仍在創建或完善中。但想象一下，數億用戶在智能手機和PC上本地使用LLM，查詢必須通過大型數據中心進行處理。從規模上講，這種流量可能會讓數據中心不堪重負。因此，LLM在邊緣的價值可能要等到它們進入主流後才能實現。

LLM：安全與隱私

任何與雲端的LLM進行交互的人，都有可能使組織面臨隱私問題和網絡安全漏洞的可能性。

隨着越來越多的查詢和提示在企業外部進行，人們开始質疑誰有權訪問這些數據。畢竟，用戶正在向人工智能系統詢問有關他們的健康、財務和業務的各種問題。

爲此，這些用戶經常輸入個人身份信息(PII)、敏感醫療保健數據、客戶信息甚至企業機密。

轉向規模較小的LLM，這些LLM可以包含在企業數據中心內（因此不在雲中運行），也可以在本地設備上運行，這是繞過廣泛使用LLM（如ChatGPT）所帶來的許多持續安全和隱私問題的一種方式。

如果使用人工智能作爲個人助理，並且要處理機密信息、你不想公开的敏感信息，那么邊緣的安全和隱私確實非常重要。

邊緣LLM發展趨勢

邊緣上的LLM不會立即顯現出來——除了少數特殊用例。但邊緣趨勢似乎勢不可擋。67%的組織基礎設施硬件決策者已經採用邊緣智能或正在採用。約三分之一的企業還將收集和執行邊緣環境的AI分析，以便爲員工提供更高、更快的價值洞察。

企業希望從移動設備、物聯網和其他設備收集相關輸入，以便在客戶提出要求或需要更大價值時爲他們提供相關的用例驅動的洞察。

公用事業、採礦和交通維護等行業的現場工程和運營已經面向個人設備，並已准備好進行LLM增強。由於此類邊緣LLM應用具有商業價值，因此預計爲具有LLM功能的現場設備或手機支付更多費用將不再是問題。

隨着採用率的提高，硬件價格下降後，邊緣LLM才能被消費者和企業廣泛使用。例如，AppleVisionPro主要部署在價格合理的商業解決方案中。

近期的其他用例包括電信和網絡管理、智能建築和工廠自動化。Goetz表示，邊緣LLM的更高級用例（例如沉浸式零售和自動駕駛汽車）將不得不等待五年或更長時間。

在我們看到個人設備上的LLM蓬勃發展之前，針對特定行業和業務流程的專業LLM將會出現增長。一旦這些开發出來，就更容易擴展和採用，因爲不需要同時訓練和調整模型、縮小模型和部署模型。

 CIBIS峰會 

由千家網主辦的2024年第25屆CIBIS建築智能化峰會即將开啓， 本屆峰會主題爲：“匯智提質：开啓未來新篇章”。屆時，我們將攜手全球知名智能化品牌及業內專家，共同探討物聯網、AI、雲計算、大數據、智慧建築、智能家居、智慧安防等熱點話題與最新技術應用，分享如何利用更智慧、更高效、更安全、更低碳的智慧技術，共同开啓未來美好智慧生活。

歡迎建築智能化行業小夥伴報名參會，共同分享交流！

報名方式

長沙站（10月24日）：https://hdxu.cn/MrRqa

成都站（11月05日）：https://hdxu.cn/7FoIq

西安站（11月07日）：https://hdxu.cn/ToURP

北京站（11月19日）：https://hdxu.cn/aeV0J

上海站（11月21日）：https://hdxu.cn/xCWWb

廣州站（12月05日）：https://hdxu.cn/QaqDj

更多2024年峰會信息，詳見峰會官網：http://summit.qianjia.com

---

標題：LLM如何幫助解決人工智能數據中心問題

地址：https://www.utechfun.com/post/422861.html