生成式人工智能不僅改變了組織开展業務的方式，還改變了它們消耗計算資源的方式。這些大型語言模型(LLM)以及數字孿生、擴展現實和元宇宙等其他人工智能工具，需要大量圖形處理單元(GPU)來訓練數據集或處理圖形密集型任務。

然而，這其中也有一個問題。GPU價格昂貴、供應不足，而且消耗大量能源。因此，首席信息官（CIO）和其他業務和IT領導者，越來越面臨着如何使用它們以及在何處使用它們的問題。了解所需任務並平衡處理能力需求和成本至關重要。

所有這些都直接與數據中心相關。隨着人工智能成爲主流，組織必須適應，僅僅了解GPU在哪裏帶來战略收益是不夠的，CIO必須做出關鍵決策，決定何時使用GPU或CPU，以及是否在本地或雲端處理訓練、推理和其他任務。

峰值性能

盡管最近GenAI備受關注，但GPU進入數據中心已有十多年了。圖形處理器在科學研究、深度學習、機器學習以及機器視覺、機器人技術和自動化等衆多其他任務中發揮着關鍵作用。它們已成爲處理復雜模擬和海量數據挑战的寶貴工具。

然而，2022年11月，情況發生了巨大變化。在ChatGPT公开發布以及隨後出現的MicrosoftCopilot和GoogleGemini等GenAI框架之後，組織开始積極探索將LLM投入使用的方法。很快人們就發現，AI定制對於實現特定任務至關重要，包括聊天機器人、內容創建、設計迭代、市場研究、網絡安全、欺詐檢測、產品原型設計以及各種其他用例。

如今，數據中心對GPU的需求正在飆升。預計到2027年，數據中心的平均機架密度將達到每機架50kW，超過目前的平均36kW。人工智能和機器學習的迅猛發展正在推動數據中心設計、選址和投資策略的變革浪潮。

與此同時，GPU的價格越來越高。例如，NVIDIAGeForceRTX4090是一款廣泛部署的頂級型號，於2022年推出，起價約爲每台1,600美元。價格較低、顯存較少的GPU仍需數百美元。但硬件的前期投資只是一個起點。GPU的耗電量通常是CPU的兩倍或三倍，同時需要強大的冷卻和更復雜的布线。

許多數據中心都沒有足夠的空間和電力來運行GPU。因此，首席信息官必須就如何處理人工智能做出一些艱難的決定以及GPU何時能帶來明顯的優勢。對於一些大規模並行任務（如人工智能訓練工作負載），GPU實際上可以通過更快地執行計算來降低總體TCO。然而，對於其他工作負載（如人工智能推理），CPU通常可以提供足夠的性能，同時降低每瓦運營成本。

首先要確定具體用例以及所需的性能和准確度水平。此時，可以考慮成本和碳排放等因素，並確定使用哪種硬件以及處理應在雲端還是在本地進行。基礎模型訓練需要GPU，但推理則不同。在某些情況下，甚至可以在筆記本電腦或手持設備上進行推理。

數據中心的發展

所有主要的雲提供商如今都提供預裝GPU的虛擬機，或租用支持GPU的服務器的選項。因此，無需投資物理硬件。這些雲也不會忽視可管理性。它們提供GPU直通工具，可直接管理GPU硬件上的性能因素。

這使得CIO能夠配置和管理復雜的環境，包括涉及GPU和CPU的混合情況。它包括用於擴展和利用資源、配置GPU內存以及爲機器學習或視頻編輯等特定任務建立實例類型的工具。

通過清晰地了解關鍵因素（包括訓練數據集的大小和廣度、誰將使用它、系統上的查詢或點擊量預計是多少、以及GPU和CPU的堆疊方式），可以做出明智的決策。例如，在某些情況下，可能需要不同類型的GPU來推理和運行系統，或者帶有加速器的CPU可能更適合處理較小的模型。

還可以從可持續性和碳性能權衡的角度來看待GPU和CPU。我們將看到對AI的需求不斷增長，企業對GPU的需求也不斷增長。但我們也可能看到GPU和CPU的更多混合，因爲許多任務在成本和碳排放方面仍然更高效。

---

標題：GPU迫使CIO重新思考數據中心｜觀點

地址：https://www.utechfun.com/post/362411.html