爲什么人工智能如此需要資源？

截至2023年底，任何關於生成式人工智能需要多少能源的預測都是不准確的。

頭條新聞傾向於猜測“人工智能需要5倍、10倍、30倍的電力”和“足夠運行10萬個家庭的電力”等。與此同時，數據中心新聞等專業出版物的報道稱，功率密度將上升到每機架50千瓦或100千瓦。

爲什么生成式人工智能如此需要資源？正在採取哪些措施來計算其潛在的能源成本和碳足跡？或者正如一篇研究論文所寫道，“訓練這些龐然大物的巨大計算成本”是多少？如今，大部分信息都不容易獲得。

分析師已經對特定工作負載場景進行了自己的估計，但由於模型構建最前沿的雲超大規模提供商很少披露數據，因此目前幾乎沒有可靠的數據。

經過分析，人工智能模型構建從訓練到推理的碳成本產生了一些發人深省的數字。根據《哈佛商業評論》的一份報告，研究人員認爲，訓練“單一大型語言深度學習模型”，例如OpenAI的GPT-4或Google的PaLM預計消耗約300噸二氧化碳……其他研究人員計算出，使用“神經架構搜索”技術訓練一個中型生成式AI模型所消耗的電力和能源相當於62.6萬噸二氧化碳排放量。

那么，到底是什么讓人工智能如此耗電呢？

是數據集，即數據量嗎？使用了多少個參數？變壓器型號？編碼、解碼和微調？處理時間？答案是，以上所有內容的組合。

數據

人們常說GenAI大型語言模型(LLM)和自然語言處理(NLP)需要大量的訓練數據。然而，從傳統數據存儲的角度來看，實際情況並非如此。

例如，ChatGPT使用www.commoncrawl.com數據。Commoncrawl表示，它是每個LLM的主要訓練語料庫，並且提供了用於訓練GPT-3的82%的原始代幣：“我們讓研究人員可以大規模提取、轉換和分析开放網絡數據……超過2500億美元跨越16年的頁面。每個月都會添加3-50億個新頁面。”

據認爲，ChatGPT-3是在45 TB的Commoncrawl明文上進行訓練的，過濾後爲570 GB的文本數據。作爲對开源AI數據的貢獻，它免費托管在AWS上。

但存儲量、從網絡、維基百科和其他地方抓取的數十億網頁或數據標記，然後進行編碼、解碼和微調，以訓練ChatGPT和其他模型，應該不會對數據中心產生重大影響。同樣，訓練文本到語音、文本到圖像，或文本到視頻模型，所需的TB或PB數據不會對數據中心的電源和冷卻系統造成太大壓力，這些數據中心是爲托管存儲和處理數百或數千PB數據的IT設備而構建的。

文本到圖像模型的一個例子是LAION（大規模人工智能开放網絡）——一個擁有數十億圖像的德國人工智能模型。其模型之一名爲LAION 400m，是一個10 TB的網絡數據集。另外，LAION5B擁有58.5億個剪輯過濾的文本圖像對。

訓練數據量保持在可控範圍內的原因之一是，大多數AI模型構建者普遍使用預訓練模型(PTM)，而不是從頭开始訓練的搜索模型。我們所熟悉的兩個PTM示例是，是來自變壓器(BERT)的雙向編碼器表示和生成預訓練變壓器(GPT)系列，如ChatGPT。

參數

數據中心運營商感興趣的人工智能訓練的另一個衡量標准是，參數。

生成式AI模型在訓練期間使用AI參數。參數的數量越多，對預期結果的預測就越准確。ChatGPT-3是基於1750億個參數構建的。但對於AI來說，參數的數量已經在快速上升。中國LLM第一個版本WU Dao使用了1.75萬億個參數，還提供文本到圖像和文本到視頻的服務。因此，預計這一數字將繼續增長。

由於沒有可用的硬數據，可以合理地推測，運行一個有1.7萬億參數的模型所需的計算能力將是巨大的。隨着我們進入更多的人工智能視頻生成領域，模型中使用的數據量和參數數量將會激增。

變壓器

變壓器是一種神經網絡架構，旨在解決序列轉導或神經機器翻譯問題。這意味着將輸入序列轉換爲輸出序列的任何任務。變壓器層依賴於循環，因此當輸入數據移動到一個變壓器層時，數據會循環回其上一層，並輸出到下一層。這些層提高了對下一步的預測輸出。其有助於提高語音識別、文本到語音轉換等。

多少電量才足夠？

S&P Global發布的一份題爲《人工智能的力量:來自人工智能的電力需求的瘋狂預測》的報告引用了多個來源。Indigo Advisory Group的董事總經理David Groarke在最近的電話採訪中表示：“就美國的電力需求而言，確實很難量化像ChatGPT這樣的東西需要多少需求。從宏觀數據來看，到2030年，人工智能將佔全球電力需求的3%至4%。Google表示，目前人工智能佔其用電量的10%到15%，即每年2.3 TWh。“

S&P Global繼續道：“由阿姆斯特丹自由大學商業與經濟學院博士候選人Alex de Vries進行的學術研究，引用了SemiAnalysis的研究。在10月10日發表在《Joule》雜志上的一篇評論中，估計每次Google搜索中的使用ChatGPT等生成式AI都需要超過50萬台Nvidia A100 HGX服務器，總計410萬個圖形處理單元或GPU。如果每台服務器的電力需求爲6.5 kW，則日耗電量爲80 GWh，年耗電量爲29.2 TWh。”

瑞典研究所RI.SE提供了用於訓練AI模型的實際功率的計算結果。其表示：“訓練像GPT-4這樣的超大型語言模型，具有1.7萬億個參數，並使用13萬億個標記（單詞片段），是一項艱巨的任務。OpenAI透露，該項目花費了1億美元，耗時100天，使用了2.5萬個NVIDIA A100 GPU。配備這些GPU的服務器每台大約消耗6.5 kW，因此在訓練期間估計消耗50 GWh的能源。”

這一點很重要，因爲人工智能使用的能源正在迅速成爲公衆討論的話題。

數據中心已經出現在地圖上，關注生態的組織正在注意到這一點。據80billiontrees網站稱，目前還沒有公布對人工智能行業總足跡的估計，而且人工智能領域的發展如此迅速，以至於幾乎不可能獲得准確的數字。查看單個人工智能模型的碳排放是目前的黃金標准……大部分能源都用於爲超大規模數據中心供電和冷卻，所有的計算都在這裏進行。”

總結

當我們等待機器學習和人工智能過去和現有的電力使用數據出現時，很明顯，一旦模型投入生產和使用，我們的計算規模將達到EB和EB級。對於數據中心的電力和冷卻而言，事情就變得有趣，也更具挑战性。

---

標題：爲什么人工智能如此需要資源？

地址：https://www.utechfun.com/post/317020.html