12月上旬到中旬，OpenAI召开了爲期12天的馬拉松式發布會，每天都會公布一些新產品或新技術，帶來了包括增強版o1大模型、文生視頻大模型Sora Turbo、精簡版推理模型o3-mini，以及高級語音模式增強等成果。
然而連續12天的發布會，卻未能收獲太高熱度，即使是多款全面升級的大模型和文生視頻大模型Sora Turbo，討論度也十分有限，收到的吐槽可能比贊揚更多。
（圖源：OpenAI）
其中的原因很簡單，這些大模型功能確實更強了，可以幫助用戶完成更多任務，但沒有太多本質上的提升。廣大用戶期盼已久的GPT-5沒有來，全新產品Sora Turbo也僅能生成最長20秒鐘的1080P視頻，未達到其在2024年初宣傳的2分鐘時長。
2023年3月GPT-4發布後，OpenAI就啓動了代號爲“Orion”（獵戶座）的GPT-5研發項目。OpenAI主要投資者微軟原計劃2024年中期看到GPT-5，結果18個月時間過去了，GPT-5卻依然難產。
面對遲遲未能發布的GPT-5，《華爾街日報》表示，OpenAI的AI項目費用極高，卻不清楚何時能成功，甚至難以確定究竟能否成功。還有人質疑，問題或許不在OpenAI身上，而在於AI行業的發展已進入瓶頸。
耗資甚巨卻不見成效，OpenAI遭遇大麻煩
2023年中期，OpenAI啓動了針對Orion的首次實战測試項目，代號“Arrakis”。然而測試結果卻顯示，更大規模的AI大模型訓練所需時間極長，會導致整體成本飆升。
OpenAI工作人員認爲，Orion進展緩慢的原因在於沒有足夠多的高質量數據。早之前，OpenAI不斷從互聯網抓取數據，將新聞報道、社交媒體的帖子、科學論文等數據統統拿去訓練大模型，甚至因此遭到加拿大Torstar Corp集團的起訴。
然而現有的互聯網數據不夠訓練出GPT-5，因此OpenAI想到了一個方案——原創數據。OpenAI正在招聘人員，負責編寫軟件代碼或解決數學問題，供Orion學習。顯而易見，該方案勢必導致Orion訓練時間進一步延長，訓練所需的成本也會大幅提高。
（圖源：AI生成）
2024年初，感受到同行的壓力後，OpenAI接連對Orion進行了幾次小規模訓練，並於5月到11月啓動了第二次大規模訓練，可數據量太少、數據多樣化不足的問題依然存在。
OpenAI CEO山姆·奧特曼（Sam Altman）曾表示，訓練GPT-4的費用大約是1億美元，未來AI模型訓練費用將達到10億美元。而現在，GPT-5爲期個月的訓練已耗費了5億美元，且未能取得理想的效果。
困擾OpenAI的不只是數據和成本，外部競爭同樣關鍵。AI行業爆火後，對於人才的需求暴增，身爲行業領頭羊的OpenAI，自然成了其他企業爭相挖牆腳的對象。OpenAI最初的11位聯合創始人，已有9人離職，首席技術官Mira Murati、首席研究官Bob McGrew、研究副總裁Barret Zoph等高層也於2024年相繼離職。
另一方面，來自對手的競爭迫使OpenAI开拓更多賽道，如打造精簡版的GPT-4和文生視頻大模型Sora等。知情人士稱，這些新的項目導致OpenAI內部新品开發團隊和Orion研究人員不得不爭搶有限的資源。
對於OpenAI而言，唯一值得慶幸的是，不只是OpenAI遇到了數據、資金問題。曾在谷歌、OpenAI工作過的Ilya Sutskever直言，數據是AI的化石燃料，而這份燃料即將耗盡，但我們只有一個互聯網，最大化數據的時代已經過去了。
正因如此，《華爾街日報》才會質疑GPT-5最終能否研發成功。但數據量的局限性，真的鎖死AI行業的發展了嗎？
賦予AI大模型思維能力，這是OpenAI的大餅？
盡管Orion項目耗費了大量資金，但擁有微軟、蘋果等互聯網巨頭支持的OpenAI，暫時不缺資金，所缺的唯有數據和算力。
面對數據量不足的問題，OpenAI研究人員想到了一個捷徑——給予AI大模型更長的思考時間，去解決未經訓練的困難問題。也就是說，OpenAI要憑借賦予大模型思維能力的方法，規避數據量不足的問題，令其可以像人類一樣思考，去解決從未遇到類型的問題。
問題是，AI大模型真的具有思維能力嗎？蘋果研究員在《理解大語言模型中數學推理局限性》論文中提出了異議，蘋果研究人員稱，AI大模型只能套用現有模式，不具備真正的推理能力。蘋果還舉了一個奇異果測試案例，在該案例中，當描述語加了句廢話“其中五個比平均較小”，GPT-4o mini便無法准確計算奇異果數量。
在之前的文章中，小雷曾實測了該案例，GPT-4o mini雖計算失敗，但豆包、Kimi等多款大模型成功通過測試。另外，現在向AI大模型詢問數學問題，得到的回答通常會帶有解題思路，也能夠說明大模型已不再是單純套用訓練過的模式，而是根據一定的邏輯去解題。
通過這種方式，訓練AI大模型所需的數據量自然會大幅減少，未來甚至有可能實現僅輸入數學公式就能解決相應問題。當然，目前AI大模型的能力還沒有達到這種地步，高質量數據依然不可或缺。
高質量數據真的如Ilya Sutskever所言，被用完了嗎？小雷認爲，答案是否定的。准確地說，容易採集的數據被用完了。
訓練AI大模型的數據主要有三大來源：第一，公开數據，如部分機構或組織公开的开源數據、互聯網上的帖子、論文等等，盡管互聯網數據也存在版權問題，但審查並不嚴格，而且方便抓取；第二，自有數據，如阿裏巴巴、小米等企業开發AI大模型，完全可以使用平台用戶積累的數據；第三，合作數據，AI公司與其他企業交換或購买到的數據。
（圖源：AI生成）
被採集完的數據，主要指公开數據和自有數據，合作數據還有極大的挖掘空間。例如在中國互聯網文化的發展歷程中，網頁端的佔比沒有想象中大，大量數據集中在App开發者手中，與开發者合作互換或購买這部分數據，同樣可以用於訓練大模型。另外，不少企業也會有一些保密數據，AI公司也可以买來訓練大模型。
這些數據並未公开，企業需要付出一定的成本才能獲取到，可能會增加AI公司訓練大模型的成本。因而不少AI公司也在考慮，使用AI生成的數據或對已有數據進行變換處理，用於訓練AI大模型。
不過AI創作的數據用於訓練自身，可能會出現故障或生成無意義內容，因而需要另一款AI大模型負責生成數據，以規避該問題，這種方案同樣需要大量資金。
AI大模型的發展進入了瓶頸，但遠沒有到盡頭，只是AI企業獲取數據的成本飆升，且對於算力的需求更高。解決困境的方法也很簡單，那就是盡快實現盈利。
AI大模型成了吞金獸，燒錢模式何時休？
前幾年元宇宙、區塊鏈、一滴血預測所有疾病等轟動全球的泡沫接連被戳破，導致不少網友懷疑AI也是泡沫和騙局。就小雷的體驗而言，AI已成爲提高我們工作效率的好幫手，如本文多張配圖便是由AI生成，AI絕非泡沫，但資金問題已然成爲困擾AI技術發展的重要因素。
今年初，奧特曼曾表示，需要7萬億資金重塑全球半導體行業格局，爲AI大模型的訓練提供足夠的算力支持。當時幾乎所有人都認爲奧特曼的想法不切實際，NVIDIA CEO黃仁勳更是表示，目前全球數據中心總價值僅1萬億美元。
現在看來，7萬億美元都不見得能夠將AI行業推至巔峰，AI公司仍需爲數據付出極高代價。沒有大量數據，AI大模型就難以產生質變，若不能質變，其帶來的價值不夠，又可能導致投資者放棄支持。在AI大模型一只腳踏入瓶頸的今天，盡快扭虧爲盈方能激活AI行業。
當前全球付費版AI大模型的訂閱價格都相當昂貴，行業領頭羊OpenAI推出的ChatGPT更是如此，ChatGPT Plus訂閱價格已高達20美元/月，更強的ChatGPT Pro則達到了驚人的200美元/月。
（圖源：ChatGPT截圖）
然而提高訂閱費用就能實現盈利嗎？恐怕不行。愿意付費使用的個人用戶始終是少數，唯有打造專業應用場景，從企業身上賺錢，方能盡快實現盈利。更何況專業場景訓練所需的數據和算力較少，能夠一定程度節省成本。C端市場向來錢少事多加衆口難調，可以暫時減少相關投入，以降低支出成本。
AI公司實現盈利後，投資者自然更有信心投入資金支持，公司也將有更多資金購买數據和算力芯片，從而訓練和提升AI大模型。
來源：雷科技
原文標題 : 訓練18個月GPT-5跳票！AI大模型的泡沫要破裂了？
標題：訓練18個月GPT-5跳票！AI大模型的泡沫要破裂了？
地址：https://www.utechfun.com/post/458915.html