文｜魏琳華
編｜王一粟
ChatGPT誕生的第二年，OpenAI和國內的一衆企業正在試着“拋棄”它。
在Scaling Law被質疑能力“見頂”的情況下，今年9月，OpenAI帶着以全新系列命名的模型o1一經發布，“會思考的大模型”再度成爲焦點。
“我認爲這次 o1 模型發布最重要的信息是，AI 發展不僅沒有放緩，而且我們對未來幾年已經勝券在握。”對於o1的發布，奧特曼信心滿滿。
國內大模型廠商對o1的學習、超越任務也提上了日程。兩個多月之後，國內大模型公司紛紛效仿，相繼推出了各具特色的o1類深度思考模型。
無論是kimi的k0 math、Deepseek的DeepSeek-R1-Lite，還是昆侖萬維推出的“天工大模型4.0”o1版，都在強調着國內大模型對大模型邏輯思考能力的重視。
國產大模型集體跟進o1
在OpenAI沒有披露o1具體技術的情況下，只用了2個月左右的時間，國內大模型公司就跟上了前沿方向的能力：
11月16日，月之暗面在發布會上公开了新模型k0 math，通過採用強化學習和思維鏈推理技術，大模型开始試圖模擬人類的思考和反思過程，從而增強其數學推理能力。顧名思義，它在研究數學難題方面的能力可謂“遙遙領先”。
4天後，Deepseek的DeepSeek-R1-Lite正式上线。和OpenAI的o1相比，R1毫無保留地放出了大模型思考的完整過程。官方表示，R1的思維鏈長度可達數萬字。從官方測試結果來看，在AIME（美國數學競賽）、部分編程比賽的測試上，R1的表現超越了o1-Preview。Deepseek還直接在官網放出了測試版，允許用戶每天體驗50次對話。
就在上周三（11月27日），昆侖萬維也放出了具有復雜思考推理能力的天工大模型4.0 o1版（Skywork o1），宣布它是國內首款實現中文邏輯推理的模型。它也一次性給出了三種模型版本：开源的Skywork O1 Open、優化中文支持能力的Skywork O1 Lite，以及完整展現模型思考過程的Skywork O1 Preview。
扎堆湧現的國產“o1”大模型們，不想只做簡單的“模型復刻”。
從模型測試跑出的指標分數來看，上述模型在數學、代碼等能力上的表現均逼近、甚至超過了o1：
以k0 math爲例，在中考、高考、考研以及包含入門競賽題的MATH等4個數學基准測試中，k0-math的成績超過了OpenAI的o1-mini和o1-preview模型。
不過，在一些難度更大的競賽測試題能力表現上，比如難度更大的競賽級別的數學題庫OMNI-MATH和AIME基准測試中，ko math表現還沒辦法趕上o1-mini。
能夠做出難度高的數學題，類o1的大模型們开始學會了“慢思考”。
通過在模型中引入思維鏈（CoT），大模型將復雜問題拆解爲多個小問題，开始模擬人類逐步推理的過程。這是在無人參與的情況下，由大模型獨立完成推理。強化學習使大模型能夠自行嘗試多種不同的解題方法並根據反饋調整策略，學習和反思的任務的任務，都交給了大模型。
和一般模型相比，此類產品在一些往常無法解決的問題上也能夠正確回答，比如“草莓strawberry”一共有幾個r、“9.11和9.9相比哪個大”等問題，交給o1，它能在一番思考後給出正確的答案。
比如，把“Responsibility中有幾個字母i？”的問題拋給Deepseek R1，在深度思考模式中，我們能夠看到大模型的思考過程：它先把單次拆解成一個個字母，再逐步比較每個字母是什么，最終給出了正確的結果。在測試中，R1的思考速度也夠快，用不到兩秒的時間給出了答案。
專精還是空中樓閣，o1的硬幣兩面
批量制造的“慢思考”大模型們，在強化學習和邏輯鏈的加成下，模型能力的表現突飛猛進。
在Deepseek公布的測試效果中，可以看到，DeepSeek-R1-Lite的推理時間和准確率成正比關系，即推理時長越長，跑出的效果就越好。和過往沒有“慢思考”能力的模型相比，R1的表現遠優於前者。
在上述能力的加成下，大模型的自我反思、學習能力提升明顯。比如，面對陷阱時，模型可以通過思維鏈模式自行避开問題。
發布自研模型時，昆侖萬維給了大模型一個“陷阱”題目。讓它回答存在中文讀音“陷阱”的問題——“請將qíng rén yǎn lǐ chū xī shī轉換爲中文”。在第一次思考得出結論時，大模型主動發現了“西詩”是不對的說法，通過推理找到了准確的翻譯結果。
一方面，慢思考模型大幅提升了大模型在一些特定學科上的表現，解決難題的能力進一步提升；另一方面，大量耗費tokens的方式卻未必能換來用戶需要的回報，這也是常被用戶詬病的一點。
在某些情況下，增加模型思維鏈的長度可以提高效率，因爲模型能夠更深入地理解和解決問題。
然而，這並不意味着它在所有情況下都是最優解。
比如，思考“1+1＞2”這類常識性問題，顯然從效率和成本上來看，更適合用以往大模型的能力。這就需要大模型學會對問題難度自行進行判別，從而決定是否採用深度思考模式回答對應問題。
而在科學研究或復雜項目規劃中，增加思維鏈的長度可能是有益的。在這些情況下，深入理解各個變量及其相互作用，對於制定有效的策略和預測未來的結果至關重要。
此外，從特定場景下的強化學習應用轉向通用模型，在訓練算力和成本的平衡上或許還有一定難度。
從國內發布的模型來看，目前“慢思考”類大模型开發的基座模型參數不大。比如Deepseek和昆侖萬維給出的模型版本，都建立在規模量更小的模型上：Skywork o1 Open基於Llama 3.1 8B的开源模型，Deepseek也強調目前使用的是一個較小的基座模型，還無法完全釋放長思維鏈的潛力。
“一個大概率會確定的事情是，在訓練 RL 的階段，我們所需要的算力可能並不比預訓練要少，這可能是一個非共識。”談及o1時，階躍星辰CEO姜大昕曾經提到過這個問題。
未來的大模型不應該花費大量精力在簡單的問題上，要想跑出真正能夠釋放思維鏈能力的模型，還需要一定時間。
突破AGI二階段，國內加速探索產品落地
大廠們爲什么將o1視爲了下一個必備項？
在OpenAI和智譜給出的“通往AGI五階段”的定義中，兩家公司均將多模態和大語言模型能力歸在L1階段，也就是最爲基礎的能力配備。
而o1的出現，則標志着大模型能力突破到了L2階段。自此，大模型开始真正擁有了邏輯思維能力，在無人力幹預的情況下進行規劃、驗證和反思。
當下，雖然海外以OpenAI爲代表，率先實現了“慢思考”大模型能力的實現，但國內廠商在後續追趕的思路上想的更多。在同步跟進o1類產品的同時，大模型公司們已經在思考如何將o1的能力和現有AI應用方向結合。
針對大模型訓練進展停滯的疑慮，可以看到，在數據枯竭的情況下，o1能夠爲Scaling Law提供新的支撐。
此前，大模型訓練已經走入了“無數據可用”的困境。當可用的優質數據資源變得越來越有限，給依賴大量數據進行訓練的AI大模型帶來了挑战。
更多大模型公司的加入，或將聯手探索出更大的可能性。“o1 已經 scale 到了一個很大的規模，我認爲它帶來了一個 Scaling 技術的新範式，不妨稱之爲 RL Scaling。而且 o1 還不成熟，它還是一個开端。”姜大昕說。
在現有的一些AI應用上，思維鏈的能力已經幫助提升了AI技術的使用效果。
以智譜的“會反思的AI搜索”爲例，結合思維鏈能力，讓AI能夠將復雜問題拆解成多個步驟，進行逐步搜索和推理。通過聯網搜索 + 深度推理，再將所有答案信息綜合整理到一起，AI能夠給到一個更加精准的答案，
當大模型开始學會“自我思考”，通往L3（Agent）的大門也正在被大模型公司們推开。
“從L1到L2花了一段時間，但我認爲L2最令人興奮的事情之一是它能夠相對快速地實現L3，我們預計這種技術最終將帶來的智能體將非常有影響力。”談及o1，Sam Altman肯定了“慢思考”模型對推動智能體發展的潛力。
在智能體的能力實現上，思維鏈是智能體功能的重要一步。應用思維鏈能力，大模型才能對接受到的任務進行規劃，將復雜的需求拆解成多個步驟，支撐智能體的任務規劃。
最近湧現的一批“自主智能體”產品就是Agent能力的突破：通過將執行任務拆解到極致，AI开始學會像人一樣用手機、電腦，幫助用戶完成跨應用操作。智譜、榮耀等公司推出的智能體，已經可以通過指令幫用戶完成點單購买的任務。
但以目前的情況，开發者還需要具體結合o1類產品的能力，去調整智能體的輸出效果，讓它更接近人類的使用習慣。
在如何不過度思考的情況下，平衡大模型的推理進化和用戶對效率的需求？這是楊植麟幾個月前在雲棲大會上的提問，這個問題，還需要留給國內大模型廠商們繼續解決。
原文標題 : ChatGPT兩周年，國產o1大模型們緊追不舍
標題：ChatGPT兩周年，國產o1大模型們緊追不舍
地址：https://www.utechfun.com/post/450499.html