當地時間12月5日，OpenAI正式上线ChatGPT的o1和o1-Pro兩個新的AI模型。其中o1模型實際上大家之前已經用過了，只是那時候還叫o1-preview，僅开放了o1模型的部分功能，如今新版本去掉了preview，也意味着o1模型的滿血版終於正式上线。
圖源：雷科技
從簡單的測試來看，滿血版的o1模型已經支持圖片和文件上傳，而此前是只能進行文字輸入，也就是新增了多模態理解，不過網頁搜索功能仍未上线，這點倒是讓人感到遺憾。
對於o1滿血版的提升，OpenAI的CEO奧特曼用一個簡單的柱狀圖給出了對比：可以看到o1在數學推理和編程領域的表現要明顯優於o1-preview，提升幅度在50%左右，而在科研領域的測試裏，o1相對於o1-preview的表現就提升有限了。
圖源：OpenAI
考慮到o1模型不需要額外加錢就能使用，對於有需求的用戶來說還是很超值的，只是OpenAI這次醉翁之意不在酒，相較於免費升級的o1，全新的o1-pro才是重頭戲。不過，想要用上o1-pro，得訂閱新的200美元套餐才能優先使用，這也是目前AI領域中針對個人用戶的最昂貴訂閱方案。
從OpenAI給出的性能對比圖來看，o1-pro在o1的基礎上確實有所精進，但是提升幅度並不大，對於普通用戶來說，o1模型就完全可以滿足日常使用了，壓根沒有必要爲了o1-pro訂閱200美元的套餐。
當然，200美元套餐提供的不只是o1-pro，還有無限制使用o1模型和高級語音功能的權限（o1-pro不在此列，估計使用次數仍有上限），如果你覺得o1的提問額度完全不夠用，那么200美元的套餐就是個人用戶的唯一選擇了。
既然有了新的模型，那么肯定是要來測試一下的。雷科技此次測試主要還是針對o1滿血版的多模態能力，同時也請來了兩位國產AI友情參賽（kimi和文心一言）。
o1滿血版實測體驗並非「無敵」
o1模型的強項在於數學等方面的高級推理，那么就先從擅長的地方开始，一道並不算困難的數學計算題：
假設一個公司生產某種商品，生產成本與產量的關系爲C(x) = 3x^2 - 2x + 5（單位：萬元），其中x是產量（單位：千件）。市場售價與產量的關系爲 P(x) = 50 - 0.5x（單位：萬元/千件）。
1. 求該公司生產 x千件商品時的總利潤函數 L(x)。
2. 確定該公司應生產多少千件商品以實現最大利潤，並計算最大利潤是多少。
首先看看國產AI的回答：
kimi
文心一言
國產AI都給出了相同的答案：188.14萬元，那么再來看看ChatGPT-o1的。
o1
o1模型給出的答案也是188.14萬元，與問題本身的標准答案一致，三個AI都通過了測試。不過大家從回答的截圖裏，其實也能看出不同，o1模型展示了大量的推算過程，更方便用戶檢查推理的過程是否正確。
這也與o1模型的主要用途有關，本質上o1模型上爲科研等用途設計的，所以在展示答案的時候會更注重於推理過程及正確性，而非只輸出正確的答案。
接下來我們試試直接用圖片進行提問，可以讓我們輸入一些比較抽象的數學題，比如一道來自小學四年級的奧林匹克競賽題：
還是慣例先看看國產AI的回答：
kimi
文心一言
兩個國產AI分別給出了A和B的選項，其中kimi的推理過程非常長，直接把這道小學奧數題以高等數學的方式進行了解析。
下面看看o1模型的回答：
o1
o1模型給出的答案也是B，那么是否說明kimi算錯了？答案並不是，這道題的正確答案其實是A，換言之o1和文心一言都算錯了。文心一言因爲沒有給出詳細推理過程，所以無法看出是在哪一步算錯了，而o1模型顯然是在分析圖片時，錯誤的判斷了圖形的集合數量，最終導致答案推理錯誤。
在這個問題上，其實就可以看出AI大模型在處理類似的圖形問題時，解題的思路是不同的，文心一言和o1都試圖通過直接找出圖片的規律來計算答案，也就是類似於人類解題時的思路，而kimi則是直接將圖形等式轉化爲方程式，然後進行計算。
從效率來說，o1和文心一言的推理方式肯定是更節省算力的，但是如果分析拆解能力沒有跟上，那么就會像這次一樣得出錯誤的答案，而kimi的推理過程雖然會耗費更多的算力，但是也保證了答案的准確度。
站在企業角度來看，爲了提高推理效率並降低推理成本，採用圖形推理方案自然是最佳選擇。但是考慮到o1本身的高級模型屬性，以及OpenAI給出的科研助手定位，如果還爲了節省算力而給出錯誤的答案，恐怕就難以說服用戶了。
下面再來看看編程方面的表現，題目並不算難：
我想制作一個軟件，這個軟件可以每個小時檢查一次電腦的網絡連接狀態，如果網絡連接中斷就重啓電腦，如果網絡連接正常就保持現狀
兩個國產AI都很快就給出了答案：
kimi
文心一言
因爲要求很簡單，簡單測試後虛擬機都提示成功運行。不過，可以看到兩個國產AI的回答有些許不同，kimi在代碼中用灰色字體進行了注釋，而文心一言則是通過額外的注意事項進行提醒，並且還提醒要安裝運行庫，並給出了更多的編程建議。
那么o1模型呢？答案如下：
o1
從o1模型的回答來看，它是分三個部分完成的回答，首先給出實現思路，然後給出示範代碼並進行注釋，最後再對代碼的編寫過程進行分析，同時提供了測試思路和備選方案，算是集中了兩個AI各自的優勢，對於初學者來說，o1模型的體驗或許會更好一些。
從生產力的角度來說，o1模型在特定領域的表現確實出色，但是國產AI的表現也不算差，其中kimi更是讓人感到驚喜，是唯一答對全部測試題目的AI。
測試到這裏，本來可以告一段落了，不過我還想看看在日常領域，o1模型的表現和普通模型又會有什么區別呢？
所以，我又出了一道附加題，從網絡上搜索了一個草莓餡餅的照片，然後詢問AI如何制作照片裏的甜點。
kimi
文心一言
o1
三個AI都很輕松識別出了甜點的類型，並且給出了相似的配方，不過o1模型的回答則是詳細到了每一個步驟的操作方式和注意事項，相對來說國產AI的步驟說明就簡單很多了。如果是有一定烘培經驗的人，國產AI的菜譜是夠用了，但是對於一個新手來說，o1模型的菜譜成功率顯然會高很多。
AI的下一步是學會真正的「思考」
總體來看，o1模型在回答的細致度等方面確實有着明顯的優勢，在一些需要查看推理過程或者得到更詳細回答的場景中體驗會好很多。但是從答案的准確度來看，o1對比目前的國產AI其實也沒有多少優勢，表現還不如kimi。
而且國產AI也可以通過追問等方式，得到更詳細的回答和推理過程，o1模型在多數場景下其實都沒有明顯的優勢，比如我在日常使用ChatGPT時，很多時候ChatGPT-4o就可以滿足需求，只有極少數情況下會用到o1模型。
作爲一個ChatGPT的長期用戶，我認爲o1模型其實更適合科研人員及金融分析師等職業，他們在日常工作中會用到大量數學工具並進行多次推理。此時，o1模型那經過針對性訓練的多步驟推理流程，在解決這些問題時表現會比普通AI好不少。
至於o1-pro，其實從我查詢到的其他用戶測試結果來看，回答的質量與o1模型並沒有太大區別，兩者的差距主要是o1-pro可以調用更多的算力，反復驗算答案的正確性，並且嘗試給出更詳細的推理過程。
實際上AI大模型發展到現在的階段，其實又开始出現細分化的苗頭，在此之前不少AI企業都希望去打造一個大而全的多模態模型，但是卻發現成本很高且效果並不算好，諸如「幻覺」等問題一直難以解決。
而ChatGPT-o1無疑給出了另一個解法，在算力足夠的情況下，可以讓AI先對問題進行一次深度的「思考」，再根據思考的結果去進行推算。你可以這么去理解，o1是先嘗試分析問題本身，再根據分析結果去解決問題，而普通AI則是直接對問題進行關鍵詞拆解，然後根據算法調用對應的數據並組合輸出，這種方式雖然回應速度快，但是回答的准確度卻難以保證，特別是面對一些復雜的問題時。
所以，我們可以看到kimi和文心一言其實也在通過不同的方式去讓AI學會「思考」，而不是根據算法和數據強行組合答案。kimi的表現更是給我留下了深刻的印象，作爲數學測試環節唯一回答全對的選手，無需付費就可以使用，性價比和體驗都拉滿了。
老實說，如果不是爲了方便查詢外文資料和關注AI的最前沿，ChatGPT的20美刀訂閱性價比確實不高，免費的kimi和提供多種智能體及官方工具，更具有泛用性的文心一言都是更具性價比的選擇。
來源：雷科技
原文標題 : ChatGPT o1滿血版上线！實測中它竟然敗給了國產AI？
標題：ChatGPT o1滿血版上线！實測中它竟然敗給了國產AI？
地址：https://www.utechfun.com/post/452808.html