OpenAI o1全方位SOTA登頂lmsys排行榜，數學能力碾壓Claude和Google模型，o1-mini並列第一

【導讀】o1模型發佈1周，lmsys的6k+投票就將o1-preview送上了排行榜榜首。同時，為了滿足大家對模型「IOI金牌水平」的好奇心，OpenAI放出了o1測評時提交的所有代碼。

萬眾矚目的最新模型OpenAI o1，終於迎來了lmsys競技場的測評結果。 

不出意外，o1-preview在各種領域絕對登頂，超過了最新版的GPT-4o，在數學、困難提示和編碼領域表現出色；

而o1-mini雖然名字中自帶「mini」，但也和最新版的GPT-4o並列綜合排名第二，困難提示、編碼、數學等領域和o1-preview同樣登頂第一。

果然，o1模型不愧是通用推理領域的新王。

lmsys社區官方發推表示，這項測試結果收集了6k+社區投票，並將OpenAI這次取得的進展描述為「令人難以置信的里程碑」。

單純看排行榜的排名可能不夠具有說服力，於是lmsys特意統計了總榜上前25名模型的1v1勝率。

可以看到，o1-preview對所有模型的勝率都超過了50%，對比04-09版GPT-4-Turbo的勝率最高，達到了88%。

o1-mini如果對戰o1-preview，勝率為46%，對09-03版GPT-4o的勝率為48%，可以說是大體平手、稍遜一籌的狀態。

值得注意的是，雖然Grok-2-mini和Claude 3.5 Sonnet都排在比較靠後的位置，但o1-preview對這兩個模型的勝率並不高，分別是58%和57%，大大小於排名第四的Gemini 1.5 Pro的69%。

如果看到細分領域的排行榜，尤其是數學/推理領域，效果則更加驚豔。

o1-preview和o1-mini不僅是登頂數學排行榜，而且是體現出了絕對的領先優勢。

排在第三、第四的Claude 3.5 Sonnet、Gemini 1.5 Pro和08-08版ChatGPT-4o的均分都在1275左右，不相上下；o1-preview和o1-mini則一騎絕塵，分數飆到1360附近，直接碾壓。

o1推理團隊的領導者之一William Fedus看到這張圖也是相當開心，他表示這張圖「很好地用視覺表達了範式轉換」。

看來最新的o1模型在STEM學科和通用推理方面的確又達到了新高度，用實際測評結果回應了「AI遇冷」、「OpenAI碰壁」的質疑聲。

「那就繼續期待OpenAI接下來的發佈吧！」

但一些人感歎「未來可期」的同時，另一些人想到了自己不多的智商和頭髮。

「模型搞得這麼好了，測試就不適合我這種蠢人了。」

同時，也有一些人表達了對lmsys排行榜結果的質疑。

比如，眾所周知的o1模型推理時間長，因而回答的延時也長，和其他模型都有明顯差別；而且不同於各類基準測試的客觀標準，lmsys社區中完全基於用戶的主觀評分，難說這裡面是否存在「安慰劑效應」。

也有人不服o1在編碼排行榜上的第一，認為雖然o1-mini非常適合進行項目規劃，但在Cursor這類編碼助手中還是Claude模型的表現最佳。

排行榜的結果當然不是全部，o1模型能否繼續贏得口碑，同時保持住智力水平不變蠢，還要看接下來的一段時間。

IOI金牌代碼全公開

說到o1模型的編碼能力，不知道你還是否記得，剛發佈時OpenAI提到了這樣一個指標：如果放寬提交約束到每個問題允許1萬次提交，o1可以達到高於IOI金牌門檻的分數。

在模擬進行的Codeforces編程競賽中，使用相同的規則進行評估，o1-preview可以打敗62%的人類選手，正式版o1則上升到超越89%的對手。

專門微調過的o1-ioi模型，表現優於93%的競爭對手。

此外，前段時間有用戶在實時的Codeforces比賽中使用了o1模型，結果是超越了99.8%的人類選手。

由於o1在編程競賽領域的表現如此突出，引起了AI社區強烈的興趣和好奇，OpenAI於是選擇發佈o1模型提交的代碼內容，包括6個問題的全部C++代碼以及註釋。

發文的yummy是o1模型的核心貢獻者Alexander Wei 

對於o1的驚豔表現，Alexander Wei自己都很驚訝。

他本人在9年前曾參加IOI競賽，但從未想到自己這麼快就需要和AI競爭，模型展現出的推理過程的複雜程度令人印象深刻。

博文表示，雖然o1模型距離人類的頂級表現還有很長的一段路要走，但我們期待有一天能實現這個目標。

這個發展軌跡讓人想起了AlphaGo——從水平高超，到能和人類頂級高手不分勝負，再到5-0完全碾壓李世石。

OpenAI想要達成的，估計就是究極進化的、能在編程上碾壓人類頂級高手的AlphaZero。

此處公佈代碼的6個問題具體如下：

有網民指出，其中最令人印象深刻的應該是象形文字（hieroglyphs）問題，o1模型總共得到44分，在現場的所有選手中排名第四。這表明，模型或許可以破譯一些人類無法解決的子任務。

前幾天，一位目前在NASA工作的天體物理學博士就嘗試讓o1複現自己論文中的代碼，結果一試嚇一跳——自己讀博時花了1年寫出的代碼，o1只用了一小時就寫完了。

這還只是裸模型，如果加上代碼解釋器、網絡實時搜索等各種工具，效果想必更加驚豔。

而且，Reddit網民還送來了溫馨提示：這隻是o1預覽版哦，可以狠狠期待一下不到一個月就即將問世的正式版o1了。

此外，這位網民還表示，o1基本沿用了GPT-4的架構；那你想，改換架構後的GPT-5（也就是傳說中的獵戶座）能達到什麼高度。

參考資料： 

https://x.com/lmsysorg/status/1836443278033719631 

https://codeforces.com/blog/entry/134091 

本文來自微信公眾號「新智元」，編輯：祖楊 ，36氪經授權發佈。