超過o1-mini、逼近o3-mini，DeepSeek-R1在新的貪吃蛇基準上拿下1801分

機器之心報導

編輯：Panda

ARC Prize，曾在去年底 OpenAI 12 天連發的最後一天賺盡了眼球，其發佈已經 5 年的基準 ARC-AGI 首次迎來了得分達到優良等級的挑戰者：o3 系列模型。參閱機器之心報導《剛剛，OpenAI 放出最後大驚喜 o3，高計算模式每任務花費數千美元》。

自那以後已經過去了兩個多月，AI 領域早已經迎來了巨大的改變，其中尤其值得提及的便是 DeepSeek-R1 模型。憑藉開源和低成本等優勢，這款性能強大的推理模型不僅已經成為國內 AI 或雲服務商的標配，還正被集成到越來越多的應用和服務中，甚至原來很多原本與 AI 沒有直接關聯的應用也以接入 DeepSeek 為賣點進行宣傳。

那麼，DeepSeek-R1 的 ARC-AGI 成績如何呢？根據 ARC Prize 發佈的報告，R1 在 ARC-AGI-1 上的表現還趕不上 OpenAI 的 o1 系列模型，更別說 o3 系列了。但 DeepSeek-R1 也有自己的特有優勢：成本低。

來源：https://arcprize.org/blog/r1-zero-r1-results-analysis

上週六，ARC Prize 又發佈了一個新的基準，這一次 DeepSeek-R1 不僅超過了 o1-mini，與 o3-mini 的差距也非常小。

這個新基準名為 SnakeBench，是一個 1v1 的對抗性基準。其思路很簡單：將兩個 LLM 放在一起進行貪吃蛇比賽。如下展示了一局 o3-mini 與 DeepSeek-R1 的對抗。

官方網站：https://snakebench.com
項目地址：https://github.com/gkamradt/SnakeBench

SnakeBench：緣起

ARC Prize 的推文表示，SnakeBench 的設計靈感來自著名 AI 研究科學家 Andrej Karpathy 的一條推文，其中涉及到了讓 AI 智能體在遊戲中進行對抗以進行評估的思路。（這條推文還涉及到另一個使用遊戲來評估 LLM 的基準 TextArena，感興趣的讀者可訪問：https://www.textarena.ai ）

ARC Prize 表示，使用遊戲作為評估環境可以檢驗 LLM 的多種能力，包括：

實時決策
多重目標
空間推理
動態環境

模型的表現

ARC Prize 報告說他們目前已經使用 50 個 LLM 進行了總共 2800 場比賽，為這些模型的「貪吃蛇實時策略和空間推理」能力排了個座次。

具體過程是怎樣的呢？

首先，以文本格式提供兩個 LLM 角逐的棋盤，其中會通過提示詞明確說明所用的 XY 坐標系。因此需要明確，這裏提供的並非真正的 2D 表示 —— 這種信息轉譯可能會丟失某些空間推理信息。下面展示了一個提示詞示例：

在遊戲進行時，首先隨機初始化每條蛇。然後要求兩條蛇（LLM）同時選擇下一步動作。當一條蛇撞到牆、撞到自己或撞到另一條蛇時，遊戲結束。之後，根據遊戲結果計算每條蛇的 Elo 評分。

以下為完整榜單：

據介紹，整體來說，Big Llama、o1、o3、Sonnet 3.5 和 DeepSeek 的表現最好，而其它 LLM 總是會撞牆。下面展示了幾局效果最好的比賽：

ARC Prize 官網還詳細列出了這四局比賽的完整詳情，下面展示了其中第二局（DeepSeek-R1 vs o3-mini）的詳情。在這裏，不僅可以看到 LLM 每一步的選擇，而且還能看到 LLM 為每一步選擇給出的理由。當然，對於 DeepSeek-R1 模型，我們還可以清楚地看到其完整的思考過程。

Dry Merge CTO Sam Brashears 還注意到了一個非常有趣的回合。此時，o3-mini 和 DeepSeek 同時與一個蘋果相鄰，而它們竟然同時認為對方不會冒險吃這個蘋果，於是決定自己去吃，結果導致雙雙斃命。

此時，DeepSeek 想的是：「如果我向右移動到 (8,7) ，同時如果蛇 1 也向左移動，則有與蛇 1 相撞的風險。但是，為了保證分數，吃到蘋果優先於規避風險。」

而此時 o3-mini 也有類似的想法：「儘管我們的敵蛇（蛇 2）的頭位於 (7,7) 處，也有可能想吃這個蘋果，但沒有強烈的跡象表明它會冒險用自己更長的身體與我正面碰撞。因此，吃到蘋果的直接好處大於風險。」

以下是 ARC Prize 總裁 Greg Kamradt 總結的幾點關鍵發現：

推理模型佔據主導：o3-mini 和 DeepSeek 贏得了 78% 的比賽。
LLM 經常誤解以文本格式提供的棋盤佈局。這會導致模型錯誤地定位蛇頭的位置，或者導致蛇撞到自己的尾巴。
較低檔的模型（包括 GPT-3.5 Turbo 和 Haiku）表現不佳，而只有 GPT-4、Gemini 2.0 和 o3-mini 表現出足夠的策略遊戲推理能力。這說明基本的空間推理仍然是 LLM 面臨的巨大挑戰。大多數模型都無法跟蹤自己的位置，並且會犯明顯的錯誤。
上下文很關鍵。為了讓 LLM 做出正確選擇，需要讓其加載大量信息，包括棋盤位置、蘋果位置、其它蛇的位置等。