AI在《我的世界》PK蓋樓，新舊Claude差距過於明顯，網民：審美也是智力的一種

夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

測評大模型Agent能力，從未如此直觀。

新舊兩版Claude 3.5 Sonnet在《我的世界》里PK蓋樓，差距不要太明顯，引來大量圍觀。

如果讓AI不斷迭代，甚至能蓋出一片建築群。

為了避免Claude團隊糟糕的命名方式造成混淆，下面跟隨adi暫且把「新版Claude 3.5 Sonnet」稱為「Sonnet 3.6」。

作者adi戲稱其為目前「唯一可靠的評測基準」。

Aidan Bench作者Aidan McLau認為評測基準界正需要這個，審美也與智力顯著相關。

他甚至願意提供資金，把這個項目擴展成完整的評測。

總之在開源社區幫助下，代碼迅速上架GitHub，更多模型測試結果陸續出爐中。

比如以慢思考著稱的OpenAI o1系列，o1-preivew確實蓋的更慢，但結構也更完整。o1-mini則無法勝任這個任務。

最終在人類喜好評估（2000+網民投票）中，Sonnet 3.6小贏了一手創意性。

如果不比創意比模仿真實建築泰姬陵，o1-preview就佔很大優勢了。

照這個趨勢下去，這款經典遊戲很快就要從《別人的世界》變成《AI的世界》了……

新型MC Bench火了，競技場模式開發中

大模型在《我的世界》里蓋樓，並不是靠接管鼠標鍵盤，也不需要視覺理解能力。

而是通過文本提供上下文，並生成下一步操作指令，或許可以理解成根據棋盤行列編號下盲棋。

具體到遊戲中，AI會控制一個角色，玩家只需要在聊天框中打字說明想要AI建造什麼就可以了。

網民Mckay Wrigley製作了影片教程，在15分鐘內就可以使用開源代碼設置好測試環境。（地址在文末獲取）

使用mineflayer開源庫，可以把大模型生成的指令解析成可操作的API調用。

mindcraft開源庫中則提供了適合任意模型玩《我的世界》的通用提示詞，和少量in-contextlearning示例。

目前，MC Bench開源項目組打算進一步完善，做成類似Lmsys大模型競技場一樣的天梯機制，人類用戶投票，使用Elo算法記分排名。

與此同時，更多其他模型的測試結果也在持續更新中。

更多AI作品

Claude Sonnet非常擅長以塔為主題自由發揮，只需給到足夠算力。

o1-preview則可以發揮慢思考能力，用不同顏色的方塊排列出太陽系。

不僅天體的順序是正確的，連相對體積都有所體現，當然如果太陽按真實比例會讓遊戲崩潰……

小模型難以規劃複雜的建築，但理解和還原簡單指令方面，gemini-1.5-flash勝過gpt-4o-mini。

讓開源大模型Llama 3 405B蓋一個反應它自己個性的東西，AI選擇了火坑上的鑽石牆。

整體看下來，最有意思的或許還是這個：

讓o1-preview自由發揮，隨便蓋一個酷的東西。

AI選擇搭了一個機器人形象，並拚出GPT三個字母。

作者透露，接下來會繼續測試一眾中等大小開源模型。

目前初步結果，阿里Qwen 2.5-14B表現不錯。

感興趣的朋友可以玩起來了。

影片教程：

https://x.com/mckaywrigley/status/1849613686098506064

開源代碼：

https://github.com/kolbytn/mindcraft

https://github.com/mc-bench/orchestrator

參考鏈接：

[1]https://x.com/adonis_singh/status/1849529291085623372

[2]https://x.com/aidan_mclau/status/1849535981826752632