o3數學成績作弊大瓜!提前讓測試機構給真題,60多名數學大牛全被蒙在鼓裡

基爾西 發自 凹非寺

量子位 | 公眾號 QbitAI

OpenAI o3還沒上線,就被曝數學成績是靠作弊得來?!

Benchmark發佈機構內部人員爆料稱,OpenAI給了他們經費贊助

就連包括陶哲軒在內參與出題的60餘名數學家,在消息曝光之前也都和普通公眾一樣蒙在鼓裡

直到o3發佈,這一消息才被公開。這意味著嚴格保密的題目,OpenAI提前拿到了手中。

這套數據集名叫FrontierMath,包含了由陶哲軒等60多名權威數學家命製的高難度題目。

陶哲軒就表示,這些題目足夠困擾AI幾年的時間;1998年菲爾斯獎得主Gowers也說,能解決其中的一個問題就已經超越現在的能力範圍了。

當時也正是因為在這一測試基準上大幅領先,o3的能力更進一步被得到認可。

Epoch.ai這邊,聯合創始人Tamay Besiroglu也回應並承認了秘密贊助和OpenAI提前拿到題目的傳聞,但否認題目被OpenAI拿來作弊

但有些網民並不買賬,表示OpenAI如果不使用這些信息還要訪問權限幹什麼,並推測有可能被用來訓練。

專家被要求嚴格保密,但OpenAI卻能拿到題

這家名叫Epoch.ai的機構,開發了一款名為FrontierMath的數學測試基準,論文第一版預印本於去年11月7日(協調世界時,香港時間為8日淩晨)發佈。

包括第一版在內,FrontierMath的論文在近兩個月的時間里一共發佈了五個版本,但直到最後12月20日的第五版才披露了OpenAI的資助

不過也只是在腳註中提了一句,感謝OpenAI對構建Benchmark的支持。

並且12月20日剛好是OpenAI發佈o3的日子,並且Besiroglu也透露,之前沒有公開正是由於OpenAI的保密要求

在o3推出之前,我們一直被限制披露合作關係,事後看來,我們應該更加努力地談判,以便能夠盡快向基準貢獻者保持透明。

如果不看OpenAI這場風波,FrontierMath是一套重要性非常高的測試基準,由全球六十餘位數學家聯手命題,包括教授、IMO命題人、費爾茲獎獲得者,其中就有大牛陶哲軒等人。

而且難度也非常高,包括數百個極具挑戰性的數學問題,在o3之前的模型解決率不到2%

哪怕o3真的作了弊,得分也才20多分。

像下面的這道題目,在FrontierMath當中算是難度最低的一檔:

正常來說,FrontierMath里的題目和答案是嚴格保密的,就連出題的數學家也被要求籤訂保密協議,甚至不能使用Overleaf、Colab或電子郵件傳輸有關題目的信息。

諷刺的是,這樣「嚴格保密」的題目卻被OpenAI拿到,而出題專家對OpenAI的情況毫不知情。

史丹福博士、MIT羅德獎學金得主Carina Hong(洪樂潼)就表示,至少有六名專家能夠證實這一點,並且大部分專家表示不確定如果知道(OpenAI的獨家訪問權)是否還會選擇貢獻。

後來她表示,(和出題人)簽保密協議確實是為了防止數據汙染,對OpenAI的目的則不做猜測。

聯創承認錯誤,但否認OpenAI作弊

內部爆料和外部質疑之下,Epoch.ai聯創Besiroglu也承認了和OpenAI存在秘密協議,並表示沒有公開透明確實是「犯了一個錯誤」。

但Epoch.ai否認了OpenAI作弊的說法,表示一方面OpenAI拿到的數據並不是全部,另一方面OpenAI也口頭承諾拿到的數據不會用於模型訓練

Besiroglu回應全文如下(中文為機翻):

但對於Besiroglu提到的「口頭承諾」,有網民表示至少要有個書面的協議,但猜測OpenAI不會願意提供,還有人補充說哪怕有書面材料也很難監督實施。

不過到現在,確實是所有的回應都來自Epoch.ai這邊,OpenAI還沒給出說明。

另外Epoch.ai首席數學家Ellot Glazer也承諾,之後會對受到的資助進行說明。

對於o3的成績,Ellot表示Epoch.ai無法給出承諾,但他個人相信OpenAI的報告是準確的,因為在他看來OpenAI「沒有撒謊的動機」。

同時他說Epoch.ai正在開發一個保留數據集,能夠確保OpenAI在測試之前無法事先接觸。

不過有網民對「沒有動機」的說法表示懷疑,Ellot也進行瞭解釋,表示OpenAI沒有傻到搬起石頭砸自己的腳。

話又說回來,o3到現在依然是個黑盒,到底是名副其實還是炒作噱頭,等到發佈的那天就揭曉答案了。

參考鏈接:

[1]https://www.lesswrong.com/posts/cu2E8wgmbdZbqeWqb/meemi-s-shortform

[2]https://techcrunch.com/2025/01/19/ai-benchmarking-organization-criticized-for-waiting-to-disclose-funding-from-openai/

[3]https://www.reddit.com/r/singularity/comments/1i4n0r5/this_is_so_disappointing_epoch_ai_the_startup/

[4]https://x.com/CarinaLHong/status/1880820323597357273