o3曝智商高達157,比肩愛恩斯坦碾壓99%人類!陶哲軒水平AI或出現
編輯:編輯部 HYZ
【新智元導讀】OpenAI o3的智商,竟然已經高達157,碾壓99%的人類?這張OpenAI模型智商圖全網瘋轉。甚至有人大膽預測:達到陶哲軒智商(225-230)的大模型,應該會很快出現了。
o3智商竟有157,堪比愛恩斯坦?
今天,一張OpenAI模型智商圖,在全網傳遍了。
圖中清晰可見,能夠達到o3智商水平的人類大約佔比僅有0.0075%。
13333人當中,也僅有1人IQ是o3級別的。對於GPT-4o,6人當中就有1人能夠達到IQ 115的水平。
從GPT-4o、到o1系,再到o3系,模型IQ逐漸遞增,也僅用了1年時間,實現了質的飛躍。即便是最強o1 pro(IQ為139),o3完全領先近20分。
有網民表示,用不了多久,我們口袋里就會擁有一個IQ 157的智能。
還有人稱,陶哲軒智商大約在225-230之間,未來模型很快就能達到這個水平。
o3超高智商背後
o3發佈之後,很多人都認為AGI實現了。
從o1到o3,OpenAI僅用了3個月;從o1 pro到o3,僅用了1個月。種種跡象表明,Scaling Law並未終結。
過去五年,OpenAI模型在ARC-AGI上的得分,也說明了一切。
OpenAI研究員Nat McAleese在o3發佈當天,分享了一些關於模型的介紹。
他表示,o3代表著通過強化學習在通用領域的巨大進步。
o1是首個大規模推理模型,也僅僅是一個通過RL訓練的大模型。o3是通過在o1基礎上,進一步scaling強化學習而開發的。
我們已經看到,o3在世界上最具競爭的編程基準CodeForces中得分超2700,完全達到了國際大師的水平。
與此同時,o3在數學基準FrontierMath驚豔表現令人生畏,甚至擊穿了陶哲軒的預言。
在Keras之父François Chollet轉寫的報告中,也解釋了o3與以往舊模型之間的區別:
o3的核心創新點在於,實現了token空間內自研語言程序搜索和執行。在測試時,它會搜索可能的CoT空間,並尋描述解決任務所需的步驟,由評估模型引導搜索過程。
而且,他表示,這種方式與AlphaZero的蒙地卡羅樹搜索並無太大差異。
本質上,o3是一種深度學習引導的程序搜索形式。
不過,即便o3進化速度如此瘋狂,OpnenAI研究員Will depue表示,這還不是AGI,我們還有很長的路要走。
o3 ARC-AGI測試被曝「作弊」?
而且就在最近,o3的ARC-AGI測試結果,在圈內引起了不小的爭議。
要知道,這個基準設立的初衷,就是專門找到那些對人類很容易,對AI來說卻很難的題目。
根據OpenAI的說法,在ARC-AGI這個基準測試中,o3在低計算模式下,在半私有評估中的得分為75.7%;在高計算模式下,得分為87.5%。
而人類在該任務上的表現通常在85%的水平,也就是說,o3在高計算模式下,已經超越了人類。
這個結果,引起了多人的質疑:OpenAI不會專門針對這個任務做過訓練吧?
要知道,在直播的第12天,奧特曼專門強調過,「並未對模型做過特殊處理」。
對此,心細的網民們紛紛展開調查。
比如這位名為Knight Lee的網民,就表示o3在ARC-AGI上的分數是經過微調的,而之前的AI分數並沒有被微調。
他表示,o3的一個主要優勢,就是接受過示例測試問題的明確訓練而已。
之所以有這樣的觀點,是他引用了ARC-AGI設計師François Chollet的說法——
OpenAI分享說,他們測試的o3是在公共訓練集75%的數據上進行訓練的。他們尚未透露更多細節。我們尚未測試未經ARC數據訓的模型,因此尚不清楚其性能有多少歸因於ARC-AGI數據。
這個這個說法為真,那o3所取得的分數,顯然佔了很大便宜。
OpenAI研究員Zach Stein-Perlman反駁說,他們沒有針對ARC對o3做過微調。
不過今天出來的o3智商157的結果,至少可以為它的性能稍稍正名了。
o4才是Orion?
而且,在o3之後,或許還會有IQ更強的模型現身。
Information獨家爆料稱,o3並不是代號為Orion的模型。相對的,Orion可能會作為o4的基礎模型。
OpenAI研究員Jason Wei稱,從o1到o3僅用了3個月的時間,這表明在新範式下,進展遠快於預訓練範式每1-2年更新一次模型的速度。
推理模型的優勢在於,利用更多計算資源思考之後,能夠彌補預訓練的放緩速度。
也正因此,o3推理代價是高昂的。ARC-AGI基準測試報告中,已經披露了o3在每個高計算任務中的成本會超過1000美金。
這也充分解釋了,OpenAI博士級AI助手能達到每月2000美元的原因。
另一位OpenAI研究員John Hallman對此表示,當Sam和我們研究人員說AGI即將到來時,我們不是為了給你畫大餅,不是為了推2000美元的訂閱,也不是為了誘騙你投資我們的下一輪融資。它真的要來了。
目前,不清楚的是,o3對普通ChatGPT用戶能帶來多大幫助。
o3可能在編程、數學、科學領域表現,對編程、數學和科學領域的人員幫助最大,包括那些研究極其困難問題(如核聚變能源)的研究人員。
而對於普通用戶而言,新模型可能有點「大材小用」。
雖然o3表現出色,其他科技巨頭也不甘示弱。
Google強勢推出了Gemini 2.0 Flash、影片模型Veo 2,以及由耗資30億美金聘請AI研究員Noam Shazeer開發的推理模型。
一些對價格敏感的開發者,紛紛轉向了GoogleFlash模型。
可以看出,推理模型仍將繼續超進化迭代,2025年也將會如今年一樣令人興奮。
參考資料:
https://x.com/i_dg23/status/1871135348069482993
https://x.com/kimmonismus/status/1871162085675253977
https://x.com/SmokeAwayyy/status/1871273888191221922
https://www.theinformation.com/articles/openai-wows-the-crowd-as-new-scaling-law-passes-its-first-test?rc=epv9gi