OpenAI正式發佈o3 – 通往AGI的路上,已經沒有了任何阻礙。

今天淩晨2點,OpenAI的12天直播,終於來到了最終章。

奧特曼,也在一片聖誕的氣息中終於回歸。

為大家帶來了最後的壓軸大戲。

OpenAI o3

又一次超群,又一次把模型的能力,推到了新的高度。

也向全世界證明了,OpenAI,依然在鐵王座上牢不可摧。

我也想起了OpenAI研究員在發佈o1之前的那句話:

「我們通往AGI的路上,已經沒有任何阻礙了」

之所以OpenAI直接發佈o3沒有o2,原因也挺簡單的。

因為跟英國電信服務提供商O2可能存在版權或商標衝突,所以直接跳過了。。。

直接到o3。

而OpenAI直播一完,X上基本就沸騰了。

o3的能力,對現在所有模型,幾乎都直接是降維打擊。

看下o3的能力吧。

一些粗的評測集簡單過一下。

左邊的是軟件工程考試(SWE-Bench Verified),這就像是一個考寫程序的考試,比如你寫一個軟件要它快速、準確,還不能有 bug(小錯誤)。這是考察 o3 是否能像一流的軟件工程師一樣寫出完美的代碼。

o3 的成績:71.7%,比o1還強了不少。

右邊的那個基準比較猛,Codeforces,一個全球著名的編碼競賽平台。

o3的得分是2727,這個得分,相當於整個榜單的第175名,已經超越了99.99%的人類了。

o1的代碼能力已經強到爆炸了,而o3,又向AGI的山頂,前進了一大步。

數學競賽AIEM 2024和博士級科學考試GPQA Diamond。

AIEM 2024接近滿分,如果我沒記錯的話,這應該也是第一次AI能達到有AIEM接近滿分的水平。

博士級科學考試有進化,但沒數學和編程進化的這麼猛。

接下來的這個數學基準比較有趣一點。

FrontierMath,Epoch AI 開發的一個數學基準測試,由60多位頂尖數學家的合作開發,旨在評估人工智能在高級數學推理方面的能力。

而且為了避免數據汙染,所有的題目都是原創的且從來沒有發佈過的新題目。

之前GPT-4 和 Gemini 1.5 Pro這種模型去評估的時候,成功功率不足2%,與其他傳統數學基準(如 GSM-8K 和 MATH)中超過90%的成功率形成鮮明對比。

而這一次,o3直接達到了25.2

當各大其他模型都還在卷傳統數學基準的時候,o3真的已經進入了另一個世界了。。。

就像大家還在大鬥師階段互相卷,你是五星大鬥師,我是八星大鬥師。

兩者爭論不休,正準備要比試比試,忽然就看到一個鬥宗強者踏空而行,留下一地的臥槽。

這還比個鬼。

然後,就是我覺得,整個基準里,最有趣的一個基準了:

ARC-AGI。

先說說這是個什麼玩意。

ARC-AGI於2019年首次提出,旨在通過一系列抽像和推理任務來測試AI系統的能力。

主要是因為傳統的技能測量方法並不能有效代表智能,因為它們往往依賴於先前知識和經驗,而真正的智能應體現在廣泛的適應能力和通用性上。

所以,ARC-AGI誕生了,裡面的這些任務要求AI識別模式並解決新問題,每個任務由輸入輸出示例組成。這些任務以網格形式呈現,每個方塊可以是十種顏色中的一種,網格的大小可以從1×1到30×30不等。參與者需要根據給定的輸入生成正確的輸出,測試其推理和抽像能力。

可以簡單的理解成,找規律。

大概就是這樣的。

非常的難且抽像。

過去幾代模型的評分在此:

* GPT-2 (2019): 0% 

* GPT-3 (2020): 0% 

* GPT-4 (2023): 2% 

* GPT-4o (2024): 5% 

* o1-preview (2024): 21% 

* o1 (2024): 32% 

* o1 Pro (2024): ~50%

但是今天,o3的分數,達到了恐怖的87.5%。

從0%到5%,整整花了5年的時間,而如今,從5%到87.5%,僅僅只花了半年。

而對應的,人類的閾值分數,是85%。

我們通往AGI的路上,已經沒有任何阻礙了。

不過o3強歸強,但是又是一個期貨,OpenAI目前只對紅隊開放,如果是巨佬的話,可以去申請試試。

網址在此:https://openai.com/index/early-access-for-safety-testing/

目前不知道o3什麼時候放出,但是OpenAI又基於o3,訓了3個小尺寸的o3模型。

目前o3-mimi,預估在1月底可以對外開放,但是感覺到時候,肯定又是pro會員專屬的模型了。

我越來越期待,2025年AI行業的進化了。

推理模型、Agent、AI硬件、世界模型。

每一個都是比這個中間態的2024,都更讓人興奮的東西。

2025,必是AI行業,真正的星辰大海。

我們也在最後,回顧一下這12天的香港時間。

Day 1:滿血o1上線,ChatGPT Pro會員上線,o1 pro推出。

Day 2:基於o1的強化微調。

Day 3:Sora正式發佈。

Day 4:ChatGPT Canvas全員開放以及小功能更新。

Day 5:給蘋果站台,宣傳蘋果全系接入GPT。

Day 6:4o的實時影片理解上線。

Day 7:ChatGPT發佈新建文件夾「項目」功能。

Day 8:ChatGPT Search全量開放,搜索體驗大幅優化。

Day 9:發佈了o1的API、更新了實時語音的API、發佈了偏好微調能力(PFT)。

Day 10:物理意義上的可以給ChatGPT打電話了。

Day 11:炒冷飯,ChatGPT 桌面版能讀到別的應用。

Day 12:OpenAI o3正式發佈

這12天,稍微有點驚喜的日子大概只有2、3天,其他都是垃圾時間。

還好,今天的大貨,補上了之前的陰霾。

最後,還是忍不住感歎一聲。

這12天,像一場漫長的馬拉松。

我們經歷了深夜中數不勝數的垃圾時間。

卻也迎來了最後的高光時刻。

這感覺。

還挺AI的。