是時候停止炒作「o3是AGI」了！背後15人安全對齊團隊大盤點

機器之心報導

機器之心編輯部

我們或許可以稱o3是「更高級的推理AI」，而遠不是AGI。

昨天淩晨，OpenAI 連續 12 天發佈會終於落下了帷幕，並甩出了最強大的推理模型 o3 系列！

當然，用戶現在想要體驗 o3 或者 o3-mini，需要申請並等待數週。從目前 OpenAI 官方給出的一些紙面數據來看，o3 的能力遠超以往任何推理模型，並在 ARC-AGI 基準上達到了優良水平，成為首個突破該基準的 AI 模型。其中，o3 系列模型最低可達到 75.7%，最高可達到 87.5%。

o3 系列模型如此強大的能力，激起了大家對 AGI 的熱烈談論，很多人都興奮地宣佈：這就是 AGI、AGI 已經實現、AGI 比你想像的更加接近。

圖源：X@MatthewBerman

面對關於 o3 愈演愈烈、愈加失控的炒作，知名博主、AI 研究者「elvis」認為，o3 系列不是 AGI、不是奇點，人們甚至無法訪問這些模型。連 OpenAI 都明確表示還有很多需要改進的地方。雖然進展的確令人興奮，但網絡上誤導信息太多，基準測試結果也並沒有多大意義。

有人表示，每次發佈新的 OpenAI 模型（這次是 o3），都會有人宣稱「AGI 來了」、「不再需要程序員了」等言論。雖然 o3 看起來令人印象深刻，但它遠沒有在現實世界中得到檢驗。AGI 仍然遙遙無期。

還有人說到，為什麼我們要在一個還無法體驗的演示版 AI 模型上宣佈「AGI」呢？雖然 o3 系列模型看起來很棒，但並不是一個正式發佈版本，也無法驗證。

持有這種觀點的人不在少數，有人覺得，o3 系列在編碼和數學領域的確很強，但 AGI 是要勝任人類能做的所有事情。我們要的是全能型人才，而非專業人才。另外，一次基準測試表現很好不能說明全部的情況，並不意味著能夠迎接其他不可預測的挑戰。最後，真正的 AGI 應該是適應性很強的，即使資源緊張也能運行。但 o3 的運行成本高得離譜，這顯然不是 AGI 的意義所在。

顯然 o3 離跟 AGI 畫上等號還有很長的路要走，但無疑是一次巨大的進步。尤其是推理速度提升、成本降低且兼顧性能的 o3-mini，它更加經濟高效，並使用全新的安全評估方法審議式對齊（deliberative alignment）。

這是一種直接教模型安全規範的新範式，訓練模型在回答之前明確回憶規範並準確執行推理。OpenAI 使用這種方法來對齊包括 o3-mini 在內的 o 系列模型 ，實現對 OpenAI 安全政策的高度精確遵守，並且這個過程無需人工編寫的思路或答案。

下圖 1 為包括 o3-mini 在內的 o 系列模型與 GPT-4o 在關鍵政策領域的比較結果，比如不允許的內容、遵守響應風格指南、越獄和過度拒絕等。

接下來，機器之心對該範式相關論文的作者進行了完整的盤點。

論文地址：https://assets.ctfassets.net/kftzwdyauwt9/4pNYAZteAQXWtloDdANQ7L/978a6fd0a2ee268b2cb59637bd074cca/OpenAI_Deliberative-Alignment-Reasoning-Enables-Safer_Language-Models_122024.pdf

o3-mini 對齊範式作者盤點

Melody Y. Guan

Melody Y. Guan 本碩均就讀於哈佛大學，目前是史丹福大學計算機科學系的博士研究生。

在加入史丹福大學之前，Melody Y. Guan 曾在Google擔任研究員。她與 OpenAI 的關係主要體現在她的研究工作上，她與 OpenAI 的研究人員合作發表了多篇論文。

Melody Y. Guan 的研究興趣主要集中在強化學習和神經架構搜索等領域。她與 Google Brain 團隊合作，提出了著名的神經架構搜索方法 ENAS（Efficient Neural Architecture Search via Parameter Sharing）。此外，她還發表了多篇關於機器學習和人工智能的學術論文。

Manas Joglekar 

Manas Joglekar 本科畢業於印度理工學院孟買分校，後於史丹福大學讀博士。

博士期間，他曾先後在微軟、Google和 Facebook 進行實習，2016 年正式進入Google擔任高級軟件工程師，2019 年他擔任 Snorkel AI 創始工程師，負責領導機器學習基礎工作，2023 年 10 月加入 OpenAI。

Manas Joglekar 發表過多篇論文，主要研究方向包括計算機科學和機器學習。

Eric Wallace 

Eric Wallace 是 OpenAI 的研究員，致力於使下一代大型語言模型（LLMs）更加安全、可靠和注重隱私。

他本科畢業於馬里蘭大學帕加分校計算機科學系，目前還在加州大學伯克利分校攻讀博士學位，研究方向是增強機器學習的安全性、隱私性和魯棒性。

在加入 OpenAI 之前，Eric Wallace 曾在 DeepMind 和 Meta 實習。

他在 OpenAI 的工作主要集中在提升大模型的安全性和隱私性，曾參與了 GPT-4o mini、o1、o1-mini 等安全和能力方面的研究。

Saachi Jain 

Saachi Jain 是 OpenAI 的研究人員，她本碩畢業於史丹福大學，目前在麻省理工學院（MIT）攻讀博士學位。

她的研究主要集中在構建更魯棒和可靠的機器學習模型，特別是理解模型如何進行泛化。

在加入 OpenAI 之前，Saachi Jain 曾在特斯拉擔任計算機視覺科學家，參與自動駕駛技術的視覺模型設計和訓練。她還在 Facebook 和 Google 等公司進行過實習。

在 OpenAI，她曾是 o1 項目的安全技術負責人之一，該項目旨在提高模型的推理能力和安全性。

Boaz Barak 

Boaz Barak 是哈佛大學計算機科學教授。他是一位理論計算機科學家，研究領域包括計算複雜性、算法、密碼學、量子計算以及機器學習的基礎。Boaz Barak 曾參與了 OpenAI o1 項目的安全研究工作。

Alec Heylar 

他本科畢業於維珍尼亞理工學院暨州立大學，曾在微軟度過 5 年職業生涯，2024 年 5 月進入 OpenAI 擔任研究員。

Alec Heyla 的專業技能涵蓋了人工智能、大語言模型等多個領域。

Rachel Dias 

Rachel Dias 本科畢業於美國芝加哥大學的政治學專業，曾在 Meta 擔任產品策略與運營，後來加入 TikTok 擔任政策實施經理。

2024 年 1 月進入 OpenAI, 是 OpenAI o1 模型的「準備評估」團隊成員之一。

Andrea Vallone 

她在加州大學聖巴巴拉分校獲得了英語（B.A. English）和心理學（B.A. Psychology）的雙學士學位。

後來加入 Facebook 擔任產品和政策傳播經理、產品政策經理。2022 年 8 月加入 OpenAI 從事模型安全工作。

Hongyu Ren 

Hongyu Ren 在去年 7 月加入，現在是 OpenAI 的一名研究科學家，他還是 GPT-4o 、GPT-4o mini 的核心貢獻者，並致力於 GPT-Next 的研究。Hongyu Ren 本科畢業於北京大學、博士畢業於史丹福大學。此前，他在蘋果、Google、英偉達、微軟等工作過。

Jason Wei 

AI 圈的人大概都很熟悉 Jason Wei，他本科畢業就加入Google（2020 到 2023 年在 Google Brain 擔任研究科學家），以一作身份寫出了「思維鏈」（CoT）的開山之作。2023 年 2 月加入 OpenAI，擔任 AI 研究人員。2024 年，他參與了 OpenAI o1 模型的研發。他的工作推廣了 CoT 提示、指令調整和智能湧現等領域。

Hyung Won Chung 

Hyung Won Chung 現在是 OpenAI 的一名研究科學家。研究重點是大型語言模型。在那之前，他在Google大腦工作，並在 MIT 攻讀博士學位。他也是 OpenAI o1 的核心貢獻者之一。

他曾參與過一些重要項目的研究工作，比如 5400 億參數的大型語言模型 PaLM 和 1760 億參數的開放式多語言語言模型 BLOOM。機器之心也曾介紹過他為一作的論文《Scaling Instruction-Finetuned Language Models》。

Sam Toyer 

Sam Toyer 本科畢業於澳州國立大學，博士生就讀於加州大學伯克利分校。研究領域包括計算機視覺、規劃、模仿學習和獎勵學習。近期，我的研究重點是如何使大規模語言模型更加安全和魯棒，這些特性對於在高風險場景中的應用至關重要。以下是他的工作經歷：

Johannes Heidecke 

Johannes Heidecke 是巴塞隆拿的一名人工智能碩士研究生，目前專注於探索強化學習和生成模型。

他對機器學習和人工智能的研究充滿熱情，並參與了許多 OpenAI 的相關工作。

他相信人工智能對人類未來具有巨大的潛力，但要讓先進的人工智能系統與我們的價值觀和目標保持一致，還需要大量有針對性的工作和研究。

為此，他正在探索將機器學習應用於價值學習問題的方法：通過觀察人類行為，推斷他們的動機是什麼。 

Alex Beutel 

Alex Beutel 在卡內基梅隆大學獲得計算機科學博士學位，此前在杜克大學主修計算機科學和物理學。

他目前是 OpenAI 安全研究團隊的技術負責人。他曾在 Google Research 擔任高級員工研究科學家、技術負責人和經理，聯合領導了一個負責機器學習責任研究的團隊（Responsible ML team），並推動了涵蓋推薦系統、公平性、魯棒性、強化學習以及數據庫機器學習的研究工作。

Amelia Glaese

Amelia Glaese 本科就讀於慕尼黑工業大學，攻讀航天工程。在慕尼黑工業大學與佐治亞理工學院分別攻讀了機械工程以及計算機科學與工程碩士。曾任Google軟件工程師，後來加入 DeepMind 團隊，工作了四年多。在此期間，她參與了 Gemini 相關論文的發佈。今年 3 月，Amelia Glaese 正式加入 OpenAI。