Sam Altman 最新訪談:o1 相當於推理模型的 GPT-2

編者按:

最近的 T-Mobile Capital Markets Day 活動上,OpenAI CEO Sam Altman 現身現場。

除了必要的商業互吹,他也談了談 o1 和 AI 的發展路徑,以及 OpenAI 為何總能遙遙領先。

省流版

o1 是第一個真正能夠執行高級推理的系統,正處於推理模型的 GPT-2 階段,未來幾年發展到 GPT-4 的水平。

o1 將帶來新的模型使用方式,和 GPT 系列模型非常不同,它不僅僅是聊天界面。

就像 ChatGPT 讓 GPT-3.5 人盡皆知,o1 還需要時間磨合。

o1 的出現,實現了 AI 發展階段的跨越,帶來了更加陡峭的進步曲線。

OpenAI 的成功,是因為保持信念和專注,他們始終相信深度學習。

Sam Altman 看好 AI 在醫療、教育、科學方面的進展。

訪談原文(有刪減)

Q:或許你可以向大家解釋一下,o1 到底是什麼?它真的很驚豔。

A:是的,我們對此感到非常興奮,我們已經為此努力了很長時間。

GPT 系列模型在某種程度上擅長「系統一」思維,雖然這個說法不夠精準。

我們真正想要的,是能夠進行推理的系統。如果你能有一個可以處理更複雜問題的 AI,它的價值會非常大。

系統一:快速、直覺,適用於簡單任務。系統二:慢速、分析,適用於複雜任務。

我們已經在 GPT-4 中看到了冰山一角。但 o1 是第一個真正能夠執行高級推理的系統。如果你給它一個困難的編程挑戰、複雜的數學問題,或是你需要幫助的科學難題,你會得到非常出色的結果。

我們相信隨著時間的推移,這將解鎖巨大的潛力,它會和 GPT 系列一樣重要,並且會帶來一系列全新的、非常有價值的用途。

Q:我們現在看到的是預覽版本 o1-preview,接下來的幾個月會怎樣發展?

A:我們正處於這類新型推理模型的 GPT-2 階段。在未來幾年里,你會看到它逐步發展到類似於 GPT-4 的水平。

但即便在接下來的幾個月中,隨著我們從 o1-preview 過渡到 o1,你也會看到它的顯著改進,我們在發佈 o1 的博客中分享了一些相關的指標。

這是一個巨大的進步,我認為新範式有個有趣的地方,它的進步曲線非常陡峭。當前模型不能解決的問題,幾個月後你會發現它可以解決,再過幾個月,它將解決更多問題。

進行更多強化學習,投入更多思考時間,o1 的性能持續提升

還有一點也很重要,我認為我們將會看到一整套新的模型使用方式。

當我們推出 GPT-3.5 時,它在 API 中已經存在了一段時間,但真正讓它廣泛使用的是 ChatGPT 的出現。即使那時,人們也花了一段時間才弄清楚如何使用 ChatGPT,而我們也花了一段時間去添加用戶想要的功能。

所以,我認為 o1 現在還處於早期階段。未來將會出現全新的使用方式,不僅僅是一個聊天界面。

我們會花時間去構建這些功能,其他人需要時間去開發這些功能,用戶同樣需要時間去探索如何使用。這和 GPT 系列模型非常不同。

五個發展階段

我們之前談到了 AI 的五個發展階段,第一個階段,聊天機器人;第二個階段,也就是我們現在剛剛達到的,推理系統;第三階段,AI 智能體;第四階段,創新者,具備發現新科學信息的能力;第五階段,完整的組織。

第一階段到第二階段的轉變花了很長時間。但第二階段可以相對較快地過渡到第三階段。

Q:我們可以談談數據安全問題嗎?我們讓 OpenAI 深度參與,這些數據如何不會泄露到 T-Mobile 之外或被用來訓練更廣泛的模型?

A:大家對 OpenAI 有誤解。OpenAI 並不會用 API 客戶數據來訓練模型。這是你們的數據,或者他們的數據。我們可以用這些數據為你們定製模型,或者你們可以在上下文中學習,甚至不需要在數據上對模型進行更多訓練。這些數據並不會用於改進 OpenAI 的基礎模型。

活動現場

Q:OpenAI 到底做了什麼不同的事情,能夠在這個領域取得如此快的進展,大規模地解放這些模型的潛力,改善用戶體驗,並提升商業成果?

首先感謝你的誇獎,這真的是很高的評價。

我們在前人大量的研究基礎上前行,AI 是一個歷史悠久的領域,很多人已經為此貢獻了許多精彩的想法。不僅如此,回顧人類歷史,發現半導體,製造芯片,建立網絡和龐大的數據中心,我們只是站在這些工作的頂端,做了我們的一點貢獻。但我們盡力做到最好,並且我們的研究非常專注。

其他研究項目會犯一個常見錯誤,他們缺乏足夠的信念和專注。一旦某件事有效了,複製它是很容易的。

我認為成功有兩種途徑,一是快速的跟隨,複製 OpenAI 或其他成功的做法,我並不是在貶低什麼,很多公司擅長在看到什麼方法有效之後,把執行工作做得非常好。但如果你想推動前沿,這就非常困難了。二是保持信念和專注,特別是在一個非常複雜的環境中,這是最好的路徑。

物是人非

我們相信深度學習,這是我們的賭注。我們相信以我們現在的水平,走向 AGI 及更遠的未來。我們會根據學到的新事物進行糾正,我們將繼續盡我們所能,嘗試做下一件擺在我們面前的事情,並相信隨著時間的推移,它們會累積起來。

Q:這次和 T-Mobile 的合作,代表了 OpenAI 正在某些領域加倍投入。但我知道你們對其他領域也很感興趣,你能談談醫療等其他讓你感到興奮的項目嗎?

A:首先,T-Mobile 是我們最重要的合作夥伴之一,我們希望這次合作能激勵更多人看到 AI 能為客戶帶來的巨大價值。

正如你提到的,醫療是一個我翹首以盼的領域。世界上大多數人無法獲得優質的醫療服務。我非常期待看到有人利用這些模型,構建最出色的 AI 醫療顧問,並廣泛推廣。

OpenAI 和可汗學院有合作

教育是另一個領域,我們已經看到了一些很好的成果。o1 也才上線五六天,但人們已經用它做了很多了不起的事情。過去用 GPT-4 實現的事情也相當不錯。想像一下,如果每個學生都能獲得量身定製的輔導,加上其他的教育體驗,會帶來什麼變化。

我個人非常興奮的一個領域,儘管它還在未來,但我已經看到了曙光:AI 加速科學發現的能力。

我相信,世界上大多數真正可持續的經濟增長、生活質量的改善,都很大程度上依賴於科學進步和技術進步。如果 AI 能加速這一過程,幫助我們發明新事物、治癒疾病、找到更好的能源來源,那將是巨大的勝利