o1核心作者MIT演講：激勵AI自我學習，比試圖教會AI每一項任務更重要
一水 發自 凹非寺
量子位 | 公眾號 QbitAI
「o1發佈後，一個新的範式產生了」。
其中關鍵，OpenAI研究科學家、o1核心貢獻者Hyung Won Chung，剛剛就此分享了他在MIT的一次演講。
演講主題為「Don’t teach. Incentivize（不要教，要激勵），核心觀點是：
激勵AI自我學習比試圖教會AI每一項具體任務更重要
思維鏈作者Jason Wei迅速趕來打call：
Hyung Won識別新範式並完全放棄任何沉沒成本的能力給我留下了深刻的印象。
2022年底，他意識到了強化學習的力量，並從那時起就一直在宣揚它。
在演講中，Hyung Won還分享了：
-
技術人員過於關注問題解決本身，但更重要的是發現重大問題；
-
硬件進步呈指數級增長，軟件和算法需要跟上；
-
當前存在一個誤區，即人們正在試圖讓AI學會像人類一樣思考；
-
「僅僅擴展規模」 往往在長期內更有效；
-
……
下面奉上演講主要內容。
對待AI：授人以魚不如授人以漁
先簡單介紹下Hyung Won Chung，從公佈的o1背後人員名單來看，他屬於推理研究的基礎貢獻者。
資料顯示，他是MIT博士（方向為可再生能源和能源系統），去年2月加入OpenAI擔任研究科學家。
加入OpenAI之前，他在Google Brain負責大語言模型的預訓練、指令微調、推理、多語言、訓練基礎設施等。
在Google工作期間，曾以一作身份，發表了關於模型微調的論文。（思維鏈作者Jason Wei同為一作）
回到正題。在MIT的演講中，他首先提到：
通往AGI唯一可行的方法是激勵模型，使通用技能出現。
在他看來，AI領域正處於一次範式轉變，即從傳統的直接教授技能轉向激勵模型自我學習和發展通用技能。
理由也很直觀，AGI所包含的技能太多了，無法一一學習。（主打以不變應萬變）
具體咋激勵呢？？
他以下一個token預測為例，說明了這種弱激勵結構如何通過大規模多任務學習，鼓勵模型學習解決數萬億個任務的通用技能，而不是單獨解決每個任務。
他觀察到：
如果嘗試以儘可能少的努力解決數十個任務，那麼單獨模式識別每個任務可能是最簡單的；如果嘗試解決數萬億個任務，通過學習通用技能（例如語言、推理等）可能會更容易解決它們。
對此他打了個比方，「授人以魚不如授人以漁」，用一種基於激勵的方法來解決任務。
Teach him the taste of fish and make him hungry.（教AI嚐嚐魚的味道，讓他餓一下）
然後AI就會自己出去釣魚，在此過程中，AI將學習其他技能，例如耐性、學習閱讀天氣、瞭解魚等。
其中一些技能是通用的，可以應用於其他任務。
面對這一「循循善誘」的過程，也許有人認為還不如直接教來得快。
但在Hyung Won看來：
對於人類來說確實如此，但是對於機器來說，我們可以提供更多的計算來縮短時間。
換句話說，面對有限的時間，人類也許還要在專家 or 通才之間做選擇，但對於機器來說，算力就能出奇蹟。
他又舉例說明，《龍珠》里有一個設定：在特殊訓練場所，角色能在外界感覺只是一天的時間內獲得一年的修煉效果。
對於機器來說，這個感知差值要高得多。
因此，具有更多計算能力的強大通才通常比專家更擅長特殊領域。
原因也眾所周知，大型通用模型能夠通過大規模的訓練和學習，快速適應和掌握新的任務和領域，而不需要從頭開始訓練。
他還補充道，數據顯示計算能力大約每5年提高10倍。
總結下來，Hyung Won認為核心在於：
-
模型的可擴展性
-
算力對加速模型進化至關重要
此外，他還認為當前存在一個誤區，即人們正在試圖讓AI學會像人類一樣思考。
但問題是，我們並不知道自己在神經元層面是如何思考的。
機器應該有更多的自主性來選擇如何學習，而不是被限制在人類理解的數學語言和結構中。
在他看來，一個系統或算法過於依賴人為設定的規則和結構，那麼它可能難以適應新的、未預見的情況或數據。
造成的結果就是，面對更大規模或更複雜的問題時，其擴展能力將會受限。
回顧AI過去70年的發展，他總結道：
AI的進步與減少人為結構、增加數據和計算能力息息相關。
與此同時，面對當前人們對scaling Law的質疑，即認為僅僅擴大計算規模可能被認為不夠科學或有趣。
Hyung Won的看法是：
在擴展一個系統或模型的過程中，我們需要找出那些阻礙擴展的假設或限制條件。
舉個例子，在機器學習中，一個模型可能在小數據集上表現良好，但是當數據量增延長，模型的性能可能會下降，或者訓練時間會變得不可接受。
這時，可能需要改進算法，優化數據處理流程，或者改變模型結構，以適應更大的數據量和更複雜的任務。
也就是說，一旦識別出瓶頸，就需要通過創新和改進來替換這些假設，以便模型或系統能夠在更大的規模上有效運行。
訓練VS推理：效果相似，推理成本卻便宜1000億倍
除了上述，o1另一核心作者Noam Brown也分享了一個觀點：
訓練和推理對模型性能提升作用相似，但後者成本更低，便宜1000億倍。
這意味著，在模型開發過程中，訓練階段的資源消耗非常巨大，而實際使用模型進行推理時的成本則相對較低。
有人認為這凸顯了未來模型優化的潛力。
不過也有人對此持懷疑態度，認為二者壓根沒法拿來對比。
這是一個奇怪的比較。一個是邊際成本，另一個是固定成本。這就像說實體店比其中出售的商品貴500000倍
對此，你怎麼看？
Hyung Won Chung演講PPT：
https://docs.google.com/presentation/d/1nnjXIuN2XDJENAOaKXI5srQscO3276svvP6JgivTv6w/edit#slide=id.g2d1161c9c52_0_20
參考鏈接：
[1]https://x.com/hwchung27/status/1836842717302943774
[2]https://x.com/tsarnick/status/1836215965912289306
