Ilya 小題大作？「預訓練終結」≠ Scaling Law 撞牆？

前 OpenAI 首席科學家 Ilya Sutskever 在 NeurIPS 2024 會議上作主題演講，分享了他關於人工智能的未來發展方向，特別是圍繞數據峰值的問題、預訓練模型的局限性、以及下一代 AI 模型的自主性和推理能力等方面的看法。

他討論了現有數據資源的限制對 AI 訓練方式的影響，並預測了 AI 系統將如何發展出更類似於人類思考方式的推理能力。然而，Ilya Sutskever 在演講中有關「預訓練結束」的判斷引發了許多爭議。

01. 數據即將枯竭，是「老生常談」還是「小題大作」？

Ilya哪些觀點引起了爭議？業內都有哪些論調在反駁Ilya？

02.數據可能是石化燃料，但遠遠沒有告罄

互聯網數據真的會告罄嗎？有哪些數據尚未得益利用？非互聯網數據能用嗎？

03. 預訓練的終結本質上是 Scaling Law 的範式轉移？

預訓練終結和 Scaling Law 有何聯繫？Ilya 和 Sam Altman 的觀點有衝突嗎？

Ilya Sutskever 在演講中表示，行業里稱得上可用的新數據上已經接近枯竭。他將這一狀況比作化石燃料的消耗：正如石油是有限資源一樣，互聯網中由人類生成的內容也是有限的。然而，在演講發佈後，許多聲音都在強調可用於預訓練的數據還非常充裕。

「預訓練即將終結」在演講後引來了 AI 社區中許多爭議和反駁，認為 Sutskever 判斷錯誤或是「小題大作」。

AI 社區的反駁和討論大多來自兩個層面，其一在於否認「數據即將枯竭」的判斷，其二則圍繞 Sutskever 口中即將結束「預訓練」高度關聯的 Scaling Law 撞牆爭議展開。

有關「數據即將枯竭」的反駁中，許多知名研究者均在在社交平台中強調或將枯竭的是文本預料，但影片、圖像等高維數據十分充裕；也有網民將關注點放在「互聯網」之外因收費、訪問限制能原因而未能用作預訓練的書籍、文獻等未開發資源。

另一方面，「預訓練即將結束」的判斷引發衝突來自業內對近年來指導 LLM 突破的 Scaling Law 可能失效的焦慮。

2024 年中，Gary Marcus 在 6 月就 Scaling Law 收益遞減的話題引發了大量討論，而後外媒 The information 在 11 月有關 Scaling Law 撞牆的報導則進一步引發了業內熱議，樂觀派和悲觀派持續展開激烈的思辨。

此前，Ilya Sutskever 一直是 Scaling Law 的倡導者，他相信「壓縮即智能」，用大型神經網絡準確預測互聯網上許多不同文本中的下一個詞時，表面上看只是在學習文本中的統計相關性，但其實在學習一個世界模型；而在預訓練環節投入更多數據和算力則提高了模型對複雜過程的理解。

然而，當堅持Scaling Law的Ilya Sutskever作出「預訓練即將結束」的判斷，可能代表著這種質樸的「大力出奇蹟」的方式將真的不再生效，也再次點爆了近期業內有關 Scaling Law 是否撞牆的爭議話題。

在媒體於11月爆料後，Sam Altman 曾在社交平台發佈過「there is no wall」的推文，與此次Ilya Sutskever 的判斷看似衝突。但有分析梳理了兩者言論前提的差異，指出預訓練的終結的說法本質上是 Scaling Law 的範式轉移……

關注👇🏻「機器之心PRO會員」，前往「收件箱」查看完整解讀