18萬引大牛Sergey Levine：不是影片模型「學習」慢，而是LLM走捷徑

為什麼語言模型能從預測下一個詞中學到很多，而影片模型卻從預測下一幀中學到很少？

這是UC伯克利大學計算機副教授Sergey Levine最新提出的靈魂一問。

他同時是Google Brain的研究員，參與了Google知名機器人大模型PALM-E、RT1和RT2等項目。

Sergey Levine在Google學術的被引用次數高達18萬次。

「柏拉圖洞穴」是一個很古老的哲學比喻，通常被用來說明人們對世界認知的局限性。

Sergey Levine的這篇文章以《柏拉圖洞穴中的語言模型》為題，又想要揭示AI的哪些缺陷呢？

在文章的開頭，作者提到人工智能就是在研究能夠反映人類智能的靈活性和適應性的假想智能。

一些研究者推測，人類心智的複雜性和靈活性源自於大腦中應用的一個單一算法，通過這個算法可以實現所有多樣化的能力。

也就是說，AI如果能複現這個終極算法，人工智能就能通過經驗自主獲取多元能力，達到人類智能的高度。

在這個探索過程中，語言模型取得了非常成功的突破。

甚至，LLMs實現能力躍升背後的算法（下一詞預測+強化學習微調），也非常簡單。

單一終極算法假設似乎就是AI模型的答案……

然而，這個假設對影片模型並不適用。

語言模型與影片模型的對比

早在基於Transformer的語言模型出現之前，AI研究人員就已經忙著研究一個看似非常相似的問題：

就像LLM通過預測來自網絡文本數據的下一個詞來學習一樣，影片模型也可能通過預測影片數據的下一個幀來學習。

甚至從數據上來說，影片數據比文本數據包含的信息更豐富，那麼預測下一幀得到的認知會遠比預測下一詞得到的認知更全面。

比如，一個飛往宇宙探索的機器人，在那裡沒有人能提供文本，但是它仍然能獲取豐富的影片數據。

基於這些證據，我們可以認為能夠「觀察」到更多物理世界的影片模型應該比語言模型更加強大。

然而，事情並沒有按研究人員所期望的那樣發展。

儘管影片預測模型可以生成逼真的影片，但在解決複雜問題、進行複雜推理方面，語言模型仍然是主要且唯一的選擇。

這與LLMs對物理世界的「觀察」更少，卻獲得了更複雜的認知能力形成了鮮明對比。

就像文章中舉出的例子：我們並不能用Veo 3估算夏威夷群島的岩石體積是否比珠穆朗瑪峰更大，但ChatGPT卻可以回答這個問題。

這是因為LLMs只需要調用人類總結的地理知識（文本中已有相關數據或推理路徑）。

簡單來說，影片數據是物理世界的直接映射，而非人類認知的加工產物。

影片模型需自主歸納物理規律，而LLMs卻可以 「抄近路」 模仿人類已有的推理結果。

LLMs 僅接觸文本 「影子」（人類認知的投影），卻比直接觀察物理世界的影片模型更具推理能力。

作者認為，這是LLMs只會對人類進行「腦部掃瞄」，而非真正學會了像人類一樣推理問題。

就像是AI系統存在於「柏拉圖洞穴」中。

AI系統的「柏拉圖洞穴」

「柏拉圖洞穴」原本的故事是指一群人被綁在洞穴里，只能看到牆壁上的影子，不能看到洞穴外的陽光。

這個故事通常被用來說明人們對世界認知的局限性。

在文章中，作者將互聯網比作洞穴，將真實世界比做洞穴外的陽光，用「柏拉圖洞穴」來類比AI的現狀。

AI通過語言模型學習人類的知識和思維方式，但這些知識就像洞穴牆壁上的影子，是人類智慧的間接反映。

它們並沒有真正理解世界，其能力是對人類認知的 「逆向工程」，而不是自主探索。

而影片模型目前連影子都無法認知……

AI該如何走出洞穴？

作者認為既然LLMs已經了實現人類認知的部分模擬（如推理、生成），那麼就可以將它可 「心智原型」，為通用AI提供起點。

而長期目標則是突破「影子依賴」，不再依賴人類中介（類似文本數據），讓AI通過傳感器直接與物理世界交互，自主探索。

對此，有評論者提出：視覺、語言、行動系統就像獨立的洞穴，如果能夠通過共享結構建立橋樑，可能就不需要逃離「洞穴」，跨模態連接就成了探索過程中的挑戰，需要找到一個連接這些模態的統一的方法。

對於AI的「洞穴困境」，你有怎樣的看法呢？

參考鏈接：

[1]https://x.com/svlevine/status/1931796654233194534

[2]https://sergeylevine.substack.com/p/language-models-in-platos-cave

本文來自微信公眾號「量子位」，作者：聞樂，36氪經授權發佈。