Ilya 宣判:預訓練即將終結!NeurIPS 現場沸騰

金磊 發自 凹非寺

量子位 | 公眾號 QbitAI

繼李飛飛、Bengio、何愷明之後,在剛剛的NeurIPS 2024中,Ilya Sutskever最新演講也來了。

雖然時長僅有15分鐘左右,但內容依舊看頭十足。

例如這一句:

Pre-training as we know it will end.

我們所熟知的預訓練即將終結。

而之於未來,Ilya還預測道:

what comes next is superintelligence: agentic, reasons, understands and is self aware.

接下來將是超級智能:代理、推理、理解和自我意識。

那麼為何會有如此?我們一起來看看完整演講。

回顧十年技術發展

Ilya先是用一張十年前的PPT截圖開啟了這次演講,那時候深度學習還處於探索階段。

在2014年的蒙特利爾,他和團隊(還有Oriol Vinyals和Quoc Le)首次提出了如今成為AI領域基石的深度學習理念。

Ilya展示了當時的一張PPT,揭示了他和團隊的核心工作:自回歸模型大型神經網絡大數據集的結合。

在十年前,這些元素並不被廣泛看作成功的保證,而今天,它們已經成為人工智能領域最重要的基礎。

例如在談到深度學習假設時,Ilya強調了一個重要觀點:

如果有一個10層的大型神經網絡,它就能在一秒鍾內完成人類能做的任何事情。

他解釋說,深度學習的核心假設是人工神經元與生物神經元的相似性。

基於這一假設,如果人類能夠在0.1秒鍾內完成某項任務,那麼同樣的任務,一個訓練良好的10層神經網絡也能完成。

這一假設推動了深度學習的研究,並最終實現了當時看似大膽的目標。

Ilya還介紹了自回歸模型的核心思想:通過訓練模型預測序列中的下一個token,當模型預測得足夠準確時,它就能捕捉到整個序列的正確分佈。

這一思想為後來的語言模型奠定了基礎,特別是在自然語言處理領域的應用。

當然除了「押對寶」的技術之外,也有「押錯」的。

LSTM(長短期記憶網絡)就是其中之一。

Ilya提到LSTM是深度學習研究者在Transformer之前的主要技術之一。

儘管LSTM在當時為神經網絡提供了強大的能力,但它的複雜性和局限性也顯而易見。

另一個便是並行化(parallelization)。

儘管現在我們知道pipeline並不是一個好主意,但當時他們通過在每個GPU上運行一層網絡,實現了3.5倍的速度提升。

Ilya認為,規模假設(scaling hypothesis)是深度學習成功的關鍵。

這一假設表明,如果你有一個非常大的數據集,並訓練一個足夠大的神經網絡,那麼成功幾乎是可以預見的。

這個觀點已經成為今天深度學習領域的核心法則。

Ilya進一步闡述了連接主義的思想,認為人工神經元與生物神經元之間的相似性給了我們信心,認為即使不完全模仿人腦的結構,巨大的神經網絡也能完成與人類相似的任務。

預訓練時代即將結束

基於上述技術的發展,也讓我們迎來了預訓練的時代。

預訓練是推動所有進步的動力,包括大型神經網絡和大規模數據集。

但Ilya接下來預測說:

雖然計算能力在不斷增長,硬件和算法的進步使得神經網絡的訓練效率得到了提升,但數據的增長卻已接近瓶頸。

他認為,數據是AI的化石燃料,隨著全球數據的限制,未來人工智能將面臨數據瓶頸。

雖然當前我們仍然可以使用現有數據進行有效訓練,但Ilya認為這一增長趨勢終將放緩,預訓練的時代也會逐步結束

超級智能將是未來

在談到未來的發展方向時,Ilya提到了「Agent」和「合成數據」的概念。

許多專家都在討論這些話題,認為Agent系統和合成數據將是突破預訓練瓶頸的關鍵。

Agent系統指的是能夠自主推理和決策的人工智能,而合成數據則可以通過模擬環境創造新的數據,彌補現實世界數據的不足。

Ilya還引用了一個生物學上的例子,展示了哺乳動物身體與大腦大小的關係,暗示不同生物可能通過不同的「規模法則」進化出不同的智能表現。

這一思想為深度學習領域的進一步擴展提供了啟示,表明人工智能也許可以通過不同的方式突破目前的規模限制。

Ilya最後談到了超級智能的前景。

他指出,雖然當前的語言模型和AI系統在某些任務上表現出超人類的能力,但它們在推理時仍顯得不穩定和不可預測。

推理越多,系統變得越不可預測,這一點在一些複雜任務中表現得尤為突出。

他還提到:

目前的AI系統還不能真正理解和推理,雖然它們能模擬人類的直覺,但未來的AI將會在推理和決策方面展現出更加不可預測的能力。

Ilya進一步推測,未來的AI將不僅僅是執行任務的工具,而會發展成「Agent」,能夠自主進行推理和決策,甚至可能具備某種形式的自我意識

這將是一個質的飛躍,AI將不再是人類的延伸,而是一個具有獨立智能的存在。

參考鏈接:

https://x.com/vincentweisser/status/1867719020444889118