Ilya 宣判:預訓練即將終結!NeurIPS 現場沸騰
金磊 發自 凹非寺
量子位 | 公眾號 QbitAI
繼李飛飛、Bengio、何愷明之後,在剛剛的NeurIPS 2024中,Ilya Sutskever最新演講也來了。
雖然時長僅有15分鐘左右,但內容依舊看頭十足。
例如這一句:
Pre-training as we know it will end.
我們所熟知的預訓練即將終結。
而之於未來,Ilya還預測道:
what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下來將是超級智能:代理、推理、理解和自我意識。
那麼為何會有如此?我們一起來看看完整演講。
回顧十年技術發展
Ilya先是用一張十年前的PPT截圖開啟了這次演講,那時候深度學習還處於探索階段。
在2014年的蒙特利爾,他和團隊(還有Oriol Vinyals和Quoc Le)首次提出了如今成為AI領域基石的深度學習理念。
Ilya展示了當時的一張PPT,揭示了他和團隊的核心工作:自回歸模型、大型神經網絡和大數據集的結合。
在十年前,這些元素並不被廣泛看作成功的保證,而今天,它們已經成為人工智能領域最重要的基礎。
例如在談到深度學習假設時,Ilya強調了一個重要觀點:
如果有一個10層的大型神經網絡,它就能在一秒鍾內完成人類能做的任何事情。
他解釋說,深度學習的核心假設是人工神經元與生物神經元的相似性。
基於這一假設,如果人類能夠在0.1秒鍾內完成某項任務,那麼同樣的任務,一個訓練良好的10層神經網絡也能完成。
這一假設推動了深度學習的研究,並最終實現了當時看似大膽的目標。
Ilya還介紹了自回歸模型的核心思想:通過訓練模型預測序列中的下一個token,當模型預測得足夠準確時,它就能捕捉到整個序列的正確分佈。
這一思想為後來的語言模型奠定了基礎,特別是在自然語言處理領域的應用。
當然除了「押對寶」的技術之外,也有「押錯」的。
LSTM(長短期記憶網絡)就是其中之一。
Ilya提到LSTM是深度學習研究者在Transformer之前的主要技術之一。
儘管LSTM在當時為神經網絡提供了強大的能力,但它的複雜性和局限性也顯而易見。
另一個便是並行化(parallelization)。
儘管現在我們知道pipeline並不是一個好主意,但當時他們通過在每個GPU上運行一層網絡,實現了3.5倍的速度提升。
Ilya認為,規模假設(scaling hypothesis)是深度學習成功的關鍵。
這一假設表明,如果你有一個非常大的數據集,並訓練一個足夠大的神經網絡,那麼成功幾乎是可以預見的。
這個觀點已經成為今天深度學習領域的核心法則。
Ilya進一步闡述了連接主義的思想,認為人工神經元與生物神經元之間的相似性給了我們信心,認為即使不完全模仿人腦的結構,巨大的神經網絡也能完成與人類相似的任務。
預訓練時代即將結束
基於上述技術的發展,也讓我們迎來了預訓練的時代。
預訓練是推動所有進步的動力,包括大型神經網絡和大規模數據集。
但Ilya接下來預測說:
雖然計算能力在不斷增長,硬件和算法的進步使得神經網絡的訓練效率得到了提升,但數據的增長卻已接近瓶頸。
他認為,數據是AI的化石燃料,隨著全球數據的限制,未來人工智能將面臨數據瓶頸。
雖然當前我們仍然可以使用現有數據進行有效訓練,但Ilya認為這一增長趨勢終將放緩,預訓練的時代也會逐步結束。
超級智能將是未來
在談到未來的發展方向時,Ilya提到了「Agent」和「合成數據」的概念。
許多專家都在討論這些話題,認為Agent系統和合成數據將是突破預訓練瓶頸的關鍵。
Agent系統指的是能夠自主推理和決策的人工智能,而合成數據則可以通過模擬環境創造新的數據,彌補現實世界數據的不足。
Ilya還引用了一個生物學上的例子,展示了哺乳動物身體與大腦大小的關係,暗示不同生物可能通過不同的「規模法則」進化出不同的智能表現。
這一思想為深度學習領域的進一步擴展提供了啟示,表明人工智能也許可以通過不同的方式突破目前的規模限制。
Ilya最後談到了超級智能的前景。
他指出,雖然當前的語言模型和AI系統在某些任務上表現出超人類的能力,但它們在推理時仍顯得不穩定和不可預測。
推理越多,系統變得越不可預測,這一點在一些複雜任務中表現得尤為突出。
他還提到:
目前的AI系統還不能真正理解和推理,雖然它們能模擬人類的直覺,但未來的AI將會在推理和決策方面展現出更加不可預測的能力。
Ilya進一步推測,未來的AI將不僅僅是執行任務的工具,而會發展成「Agent」,能夠自主進行推理和決策,甚至可能具備某種形式的自我意識。
這將是一個質的飛躍,AI將不再是人類的延伸,而是一個具有獨立智能的存在。
參考鏈接:
https://x.com/vincentweisser/status/1867719020444889118