Ilya宣判：預訓練即將終結，NeurIPS現場沸騰
繼李飛飛、Bengio、何愷明之後，在昨天的NeurIPS 2024中，Ilya Sutskever最新演講也來了。
雖然時長僅有15分鐘左右，但內容依舊看頭十足。
例如這一句：
Pre-training as we know it will end.
我們所熟知的預訓練即將終結。
而之於未來，Ilya還預測道：
what comes next is superintelligence: agentic， reasons， understands and is self aware.接下來將是超級智能：代理、推理、理解和自我意識。
為何會有如此發言？我們一起來看看完整演講。
回顧十年技術發展
Ilya先是用一張十年前的PPT截圖開啟了這次演講，那時，深度學習還處於探索階段。
在2014年的蒙特利爾，他和團隊（還有Oriol Vinyals和Quoc Le）首次提出了如今成為AI領域基石的深度學習理念。
Ilya展示了當時的一張PPT，揭示了他和團隊的核心工作：自回歸模型、大型神經網絡和大數據集的結合。
在十年前，這些元素並不被廣泛看作成功的保證，而今天，它們已經成為人工智能領域最重要的基礎。
例如在談到深度學習假設時，Ilya強調了一個重要觀點：
如果有一個10層的大型神經網絡，它就能在一秒鍾內完成人類能做的任何事情。
他解釋說，深度學習的核心假設是人工神經元與生物神經元的相似性。
基於這一假設，如果人類能夠在0.1秒鍾內完成某項任務，那麼同樣的任務，一個訓練良好的10層神經網絡也能完成。
這一假設推動了深度學習的研究，並最終實現了當時看似大膽的目標。
Ilya還介紹了自回歸模型的核心思想：通過訓練模型預測序列中的下一個token，當模型預測得足夠準確時，它就能捕捉到整個序列的正確分佈。
這一思想為後來的語言模型奠定了基礎，特別是在自然語言處理領域的應用。
當然除了「押對寶」的技術之外，也有「押錯」的。
LSTM（長短期記憶網絡）就是其中之一。
Ilya提到，LSTM是深度學習研究者在Transformer之前使用的主要技術之一。
儘管LSTM在當時為神經網絡提供了強大的能力，但它的複雜性和局限性也顯而易見。
另一個便是並行化（parallelization）。
儘管現在我們知道，pipeline並不是一個好主意，但當時，他們通過在每個GPU上運行一層網絡，實現了3.5倍的速度提升。
Ilya認為，規模假設（scaling hypothesis）是深度學習成功的關鍵。
這一假設表明，如果你有一個非常大的數據集，並訓練一個足夠大的神經網絡，那麼成功幾乎是可以預見的。
這個觀點已經成為今天深度學習領域的核心法則。
Ilya進一步闡述了連接主義的思想，認為人工神經元與生物神經元之間的相似性給了我們信心，認為即使不完全模仿人腦的結構，巨大的神經網絡也能完成與人類相似的任務。
預訓練時代即將結束
上述技術的發展也讓我們迎來了預訓練的時代。
預訓練是推動所有進步的動力，包括大型神經網絡和大規模數據集。
但Ilya接下來預測說：
雖然計算能力在不斷增長，硬件和算法的進步使得神經網絡的訓練效率得到了提升，但數據的增長卻已接近瓶頸。
他認為，數據是AI的化石燃料，隨著全球數據的限制，未來人工智能將面臨數據瓶頸。
雖然當前我們仍然可以使用現有數據進行有效訓練，但Ilya認為，這一增長趨勢終將放緩，預訓練的時代也會逐步結束。
超級智能將是未來
在談到未來的發展方向時，Ilya提到了「Agent」和「合成數據」的概念。
許多專家都在討論這些話題，認為Agent系統和合成數據將是突破預訓練瓶頸的關鍵。
Agent系統指的是能夠自主推理和決策的人工智能，而合成數據則可以通過模擬環境創造新的數據，彌補現實世界數據的不足。
Ilya還引用了一個生物學上的例子，展示了哺乳動物身體與大腦大小的關係，暗示不同生物可能通過不同的「規模法則」進化出不同的智能表現。
這一思想為深度學習領域的進一步擴展提供了啟示，表明人工智能也許可以通過不同的方式突破目前的規模限制。
Ilya最後談到了超級智能的前景。
他指出，雖然當前的語言模型和AI系統在某些任務上表現出超人類的能力，但它們在推理時仍顯得不穩定和不可預測。
推理越多，系統變得越不可預測，這一點在一些複雜任務中表現得尤為突出。
他還提到：
目前的AI系統還不能真正理解和推理，雖然它們能模擬人類的直覺，但未來的AI將會在推理和決策方面展現出更加不可預測的能力。
Ilya進一步推測，未來的AI將不僅僅是執行任務的工具，而會發展成「Agent」，能夠自主進行推理和決策，甚至可能具備某種形式的自我意識。
這將是一個質的飛躍，AI將不再是人類的延伸，而是一個具有獨立智能的存在。
參考鏈接：https://x.com/vincentweisser/status/1867719020444889118
本文來自微信公眾號：量子位，作者：金磊
