Google發佈「嵌套學習」範式：讓 AI 像人腦一樣溫故知新，從「健忘」到「過目不忘」

IT之家 11 月 10 日消息，Google研究院於 11 月 7 日發佈博文，為攻克 AI 模型在持續學習新知識時遇到「災難性遺忘」難題，介紹了嵌套學習（Nested Learning）全新機器學習範式。

當前的大語言模型儘管強大，但其知識仍局限於預訓練數據或有限的上下文窗口，無法像人腦一樣通過「神經可塑性」（Neuroplasticity，指大腦能夠根據經驗、學習和環境變化來調整自身結構和功能的能力）持續學習新技能而不遺忘舊知識。

若直接用新數據更新模型，往往會導致「災難性遺忘」(Catastrophic Forgetting)，即學會新任務後，舊任務的性能會嚴重下降。為解決這一根本性挑戰，Google研究院的研究人員提出了全新的解決思路。

在發表於 NeurIPS 2025 的論文中，Google推出了「嵌套學習」（Nested Learning）範式。該範式從根本上統一了模型架構與優化算法這兩個傳統上被分開處理的概念。

該範式認為，一個複雜的機器學習模型，其本質是一系列相互嵌套或並行的優化問題，每個問題都有自己獨立的「上下文流」和更新速率。這一視角揭示了一個全新的設計維度，允許研究人員構建計算深度更深的 AI 組件，從而有效緩解災難性遺忘問題。

基於嵌套學習範式，研究團隊提出了兩項具體的技術改進：

第一是「深度優化器」（Deep optimizers），通過將優化器本身也視為一個學習模塊，並改進其底層目標函數，使其對不完美的數據更具魯棒性（一個系統或過程在面對不確定性、變化、錯誤輸入或異常情況時，仍能保持其功能和穩定性能的能力）。
第二是「連續體內存系統」（Continuum Memory Systems，CMS），它將模型的內存視為一個由多個不同更新頻率的模塊組成的光譜，從短期記憶平滑過渡到長期記憶，創建了一個更豐富、更高效的持續學習內存體系。

為了驗證上述理論，研究團隊設計並實現了一款名為「Hope」的概念驗證模型。Hope 是一種基於 Titans 架構的自修改循環網絡，它深度集成了連續體內存系統（CMS），能夠通過自我參照的過程優化自身內存，從而實現近乎無限層級的上下文學習。

在一系列公開的語言建模和常識推理任務中，Hope 架構的困惑度更低，準確性顯著高於現代循環模型和標準 Transformer。