英偉達讓機器人「做夢學習」，靠夢境實現真·從0泛化

鷺羽 發自 凹非寺

量子位 | 公眾號 QbitAI

「仿生人會夢見電子羊嗎？」這是科幻界一個聞名遐邇的問題。

現在英偉達給出答案：Yes！而且還可以從中學習新技能。

如下面各種絲滑操作，都沒有真實世界數據作為訓練支撐。

僅憑文本指令，機器人就完成相應任務。

這是NVIDIA GEAR Lab最新推出的DreamGen項目。

它所說的「夢境中學習」，是巧妙利用AI影片世界模型生成神經軌跡，僅需少量現實影片，就能讓機器人學會執行22種新任務。

在真實機器人測試上，複雜任務的成功率更是從21%顯著提升至45.5%，並首次實現真正意義上的從0開始的泛化。

英偉達掌門人老黃最近也在Computex 2025演講上將其作為GR00T-Dreams的一部分對外正式進行宣佈。

接下來就DreamGen構造我們一一拆解。

在夢境中學習

傳統機器人雖已展現出執行複雜現實任務的巨大潛力，但嚴重依賴人工收集的大規模遙操作數據，成本高且耗時長。

純粹的計算機仿真合成數據，也由於模擬環境與真實物理世界差距大，機器人所學會的技能難以直接應用到現實。

於是研究團隊提出要不試試讓機器人在夢境中學習？

這個想法也並非空穴來風，早在2016年MIT的一項研究就證實，嬰兒大腦會通過睡眠期間的神經活動進行自發學習。

由此誕生的DreamGen，核心思想就是利用成熟的影片世界模型（如Sora、Veo），對現實影片進行虛擬合成，創建大規模逼真訓練數據。

新範式主要遵循四步走流程：

1、微調模型

通過目標機器人的遠程操作軌跡，捕捉其運動學與動力學特徵，微調影片世界模型。

2、虛擬數據生成

給定初始幀與語言指令後，生成描述預期行為的海量機器人影片序列，既包含微調後的已知行為，也包括未知場景中的新行為。

當然在這一步也要過濾掉那些不聽從指令的噩夢。

3、虛擬動作提取

利用潛在動作模型或逆動力學模型（IDM）解析偽動作序列，形成神經軌跡。

4、策略訓練

使用生成的影片-動作序列對（即神經軌跡）訓練下遊視覺運動策略。

通過DreamGen，團隊實現僅憑單個環境中的單一拾取任務的遙操作數據，就能在10個新環境中生成22個新動作的「夢境」或神經軌跡，例如傾倒、錘擊、摺疊、熨燙衣物、舀取M&M‘s豆等，並訓練機器人「零鏡頭」下執行這些任務。

此外它還可以增強不同機器人系統（如Franka與SO-100）以及不同策略架構（如Diffusion Policy、GR00T N1）在接觸密集型任務中的表現，真正實現了從0到1的零樣本行為泛化和零樣本環境泛化。

實驗結果表明，利用單一動作數據學習新動作的成功率從11.2%升至43.2%，在單環境訓練下，全新環境中的成功率也從0%達到了28.5%（傳統方法幾乎無法完成）。

以RoboCasa為基準的仿真驗證中，神經軌跡規模達到人類演示數據的333倍，策略性能隨軌跡數量呈對數線性提升。

在Fourier GR1、Franka Emika和SO-100機器人等真實平台上複雜任務的成功率也提升顯著，均證實了DreamGen的有效性。

另外團隊還開發了首個機器人影片生成評估基準DreamGen Bench，通過指令遵循度（IF）和物理合理性（PA）兩項指標，評估模型生成數據的質量。

英偉達的GR00T-Dreams藍圖

英偉達的野心還遠不止於此，DreamGen作為英偉達進軍物理AI的宏偉藍圖的一部分，將協助新工具GR00T-Dreams從單個圖像中生成大量合成運動數據，並通過壓縮動作令牌加速機器人行為學習。

這意味著GR00T-Dreams將會讓GR00T N1.5開發從3個月銳減至36小時，作為英偉達開放、通用、完全可定製的類人推理和技能基礎模型的首次更新，GR00T N1.5將部署在Jetson Thor上，預計於今年底推出。

老黃談到這一發展時表示：

從機器人的人工智能大腦，到用於實踐的模擬世界，再到用於訓練基礎模型的人工智能超級計算機，NVIDIA為機器人技術發展的每個階段提供了基礎模塊。

也許正如網民所說，英偉達一直走在造夢的路上：

論文鏈接：https://arxiv.org/abs/2505.12705

項目鏈接：https://research.nvidia.com/labs/gear/dreamgen/

參考鏈接：

[1]https://x.com/DrJimFan/status/1924819887139987855

[2]https://x.com/jang_yoel/status/1924805253993488595

[3]https://www.youtube.com/watch?v=TLzna9__DnI&t=5059s