剛剛，AI顛覆物理模擬：一句話精準仿真，學術圈半壁江山聯手耗時24個月研究成果

AI影片生成這就過時了嗎？

剛剛，最先進的生成式物理引擎Genesis發佈，一句話就可以生成完整精確的模擬物理世界。

一滴水滴落到一個啤酒瓶上，然後沿著瓶子表面慢慢滑落

生成結果可不僅是一個影片，其中還包含物體運動的各種參數。

接下來可以分為三個視角，同時追蹤模擬水滴的運動……

對於人物動作，也可以遵循提示詞精確模擬。

一個手裡拿著棍子的微型悟空在桌子表面衝刺3秒鍾，然後跳到空中，並在著陸時向下襬動右臂。攝像機從他的面部特寫開始，然後穩步跟隨角色，同時逐漸縮小。

當猴子跳到空中時，在跳躍的最高點，動作會暫停幾秒鍾……攝像機圍繞角色旋轉 360 度，然後緩慢上升，然後動作繼續。

這是一項涉及20多個組織，為期24個月的大規模合作研究：

學術界，有清華、北大、港大、CMU、馬里蘭、哥倫比亞、史丹福、MIT……說是學術圈半壁江山都參與了也不為過。

產業界，也有英偉達、太極圖形，以及MIT-IBM Watson AI Lab這樣的聯合實驗室助陣。

OpenAI在2月初次演示Sora時，曾稱它是「世界的模擬器」。

相比之下，Genesis不僅物理模擬更精確，還同時有更多能力：

它是一個從頭開始重建的通用物理引擎，能夠模擬各種材料和物理現象。

它是一個輕量級、超快速、Python化和用戶友好的機器人仿真平台。

它是一個強大而快速的照片級寫實渲染系統。

它是一個生成式數據引擎，可將用戶提示的自然語言描述轉換為各種數據模式。

一句話總結：Genesis是一個全面的物理模擬平台，專為通用機器人、具身AI和物理AI應用而設計。

共同一作、CMU博士生周銜詳細介紹了Genesis的各種能力，迅速引起業界轟動。

其中大家格外關注的一點是生成速度。

它提供的模擬速度比現實世界快約430000倍，並且只需26秒即可在單個RTX4090上訓練能轉移到真實機器人的運動策略。

據周銜介紹，Genesis的物理引擎用純Python代碼開發，同時比現有的GPU加速堆棧（如英偉達Isaac Gym和開源的MJX）快10-80倍。

同時，速度的提高不會影響仿真精度。

目前，團隊正在開源底層物理引擎和模擬平台，對生成式框架的訪問將在不久的將來逐步推出。

不得不說，從一句話生成影片到一句話生成物理世界，2024年的進展實在是太快了。

生成4D物理世界

Genesis由從頭開始的通用物理引擎提供支持，將各種物理求解器及其耦合集成到統一的框架中。該核心物理引擎通過上層運行的生成Agent框架進一步增強，旨在為機器人及其他領域實現完全自動化的數據生成，包括以下模態：

物理準確且空間一致的影片

攝像機運動和參數

人類和動物角色的動作

機器人操作和運動策略，可部署到現實世界

完全交互式 3D 場景

開放世界鉸接式物體生成

語音音頻、面部動作和表情

‍角色運動

關於角色運動，除了開頭展示的猴子，作者還一口氣放出了三個不同風格角色的運動場景。

一位日本武士正在表演拳擊。

一名羅馬士兵像殭屍一樣向前走。

一名中國風的戰士表演江南Style舞蹈。

機器人策略

除了角色的運動，Genesis還可以自主提出機器人任務、設計環境、編寫獎勵函數，並最終自動生成機器人策略。

移動式franka機械臂將地板上的所有物品都扔進籃子裡。

同時支持Sim2Real，把在模擬環境訓練好的策略轉移到真實硬件機器人中。

一個宇樹H1-2人形機器人向前走。

四足機器狗雙重後空翻

很可惜還有一個人形機器人單腳跳躍只有模擬演示，因為團隊的機器人壞掉了……

宇樹H1人形機器人執行單腳跳躍。

另外除了機器人，無人機編隊也可以模擬，並呈現出正確的數量關係。

由24（4×6）架無人機組成的機隊一起從地面起飛並一起進行翻轉。

3D & 全互動場景生成

一個帶有客廳（包括用餐空間）、洗手間、書房和臥室的家居室內場景。

互動實體俄羅斯方塊遊戲。

開放世界鉸接式物體

生成開放世界鉸接式物體的mesh資產，質量超越了人工註釋，更多詳細信息將隨之後的論文一起公開。

軟體機器人

不只是各種剛性物體，Genesis針對軟性的機器人也能夠實現逼真的模擬。

蠕蟲。

柔軟的抓手操縱盒子並拿起筆帽。

面部動畫和語音

Genesis還能夠處理面部動作和表情的生成：

同時還能向其中添加語音，並在面部表情不斷變化的同時，保持口型與說話內容的匹配：

文本「Genesis是一個為通用機器人/嵌入式人工智能/物理人工智能應用而設計的物理平台。」對應的面部運動和語音，表情從中性過渡到憤怒，再到開心。

代碼已開源，pip install

目前Genesis代碼已開源，可以直接pip install genesis-world安裝。

開源代碼發佈僅幾個小時，也迅速在GitHub上攬獲1.6k star。

當前版本具體特性如下

可在不同的系統（Linux、MacOS、Windows）和不同的計算後端（CPU、Nvidia GPU、AMD GPU、Apple Metal）上原生運行。

統一的仿真框架中集成了各種物理求解器：剛體、MPM、SPH、FEM、PBD、穩定流體。

支持剛性和鉸接體、各種類型的液體、氣體現象、可變形對象、薄殼對象和顆粒材料的仿真（和耦合）

支持多種機器人：機械臂、腿式機器人、無人機、軟體機器人等，並廣泛支持加載不同的文件類型：MJCF （.xml）、URDF、.obj、.glb、.ply、.stl 等

支持基於原生光線追蹤的渲染

Genesis旨在與可微仿真完全兼容。目前，MPM求解器和Tool求解器是可微的，並且很快將添加其他求解器的可微性（從剛體仿真開始）

Genesis包含一個基於物理且可微分的觸覺傳感器仿真模塊，將很快集成到公開版本中（預計在 0.2.0 版本）

另外GitHub項目頁面介紹，Genesis的目標是構建一個完全透明、用戶友好的生態系統，來自機器人和計算機圖形學的貢獻者可以聚集在一起，共同創建一個高效、逼真（物理和視覺）的虛擬世界，用於機器人研究及其他領域。

此外，Genesis相關論文已進入提交階段，將於稍後公開。

目前更多細節可參考官方文檔。

GitHub：https://github.com/Genesis-Embodied-AI/Genesis

項目主頁：https://genesis-embodied-ai.github.io

文檔：https://genesis-world.readthedocs.io

參考鏈接：[1]https://x.com/zhou_xian_/status/1869511650782658846

本文來自微信公眾號「量子位」，作者：夢晨 基爾西，36氪經授權發佈。