騰訊發佈並開源混元世界模型2.0:一句話生成3D遊戲原型

新浪科技訊 4月16日上午消息,今日,騰訊正式發佈並開源混元3D世界模型2.0( HY-World 2.0)。據介紹,HY-World 2.0是一個多模態世界模型,能夠理解文字、圖片、視頻等不同類型輸入,自動生成、重建和模擬 3D 世界,同時支持多格式3D資產(Mesh/3DGS/點雲等)導出,可以與現有的遊戲工作流無縫對接,用於快速生成遊戲地圖和關卡原型。

據悉,不同於Google的Genie 3和混元世界模型1.5僅能生成視頻文件,世界模型2.0的實用性更進一步:它可以直接生成可二次編輯的3D資產文件,這些生成的3D資產可以直接導入到遊戲製作或者具身仿真引擎,實現真正可玩、可用。

目前,世界模型2.0已經上線至騰訊混元3D創作引擎官網,用戶可以申請使用。

混元世界模型2.0支持文、圖、視頻多種輸入。輸入一段文字或一張圖片,模型即可精準解析複雜語義,一鍵生成風格多樣的可漫遊世界。相比較混元世界模型1.0,2.0的模型架構全面升級,畫面精細度和真實感大幅提升。用戶還可以自定義風格,按需生成真實風、漫畫風、遊戲風的3D空間。生成完成後,用戶可以將資產導入到Unity、UE 等引擎、進行二次編輯,顯著降低了遊戲地圖的創作門檻。

模型還支持角色模式,用戶可以操作角色在街道、建築、場景中自由探索,不限時間,具有物理碰撞,就像在遊戲里一樣。同時,世界模型2.0支持複刻真實3D場景,用戶輸入一段真實空間的視頻或者多視角圖片,模型就能構建出高精度的數字孿生空間。基於升級後的 WorldMirror 2.0 架構,模型支持任意尺寸圖像與視頻輸入,一次性預測密集點雲、多視角深度圖、表面法線及相機參數 ,一次生成永久可複用。未來,室內裝修預覽、城市規劃、文化遺產保護等場景,都可以基於這一能力實現快速構建和還原。

混元世界模型2.0以3D為主軸,通過統一空間理解、生成、重建的架構,實現了SOTA級的生成效果。與其他世界模型相比,混元世界模型2.0在場景完整度(物體側面和背面)以及對輸入圖片的遵循程度表現更優。混元生成的3DGS與Mesh的混合表徵,也讓用戶能夠開啟角色模式進行有真實物體碰撞的交互。