「神筆馬良版 Sora」,阿里團隊推出影片 AI 生成框架 Tora:畫圈操控物體運動軌跡
IT之家 8 月 6 日消息,阿里團隊最新推出了 AI 影片生成框架 Tora,同時集成了文本、視覺和軌跡條件用於生成影片,是基於軌跡導向的擴散變換器(DiT)技術。
Tora 由一個軌跡提取器(TE)、一個時空 DiT 和一個運動引導融合器(MGF)組成:
-
TE 使用 3D 影片壓縮網絡將任意軌跡編碼為分層時空運動補丁。
-
MGF 將運動貼片集成到 DiT 模塊中,以生成遵循軌跡的連貫影片。
Tora 無縫契合 DiT 設計,支持製作最長 204 幀、720P 解像度的影片,可以精確控制不同持續時間、寬高比和解像度的影片內容。大量實驗證明,Tora 在實現高運動保真度方面表現出色,同時還能細緻模擬物理世界的運動。
其獨特設計理念融合文本、視覺和軌跡條件,精準控制影片內容,模擬物理世界運動規律,為電影特效製作、虛擬現實領域帶來無限可能。
IT之家附上參考地址