「神筆馬良版 Sora」,阿里團隊推出影片 AI 生成框架 Tora:畫圈操控物體運動軌跡

IT之家 8 月 6 日消息,阿里團隊最新推出了 AI 影片生成框架 Tora,同時集成了文本、視覺和軌跡條件用於生成影片,是基於軌跡導向的擴散變換器(DiT)技術。

Tora 由一個軌跡提取器(TE)、一個時空 DiT 和一個運動引導融合器(MGF)組成:

  • TE 使用 3D 影片壓縮網絡將任意軌跡編碼為分層時空運動補丁。

  • MGF 將運動貼片集成到 DiT 模塊中,以生成遵循軌跡的連貫影片。

Tora 無縫契合 DiT 設計,支持製作最長 204 幀、720P 解像度的影片,可以精確控制不同持續時間、寬高比和解像度的影片內容。大量實驗證明,Tora 在實現高運動保真度方面表現出色,同時還能細緻模擬物理世界的運動。

其獨特設計理念融合文本、視覺和軌跡條件,精準控制影片內容,模擬物理世界運動規律,為電影特效製作、虛擬現實領域帶來無限可能。

IT之家附上參考地址