「全球首個自回歸影片生成大模型」，剛剛，Swin Transformer作者創業團隊重磅開源！

機器之心報導

機器之心編輯部

影片生成領域，又出現一位重量級開源選手。

今天，馬爾獎、清華特獎得主曹越的創業公司 Sand AI 推出了自己的影片生成大模型 ——MAGI-1。這是一個通過自回歸預測影片塊序列來生成影片的世界模型，生成效果自然流暢，還有多個版本可以下載。

以下是一些官方 demo：

提示詞（翻譯版）：柔和的自然光：一個留著捲曲的紅棕色長髮的年青人站在盛開的白花中。花朵在主體周圍突出而豐富，創造了一個花卉背景。這個人似乎在花園或自然環境中，鬱鬱蔥蔥的綠葉在背景中模糊。孩子輕輕地彎下腰聞聞花香，然後慢慢睜開眼睛。她的臉上綻開了笑容，因為她很享受這一刻。相機一直聚焦在孩子身上，確保她始終站在鏡頭的中心。超高畫質，超高清，8K。

提示詞（翻譯版）：特寫鏡頭：老船長目不轉睛地盯著鏡頭，嘴裡叼著煙鬥，縷縷青煙在他飽經風霜的臉上嫋嫋升起。鏡頭開始緩慢地順時針旋轉，向後拉開，最後，鏡頭高高昇起，露出整艘木帆船在海浪中穿行，船長無動於衷，凝視著遠方的地平線。

根據官方介紹，MAGI-1 生成的影片具有以下特點：

1、流暢度高，不卡頓，可以無限續寫。它可以一鏡到底生成連續的長影片場景，沒有尷尬的剪輯或奇怪的拚接，就像電影一樣流暢自然。

MAGI-1 生成的影片。提示詞（翻譯版）：地面鏡頭捕捉到茂密、生機勃勃的綠色草地，從上方射下的強光照亮了草地。草地搖曳著向地平線延伸，通向一個狹窄的峽穀，峽穀兩側是陡峭的暗色岩層。天空在畫面頂端清晰可見，與周圍懸崖投下的陰影形成光源對比。鏡頭緊貼地面，拍攝輕輕搖擺的草葉。突然，攝影機加速向前，在茂密的草叢中迅速飛馳，營造出一種動態的前進運動。當鏡頭保持低角度時，草叢模糊而過，突出了……

2、精準時間軸控制。MAGI-1 是唯一具有秒級時間軸控制的模型 —— 你可以按自己設想的那樣，精準地雕琢每一秒。

MAGI-1 生成的影片。提示詞（翻譯版）：畫面中央是一隻巨大的眼睛，表面呈粉紅色，紋理清晰，瞳孔深黑色。眼睛似乎在眨動，周圍有皮膚褶皺。兩側是高聳、陰暗的未來派建築，垂直延伸到背景中。環境光線昏暗，使眼睛在高樓大廈的襯托下更加突出。整體色調以灰色和黑色為主，與眼睛的粉紅色形成鮮明對比。這隻巨大的眼睛緩緩眨動，眼瞼閉合，然後睜開，露出一個黑色的大瞳孔。眼睛完全睜開後，瞳孔開始左右移動，掃視四周。攝像機持續對準眼睛，確保眼睛始終保持在鏡頭中心。超高畫質，超高清，8K。

3、運動更加自然，更有生機。不少 AI 生成的影片，畫面動作不是慢吞吞，就是僵硬死板、幅度過小。Magi-1 克服了這些問題，生成的動作更加流暢、有活力，且場景切換更加順滑。

MAGI-1 生成的影片。提示詞（翻譯版）：一個黑髮捲曲的年輕女孩正在拉小提琴。樂器靠近她的肩膀，她的手放在琴弓上，在琴弦上移動。背景是昏暗的燈光，強調她的身材和小提琴。她穿著一件深色毛衣。一個女孩拉著小提琴，在琴弦上前後拉著琴弓。相機緩慢而平穩地圍繞著她旋轉，將焦點集中在她使用樂器的動態動作上。超高畫質，超高清，8K。

效果究竟如何？機器之心做了一些簡單的測試。

首先，先來一張奧特曼的「OK 照」，並使用提示詞「圖中人物捶胸頓足大笑」。

可以看到，MAGI-1 首先會對用戶輸入的提示詞進行增強，得到更詳細的提示詞：

之後，MAGI-1 會使用這個新提示詞進行生成。我們等待了 4 分鐘，得到了結果，效果還算不錯。

接下來，我們又試了一下讓「走紅毯的馬斯克」與左邊的人握手，隨後跳舞，結果生成效果也不錯。

同時，Sand AI 也提供了影片擴展功能，可以沿著之前生成影片或用戶上傳影片繼續生成新的影片片段，並且無需用戶自己手動拚接 —— 會直接輸出經過擴展後的更長影片。用戶只需設置每次擴展生成的持續時間為 1 秒，便可以實現「以一秒為單位做精細化控制」。

在測試過程中我們發現，MAGI-1 目前支持 1-10 秒長度的影片生成，單個生成每秒耗費 10 點積分。初始註冊用戶可以免費獲得 500 積分。

當然，免費額度用完了，用戶也可以選擇繼續付費使用。Sand AI 提供了訂閱製和積分製兩種付費模式，其相應的價格如下。

此外，由於 Sand AI 開源了 MAGI-1 的幾個版本，我們也可以下載之後本地運行。

技術報告：https://static.magi.world/static/files/MAGI_1.pdf
GitHub頁面：https://github.com/SandAI-org/Magi-1
HuggingFace頁面：https://huggingface.co/sand-ai/MAGI-1

MAGI-1 的發佈在海外引起了一些轟動，開源大神 Simo Ryu 發帖提問，想要瞭解 Sand AI背後是怎樣一個團隊。OpenAI 研究員 Lucas beyer 則給出了自己收集到的資料，看來他也在關注 Sand AI。

MAGI-1 模型介紹

我們可以通過團隊披露的信息來瞭解這個模型的技術創新。

MAGI-1 是一種通過自回歸預測影片塊序列生成影片的世界模型，影片塊被定義為連續幀的固定長度片段。MAGI-1 可對隨時間單調增加的每塊噪聲進行去噪訓練，從而實現因果時間建模，並自然支持流式生成。

它在以文本指令為條件的圖像到影片（I2V）任務中表現出色，提供了高度的時間一致性和可擴展性，這得益於多項算法創新和專用的基礎架構棧。MAGI-1 還通過分塊提示進一步支持可控生成，實現了平滑的場景轉換、長視距合成和細粒度文本驅動控制。

Sand AI 團隊表示，MAGI-1 為統一高保真影片生成、靈活指令控制和實時部署提供了一個很有前途的方向。

在項目主頁中，團隊提供了 MAGI-1 的預訓練權重，包括 24B 和 4.5B 模型，以及相應的 distill 和 distill+quant 模型。

模型細節如下（更多詳情可參閱技術報告）：

基於 Transformer 的 VAE

變分自編碼器 (VAE) + 基於 transformer 的架構，空間壓縮率為 8 倍，時間壓縮率為 4 倍。
最快的平均解碼時間和極具競爭力的重建質量。

自回歸去噪算法

MAGI-1 逐塊生成影片，而不是整體生成。每個片段（24 幀）都是整體去噪的，當前片段達到一定的去噪水平時，就開始生成下一個片段。這種流水線設計可同時處理多達四個片段，從而實現高效的影片生成。

擴散模型架構

MAGI-1 建立在 DiT 的基礎上，融入了多項關鍵創新，以提高大規模訓練的效率和穩定性。相關技術包括因果注意力 block、並行注意力 block、QK-Norm 和 GQA、FFN 中的三明治層歸一化、SwiGLU 和 Softcap Modulation。

蒸餾算法

MAGI-1 採用了一種快捷的蒸餾方法，訓練了一個基於速度的模型，以支持不同的推理預算。通過強製執行自一致性約束，即將一個大步長等同於兩個小步長，模型學會了在多個步長範圍內逼近流匹配軌跡。

在訓練過程中，步長從 {64, 32, 16, 8} 中循環采樣，並採用無分類器引導蒸餾法來保持條件對齊。這樣就能以最小的保真度損失實現高效推理。

評估

內部人工評估。在開源模型中，MAGI-1 實現了最先進的性能（超過 Wan-2.1，明顯優於 Hailuo 和 HunyuanVideo），尤其是在指令遵循和運動質量方面表現出色，使其成為 Kling 等閉源商業模型的潛在有力競爭者。

物理評估。得益於自回歸架構的天然優勢，Magi 在通過影片連續性預測物理行為方面實現了遠超常人的精度，明顯優於所有現有模型。

成立一年多，Sand AI拿出全球首個自回歸影片生成大模型

Sand AI 創立於 2024 年 1 月，由曹越、張拯等人聯合創立。

創始人曹越是清華大學軟件工程博士。在讀博期間，曹越的研究方向就是機器學習和計算機視覺。2019 年獲博士學位後，他加入微軟亞洲研究院，在此期間的代表作包括 Swin Transformer（獲 ICCV 馬爾獎）、GCNet、VL-BERT 和 DAN 等。同時，曹越還是清華大學特等獎學金得主。目前，曹越的Google被引量已經接近 6 萬次。