科技

Runway最新影片模型Gen-4上線！保真度、一致性、可控性做到最強

04月01日 08:05 新浪網 tech-auto-hilite

機器之心報導

編輯：楊文

這幾天，GPT-4o 的生圖功能殺瘋了，沒想到 AI 影片領域也傳來了好消息。

就在昨天，AI 初創公司 Runway 發佈了一款號稱是迄今為止最高保真度的 AI 影片生成模型 ——Gen-4。

該模型在畫面真實感、動態流暢度和創作可控性上取得重大進步。與上一代 Gen-3 Alpha 版本相比，Gen-4 擅長生成具有逼真運動以及主題、對象和風格一致性的高度動態影片，同時具備優秀的提示遵循能力和一流的全球理解能力。

值得一提的是，使用視覺參考和文字指令，Gen-4 即可創建具有一致風格、主題、位置等的新圖像和影片，讓故事更具連續性和控制力。

為了測試模型的敘事能力，Runway 還整理了一系列短片和音樂影片。

比如這則《孤獨的小火焰》，從分鏡到成片均由 Gen-4 製作完成。

再如下面這個《紐約是動物園》，則展示了 Gen-4 令人印象深刻的視覺效果功能，將超現實動物帶入紐約的電影場景。

影片中的每個場景都使用 Gen-4 References 功能將動物的真實圖像與紐約的真實照片相結合，然後提示每個場景的具體動作而創建的。

《牛群》是一部短片，講述了一個年青人在夜間被牛群追逐的故事。它使用 Gen-4 技術，僅憑少量圖像參考構建出每個鏡頭中的人物和霧濛濛的牛群場景，然後與 Act-One 結合，將故事串聯起來。

《尋回》這部探險題材動畫短片，從概念設計到成片製作僅耗時一週，Gen-4 憑藉其強大的生成能力完整呈現了一群探險者尋找神秘花朵的故事。

與其他影片生成模型一樣，Gen-4 也接受了大量影片示例的訓練，以「學習」這些影片中的模式來生成合成鏡頭。Runway 拒絕透露訓練數據的來源，部分原因是擔心失去競爭優勢，但訓練細節也是與知識產權相關的訴訟的潛在來源。

例如，Runway 正面臨藝術家對其和其他生成 AI 公司的訴訟，指控被告未經許可使用受版權保護的藝術品來訓練他們的模型。 Runway 辯稱，合理使用原則可以保護其免受法律影響。目前尚不清楚該公司是否會勝訴。

不過，Runway 面臨的風險相當高，據說該公司正在籌集新一輪融資，估值將達到 40 億美元。據 The Information 報導，Runway 希望在推出影片生成模型 API 等產品後，今年的年收入能達到 3 億美元。

無論針對 Runway 的訴訟結果如何，生成式 AI 影片工具都有可能顛覆我們所知的電影和電視行業。代表荷李活動畫師和漫畫家的工會動畫協會委託進行的一項 2024 年研究發現，75% 採用 AI 的電影製作公司在引入該技術後減少了工作崗位、合併了崗位或取消了崗位。該研究還估計，到 2026 年，美國娛樂業將有超過 10 萬個工作崗位受到生成式 AI 的衝擊。

儘管官方聲稱 Gen-4 圖像轉影片功能已經向所有付費計劃和企業客戶推出，但有網民表示，Gen-4 可能正在陸續向付費用戶推送，需要耐性等待。