Sora/可靈/海螺/混元等大PK!多場景對比,現在誰是最強影片生成模型?
奇月 發自 凹非寺
量子位 | 公眾號 QbitAI
OpenAI的正式版Sora終於上線了!
不過,在Sora缺席的10個月裡,Runway、可靈、海螺、混元等等模型都橫空出世,有的甚至都捲出了自己的特色風格和功能,比如Runway的多幀修改、可靈生成的表情更加自然、海螺的二次元風格等等。
接下來我們就來一起看看,Sora和這些模型的對比效果究竟如何吧!
Round1:對比Runway
Runway是美國目前最受歡迎的影片生成模型之一,很多創作者已經用它來進行影片生產了。
下面我們就一起來看看3個Runway Gen3與Sora的對比
場景一:羅馬教堂風的影片
先讓兩個模型都生成一些羅馬教堂風的影片,可以看出來兩個模型的重點不太一樣,Sora生成了一個會議的場景,而Runway生成的影片更類似於節日聚會。
場景二:生成人物行走影片
這次生成的是一個男人穿著聖誕衣服在冬天的雪地裡行走,兩個模型的生成效果都很不錯,Sora生成的更有故事感一些,還有背景變換和鏡頭切換。
場景三:根據輸入的靴子圖片自動生成影片
這次Sora的表現就出現了一些反常識的現象,從靜止的靴子裡面又出現了另一雙走動的靴子,Runway生成的效果就好多了。
有網民看完也是立馬銳評到:看起來OpenAI是用UI設計來彌補模型效果不佳
Round2:對比可靈
對比完兩個外國模型,把我們國產模型也拉出來比劃一下!
首先請出的是非常受歡迎的可靈模型,不僅是這次效果對比中有很多網民都用到了它,在過去的幾個月中可靈也收穫了很多用戶。
場景一:Sora VS 可靈 VS Runway
金毛狗狗在美術館中奔跑(Sora展示的官方場景之一)
三個模型在光影處理、動物毛髮光澤和運動姿態方面處理得都很優秀,這一局有點難分上下,評論區裡面喜歡Sora和可靈的都有。
場景二:Sora VS 可靈
根據輸入的圖片生成影片,沒有提示詞。
可靈生成的影片看起來似乎動作更加流暢一些,不過Sora的畫面切換也是很有蒙太奇的感覺。
Round3:對比海螺、混元
國產模型還有更多選手申請出戰!
接下來有請海螺模型和混元模型上場。海螺自從推出以來就一直在VBench榜單上名列前茅,混元模型雖然開源不久,但是也有很多藝術家都進行了創作嘗試。
下面一起看看他們的表現:
場景一:Sora VS 可靈 VS 海螺,圖生影片
這道題就是一個非常考驗模型想像力的題目了,同樣是圖生影片,三個模型根據一個人站在金字塔下的身影進行影片生成。Sora和可靈的主題都比較偏向「末世」的感覺,海螺有點「異世界」戰鬥即視感。
場景二:Sora VS Runway VS 可靈 VS 海螺
輸入是「維京演員的情感表現,攝像機推進至演員皺眉的臉部」。
Sora生成的影片中還有拍攝演員的視角變化,很有趣。可靈和海螺在處理面部表情時更加自然。
場景三:Sora VS 可靈 VS 混元
再來看看最後一個測試,讓模型們幻想月球上面宇航員的活動。
可以看出來,每個模型都有自己的偏好,Sora的影片鏡頭變化更多、可靈的場景更加細緻、混元的更有故事感。
Round4:影片忠誠一致性檢測
網民Shaun Ralston還用自己的貓貓測試了一下Sora生成影片中物體的一致性。
首先來看看他的真貓寫真:
下面都是Sora根據輸入的圖像生成的AI貓貓圖像,看起來基本上和真實的貓差別不大,而且影片中的動作也非常自然。
One More Thing
Sora正式版推出之後,大家最關心的除了效果可能就是價格了。
目前Sora只向Plus會員(每月20刀)和Pro會員(每月200刀)開放。具體來看,Plus會員每月最多可生成50支影片,720p解像度最多生成5秒,480p解像度可以生成10s。Pro會員每月可生成500支影片,支持1080p、20s、同時生成5個影片,還支持無水印下載。
但是,獨立電影製作人el.cine在X上發推表示,如果你想要用包含人物的圖像來生成影片,這個功能目前只對Pro用戶開放!
參考鏈接:
[1]https://x.com/emollick/status/1866227921893105975