內測藝術家近距離圍觀Sora團隊:AI還算不上具備創作能力

香港時間12月10日,被萬眾期待將近一年的Sora,終於正式官宣。不再是幾個demo片段,不再是Sam Altman時不時打的啞謎,而是一個完整的影片生成產品。

由於太過火爆,上線沒多久就流量爆炸,OpenAI不得不暫停新用戶註冊,等候隊伍能長到能等上一整天。

但有一群人,不僅是Sora的「老用戶」,還參與著這個產品的塑造過程,見證了它的迭代與更新——他們就是不久前曾傳出叫板OpenAI的Sora Alpha Artist。

為了獲得創作者們的反饋和建議,也為了觀察Sora在他們手上所能激發的創造力,Sora跟一群藝術家們保持著密切聯繫,實時收集他們的反饋,也把他們的精彩創作作為案例分享出來。

在Sora發佈之際,APPSO獨家對話Sora首位合作的國內藝術家Junie Lau。她是AI導演,也是Stable Diffusion首屆AI短片全球冠軍。作品曾獲得有「AI奧斯卡」之稱的Runway AI電影節銀獎,並參與到了全球首部AI長片電影「Our T2 Remake」的製作當中。不久前,她作為Runway中國社群的負責人,完成了Runway中國社區的落地與推廣。

在對話中,她不僅用實際的生成片段闡釋了自己高強度使用Sora的感受,還分享了與Sora團隊合作互動的體驗。更重要的是與我們探討了,生成式影片工具快速發展的一年多以來,走過的彎路有哪些、可能的未來在哪裡。

現在還沒碰到Sora的天花板

APPSO:Sora正式發佈了,好看的樣片你肯定見過不少,網上的負面聲音是你想像過的嗎?

Junie:我預想到有蠻多人會「抽水」的,其實現在發的是一個turbo版本,算是一個改良版,需要的算力更少,可以讓更多人使用。但是在效果上面,我個人感覺有一點不同。我把同樣的prompt放進去,現在這個版本里其實是沒辦法跑出來的。

APPSO:是模型層面就不一樣了嗎?

Junie:應該是模型不一樣,相當於改良了,變成現在這個模型。目前的Sora是一個階段性的產品。

APPSO:所以它成了一個在使用上體驗沒那麼好的東西?

Junie:那不是,這一點我要反駁一下。我的邏輯是這樣的:它的可控性其實不那麼強,反而就可以給出各種各樣的東西。我並不會只跟它說一個我腦海里的畫面,而是一個想法。我在它的基礎上去拓展我的一些想法,這樣的一來一往是我非常享受的一個過程。

APPSO:可以理解為抽卡的過程反而成了一個互動的過程?

Junie:我不知道是不是還要用「抽卡」這個詞。我認為抽卡的概念在於,你已經有一個圖片,把圖片送進去然後看基於這張圖片的動態,哪個更順暢哪個更貼近。但Sora完全是基於提示詞,因為我們有無限的credit,所以我瘋狂點擊,每一次它都能給出不一樣的東西。(編者註:Sora為藝術家賬戶開設無上限的credit額度,不受付費計劃影響)

這個是在工作流上很大的一個改變。過去的工作流是你有一個創意,先去Midjourney、Stable Diffusion或者Flux里,把想法變成圖片,再放到可靈、Runway或者海螺里,把這個圖片變成一個影片。現在我在Sora上不用這一套了,它直接就可以給出我想要的畫面,不再需要經過之前的那一套流程。

我已經把Midjourney的套餐,從每月的36美元降檔到每月10美元,因為我覺得自己不那麼需要它了,Sora已經能滿足很多我在藝術上的需求。

APPSO:這個變化是技術架構層面的不同,還是背後使用到的數據不同所帶來的?

Junie:確實某些算法上面的東西是不太一樣。我到現在,說實話,還沒感覺到Sora的天花板在哪裡。我平時用Runway比較多,用多了就能看出它的天花板在哪裡,比如說有一些三維質感的東西,有一些特殊視效的東西,你能大概感覺到它喂了哪些數據進去。其他的影片生成工具也會給我類似的感受。但是Sora用到現在,我都還不敢說它背後的數據量有多大。

比如我做時尚類的短片比較多,Sora跑出來的鏡頭,像上面這個鞋子,它的質感就非常不一樣。

下面是把同樣的prompt放進Midjourney裡面的效果。

我為什麼說沒有碰到它的天花板,舉個例子,比如我要一個美女,一個很簡單的prompt,(其他產品)可能會給出比較符合主流審美的、刻板印象的美女形象,我需要很細節地改詞,才會拿到一些新的東西。

APPSO:最近比較流行的AI生成工具,得到好評都是因為「沒有AI味兒」,或者味道不太重,你覺得Sora也是勝在AI味不重嗎?

Junie:過去的一些AI工具,怎麼說呢,是有一種塑料感,有種不真實感。但Sora不能說很「真實」,而是很「不一樣」。AI生成的一個重點是讓它做出不存在的東西——不存在的東西怎麼說得上真實不真實呢?可是Sora會比之前我接觸過的工具,更接近真實。

比如在這個影片里,這個逆光時髮絲的質感,這是一個很感受化的東西。還有她背後的光影變化了,這些頭髮絲也跟著變化。

APPSO:像不像實拍是一個衡量標準嗎?

Junie:這也是Sora和Runway不一樣的地方。很多工具會「你有什麼我也要有什麼」,而且會糾結於用AI做傳統影視在做的東西。Sora和Runway雖然也涉及傳統影視,比如Runway背後的團隊有華納影業出來的成員。

但是在另外一個維度上,他們是想做一些新東西,這些創新就來自和藝術家的密切合作。藝術家在提出想要什麼樣的功能的時候,他們就會考慮去開發這些新功能。他們並不是要把一個生成影片,做成很像傳統影視的質感,而是更願意探索什麼是AI可以實現的,怎麼樣可以拓展藝術表達。

APPSO:對於物理運動的表現呢?算是一個標準嗎?

Junie:我覺得因人而異。對我來說Sora的優勢在於,能滿足我很多奇奇怪怪的藝術表達,模型的藝術性對我來說是更重要的,物理表現反而沒那麼重要。那肯定會有一部分人的需求就是對口型、穩定性、主體一致性等等,那可能其他的工具會更適合用來滿足對可控性的追求。

和Sora合作是怎樣一種體驗?全員活人

APPSO:聊聊你們和Sora團隊的合作吧,你們的工作模式是怎麼樣的?

Junie:我們有一個三百多人的大群,裡面Sora的工作人員有三十多個,剩下的都是藝術家,各行各業的都有,有畫畫的、做建築的等,整個氛圍比較年輕。每週我們都要一起開會,還會有當週的主題挑戰活動,有點像內部的電影節這樣。這些挑戰不是強製參與的。

我這次發出來的片子《What if,Mother》其實是給一個挑戰活動做的,那個活動還沒有官宣,但Sora說片子可以發出來。我在剛剛拿到Sora時就知道有這個挑戰活動,但我需要從零開始學起,從最開始接觸算起,到把這個片子做出來,前前後後大概花了兩週的時間吧。

沒有做得很好,只能說是做多少發多少,我覺得Sora還是存在一些學習成本的,不太能直接上手就用。比如人物的可控性其實是通過storyboard實現的,其中又涉及用prompt來實現對場景和人物的控制,不是簡單地把圖複製進去跑一跑,它需要新的工作流。

APPSO:這個片子裡最花工夫的部分是什麼?

Junie:後面有一段有很多水的鏡頭,這個當時是得一邊學一邊做,我當時也不確定水的物理表現能不能實現。他們內部給了很多教程,而且每個星期的週會,都會有答疑環節,也會有不同的藝術家來分享他們的工作流,他們是怎麼用Sora的。

APPSO:Sora官方跟你們的來往多嗎?

Junie:很多。使用上有什麼問題,他們會立刻回覆,比如說有個prompt跑不出來,或者畫面顯示不出來,發到群裡,馬上就會有工作人員說「你把問題發來我看一下是怎麼回事」,真的是24小時技術支持。

我們的群「活人感」很強,Sora團隊的技術、產品人員都在群裡,平時也會跟我們聊天。Sora發佈會前還有工作人員在群裡說他們一直在為了發佈會加班,還拍照給我們看,一群人在會議室幹活。

發佈會中出現的Sora產品負責人,日常在藝術家社群中非常活躍.圖片來自:OpenAI官網發佈會中出現的Sora產品負責人,日常在藝術家社群中非常活躍.圖片來自:OpenAI官網

我覺得他們是真的把我們當自己人,很像一個大家庭。群裡一般最多的還是討論作品,會互相點讚支持。然後就是對產品的討論。產品的人之前也有來找我,問我用起來感覺如何,有沒有碰到什麼問題。他們團隊不大,架構很扁平,不同職能、不同部門之間不會很分散。

APPSO:有什麼具體的例子嗎,比如你們提出的反饋,在產品更新里會如何得到呈現?

Junie:日常的反饋還是很多的,非要說的話可能是圖生影片的功能。現在這個是不太好用,之前也有藝術家提過反饋。但這裏有一個版本的問題,他們可能沒有在目前發佈的版本上體現出改良,現在的圖生影片是挺難用。

APPSO:所以當時藝術家們「反水」是怎麼一回事?

Junie:其實在群裡,日常也是會有一些負面反饋和批評的。但是在我的記憶里,這個藝術家(編者註:指牽頭髮起抗議Sora的藝術家)平時也不怎麼講話,好像突然之間就爆炸了。後續參與公開信簽名的也不全是Sora的合作藝術家。

我們每週都有挑戰活動嘛,有一些是有現金獎勵的。但這些活動不是強製參與的,你可以參加也可以不參加,另外還會有一些線下的活動,比如見面會、社群活動這些,他們跟電影節也有合作。比如藝術家做的片子被他們發在官方社媒上,也是一種曝光和宣傳的方式。這確實是一個很看個人取捨的問題吧。

AI還算不上具備創作能力

APPSO:你覺得Sora目前的功能里,最能體現藝術性的是什麼?

Junie:有一個風格預設的功能,只要定義了你自己想要的風格之後,你輸入什麼提示詞都是預設的風格。在我的短片里,前半段全部都是黑白,我用了它的八十年代的預設,然後再在提示詞里說,我要一個第一人稱視角,在一條街上走,然後看到些什麼。在這個預設之後我跑一百條影片,都是這個黑白的風格。

Sora提供的風格預設

另外像remix,re-cut這些功能,我覺得還是改變了一些與AI工具交互的方式、創作的方式。像下面的鏡頭來自馬上要發的新作品,也是Sora幫我把腦子裡一個大概的想法完全具象化了。

不過我當時從零開始也花了不少時間搞清楚要怎麼用,可能大家都需要花時間瞭解吧。

APPSO:從你的描述來看,Sora似乎已經具備一些創作能力了是嗎?

Junie:這個創作能力具體是指什麼呢?我們現在已經有比如說機器人畫畫、下圍棋,還有很多說是AI原生、沒有人工干預的創作,這個是你說的創作能力嗎?

APPSO:隨機組合、把元素像捏泥巴一樣捏在一起只能算第一階段的,但如果呈現出來的畫面、鏡頭,有潛在的審美邏輯,可以算是具備一定的創作能力了。尤其是「沒有AI味」,是能體現模型對於素材和語義的合理理解的。

Junie:我個人覺得,還是要有所表達,無論是用剪輯的方式,還是鏡頭切換的方式。表達是指我的想法,或者是我腦子裡的一個疑問,(從這個疑問出發)來有所表達,這是我所定義的創造力。在這個維度上,我覺得AI還不具備。

但從現在來說,沒有一個AI產品是百分百完美的,這條路大家都在探索。

本文來自微信公眾號:APPSO (ID:appsolution),作者:APPSO