AI鬥圖神器：普通影片秒變meme，手繪動畫輕鬆融入，瞭解一下？

衡宇 發自 凹非寺

量子位 | 公眾號 QbitAI

哎鴨，鴨鴨摔倒了！

鴨鴨是真的，摔跤是真的，但端的咖啡和端咖啡的手，是AI給p上去的。

還好手裡的咖啡只灑了億點點

來自一個開源項目，VideoDoodles，這兩天在外網上的討論度直線上升。

這項目妙就妙在，能給影片加上手繪風格的塗鴉，可可愛愛的也行，奇奇怪怪的也行。

就跟人工一幀一幀畫上去的沒差。

這對目前市場上大多數的2D影片編輯軟件來說，還是比較難的。想要達成同等效果，一般還是得創作者真·一幀一幀畫上去。

怪費力氣的。

但VideoDoodles能靠在影片中重建3D場景，然後在其中放置平面畫布，來生成這種效果。

不少人表示，可以用它來裝飾影片，加加卡通效果or花字，然後進一步加工成meme/表情包。

搞笑影片也安排，在路上了！

想加什麼手繪效果就加什麼

VideoDoodles是醬嬸宣稱自己的效果的：

在影片中輕鬆、任意地插入手繪動畫，還是和影片內容無縫融合的那種。

真的嗎？一起來看看。

和給鴨鴨加胳膊加手一樣，VideoDoodles可以給任意物種加上四肢。

火烈鳥可以端著自己搖晃的紅酒杯，悠閑地在水裡泡jio。

小火車從遠處駛來，揮舞著雙手，xiu的從鏡頭裡開過去了。

當然，想要加一個四肢健全的動物在影片片段里，也是沒問題的。

Be like這個肩膀上的小鬆鼠：

可以看到，不管這位女士怎麼步行前進，小鬆鼠都老老實實呆在她肩膀上。

除了肢體動作，也可以用VideoDoodles來給影片片段加綜藝後期的花字。

靜態文字：

動來動去的文字：

都有不錯的生成效果。

以及，蹭一個剛結束的奧運會的餘熱，VideoDoodles可以給各種各樣的大幅度運動加手繪。

或是箭頭指向：

或是超人卡通特效：

咋實現的？

給影片內容加上手繪動畫，現在的慣常做法，是把影片本身作為底層，然後利用人工逐幀繪製2D動畫效果。

這樣做效率相對較低，而且需要保證手繪動畫效果要跟蹤動態、解決透視變形和適配遮擋物。

能搞掂，但費人費時間。

那麼，VideoDoodles是如何處理動態物體的跟蹤，還有動畫同步的呢?

它提供了一簡單的界面來幫助大家完成影片塗鴉——「簡單」，意味著老手和小白都能輕鬆畫起來。

而項目背後，是利用3D場景重建技術，實現塗鴉自然融入影片場景，包括追蹤、透視變形和遮擋等複雜視覺效果。

具體而言，VideoDoodles先把影片內容進行3D重建，而後在影片中放置平面畫布，這些畫布在3D場景中被跟蹤，然後逐幀添加手繪動畫。

通過自定義算追蹤算法，VideoDoodles鎖定畫布對應的影片場景中的物體，完成畫布跟隨物體運動進行移動和旋轉。

在VideoDoodles的用戶交互界面中，用戶可以通過關鍵幀位置和方向，在2D圖像空間的UI中精細控制畫布。

而系統則是通過跟蹤影片中，移動對象的運動來精心插入關鍵幀。

簡而言之，VideoDoodles是根據關鍵幀表達的用戶意圖，利用自有算法解決被遮擋、透視變換，在影片的任意幀渲染場景感知畫布，並使畫布緊緊跟隨移動的物體。

而且關鍵幀可以有任意數量的位置、方向。

如下面這張圖，VideoDoodles就是通過第一幀塗紅部分處的方向&位置，和最後一幀塗綠的位置，從而在整個影片中連貫地渲染相應的畫布。

具體操作中，流程大致是這樣的：

最後介紹一下：

VideoDoodles這項研究，由Adobe研究院，蔚藍海岸大學，以及戴亞夫特理工大學的研究人員共同完成。

研發團隊負責人表示：

我們的目標是簡化「影片塗鴉」的創作過程。

這種新興的混合媒介藝術形式結合了影片內容和手繪動畫，可以用於娛樂或教育目的。

有了VideoDoodles，希望更多人能夠輕鬆實現「將想像力注入現實世界」。

參考鏈接：

[1]https://em-yu.github.io/research/videodoodles/

[2]https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf