Captions和字節「先後上新」，AI影片的對口型時代結束了

3 月 12 日，Captions 更新了 mirage 功能，核心是讓 AI 生成影片廣告的「效果升級」。

我們之前測過 AI 生成影片廣告產品，生成的廣告主要分為「有人」和「無人」版本。

前者即有人解說產品，給消費者種草，這裏 AI 雖然也發揮了「生成」的作用，但主要作用還是在「對口型」環節。路徑大概是，用戶上傳一段說話影片，生成 Avatar，而後 AI 再基於 Avatar 生成廣告影片，其實就是 [上傳影片] + 對口型。

也就是說，如果想真正實現種草，必須要有多個 Avatar，或者針對不同的目的、錄製不一樣的影片。否則，不論介紹什麼產品，都是一個樣子，只有腳本和聲音在變，可用範圍有限。

這次更新的賣點是「充滿活力」的高轉化廣告，主要是完善了影片人物的肢體動作和微表情，Captions 表示，實現該效果的基礎模型叫做 Mirage，是專門為生成「類 UGC」內容研發的。用戶輸入腳本或者音頻文件，然後指定 Avatar 的相貌、背景、著裝、甚至情緒。也就是同一個 Avatar，在介紹不同的產品時，可以穿不同的衣服、有不同的背景、表達不同的情緒。像是有了自己的專屬代言。

大概在 1 個月前，也就是 2 月初，字節發佈了 Omnihuman-1 模型，支持照片+音頻，生成支持微表情、全身動作的口型同步影片，基本上和 Mirage 針對的是相同的應用場景。隨後即夢 AI 在中下旬開啟功能內測，最近兩天在即夢 AI 已經對所有用戶開放，為數字人-對口型-大師模式。剪映也有數字人板塊，目前還僅有普通和靈動模式的。

字節和 Captions 先後上線同類功能，標誌著 AI 生成口播影片（taking video），對口型的時代宣告結束。

Captions 背景介紹：

Captions 2020 年年底上線 iOS 端，作字幕生成起家，2024 年完成 C 輪融資，當時估值 5 億美元。主要功能板塊包括：AI 口播的基礎剪輯功能+長影片縮短影片+AI 生成影片廣告+AIAvatar，融合市場上熱門的 AI 影片剪輯功能。不久前 Capcut 因 TikTok 風波被封禁時，Captions 將自己作為替代方案加以宣傳。近一年公司發展迅猛，在 2024 年上線 web 端後，現在月訪問量已經快速增長至 220w 左右，但 App 端數據近半年有所滑落，MAU 跌落至百萬以下，月流水也從百萬美元跌落至 90 萬左右。具體原因我們之前也有分析，與其轉型後的定位更適配 PC 端有關。

本文來自微信公眾號「白鯨出海」（ID：baijingapp），作者：智婷，36氪經授權發佈。