2024智能傳媒技術發展論壇丨張俊林：業界正聚焦大一統多模態大模型的構建

11月30日，由中國人工智能學會主辦，CAAI智能傳媒專委會、新浪新聞、中國傳媒大學數據科學與智能媒體學院、中國傳媒大學海南國際學院承辦的2024智能傳媒技術發展論壇落下帷幕。微博首席科學家、新技術研發負責人、中國中文信息學會理事張俊林出席論壇，分享了多模態大模型技術的最新進展以及微博在多模態大模型方面的創新應用。

近一年來，多模態大模型技術與產品蓬勃發展，在多個領域展現出巨大潛力，正在重新定義人工智能的能力邊界。張俊林表示，如果考慮其技術發展路線的話，可以看出多模態大模型在沿著特定路徑演進：在今年4月之前，主要存在多模態理解大模型與多模態生成大模型兩個分支，前者支持多模態輸入但以文本形式輸出，主要用於回答用戶關於多模態輸入內容的一些問題；後者可生成文本、圖像、影片等多種模態的內容。

「這兩個分支的技術路線各異，自今年4月起，業界重點聚焦於構建統一的多模態大模型，探索理解與生成功能融合的大一統模型架構。」張俊林表示，「業內對大一統多模態大模型的期望是，其能接納任意形態的輸入，如文字、圖片、影片、音頻乃至最新的觸覺與行為模態，並生成相應形態的內容，其發展方向是實現統一模型對各類輸入的兼容與多樣化輸出的生成。」

張俊林接著介紹了微博在多模態應用方面的創新實踐。「微博多模態應用的整體架構底層為算力平台，之上構建了微博知微大模型。」張俊林表示，微博歷經十餘年積累了豐富且具特色的數據，如實時熱點信息、豐富的事件脈絡以及網絡流行語與熱梗等，「我們結合通用數據和微博特色數據構建了知微大模型，並在此基礎上開發了多款不同場景的具體應用，例如評論機器人、劇綜虛擬角色生成、博主 AI 助手、MBTI 小行家等。」

在現場，張俊林對評論機器人和劇綜虛擬角色進行了具體介紹。「微博評論機器人具有雙重價值，既能提升社區活躍度，又能為用戶提供情緒價值。其技術架構的核心是多模態評論大模型以及支持評論機器人不同人設設置的人設大模型。」張俊林表示，「我們利用微博大量的優質內容及對應的高質量評論數據來微調這兩個模型。當用戶發出微博後，評論機器人會把評論問題拆解成若干子任務，分別理解文字與多張圖片的內容，再依據對應人設生成有特點的回覆，之後還可以精選高互動的機器人評論，作為新的訓練數據進一步改善模型效果，數據形成閉環，持續迭代優化評論機器人的效果。」

在劇綜虛擬角色方面，張俊林指出，角色扮演是大模型的熱門應用領域，如Character.ai的用戶平均使用時長超過40分鐘。「這類應用的用戶黏性非常強，微博在這方面的大模型應用重點佈局在影視劇綜的虛擬角色扮演上，旨在解決劇綜帳號活躍週期短的維護難題。」張俊林表示，其架構核心在於構建通用的角色大模型，並結合多模態RAG融入具體劇情與圖片信息，使大模型能以符合角色身份的方式與用戶互動，應用場景涵蓋虛擬角色帳號創建、用戶互動與評論區互動等。數據表明，引入多模態大模型後，評論互動率以及用戶交互輪次都有明顯提升，彰顯了多模態大模型在實際場景中的巨大應用價值。