在線試玩 | 對齊、生成效果大增，文本驅動的風格轉換迎來進階版

AIxiv專欄是機器之心發佈學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯繫報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

論文的第一作者是來自西湖大學的研究人員雷明坤，指導老師為西湖大學通用人工智能（AGI）實驗室的負責人張馳助理教授。實驗室的研究方向聚焦於生成式人工智能和多模態機器學習。

文本驅動的風格遷移是圖像生成中的一個重要任務，旨在將參考圖像的風格與符合文本提示的內容融合在一起，生成最終的風格化圖片。近年來，隨著 Stable Diffusion 等文本到圖像生成模型的發展，這些技術使得在保留內容準確性的同時，實現出色的風格轉換成為可能。這項技術在數字繪畫、廣告和遊戲設計等領域具有重要的應用價值。

然而，以往的風格遷移算法會讓結果的風格化圖像過擬合到參考的風格圖像上；從而丟失文本控制能力（例如指定顏色）。

為瞭解決這一難題，西湖大學、複旦大學、南洋理工大學、香港科技大學（廣州）等機構的研究團隊聯合提出了無需額外訓練的改進方法，能夠與眾多已有方法進行結合。簡單來說，研究團隊優化了圖像和文本共同引導生成風格化圖像的時候，兩種條件如何融合的問題。同時也探討了關於風格化圖像穩定生成和風格歧義性的問題。

• 論文標題：StyleStudio: Text-Driven Style Transfer with Selective Control of Style Elements

• 論文鏈接：https://arxiv.org/abs/2412.08503

• 項目地址：https://stylestudio-official.github.io/ 

• Github 地址：https://github.com/Westlake-AGI-Lab/StyleStudio

問題背景

風格定義的模糊性

現在的風格遷移技術由於定義 「風格」 時固有的模糊性，仍然未能達到預期的效果。現在的方法主要在解決的問題是風格圖像中的內容元素泄漏進風格化圖像中，導致風格化圖像完全不遵循文本條件，即內容泄漏問題。然而，一個風格圖像中包含了多種元素，如色彩、紋理、光照和筆觸；所有這些元素都構成了圖像中的整體美學。

現有的方法通常會複製所有的這些元素，這可能會無意中導致過擬合，即生成的輸出過於模仿參考風格圖像的特點，這種對細節的過度複製不僅降低了生成圖像的美學靈活性，也限制了它適應不同風格或基於內容需求的能力。因此，理想的風格遷移方法應該允許更選擇性的風格調整，給予用戶強調或省略特定風格組件的靈活性，以實現平衡且有意圖的轉換。

另一個由過擬合引發的挑戰是在文本到圖像生成過程中保持文本對齊準確性困難，即便是在相當簡單的文本條件下，例如 「A