Meta 公司發佈 Imagine Yourself：無需為特定對象微調的個性化圖像生成 AI 模型

IT之家 8 月 23 日消息，從社交媒體到虛擬現實，個性化圖像生成因其在各種應用中的潛力而日益受到關注。傳統方法通常需要針對每位用戶進行大量調整，從而限制了效率和可擴展性，為此 Meta 公司創新提出了「Imagine Yourself」 AI 模型。

傳統個性化圖像生成方法挑戰

目前的個性化圖像生成方法通常依賴於為每個用戶調整模型，這種方法效率低下，而且缺乏通用性。雖然較新的方法試圖在不進行調整的情況下實現個性化，但它們往往過度擬合，導致複製黏貼效應。

Imagine Yourself 創新

Imagine Yourself 模型不需要針對特定用戶微調，通過單一模式能夠滿足不同用戶的需求。

該模型解決了現有方法的不足之處，如傾向於毫無變化地複製參考圖像，從而為更通用、更方便用戶的圖像生成流程鋪平了道路。

Imagine Yourself 在保存身份、視覺質量和及時對齊等關鍵領域表現出色，大大優於之前的模型。

該模型的主要組成部分包括：

• 生成合成配對數據以鼓勵多樣性；

• 整合了三個文本編碼器和一個可訓練視覺編碼器的完全並行注意力架構；

• 以及一個從粗到細的多階段微調過程

這些創新技術使該模型能夠生成高質量、多樣化的圖像，同時保持強大的身份保護和文本對齊功能。

Imagine Yourself 使用可訓練的 CLIP 補丁編碼器提取身份信息，並通過並行交叉注意模塊將其與文本提示整合在一起，準確保存身份信息並對複雜的提示做出反應。

該模型使用低階適配器（LoRA）僅對架構的特定部分進行微調，從而保持較高的視覺質量。

Imagine Yourself 的一個突出功能是生成合成配對（SynPairs）數據。通過創建包含表情、姿勢和光照變化的高質量配對數據，該模型可以更有效地學習並產生多樣化的輸出結果。

值得注意的是，在處理複雜的提示詞方面，與最先進的模型相比，它在文本對齊方面實現了 +27.8% 的顯著改進。

研究人員使用一組 51 種不同身份和 65 個提示對 Imagine Yourself  進行了定量評估，生成了 3315 幅圖像供人類評估。

該模型與最先進的（SOTA）adapter-based 模型和 control-based 模型進行了比對，重點關注視覺吸引力、身份保持和提示對齊等指標。

人工註釋根據身份相似性、及時對齊和視覺吸引力對生成的圖像進行評分。與 adapter-based 模型相比，Imagine Yourself 在提示對齊方面有了 45.1% 的顯著提高，與基於控制的模型相比有了 30.8% 的提高，再次證明了它的優越性。

Imagine Yourself 模型是個性化圖像生成領域的一大進步。該模型無需針對特定對象進行調整，並引入了合成配對數據生成和並行注意力架構等創新組件，從而解決了以往方法所面臨的關鍵挑戰。

IT之家附上參考地址