科技

視覺Token無縫對齊LLMs詞表！V²Flow：基於LLMs實現高保真自回歸圖像生成

04月03日 10:13 新浪網 tech-auto-hilite

V²Flow團隊發自凹非寺

量子位 | 公眾號 QbitAI

視覺Token可以與LLMs詞表無縫對齊了！

V²Flow，基於LLMs可以實現高保真自回歸圖像生成。

隨著ChatGPT掀起自回歸建模革命後，近年來研究者們開始探索自回歸建模在視覺生成任務的應用，將視覺和文本數據統一在「next-token prediction」框架下。

實現自回歸圖像生成的關鍵是設計向量化(Vector-Quantization)的視覺Tokenizer，將視覺內容離散化成類似於大語言模型詞表的離散Token。

現有方法雖取得進展，卻始終面臨兩大桎梏：

1、傳統視覺tokenizer生成的離散表徵與LLM詞表存在顯著的分佈偏差。

2、維度詛咒：圖像的二維結構迫使大語言模型以逐行方式預測視覺token，與一維文本的連貫語義預測存在本質衝突。

結構性與特徵分佈性的雙重割裂，暴露了當前自回歸視覺生成的重大缺陷：缺乏能夠既保證高保真圖像重建，又能與預訓練LLMs詞彙表在結構上和特徵分佈上統一的視覺tokenizer。解決這一問題對於實現有效的多模態自回歸建模和增強的指令遵循能力至關重要。

因此，一個核心問題是：

能否設計一種視覺tokenizer，使生成的離散視覺token在保證高質量視覺重建的同時，與預訓練LLMs詞彙表實現無縫融合？

統一視覺Token與大語言模型詞表

最新開源的V²Flow tokenizer，首次實現了將視覺內容直接嵌入現有大語言模型的詞彙空間，在保證高質量視覺重建的同時從根本上解決模態對齊問題。總體而言，V²Flow主要包括三點核心貢獻：

視覺詞彙重采樣器。

如圖1(a) ，將圖像壓縮成緊湊的一維離散token序列，每個token被表示為大語言模型（例如Qwen、LLaMA系列）詞彙空間上的軟類別分佈。這一設計使得視覺tokens可以無縫地嵌入現有LLM的詞彙序列中。換言之，圖像信息被直接翻譯成LLM「聽得懂」的語言，實現了視覺與語言模態的對齊。

在圖1(b)中，經由重采樣器處理後，視覺tokens的潛在分佈與大型語言模型（LLM）的詞彙表高度一致。這種在結構和潛在分佈上的高度兼容性，能夠降低視覺tokens直接融入已有LLM的複雜性。

△ 圖 1 視覺詞彙重采樣器的核心設計。

掩碼自回歸流匹配編碼器。

為了實現離散化視覺token的高保真視覺重建，V²Flow提出了掩碼自回歸流匹配解碼器。該解碼器採用掩碼Transformer編碼-解碼結構，為視覺tokens補充豐富的上下文信息。增強後的視覺tokens用於條件化一個專門設計的速度場模型，從標準正態先驗分佈中重建出連續的視覺特徵。在流匹配采樣階段，該解碼器採用類似MA的方式，以「next-set prediction」的方式逐步完成視覺重建。

相比於近期提出的僅依賴掩碼編碼器-解碼器結構的TiTok，V2Flow自回歸采樣的優勢是能夠在更少的視覺token數量下實現更高的重建質量，有效提高了壓縮效率。