科技

GAN歸來：模型大幅簡化，訓練更穩定，逆襲擴散模型，AI社區瘋傳

01月11日 12:33 新浪網 tech-auto-hilite

機器之心報導

機器之心編輯部

GANs are so back!?

2025 年了，GAN 能否擊敗擴散模型？答案是 Yes！

本週五，AI 社區開始討論一種全新極簡主義 GAN（生成對抗網絡）。

現代版 GAN 基準論文成為了週五 HuggingFace 熱度最高的研究。該論文也入選了 NeurIPS 2024。

它並不像以往那樣走 tricks 路徑 —— 通過一場「現代化」改造，GAN 現在可以進行更長時間的訓練（與擴散模型的訓練步驟數相當），一旦 GAN 訓練時間足夠長，並且架構足夠強大，它們就可以勝過擴散模型，併成為更好、更快、更小的模型。

來自布朗大學、康奈爾大學的研究者們表示，通過引入一個新的損失函數，我們就可以解決以往 GAN 模式崩潰（collapse）和不穩定性的問題。

為了證明可行性，他們測試了 GAN 里流行的 StyleGAN2，通過新的理論進行最簡升級（修改後改名為「R3GAN」）。結果雖然模型變得更簡單了，但 R3GAN 在圖像生成和數據增強任務上性能還是超過了所有 GAN 模型和擴散模型。

新的方法給未來的研究奠定了一個更為整潔、可擴展的基礎。

論文鏈接：https://arxiv.org/abs/2501.05441
GitHub 鏈接：https://github.com/brownvc/R3GAN
HuggingFace：https://huggingface.co/spaces/multimodalart/R3GAN

有一種廣泛流傳的說法認為 GAN 很難訓練，並且文獻中的 GAN 架構充斥著大量的經驗性 tricks。但是作者團隊提供了反駁這一說法的證據，並以更有原則的方式建立了一個現代版 GAN 基線。

在該研究中，作者首先通過推導出一個行為良好的正則化相對 GAN 損失函數，解決了模式 dropping 和不收斂問題，而這些問題在以前經常是通過大量 ad-hoc tricks 來應對的。他們從數學層面分析了這一損失函數，並證明它具有局部收斂保證，這與大多數現有的相對損失函數不同。

其次，這個損失函數能夠拋棄所有的 ad-hoc tricks，並用現代版架構替代常見的 GAN 中所使用的過時的骨幹網絡。以 StyleGAN2 為例，他們展示了一個簡化過的現代版路線圖 ——R3GAN（Re-GAN）。儘管方法非常簡單，但它在 FFHQ、ImageNet、CIFAR 和 Stacked MNIST 數據集上卻超越了 StyleGAN2，並且在與最先進的 GAN 和擴散模型的比較中表現出色。

在生成式 AI 技術興起之前，GAN 是 AI 領域中的熱門研究方向，該方法能讓我們能夠在一次前向傳遞中生成高質量圖像。然而我們無法忽略的是，Goodfellow 等人構建的原始目標因其極小極大特性而極難優化，訓練的不穩定性一直對 GAN 的研究產生著負面影響。

與擴散模型等其他生成模型相比，GAN 的發展一直比較緩慢。考慮到一旦得到了表現良好的損失函數，我們就可以自由地設計現代 SOTA 主幹架構。在新工作中，作者剝離了 StyleGAN 的所有功能，找出那些必不可少的功能，然後從現代 ConvNets 和 transformer 中借用了架構設計，包括一系列 ResNet 設計、初始化、重采樣、分組卷積、no normalization 等，引出了一種比 StyleGAN 更簡單的設計。

該工作率先從數學上證明了 GAN 不需要通過改進的正則化損失來進行訓練。

提高訓練穩定性

該研究證明，通過將目標進展與正則化訓練損失結合起來，GAN 獲得了更高的訓練穩定性，能夠用現代骨幹網絡升級 GAN。

首先，該研究提出了一個新的目標，通過零中心梯度懲罰增強 RpGAN，提高穩定性。該研究從數學上證明，梯度懲罰 RpGAN 與正則化經典 GAN 享有相同的局部收斂保證，並且刪除正則化方案會導致不收斂。

在定義 GAN 的目標時，研究者需要應對兩個挑戰：穩定性和多樣性。為了在這兩方面同時取得進展，該研究將 stable 方法與基於理論的簡單正則化器結合起來。

傳統 GAN 被表述為判別器 D_ψ 和生成器 G_θ 之間的極小極大博弈：

在實際實現中，傳統 GAN 容易受到兩種常見故障場景的影響：模式 collapse/dropping 和不收斂。

該研究採用了一種略有不同的極小極大博弈 ——RpGAN，由 Jolicoeur-Martineau 等人提出，以解決模式 dropping 問題。

一般的 RpGAN 定義為：

然而，經驗表明，未正則化的 RpGAN 表現不佳。

為瞭解決 RpGAN 不收斂的問題，該研究探索梯度懲罰作為解決方案，因為事實證明，零中心梯度懲罰 (0-GP) 有助於經典 GAN 的收斂訓練。兩個最常用的 0-GP 是 R1 和 R2：

研究團隊認為實際的解決方案是在真實數據和虛假數據上對 D 進行正則化。此外，如 Fang et al.(2022) 所言，真實數據和虛假數據具有大致相同的梯度範數可能會減少判別器過擬合。

新基線的路線圖 — R3GAN

行為良好的 RpGAN + R1 + R2 損失函數緩解了 GAN 優化中的問題，同時根據近期的骨幹網絡進展，這使他們能夠構建一個極簡版基線 ——R3GAN。這不僅僅只是提出一種新方法，而是從 StyleGAN2 基線中繪製出一條路線圖。

這個模型（配置 A）包括一個類似於 VGG 的骨幹網絡（G），一個 ResNet（D），一些有助於基於風格生成的 tricks，以及許多作為修補弱骨幹網絡的 tricks。接著去除了 StyleGAN2 中所有非必要的特性（配置 B），並應用他們的損失函數（配置 C），逐步現代化網絡骨幹（配置 D-E）。