ICML 2025 Spotlight | 用傅里葉分解探討圖像對抗擾動，代碼已開源

本文作者分別來自中國科學院大學和中國科學院計算技術研究所。第一作者裴高政為中國科學院大學博士二年級學生，本工作共同通訊作者是中國科學院大學馬坷副教授和黃慶明教授。

對抗淨化旨在測試階段將對抗圖像還原為其原始的乾淨圖像。現有的基於擴散模型的對抗淨化策略試圖通過前向過程將對抗擾動淹沒在各向同性噪聲中，隨後通過逆向過程恢復乾淨圖像。然而，現有策略在時域（即像素空間）無法對幹淨像素與對抗擾動進行解耦，導致破壞對抗擾動的同時不可避免地損害原始乾淨圖像的語義信息。

因此，本文從時域轉向頻域進行研究。具體來說，本文利用傅里葉分解技術將圖像分解為幅度譜和相位譜，探討了對抗擾動的分佈特徵：結果表明，對抗擾動更傾向於破壞高頻幅度譜和相位譜。基於這一實驗觀察，本文提出在擴散模型的逆向過程中注入原始樣本的低頻信息作為先驗，以引導乾淨樣本的生成。這種方法不僅能夠有效去除對抗擾動，同時極大地保留了原始圖像的語義內容和結構信息，使得淨化後的圖像儘可能保持與乾淨樣本的語義相似性。

本工作對應的論文和代碼均已開源。

論文題目：Diffusion-based Adversarial Purification from the Perspective of the Frequency Domain
論文鏈接：https://arxiv.org/pdf/2505.01267
代碼鏈接：https://github.com/GaozhengPei/FreqPure

研究背景

在計算機視覺領域，對抗樣本的出現對模型的安全性和魯棒性構成了重大挑戰。對抗樣本是通過對正常圖像施加微小擾動生成的，這些擾動通常難以被人眼察覺，但卻能顯著降低深度學習模型的性能。為瞭解決這一問題，研究者們提出了多種對抗淨化（Adversarial Purification）技術，旨在將對抗樣本恢復為原始的乾淨圖像。

現有的對抗淨化方法主要分為兩類：基於訓練的方法和基於擴散模型的方法。基於訓練的方法需要在訓練階段使用對抗樣本進行訓練，以提高模型的魯棒性，但這通常需要大量的訓練數據和時間。相比之下，基於擴散模型的淨化方法不依賴於訓練數據，具有更強的泛化能力且無需訓練過程，其基本策略是通過向圖像添加噪聲並在反向過程中恢復乾淨圖像，從而消除對抗樣本中的對抗擾動。

對抗淨化具有重要意義，尤其是在深度學習被廣泛應用於安全關鍵領域（如自動駕駛、金融分析和醫療影像等）時，確保模型的安全性顯得尤為重要。對抗淨化方法能夠降低對抗攻擊對系統造成的潛在威脅，從而提升應用系統的整體安全性和可靠性。

動機和理論分析

圖 1：圖像被分解為幅度譜（左）和相位譜（右），並分別計算對抗圖像與原始圖像之間的差異。

對抗淨化成功的關鍵是在消除對抗擾動的同時儘可能的保留原始圖像的語義信息，然而當前通過加入噪聲將對抗擾動淹沒在各向同性噪聲中的策略會過度的破壞原始圖像的語義信息，導致最後淨化的圖像和原始圖像之間的語義信息有差距。而通過對抗樣本引導的逆向過程可以儘可能少的損失語義信息，然而也會引入對抗擾動信息，導致淨化的圖像無法儘可能的去除圖片上的對抗擾動信息。為解決上述存在的矛盾，我們希望將對抗擾動和圖像本身的語義信息進行解耦，在擴散模型逆向過程中用乾淨的語義信息作為引導，就可以實現去除對抗擾動的同時，又可以保持和原始圖像的語義相似程度。

為了將對抗擾動和乾淨的圖像語義信息解耦開來，我們選擇快速傅里葉變換技術，將圖像分解為幅度譜和相位譜，通過計算對抗樣本的幅度譜和相位譜和原始乾淨樣本的幅度譜和相位譜之間的差異，我們可以繪製從低頻到高頻幅度譜和相位譜之間的差異（圖 1），可以觀察到對抗擾動更傾向於破壞圖像的高頻信息，而低頻信息對對抗擾動更加魯棒。