ACM Computing Surveys | 港大等基於可靠性視角的深度偽造檢測綜述，覆蓋主流基準庫、模型

AIxiv專欄是機器之心發佈學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯繫報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者包括香港大學的王天一、Kam Pui Chow，湖南大學的廖鑫 (共同通訊)，圭爾夫大學的林曉東和齊魯工業大學 (山東省科學院) 的王英龍 (第一通訊)。

基於深度神經網絡對人臉圖像進行編輯和篡改，深度偽造的發展為人們的生活帶來了便利，但對其錯誤的應用也同時危害著人們的隱私和信息安全。

近年來，針對深度偽造對人們隱私安全造成的危害，雖然領域內的研究者們提出了基於不同角度和不同算法的檢測手段，但是在實際的深度偽造相關案例中，鮮有檢測模型被成功應用於司法判決，並真正做到保障人們的隱私安全。

近日，一篇基於可靠性視角的深度偽造檢測綜述收錄在 ACM Computing Surveys (IF=23.8)。文章作者分析，在當前深度偽造領域內的研究中，尚缺乏一條完整的橋樑，可以將成熟的深度偽造檢測模型與其在實際案例中的潛在應用聯繫起來。

• 論文標題：Deepfake Detection: A Comprehensive Survey from the Reliability Perspective

• arXiv 地址: https://arxiv.org/abs/2211.10881

本綜述由香港大學、齊魯工業大學、湖南大學、圭爾夫大學聯合發佈，從可靠性的角度全面回顧了當前領域內的常用深度偽造基準數據庫 (表 1) 和代表性檢測模型，並基於現有檢測模型的類型和優缺點，提出了三個值得領域內研究者們持續探索的話題和挑戰 (圖 1)：遷移性、可解釋性和魯棒性。

表 1: 依據質量、多樣性、難度等特點而劃分的三代深度偽造基準數據庫信息。

三大話題和挑戰

遷移性話題關注已完成訓練的深度偽造檢測模型是否能夠在未曾見過的數據和篡改算法上依然維持令人滿意的檢測準確率。

詳細來說，當一個深度偽造檢測器在被廣泛使用的 FaceForensics++ 數據集上完成訓練後，除了在 FaceForensics++ 的測試集上展現出色的檢測準確率，仍需要能夠在 cross-dataset 和 cross-manipulation 設定下，維持較為穩定的效果。此目標旨在避免針對持續迭代出現的新的偽造數據和偽造算法時無休止地增加模型訓練成本。

可解釋性話題側重於檢測模型在判斷真偽的同時能否額外提供令人信服的證據和通俗易懂的解釋。

詳細來說，當一個深度偽造檢測器判斷一張圖片的真偽時，通常只能提供對其真或假的判斷結論，以及在各個實驗數據集上測試時的檢測準確率。然而，對於需要依賴於檢測模型來保護個人隱私信息的非專業人士，能夠提供除準確率指標之外通俗易懂的額外證據 (例如，被標記的偽造區域定位或被可視化的偽造痕跡和噪聲) 是極其重要的。

魯棒性話題則基於已有的客觀模型檢測效果，著眼於實際生活場景，關注深度偽造素材在傳播中遭受主觀和客觀畫質損失後，是否依然可以被檢測器正確判斷。

詳細來說，深度偽造素材的危害隨著其在網絡中的持續性傳播而不斷增加，而在上傳、下載、轉載等傳播過程中，受不同平台對素材屬性的限制和協議要求，該素材將不可避免地遭受質量上的折損和降低。另一方面，當攻擊者 (即深度偽造素材的製造者) 已知領域內已有針對各類深度偽造算法的檢測手段時，其會刻意向偽造的素材內有針對性地添加能夠一定程度上擾亂深度偽造檢測器的噪聲。以上兩類情況，都需要依賴於深度偽造檢測模型的魯棒性，從而可以持續地在實際生活案例中發揮作用。

圖 1 : 關於三種話題和挑戰的闡述

評估與實驗

除了深入探討三個話題和挑戰的意義以及綜述性地總結領域內的相關工作之外，本文還著重提出了一個針對模型可靠性的評估方法 (圖 2)。

該方法受到司法鑒定中對 DNA 比對過程的啟發，通過模擬和構建真實世界中的深度偽造數據的總 population，引入統計學中隨機采樣的方法，科學且嚴謹地評估深度偽造檢測模型的可靠性，從而提供關於模型性能的統計學指標，以作為法庭審判的潛在證據和輔助證據。基於該指標，可得出在不同置信度條件下的模型檢測準確率結論。該可靠性評估方法的初步探索，旨在提供一條路線可以使眾多深度偽造檢測模型能夠在實際生活案例中真正發揮價值。

同時，該綜述通過進行大量實驗，在不同的樣本集大小、置信度、采樣次數等環境設定下，對為解決三種話題和挑戰的七個深度偽造檢測模型進行模型複現和可靠性分析。

圖 2: 深度偽造檢測模型可靠性分析算法。

此外，該綜述將實驗中的深度偽造檢測模型應用在受害者分別為明星、政客、普通人的實際深度偽造案例中的假影片進行鑒偽和分析，並針對檢測結果提供基於特定置信度條件下的模型檢測準確率結論 (圖 3)。

實驗結果表明，當前領域內的現存深度偽造檢測模型分別在遷移性、可解釋性、魯棒性話題方面各有建樹，但當令其兼顧兩個或三個話題和挑戰時，在模型效果上則展現出了顯著的權衡和取捨。

然而，通常來說，人們希望，一個可靠的深度偽造檢測模型應同時具備良好的遷移性、通俗易懂的可解釋性、穩定的魯棒性，以便能夠在實際生活中的深度偽造案例中保護和保障受害者的隱私安全。

因此，本綜述論文所總結的理念、發現、結論也為深度偽造檢測領域的研究者們提供了新的研究挑戰與研究方向。

圖 3: 深度偽造檢測模型在四個實際案例中的影片上的檢測結果以及其對應的 95% 置信度可靠性結論。

第一作者信息

王天一，本科畢業於美國華盛頓大學西雅圖分校，修習計算機科學和應用數學雙專業；博士畢業於香港大學，研究方向為多媒體取證；現為南洋理工大學在職博士後研究員。

引用信息

Tianyi Wang, Xin Liao, Kam Pui Chow, Xiaodong Lin, and Yinglong Wang. 2024. Deepfake Detection: A Comprehensive Survey from the Reliability Perspective. ACM Comput. Surv. 57, 3, Article 58 (March 2025), 35 pages. https://doi.org/10.1145/3699710