ECCV 2024｜盲影片去閃爍通用方法BlazeBVD來了，美圖&國科大聯合提出

AIxiv專欄是機器之心發佈學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯繫報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近年，短影片生態的賽道迅猛崛起，圍繞短影片而生的創作編輯工具在不斷湧現，美圖公司旗下專業手機影片編輯工具 ——Wink，憑藉獨創的影片畫質修復能力獨佔鼇頭，海內外用戶量持續攀升。

Wink 畫質修復功能火爆的背後，是美圖在影片編輯應用需求加速釋放背景下，對用戶影片畫面模糊不清、噪點嚴重、畫質低等影片創作痛點的洞察，與此同時，也建立在美圖影像研究院（MT Lab）強有力的影片修復與影片增強技術支持下，目前已推出畫質修復 – 高清、畫質修復 – 超清、畫質修復 – 人像增強、解像度提升等功能。

日前，美圖影像研究院（MT Lab）聯合中國科學院大學更突破性地提出了基於 STE 的盲影片去閃爍 (blind video deflickering, BVD) 新方法 BlazeBVD，用於處理光照閃爍退化未知的低質量影片，儘可能保持原影片內容和色彩的完整性，已被計算機視覺頂會 ECCV 2024 接收。

• 論文鏈接：https://arxiv.org/pdf/2403.06243v1

BlazeBVD 針對的是影片閃爍場景，影片閃爍容易對時間一致性造成影響，而時間一致性是高質量影片輸出的必要條件，即使是微弱的影片閃爍也有可能嚴重影響觀看體驗。究其原因，一般是由拍攝環境不佳和拍攝設備的硬件限制所引起，而當圖像處理技術應用於影片幀時，這個問題往往進一步加劇。此外，閃爍偽影和色彩失真問題在最近的影片生成任務中也經常出現，包括基於生成對抗網絡 (GAN) 和擴散模型 (DM) 的任務。因此在各種影片處理場景中，探索通過 Blind Video Deflickering (BVD) 來消除影片閃爍並保持影片內容的完整性至關重要。

BVD 任務不受影片閃爍原因和閃爍程度的影響，具有廣泛的應用前景，目前對此類任務的關注，主要包括老電影修復、高速相機拍攝、色彩失真處理等與影片閃爍類型、閃爍程度無關的任務，以及僅需在單個閃爍影片上操作，而不需要影片閃爍類型、參考影片輸入等額外指導信息的任務。此外，BVD 現主要集中在傳統濾波、強製時序一致性和地圖集等方法，所以儘管深度學習方法在 BVD 任務中取得了重大進展，但由於缺乏先驗知識，在應用層面上受到較大阻礙，BVD 仍然面臨諸多挑戰。

BlazeBVD: 有效提高盲影片去閃爍效果

受經典的閃爍去除方法尺度時間均衡 (scale-time equalization, STE) 的啟發，BlazeBVD 引入了直方圖輔助解決方案。圖像直方圖被定義為像素值的分佈，它被廣泛應用於圖像處理，以調整圖像的亮度或對比度，給定任意影片，STE 可以通過使用高斯濾波平滑直方圖，並使用直方圖均衡化校正每幀中的像素值，從而提高影片的視覺穩定性。雖然 STE 只對一些輕微的閃爍有效，但它驗證了：

直方圖比像素值緊湊得多，可以很好地描繪光亮和閃爍信息。

直方圖序列平滑後的影片在視覺上沒有明顯的閃爍。

因此，利用 STE 和直方圖的提示來提高盲影片去閃爍的質量和速度是可行的。

BlazeBVD 通過對這些直方圖進行平滑處理，生成奇異幀集合、濾波光照圖和曝光掩碼圖，可以在光照波動和曝光過度或不足的情況下實現快速、穩定的紋理恢復。與以往的深度學習方法相比，BlazeBVD 首次細緻地利用直方圖來降低 BVD 任務的學習複雜度，簡化了學習影片數據的複雜性和資源消耗，其核心是利用 STE 的閃爍先驗，包括用於指導消除全局閃爍的濾波照明圖、用於識別閃爍幀索引的奇異幀集，以及用於識別局部受過曝或過暗影響的區域的曝光圖。

與此同時，利用閃爍先驗，BlazeBVD 結合了一個全局閃爍去除模塊 (GFRM) 和一個局部閃爍去除模塊 (LFRM)，有效地矯正了個別相鄰幀的全局照明和局部曝光紋理。此外，為了增強幀間的一致性，還集成了一個輕量級的時序網絡 (TCM)，在不消耗大量時間的情況下提高了性能。

圖 1：BlazeBVD 方法與已有方法在盲影片去閃爍任務上的結果對比

具體而言，BlazeBVD 包括三個階段：

• 首先，引入 STE 對影片幀在光照空間下的直方圖序列進行校正，提取包括奇異幀集、濾波後的光照圖和曝光圖在內的閃爍先驗。

• 其次，由於濾波後的照明映射具有穩定的時間性能，它們將被用作包含 2D 網絡的全局閃爍去除模塊 (GFRM) 的提示條件，以指導影片幀的顏色校正。另一方面，局部閃爍去除模塊 (LFRM) 基於光流信息來恢復局部曝光圖標記的過曝或過暗區域。

• 最後，引入一個輕量級的時序網絡 (TCM) 來處理所有幀，其中設計了一個自適應掩模加權損失來提高影片一致性。

通過對合成影片、真實影片和生成影片的綜合實驗，展示了 BlazeBVD 優越的定性和定量結果，實現了比最先進的模型推理速度快 10 倍的模型推理速度。 

圖 2：BlazeBVD 的訓練和推理流程

實驗結果

大量的實驗表明，盲影片閃爍任務的通用方法 ——BlazeBVD，在合成數據集和真實數據集上優於先前的工作，並且消融實驗也驗證了 BlazeBVD 所設計模塊的有效性。

表 1：與基線方法的量化對比

圖 3：與基線方法的可視化對比

圖 4：消融實驗

以影像科技助力生產力

該論文提出了一種用於盲影片閃爍任務的通用方法 BlazeBVD，利用 2D 網絡修復受光照變化或局部曝光問題影響的低質量閃爍影片。其核心是在照明空間的 STE 濾波器內預處理閃爍先驗；再利用這些先驗，結合全局閃爍去除模塊 (GFRM) 和局部閃爍去除模塊 (LFRM)，對全局閃爍和局部曝光紋理進行校正；最後，利用輕量級的時序網 (TCM) 提高影片的相乾性和幀間一致性，此外在模型推理方面也實現了 10 倍的加速。

作為中國影像與設計領域的探索者，美圖不斷推出便捷高效的 AI 功能，為用戶帶來創新服務和體驗，美圖影像研究院（MT Lab）作為核心研發中樞，將持續迭代升級 AI 能力，為影片創作者提供全新的影片創作方式，打開更廣闊的天地。