ECCV 2024｜有效提高盲影片去閃爍效果，美圖公司&國科大提出基於 STE 新方法 BlazeBVD

近年，短影片生態的賽道迅猛崛起，圍繞短影片而生的創作編輯工具在不斷湧現，美圖公司旗下專業手機影片編輯工具——Wink，憑藉獨創的影片畫質修復能力獨佔鼇頭，海內外用戶量持續攀升。

Wink畫質修復功能火爆的背後，是美圖在影片編輯應用需求加速釋放背景下，對用戶影片畫面模糊不清、噪點嚴重、畫質低等影片創作痛點的洞察，與此同時，也建立在美圖影像研究院（MT Lab）強有力的影片修復與影片增強技術支持下，目前已推出畫質修復-高清、畫質修復-超清、畫質修復-人像增強、解像度提升等功能。

日前，美圖影像研究院（MT Lab）聯合中國科學院大學更突破性地提出了基於STE的盲影片去閃爍(blind video deflickering, BVD)新方法BlazeBVD，用於處理光照閃爍退化未知的低質量影片，儘可能保持原影片內容和色彩的完整性，已被計算機視覺頂會ECCV 2024接收。

BlazeBVD針對的是影片閃爍場景，影片閃爍容易對時間一致性造成影響，而時間一致性是高質量影片輸出的必要條件，即使是微弱的影片閃爍也有可能嚴重影響觀看體驗。究其原因，一般是由拍攝環境不佳和拍攝設備的硬件限制所引起，而當圖像處理技術應用於影片幀時，這個問題往往進一步加劇。

此外，閃爍偽影和色彩失真問題在最近的影片生成任務中也經常出現，包括基於生成對抗網絡(GAN)和擴散模型(DM)的任務。因此在各種影片處理場景中，探索通過Blind Video Deflickering (BVD)來消除影片閃爍並保持影片內容的完整性至關重要。

BVD任務不受影片閃爍原因和閃爍程度的影響，具有廣泛的應用前景，目前對此類任務的關注，主要包括老電影修復、高速相機拍攝、色彩失真處理等與影片閃爍類型、閃爍程度無關的任務，以及僅需在單個閃爍影片上操作，而不需要影片閃爍類型、參考影片輸入等額外指導信息的任務。此外，BVD現主要集中在傳統濾波、強製時序一致性和地圖集等方法，所以儘管深度學習方法在BVD任務中取得了重大進展，但由於缺乏先驗知識，在應用層面上受到較大阻礙，BVD仍然面臨諸多挑戰。

1

BlazeBVD: 有效提高

盲影片去閃爍效果

受經典的閃爍去除方法尺度時間均衡(scale-time equalization, STE)的啟發，BlazeBVD引入了直方圖輔助解決方案。圖像直方圖被定義為像素值的分佈，它被廣泛應用於圖像處理，以調整圖像的亮度或對比度，給定任意影片，STE可以通過使用高斯濾波平滑直方圖，並使用直方圖均衡化校正每幀中的像素值，從而提高影片的視覺穩定性。雖然STE只對一些輕微的閃爍有效，但它驗證了：

(1)直方圖比像素值緊湊得多，可以很好地描繪光亮和閃爍信息。

(2)直方圖序列平滑後的影片在視覺上沒有明顯的閃爍。

因此，利用STE和直方圖的提示來提高盲影片去閃爍的質量和速度是可行的。

BlazeBVD通過對這些直方圖進行平滑處理，生成奇異幀集合、濾波光照圖和曝光掩碼圖，可以在光照波動和曝光過度或不足的情況下實現快速、穩定的紋理恢復。

與以往的深度學習方法相比，BlazeBVD首次細緻地利用直方圖來降低BVD任務的學習複雜度，簡化了學習影片數據的複雜性和資源消耗，其核心是利用STE的閃爍先驗，包括用於指導消除全局閃爍的濾波照明圖、用於識別閃爍幀索引的奇異幀集，以及用於識別局部受過曝或過暗影響的區域的曝光圖。

與此同時，利用閃爍先驗，BlazeBVD結合了一個全局閃爍去除模塊(GFRM)和一個局部閃爍去除模塊(LFRM)，有效地矯正了個別相鄰幀的全局照明和局部曝光紋理。此外，為了增強幀間的一致性，還集成了一個輕量級的時序網絡(TCM)，在不消耗大量時間的情況下提高了性能。

具體而言，BlazeBVD包括三個階段：

首先，引入STE對影片幀在光照空間下的直方圖序列進行校正，提取包括奇異幀集、濾波後的光照圖和曝光圖在內的閃爍先驗。

其次，由於濾波後的照明映射具有穩定的時間性能，它們將被用作包含2D網絡的全局閃爍去除模塊(GFRM)的提示條件，以指導影片幀的顏色校正。另一方面，局部閃爍去除模塊(LFRM)基於光流信息來恢復局部曝光圖標記的過曝或過暗區域。

最後，引入一個輕量級的時序網絡(TCM)來處理所有幀，其中設計了一個自適應掩模加權損失來提高影片一致性。

通過對合成影片、真實影片和生成影片的綜合實驗，展示了BlazeBVD優越的定性和定量結果，實現了比最先進的模型推理速度快10倍的模型推理速度。

2

實驗結果

大量的實驗表明，盲影片閃爍任務的通用方法——BlazeBVD，在合成數據集和真實數據集上優於先前的工作，並且消融實驗也驗證了BlazeBVD所設計模塊的有效性。

3

以影像科技助力生產力

該論文提出了一種用於盲影片閃爍任務的通用方法BlazeBVD，利用2D網絡修復受光照變化或局部曝光問題影響的低質量閃爍影片。

其核心是在照明空間的STE濾波器內預處理閃爍先驗；再利用這些先驗，結合全局閃爍去除模塊(GFRM)和局部閃爍去除模塊(LFRM)，對全局閃爍和局部曝光紋理進行校正；最後，利用輕量級的時序網(TCM)提高影片的相乾性和幀間一致性，此外在模型推理方面也實現了10倍的加速。

關於MTLab

美圖影像研究院（MT Lab）成立於2010年，是美圖公司旗下專注於計算機視覺、深度學習、計算機圖形學、圖像處理等人工智能領域前沿科技的核心研發團隊，連年斬獲CVPR、ECCV、ICCV、ISIC等多項國際頂級賽事冠軍，在人工智能國際頂會&頂刊已累計發表50篇學術論文，為美圖旗下全系軟硬件產品及美圖奇想大模型（MiracleVision）提供技術支持，同時面向影像行業內多個垂直賽道提供針對性SaaS服務，覆蓋影像、影片、設計等領域，用技術服務億級用戶。