AI影片修復速度10倍提升,過曝變色也能逐幀搞掂|美圖國科大新算法
BlazeBVD團隊 投稿
量子位 | 公眾號 QbitAI
家人們,消除「影片閃爍」(比如畫面突然一白)有新招了!
回想一下,當你看一部老電影或者用手機拍攝的影片時,畫面偶爾會出現閃爍或顏色不一致等現象。
為了消除這些,來自美圖影像研究院、中國科學院大學,以及四川大學的研究人員提出了一種新算法。
![](http://n.sinaimg.cn/spider20240721/690/w1080h410/20240721/73c8-ebe687a1cad83c51b26dbeeb4e57cbf3.png)
新算法「BlazeBVD」可以自動消除影片中的閃爍,而且處理速度非常快,據稱比現有方法快10倍。
更妙的是!這種方法甚至無需事先知道影片閃爍的具體類型或程度。
換句話說,它是「盲」的,可以應用於各種不同的影片。
這下,即使拍攝環境光線變化,或者相機硬件跟不上也無需頭疼了。[doge]
目前相關論文已被計算機視覺頂會ECCV 2024接收。
感興趣的話,咱們接著康康~
![](http://n.sinaimg.cn/spider20240721/580/w732h648/20240721/3a1e-edf7c17d3baa3645de79cc1f4fa6a844.jpg)
BlazeBVD如何消除影片閃爍?
首先,受經典的STE(閃爍去除方法尺度時間均衡)啟發,BlazeBVD引入了直方圖輔助解決方案。
圖像直方圖被定義為像素值的分佈,它被廣泛應用於圖像處理,以調整圖像的亮度或對比度。
打個比方,圖像直方圖就像是一個統計表,它告訴我們在一張照片中,不同亮度的像素有多少。
![△ 圖片由Claude 3.5 Sonnet生成](http://n.sinaimg.cn/spider20240721/744/w1032h512/20240721/4caa-f4d57af59acf78a6dc81602721be491f.png)
而STE通過分析影片中每一幀的直方圖,然後用一種叫做高斯濾波的方法來平滑這些直方圖,先初步矯正直方圖分佈突變的圖像幀,能夠讓畫面看起來更加穩定,減少閃爍。
雖然STE只對一些輕微的閃爍有效,但它驗證了:
-
直方圖比原始的像素數據更簡潔,能夠更有效地捕捉到影片中的亮度變化和閃爍。
-
通過平滑直方圖,可以減少影片中的閃爍現象,讓影片看起來更穩定。
因此,利用STE和直方圖的提示來提高盲影片去閃爍的質量和速度是可行的。
具體而言,BlazeBVD包括三個階段。
![](http://n.sinaimg.cn/spider20240721/748/w1080h468/20240721/a611-6f11575cf1072752edf8afcaf30b2886.png)
BlazeBVD三階段詳解
就像醫生治病一樣,BlazeBVD會首先檢查影片的每一幀。
它引入了STE對影片幀在光照空間下的直方圖序列進行校正。
![](http://n.sinaimg.cn/spider20240721/653/w1080h373/20240721/1e7d-1bfdc7feed8532b931d66cf4ed857ed6.png)
然後從處理過的幀中提取出重要信息,比如哪些幀閃爍最明顯(奇異幀集)、哪些地方光線需要調整(濾波後的光照圖),以及哪些地方曝光過度或不足(曝光圖)。
接下來,BlazeBVD開始進行修復。
一方面,BlazeBVD使用一個叫做全局閃爍去除模塊(GFRM)的工具,利用之前提取的光照圖來調整整個影片的光線,確保每一幀的亮度和顏色看起來都很自然。
另一方面,對於一些特別需要關注的局部區域,比如曝光過度或不足的地方,BlazeBVD會使用局部閃爍去除模塊(LFRM)。這個模塊會利用光流信息(就像追蹤物體在影片中的運動)來修復這些區域的細節。
完成這一步,BlazeBVD最後進行完善工作。
它引入一個輕量級的時序網絡(TCM),這個網絡就像是影片的「美容師」,確保每一幀在視覺上都是平滑過渡的,沒有突兀的變化。
為了進一步提高影片的一致性,BlazeBVD設計了一種特殊的評分系統(自適應掩模加權損失)。這個系統會給每一幀打分,確保它們在視覺上的一致性,讓整個影片看起來更加流暢和自然。
至此,BlazeBVD完成了整個「診治」流程。
實驗結果
那麼,BlazeBVD究竟效果如何呢?
直接看已有方法與BlazeBVD在盲影片去閃爍任務上的結果對比:
![](http://n.sinaimg.cn/spider20240721/599/w1080h319/20240721/6969-9369ae991664bbaf3da362107f0df529.png)
其中Deflicker為已有方法,GT(Ground Truth)表示理想的無閃爍影片,而KL散度表示處理後的影片與理想無閃爍影片之間的差異。KL數值越大,差異越大。
可以看出,BlazeBVD能很好地恢復照明直方圖,同時避免出現顏色偽影和顏色失真(例如第二列男人的手臂)。
再進一步和基線方法進行量化對比:
![](http://n.sinaimg.cn/spider20240721/558/w1080h278/20240721/183d-d56251046613dd58b861833817f6c10c.png)
BlazeBVD在PSNR(峰值信噪比,數值越高表示影片質量越好)和SSIM(結構相似性指數,數值接近1表示影片質量越好)上得分較高,且在Ewarp(數值越低,影片越連貫一致)得分較低。
一句話,BlazeBVD超越了已有基線方法。
為了直觀展現這種差別,BlazeBVD與基線方法的可視化對比如下:
![](http://n.sinaimg.cn/spider20240721/359/w1080h879/20240721/4465-4dcd1b9773bc6b3868967f982ad06d45.png)
消融實驗也驗證了BlazeBVD所設計模塊的有效性:
![](http://n.sinaimg.cn/spider20240721/665/w1080h385/20240721/df41-4fe0c5c853541e6b6d7af1b0f1bb230c.png)
概括而言,通過對合成影片、真實影片和生成影片的綜合實驗,BlazeBVD展現了優越的定性和定量結果,並且比最先進的模型推理速度快10倍。
![](http://n.sinaimg.cn/spider20240721/39/w1080h559/20240721/ac6a-575bb6d90c5da476c9b86174416dfe67.png)
目前相關論文已公開,感興趣可以進一步瞭解。
論文:
https://arxiv.org/html/2403.06243v1