AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
近年，短視頻生態的賽道迅猛崛起，圍繞短視頻而生的創作編輯工具在專業手機影片編輯工具－Wink，以獨創的影片畫質修復能力獨佔鰲頭，海內外用戶量持續攀升。 Wink 畫質修復功能火爆的背後，是美圖在影片編輯應用需求加速釋放背景下，對用戶影片畫面模糊不清、雜訊嚴重、畫質低等影片創作痛點的洞察，與此同時，也建立在美圖影像研究院（MT Lab）強有力的影片修復與影片增強技術支援下，目前已推出畫質修復- 高清、畫質修復- 超清、畫質修復- 人像增強、分辨率提升等功能。 日前，美圖影像研究院（MT Lab）聯合中國科學院大學更突破性地提出了基於STE 的盲視頻去閃爍(blind video deflickering, BVD) 新方法BlazeBVD，用於處理光照閃爍退化未知的低品質視頻，盡可能保持原始視頻內容和色彩的完整性，已被計算機視覺頂會ECCV 2024 接收。 
- 论文链接：https://arxiv.org/pdf/2403.06243v1
BlazeBVD 针对的是视频闪烁场景，视频闪烁容易对时间一致性造成影响，而时间一致性是高质量视频输出的必要条件，即使是微弱的视频闪烁也有可能严重影响观看体验。究其原因，一般是由拍摄环境不佳和拍摄设备的硬件限制所引起，而当图像处理技术应用于视频帧时，这个问题往往进一步加剧。此外，闪烁伪影和色彩失真问题在最近的视频生成任务中也经常出现，包括基于生成对抗网络 (GAN) 和扩散模型 (DM) 的任务。因此在各种视频处理场景中，探索通过 Blind Video Deflickering (BVD) 来消除视频闪烁并保持视频内容的完整性至关重要。BVD 任务不受视频闪烁原因和闪烁程度的影响，具有广泛的应用前景，目前对此类任务的关注，主要包括老电影修复、高速相机拍摄、色彩失真处理等与视频闪烁类型、闪烁程度无关的任务，以及仅需在单个闪烁视频上操作，而不需要视频闪烁类型、参考视频输入等额外指导信息的任务。此外，BVD 现主要集中在传统滤波、强制时序一致性和地图集等方法，所以尽管深度学习方法在 BVD 任务中取得了重大进展，但由于缺乏先验知识，在应用层面上受到较大阻碍，BVD 仍然面临诸多挑战。受经典的闪烁去除方法尺度时间均衡 (scale-time equalization, STE) 的启发，BlazeBVD 引入了直方图辅助解决方案。图像直方图被定义为像素值的分布，它被广泛应用于图像处理，以调整图像的亮度或对比度，给定任意视频，STE 可以通过使用高斯滤波平滑直方图，并使用直方图均衡化校正每帧中的像素值，从而提高视频的视觉稳定性。虽然 STE 只对一些轻微的闪烁有效，但它验证了：
- 直方图比像素值紧凑得多，可以很好地描绘光亮和闪烁信息。
因此，利用 STE 和直方图的提示来提高盲视频去闪烁的质量和速度是可行的。BlazeBVD 通过对这些直方图进行平滑处理，生成奇异帧集合、滤波光照图和曝光掩码图，可以在光照波动和曝光过度或不足的情况下实现快速、稳定的纹理恢复。与以往的深度学习方法相比，BlazeBVD 首次细致地利用直方图来降低 BVD 任务的学习复杂度，简化了学习视频数据的复杂性和资源消耗，其核心是利用 STE 的闪烁先验，包括用于指导消除全局闪烁的滤波照明图、用于识别闪烁帧索引的奇异帧集，以及用于识别局部受过曝或过暗影响的区域的曝光图。与此同时，利用闪烁先验，BlazeBVD 结合了一个全局闪烁去除模块 (GFRM) 和一个局部闪烁去除模块 (LFRM)，有效地矫正了个别相邻帧的全局照明和局部曝光纹理。此外，为了增强帧间的一致性，还集成了一个轻量级的时序网络 (TCM)，在不消耗大量时间的情况下提高了性能。
图 1：BlazeBVD 方法与已有方法在盲视频去闪烁任务上的结果对比
- 首先，引入 STE 对视频帧在光照空间下的直方图序列进行校正，提取包括奇异帧集、滤波后的光照图和曝光图在内的闪烁先验。
- 其次，由于滤波后的照明映射具有稳定的时间性能，它们将被用作包含 2D 网络的全局闪烁去除模块 (GFRM) 的提示条件，以指导视频帧的颜色校正。另一方面，局部闪烁去除模块 (LFRM) 基于光流信息来恢复局部曝光图标记的过曝或过暗区域。
- 最后，引入一个轻量级的时序网络 (TCM) 来处理所有帧，其中设计了一个自适应掩模加权损失来提高视频一致性。
通过对合成视频、真实视频和生成视频的综合实验，展示了 BlazeBVD 优越的定性和定量结果，实现了比最先进的模型推理速度快 10 倍的模型推理速度。 
大量的实验表明，盲视频闪烁任务的通用方法 ——BlazeBVD，在合成数据集和真实数据集上优于先前的工作，并且消融实验也验证了 BlazeBVD 所设计模块的有效性。
该论文提出了一种用于盲视频闪烁任务的通用方法 BlazeBVD，利用 2D 网络修复受光照变化或局部曝光问题影响的低质量闪烁视频。其核心是在照明空间的 STE 滤波器内预处理闪烁先验；再利用这些先验，结合全局闪烁去除模块 (GFRM) 和局部闪烁去除模块 (LFRM)，对全局闪烁和局部曝光纹理进行校正；最后，利用轻量级的时序网 (TCM) 提高视频的相干性和帧间一致性，此外在模型推理方面也实现了 10 倍的加速。作为中国影像与设计领域的探索者，美图不断推出便捷高效的 AI 功能，为用户带来创新服务和体验，美图影像研究院（MT Lab）作为核心研发中枢，将持续迭代升级 AI 能力，为视频创作者提供全新的视频创作方式，打开更广阔的天地。以上是ECCV 2024｜盲影片去閃爍通用方法BlazeBVD來了，美圖&國科大聯合提出的詳細內容。更多資訊請關注PHP中文網其他相關文章！
