美图国科大新算法，视频修复提速十倍，轻松应对过曝变色，逐帧优化不在话下。
编辑日期：2024年07月22日
惊喜来袭！家人们，告别视频闪烁（如突现白屏）不再是梦，创新技术闪亮登场！
回忆一下，观赏经典影片或手持拍摄的视频时，画面偶尔跳动、色彩忽明忽暗，那略显尴尬的瞬间。但现在，美图影像研究院、中国科学院大学与四川大学联合研发的新算法，将彻底解决这一难题！
这款名为“BlazeBVD”的神奇算法，能够自动抹去视频中的闪烁瑕疵，其处理速度更是闪电般迅猛，据官方数据，比传统方法快上十倍不止。
更令人拍案叫绝的是，BlazeBVD无需预知视频闪烁的具体样式或严重程度，完全“盲操作”，适用于各式各样的视频素材。
这意味着，无论拍摄环境光线如何变化，或是相机硬件不尽人意，你都能轻松应对，不再焦虑。[doge]
好消息是，这项研究成果已获得计算机视觉领域顶级会议ECCV 2024的认可与收录。
若你兴趣盎然，让我们一同深入了解吧！
BlazeBVD的设计灵感源自经典的STE（Scale-Time Equalization，尺度时间均衡）闪烁消除法，巧妙地融入了直方图辅助策略。
直方图，作为像素值分布的可视化呈现，在图像处理中扮演着重要角色，用于优化图像的明暗对比。
不妨将其想象成一份详尽的统计报告，揭示出图片中各亮度级别的像素数量。
△ Claude 3.5 Sonnet匠心绘制
STE算法通过对每帧画面的直方图进行分析，并采用高斯滤波技术对其进行平滑处理，初步修正直方图分布异常的图像，从而实现画面稳定，显著降低闪烁现象。
尽管STE技术仅能应对较为温和的闪烁问题，但它的确证实了结合STE与直方图指导，以提升盲视频闪烁抑制的效能与品质的可行性。BlazeBVD为此精心设计了三步走的战略。
正如医生诊断病情，BlazeBVD首先会对视频的每一帧进行细致的分析，运用STE技术校正其在光照空间下的直方图序列。随后，它从这些优化后的帧中提炼关键数据，例如闪烁最严重的帧集合、需调整的光照区域，以及过曝或欠曝的曝光图。
进入修复阶段，BlazeBVD双管齐下。一方面，通过全局闪烁去除模块（GFRM），依据先前提取的光照图调整整体视频的光照条件，确保各帧色彩与亮度自然和谐。另一方面，针对曝光异常的局部区域，采用局部闪烁去除模块（LFRM），借助光流信息修复细节，使画面更显真实。
修复完成后，BlazeBVD进入精细化调优环节，引入轻量级时序网络（TCM），犹如视频的“化妆师”，确保帧与帧之间视觉过渡平滑无痕。为了增强视频的整体连贯性，BlazeBVD还设计了一套独特的评价机制——自适应掩模加权损失，为每帧画面打分，保证视觉上的统一，让视频呈现流畅自然之感。
历经上述“诊疗”过程，BlazeBVD终将展现出其卓越的效果。那么，BlazeBVD的实际表现又将如何呢？让我们拭目以待。
审视BlazeBVD与现有技术在盲视频闪烁抑制任务中的成效对比，如图所示：
其中，Deflicker代表当前方案，GT（即Ground Truth）象征完美无瑕的无闪烁视频，而KL散度则衡量处理后视频与理想状态间的差距，其值愈高，偏离愈显著。
显而易见，BlazeBVD卓越地复原了光照分布，同时有效规避色彩畸变及伪像（以第二列男士手臂为例）。
深入对比基准方案，量化分析如下：
BlazeBVD在PSNR（峰值信噪比，值越高，画质越佳）及SSIM（结构相似性，逼近1，质量更优）指标上领先，同时Ewarp（值越小，流畅性越强）表现更胜一筹。
简言之，BlazeBVD全面超越传统方法。
直观展示上述优势，BlazeBVD与竞品对比图如下：
消融实验证明，BlazeBVD各组件效能显著：
综上所述，通过合成、真实与生成视频的全面测试，BlazeBVD彰显出卓越的视觉与数据表现，速度更较顶级模型快十倍。
最新研究成果已公之于众，欢迎深入探索。详情参阅：https://arxiv.org/html/2403.06243v1
美图自主研发大模型3.0震撼发布
国产大模型应用场景加速拓展
聚焦专业领域，拒绝泛而不精
伴随AI大模型演进，AI应用将历经点状突破、线性增长、全面覆盖三阶段发展。
深谙美学的视觉大模型，引领潮流。
大家在看
