高动态范围
高动态范围简称HDR,标准动态范围简称SDR。通俗讲,在SDR的基础上,HDR能做到让画面亮的地方更亮,暗的地方更暗;色彩的范围可以由BT709增加到BT2020;并且色彩的变化也会更加平滑。
广色域
广色域,可以理解为单独对颜色的范围进行调整,由原来的709BT提升到2020BT。
总之,视频增强主要是在以上四个方面增强效果,解决的是因显示硬件升级,使得先前采集、制作的视频无法最优匹配的问题。
二、电影修复的三大挑战目前要自动修复老电影,并非易事,面临着三大挑战:数据、算法、评价。
1.数据挑战:盲修复任务的泛化能力提升电影的失真往往包含了上述多个问题,也就是混合失真。盲修复,就是在修复之前,并不清楚视频中有哪些问题,用的是泛化的算法,面临难题是:如何提升泛化算法的自适应性来应对多种修复场景;如何利用少量对比的数据,提升学习效果。
混合失真
强度不一失真
2.算法挑战:如何同时让图像各个方面质量得到提升与失真的情况一样,视频增强在实际应用中,往往是多任务组合,如将1080p 30fps SDR提升为4K 60fps HDR视频。即同时需要将图像分辨率由1080变成4000,将每秒的帧数由30提升到60,将标准动态范围转为高动态范围。说人话就是让视频的图像像素更高、光线更清晰、色彩更饱满、颜色过度更顺滑、运动画面显示更流畅。这就要求多任务之间的优化需要联合增强。
3.评价挑战:针对生成图像的质量评价传统的评价算法主要有PSNR,SSIM,VMAF,然而表现并不好。基于深度学习的修复增强算法,输出信号特征与原图差异巨大。举个例子:图片Reference经过一定处理以后,如果用传统的评价算法,得出的是Patch0,而我们主观评价是Patch1. 说明传统评价算法与主观评价算法不太一致,这就需要新的评价算法。
三、华为云视频云如何修复电影先来直观感受一下华为云视频云修复电影前后的对比,点击查看《黄飞鸿》修复片段
1.电影修复技术架构为了使修复做到轻量化、低成本以及自适应,华为云视频云构建了一整套电影修复技术架构。该架构包括质量检测、算法调度以及主客观评价三个环节,具体如下:
2.具体操作混合失真修复
华为云视频云在处理失真问题时,将传统强度检测作为先验输入,即对可能存在的失真问题,先预判,然后输入AI算法中,再构建多任务混合失真修复模型,最后进行修复。