电影AI修复,让重温经典有了新的可能 (2)

电影AI修复,让重温经典有了新的可能

高动态范围

高动态范围简称HDR,标准动态范围简称SDR。通俗讲,在SDR的基础上,HDR能做到让画面亮的地方更亮,暗的地方更暗;色彩的范围可以由BT709增加到BT2020;并且色彩的变化也会更加平滑。

电影AI修复,让重温经典有了新的可能

广色域

广色域,可以理解为单独对颜色的范围进行调整,由原来的709BT提升到2020BT。

总之,视频增强主要是在以上四个方面增强效果,解决的是因显示硬件升级,使得先前采集、制作的视频无法最优匹配的问题。

二、电影修复的三大挑战

目前要自动修复老电影,并非易事,面临着三大挑战:数据、算法、评价。

1.数据挑战:盲修复任务的泛化能力提升

电影的失真往往包含了上述多个问题,也就是混合失真。盲修复,就是在修复之前,并不清楚视频中有哪些问题,用的是泛化的算法,面临难题是:如何提升泛化算法的自适应性来应对多种修复场景;如何利用少量对比的数据,提升学习效果。

电影AI修复,让重温经典有了新的可能

混合失真

电影AI修复,让重温经典有了新的可能

强度不一失真

2.算法挑战:如何同时让图像各个方面质量得到提升

与失真的情况一样,视频增强在实际应用中,往往是多任务组合,如将1080p 30fps SDR提升为4K 60fps HDR视频。即同时需要将图像分辨率由1080变成4000,将每秒的帧数由30提升到60,将标准动态范围转为高动态范围。说人话就是让视频的图像像素更高、光线更清晰、色彩更饱满、颜色过度更顺滑、运动画面显示更流畅。这就要求多任务之间的优化需要联合增强。

3.评价挑战:针对生成图像的质量评价

传统的评价算法主要有PSNR,SSIM,VMAF,然而表现并不好。基于深度学习的修复增强算法,输出信号特征与原图差异巨大。举个例子:图片Reference经过一定处理以后,如果用传统的评价算法,得出的是Patch0,而我们主观评价是Patch1. 说明传统评价算法与主观评价算法不太一致,这就需要新的评价算法。

电影AI修复,让重温经典有了新的可能

三、华为云视频云如何修复电影

先来直观感受一下华为云视频云修复电影前后的对比,点击查看《黄飞鸿》修复片段

1.电影修复技术架构

为了使修复做到轻量化、低成本以及自适应,华为云视频云构建了一整套电影修复技术架构。该架构包括质量检测、算法调度以及主客观评价三个环节,具体如下:

电影AI修复,让重温经典有了新的可能

2.具体操作

混合失真修复

华为云视频云在处理失真问题时,将传统强度检测作为先验输入,即对可能存在的失真问题,先预判,然后输入AI算法中,再构建多任务混合失真修复模型,最后进行修复。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpdszd.html