空域增强:基于语义特征的视频超分
超分就是指通过媒体处理技术将分辨率低的图片变为分辨率更高的图片。超分实现的原理是:先利用了大量的高分辨率图像积累并进行学习,再对低分辨率的图像进行学习高分辨率图像的学习模型引入来进行恢复,最后得到图像的高频细节,获得更好的图像恢复效果,提高图像的识别能力和识别精度。
对大部分电影、电视剧,受众往往更关注人脸及字幕,所以这两者是重要的增强区域,且具有较强先验。华为云视频云从网络轻量化、稳定性、综合效果等角度出发,实现了一种基于语义的自适应超分算法。对比可参考下图:
时域增强:插帧
空域与时域是一个相对概念,如果把空域理解为影片当中的某一个画面,那么时域更关注的是画面之间的衔接关系。如果空域增强是对每个画面的增强,那么时域增强在视觉感知上,往往指影片画面与画面之间的衔接更顺滑与流畅。所以在视频增强过程中,插帧是强依赖于运动估计。这个估计准确度又会受遮挡、小物体大运动、重复纹理、运动模糊等场景的影响。
华为云视频云通过改进网络,结合传统方法,如参考时空域上相邻的运动向量对光流进行修正,如下:
对比度与饱和度增强
现有基于深度学习的对比度和饱和度增强算法,由于数据的不足,难以达到好的效果。华为云视频云通过寻找图像在亮度和色彩空间的统计规律,作为网络先验输入,能较好解决数据问题。
说了这么多,你一定想问,在哪里可以看到啊?
小编不卖关子了,请移步华为视频-电影-高清修复,欢迎对比提建议。
这个周末,让我们一起重温星爷的老电影,还有那些曾经的经典之作。
同样的片段,现在的你和曾经的你,心境是否一样?