保障实时音视频服务体验,华为云原生媒体网络有7大秘籍 (7)

其次就是降噪,传统的噪声,比如像风扇、空调这种稳态的噪声,相对来说比较好抑制,而我们基于AI的降噪算法不仅能较好的处理平稳噪声,在应对例如键盘、鼠标敲击的声音或者是喝水、咳嗽这种突发的噪声的场景下,我们也可以快速的进行噪声抑制。

另外一个3A中比较重要的环节就是自动增益,在通话场景下,自动增益主要是通过基于对人声的识别来进行增益。这个时候,对人声的检测VAD是非常重要的,这一块我们也是通过AI的技术来提升了人声检测的精确度,改善自动增益的效果。

3.9 音频丢包恢复技术:降低丢包对音频体验的影响

保障实时音视频服务体验,华为云原生媒体网络有7大秘籍

另一个和视频技术有些差异的是音频的丢包恢复的技术,左边这个图也是一个比较经典的丢包恢复的技术地图,它主要分为两类,一类是基于主动的丢包恢复,一类是基于被动的丢包恢复。

主动丢包恢复技术主要包括常见的FEC、ARQ等。被动恢复主要有三种方法,插值法,插入法还有重新生成法。算法优化思路和视频一样,都是从研究人出发,视频是研究人眼到视觉特点,那么音频是研究人的发声机制,基频的信息一定程度反映了声带的振动频率情况。而包络的信息,则一定程度反映了嘴型的情况,基于这两个信息结合AI的声码器技术可以做到100毫秒左右的音频报文丢失的恢复水平。我们知道一个中文字的发声一般是150毫秒到200毫秒,传统的PLC基于信号的恢复方式,一般可以做到50ms音频信号的恢复,现在我们基于AI的方式是可以做到100ms音频信号的恢复。

3.10 案例1:华为畅连,全球首款全场景音视频通话产品

保障实时音视频服务体验,华为云原生媒体网络有7大秘籍


最后分享两个案例。我们的产品不仅要服务外部客户,也要对内支撑华为很多其他的产品服务。我一直开玩笑说,支持内部客户其实是更难的,而且比支持内部客户更难的是支持华为的内部客户,他们的要求是非常高的,现在我们支持了华为手机的畅连服务,畅连是全球首款全场景(除了支持手机,还会支持华为的大屏、华为的平板、华为的笔记本、手表、手环的通信)的实时音视频通话类产品,我们帮助畅连实现了在1Mbps码率条件下,提供高品质1080p30帧的通话效果。

3.11 案例2:网络研讨会:会议+直播融合体验,开大会更简单

保障实时音视频服务体验,华为云原生媒体网络有7大秘籍

比支持一个华为内部客户更难的是支持两个。我们支持的第二个内部客户就是华为云会议,华为云会议的网络研讨会的场景也是基于我们的实时音视频服务开发的,我们现在可以做到的单场网络研讨会同时支持三千方的观众,其中有一百方是互动的,在今年下半年我们的云会议产品会做到单场网络研讨会同时支持一万方的观众,五百方互动。

04总结

保障实时音视频服务体验,华为云原生媒体网络有7大秘籍

最后我对今天分享的内容做一个总结。首先,我们可以明显的看到视频业务正在驱动整个互联网技术发展,包括音视频编码/传输技术,以及边缘计算和边缘网络等技术。所以我们需要一个服务或者系统来弥补互联网基础设施(供给侧)和快速发展的视频业务(需求侧)之间的鸿沟。

第二点,今天的分享仅仅只是开始,随着实时音视频技术应用场景的增加,数据的驱动,会使得我们的云原生媒体网络架构和各类算法持续优化。

最后,希望华为云原生视频服务能够和大家一起,携手走进视频“新时代”。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zygsyp.html