小程序音视频功能的原理及应用

腾讯视频云是做什么的?腾讯视频云既不做数据库,也不做存储,也不做网络,我们只做音视频服务,也就是直播、点播、视频通话、这类面向B类客户的音视频PAAS业务。

今天主要是跟大家讲的是腾讯视频云在过去一年时间里跟小程序结合,看看怎么去把这样一个高技术含量的一个能力去跟小程序这样一个非常轻量级的平台发挥1+1>2的效应。

今天的话题分四部分,第一个是小程序音视频能拿来做什么,第二部分是将其内部是怎么做到的?第三就是讲腾讯视频云的音视频技术的一些技术细节;第四个是介绍一下微信上做音视频的应用的一些审核问题以及应对方案。

我们现在开始第一部分。

img

我先开篇来个小故事,讲讲1944年,1944年其实是欧洲二战战场的最后的阶段,当时盟军有很多的战舰逼近欧洲战场,德国为了尽量减少这些战舰的威胁,就开发了反舰导弹。这个导弹其实说白了就是给重磅航空炸弹装了一个火箭发动机,点火之后就直接冲出去,威力是很大但准度很差,离远了投放很容易就偏离目标了。所以如果不解决制导问题,这种武器其实没什么用处。

当时太平洋战场的日本人为了解决这个问题,直接将人装在导弹里然后把门焊死,这种方法虽然简单有效,但毕竟并不适合德国。

德国人技术还不错,他们采用一个更加有技术含量的做法:在导弹前头装一个电视摄像头,讲摄像头捕获的影像通过导弹尾端的八木天先,直接传送给投放导弹的轰炸机(躲得目标远远的),在轰炸机上面则安装有一个电视接收器(请注意,这是在1944年,想想1944年我们在干嘛),这样以来,轰炸机上的投弹手就可以看到导弹前端的所有影像,再通过控制遥感直接操控导弹飞向目标战舰,这其实就是实时音视频技术在军事上的一个典型应用

img

我们接下来不讲那么远的历史,我们讲讲2018年。2018年小程序在今年热度非常高,数量也特别多。但大家会看到很多小程序做的事情大多数对于H5公众号的翻版,功能无外乎还是那些。但我要告诉你,如果小程序跟音视频结合,有很多事情是H5做不了的事情,举个例子我们现在看到这里面视频通话应用。

我们先以平安95511为例,比如说早晨您开车上班,我知道北京的早高峰还是比较堵的,可能一不小心就跟别的车挤到一起擦花了,这时候你的选择就是打电话给保险公司报险,保险公司接下来会让你在事发地点慢慢等着,等半小时?等一小时?这要看当时交通情况或者拥堵程度了。

那现在有小程序在线定损方案,您只需要打开微信,搜索平安95511,也不用安装APP,1-2秒钟就能报险,大概2-3分钟就能把报险流程走完。

您可能会问,为什么通过视频的方案解决不通过电话呢?因为仅靠电话,保险公司并不能有效的区分电话的另一端是不是在骗保,而通过实时音视频通话,造假就几乎就不可能了。

接下来大家就问微信里视频通话为什么不能用呢?如果大家跟女朋友做一些很私密的聊天你用微信通话是可以的,它跟文字消息一样,全程不留底,绝大多是1v1通话都是p2p直连,即使过服务器的音视频流也只是简单的中转。但在商用音视频场景里,比如远程客服、远程医疗、远程定损等等,国家的相关法律法规就规定要全程录制,不然无法维护普通用户的合法利益。

除了平安这类比较偏保险行业的案例,新零售领域我们跟宝马也有一些合作。比如说您考虑一下宝马系的车,之前可能只能去4S店,虽然确实看真车比较直观,但最多也就是进去看看内饰,而且有不少腼腆的年轻人碍于面子并不想进宝马的店铺。通过远程视频的方式跟销售聊,您只需要在小程序里面搜索“宝马实车互动平台”,就有一个销售1v1跟您沟通,他/她会拿手机直接给你看内饰怎么样,外观怎么样,远程看各种细节,而且我们专门校调了720p的高清分辨率,绝对可以看清每一个细节。

当然还有远程庭审,以及远程医疗等项目,都有很多不错的应用案例。

这里我们就可以发现,小程序音视频可以解决两个现实的传统应用解决不了的问题:

第一个是传统电话只有声音没有画面,很多不好用语言表述的事情用小程序音视频就能很好的解决;第二,它可以很大程度上解决装一个有视频通话功能的APP非常费劲的事情。

接下来要从技术层面讲讲我们是怎么做到的,怎么实现这个能力,这个分成几部分:

img

首先,我们讲我们的音视频SDK嵌入到微信APP里面,然后外面包装了两个标签,一个叫

,一个叫

,然后用小程序的jsbridge做了内部的桥接。有了这样一个能力之后,我们现在其实具备了两个基础功能,一个是

可以做到音视频流的上行,再有一个

是做音视频流的下行。

img

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wsxddg.html