AR(增强现实)技术正在成为新一代基础设施建设中的重要组成部分。营销、教育、娱乐、会展等行业已大量使用AR技术提升用户体验,获得更好的传播效果。制造业也正陆续采用AR技术应用于设备巡检、操作指导和远程协助等场景,提升效率、降低出错率。美军一直重视AR技术在军事上的应用。计算机视觉技术+移动互联网通讯技术+人机交互,在公共安全领域也有着广泛的应用场景。本文是对TVP韩磊老师的直播演讲整理,分享AR在公共安全及应急指挥中的应用。「TVP思享」专栏,凝结大咖思考,汇聚专家分享,收获全新思想,欢迎长期关注。 一、AR的概念与历史
1. AR的概念
了解什么是AR(增强现实),不妨先来看一段视频。
AR演示视频_腾讯视频
这段视频来自电影《蜘蛛侠:英雄远征》。蜘蛛侠戴上了钢铁侠给他的眼镜,上面装载了一套叫做EDITH的系统。该系统可以调用全球属于该集团的军事力量进行攻击。
虽然是科幻片,但这一幕场景很正确地讲清楚了AR的概念。蜘蛛侠带上眼镜后,可以透过眼镜看到人的身份,可以看到人们在通讯网络里面的交流。甚至在后面的场景,可以调用无人机去作战。看起来很科幻,但已经切中了AR的一些本质。
AR的本质原理和VR不一样。VR是完全制造一个沉浸式的虚拟世界,AR是在真实世界里叠加虚拟的数字化内容。在AR的生成过程中,首先要有一个摄像机获取真实世界的视频画面,通过计算机的识别运算,再做一些叠加的操作,最后通过渲染引擎重新呈现出来。这个过程几乎是实时的。
整个流程里有输入、输出、计算三个环节,有很多可用的设备。
在输入的部分,可以用手机摄像头、AR眼镜摄像头、其他PC摄像头等,以及非视觉的采集工具,如红外摄像头、深度摄像头、超声波摄像头......
所有这些视频或者非视频的视觉画面,获取后首先要通过一些计算:
第一部分:识别
识别人脸、识别手势、识别人的动作,识别一个人从A点到B点中间的轨迹,或者识别整个空间是怎样构成的。经过运算之后,从某种意义上已经初步理解了要计算的对象,它的形象、动作、意图等。
第二部分:叠加数字信息
计算在识别对象的画面上叠加什么样的数字信息,也包括了渲染的环节在内。
第三部分:输出
渲染完成后是输出,在手机屏幕、眼镜屏幕、其他屏幕上看到识别、叠加、渲染的效果。在上文的视频片段里,我们可以看到,蜘蛛侠在眼镜中看见了输出的画面。但在别的场景里,可以用其他的设备,比如手机就有计算能力,也能输出。除了AR app外,微信现在也支持AR。
对于眼镜这样的输出形态,可能不见得每一个朋友都亲自体验过。来看看一台分体式AR眼镜的构成:
该眼镜用了安卓7.0系统。综合其CPU、系统以及其他参数,可以这样理解:AR眼镜几乎就是一台安卓手机。只不过它对输入输出部分,做了一些分解。还有一个重要的点是,眼镜是横屏显示,而且具备3D显示的能力。
图片展示的这副眼镜,属于分体式的眼镜。AR眼镜有两个形态,一种是一体式的眼镜,把CPU、内存、电池等等所有的运算单元和操作单元都集成在眼镜端。它的特点是比较酷,但是会比较重。
另一种是分体式眼镜,把电池、cpu、内存、硬盘等单元放到手持端,再通过一条线,和眼镜端连接。常常有一些合作伙伴问我们:想要在眼镜上做开发要具备什么样的能力,需要哪些SDK或开发文档?其实在没有调用我们特有接口的情况下,如果想在AR眼镜上做开发,很多时候只需要具备安卓手机开发的能力就可以了。
增强现实技术是由计算机视觉和人机交互两个部分组成的。我们在谈论增强现实的时候,往往会过多强调计算机视觉,而忽略了人机交互。如果没有人机交互,其实增强现实是不成立的。
为什么呢?因为我们对现实的增强最后是要给人类来使用的。它是为了提供给人看见更多东西、做更多操作的能力而存在的。所以判断一个增强现实产品到底好不好,除了强大的识别算法以外,还要看它和人之间的交互达到什么样的标准。
2. AR的历史