全景语义地图。据上述讨论，基于CNN的语义分割会得到更细粒度的结果。即使看起来足够精细，但是对于某些特定目的，分割区域不是很小的情况下（例如，不同类型的车辆不能被识别），某种程度上限制了对于场景感知的理解。在SLAM领域中的实例分割网络的一个重要的贡献在于，它在同类别的对象中进一步细分实例；尽管如此，这一方法不能适用于不规则的背景下。
全景分割全部包括这两个分割的优势，作为CV领域的一个新的方向，它被认为以较好的方式生成一个带有全局已知标签的细粒度结果。因此，全景语义地图，被认为是研制智能自主机器人和研究增强显示背景知识有力而重要的工具。全景融合是全景语义3D重建的首要研究，但是，它不利地忽略了对于基于语义的定位思想的研究。由于语义定位在实际应用中常被忽略的事实，我们坚信，同步关注定位和建图的语义SLAM框架仍然值得被研究。
Ⅳ.环境适应：鲁棒性如上所述，V-SLAM如今处于鲁棒感知的阶段。某种程度上，一个重要的语义SLAM关注是“鲁棒性”提高。在特征选择机制方面和优化数据关联方面，我们将着重关注鲁棒性这一问题。在详细回顾之前，我们首先总结一下鲁棒性提高的相关性研究。
表5总结鲁棒性相关研究。
对于特征点的先验语义获取会导致视觉里程计鲁棒性的提高。因为我们初始就评估过这些特征点是否适合特定的任务，因此所选择的鲁棒性特征会促进更好的机器人自我运动追踪。更有趣的是，特征选择策略可以针对特定变化任务的要求，进行对应的更改。我们将在接下来的内容回顾最近的研究:
兴趣区域特征选取。Liang等人提出一个视觉里程计框架，在视觉显著地图（由单张图像上每个像素点的视觉显著性所定义，越接近红色，视觉显著性越高）上进行特征选取，由语义分割结果进行过滤。
内容丰富区域特征选取。使用从低信息熵区域提取的特征点，其位姿估计的准确度较低。同时，对于这些特征进行追踪，会导致数据关联的错误率提高。Ganti和Waslander提出一个基于信息理论的特征选取方法，通过将语义分割的不确定性概念来计算信息交叉熵。这一方法导致特征数量骤减，因此显著提高了系统的实时性能和鲁棒性表现，同时获得客观的准确性。
动态特征选取。所提取的特征点（来自于图像）属于移动对象（所谓的动态特征点），大大的降低了V-SLAM系统的鲁棒性。幸运的是，高级语义能够有效地对静态和动态特征点进行划分（所谓的动态划分），以至于那些在动态场景中使用正机制的V-SLAM系统获得很高的鲁棒性。
优化数据关联在V-SLAM框架，考虑到更新频率，数据关联可以被分为两类：短期关联（e.g.，特征匹配）和长期关联（e.g.，回环检测）。这样的机制将最大化数据关联的可靠性。但是，在回环检测失败的情况下（e.g.，无人车长期行驶在直行道上），视觉里程计会不可逆的漂移，从而导致导航系统的失效。一项语义SLAM的研究，表明图像语义基于中期关联机制。从实验角度，这项机制极大减小了视觉里程计在无人驾驶场景下的平移漂移。有几个问题限制了这种基于图像语义机制的推广。Bowman等人发现在应用中，这样的语义关联有一个缺陷，就是对象语义的不合理数据关联极大影响了定位和建图的结果。因此，他们提出了一个所谓的概率数据关联机制，在处理数据关联的过程充分考虑不确定性。
公开问题主流的语义SLAM方法，通过选择特征或优化数据关联来提高视觉里程计的鲁棒性。但是，算法规模的提高，通过纯粹的特征选取或数据关联优化不能满足视觉里程计的鲁棒性提高。近来，基于CNN的特征提取器在CV领域得到关注，并且它们可以获得更多手工特征设计方案中获取不到的鲁棒视觉特征。受此启发，在SLAM领域的研究者如今尝试通过这样的学习特征进行重建视觉里程计，从而最终实现提高视觉里程计的鲁棒性。遵循这样的想法，我们相信，以后会不断追求提高特征的稳定性和泛化性，因为这些属性有助于提高视觉里程计的鲁棒性。
Ⅴ.可靠导航：准确性