现代流行的视觉SLAM系统大概可以分为前端和后端，如下图所示。前端完成数据关联，相当于VO（视觉里程计），研究帧与帧之间变换关系，主要完成实时的位姿跟踪，对输入的图像进行处理，计算姿态变化，同时也检测并处理闭环，当有IMU信息时，也可以参与融合计算（视觉惯性里程计VIO的做法）；后端主要对前端的输出结果进行优化，利用滤波理论（EKF、PF等）或者优化理论进行树或图的优化，得到最优的位姿估计和地图。
采用滤波器的SLAM，如下图(a)，估计n时刻的相机位姿Tn需要使用地图中所有路标的信息，而且每帧都需要更新这些路标的状态，随着新的路标的不断加入，状态矩阵的规模增长迅速，导致计算和求解耗时越来越严重，因此不适宜长时间大场景的操作；而采用优化算法的SLAM，如下图(b)，通常结合关键帧使用，估计n时刻的相机位姿Tn可以使用整个地图的一个子集，不需要在每幅图像都更新地图数据，因此现代比较成功的实时SLAM系统大都采取优化的方法。
下面介绍视觉SLAM发展历程中几个比较有代表性的SLAM系统进行介绍：
MonoSLAM[5]是2007年由Davison 等开发的第一个成功基于单目摄像头的纯视觉SLAM 系统。MonoSLAM使用了扩展卡尔曼滤波，它的状态由相机运动参数和所有三维点位置构成, 每一时刻的相机方位均带有一个概率偏差，每个三维点位置也带有一个概率偏差, 可以用一个三维椭球表示, 椭球中心为估计值, 椭球体积表明不确定程度(如下图所示)，在此概率模型下, 场景点投影至图像的形状为一个投影概率椭圆。MonoSLAM 为每帧图像中抽取Shi-Tomasi角点[6], 在投影椭圆中主动搜索(active search)[7]特征点匹配。由于将三维点位置加入估计的状态变量中，则每一时刻的计算复杂度为O(n3) , 因此只能处理几百个点的小场景。
同年，Davison在Oxford的师父Murray和Klein发表了实时SLAM系统PTAM（Parallel Tracking and Mapping）[8]并开源（如下图），它是首个基于关键帧BA的单目视觉SLAM 系统, 随后在2009 年移植到手机端上[9]。PTAM在架构上做出了创新的设计，它将姿态跟踪（Tracking）和建图（Mapping）两个线程分开并行进行，这在当时是一个创举，第一次让大家觉得对地图的优化可以整合到实时计算中，并且整个系统可以跑起来。这种设计为后来的实时SLAM（如ORB-SLAM）所效仿，成为了现代SLAM系统的标配。具体而言，姿态跟踪线程不修改地图，只是利用已知地图来快速跟踪；而建图线程专注于地图的建立、维护和更新。即使建立地图线程耗时稍长，姿态跟踪线程仍然有地图可以跟踪（如果设备还在已建成的地图范围内）。此外，PTAM还实现丢失重定位的策略，如果成功匹配点(Inliers)数不足（如因图像模糊、快速运动等）造成跟踪失败时，则开始重定位[10]——将当前帧与已有关键帧的缩略图进行比较，选择最相似的关键帧作为当前帧方位的预测。
2011年，Newcombe 等人提出了单目DTAM 系统[11], 其最显著的特点是能实时恢复场景三维模型（如下图）。基于三维模型，DTAM 既能允许AR应用中的虚拟物体与场景发生物理碰撞，又能保证在特征缺失、图像模糊等情况下稳定地直接跟踪。DTAM采用逆深度(Inverse Depth)[12]方式表达深度。如下图，DTAM将解空间离散为M×N×S 的三维网格，其中M× N为图像分辨率，S为逆深度分辨率，采用直接法构造能量函数进行优化求解。DTAM 对特征缺失、图像模糊有很好的鲁棒性，但由于DTAM 为每个像素都恢复稠密的深度图, 并且采用全局优化，因此计算量很大，即使采用GPU 加速, 模型的扩展效率仍然较低。
2013年，TUM机器视觉组的Engel 等人提出了一套同样也是基于直接法的视觉里程计(visual odometry, VO)系统，该系统2014年扩展为视觉SLAM 系统LSD-SLAM[13]，并开源了代码。与DTAM相比，LSD-SLAM 仅恢复半稠密深度图（如下图），且每个像素深度独立计算, 因此能达到很高的计算效率。LSD-SLAM 采用关键帧表达场景，每个关键帧K包含图像 Ik、逆深度图Dk和逆深度的方差Vk。系统假设每个像素x的逆深度值服从高斯分布N(Dk (x),Vk (x))。LSD-SLAM 的前台线程采用直接法计算当前帧t与关键帧k之间相对运动，后台线程对关键帧中每个半稠密抽取的像素点x（梯度显著区域）, 在It中沿极线搜索Ik (x)的对应点, 得到新的逆深度观测值及其方差，然后采用EKF更新Dk和Vk 。LSD-SLAM采用位姿图优化来闭合回环和处理大尺度场景。2015年，Engel等人对LSD-SLAM进行了功能拓展，使其能够支持双目相机[14]和全景相机[15]。
