0.   引言

SLAM（simultaneous localization and mapping），中文名为同步定位与地图构建，它从提出到发展已经有三十余年^[1-2]。根据使用传感器的类型，将SLAM分为激光SLAM和视觉SLAM^[3]。随着SLAM技术的进一步完善，该方法被广泛应用到机器人技术上。视觉SLAM技术因其性价比高、效果佳，成为当下的研究热点。目前大多数视觉SLAM的研究工作主要是集中在静态环境中展开的，真实场景下往往都是呈现动态形式^[4]。这些静态场景下的算法处理起真实环境时，结果往往不尽人意。为了解决视觉SLAM在动态场景下工作的鲁棒性，Kai Wang等人^[5]通过识别和处理移动和潜在可移动对象，增强了视觉SLAM中的建图和定位精度。具体来说，利用前一帧和当前一帧的位姿信息来细化后一帧的分割，确定所有潜在的可移动的对象，发送到vSLAM模块进一步计算相应帧的跟踪和建图，使分割精度得以提高。DynaSLAM^[6]中，作者提出了一种检测动态对象系统。使用MASK-RCNN对物体进行实例分割，然后对具有移动性的对象进行分割。该工作还引入了背景区域填充的方法，可以修复动态目标遮挡的区域。在DS-SLAM^[7]中作者通过检测物体的运动一致性，判断人是否是动态对象，并获得语义分割后的人的标签。降低了基于视觉的SLAM中动态对象的影响。针对视觉SLAM场景中动态目标的问题，本文在ORB-SLAM2处理动态环境基础上，引入语义分割算法^[8-9]。根据人身的ORB特征点在帧间变化的特点，判断人是否运动。将语义分割中人的类别作为动态物体进行特征点剔除，最终达到所建地图不会因人的运动而受到干扰。

1.   基于ORB-SLAM2的图像处理方法

1.1   传统的ORB-SLAM2

ORB-SLAM2^[10]算法是由跟踪线程、局部建图线程、闭环检测线程这3个平行线程和全局BA（bundle adjustment）优化线程组成，如图 1所示。跟踪线程是将相机收集到的每一帧数据进行ORB特征提取，通过相机位姿跟踪和局部地图跟踪获得局部地图与当前帧的匹配。利用最小化投影误差优化位姿，判断是否生成关键帧。局部建图线程是对上一线程所得新关键帧进行处理，剔除地图中质量偏低的点。通过三角化的方法来恢复出共视程度比较高的关键帧地图点，检查当前关键帧与相邻帧重复的地图点，进行地图点融合。当前帧相连的关键帧及地图点做局部BA优化，剔除多余的关键帧。闭环探测和闭环校正组成闭环检测线程。其中闭环探测是通过计算当前帧与相连关键帧的词袋（bag of words，BoW）模型最低得分，判断当前关键帧是否产生闭环并进行连续性检测并计算相似变换。闭环校正主要包含闭环融合和图优化这两个部分。全局BA优化线程是对全局的位姿和地图点进行优化，达到更新地图的目的。

图  1  ORB_SLAM2系统线程和结构

Figure  1.  ORB_SLAM2 system threads and structure

下载: 全尺寸图片 幻灯片

1.2   PSPNet算法

PSPNet（pyramid scene parsing network）^[11]算法利用基于不同区域的上下文池化来实现全局上下文信息的能力。PSPNet算法结构如图 2所示，指定一个输入图像(a)，首先经过卷积神经网络得到特征图feature map(b)，特征图分别进入金字塔解析模块和连接层。一部分特征图经过金字塔解析模块处理后的特征图进行向上采样，向上采样的结果传入到连接层与另一部分特征图进行结合，获得特征表示，该特征包含局部和全局上下文信息(c)。金字塔池化模块处理后得到的结果输入卷积层，语义分割的预测(d)便可呈现。

图  2  PSPNet算法结构

Figure  2.  PSPNet algorithm structure

下载: 全尺寸图片 幻灯片

金字塔池模块有4种不同的尺度的特征。其中最上层代表生成单个bin输出的全局池。下方的其余金字塔将特征图分成不同的子区域，形成不同位置的表示。大小各异的特征图是由金字塔池化模块中各层次输出得到，若金字塔的大小为N，为使全局特征不变，每一个金字塔层将使用1×1卷积层去减小上下文的维度到原来的1/N。低维度的特征图上采样得到与原始特征图大小相同的特征。各层次的特征进行连接即为金字塔池化全局特征。

1.3   ORB-SLAM2动态场景下的优化

为解决ORB-SLAM2算法在动态场景下的漂移量大、目标丢失等问题，本文提出将ORB-SLAM2算法和语义分割算法进行结合。目前，基于深度学习的语义分割算法中，PSPNet算法表现出优秀的分割性能，是近些年语义分割中具有高精度算法的代表，故选择PSPNet算法作为本文的语义分割算法。系统流程图如图 3所示。其中，PSPNet是在数据集PASCAL VOC2012进行训练，该数据集是目前衡量语义分割的标准数据集之一^[12]。

图  3  剔除动态点方法

Figure  3.  Remove dynamic point method

下载: 全尺寸图片 幻灯片

本文的方法是将原始图像分别输入至ORB-SLAM2算法和PSPNet算法中。在ORB-SLAM2跟踪线程中进行提取特征点时，经过PSPNet网络分割过的图像传入ORB-SLAM2中。此时，分割图像中的人作为动态对象，ORB-SLAM2将剔除分布在人身上的特征点。剔除人身上特征点后的其余特征点继续进行特征匹配和位姿估计。

把人作为动态对象的特征点剔除后，ORB-SLAM2算法在动态场景下工作的能力得到了明显提升，展示出较好的抗干扰能力。

2.   实验与分析

本文使用公共数据集TUM RGB-D^[13]对SLAM系统稳定性进行评估。该数据集是由德国慕尼黑工业大学提出的一个标准RGB-D数据集，目前经常用来评估RBG-D的一个数据集。该数据集是用来评估SLAM系统或VO算法在具有移动物体的动态环境下性能。数据集中的图像是使用Kinect传感器进行获取，包含彩色图像、深度图像和地面真实轨迹的数据，其中彩色图像和深度图像时间戳一一对应。数据集自带了两种评估SLAM系统的程序，分别是相对位姿误差（relative pose error，RPE）和绝对轨迹误差（absolute trajectory error，ATE）。

在一定的时间间隔内衡量轨迹的局部精度被称为相对位姿误差（RPE），用于评价系统的漂移量。

式中：P∈SE(3)是估计位姿；Q∈SE(3)是真实位姿；i代表时间或者帧数；Δ表示时间间隔。

通过比较估计和地面真实轨迹（ground truth）之间的绝对距离被称为绝对轨迹误差，用于评价轨迹的全局一致性。

其中S∈SE是估计位姿到真实位姿的转换矩阵。

本文是在TUM数据集的rgbd_dataset_ freiburg3_walking_xyz、rgbd_dataset_freiburg3_ walking_halfsphere、rgbd_dataset_freiburg3 _walking _static、rgbd_dataset_freiburg3_sitting_static四个序列工作性能的对比。表 1、2、3是ORB-SLAM2和本文方法的对比结果。walking_xyz、walking_ half- sphere、walking_static、sitting_static绝对轨迹误差图和相对位姿误差图分别如图 4、5、6、7、8、9、10、11所示。其中，左边图为绝对轨迹误差，右边图为相对位姿误差。

表  1  绝对轨迹误差对比（ATE）

Table  1.  Absolute trajectory error comparison

Sequences	ORB-SLAM2					Ours					Improvement/%
	Rmse	Mean	Median	Std		Rmse	Mean	Median	Std		Rmse	Mean	Median	Std
walking_xyz	0.5357	0.4964	0.4733	0.2014		0.0269	0.0185	0.0151	0.0196		94.98	96.27	96.81	90.27
walking_halfsphere	0.4318	0.3651	0.3107	0.2305		0.0334	0.0285	0.0243	0.0175		92.26	92.19	92.18	92.41
walking_static	0.3753	0.3398	0.2963	0.1593		0.0076	0.0068	0.0062	0.0034		97.97	98.00	97.91	97.87
sitting_static	0.0082	0.0071	0.0063	0.0041		0.0062	0.0054	0.0047	0.0031		24.39	23.94	25.40	24.39

下载: 导出CSV 

| 显示表格

表  2  相对位姿误差对比（RPE）

Table  2.  Relative pose error comparison

Sequences	ORB-SLAM2					Ours					Improvement/%
	Rmse	Mean	Median	Std		Rmse	Mean	Median	Std		Rmse	Mean	Median	Std
walking_xyz	0.7856	0.6444	0.5714	0.4493		0.0400	0.0280	0.0222	0.0285		94.91	95.65	96.11	93.66
walking_halfsphere	0.6200	0.4957	0.4705	0.3724		0.0474	0.0414	0.0373	0.0231		92.35	91.65	92.07	93.80
walking_static	0.5354	0.3946	0.1802	0.3618		0.0112	0.0102	0.0096	0.0048		97.91	97.42	94.67	98.67
sitting_static	0.0127	0.0112	0.0101	0.0060		0.0093	0.0081	0.0073	0.0044		26.77	27.68	27.72	26.67

下载: 导出CSV 

| 显示表格

表  3  相对旋转误差对比（RRE）

Table  3.  Relative rotation error comparison

Sequences	ORB-SLAM2					Ours					Improvement/%
	Rmse	Mean	Median	Std		Rmse	Mean	Median	Std		Rmse	Mean	Median	Std
walking_xyz	14.3695	11.7969	0.1856	8.2046		0.8776	0.6192	0.0082	0.6220		93.89	94.75	95.58	92.42
walking_halfsphere	14.5176	12.0261	0.2177	8.1323		1.0316	0.8956	0.0139	0.5118		92.89	92.55	93.62	93.71
walking_static	9.6864	7.1088	0.0558	6.5796		0.3021	0.2724	0.0044	0.1306		96.88	96.17	92.11	98.02
sitting_static	0.3572	0.3220	0.0054	0.1546		0.3347	0.2981	0.0048	0.1523		6.30	7.42	11.11	1.49

下载: 导出CSV 

| 显示表格

图  4  ORB-SLAM2在walking_xyz下的误差（左：轨迹误差；右：相对位姿误差）

Figure  4.  Error of ORB-SLAM2 under walking_xyz(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

图  5  本文方法在walking_xyz下的误差（左：轨迹误差；右：相对位姿误差）

Figure  5.  Error of our method under walking_xyz(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

图  6  ORB-SLAM2在walking_halfsphere下的误差（左：轨迹误差；右：相对位姿误差）

Figure  6.  Error of ORB-SLAM2 under walking_halfsphere(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

图  7  本文方法在walking_halfsphere下的误差（左：轨迹误差；右：相对位姿误差）

Figure  7.  Error of our method under walking_halfsphere(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

图  8  ORB-SLAM2在walking_static下的误差（左：轨迹误差；右：相对位姿误差）

Figure  8.  Error of ORB-SLAM2 under walking_static(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

图  9  本文方法在walking_static下的误差（左：轨迹误差；右：相对位姿误差）

Figure  9.  Error of our method under walking_static(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

图  10  ORB-SLAM2在sitting_static下的误差（左：轨迹误差；右：相对位姿误差）

Figure  10.  Error of ORB-SLAM2 under sitting_static(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

图  11  本文方法在sitting_static下的误差（左：轨迹误差；右：相对位姿误差）

Figure  11.  Error of our method under sitting_static(left: absolute trajectory error; right: relative pose error)

下载: 全尺寸图片 幻灯片

从表 1~3可以观察到，在前3个动态环境下，无论相对位姿误差还是绝对轨迹误差，改进后的ORB-SLAM2系统的Rmse、Mean、Median和Std值比传统ORB-SLAM2都提高了90%以上。而在第4个静态环境下，最高只比ORB-SLAM2提高了27.68%。实验数据表明：改进后的ORB-SLAM2系统能较好地克服动态环境下系统的漂移并达到轨迹全局一致性的效果。

在耗时上，将ORB-SLAM2和改进后的ORB-SLAM2分别在TUM数据集上运行并取3次结果求平均值，如表 4所示。ORB-SLAM2平均耗时57.439ms，改进后的ORB-SLAM2平均耗时79.681ms。对比改进前后的ORB-SLAM2耗时，改进后的耗时比传统ORB-SLAM2多用了22.242ms，这是因为改进后的ORB-SLAM2引入了语义分割，增加了系统的耗时。

表  4  两种方法在TUM数据集的耗时

Table  4.  Time consuming of the two methods in TUM dataset

Methods	1	2	3	Average
ORB-SLAM2	54.314	58.629	59.373	57.439
Ours	81.241	79.298	78.505	79.681

下载: 导出CSV 

| 显示表格

3.   结论

本文基于SLAM系统中ORB-SLAM2算法，针对动态场景下的目标，提出了ORB-SLAM2算法和语义分割算法进行融合的方法。在场景中把人看作是动态对象，剔除人身上的特征点。在TUM数据集上进行实验验证，结果表明：本文提出的方法在动态场景下的绝对轨迹误差和相对路径误差比原ORB-SLAM2算法至少提高了90%以上的精度，同时系统耗时增加22.242ms，该方法在动态环境中能够保持系统的鲁棒性。