Image Processing Method for Visual Simultaneous Localization and Mapping
-
摘要: SLAM一直是机器人领域的研究热点，近年来取得了万众瞩目的进步，但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理，提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中，对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比，在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下，改善了地图的适用性。Abstract: Simultaneous localization and mapping(SLAM) has always been a research hotspot in the robotics field. In recent years, remarkable progress has been made in SLAM research, but few SLAM algorithms have considered the processing of dynamic scenes. Therefore, in this study, an image processing method for dynamic target processing in a visual SLAM scene is proposed. The semantic segmentation algorithm based on deep learning was introduced into the ORB_SLAM2 method and input image classification processing was accomplished while removing the feature points on the body. Pose estimation was performed based on images with eliminated feature points. Compared to ORB_SLAM2 on the TUM dataset, the absolute trajectory error and relative path error accuracy were improved by more than 90% in the dynamic scene. To ensure the accuracy of the generated map, the applicability of the map was improved.
-
Keywords:
- visual SLAM /
- dynamic scene /
- ORB-LAM2 /
- feature points /
- remove
-
0. 引言
随着武器装备朝着多用途、全天候的方向发展，对其功能、性能的要求越来越高，尤其是在不同环境下的可靠性和寿命指标。
OLED微型显示器应用于观瞄类武器装备，要求其寿命为10年~20年，甚至更长。采用一般的试验方法对OLED微型显示器的可靠性[1-4]指标进行评价，试验时间长、费用高。需要采用加速寿命试验[5-6]方法来评价微型显示器件可靠性指标。因此，研究高温环境下OLED微型显示器件的存储寿命分布非常重要。
基于经典可靠性理论，在产品寿命指标评估中，首先要确定符合产品寿命的失效概率分布规律，然后根据产品失效概率分布确定产品可靠性、寿命指标。威布尔（Weibull）分布是非线性分布，常用于研究产品失效时间不随线性变化的情况，指数分布、瑞利分布和正态分布都是威布尔分布的特殊形式[7]。因此，威布尔分布广泛应用于产品失效分布建模中。
本文采用威布尔分布模型针对OLED微型显示器开展加速寿命试验[8]，对模型进行参数估计和检验，通过对加速试验失效时间数据的采集，分析温度应力对OLED微型显示器可靠性的加速影响特性，建立OLED微型显示器的可靠性分布模型，并对其可靠性指标进行评估，为OLED微型显示器工程应用提供理论依据。
1. 数学模型
1.1 经典可靠性模型
产品在规定条件下正常工作的概率为产品的可靠度，用R(t)表示[9]。T表示产品失效时间随机变量，t表示规定的产品工作时间，则产品在规定时间t的可靠度用概率表示如下：
$$ R(t) = P(T > t) $$ (1) 产品在规定时间t的累计失效分布函数用F(t)表示，F(t)与R(t)互补，即：
$$ F(t) = P(T < t) $$ (2) $$ R(t) + F(t) = 1 $$ (3) 如果产品失效符合一定的数学规律，表示为产品的失效概率密度函数[10]，用f(ξ)表示，那么产品可靠度可以表示为：
$$R\left( t \right) = 1 - F\left( t \right) = 1 - \int_0^t {f\left( \xi \right)} {\rm{d}}\xi $$ (4) 产品平均故障间隔时间为产品寿命的数学期望，即：
$${\rm{MTBF}} = \int_0^\infty {tf\left( t \right)} {\rm{d}}t$$ (5) 通过方程(4)(5)可以求得产品的可靠寿命及产品平均故障间隔时间（MTBF）。
1.2 威布尔分布模型
威布尔分布概率密度函数表示如下：
$$f\left( t \right) = \left\{ {\begin{array}{*{20}{c}} {\frac{\gamma }{\theta }{{\left( {\frac{t}{\theta }} \right)}^{\gamma - 1}}{{\rm{e}}^{ - {{\left( {\frac{\xi }{\theta }} \right)}^\gamma }}},\quad t \geqslant 0} \\ {0,\quad \quad \quad \quad \quad \quad t < 0} \end{array}} \right.$$ (6) 式中：θ和γ分别为特征寿命和形状参数。当γ=1时，威布尔分布变为指数分布；当γ=2时，威布尔分布变为瑞利分布。
威布尔分布函数表示如下：
$$F\left( t \right) = \int_0^t {\frac{\gamma }{\theta }} {\left( {\frac{\xi }{\theta }} \right)^{\gamma - 1}}{{\rm{e}}^{ - {{\left( {\frac{\xi }{\theta }} \right)}^\gamma }}}{\rm{d}}\xi = 1 - {{\rm{e}}^{ - {{\left( {\frac{t}{\theta }} \right)}^\gamma }}}$$ (7) 可靠度函数表示如下：
$$R\left( t \right){\rm{ = }}{{\rm{e}}^{ - {{\left( {\frac{t}{\theta }} \right)}^\gamma }}}$$ (8) 产品失效符合威布尔分布，平均故障间隔时间表示为：
$${\rm{MTBF}} = \int_0^\infty {t\frac{\gamma }{\theta }} {\left( {\frac{t}{\theta }} \right)^{\gamma - 1}}{{\rm{e}}^{ - {{\left( {\frac{t}{\theta }} \right)}^\gamma }}}{\rm{d}}t = \theta \mathit{\Gamma} \left( {1 + \frac{1}{\gamma }} \right)$$ (9) 式中：Γ是伽马（gamma）函数。
1.3 Arrhenius模型
贮存条件下产品承受的应力主要是温度应力，不同温度条件下材料内部化学反应速率不同，Arrhenius模型是研究这类反应，并通过大量数据得到的模型。Arrhenius模型反映了产品寿命与温度之间的关系，如式(10)所示：
$$ \alpha = A{e^{E/kT}} $$ (10) 式中：α为产品特征寿命；A为常数（A>0）；E为激活能，与材料属性及失效机理有关，单位为eV；K为玻尔兹曼常数，为8.6×10-5 eV/K。
1.4 威布尔分布参数估计
采用最小二乘法对威布尔分布进行参数估计[11]。对式(7)取双对数，得：
$$\ln \ln \frac{1}{{1 - F\left( t \right)}} = \gamma \ln t - \gamma \ln \theta $$ (11) 令$y = \ln \ln \frac{1}{{1 - F\left( t \right)}}$，x=lnt，a=γ，b=γlnθ，式(11)以线性形式表示：
$$ y = ax - b $$ (12) 对线性方程采用最小二乘法估计，具有无偏性，方差最小等优点，因此，本文采用最小二乘法对参数进行预估。
2. 试验
2.1 试验应力
加速寿命试验要求在不同试验温度下产品的失效机理不能发生变化。因此，温度选择不得大于产品的工作极限，不得大于产品材料能够承受的最大应力。本文选择T1=90℃、T2=80℃、T3=70℃三个温度作为试验应力。
2.2 失效判据
选择亮度衰减为起始亮度的70%作为加速寿命试验的失效判据。
2.3 试验样品
在一批产品中随机抽取45只器件，每组温度应力下15只，共45个样品。为保证每个样品质量合格，试验前应先进行至少24 h的老化试验，剔除不合格样品以及非正常失效样品，并对每个试验样品进行编号。对每个试验样品的起始亮度进行测试，并记录数据。
2.4 监测点设置
试验开始时，测试45只产品的性能，分别选取70℃、80℃、90℃三个温度点，以240 h为间隔，从240~2160 h时间段取9个检测时间点监测产品性能。
3. 寿命评估
3.1 试验结果
在T1=90℃、T2=80℃、T3=70℃时，各监测点产品累计失效数如图 1所示。
3.2 失效分布函数计算
根据各个监测点失效数，计算监测点的累计失效率F(t)。根据F(t)和lnt，拟合式(11)，拟合结果如图 2所示。
90℃时拟合结果：Y=1.2643x-8.8698，R2=0.9957，a=1.2643，b=8.8698，得到：γ=1.2643，θ=1113.8540；
80℃时拟合结果：Y=1.337x-10.1360，R2=0.9941，a=1.3370，b=10.1360，得到：γ=1.3370，θ=1960.8860；
70℃时拟合结果：Y=1.3031x-10.6820，R2=0.9764，a=1.3031，b=10.6820，得到：γ=1.3031，θ=3631.4070。
威布尔分布γ代表分布形状参数，反应失效机理，两种应力下得到的参数γ相似，反映了在两种应力条件下产品失效机理一致。
3.3 可靠度函数计算
1）平均故障间隔时间
由拟合得到的失效概率密度函数，得到产品平均故障间隔时间：
90℃：
$${\rm{MTBF}} = \int_0^\infty {t\frac{\gamma }{\theta }} {\left( {\frac{t}{\theta }} \right)^{\gamma - 1}}{{\rm{e}}^{ - {{\left( {\frac{t}{\theta }} \right)}^\gamma }}}{\rm{d}}t = \theta \Gamma \left( {1 + \frac{1}{\gamma }} \right) = 1034.55\;{\rm{h}}$$ 80℃：
$${\rm{MTBF}} = \int_0^\infty {t\frac{\gamma }{\theta }} {\left( {\frac{t}{\theta }} \right)^{\gamma - 1}}{{\rm{e}}^{ - {{\left( {\frac{t}{\theta }} \right)}^\gamma }}}{\rm{d}}t = \theta \Gamma \left( {1 + \frac{1}{\gamma }} \right) = 1799.11\;{\rm{h}}$$ 70℃：
$${\rm{MTBF}} = \int_0^\infty {t\frac{\gamma }{\theta }} {\left( {\frac{t}{\theta }} \right)^{\gamma - 1}}{{\rm{e}}^{ - {{\left( {\frac{t}{\theta }} \right)}^\gamma }}}{\rm{d}}t = \theta \Gamma \left( {1 + \frac{1}{\gamma }} \right) = 3348.16\;{\rm{h}}$$ 2）可靠度函数
根据式(8)，得到产品的70℃时，80℃时，90℃时可靠度函数表达式如下所示：
70℃时：R(t)=exp(-(t/3631.407)1.303)
80℃时：R(t)=exp(-(x/1960.886)1.337)
90℃时：R(t)=exp(-(x/1113.854)1.2643)
70℃时，80℃时，90℃时可靠度函数如图 3所示。
3.4 常温贮存寿命评估
根据高温贮存特征寿命，采用Arrhenius模型，得到激活能E=0.63。
进一步根据Arrhenius加速模型，90℃应力水平下获得常温25℃的加速系数：
$$ {K_{25℃ - 90℃}} = \exp \left[ {\frac{E}{K}\left( {\frac{1}{T} - \frac{1}{{T'}}} \right)} \right] = 83.2 $$ 根据90℃时拟合结果（特征寿命θ=1113.8540 h），得到25℃特征寿命：
$$ {\theta _{25℃}} = 1113.8540 \times 83.2 = 92672.6528\;{\rm{h}} $$ 最终，得到常温25℃贮存特征寿命约为11年。
4. 结论
对试验数据基于威布尔分布模型，应用经典可靠性理论，最小二乘法进行参数拟合，获得产品失效分布规律，进而求得产品可靠性指标。分析结果表明，该方法合理、简便、有效，并且数据结果可以进一步应用到推导产品常温贮存寿命。
-
![]()
图 4 ORB-SLAM2在walking_xyz下的误差（左：轨迹误差；右：相对位姿误差）
Figure 4. Error of ORB-SLAM2 under walking_xyz(left: absolute trajectory error; right: relative pose error)
![]()
图 5 本文方法在walking_xyz下的误差（左：轨迹误差；右：相对位姿误差）
Figure 5. Error of our method under walking_xyz(left: absolute trajectory error; right: relative pose error)
![]()
图 6 ORB-SLAM2在walking_halfsphere下的误差（左：轨迹误差；右：相对位姿误差）
Figure 6. Error of ORB-SLAM2 under walking_halfsphere(left: absolute trajectory error; right: relative pose error)
![]()
图 7 本文方法在walking_halfsphere下的误差（左：轨迹误差；右：相对位姿误差）
Figure 7. Error of our method under walking_halfsphere(left: absolute trajectory error; right: relative pose error)
![]()
图 8 ORB-SLAM2在walking_static下的误差（左：轨迹误差；右：相对位姿误差）
Figure 8. Error of ORB-SLAM2 under walking_static(left: absolute trajectory error; right: relative pose error)
![]()
图 9 本文方法在walking_static下的误差（左：轨迹误差；右：相对位姿误差）
Figure 9. Error of our method under walking_static(left: absolute trajectory error; right: relative pose error)
![]()
图 10 ORB-SLAM2在sitting_static下的误差（左：轨迹误差；右：相对位姿误差）
Figure 10. Error of ORB-SLAM2 under sitting_static(left: absolute trajectory error; right: relative pose error)
![]()
图 11 本文方法在sitting_static下的误差（左：轨迹误差；右：相对位姿误差）
Figure 11. Error of our method under sitting_static(left: absolute trajectory error; right: relative pose error)
表 1 绝对轨迹误差对比（ATE）
Table 1 Absolute trajectory error comparison
Sequences ORB-SLAM2 Ours Improvement/% Rmse Mean Median Std Rmse Mean Median Std Rmse Mean Median Std walking_xyz 0.5357 0.4964 0.4733 0.2014 0.0269 0.0185 0.0151 0.0196 94.98 96.27 96.81 90.27 walking_halfsphere 0.4318 0.3651 0.3107 0.2305 0.0334 0.0285 0.0243 0.0175 92.26 92.19 92.18 92.41 walking_static 0.3753 0.3398 0.2963 0.1593 0.0076 0.0068 0.0062 0.0034 97.97 98.00 97.91 97.87 sitting_static 0.0082 0.0071 0.0063 0.0041 0.0062 0.0054 0.0047 0.0031 24.39 23.94 25.40 24.39 
下载: 导出CSV
表 2 相对位姿误差对比（RPE）
Table 2 Relative pose error comparison
Sequences ORB-SLAM2 Ours Improvement/% Rmse Mean Median Std Rmse Mean Median Std Rmse Mean Median Std walking_xyz 0.7856 0.6444 0.5714 0.4493 0.0400 0.0280 0.0222 0.0285 94.91 95.65 96.11 93.66 walking_halfsphere 0.6200 0.4957 0.4705 0.3724 0.0474 0.0414 0.0373 0.0231 92.35 91.65 92.07 93.80 walking_static 0.5354 0.3946 0.1802 0.3618 0.0112 0.0102 0.0096 0.0048 97.91 97.42 94.67 98.67 sitting_static 0.0127 0.0112 0.0101 0.0060 0.0093 0.0081 0.0073 0.0044 26.77 27.68 27.72 26.67
下载: 导出CSV
表 3 相对旋转误差对比（RRE）
Table 3 Relative rotation error comparison
Sequences ORB-SLAM2 Ours Improvement/% Rmse Mean Median Std Rmse Mean Median Std Rmse Mean Median Std walking_xyz 14.3695 11.7969 0.1856 8.2046 0.8776 0.6192 0.0082 0.6220 93.89 94.75 95.58 92.42 walking_halfsphere 14.5176 12.0261 0.2177 8.1323 1.0316 0.8956 0.0139 0.5118 92.89 92.55 93.62 93.71 walking_static 9.6864 7.1088 0.0558 6.5796 0.3021 0.2724 0.0044 0.1306 96.88 96.17 92.11 98.02 sitting_static 0.3572 0.3220 0.0054 0.1546 0.3347 0.2981 0.0048 0.1523 6.30 7.42 11.11 1.49
下载: 导出CSV
表 4 两种方法在TUM数据集的耗时
Table 4 Time consuming of the two methods in TUM dataset
Methods 1 2 3 Average ORB-SLAM2 54.314 58.629 59.373 57.439 Ours 81.241 79.298 78.505 79.681
下载: 导出CSV
-
[1] Durrant-Whyte H, Bailey Tim. Simultaneous localization and mapping: part I[J]. IEEE Robotics & Amp Amp Automation Magazine, 2006, 13(2): 99-10. http://vigir.missouri.edu/~gdesouza/Research/MobileRobotics/Simultaneous%20localization%20and%20mapping.%20IEEE%20Robotics%20and%20Automation%20magazine-%20Part%201,%20H.%20Durrant-White%20and%20T.%20Bailey.pdf
[2] 张金凤, 石朝侠, 王燕清. 动态场景下基于视觉特征的SLAM方法[J]. 计算机工程, 2020, 46(10): 95-102. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC202010012.htm ZHANG Jinfeng, SHI Chaoxia, WANG Yanqing. SLAM method based on visual features in dynamic scene[J]. Computer Engineering, 2020, 46(10): 95-102. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC202010012.htm
[3] 江国来. 共融移动服务机器人导航与交互关键技术研究[D]. 深圳: 中国科学院大学(中国科学院深圳先进技术研究院), 2019. JIANG Guolai. Research on Key Technologies of Navigation and Interaction of Inclusive Mobile Service Robot[D]. Shenzhen: University of Chinese Academy of Sciences, 2019.
[4] HAN Shuangquan, XI Zhihong. Dynamic scene semantics SLAM based on semantic segmentation[J]. IEEE Access, 2020, 8: 43563-43570. DOI: 10.1109/ACCESS.2020.2977684
[5] WANG Kai, LIN Yimin, WANG Luowei, et al. A unified framework for mutual improvement of SLAM and semantic segmen- tation[C]//International Conference on Robotics and Automation (ICRA) of IEEE, 2019: 5224-5230.
[6] Bescos Berta, Fácil José M, Civera Javier, et al. Dyna SLAM: tracking, mapping and in painting in dynamic scenes[J]. IEEE Robotics and Automation Letters, 2018, 3(4): 4076-4083. DOI: 10.1109/LRA.2018.2860039
[7] YU Chao, LIU Zuxin, LIU Xinjun, et al. DS-SLAM: a semantic visual SLAM towards dynamic environments[C]//IEEE International Conference on Intelligent Robots and Systems(IROS), 2018: 1168-1174.
[8] 王召东, 郭晨. 一种动态场景下语义分割优化的ORB_SLAM2[J]. 大连海事大学学报, 2018, 44(4): 121-126. DOI: 10.3969/j.issn.1671-7031.2018.04.020 WANG Zhaodong, GUO Chen. An improved ORB_SLAM2 in dynamic scene with semantic segmentation[J]. Journal of Dalian Maritime University, 2018, 44(4): 121-126. DOI: 10.3969/j.issn.1671-7031.2018.04.020
[9] 王晨, 汤心溢, 高思莉. 基于深度卷积神经网络的红外场景理解算法[J]. 红外技术, 2017, 39(8): 728-733. http://hwjs.nvir.cn/article/id/hwjs201708010 WANG Chen, TANG Xinyi, GAO Sili. Infrared scene understanding algorithm based on deep convolutional neural network[J]. Infrared Technology, 2017, 39(8): 728-733. http://hwjs.nvir.cn/article/id/hwjs201708010
[10] Mur-Artal Raul, D Tardos Juan. ORB-SLAM2: an opensource slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262. DOI: 10.1109/TRO.2017.2705103
[11] ZHAO Hengshuang, SHI Jianping, QI Xiaojuan, et al. Pyramid scene parsing network[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6230-6239.
[12] 李瀚超, 蔡毅, 王岭雪. 全局特征提取的全卷积网络图像语义分割算法[J]. 红外技术, 2019, 41(7): 595-599, 615. http://hwjs.nvir.cn/article/id/hwjs201907001 LI Hanchao, CAI Yi, WANG Lingxue. Image semantic segmentation based on fully convoluted network with global feature extraction[J]. Infrared Technology, 2019, 41(7): 595-599. http://hwjs.nvir.cn/article/id/hwjs201907001
[13] Sturm Jürgen, Engelhard Nikolas, Endres Felix, et al. A benchmark for the evaluation of RGB-D SLAM systems[C]//RSJ Int. Conf. Intell. Robots Syst. of IEEE, 2012: 573-580.
-
期刊类型引用(6)
1. 文昌俊，陈洋洋，何永豪，陈凡. 基于混合威布尔分布的水稻插秧机的可靠性分析及剩余寿命预测. 科学技术与工程. 2024(01): 163-169 . 
百度学术
2. 李濛扬，石子鸣，张萌，徐雪萍，卢东生. 基于部件寿命Weibull分布的呼吸机预防性维护策略研究. 中国医学装备. 2023(07): 143-149 . 百度学术
3. 高奎勇，周学军，李婷婷，陈丽娟. 基于三参数韦布尔寿命模型的血液透析机关键部件预防性维护方案研究. 中国医学装备. 2022(01): 63-67 . 百度学术
4. 张小珍. 激光加热下不同形貌硅片的热力学性能分析. 装备机械. 2021(02): 44-48+52 . 百度学术
5. 缪吉昌，纪晓宏，王兆源，陈宏文，张斌. 基于威布尔分布的婴儿培养箱关键部件的剩余寿命预测. 中国医学物理学杂志. 2021(09): 1162-1167 . 百度学术
6. 高奎勇. 基于韦布尔寿命模型的血液透析机关键性部件寿命分布的研究. 中国医疗设备. 2021(12): 49-53 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 207
- HTML全文浏览量: 44
- PDF下载量: 46
- 被引次数: 12
