Inspection Robot Obstacle Recognition and Classification Based on Infrared and Visible Light Image Matching
-
摘要:
在电网、桥梁等较为复杂的工况环境下，巡检机器人可以有效代替人工进行设备的检测与维护。为了实现巡检机器人在复杂环境中的自动避障作业，提出了基于YOLOv5深度学习网络模型的红外与可见光图像匹配识别技术，使机器人能够识别并分类各种障碍物，包括活体和非活体障碍。在实际巡检作业中，机器人同时配置红外相机和普通相机实时监测其前方环境。基于大量数据的训练后的YOLOv5网络模型，机器人能够快速、准确识别并判断前方障碍物并进行分类，平均识别精度高达99.2%。机器人不仅能够识别障碍物的性质，还能采取相应的主动动作来应对不同情况。实验结果充分证明了这种基于多种图像信息的综合避障方法的有效性。机器人能够在不同场景中检测、分类和规避障碍物，从而提高了其自主性和适应性。该技术在自动化巡检、安全监测以及救援任务等领域具有广泛的应用前景，为机器人技术的不断发展提供了有力支持。
Abstract:In complex environments such as power grids and bridges, inspection robots can effectively replace manual inspections and equipment maintenance. To achieve autonomous obstacle avoidance for inspection robots in complex environments, this study proposes an image-matching recognition technique based on the YOLOv5 deep-learning network model, which utilizes both IR and visible-light images. This enables the robot to identify and classify various obstacles, including living and nonliving obstacles. During the inspection operations, the robot is equipped with an IR camera and a regular camera to monitor its environment in real time. With the YOLOv5 network model trained on a large dataset, the robot can quickly and accurately identify and categorize obstacles along its path. The robot not only identifies the nature of obstacles but also performs appropriate proactive actions to address different situations. The average recognition accuracy is approximately 99.2%. Experimental results demonstrate the effectiveness of the comprehensive obstacle avoidance method based on multiple-image information. The robot can detect, classify, and navigate obstacles under various scenarios, thereby enhancing their autonomy and adaptability. This technology has wide applications in areas such as automated inspections, safety monitoring, and rescue missions, providing strong support for the continuous development of robotic technologies.
-
Keywords:
- automated obstacle avoidance /
- infrared target detection /
- YOLOv5 /
- deep learning
-
0. 引言
HgCdTe（mercury cadmium telluride, MCT）是制备大多数红外探测器的基本材料，另外碲镉汞红外探测器降低了系统功耗、减小了系统尺寸和重量，同时增加了系统的寿命[1-2]等。高性能碲镉汞长波红外（LWIR）探测器是红外焦平面探测器的重要发展方向之一，目前用于制备碲镉汞红外探测器的结构主要有n-on-p和p-on-n两种。
n-on-p结构中的汞空位引入了Shockley-Read复合中心[3]，降低电子寿命，导致器件暗电流增加。而p-on-n结构以外部砷注入掺杂实现，主要以带间复合为主，因此该结构容易实现长的少数载流子寿命；同时，与n-on-p结构相比，p-on-n结构容易获得低掺杂浓度的n区，且n区多数载流子（电子）迁移率高，有利于降低串行电阻，因此p-on-n结构的探测器有利于降低器件的暗电流[4]和提升器件的R0A值。基于p-on-n结构的独特优势，使其在高温、长波、甚长波（very long wavelength infrared，VLWIR）探测器领域发展迅速，尤其As注入掺杂的p-on-n结构更是长波红外探测器的重要制备技术。
但是，相比n-on-p结构的工艺技术，p-on-n结构的制备技术更困难，主要难点在于As的退火激活。目前已有很多文献报道了关于p-on-n结构的碲镉汞探测器注入及退火工艺的研究[5-8]。离子注入产生的汞填隙Hgi会与缺陷相作用而表现出n型，无论使用何种离子注入，注入层始终表现为n型，掌握As离子注入p掺杂技术是实现长波p-on-n结构器件的关键。目前，基于离子注入技术的p-on-n器件可分为双层平面异质（double layer heterojunction，DLHJ）结构[9]和平面同质结构[10]，采用As离子注入掺杂，这些p-on-n器件的截止波长已从短波红外波段扩展到甚长波波段。
本文主要介绍长波碲镉汞红外探测器制备工艺研究的初步结果，对As离子注入的p-on-n结构器件的注入激活过程进行研究。通过LPE技术在CdZnTe衬底上生长碲镉汞材料，由As离子注入激活、钝化、光刻等工艺制备p-on-n结构的长波焦平面器件。通过二次离子质谱（secondary ion mass spectroscopy，SIMS）仪测试表征注入激活工艺中As的扩散情况、在77 K温度下通过半导体参数测试仪测试器件pn结的I-V特性曲线，并且进行焦平面器件性能测试。通过测试结果分析退火激活工艺中As的扩散情况，评估退火激活工艺的可行性与稳定性。
1. As注入掺杂原理
碲镉汞掺杂型红外探测器中，目前最成功的p型掺杂是As掺杂。理论上砷离子注入激活模型包括间隙位迁移模型[11]、Berding模型[12]、TeHg-VHg复合缺陷以及双空位模型[13]。Berding模型是VHg主导的As掺杂p型激活模型，As的初态为AsHg，首先Te原子转移到阳离子空位，形成Te反位TeHg；当AsHg与VHg耦合形成复合缺陷AsHg-VHg后，As就易于取代汞空位附近的Te原子而占据Te位，即As原子转移到空出的Te空位，形成AsTe，并留下汞空位VHg；然后被取代的Te原子移至汞空位形成反位缺陷TeHg，TeHg与VHg形成复合体，远离AsTe而去，最终过饱和并扩散到表面消失或形成Te络合物。
As离子只有在高温富汞条件下才能被成功激活，一般激活砷离子需要进行两个退火步骤[14]：首先是富汞高温条件下修复离子注入产生的缺陷并扩散激活As；其次是低温退火调整汞空位浓度以及恢复吸收层的n型掺杂。高温激活退火后，As原子占据Te位实现p掺杂，但同时由于Hg的互扩散导致吸收区汞空位浓度过高，可将n型区直接转为p型，因此需要通过低温长时间退火来控制汞原子的填隙与扩散，以调整汞空位浓度，再将p型转回n型，实现对材料电学参数的修复。
文献[15]详细解释了As离子注入退火后的多段扩散机制。第一阶段为弛豫扩散，As通过缺陷辅助扩散，属于非激活区。第二阶段为原子扩散，在这个阶段，As从占据Te位开始发生扩散，受空位和填隙的影响，该阶段属于砷激活区。第三阶段也称为原子扩散，与第二阶段不同，该阶段砷的扩散由汞空位主导，As从占汞空位进行扩散，激活与否取决于退火处理。第四阶段为快扩散机制，与材料内的位错有关，砷扩散增强。砷在碲镉汞中的扩散分布情况可以此作为参考，对相关实验结果进行分析。
在本文中，将针对上述高低温两步退火工艺进行对比研究，以确定较优的退火条件完成As离子的扩散与激活，进一步稳定控制长波p-on-n碲镉汞红外探测器器件制备工艺，实现工艺的稳定可控。
2. 实验
本文的实验中，通过LPE生长原位掺In的n型碲镉汞吸收层，掺杂浓度为5×1014~1×1015cm-3，碲镉汞材料组分xCd=0.2~0.23，实验中主要考虑工艺条件的差异性，实验样品通过As离子注入激活实现p型掺杂。
为了确定有效的退火工艺来实现As离子的扩散激活，实验设置了不同退火条件进行对比实验，所有退火过程均在富汞条件下进行。根据文献[11]的研究结果，富汞条件下300℃以上温度退火有可能实现砷的p掺杂。另外考虑到砷激活的程度及稳定性多采用400℃以上高温进行激活退火，且考虑到高温条件下碲镉汞材料组分变化、n区反型及富汞条件不易控制等问题，高温退火温度不宜太高，退火时间不宜太长。所以，实验样品设置如表 1所示（由于低温退火条件一致，这里仅列出高温退火条件，低温退火条件为20 h、240℃）。表 1的实验样品1~6与样品7~10采用的碲镉汞材料组分略有不同，实验中忽略材料组分的差异性。
表 1 退火条件Table 1. Annealing conditionsSample Energy/keV Dose/
cm-2Annealing conditions Time/h Temperature/℃ 1 300 5E+14 0 0 2 300 5E+14 0.5 360 3 300 5E+14 1 360 4 300 5E+14 2 360 5 300 5E+14 5 360 6 300 5E+14 1 380 7 300 5E+14 0.5 400 8 300 5E+14 1 400 9 300 5E+14 4 400 10 300 5E+14 0.5 430 实验样品设置在相同的注入条件下，对不同的封管退火条件进行对比，实验通过SIMS测试注入及退火后碲镉汞材料中As的扩散分布情况，以表征对比不同退火条件的可行性及稳定性。SIMS测试使用的是EAG实验室的Cameca 4F测试设备，针对非金属As的SIMS测试采用的离子源是Cs源，测试极限为5×1015atoms/cm3，测试面积为50~250 μm2，测试深度大于5 μm。
3. 实验结果分析
首先进行的实验样品为样品1~5，样品1作为对照不进行封管退火工艺，其他4个样品分别进行了不同时间相同温度的封管退火处理。实验样品的SIMS测试结果如图 1所示，结果通过Gidding函数拟合。同时表 2给出了样品1~10的相关测试数据，其中EOR（end-of-range，EOR）表示砷离子注入的极限深度；峰值深度（peak depth）表示峰值浓度所在的深度；峰值浓度（peak concentration）表示碲镉汞材料中砷离子浓度的最大值。
表 2 样品1~10的测试数据Table 2. Test data for samples 1-10Sample EOR/μm Peak depth/μm Peak concentration/cm-3 1 0.4171 0.0962 3.71E+19 2 0.4182 0.1011 3.6E+19 3 0.4263 0.1050 3.39E+19 4 0.4755 0.1059 3.34E+19 5 0.4812 0.1095 3.27E+19 6 0.4954 0.1134 2.73E+19 7 0.5075 0.1074 3.77E+19 8 0.5263 0.1249 3.02E+19 9 0.5577 0.1280 1.87E+19 10 0.8557 0.1314 8.64E+18 由于SIMS对每一个不同样品的测量存在差异，因此，应该选择统一的基线来确定砷离子注入的极限深度（EOR），这里选取浓度5×1015cm-3为基线。
由表 2中的测试结果可以看出，As离子注入碲镉汞材料后，在材料内部大致呈高斯分布，注入的极限深度约为0.42 μm，注入峰值深度约为0.1 μm，注入峰值深度与文献[16]中理论计算得到的值相符，并且注入极限深度（0.42 μm）也与经过LSS（Lindhard Scharff and Schiott）理论计算得到的理论值相符。
从图 1中5个样品SIMS测试的As离子浓度分布图来看，直观上注入As离子在碲镉汞材料中扩散分布情况差异较小，但是由表 2的测试数据结果来看，在不同退火时间下，注入As离子在碲镉汞材料内部的浓度分布有所不同。主要实验结果总结为以下两点：
① 与未退火的样品1相比，其他退火后的样品3个测试参数均发生变化。其中EOR值和As离子峰值深度均增加，说明退火后As离子发生进一步扩散。另外，As离子的峰值浓度与未退火样品相比则有所减小，说明退火后As离子向碲镉汞内部发生整体扩散，可由此通过控制退火条件来控制器件的结深。
② 在2~5号4个退火样品中，不同退火时间下，As离子分布的3个参数也发生相应变化。首先，与未退火样品1相比，样品2、3变化小，样品4、5之间的EOR也仅有微小变化，而从样品3~样品4的EOR变化则较明显，为50 nm左右。这说明在1个小时的退火时间内，As离子发生的扩散效果较弱。而当退火时间达到2 h以上时，As离子在碲镉汞材料内扩散较明显，但是当退火时间继续增加时，As离子的扩散程度也趋于平稳，这个结果可能与退火汞压有关，导致As的扩散受到限制。
其次，对于峰值深度和峰值浓度的变化，2~5这4个退火样品的变化趋势是，随着退火时间的增加，峰值深度增加，而峰值浓度减小，这种变化的原因是，退火时间的增加导致注入As离子整体发生扩散，峰值浓度随之减小，峰值深度则有所增加。
在上述5个实验样品之后，我们发现随着退火时间的增加，As的扩散似乎不是很明显，同时此时砷的扩散主要以As占据Hg位进行，As未被激活。因此继续进行退火实验，以进一步研究As离子的扩散与激活（实验样品为6~10）。增加封管退火的温度（同时也相应改变退火时间）进行对比实验，实验样品的SIMS测试结果如图 2所示。
从图 2可以直观看出，0.5 h、380℃退火的6号样品依旧没有发生明显的扩散，未发生砷激活的扩散过程。
对比图 1和图 2实验结果可以看出，样品7~9在400℃下进行不同时间的退火，400℃退火比360℃和380℃退火后As离子扩散更明显。且在400℃不同时间退火的7~9号样品，由表 2可知EOR深度、峰值深度、峰值浓度等测试参数变化趋势与2~5样品所得结论一致。但是由图 2可知，样品7~9与样品2~6相比，As浓度分布曲线有所不同，样品7~9的砷扩散分布曲线有明显的原子扩散阶段。出现这个结果的原因是，在实验中400℃的退火条件下，As的扩散主要以占据Te位而被激活过程为主导，另外随着退火时间的增加As原子发生进一步扩散，与As的扩散激活过程相符[10]。
为了进一步确认As扩散激活的退火条件，同时考虑到高温退火时n区反型、材料组分变化等问题，设置了0.5 h、430℃退火的实验样品10。
由样品10的测试结果可以看出，与1~9号样品相比，10号样品在注入退火后As离子扩散更明显。从浓度分布曲线来看，样品10有一个明显的扩散区，该扩散区以As占据Te位而被激活的原子扩散为主，As离子扩散增加也直接导致了峰值浓度的大幅减小，扩散程度大说明被激活的砷离子多，激活效果好。样品10中EOR约为0.86 μm，激活扩散过程占主导，且激活扩散长度约为0.5 μm，扩散程度高，与文献[10]中相当，符合器件结深要求，说明430℃的高温退火对器件成结工艺是可行的。
另外由2~10号样品的测试结果可知，由样品2、7、10与样品3、6、8实验结果可知，在相同时间下，提高退火温度EOR明显增加，说明提高一定的退火温度有利于As离子的扩散。
4. 长波p-on-n焦平面器件制备
通过实验，我们得到0.5 h、430℃+20 h、240℃的退火条件对长波碲镉汞p-on-n器件制备时砷的扩散激活是可行的。进而采用该退火条件制备像元间距为15 μm，器件尺寸为640×512的As注入长波碲镉汞p-on-n焦平面器件。n型吸收层通过LPE生长得到，p型层通过As注入后退火激活实现，在经过光刻、钝化、金属电极制备等工艺完成焦平面器件制备。
在77 K的温度下对所制器件进行I-V测试，测试结果如图 3所示。通过pn结I-V曲线图我们可以看出，随着偏置电压从-0.1 V~0.6 V变化过程中，器件的电流有明显的二极管电流特性，反向偏置电压大于500 mV时，器件反向饱和电流未发生明显变化，反向特性良好，且正向特性正常。另外在77 K的工作温度，303 K的黑体辐射下，对该器件进行了焦平面性能参数测试，信号响应图如图 4所示。测试结果显示器件的有效像元率达到99.7%以上，响应信号均匀。由测试结果可以得出结论，所采用的退火条件对实现长波碲镉汞p-on-n器件的制备是可行的，并且器件工艺相对稳定。
5. 总结
本文进行了p-on-n结构的长波碲镉汞红外探测器制备技术的研究，通过退火实验，研究分析退火过程中As的扩散情况。在富汞高温退火条件下，温度不变，随着退火时间增加，As的扩散也随之增加，表现在EOR深度、峰值深度的增加以及峰值浓度的减小；同样地，退火时间不变，提高退火温度也有利于砷的扩散激活。实验结果表明，对于As的扩散与激活来说，400℃的退火温度是必须的，在温度大于400℃时，As的扩散明显出现通过占据Te位而被激活的过程。通过器件pn结的I-V测试分析以及焦平面器件性能指标的测试结果，确定了0.5 h、430℃+20 h、240℃退火条件对制备p-on-n长波碲镉汞红外焦平面探测器的可行性，并成功制备出长波640×512的p-on-n焦平面器件，为长波、甚长波红外探测器的制备提供了新的工艺条件，对p-on-n结构的红外探测器制备有一定的工程实用价值。为了进一步确定稳定可控的砷注入及激活退火条件，还需要对多种高温激活退火条件进行实验研究。
-
![]()
图 3 红外与可见光图像匹配的识别与避障方法
Figure 3. Recognition and obstacle avoidance method by matching infrared and visible light images
![]()
图 10 基于红外图像的检测模型测试结果
Figure 10. Test results of detection model based on infrared images
-
[1] 赵涛, 张翼, 赵贤文, 等. 基于视觉的巡检机器人环境感知和导航避障研究[J]. 无线电工程, 2023, 53(8): 1883-1890. DOI: 10.3969/j.issn.1003-3106.2023.08.019 ZHAO T, ZHANG Y, ZHAO X, et al. Research on environment perception and navigation obstacle avoidance of inspection robot based on vision [J]. Radio Engineering, 2023, 53(8): 1883-1890. DOI: 10.3969/j.issn.1003-3106.2023.08.019
[2] LI Y, LIU Y. Vision-based obstacle avoidance algorithm for mobile robot[C]//2020 Chinese Automation Congress (CAC), 2020: 1273-1278, doi: 10.1109/CAC51589.2020.9326906.
[3] Kim D H, Kim G W. Dual Expanded Guide Circle (Dual-EGC) algorithm for obstacle avoidance of remotely operated mobile robot[C]//2017 14th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), 2017: 226-227, doi: 10.1109/URAI.2017.7992718.
[4] 罗建军, 刘振声, 龚翔, 等. 基于无人机图像与迁移学习的线路绝缘子状态评价方法[J]. 电力工程技术, 2019, 38(5): 30-36. LUO J, LIU Z, GONG X, et al. Insulator state evaluation method based on UAV image and migration learning[J]. Electric Power Engineering Technology, 2019, 38(5): 30-36.
[5] WANG Z, ZHAN J, DUAN C, et al. A review of vehicle detection techniques for intelligent vehicles[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(8): 3811-3831. DOI: 10.1109/TNNLS.2021.3128968
[6] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]//25th IEEE International Conference on Image Processing. IEEE, 2018: 1248-1252.
[7] Carion N, Massa F, Synnaeve G, et al. End-to-end object detection with transformers[C]//Proc. of the European Conference on Computer Vision, 2020: 213-229.
[8] Ross Girshick. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 1440-1448.
[9] Redmon J, Divvala S, Girshick R et al. You only look once: unified, real-time object detection[C]//Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[10] 刘成民, 戴中坚, 陈轩. 基于TensorFlow框架的有源配电网深度学习故障定位方法[J]. 电力工程技术, 2019, 38(5): 8-15. LIU C, DAI Z, CHEN X. A fault location method for active distribution network based on Tensorflow deep learning[J]. Electric Power Engineering Technology, 2019, 38(5): 8-15.
[11] 徐海洋, 赵伟, 刘建业. 基于边缘结构特征的红外与可见光图像配准算法[J]. 红外技术, 2023, 45(8): 858-862. http://hwjs.nvir.cn/cn/article/id/99918810-4d08-4553-8dc2-f4eb2ccd117f XU H, ZHAO W, LIU J. Infrared and visible image registration algorithm based on edge structure features[J]. Infrared Technology, 2023, 45(8): 858-862. http://hwjs.nvir.cn/cn/article/id/99918810-4d08-4553-8dc2-f4eb2ccd117f
[12] 谢林枫, 蒋超, 孙秋芹, 等. 基于AMC算法的变电站巡检机器人地图创建与定位[J]. 电力工程技术, 2019, 38(5): 16-23. XIE L, JIANG C, SUN Q, et al. The global map's creating and positioning of substation inspection robot based on adaptive Monte Carlo particle filter algorithm[J]. Electric Power Engineering Technology, 2019, 38(5): 16-23.
[13] 李易达, 汪刘洋, 韩雨晓, 等. 基于ROS系统的作物图像自主采集系统[J]. 智能化农业装备学报, 2023, 4(2): 53-62. LI Y, WANG L, HAN Y, et al. Crop image autonomous acquisition system based on ROS system[J]. Journal of Intelligent Agricultural Mechanization, 2023, 4(2). 53-62
[14] 李淑菲, 李凯雨, 乔岩, 等. 基于可见光光谱和改进YOLOv5的自然场景下黄瓜病害检测方法[J]. 光谱学与光谱分析, 2023, 43(8): 2596-2600. LI S, LI K, QIAO Y, et al. Cucumber disease detection method based on visible light spectrum and improved YOLOv5 in natural scenes[J]. Spectroscopy and Spectral Analysis, 2023, 43(8): 2596-2600.
[15] CHEN S, LI X, ZHAO L, et al. Medium-low resolution multisource remote sensing image registration based on SIFT and robust regional mutual information[J]. International Journal of Remote Sensing, 2018, 39(10): 3215-3242.
[16] CHEN Yanjia. Visible and infrared image registration based on region features and edginess[J]. Machine Vision and Applications, 2018, 29(1): 113-123.
[17] ZENG Qiang. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]. Journal of Real-Time Image Processing, 2020, 5(17): 1103-1115.
[18] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Trans. on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[19] Farooq M A, Shariff W, O'callaghan D, et al. On the role of thermal imaging in automotive applications: a critical review[J]. IEEE Access, 2023, 11: 25152-25173.
-
期刊类型引用(2)
1. 王鑫，刘世光，张轶，赵旭豪，王娇. p-on-n型碲镉汞小间距探测器研究. 激光与红外. 2025(03): 395-398 . 
百度学术
2. 王鑫，刘世光，张轶，王丹，宁提. p-on-n型10μm像元间距长波1280×1024红外探测器制备研究. 红外. 2024(11): 13-16 . 百度学术
其他类型引用(0)
下载:
计量
- 文章访问数: 49
- HTML全文浏览量: 6
- PDF下载量: 29
- 被引次数: 2
