Inspection Robot Obstacle Recognition and Classification Based on Infrared and Visible Light Image Matching
-
摘要:
在电网、桥梁等较为复杂的工况环境下,巡检机器人可以有效代替人工进行设备的检测与维护。为了实现巡检机器人在复杂环境中的自动避障作业,提出了基于YOLOv5深度学习网络模型的红外与可见光图像匹配识别技术,使机器人能够识别并分类各种障碍物,包括活体和非活体障碍。在实际巡检作业中,机器人同时配置红外相机和普通相机实时监测其前方环境。基于大量数据的训练后的YOLOv5网络模型,机器人能够快速、准确识别并判断前方障碍物并进行分类,平均识别精度高达99.2%。机器人不仅能够识别障碍物的性质,还能采取相应的主动动作来应对不同情况。实验结果充分证明了这种基于多种图像信息的综合避障方法的有效性。机器人能够在不同场景中检测、分类和规避障碍物,从而提高了其自主性和适应性。该技术在自动化巡检、安全监测以及救援任务等领域具有广泛的应用前景,为机器人技术的不断发展提供了有力支持。
Abstract:In complex environments such as power grids and bridges, inspection robots can effectively replace manual inspections and equipment maintenance. To achieve autonomous obstacle avoidance for inspection robots in complex environments, this study proposes an image-matching recognition technique based on the YOLOv5 deep-learning network model, which utilizes both IR and visible-light images. This enables the robot to identify and classify various obstacles, including living and nonliving obstacles. During the inspection operations, the robot is equipped with an IR camera and a regular camera to monitor its environment in real time. With the YOLOv5 network model trained on a large dataset, the robot can quickly and accurately identify and categorize obstacles along its path. The robot not only identifies the nature of obstacles but also performs appropriate proactive actions to address different situations. The average recognition accuracy is approximately 99.2%. Experimental results demonstrate the effectiveness of the comprehensive obstacle avoidance method based on multiple-image information. The robot can detect, classify, and navigate obstacles under various scenarios, thereby enhancing their autonomy and adaptability. This technology has wide applications in areas such as automated inspections, safety monitoring, and rescue missions, providing strong support for the continuous development of robotic technologies.
-
Keywords:
- automated obstacle avoidance /
- infrared target detection /
- YOLOv5 /
- deep learning
-
0. 引言
随着计算机视觉技术的迅速发展,结合红外相机和普通相机进行视觉处理并用于自动化操作已成为当今研究的焦点之一。特别是在军事、医疗和工业领域,红外视觉技术展现出了其重要性,因为它在多个应用场景中提供了独特的功能和优势。通过结合红外和可见光视觉,系统能够实现更全面的环境感知和目标识别,使机器人在复杂环境中更高效地执行任务。红外视觉技术的应用前景广阔,其在不同领域的发展都将为社会带来巨大的潜在利益。
传统电缆巡检机器人依赖于人工操作,这种方式效率低、精度低,存在一系列不足,使其难以满足机器人对于前方目标和活物判断的需求。此外,电缆沟内部的封闭环境会给巡检人员的安全带来巨大风险。随着机器人技术的飞速发展,越来越多应用于电力电缆巡检的机器人相继问世。然而,这类机器人普遍缺乏活物识别功能,无法对电缆沟前方出现的事物进行判断,仍需人工遥控参与,难以实现真正意义上的自动化巡检。为了克服这些挑战,亟需开发一种能够自主识别目标和活物的智能电缆巡检机器人,其应用将极大提高巡检效率和安全性,进一步推动电力电缆巡检的自动化进程。
关于巡检机器人视觉处理和避障方面,已经有大量研究工作展开[1-6]。其中的关键目标是在机器人前方的物体上进行活物与非活物(静物)的区分判断。当相机检测到目标是活物时,机器人会自动躲避,无需额外操作而继续前进。在这种情况下,机器人的任务是保持其运动轨迹,以避免与活物发生碰撞。相反,当相机检测到障碍物是非活物时,机器人需要准确判断障碍物的位置,并根据其位置信息自主进行避障操作。这可能包括规划新的移动路径以绕过障碍物,确保机器人能够安全穿越环境。这些研究有望为实现机器人的自主避障能力提供有效的技术支持,从而进一步提升巡检机器人的性能和可靠性。
目标检测算法主要可分为3大类。首先是基于Transformer架构的算法,如Detection Transformer(DETR)[7],它们引入了注意力机制,不再使用传统的锚框。DETR在密集场景下表现出色。其次是两阶段检测算法,如Faster R-CNN[8],它们采用锚框方法,然而一些研究也采用了新的策略,如最大稳定性极值法,以提高性能并减少虚警。最后是单阶段检测算法,其中YOLO系列表现突出。YOLOv5在目标检测速度和性能方面都表现出色。最近,研究人员对YOLOv5进行了改进,引入了注意力机制和圆滑标签,进一步提升了其性能。YOLOv5是图像级目标检测领域的一种深度学习模型[9-14],在计算机视觉领域具有诸多优势。它仅关注整体图像的高级特征,而无需处理像素级详细信息,通常需要更少的参数和计算量,更适合部署在计算资源有限的巡检机器人平台上。
随着计算机视觉和机器人技术的不断进步,结合红外相机以及先进算法如YOLOv5等在电缆巡检领域的应用正带来新的可能性[15]。这些先进技术的引入不仅提高了巡检的效率和准确性,还实现了更高程度的自动化。利用红外相机探测电缆系统中的异常情况,再结合YOLOv5等目标检测算法,能够快速而可靠地识别关键目标。这些技术预计将在电缆巡检领域以及其他自动化任务中发挥重要作用。
本文提出了一种适用于电缆巡检机器人的红外与可见光图像匹配的识别与避障方法。巡检机器人通过履带式底盘运行并携带工业相机与红外相机,同时配备机械臂用于维护与检修作业。通过对采集的图像数据进行数据集构建,并利用YOLOv5网络模型进行深度学习训练,实验结果表明机器人能够快速而准确地识别障碍物,有助于提升机器人在自动化巡检中的智能运行与自主导航能力。
1. 巡检机器人系统
1.1 机器人组成
如图 1所示,电缆识别算法将被应用于电缆沟巡检机器人。该机器人包括检测机械臂、红外及普通相机、履带式底盘以及检测传感器模组等关键部件。其中,海康工业相机包括红外相机和普通相机,位于机器人前端用于采集数据。
机器人在工作过程中,利用相机实时获取面前图像数据,并作为识别网络模型的输入。通过红外相机与普通相机进行图像匹配,能够判断面前物体的类型,从而对机器人移动算法进行反馈。这使得机器人能够自主判断前方是否存在障碍物以及障碍物的类型,并相应地执行避障操作。当巡检机器人遇到障碍物时,能够识别障碍物种类并根据具体情况执行相应操作,具体实现框图如图 2所示。
基于红外与可见光相机识别与检测方法[16-19],开发智能检测机器人系统已成为当前关键的研究方向。机器人系统利用红外相机和普通相机区分活物和非活物(静物),使机器人能够在面对不同类型的障碍时采取适当的行动。在实际应用中有望提升机器人的自主性和避障能力,使其能够更好地应对不同环境下的移动任务。
1.2 红外与可见光图像匹配原理
巡检机器人红外与可见光图像匹配主要将同时捕获的红外图像和可见光图像进行配对和比较,以从中提取有用的信息和特征,进而实现对环境中物体的准确定位和识别。该方法基本原理是结合红外和可见光图像的互补特性,以增强对目标的检测和识别能力。
红外图像通常用于探测物体的热能分布情况,能够显示出目标的热量分布特征,而可见光图像则用于捕捉物体的形状、纹理和颜色等细节信息。通过将这两种图像进行配对和匹配,可以实现对物体的全面观测和分析,从而提高对目标的识别和定位准确性。同时结合深度学习识别算法,对两种图像的类别进行分类与融合,获得更加准确的识别与匹配结果。
通过对红外与可见光图像进行分析与匹配,可以实现巡检机器人避障功能,该算法的总体方案流程如图 3所示。
红外与可见光图像匹配识别方法主要包括以下内容:
1)图像对齐与配准:将红外图像与可见光图像进行准确的对齐和配准,确保两种图像所捕捉的场景具有一致的空间参考。
2)特征提取:从配对的红外和可见光图像中提取关键的视觉特征,例如红外图像中的热能分布特征和可见光图像中的形状、纹理等特征。
3)特征融合与匹配:将红外和可见光图像提取的特征进行融合和匹配,以便综合考虑不同类型图像的信息,从而实现对目标的精准识别和定位。
4)目标识别与处理:根据匹配的结果,进行目标的识别与处理,如确定目标的类型、位置和状态,为机器人制定相应的行动策略,如避障或执行特定任务等。
通过红外与可见光匹配识别分类方法使得巡检机器人可以更加准确地感知和理解周围环境,提高在复杂环境下的自主导航能力和智能化操作水平。
2. 图像识别模型与方法
2.1 图像数据集
在红外视觉处理中,数据集的重要性不可忽视。一个合适的数据集可以帮助研究人员和开发者训练出更精确、鲁棒性更强的模型,从而提高红外视觉技术在军事、医疗、工业以及其他领域的应用效果。因此,数据集的构建、维护和共享对于红外视觉研究和应用具有重要价值。本文中,巡检机器人主要在电缆沟等狭窄环境中运动。电缆沟通常用于敷设和更换电力或电信电缆设施,而人类在其中的活动受限,因此采用机器人进行相关操作。针对机器人避障问题,需要进行相应的研究。因此,一个专注于电缆沟环境的数据集对于提高机器人在此环境下的自主导航能力至关重要。收集和准备红外图像数据是进行红外视觉处理任务的关键步骤之一。一般步骤包括数据收集、标注和增强的过程。
本研究中的模型都在相同的硬件和软件配置上进行了训练。硬件配置如下:2.20 GHz的Intel Core i7-12700 CPU,16 GB DDR4内存,NVIDIA GeForce RTX 1060显卡。软件配置如下建立如下:Windows11操作系统,CUDA 11.6,Pytorch 1.13.1,Python 3.7.16。
采用工业可见光与红外相机进行图像采集,拍摄的视频储存下来并用于后续处理。视频中分别对人、动物、静物等物体进行拍摄并收集,对视频一共采集了9991张图片作为后续训练所用数据集,其中6791张作为训练集,2000张作为验证集,1200张图片作为测试集。其中,模型使用训练集进行迭代训练,并在验证集上验证训练结果,最终将训练结果应用于测试集上,以达到最完善的模型。
红外相机采集到的数据集中包括不同拍摄视角、不同目标形状下红外相机采集的图像,其中探测到的目标数量也不同,采集的部分图像如图 4所示,其中图 4(a)是以人为目标采集的红外图像,图 4(b)是以动物为目标的红外图像,图 4(c)是以温度异常的静物为目标的红外图像,图 4(d)是无异常温度物体的红外图像。通过分析这些图像,以达到红外相机识别出温度异常的目标,实现移动巡检机器人智能避障。
2.2 检测与识别模型
深度学习的模型中,在一定范围之内网络深度越深,其结构组成就越复杂,相对来说对目标的识别精度就会越高,但是同时会产生很大的计算量,也会需要更多的浮点运算,最终生成的模型权重文件内存占比也较大,从而导致对部署端硬件的要求会提高,包括CPU的运算能力、运行内存和储存空间。所以在实现移动巡检机器人自动化避障的条件下,更加倾向于轻量级模型。基于此,本文通过对模型检测性能和检测速度综合考虑,选用YOLOv5系列。YOLOv5的骨干网络通常是CSPDarknet53或CSPDarknet53-PANet。这个网络负责从输入图像中提取高级别的特征。CSPDarknet53结合了CSPNet(Cross-Stage Partial Network)和Darknet53,拥有强大特征的提取能力。
在YOLOv5系列中存在4种基础模型,YOLOv5x、YOLOv5l、YOLOv5m、YOLOv5s,由于v5s内存占比小、检测速度较快,同时还能保证较高的精确度,所以选用YOLOv5s作为原始模型,其网络结构示意图如图 5所示。
2.3 改进算法
使用YOLOv5s实现巡检机器人目标检测的方法主要包括3个步骤:数据预处理、网络训练和检测结果输出。本文在数据预处理中增加部分数据增强步骤,目的在于改善由红外成像方式引起的图像质量不高、目标边界模糊造成的检测精度下降问题,针对图像中含有目标类别选择增强算法,起到丰富目标特征、提升检测精度的效果。在网络训练阶段选用YOLOv5s模型,该算法主要包括4个部分:Input、Backbone、Neck、Prediction。在Input中引入跨域迁移学习策略,用于解决使用小样本数据集对网络进行训练造成的模型不稳定问题。
跨域迁移学习就是从大数据集样本、多种类(80类)目标训练得到的用于可见光图像目标检测的网络权重,应用于小样本数据集、较少种类(1~2类)目标训练的红外目标检测任务中进行再训练,如图 6所示。从目标种类丰富、样本量大的数据集训练得到的用于可见光图像目标检测的模型中学习其特征空间、边缘概率和网络参数,进而提升YOLOv5s应用于小样本红外数据集训练的泛化能力和检测精度。
3. 实验与测试
3.1 目标检测实验
巡检机器在户外以及多种工况等下进行数据采集,将所拍摄的红外图像以及普通图像进行记录与保存。使用LABELIMG为数据集增加图像标签,之后进行模型训练和结果验证,整体红外图像检测模型示意图如图 7所示。
将标注好的红外图像制作成VOC数据集进行训练和测试,训练过程中,对算法的各项指标进行动态记录,随着迭代次数的增加,总损失的变化趋势如图 8所示。初始模型训练参数设置如下:网络初始学习率设置为0.001,权重衰减系数设置为0.0005,动量系数设置为0.9,迭代次数设置为200。
对基于YOLOv5网络模型的电缆检测算法,训练集开始的损失在0.12左右,一开始下降速度较快,迭代20代后,损失在0.06左右,之后损失下降速度减慢,迭代200代后,损失下降到0.02左右,对VOC数据集进行性能评估,可见该系统在目标识别方面的性能卓越,为机器人导航提供了极为可靠的数据支持。
设置不同的置信度阈值,本文使用的图像匹配识别检测模型在测试集上具有不同的精度和召回率,选取多个置信度阈值,可以获得相应的模型测试精度和召回率。
图 9显示了基于YOLOv5网络的电缆检测模型的P-R(Precision-Recall)曲线,可以清楚地显示出精度和召回率之间的关系。当召回率为0的时候,精度是1.0,当召回率逐渐增加到0.8的过程,精度没有变化,当召回率增加到接近0.9以后,精度略微下降,然后持续下降。根据精度-召回率曲线和坐标轴之间的面积,可以计算出电缆检测的平均精度均值(mAP)为99.2%。
经过训练的权重文件包含best.pt(最佳)以及last.pt(最新),这些文件包含了模型参数。这些权重文件可以直接加载到YOLOv5模型中,以进行目标检测任务。
使用训练好的YOLOv5网络的红外检测模型对有红外目标视频进行测试,测试效果如图 10所示。对含人像的200张采集图片,均能进行识别;对包含动物的100张图片识别率高达96%;对有温度的静物的80张图片识别率能达到87.5%;而对室温的50张物体图片进行识别时,均没有识别到相关物体。其中图 10(a)为识别的红外人像,图 10(b)是识别的红外动物图像,图 10(c)是拍摄的有温度的静物图像,图10(d)是拍摄的室温中的静物图像,未识别到相关物体。
3.2 机器人识别测试
机器人识别测试流程如图 11所示。基于红外与可见光图像匹配识别的巡检机器人避障方法采用工业相机获取环境图像,同时将红外视频流和普通视频流导入,进行实时分析,当目标为人时,检测效果如图 12(a)所示;当目标为动物时,检测效果如图 12(b)所示。在机器人系统中,普通相机和红外相机共同工作以检测潜在的目标。当普通相机捕捉到人或动物等目标的信息,而红外相机检测到“warning”信号时,这意味着系统已经发现了一个活动的生物体。在这种情况下,系统会向电脑端提供一个反馈信号(如警报等音效),以便后续采取进一步操作。
如果检测到的目标是生物体,例如人或动物,并且这些目标正在移动,系统可以选择继续前进,因为这些生物可能只是经过或者在正常活动。然而,如果系统检测到目标长时间没有移动,系统可以采取适当的避障措施,以确保机器人不会碰到潜在的危险或阻碍物。
另一方面,如果普通相机检测到的目标是非生物体,例如石头或树木,而红外相机没有检测到异常温度信号,系统会提供另一种反馈信号。面前为有温度的静止物体时,提供反馈并执行避障操作,如图 13所示。
机器人识别测试中,当巡检机器人面前有活物时,上位机会实时听到警报声;当巡检机器人面前为非生物体的障碍物时,发出另一种警报声。在多次不同环境、面前为不同生物体、非生物体的条件下进行实验时,可以稳定地获得上述结果。
如果在视频流中既没有普通相机捕捉到目标的信号特征,也没有红外相机检测到异常温度,系统将暂时不提供反馈信号,等待后续操作。这种策略可以减少误报和不必要的干预。
需要注意的是,由于环境温度的变化或一些动物具有较厚的皮毛,红外识别可能会受到影响,如图 14所示。因此,在本研究中,对难以识别的红外图像进行了误差测试,在环境与物体自身特征等因素干扰的情况下,识别率只有50%左右,后续仍需要对这种复杂情况进行额外的识别。这些测试有助于识别系统的局限性并提供改进的方向,以确保系统在各种情况下都能可靠工作。
本文实时检测实验如图 15所示,当所探测目标包括活物和静物时,如图 15(a)所示,上位机输出有活物和静物,等待活物自行避让,再进行路径规划;探测目标只有静物时,如图 15(b)所示,上位机输出为静物,直接进行路径规划实现避障。
4. 结论
本文提出了一种用于巡检机器人的识别与避障方法,该方法基于YOLOv5网络模型对红外与可见光图像匹配识别。构建了用于巡检机器人的图像采集与识别系统,包括主控单元、图像采集模块以及实际检测模块等。通过识别系统的应用可以实现巡检机器人在不同环境中的障碍物识别与避障,提升机器人的自主导航性能。基于YOLOv5的网络模型在对数据集进行学习与训练后,平均识别精度高达99.2%。基于红外与可见光图像匹配识别与避障方法能够使机器人识别障碍物,并对移动算法提供反馈与支持。实验结果表明该识别与避障方法可以准确辨识各类对象,有助于提升机器人的精确导航与自主运行。
在后续研究中将进行深入的机器人识别与作业相结合的实验与测试研究。该方法与巡检机器人的结合应用为自动化、智能化巡检提供了有力支撑,有望在工业自动化和无人机等领域的各种应用中发挥关键作用,提高巡检机器人系统的自主性。
-
-
[1] 赵涛, 张翼, 赵贤文, 等. 基于视觉的巡检机器人环境感知和导航避障研究[J]. 无线电工程, 2023, 53(8): 1883-1890. DOI: 10.3969/j.issn.1003-3106.2023.08.019 ZHAO T, ZHANG Y, ZHAO X, et al. Research on environment perception and navigation obstacle avoidance of inspection robot based on vision [J]. Radio Engineering, 2023, 53(8): 1883-1890. DOI: 10.3969/j.issn.1003-3106.2023.08.019
[2] LI Y, LIU Y. Vision-based obstacle avoidance algorithm for mobile robot[C]//2020 Chinese Automation Congress (CAC), 2020: 1273-1278, doi: 10.1109/CAC51589.2020.9326906.
[3] Kim D H, Kim G W. Dual Expanded Guide Circle (Dual-EGC) algorithm for obstacle avoidance of remotely operated mobile robot[C]//2017 14th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), 2017: 226-227, doi: 10.1109/URAI.2017.7992718.
[4] 罗建军, 刘振声, 龚翔, 等. 基于无人机图像与迁移学习的线路绝缘子状态评价方法[J]. 电力工程技术, 2019, 38(5): 30-36. LUO J, LIU Z, GONG X, et al. Insulator state evaluation method based on UAV image and migration learning[J]. Electric Power Engineering Technology, 2019, 38(5): 30-36.
[5] WANG Z, ZHAN J, DUAN C, et al. A review of vehicle detection techniques for intelligent vehicles[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(8): 3811-3831. DOI: 10.1109/TNNLS.2021.3128968
[6] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]//25th IEEE International Conference on Image Processing. IEEE, 2018: 1248-1252.
[7] Carion N, Massa F, Synnaeve G, et al. End-to-end object detection with transformers[C]//Proc. of the European Conference on Computer Vision, 2020: 213-229.
[8] Ross Girshick. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 1440-1448.
[9] Redmon J, Divvala S, Girshick R et al. You only look once: unified, real-time object detection[C]//Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[10] 刘成民, 戴中坚, 陈轩. 基于TensorFlow框架的有源配电网深度学习故障定位方法[J]. 电力工程技术, 2019, 38(5): 8-15. LIU C, DAI Z, CHEN X. A fault location method for active distribution network based on Tensorflow deep learning[J]. Electric Power Engineering Technology, 2019, 38(5): 8-15.
[11] 徐海洋, 赵伟, 刘建业. 基于边缘结构特征的红外与可见光图像配准算法[J]. 红外技术, 2023, 45(8): 858-862. http://hwjs.nvir.cn/cn/article/id/99918810-4d08-4553-8dc2-f4eb2ccd117f XU H, ZHAO W, LIU J. Infrared and visible image registration algorithm based on edge structure features[J]. Infrared Technology, 2023, 45(8): 858-862. http://hwjs.nvir.cn/cn/article/id/99918810-4d08-4553-8dc2-f4eb2ccd117f
[12] 谢林枫, 蒋超, 孙秋芹, 等. 基于AMC算法的变电站巡检机器人地图创建与定位[J]. 电力工程技术, 2019, 38(5): 16-23. XIE L, JIANG C, SUN Q, et al. The global map's creating and positioning of substation inspection robot based on adaptive Monte Carlo particle filter algorithm[J]. Electric Power Engineering Technology, 2019, 38(5): 16-23.
[13] 李易达, 汪刘洋, 韩雨晓, 等. 基于ROS系统的作物图像自主采集系统[J]. 智能化农业装备学报, 2023, 4(2): 53-62. LI Y, WANG L, HAN Y, et al. Crop image autonomous acquisition system based on ROS system[J]. Journal of Intelligent Agricultural Mechanization, 2023, 4(2). 53-62
[14] 李淑菲, 李凯雨, 乔岩, 等. 基于可见光光谱和改进YOLOv5的自然场景下黄瓜病害检测方法[J]. 光谱学与光谱分析, 2023, 43(8): 2596-2600. LI S, LI K, QIAO Y, et al. Cucumber disease detection method based on visible light spectrum and improved YOLOv5 in natural scenes[J]. Spectroscopy and Spectral Analysis, 2023, 43(8): 2596-2600.
[15] CHEN S, LI X, ZHAO L, et al. Medium-low resolution multisource remote sensing image registration based on SIFT and robust regional mutual information[J]. International Journal of Remote Sensing, 2018, 39(10): 3215-3242.
[16] CHEN Yanjia. Visible and infrared image registration based on region features and edginess[J]. Machine Vision and Applications, 2018, 29(1): 113-123.
[17] ZENG Qiang. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]. Journal of Real-Time Image Processing, 2020, 5(17): 1103-1115.
[18] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Trans. on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[19] Farooq M A, Shariff W, O'callaghan D, et al. On the role of thermal imaging in automotive applications: a critical review[J]. IEEE Access, 2023, 11: 25152-25173.