Infrared Image Recognition Method for Power Equipment Based on Improved YOLO v5
-
摘要:
为解决电力设备红外图像有遮挡、分类不准确和特征提取不充分等问题，本文提出一种改进的YOLO v5识别方法。首先通过迁移学习的方法，将电力设备可见光图像和红外图像相融合，接着将Triplet注意力机制嵌入到特征提取网络中，对关键特征信息进行加权强化，最后通过多尺度融合的方法实现不同目标的识别。研究结果表明：相对于Faster R-CNN和SSD，本文方法的识别精度和识别效率最高，且适应于复杂背景下的多类型电力设备识别；本文方法的模型仅4.1 MB，相较于SSD缩减了80.8%，实现了网络模型的轻量化。本文方法为电力设备红外图像智能检测提供了新颖可行的方案。
Abstract:This study proposes an improved YOLO v5 method to solve the problems of inaccurate classification and insufficient feature extraction from power equipment infrared images. First, the visible light data and infrared images of the power equipment were fused using the transfer learning method. The triplet attention mechanism was then embedded into the feature extraction network for weighted intensification of key feature information. Finally, different targets were identified using multiscale fusion. The results show that compared with faster R-CNN and SSD, the proposed method has higher recognition accuracy and efficiency and is suitable for image recognition of multi-type power equipment in complex backgrounds. This method realizes a lightweight network model with a size of only 4.1 MB, which is a reduction of 80.8% compared to that of SSD, providing a novel and feasible scheme for intelligent infrared image detection of power equipment.
-
Keywords:
- power equipment /
- infrared image /
- ttransfer learning /
- YOLO v5s /
- attention mechanism /
- light-weight model
-
0. 引言
红外图像在电力设备的图像识别中应用广泛，可在带电状态下进行设备辨识和异常诊断，具有一定的实践效果[1-3]。电力设备大多安装在野外，在昼夜温差突变、覆冰污秽等环境作用下，可能会发生缺陷故障，引起局部放电、温度升高的现象，红外图像检测技术[4]可及时发现问题，为电力设备运维提供了技术支撑。红外图像技术[5-6]可应用于变压器高压套管的故障诊断研究，通过热像特征谱图查明故障原因。吕俊[7]等人通过变电站全景温度平台提取温度场的方法，结合各设备SIFT特征，实现了电力设备的有效识别。
电力设备红外图谱特征提取的方法主要包含图像处理和深度学习[8-11]。文献[12]基于多特征联合稀疏的方法，对电力设备的外观特征和局部问题进行特征识别。Faster RCNN算法提供了一种对多类变电设备进行目标识别的方法，并取得了一定的效果[13]。电力设备中绝缘子、套管为小目标群体，权重值较低，通过较深层的特征图进行分析提取，效果有待提升[14-15]。文献[16-17]提出了基于深度迁移学习的电力设备部件检测方法，开展了SSD和YOLO v3等算法的性能测试。
现有的研究多基于实验室环境或者选择背景简单的图像作为数据集[18]，然而在实际现场环境中，设备图像的背景往往比较复杂，诸如图像有遮挡、设备种类繁多，因此本文提出了一种改进YOLO v5的方法，可解决工程实际问题，为电力设备红外图像的识别提供一种新思路。
1. 识别原理
最新YOLOv5网络模型具有强大的计算能力，可实现红外图像实时处理，且权重数据文件仅为YOLO v4[19]的1/9。但该算法并不适应于尺寸大小繁杂的电力设备，识别效果有待改进。
1.1 多尺度融合
本文提出一种改进YOLO v5的红外图像识别方法，具体结构如图 1所示。该结构是基于YOLO v5s网络架构，首先训练背景复杂的电力设备可见光图像数据集，经过一系列连续的卷积和池化操作，对前面细节丰富的几层卷积进行层迁移，然后对电力设备红外图像数据集最后几层卷积层进行层迁移，保留全连接层以外的基础权重上进行模型微调，最终完成预训练模型，原YOLO v5s一般采用CSPDarknet+Focus作为基准网络，本网络采用MobileNetV2替换原有的CSPDarknet，具体表现为深度卷积与点卷积的堆叠，从而降低了网络的模型大小和参数量。接着，引入注意力机制[20]，通过提取可视化的特征，直接展示被关注的特征区域，同时通过自适应锚框，设计DIoU_NMS损失函数，增强了多种形态和尺寸目标的识别能力。最后，特征融合部分基于连续下采样上采样的方法，进行各层信息的融合学习，既保证了准确率，又减小了模型尺寸，最终输出尺寸为7×7、32×32和64×64三种特征图，从而实现不同尺度的电力设备识别。
1.2 注意力机制
本文方法采用三重注意力机制（triplet attention, TA）机制，即通过旋转操作和利用残差变换建立维度之间的依存关系，计算量相对较小。TA机制包含3个平行的分支，其中两个分支负责捕获通道C和空间维度W/H之间的跨通道交互，最后一个分支负责通道注意力权重计算，最终输出为3个分支的平均聚合，如图 2所示。
1.3 损失函数
针对众多目标框的筛选，采用加权非极大值抑制（non-maximum suppression, NMS）方法，自适应锚框获得最优的候选框，如图 3所示。实际测试中，电力设备部件较多，采集的红外图像可能存在部分遮挡的问题，各类设备距离较近，故损失函数采用改进的DIoU_NMS，计算公式为：
$$ L_{\text {DIoU }}=1-\mathrm{IoU}+R_{\text {DIoU }}\left(C, C_{\mathrm{p}}\right) $$ (1) 式中：IoU为预测框Cp和真实框C的交集和并集的比值；$ {R_{\text {DIoU }}}\left( {C,{C_{\mathrm{p}}}} \right) $是其惩罚项，计算公式为：
$$ {R_{\text {DIoU }}} = \frac{{{\rho ^2}\left( {c,{c_{\mathrm{p}}}} \right)}}{{{s^2}}} $$ (2) 式中：c和cp分别表示预测框Cp和真实框C的中心点；s是最小包围框的对角线长度；ρ()是欧几里得距离。
d是两个框的中心点距离，计算公式为：
$$ d = \rho \left( {c,{c_{\mathrm{p}}}} \right) $$ (3) 2. 模型搭建
2.1 环境搭建
本文基于改进的YOLO v5方法，对环境的要求较高，见表 1。深度学习框架采用最新的PyTorch 1.8版本，具有大规模训练和模型并行化的优势，适用于图像分割和目标检测等领域。
表 1 环境要求Table 1. Environment configurationItem Configuration OS Windows 11 CPU Intel Xeon Silver 4114T 12C GPU NVIDIA GTX1080Ti RAM 64 GB Deep learning framework PyTorch 1.8 Hard disk 1T 2.2 数据预处理
对某特高压换流站内的电力设备，采集红外图像数据，主要包括绝缘子、避雷器、电流互感器、电压互感器和套管5类电力设备，累计1200张图片，由于每张图片中所含多个目标对象，实际电力设备总数约为7000个，为便于分析，所有图片标准尺寸为640×480，训练样本、测试样本和验证样本的比例为8:1:1。网络结构策略中batch size定为8，优化器采用Adam，每个阶段训练epoch都是150。初始和截止学习率分别设置为1e-4、1e-6，随着迭代次数的增加，损失函数整体呈现下降的趋势，且无振荡过程，收敛性较好。
2.3 精确度衡量
为衡量本文算法的精确度，主要通过准确率（precision）和召回率（recall）进行计算。
$$ \text { precision }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$$ (4) $$\text { recall }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} $$ (5) 式中：TP表示识别正确的正样本；FP表示识别正确的负样本；FN表示识别错误的负样本。为进一步衡量改进模型的优劣，计算准确率曲线与坐标轴所围成的面积（average precison, AP），召回率曲线与坐标轴所围成的面积，分别对其求平均值，即可得到平均精确度（mean average Precison, mAP）和平均召回率（mean recall, mRC），取值范围均为0~1。
3. 数据分析
3.1 不同改进方法的对比
以YOLO v5方法为主体框架，方法1添加迁移学习，方法2引入注意力机制，比较不同改进方法的识别效果，交互比取0.5，统计结果见表 2。
表 2 不同改进方法的识别效果Table 2. Recognition effect of different improvement methodsPower equipment Method 1 Method 2 Ours Insulator AP 0.85 0.87 0.95 Arrester AP 0.86 0.89 0.98 CT AP 0.89 0.97 0.99 PT AP 0.87 0.96 0.98 Transformer bushing AP 0.89 0.92 0.97 mAP 0.87 0.92 0.97 recognition time /ms 27 7.8 5.6 本文方法电力设备的识别准确率明显高于方法1和方法2，说明单独引进注意力机制或者迁移学习的方法，改善效果并不明显。由于绝缘子尺寸较小，容易出现漏检和误检的情况，所以电力设备中绝缘子的识别准确率普遍较低。方法2和本文方法的识别时间较小，说明注意力机制简化了计算量，大幅缩减了计算时间。
3.2 不同深度学习方法的识别效果
电力设备图像识别的主流方法一般为Faster R-CNN和目标检测方法（single shot multiBox detector, SSD），为了验证本文方法的性能，以较难识别的绝缘子为目标对象，开展3种方法识别效果的对比研究，统计数据见表 3。其中，Faster R-CNN和SSD均采用与本文方法相同的迁移学习模型，获得融合图像。
表 3 不同识别算法的效果Table 3. Effects of different recognition algorithmsMethods mAP mRC Recognition
time/msOurs 0.95 0.97 5.8 SSD 0.85 0.88 32 Faster R-CNN 0.91 0.93 78 由表 3可知，本文方法的mAP和mRC均高于其他方法，同时识别效率也明显较低，说明本文方法在保证准确率高的前提下，识别效率也较高，满足实时辨识电力设备的要求。
进一步，为验证复杂场景本文算法的适应性，对某特高压试验基地的电力设备开展目标识别，图 4为电力设备的可见光图，图 5为3种方法的目标识别结果。
图 5(a)识别出的电力设备包含电压互感器、电流互感器、绝缘子和避雷器，且标注名称跟可见光图一一对应，完全一致，准确率达到100%。图 5(b)识别出了所有的电力设备，但有一处电流互感器误认为电压互感器，这可能与该设备有遮挡有关系。图 5(c)未识别出所有的电力设备，遗漏了被遮挡的电流互感器。
相较于其他两种方法，本文方法能准确检测出有遮挡的、背景复杂的电力设备，误检率和漏检率均较低，适用于背景复杂环境下的多类电力设备识别。
3.3 轻量化实验
为了验证本模型的轻量化性能，与YOLO v5s、YOLO v4、Faster R-CNN和SSD等算法进行对比，统计数据见表 4。
表 4 不同方法的参数量与模型大小Table 4. Number of parameters and model size of different methodsMethods mAP@0.5 mAP@0.8 Parameter quantity /M FLOPs/G size/MB Ours 0.97 0.92 0.18 4.2 4.1 YOLO v5s 0.92 0.87 1.32 30.1 29 YOLO v4 0.94 0.83 9.83 323.9 257 Faster R-CNN 0.92 0.81 5.89 145.9 113 SSD 0.86 0.82 0.99 23.8 21.4 由表 4可知，在交互比取0.5和0.8的情况下，本文方法准确率最高；同时，参数量仅为0.18，每秒10亿次的浮点运算数（Giga floating-point operations per second, GFLOPs）计算量仅4.2，模型大小仅4.1 MB，相较于SSD缩减了80.8%，说明本文方法的参数量和计算量较小，实现了网络模型的轻量化。
4. 结论
本文提出了改进YOLOv5的轻量型网络模型，实现了复杂场景下电力设备的红外图像识别，形成结论如下：
1）本文方法以YOLO v5为框架的改进，优于其他改进方法，准确率和识别效率均较高。
2）相对于Faster R-CNN和SSD，本文方法的准确率、召回率和识别效率最高，且适应于复杂背景下的多类型电力设备识别。
3）该方法减小了网络模型，降低了网络计算量，为电力设备红外图像实时检测提供了新的思路。
-
表 1 环境要求
Table 1 Environment configuration
Item Configuration OS Windows 11 CPU Intel Xeon Silver 4114T 12C GPU NVIDIA GTX1080Ti RAM 64 GB Deep learning framework PyTorch 1.8 Hard disk 1T 
下载: 导出CSV
表 2 不同改进方法的识别效果
Table 2 Recognition effect of different improvement methods
Power equipment Method 1 Method 2 Ours Insulator AP 0.85 0.87 0.95 Arrester AP 0.86 0.89 0.98 CT AP 0.89 0.97 0.99 PT AP 0.87 0.96 0.98 Transformer bushing AP 0.89 0.92 0.97 mAP 0.87 0.92 0.97 recognition time /ms 27 7.8 5.6
下载: 导出CSV
表 3 不同识别算法的效果
Table 3 Effects of different recognition algorithms
Methods mAP mRC Recognition
time/msOurs 0.95 0.97 5.8 SSD 0.85 0.88 32 Faster R-CNN 0.91 0.93 78
下载: 导出CSV
表 4 不同方法的参数量与模型大小
Table 4 Number of parameters and model size of different methods
Methods mAP@0.5 mAP@0.8 Parameter quantity /M FLOPs/G size/MB Ours 0.97 0.92 0.18 4.2 4.1 YOLO v5s 0.92 0.87 1.32 30.1 29 YOLO v4 0.94 0.83 9.83 323.9 257 Faster R-CNN 0.92 0.81 5.89 145.9 113 SSD 0.86 0.82 0.99 23.8 21.4
下载: 导出CSV
-
[1] 陈俊佑, 金立军, 段绍辉, 等. 基于Hu不变矩的红外图像电力设备识别[J]. 机电工程, 2013, 30(1): 5-8. https://www.cnki.com.cn/Article/CJFDTOTAL-JDGC201301003.htm CHEN Junyou, JIN Lijun, DUAN Shaohui, et al. Power equipment identification in infrared image based on Hu invariant moments[J]. Journal of Mechanical & Electrical Engineering, 2013, 30(1): 5-8. https://www.cnki.com.cn/Article/CJFDTOTAL-JDGC201301003.htm
[2] 邹辉, 黄福珍. 基于改进Fast-Match算法的电力设备红外图像多目标定位[J]. 中国电机工程学报, 2017, 37(2): 591-598. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201702027.htm ZOU Hui, HUANG Fuzhen. Multi-target localization for infrared images of electrical equipment based on improved fast-match algorithm[J]. Proceedings of the CSEE, 2017, 37(2): 591-598. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201702027.htm
[3] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107009.htm ZHENG Hanbo, LI Jinheng, LIU Yang, et al. Infrared target detection model for power equipment based on improved YOLO v3[J]. Electrotechnical Technology, 2021, 36(7): 1389-1398. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107009.htm
[4] 徐奇伟, 黄宏, 张雪锋, 等. 基于改进区域全卷积网络的高压引线接头红外图像特征分析的在线故障诊断方法[J]. 电工技术学报, 2021, 36(7): 1380-1388. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107008.htm XU Qiwei, HUANG Hong, ZHANG Xuefeng, et al. On-line fault diagnosis method based on infrared image feature analysis of high-voltage lead connector based on improved area full convolutional network[J]. Transactions of the Chinese Society of Electrical Engineering, 2021, 36(7): 1380-1388. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107008.htm
[5] 罗舜. 电力变压器套管将军帽发热故障的红外诊断分析[J]. 变压器, 2018, 55(1): 50-53. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201801018.htm LUO Shun. Infrared diagnosis analysis of power transformer bushing coupler heating[J]. Transformer, 2018, 55(1): 50-53. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201801018.htm
[6] 张杰, 付泉泳, 袁野. 变压器局部放电带电检测技术应用研究[J]. 变压器, 2018, 55(8): 66-71. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201905024.htm ZHANG Jie, FU Quanyong, YUAN Ye. Application research of electric detection technology of partial discharge for transformer[J]. Transformer, 2018, 55(8): 66-71. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201905024.htm
[7] 吕俊, 王福田, 汤进, 等. 基于全景温度场的电力设备在线自动识别与诊断[J]. 计算机与现代化, 2015(8): 19-23. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH201508004.htm LV Jun, WANG Futian, TANG Jin, et al. Online automatic recognition and diagnosis of electrical devices via thermal panorama[J]. Computer and Modernization, 2015(8): 19-23. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH201508004.htm
[8] 商俊平, 李储欣, 陈亮. 基于视觉的绝缘子定位与自爆缺陷检测[J]. 电子测量与仪器学报, 2017, 31(6): 844-849. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201706007.htm SHANG Junping, LI Chuxin, CHEN Liang. Location and detection for self-explode insulator based on vision[J]. Journal of Electronic Measurement and Instrumentation, 2017, 31(6): 844-849. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201706007.htm
[9] 周可慧, 廖志伟, 肖异瑶, 等. 基于改进CNN的电力设备红外图像分类模型构建研究[J]. 红外技术, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm ZHOU Kehui, LIAO Zhiwei, XIAO Yiyao, et al. Construction of infrared image classification model for power equipments based on improved CNN[J]. Infrared Technology, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm
[10] 赵乐, 王先培, 姚鸿泰, 等. 基于可见光航拍图像的电力线提取算法综述[J]. 电网技术: 2021, 45(4): 1536-1546. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202104035.htm ZHAO Le, WANG Xianpei, YAO Hongtai, et al. Summary of power line extraction algorithms based on visible light aerial images[J]. Power System Technology: 2021, 45(4): 1536-1546. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202104035.htm
[11] 史晋涛, 李喆, 顾超越, 等. 基于样本扩充的Faster R-CNN电网异物监测技术[J]. 电网技术, 2020, 44(1): 44-51. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202001005.htm SHI Jintao, LI Zhe, GU Chaoyue, et al. Faster R-CNN power grid foreign body monitoring technology based on sample expansion[J]. Power System Technology, 2020, 44(1): 44-51. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202001005.htm
[12] 乔林, 孙宝华, 徐立波, 等. 多特征联合稀疏表示的电力设备图像识别方法[J]. 自动化技术与应用, 2020, 39(11): 120-123. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ202011026.htm QIAO Lin, SUN Baohua, XU Libo, et al. Power equipment image recognition method based on multi-feature joint sparse representation[J]. Automation Technology and Application, 2020, 39(11): 120-123. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ202011026.htm
[13] 李文璞, 谢可, 廖逍, 等. 基于Faster RCNN变电设备红外图像缺陷识别方法[J]. 南方电网技术, 2019, 13(12): 79-84. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW202110012.htm LI Wenpu, XIE Ke, LIAO Xiao, et al. Based on faster RCNN substation equipment infrared image defect recognition method[J]. Southern Power Grid Technology, 2019, 13(12): 79-84. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW202110012.htm
[14] 杨光俊. 卷积神经网络在电力设备红外图像识别中的应用研究[D]. 广州: 华南理工大学, 2019. YANG Guangjun. Research on the Application of Convolutional Neural Network in Infrared Image Recognition of Power Equipment[D]. Guangzhou: South China University of Technology, 2019.
[15] 付强, 姚建刚, 李唐兵, 等. 基于红外图像的绝缘子串钢帽和盘面区域自动提取方法[J]. 红外技术, 2016, 38(11): 969-974. http://hwjs.nvir.cn/cn/article/id/hwjs201611011 FU Qiang, YAO Jiangang, LI Tangbing, et al. Automatic extraction method of steel cap and disk area of insulator string based on infrared image[J]. Infrared Technology, 2016, 38(11): 969-974. http://hwjs.nvir.cn/cn/article/id/hwjs201611011
[16] 马鹏, 樊艳芳. 基于深度迁移学习的小样本智能变电站电力设备部件检测[J]. 电网技术, 2020, 44(3): 1148-1159. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202003041.htm MA Peng, FAN Yanfang. Small sample smart substation power equipment component detection based on deep transfer learning[J]. Power System Technology, 2020, 44(3): 1148-1159. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202003041.htm
[17] Tianchi J, LI Qiang, MAOSONG L, et al. Target detection method combining inverted residual block and YOLO v3[J]. Transducer and Microsystem Technologies, 2019, 36(11): 56-61.
[18] 王昕, 赵飞, 蒋佐富, 等. 迁移学习和卷积神经网络电力设备图像识别方法[J]. 中国测试, 2020, 46(5): 108-113. https://www.cnki.com.cn/Article/CJFDTOTAL-SYCS202005018.htm WANG Xin, ZHAO Fei, JIANG Zuofu, et al. Transfer learning and convolutional neural network power equipment image recognition method[J]. China Test, 2020, 46(5): 108-113. https://www.cnki.com.cn/Article/CJFDTOTAL-SYCS202005018.htm
[19] WU D, LV S, JIANG M, et al. Using channel pruning-based YOLOv4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments[J]. Computers and Electronics in Agriculture, 2020, 178(5): 174-178.
[20] Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: visual explanations from deep networks via gradient based localization[C]//2017 IEEE International Conference on Computer Vision, 2017: 102-105.
-
期刊类型引用(4)
1. 周运磊，董效杰，刘三军，刘承毅. 基于改进YOLOv11n的轻量级电力设备过热故障红外图像检测算法. 湖北民族大学学报(自然科学版). 2025(01): 114-118+140 . 
百度学术
2. 余明阳，金波，查志勇，余铮. 图像识别在电力信息化中的应用方法研究. 科技视界. 2024(19): 78-81 . 百度学术
3. 周坤，李鹤健，李海山. 基于改进Densenet的输电线路杆号牌识别模型. 云南电力技术. 2024(06): 50-54+70 . 百度学术
4. 张立成，范鹏，卢金宝，李振，程国然，谢涛. 基于图像特征识别和激光点云的施工机械安全距离预警方法研究. 国外电子测量技术. 2024(12): 224-230 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 116
- HTML全文浏览量: 18
- PDF下载量: 42
- 被引次数: 4
