Improved YOLOv7 for Multi-Target Detection of Infrared Images of Power Equipment
-
摘要:
针对变电站红外图像中目标数量多、外观相似、背景与目标颜色相近时容易出现漏检误检等问题，提出了一种改进YOLOv7的电力设备红外图像多目标检测方法。首先，为了更好地保留红外图像中的浅层信息，在SPPCSPC模块中引入空洞卷积与均值池化以扩大感受野的同时防止红外小目标淹没在背景中；其次，针对多目标检测中的误检漏检等问题，在头部网络中引入了轻量型SimAM注意力机制以重点关注感兴趣区域。最后，选择一个更适用于小目标检测的NWDloss损失与CIOU损失相结合的混合边框回归损失函数，它可以有效提高红外图像中不同尺度目标检测的准确性。我们在自建电力设备红外图像数据集上与其他7种具有代表性的检测方法进行了对比实验。实验结果表明，改进后的YOLO v7网络模型漏检误检等情况得到明显改善，mAP达到88.9%，相比其他有代表性的目标检测算法在电力设备红外多目标检测上的效果有明显提升。
Abstract:To address issues such as a large number of targets, similar appearance, and easy to miss detection and misdetection when the background and target are of similar color in substation infrared images, a multi-target detection method is proposed for electric power equipment by improving YOLOv7. First, to better retain the shallow information in the infrared image, cavity convolution and mean pooling were introduced into a spatial pyramid pooling cross-stage partial convolution (SPPCSPC) module, to expand the receptive field while preventing small infrared targets from being submerged in the background. Second, to deal with misdetection and detection omission in multi-target detection, a lightweight simple attention module (SimAM) was introduced into the head network to focus on the region of interest. Finally, a hybrid edge regression loss function suitable for small-target detection, combining the normalized Gaussian Wasserstein distance (NWD) and complete intersection over union (CIOU) losses, was chosen to effectively improve the accuracy of target detection at different scales in infrared images. We conducted comparison experiments with seven other representative detection methods using a self-constructed infrared image dataset of power equipment. The experimental results showed that the improved YOLOv7 network model significantly improves leakage detection and reduced false detection. Its mean average precision (mAP) reached 88.9%, which is a significant improvement compared with those of other representative target detection algorithms for infrared multi-target detection of power equipment.
-
Keywords:
- power equipment detection /
- YOLOv7 /
- infrared images /
- dilation convolution /
- attention mechanism
-
0. 引言
微通道板（microchannel plate，MCP）是由数百万个孔径微米级的通道式电子倍增器排列而成的二维电子倍增器阵列，因其出色的位置分辨及时间分辨性能，广泛应用于微光像增强器、微通道板光子探测器、微通道板型光电倍增管、质谱分析、空间粒子探测等领域[1-7]。开口面积比是微通道板的一项重要指标，指的是微通道板工作区的通道开口面积与整个工作区面积之比，开口面积比决定微通道板的探测效率，并在一定程度上影响微通道板的噪声因子[1]。近年来，随着微通道板制造技术进步，像增强器用小孔径MCP的开口面积比可超过65%，部分探测级微通道板开口面积比可达到70%，进一步追求大的开口面积比给微通道板的工艺制造带来非常大的困难。
在常规MCP制造工艺之外，提升微通道板开口面积比的另一个途径为MCP扩口技术，即将微通道板输入面的通道口处理成漏斗状，使开口面积比显著提升，达到80%甚至90%以上，在微光夜视仪、粒子探测器等军用、民用领域具有巨大的应用潜力。美国Galileo、日本Hamamatsu、南京理工大学等国内外单位在MCP扩口方向开展了研究工作，使用湿法腐蚀制作出的扩口MCP在电流增益、噪声因子、离子探测效率等方面性能优于常规MCP，但是由于工艺难度大，这项技术目前仅日本Hamamatsu能够提供孔径12μm科研用MCP，并没有得到大批量的实质性应用[8-11]。提高MCP对电子的探测效率方面，通过在MCP表面镀制具有二次电子发射能力的膜层也是一种有效措施，在微通道板型光电倍增管以及微光像增强器中均能够得到应用，但是同时也会带来一定的负面影响，如：微光像增强器中分辨力和调制传递函数性能会有一定的降低、微通道板型光电倍增管中会有延时脉冲等，扩口MCP有利于提高微通道板的时间和空间分辨能力，为解决以上问题提供可能[12-15]。
针对湿法腐蚀扩口技术所存在的工艺一致性差、选择性腐蚀造成锥度尺寸难以达标等问题，本文提出一种新的MCP扩口技术：利用微纳加工领域已成熟应用的干法刻蚀技术进行MCP扩口，通过建立理想模型研究刻蚀工艺对于扩口MCP开口面积比、锥形深度以及形状等参数的影响，为开展实验研究及可能的批量应用奠定基础。
1. 干法刻蚀技术实现MCP扩口原理
干法刻蚀技术是目前工业上最成熟也是应用最广泛的刻蚀技术。广义上讲，所有不涉及化学溶液腐蚀的刻蚀技术都称为干法刻蚀，干法刻蚀具有可控性好、精度高、可流水线批量刻蚀等优点，已成为半导体工业微纳制造工艺中主要的刻蚀技术。常用的干法刻蚀技术包括反应离子刻蚀（reaction ion etching, RIE）、感应耦合等离子体刻蚀（inductively coupled plasma, ICP）、离子束刻蚀（ion beam etching, IBE）、聚焦离子束刻蚀（focused ion beam, FIB）等[16]。实现MCP扩口需要具有定向刻蚀能力的干法刻蚀，如ICP、RIE、IBE，本文以IBE为例进行理论模型研究。离子束刻蚀技术是利用一定能量的离子撞击固体表面原子，使材料表面原子发生溅射，达到刻蚀的目的，属于纯物理过程，离子束刻蚀的优点在于：各向异性、方向性好、刻蚀控制精度高、可刻蚀材料种类多、离子束入射角度调节方便等[17]。
与湿法腐蚀的选择性腐蚀不同，干法刻蚀的方向性好但选择性很差，因此干法刻蚀形成MCP扩口的原理与湿法腐蚀有本质的不同。采用干法刻蚀形成扩口MCP示意图如图 1所示，离子束以一定的角度入射至MCP输入面，示意图中看向通道内壁的视线角度与离子束入射至MCP表面的角度相同，即离子束在通道内能够刻蚀的最深处为d点、d′点，在非剖面图中，视线看到的通道内的最深处也是d点。为便于计算，本文中MCP斜切角以0°计算：
![]()
图 1 干法刻蚀形成扩口MCP示意图Figure 1. Schematic diagram of funnel MCP manufacture by dry etching① A为MCP表面，离子束刻蚀对于A面为均匀的刻蚀，对于锥形通道的形成没有作用；
② B为通道内壁表面，MCP通道相对于离子束不进行自转时，a′、b′、c′、d′四个点刻蚀掉的材料厚度相同，不会形成差别，而a、b、c、d四个点离子束并未能够刻蚀到；
③ 如果MCP通道相对于离子束实现以通道指向为轴进行自转，则a′、b′、c′、d′四个点与a、b、c、d四个点均能够被离子束刻蚀到，且a′与a、b′与b、c’与c、d′与d因两两处于完全对称的位置，刻蚀情况分别相同；
④ 由于微通道板圆形通道的特殊形状对于一定角度入射离子束的局部遮挡作用，不同深度处的位置点暴露于离子束中的时间不同，造成了刻蚀材料厚度的差异，以示意图中的4个点为例，a→b→c→d暴露于离子束的时间依次减短，而通道内比d点位置更深的地方，不会暴露于离子束，随着刻蚀时间的延长，会形成如图中虚线所示的有锥度的扩口。
2. 刻蚀工艺对扩口MCP性能参数的影响
2.1 模型建立
离子束以与MCP表面呈角度θ入射，MCP以通道指向为轴进行自转，构建模型如图 2，其中：D为微通道板孔间距；R为微通道板孔径；θ为离子束与MCP表面角度；h为通道内刻蚀深度；x为刻蚀厚度；Vα为离子束与刻蚀表面法线角度为α时的刻蚀速率。
在离子束刻蚀如石英玻璃、BK7玻璃时，刻蚀速率会随着入射角度的变化而有明显变化，随着入射角度的增大，刻蚀速率先增大再降低，在40°~65°之间有最大值出现[18]。由于微通道板在自转时，离子束与通道内不同位置处的入射角度时刻在变化中，为便于计算，理想模型中设定刻蚀速率不随着入射角度而变化，均为V。
2.2 刻蚀工艺条件对于开口面积比的影响
刻蚀工艺对于开口面积比的影响主要是刻蚀时间，开口面积比随着刻蚀时间的延长为非线性增加，主要分为3个阶段：阶段1：相邻通道边界尚未接触，如图 3(b)所示；阶段2：相邻通道边界已接触，相邻的3个通道边界尚未接触，如图 3(c)所示；阶段3：相邻的3个通道边界已接触，输入面已无平面，如图 3(d)所示。
![]()
图 3 不同刻蚀阶段开口面积比：(a) 未刻蚀，OAR=60%；(b) 刻蚀，OAR=75%；(c) 刻蚀至相邻通道接触，OAR=90.7%；(d)刻蚀至输入面无平面，OAR=100%Figure 3. Open area ratio at different etching stages: (a) Unetched, OAR=60%; (b) Etched, OAR=75%; (c) Etched until adjacent channel contact, OAR=90.7%; (d) Etch until there is no plane on the input surface, OAR=100%分阶段计算开口面积比随刻蚀时间的变化：
阶段1：$ 0 \leqslant t \leqslant \frac{{D - R}}{V} $时，
$$ \mathrm{OAR}=\frac{\sqrt{3} \pi}{6} \times\left(\frac{R+V t}{D}\right)^{2} $$ (1) 阶段2：$ \frac{{D - R}}{V} < t \leqslant \frac{{2D - \sqrt 3 R}}{{\sqrt 3 V}} $时，
$$ \text { OAR }=\frac{\left[\pi-6 \cos ^{-1}\left(\frac{D}{R+V t}\right)\right](R+V t)^{2}+6 D \sqrt{(R+V t)^{2}-D^{2}}}{2 \sqrt{3} D^{2}} $$ (2) 阶段3：$ t > \frac{{2D - \sqrt 3 R}}{{\sqrt 3 V}} $之后，
$$ \mathrm{OAR}=100 \% $$ (3) 如图 4所示，随着刻蚀时间的增加，开口面积初始以基本线性的规律增大，在达到90.7%之后，增大速度逐渐减缓，在阶段2的末期开口面积比接近100%，在阶段3中，开口面积比不再发生变化，也并未再引入其他问题，允许过刻蚀对于工艺控制非常有利。在开口面积比达到90%以上的前提下，影响干法刻蚀工艺时间的因素主要是通道之间的壁厚，壁厚越厚所需刻蚀时间越长，因此，干法刻蚀工艺对于小孔径微通道板的扩口效率更高。
2.3 刻蚀工艺条件对刻蚀深度影响
通道内刻蚀深度与离子束入射角度直接相关：
$$ h=R \times \tan \theta $$ (4) 理论计算结果如图 5所示。考虑到可实现性，离子入射角度太小时，工装夹具容易对离子束形成遮挡，且扩口深度较浅时对于扩口MCP性能也有一定的影响[9]；离子入射角度太大时，离子束对于通道内壁的刻蚀效率显著下降[18]，不利于扩口MCP的实现。综合考虑多种影响因素，离子束入射角度在30°~70°之间比较合适，对应的刻蚀深度范围为0.6倍~2.7倍通道孔径。
![]()
图 5 通道内刻蚀深度与离子入射角度关系Figure 5. The relationship between etching depth and incident angle2.4 刻蚀工艺条件对刻蚀锥度影响
通道的锥度对于扩口MCP应用在不同领域时的性能有很大的影响，锥度不合适时无法获得最佳的效果。使用干法刻蚀进行MCP扩口，对于锥度有很强的可控性。求解通道刻蚀的锥度，可以转化为通道内不同深度处暴露于离子束的空间在圆周范围内的占比。在MCP表面的平面建立如下坐标系进行计算，β是E点与坐标系中心点的连线与角度0位置的夹角，如图 6所示：在[－π/2，－π]、[π/2，π]区间内均未暴露于离子束中，仅需计算[－π/2，π/2]区间，且为对称结构。
![]()
图 6 通道内不同深度处锥度计算示意图Figure 6. Schematic diagram of taper calculation at different depths in the channel在角度为β处，E、F分别为通道内壁能够暴露于离子束中的最上与最下的位置，深度为：
$$ f(\beta)=h_{\mathrm{EF}}=R \cos \beta \tan \theta $$ (5) 将通道进行平面展开，不同角度处暴露于离子束中的最大深度分布如图 7所示。
![]()
图 7 通道内不同位置暴露于离子束最大深度Figure 7. Maximum depth of ion beam exposure at different positions of the channel根据通道内一周不同位置暴露于离子束最大深度的不同，计算不同深度h处刻蚀厚度相较于通道口入口处刻蚀厚度的比例：
$$ f(h)=\frac{2 \arccos \left(\frac{h}{R \tan \theta}\right)}{\pi} $$ (6) 式中：h∈[0, Rtanθ]。
如图 8所示，随着深度的增加，刻蚀厚度的减小并非线性，在MCP通道内壁成一个不规则的向内壁凹陷的弧面，此种形状下，进入到通道内的信号有更高的比例与更深处的通道内壁发生作用，对于扩口MCP在各类应用中都是更加有利的。
![]()
图 8 通道内不同深度处刻蚀厚度分布Figure 8. Etching thickness distribution at different depths in the channel3. 结论
通过建立模型进行理论计算，验证采用干法刻蚀技术进行MCP扩口，在输入面形成漏斗形通道口可行性，计算了干法刻蚀工艺参数如刻蚀角度、刻蚀时间等对扩口MCP开口面积比、刻蚀深度、通道口锥度等参数的影响：
① MCP在自转状态下，由于其圆形通道结构的自遮挡效应，均匀的面离子源能够在圆形通道上制作出非均匀的结构，即实现MCP通道的扩孔。
② MCP开口面积比随着刻蚀时间的延长而增大，达到90%之前基本线性，后期逐步趋近于100%的极限，允许过刻蚀，对于工艺控制有利；工艺的时间主要受通道之间壁厚影响，通道壁越厚，所需加工时间越长，因此干法刻蚀技术对于小孔径微通道板的扩口效率更高。
③ 刻蚀角度决定了通道内刻蚀深度，综合考虑各种影响因素，离子束入射角度在30°~70°之间比较合适，对应的刻蚀深度范围为0.6倍~2.7倍通道孔径。
④ 通道口的锥度受到刻蚀时间与刻蚀角度的双重影响，计算出了不同深度处刻蚀的厚度。随着深度的增加，刻蚀厚度的减小并非线性，在MCP通道内壁成一个不规则的向内壁凹陷的弧面，此种形状下，进入到通道内的信号有更高的比例与更深处的通道内壁发生作用，对于扩口MCP在各类应用中都是更加有利。
本文开展的理论模型研究结果，为开展干法刻蚀进行MCP扩口实验研究奠定了的基础，下一步工作的重点是在理论模型的基础上，开展相应的试验研究。
-
表 1 消融实验结果
Table 1 Results of ablation experiments
Methods Precision/% Recall/% mAP@ 0.5 mAP@ 0.5-0.95 FPS YOLO v7 82.5 90.4 0.858 0.544 24.96 YOLO v7+SPPCSPC-DAVG 84.4 91.0 0.874 0.549 24.52 YOLOv7+SPPCSPC-DAVG+MPlayer-SAM 85.7 94.2 0.880 0.552 22.79 YOLOv7+SPPCSPC-DAVG+MPlayer-SAM+NWDloss 86.5 93.6 0.889 0.558 22.27 Note: The bold fonts represent the best in each category. 
下载: 导出CSV
表 2 不同算法的指标对比
Table 2 Comparison of results of different algorithms
% Method mAP Reactor Joint_1 Measure Knife OCT Bushing Resister LA Faster-RCNN 72.5 73.2 48.6 72.4 81.4 88.5 52.1 83.4 80.2 Cascade-RCNN 85.2 86.9 59.1 92.6 89.3 97.8 64.4 97.6 94.2 RetinaNet 83.8 93.7 57.5 93.2 85.4 95.6 56.0 94.1 94.8 SSD 78.8 84.9 55.4 87.1 79.2 92.6 51.3 89.5 90.7 YOLOX-S 83.1 96.0 58.7 91.3 89.1 90.3 45.9 97.9 96.1 YOLOv5-S 79.8 86.1 57.9 83.7 85.6 93.3 55.6 87.2 89.4 YOLOv7 85.8 94.1 58.8 93.7 91.9 94.2 60.2 96.6 97.5 Ours 88.9 97.1 64.9 92.6 89.5 98.5 73.5 97.1 98.2 Note: The bold fonts represent the best in each category.
下载: 导出CSV
-
[1] 刘喜梅, 马俊杰. 泛在电力物联网在电力设备状态监测中的应用[J]. 电力系统保护与控制, 2020, 48(14): 69-75. LIU X M, MA J J. Application of the ubiquitous power Internet of Things in state monitoring of power equipment[J]. Power System Protection and Control, 2020, 48(14): 69-75.
[2] 赵洪山, 张则言, 孟航, 等. 基于高压绝缘套管纹理特征的红外目标检测[J]. 红外技术, 2021, 43(3): 258-265. http://hwjs.nvir.cn/article/id/6faf1628-98fa-4a3a-ade2-7c8d0abf7dae ZHAO H S, ZHANG Z Y, MENG H, et al. Infrared target detection of high voltage insulation bushing based on textural features[J]. Infrared Technology, 2021, 43(3): 258-265. http://hwjs.nvir.cn/article/id/6faf1628-98fa-4a3a-ade2-7c8d0abf7dae
[3] 郑婷婷, 周浩, 王秋忆. 基于改进YOLOv5的电力设备检测算法[J]. 电子测量技术, 2023, 46(4): 155-160. ZHENG T T, ZHOU H, WANG Q Y. Power equipment detection algorithm based on improved YOLOv5[J]. Electronic Measurement Technology, 2023, 46(4): 155-160.
[4] 任新辉. 基于红外技术的变电站设备识别与热故障诊断[D]. 成都: 西南交通大学, 2016. REN X H. Substation Equipment Recognition and Thermal Fault Diagnosis Based on Infrared Technology[D]. Chengdu: Southwest Jiaotong University, 2016.
[5] 尹阳. 基于红外图像的变电站设备识别与热状态监测系统研究[D]. 西安: 西安科技大学, 2018. YIN Y. Research on Substation Equipment Recognition and Thermal Status Monitoring System Based on Infrared Images[D]. Xi'an: Xi'an University of Science and Technology, 2018.
[6] Girshick R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision(ICCV), IEEE, 2015: 1440-1448.
[7] REN S, HE K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[8] Redmon J, Divvala S, Girshick R, et al. You Only Look Once: Unified Real-Time Object Detection [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[9] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 7263-7271.
[10] Redmon J, Farhadi A. YOLOv3: An incremental improvement[J/OL]. arXiv: 1804.02767, 2018, https://arxiv.org/abs/1804.02767.
[11] Bochkovskiy A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[J/OL]. arXiv: 2004.10934, 2020, https://arxiv.org/abs/2004.10934.
[12] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//European Conference on Computer Vision, 2016: 21-37.
[13] LIN T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 2980-2988.
[14] 汤踊, 韩军, 魏文力, 等. 深度学习在输电线路中部件识别与缺陷检测的研究[J]. 电子测量技术, 2018, 41(6): 60-65. TANG Y, HAN J WEI W L, et al. Research on deep learning for component recognition and defect detection in transmission lines[J]. Electronic Measurement Technology, 2018, 41(6): 60-65.
[15] LIU Z Q, WANG H F. Automatic detection of transformer components in inspection images based on improved Faster R-CNN[J]. Energies, 2018, 11(12): 3496. DOI: 10.3390/en11123496
[16] 徐凯, 梁志坚, 张镱议, 等. 基于GoogLeNet InceptionV3模型的电力设备图像识别[J]. 高压电器, 2020, 56(9): 129-135, 143. XU K, LIANG Z J, ZHANG Y Y, et al. Power equipment image recognition based on GoogLeNet InceptionV3 model[J]. High Voltage Apparatus, 2020, 56(9): 129-135, 143.
[17] 王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(S1): 302-310. WANG X H, LI H, FAN S S et al. Automatic detection method for abnormal infrared images of power equipment based on improved SSD[J]. Transactions of the Chinese Electrotechnical Society, 2020, 35(S1): 302-310.
[18] Howard A G, ZHU M, CHEN B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J/OL]. arXiv: 1704.04861, 2017, https://arxiv.org/abs/1704.04861.
[19] ZHENG Hanbo, LI Jinheng, LIU Yang, et al. Infrared target detection model for power equipment based on improved YOLOv3[J]. Transactions of the Chinese Electrotechnical Society, 2021, 36(7): 1389-1398.
[20] 苏海锋, 赵岩, 武泽君, 等. 基于改进RetinaNet的电力设备红外目标精细化检测模型[J]. 红外技术, 2021, 43(11): 1104-1111. http://hwjs.nvir.cn/article/id/3233a6a1-cbf0-4110-baa5-2a56e551f092 SU H F, ZHAO Y, WU Z J, et al. Refined infrared target detection model for power equipment based on improved RetinaNet[J]. Infrared Technology, 2021, 43(11): 1104-1111. http://hwjs.nvir.cn/article/id/3233a6a1-cbf0-4110-baa5-2a56e551f092
[21] 段中兴, 张雨明, 马佳豪. 基于改进YOLOv4的电力设备红外图像识别[J]. 激光与光电子学进展, 2022, 59(24): 29-36. DUAN Z X, ZHANG Y M, MA J H. Infrared image recognition of power equipment based on improved YOLOv4 [J]. Advances in Laser and Photonics, 2022, 59(24): 29-36.
[22] YANG L, ZHANG R Y, LI L, et al. Simam: A simple, parameter-free attention module for convolutional neural networks[C]//International Conference on Machine Learning, PMLR, 2021: 11863-11874.
[23] WANG J, XU C, YANG W, et al. A normalized Gaussian Wasserstein distance for tiny object detection[J]. arXiv preprint arXiv: 2110.13389, 2021.
[24] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.
[25] WANG Q L, WU B G, ZHU P F, et al, ECA-Net: efficient channel attention for deep convolutional neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020: 11531-11539.
[26] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional Block Attention Module[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.
-
期刊类型引用(1)
1. 邱祥彪，杨晓明，孙建宁，王健，丛晓庆，金戈，曾进能，张正君，潘凯，陈晓倩. 高空间分辨微通道板现状及发展. 红外技术. 2024(04): 460-466 . 
本站查看
其他类型引用(0)
计量
- 文章访问数: 29
- HTML全文浏览量: 3
- PDF下载量: 12
- 被引次数: 1
