Deep Residual UNet Network-based Infrared Image Segmentation Method for Electrical Equipment
-
摘要: 红外图像处理是实现电气故障诊断的有效手段，而电气设备分割是故障检测的关键环节。针对复杂背景下红外图像电气设备分割难问题，本文采用深度残差网络与UNet网络相结合，深度残差网络替代VGG16对UNet网络进行特征提取和编码，构建深度残差系列Res-Unet网络实现对电气设备的分割。以电流互感器和断路器两种电气设备红外图像分割为例测试Res-Unet网络分割效果，并与传统的UNet网络和Deeplabv3+网络进行对比。通过对数量为876的样本进行测试，实验结果表明，Res18-UNet能够准确地分割电气设备，对电流互感器和断路器的分割准确率超93%，平均交并比大于89%，且分割准确性优于UNet及Deeplabv3+网络模型，为实现电气故障智能诊断奠定基础。Abstract: Infrared thermal image processing is an effective method for detecting defects in electrical equipment. Aiming at the problem of electrical equipment segmentation in infrared thermal images with a complex background, in this study we propose a deep residual UNet network for infrared thermal image segmentation. Using a deep residual network to replace VGG16 to perform feature extraction and coding for the UNet network, a deep residual series UNET network was constructed to segment electrical equipment. To validate the effectiveness of the Res-UNet network, infrared images, including current transformers and circuit breakers, were used to test the segmentation results and were compared with the traditional UNet and Deeplabv3+ networks. The networks were tested using 876 images. The experimental results show that RES18-UNET can accurately segment electrical equipment; the segmentation precision of current transformers and circuit breakers is greater than 93%, and the mean intersection over union (MIoU) is greater than 89%. Our method obtains more accurate segmentation results than UNet and Deeplabv3+, setting the basis for intelligent diagnosis of electrical faults.
-
Keywords:
- infrared image /
- electrical fault diagnosis /
- image segmentation /
- UNet
-
0. 引言
主动红外热像检测技术具有灵敏度高、检测面积大、检测结果直观等特点，在近表面试件缺陷检测方面具有良好的检测效果[1-4]。航空发动机叶片的三维曲面结构、复杂的材料特性和特殊的内部冷却通道等，严重影响热激励源的加热效果，使叶片表面温度分布不均，导致检测的红外热图对比度差、检测效果不直观，从而给缺陷定性分析、定量识别带来困难[5-7]。因此，亟需一种提供高热量输入且保持高均匀度的热激励方法，不仅能降低背景中噪声干扰，抑制虚假“高低温”现象出现，而且有助于精确反映被测物体表面温度变化。
米浩等[8]采用超声红外热成像技术实现缺陷检测与定位，对热像降噪处理增强对比度，极差阈值为49时能清晰识别出缺陷特征；同时利用阵列涡流技术检测钛合金超声刀，裂纹识别率均达70.2%。罗立等[9]提出了基于超声红外热成像的表面裂纹识别与提取方法，运用贴合度获取裂纹宽度和面积完成裂纹的三维重构，裂纹识别准确率最高达85%。李科等[10]使用热风红外技术快速检测航空材料损伤，采用背景差分和阈值分割技术增强信噪比且实现缺陷定位，检测结果直观。尽管以上研究工作提升了主动红外热像的缺陷检测能力，但在检测航发叶片近表面缺陷检测领域，仍需要对现有的激励方法进行改进，深入研究不同材料和不同裂纹对表面温度场的影响，以达到更佳的缺陷识别效果。
本文针对航发叶片近表面缺陷检测的技术难题，提出一种阵列热风激励的主动红外检测方法，改进并搭建阵列热风红外无损检测实验平台，通过设计局部热风激励和阵列热风激励对比实验，并采用Canny算子进行缺陷边缘识别，验证阵列热风激励主动红外检测方法的可行性，并通过实验分析不同材料试件中裂纹检测效果的影响规律。对含裂纹的航发叶片进行检测验证，分析其表面温度分布规律和裂纹的检出效果，为实现阵列热风红外热像技术在航发叶片缺陷检测方面的应用奠定了理论和实验基础。
1. 基本原理
红外热波无损检测中，热激励源的选取和参数控制对被测物体吸收热量的充足程度和均匀程度至关重要，然而，单点热风激励模式已无法满足缺陷检测的要求。因此，本课题组提出一种阵列热风激励的主动红外检测方法，对原有的实验平台进行改进，并搭建一套可调阵列热风红外无损检测实验平台，主要包括阵列式热风枪、可调节支架、热激励控制器、红外热像仪、计算机图像处理系统和其他辅助设备（三维运动平台等），如图 1所示。
![]()
图 1 可调阵列热风红外无损检测实验平台Figure 1. Adjustable array hot air infrared non-destructive testing experimental platform由于不同被测物体具有不同热扩散系数，会产生不同的热传导现象[11]。本实验通过采集被测物体表面温度场获取缺陷特征。若试件中无缺陷，表面温度变化均匀，如图 2(a)所示。若试件的缺陷为隔热性缺陷，缺陷处的热扩散系数比正常区域小，热量堆积形成热区，如图 2(b)所示；若试件的缺陷为导热性缺陷，缺陷处的热扩散系数比正常区域大，热量削减形成冷区，如图 2(c)所示。
这种激励方式创新之处在于：热风枪呈阵列式分布，可根据被测试件尺寸灵活调整热风枪激励位置，实现全方位加热；同时配有两种激励方法：局部激励、阵列激励，选取合适的激励方法能改善因加热不均匀导致热像对比度低等不足，提高缺陷检出率；支架上的热风枪能根据实际检测需求进行拆卸，被测物体表面受热均匀有助于精准获取表面温度场。
2. 红外热像实验
2.1 试件准备
在无损检测领域，常用平底孔试件模拟真实缺陷，本课题组设计4种典型金属材料试件，尺寸信息和材料参数分别如图 3和表 1[12]所示。在试件表面均匀喷涂一层很薄的黑漆，以降低表面光洁度、平整度等产生的噪声，提高热发射率增强检测效果，发射率为0.98。
表 1 材料参数[12]Table 1. Material parametersMaterial ρ/(kg·m-3) C/(J·kg-1·K-1) k/(W·m-1·K-1) α/(m2·s-1) 45 4620 522 21.9 9.08×10-6 TC4 7850 434 49.8 1.46×10-5 7075 2270 875 144 7.20×10-5 Ni718 8240 435 14.7 1.18×10-5 2.2 实验准备
阵列式热风枪和红外热像仪位于同一侧，根据红外热像仪的视场角，调整红外热像仪与待测试件间距离为150 mm，确保待测试件在红外热像仪视场中央。检测前，校准红外热成像仪消除设备干扰，将红外热像仪固定于三脚架，确保采集清晰的热像图；通过热激励控制器选取合适的激励方法，利用红外热像仪（HIKVISION非制冷型红外热像仪，等效噪声温差低于50 mK，分辨率160×120，采集帧频25 Hz）采集待测试件的表面温度场。
通过设计局部热风激励和阵列热风激励的对比实验，以裂纹检测效果和检出率作为评价指标来检验阵列热风激励方法的可行性，并通过实验分析不同材料对裂纹检测效果的影响规律。
2.3 边缘检测
针对实验采集到的红外热图色调较单一，且存在噪声，因此需要借助边缘检测来获取缺陷特征[13]。由于Canny边缘检测具有准确度高、容噪性好、可高斯滤波等优点[14]，能精确表征缺陷信息。
为了增强Canny算子边缘识别效果，需先采用高斯滤波过滤图像中高频噪声，减少噪声对检测结果的影响，高斯滤波公式如式(1)所示[15]：
$$ G(x, y) = \frac{1}{{2{\rm{ \mathsf{ π} }}{\sigma ^2}}}\exp \left( { - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}} \right) $$ (1) 式中：(x, y)为高斯滤波点，一般取整数；σ为高斯滤波器参数，决定平滑去噪的程度，通常根据图像中噪声情况取值。
滤波后边缘检测过程如图 4所示。
3. 实验结果与分析
3.1 不同激励方法检测结果
设置热风枪的激励温度300℃，激励风速4.68 m/s，激励时间20 s，不同激励方法检测效果如图 5(a)和(b)所示。
图 5(a)中红外图像裂纹处像素点存在忽亮忽暗现象，可识别出大约2个裂纹，裂纹边缘较模糊，且存在大量噪声，检测效果不理想；如图 5(b)所示，阵列热风能有效检出4个裂纹，裂纹检出率提高了1倍，裂纹区域亮暗对比度明显，裂纹轮廓清晰可见，证明了阵列热风激励主动红外检测方法的可行性。
3.2 不同材料裂纹检测分析
热扩散系数反映材料的热扩散能力，在相同检测条件下，不同材料会有不同检测结果。采用阵列热风激励方法检测试件，设置激励温度300℃，激励风速4.68 m/s，激励时间20 s，采集试件中裂纹尺寸7 mm×1 mm×1 mm的温度数据，表面温度曲线和红外检测结果如图 6和图 7所示。
![]()
图 6 不同材料的表面温度曲线Figure 6. Surface temperature difference graph for different materials如图 6所示，45钢热扩散系数最小，表面最大温度持续时间较长，这是因为其传热速度较慢导致内部热量不易扩散，造成试件表面温度较低。通过对比不同材料，发现7075温升出现最早且传热速度最快，在降温过程中呈先急速后平缓下降直到恢复至原有热平衡状态；由于TC4和Ni718热扩散系数相近，TC4和Ni718温升与温降变化的趋势基本相同。随着热扩散系数增大，传热速度增快，表面温差呈下降趋势，不利于对细微裂纹的检测。如图 7(a)~(b)，红外热像图中的裂纹从无到有再逐渐清晰，均存在明显温升，可以表明在此检测条件下，通过阵列热风加热试件，主要是沿着试件表面进行横向热传导。
4. 应用验证
采用可调阵列热风红外无损检测实验平台对航空发动机叶片进行检测。采用阵列热风激励方法，设置激励参数：激励温度300℃，激励风速4.68m/s，激励时间20 s，采集航发叶片裂纹处的温度数据，表面温差曲线如图 8所示。如图 9(a)中#1和#2航发叶片目视无法发现裂纹，然而采用金相显微镜对叶片放大100倍后，可观察到#1和#2叶片中存在裂纹，此类缺陷归为目视不可见裂纹且对航空发动机安全运行存在潜在威胁，其红外检测结果如图 9(b)所示。
如图 8所示，航发叶片#1的表面最大温差为负值，意味着裂纹区域温度低于正常区域，主要原因是裂纹处的热扩散系数高于叶片本身的热扩散系数，使裂纹上方材料表面的热量容易快速向内部扩散，属于导热性缺陷；航发叶片#2裂纹中心的表面最大温差1.3℃，裂纹区域温度明显高于正常区域，属于隔热性缺陷。以上裂纹表面最大温差均比当前实验使用红外热像仪的分辨率0.1℃高出很多，根据热扩散系数与温度数据的关系，后续还能检测更微小的裂纹。
图 9中#1航发叶片的裂纹顶端开口处亮暗对比度最显著，裂纹在热像图中为暗斑，由于裂纹开口处与外界空气发生强烈热对流，导致裂纹边缘堆积的热量快速溢出，裂纹根部向内扩展纹理较模糊，意味着裂纹根部温差变化最小；叶片#2中裂纹区域像素点为亮斑，考虑到裂纹处热扩散，红外热像中亮斑区域要比实际裂纹大，便于裂纹识别与定量分析。
为进一步定量评价阵列热风主动红外检测对航发叶片裂纹的识别效果，选取与图 9中#1、#2相似的含裂纹航发叶片作为待测样本（其中导热性缺陷的数量15个，隔热性缺陷的数量15个），并利用Canny算子进行缺陷边缘识别，检测结果如表 2所示。
表 2 含裂纹航发叶片的检出率Table 2. Detection rate of cracked aviation bladesType Correct identification number/Total number of collections The detection rate/% Thermal conductivity 13/15 86.7 Thermal insulation 14/15 93.3 Two blends 27/30 90.0 5. 结论
本文针对热激励不均匀导致检测的红外热图效果差、缺陷检出率较低的问题，提出一种阵列热风激励的主动红外检测方法，并在现有平台上改进并搭建了可调阵列热风红外无损检测实验平台。通过设计对比实验分析了局部热风激励和阵列热风激励的检测能力，揭示了不同材料试件的温度变化规律。利用检测实验平台对含裂纹的航发叶片进行检测，并分析了其表面温度场和裂纹检测效果，得到结论如下：
① 通过采用阵列热风激励方法检测含裂纹试件时，发现裂纹检出率比局部热风激励时提高了1倍，红外检测效果好且噪声少，从而证明了阵列热风激励主动红外检测方法的可行性。
② 实验表明：材料的热扩散系数越大，传热速度也越快，表面最大温度变化呈下降趋势，越不利于检测细微裂纹。
③ 检测结果表明：航发叶片#1中裂纹为导热性缺陷，其裂纹区域的热扩散系数高于叶片本体的热扩散系数；航发叶片#2中裂纹为隔热性缺陷，裂纹处有充足热量堆积且能很好检测出来，也表明了阵列热风红外在航发叶片缺陷检测上具有良好的检测能力。其中导热性、隔热性和两者混合类型的缺陷检出率分别达到86.7%、93.3%，90%，同时能较好判断裂纹存在和定位，为阵列热风红外热成像在航发叶片缺陷检测上的应用奠定了基础。
-
![]()
图 7 简单背景下电流互感器分割结果
Figure 7. Segmentation results of current transformer with simple background
![]()
图 8 复杂背景下电流互感器分割结果
Figure 8. Segmentation results of current transformer with complex background
![]()
图 9 背景干扰下断路器分割结果
Figure 9. Segmentation results of circuit breaker image with complex background
![]()
图 10 局部遮挡下断路器分割结果
Figure 10. Segmentation results of circuit breaker with local occlusion
表 2 测试数据集的准确率
Table 2 The accuracy of the test dataset
network Segmentation object IoU MIoU Precision Deeplabv3+ Current transformer 0.79 0.8011 0.90 Circuit breaker 0.67 0.84 Background 0.95 0.97 UNet Current transformer 0.8023 0.8272 0.9150 Circuit breaker 0.7179 0.8960 Background 0.9615 0.9805 Res18-UNet Current transformer 0.8623 0.8963 0.9470 Circuit breaker 0.8579 0.9347 Background 0.9686 0.9907 Res34-UNet Current transformer 0.6306 0.7139 0.7110 Circuit breaker 0.6064 0.7396 Background 0.9047 0.9872 Res50-UNet Current transformer 0.4747 0.5906 0.5174 Circuit breaker 0.4249 0.3700 Background 0.8722 0.9689 
下载: 导出CSV
-
[1] 康龙. 基于红外图像处理的变电站设备故障诊断[D]. 北京: 华北电力大学, 2016. KANG Long. Substation Equipment Fault Diagnosis Based on Infrared Image[D]. Beijing: North China Electric Power University, 2016.
[2] 曾亮. 基于红外图像的变电站设备故障精准定位方法的研究[D]. 重庆: 重庆理工大学, 2019. ZENG Liang. Research on Precise Fault Location Method of Substation Equipment Based on Infrared Image[D]. Chongqing: Chongqing University of Technology, 2019.
[3] ZOU H, HUANG F. A novel intelligent fault diagnosis method for electrical equipment using infrared thermography[J]. Infrared Physics & Technology, 2015, 73: 29-35.
[4] 周建国, 雷民, 杨褚明, 等. 带电设备红外诊断应用规范: DL/T 664-2008. [S]. 国家能源局, [2016-12-05]. ZHOU Jianguo, LEI Min, YANG Chuming, et al. Application Specification for Infrared Diagnosis of Live Equipment[S]. National Energy Administration, [2016-12-05].
[5] 许志浩, 郑诗泉, 康兵, 等. 基于三相自搜寻比较法的电气设备过热故障识别方法[J]. 红外技术, 2021, 43(11): 1112-1118. http://hwjs.nvir.cn/article/id/35d8419e-d42a-4472-bc86-a4292e5976a4 XU Zhihao, ZHENG Shiquan, KANG Bing, et al. Overheat fault identification method for electrical equipment based on three-phase self-searching comparison method[J]. Infrared Technology, 2021, 43(11): 1112-1118. http://hwjs.nvir.cn/article/id/35d8419e-d42a-4472-bc86-a4292e5976a4
[6] Rahmani A, Haddadnia J, SeryasatO. Intelligent fault detection of electrical equipment in ground substations using thermo vision technique[C]//2010 2nd International Conference on Mechanical and Electronics Engineering, 2010: V2-150-V2-154.
[7] LIN K C, LAI C S. Fault recognition system of electrical components in scrubber using infrared images[C]//International Conference on Knowledge-Based and Intelligent Information and Engineering Systems, 2003: 1303-1310.
[8] 王晶, 姚邹静, 赵春晖. 基于红外图像时空特征的电力设备故障诊断[J]. 控制工程, 2021, 28(8): 1683-1690. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202108025.htm WANG Jing, YAO Zoujing, ZHAO Chunhui. A fault diagnosis method for power equipment based on spatiotemporal features of infrared images[J]. Control Engineering of China, 2021, 28(8): 1683-1690. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202108025.htm
[9] 李文璞, 谢可, 廖逍, 等. 基于Faster RCNN变电设备红外图像缺陷识别方法[J]. 南方电网技术, 2019, 13(12): 79-84. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201912012.htm LI Wenpu, XIE Ke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for transformer equipment based on improved faster RCNN[J]. Southern Power System Technology, 2019, 13(12): 79-84. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201912012.htm
[10] 王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(S1): 302-310. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS2020S1034.htm WANG Xuhong, LI Hao, FAN Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-310. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS2020S1034.htm
[11] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107009.htm ZHENG Hanbo, LI Jinheng, LIU Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107009.htm
[12] 黄新宇, 张洋, 王黎明, 等. 基于Mask-RCNN算法的复合绝缘子串红外图像分割与温度读取[J]. 高压电器, 2021, 57(9): 87-94. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202109012.htm HUANG Xinyu, ZHANG Yang, WANG Liming, et al. Infrared image segmentation and temperature reading of composite insulator strings based on mask⁃RCNN algorithm[J]. High Voltage Apparatus, 2021, 57(9): 87-94. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202109012.htm
[13] 李文璞, 毛颖科, 廖逍, 等. 基于旋转目标检测的变电设备红外图像电压致热型缺陷智能诊断方法[J]. 高电压技术, 2021, 47(9): 3246-3253. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202109022.htm LI Wenpu, MAO Yingke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for substation equipment voltage type thermal defects based on rotating target detection [J]. High Voltage Apparatus, 2021, 47(9): 3246-3253. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202109022.htm
[14] 刘云鹏, 张喆, 裴少通, 等. 基于深度学习的红外图像中劣化绝缘子片的分割方法[J]. 电测与仪表, 2022, 59(9): 63-68. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ202209009.htm LIU Yunpeng, ZHANG Zhe, PEI Shaotong, et al. Faulty insulator segmentation method in infrared image based on deep learning[J]. Electrical Measurement & Instrumentation, 2022, 59(9): 63-68. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ202209009.htm
[15] 袁刚, 许志浩, 康兵, 等. 基于DeepLabv3+网络的电流互感器红外图像分割方法[J]. 红外技术, 2021, 43(11): 1127-1134. http://hwjs.nvir.cn/article/id/b9df2f53-2244-471b-b0ec-42159cfaa654 YUAN Gang, XU Zhihao, KANG Bing, et al. Deep Labv3+ network-based infrared image segmentation method for current transformer[J]. Infrared Technology, 2021, 43(11): 1127-1134. http://hwjs.nvir.cn/article/id/b9df2f53-2244-471b-b0ec-42159cfaa654
[16] 谷世举, 卜雄洙, 靳建伟, 等. 基于改进Unet网络的炮口火焰分割方法[J]. 国外电子测量技术, 2021, 40(4): 16-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202104006.htm GU Shiju, BU Xingzhu, JIN Jianwei, et al. Muzzle flame segmentation method based on improved Unet network[J]. Foreign Electronic Measurement Technology, 2021, 40(4): 16-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202104006.htm
[17] CHEN Z, ZHU H. Visual quality evaluation for semantic segmentation: subjective assessment database and objective assessment measure[J]. IEEE Transactions on Image Processing, 2019, 28(12): 5785-5796.
-
期刊类型引用(10)
1. 田文豪，汪繁荣，乔一航. 基于VMF-UNet的液基细胞制染机缺陷图像分割. 现代电子技术. 2025(05): 36-42 . 
百度学术
2. 郑铁华，王飞，赵格兰，杜春晖. 基于单分类支持向量机的煤矿防爆电气设备振动故障自动检测. 工矿自动化. 2025(02): 106-112 . 百度学术
3. 王琦，张欣唯，童悦，王昱晴，张锦，王咏涛，袁小翠. 一种复杂背景下电气设备红外图像精确分割方法. 激光与红外. 2025(03): 399-407 . 百度学术
4. 刘慧慧，裴庆庆. 改进U-Net网络的多视觉图像特征张量分割仿真. 计算机仿真. 2024(03): 237-241 . 百度学术
5. 于晓，姜晨慧. 基于深度学习的重叠红外刑侦目标提取算法研究. 黑龙江工业学院学报(综合版). 2024(02): 85-93 . 百度学术
6. 林颖，张峰达，李壮壮，郑文杰，戈宁. 基于大模型的红外图像电力设备交互式分割. 网络新媒体技术. 2024(02): 53-60+67 . 百度学术
7. 张宇，袁小翠，许志浩，康兵. 复杂背景下断路器红外图形精确分割方法. 江西电力. 2024(03): 1-7 . 百度学术
8. 严如强，周峥，杨远贵，李亚松，胡晨烨，陶治宇，赵志斌，王诗彬，陈雪峰. 可解释人工智能在工业智能诊断中的挑战和机遇：归因解释. 机械工程学报. 2024(12): 21-40 . 百度学术
9. 龚律凯，彭伊丽，陈绪兵，韩桂荣，李慧怡. 基于改进U-Net算法的焊缝特征识别研究. 现代制造工程. 2024(11): 18-25 . 百度学术
10. 林颖，张峰达，李壮壮，孙艺玮，于文牮. 基于交互式分割的电力设备红外图像自动标注方法. 山东电力技术. 2023(12): 20-25+44 . 百度学术
其他类型引用(10)
计量
- 文章访问数: 176
- HTML全文浏览量: 40
- PDF下载量: 37
- 被引次数: 20
