A Holistic Segmentation Method for Faulty Electrical Equipment under Complex Background
-
摘要: 针对变电站电气设备红外监测过程中，获取的红外图像背景复杂而导致故障设备定位不准确、分割难度较大等问题，提出了一种在复杂背景下对故障设备进行定位与整体分割的方法。首先，通过SLIC（Simple Linear Iterative Clustering）超像素算法对图像进行分割，并对超像素块进行Lab颜色空间转换，根据阈值判断是否存在故障并获取故障区域。然后，选取故障图像中最大联通量的较亮点作为种子，利用最大类间方差原理控制种子数目，通过改进区域生长法获取目标主体设备。最后，将故障区域与目标主体设备进行交集运算，完成对故障电气设备的整体分割。研究结果表明，该方法能有效完成复杂背景下的故障电气设备定位与整体分割。与其他分割方法相比，该方法获取的故障电气设备更加完整准确。Abstract: A method of positioning and integral segmentation of faulty equipment in infrared images acquired during the process of infrared monitoring of electrical equipment in substations with complex backgrounds is proposed to contribute to solving problems including inaccurate positioning and difficult segmentation of faulty equipment. First, the image was segmented using the SLIC superpixel algorithm and the superpixel block was transformed into the Lab color space. The faulty area was obtained after the fault was determined based on the threshold value. Second, relatively bright spots with the maximum connectivity in the image, including faulty equipment, were selected as the original seeds. The number of seeds was controlled based on the principle of maximum variance between classes. Accordingly, primary equipment was obtained using an improved regional growth method. Finally, the overall segmentation of the faulty electrical equipment was completed through an intersection calculation between the faulty area and the main equipment. The results show that the positioning and overall segmentation of faulty electrical equipment under complex backgrounds can be successfully completed using the proposed method. Compared with other segmentation methods, identification of faulty electrical equipment using this method is more complete and accurate.
-
0. 引言
为解决红外成像系统存在的非均匀性问题，研究者们已经提出了很多的非均匀性校正方法，例如两点校正[1]、基于神经网络的方法和基于时域滤波的方法等[2-3]。然而其中绝大多数方法在设计时并未考虑积分时间这一因素，这些方法通常只适用于积分时间固定的应用。针对红外大动态范围成像[4]等任务对改变积分时间的需要，一些可变积分时间的非均匀性校正方法被提出。这类算法主要可分为两种：一种通过建立精确的含积分时间等变量的红外成像物理模型并求解模型参数实现[5-7]，比如Chen等人[5]建立了含有入射照度、积分时间、探测器暗电流和偏置电压等变量的响应模型，提出了可变积分时间的二维定标非均匀性校正方法。另一种则不需要建立精确的解析模型，而是利用机器视觉中的辐射校准方法来实现，例如Ochs等人[8]提出了基于像素级辐射自校准的非均匀性校正方法，首先通过辐射自校准来估计场景的辐射通量图，再对辐射通量图进行非均匀性校正。
本文在Ochs等人提出的校正方法的基础上，对该方法中的两个关键的步骤进行了改进，主要体现在使用多组不同积分时间的黑体图像序列进行辐射自校准以获得更准确的辐射响应方程，以及利用进行辐射自校准过程所使用的多组图像序列来计算非均匀性校正参数。
1. 响应模型
对于典型红外成像系统，来自场景的红外辐射被光学系统汇聚在红外焦平面阵列上，经过有效的积分（曝光），焦平面的像元中红外光子经由光电转换及一系列电信号处理后被转化为相应的灰度值[9]。假设这些过程均为线性变换，且不考虑暗电流和噪声等影响时，则对于红外成像系统中的像元p，输出的灰度值Yp与到达成像系统的红外光的辐射通量Fp和积分时间tint的关系可以表示为：
$$ Y_{p}=a_{p} F_{p} t_{\mathrm{int}}+b_{p} $$ (1) 式中：ap为光学系统、光电转换和电信号处理等引起的增益；bp为电信号处理带来的偏移。
如公式(1)所示，成像系统输出的灰度值与积分时间的关系通常被认为是线性的，因此能够以较方便的方法估计出场景的辐射通量，通过对辐射通量进行非均匀性校正处理来降低积分时间变化带来的影响。这也是绝大多数积分时间可变的非均匀性校正方法[5-8]实现的基础。虽然实际上在红外探测器的整个动态范围内，探测器输出信号与积分时间是非线性的，如图 1所示。但是在探测器的某段动态范围内，输出信号与积分时间之间具有很高的线性度。对于本文所使用的红外中波碲镉汞探测器，在其15%~85%的动态范围内，大多数像素关于积分时间的响应非线性度[10]小于0.2%，可认为在此范围内该探测器为线性响应。
![]()
图 1 恒定辐照度时某像素输出信号与积分时间的关系Figure 1. The relationship between the output signal of a pixel and the integration time under constant irradiance2. 基于像素级辐射自校准的校正方法
辐射自校准是一种估计场景辐射能量Q与场景图像（归一化）灰度Y之间映射关系Q＝f(Y)的方法，它假设可以通过N阶多项式建立的响应方程f来描述这种关系[11]。Ochs等人针对红外成像系统的非均匀性的特点，提出了一种基于像素级辐射自校准的非均匀性校正方法（以下简称Ochs方法）。该方法为探测器的每一个像元建立这种映射关系，考虑到辐射能量与辐射通量的关系Q＝F·t，像素p的响应方程fp可以表示为：
$${f_p}\left( {{Y_p}} \right) = {F_p} \cdot t = \sum\limits_{n = 0}^N {{a_{p,n}}Y_p^n} $$ (2) 通常红外成像系统使用固定的F数，对某一固定温度的面源黑体采集J种不同积分时间的图像序列，可以得到不同图像所对应的辐射能量与积分时间比值R之间的关系：
$${R_{j,j + 1}} = \frac{{{F_{p,j}}{t_j}}}{{{F_{p,j + i}}{t_{j + i}}}}$$ (3) 式中：j和j+i是图像序列的编号，将公式(2)代入，得到：
$${R_{j,j + i}} = \frac{{\sum\limits_{n = 0}^N {{a_n}Y_{p,j}^n} }}{{\sum\limits_{n = 0}^N {{a_n}Y_{p,j + 1}^n} }}$$ (4) 根据公式(4)，可以得到像元p的误差方程，如公式(5)。结合约束fp(1)＝1，通过最小化εp可以计算出响应方程fp的N+1个多项式系数ap, n。
$${\varepsilon _p} = {\sum\limits_{j = 1}^{J - 1} {\sum\limits_{i = 1}^{J - j} {\left[ {\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,j}^n} - {R_{j,j + 1}}\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,j + }^n} } \right]} } ^2}$$ (5) 在获得每个像素的响应方程后，可以估计出场景的辐射能量图，除以积分时间便能够得到场景辐射通量图的估计。由于光学系统的影响[8]，以及辐射自校准方法计算出响应方程所固有的不确定性[11]，还需要对获得的辐射通量图进行校正。对辐射通量图中像素p的校正使用公式(6)所示的线性校正模型完成，并使用两点校正方法计算出校正参数gp和op，式中Fp*是校正后的辐射通量。
$$ F_p^* = {g_p} \cdot {F_p} + {o_p} $$ (6) 3. 本文方法
3.1 像素级辐射自校准方法
上文介绍的Ochs方法，采集固定在某一温度点的面源黑体的图像序列来计算出响应方程的多项式系数。然而经过实验发现Ochs方法中使用不同温度的黑体的图像序列计算出的响应方程和对应的误差ε有所差异，而差异大小与黑体温度之间并未呈现出明显的关联。例如黑体温度分为15℃、35℃和55℃时，Ochs方法计算出的2阶响应方程的平均误差$\bar \varepsilon $分别为4.57×10－5、3.74×10－5和3.93×10－5。
为了能够获得更准确且更稳定的结果，本文提出利用多个温度点的黑体图像序列来求解每个像素的响应方程的多项式系数。该方法对K种温度的面源黑体分别采集Jk种积分时间的图像（k＝1, …, K），在误差方程(5)的基础之上，可以得到新的误差方程：
$${\varepsilon _p} = \sum\limits_{k = 1}^K {\sum\limits_{j = 1}^{{J_k} - 1} {\sum\limits_{i = 1}^{{J_k} - j} {{{\left[ {\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,k,j}^n} - {R_{k,j,j + i}}\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,k,j + i}^n} } \right]}^2}} } } $$ (7) 结合约束fp(1)＝1，令误差方程最小化可求出响应方程的系数ap, n。需要注意的是，选取黑体的温度点时，其范围最好能够覆盖实际观测场景的温度范围。
对于本文的方法，当采用黑体的温度点的数量K分别为2个、4个和9个时，得到的2阶响应方程通过公式(5)计算出的平均误差$\bar \varepsilon $分别为3.61×10－5、3.53×10－5和3.52×10－5，不难看出通过这种方法获得的结果相对更稳定。
3.2 校正参数计算方法
通过每个像素的响应方程估计出场景的辐射通量图后，还需要利用公式(6)进行非均匀性校正来得到校正图像。计算校正参数gp和op最常见的方法是两点校正，即使用两幅不同温度的面源黑体的图像来计算[1]。为了能够充分利用辐射自校准过程中所用到的不同温度黑体的图像序列，而不是仅使用其中的两幅图像，本文通过公式(8)求解校正参数，即最小化所有图像中像素p的校正后的辐射通量Fl, p*与其期望数值${\bar F_l}$的相对偏差的平方和。公式(8)中，L是用于计算校正参数的黑体图像的总数量；${\bar F_l}$为图像校正后的期望值，通常希望经过非均匀性校正后的黑体图像的所有像素具有相同的输出，且校正前后图像的空域均值保持不变，因此这里${\bar F_l}$为辐射通量图像Fl的均值。
校正参数的期望值${\hat g_p}$和${\hat o_p}$可以通过最小二乘法等优化算法计算得到。当输入图像只有两幅时，该方法得到的结果与两点校正方法的一样。
$$({\hat g_p},{\hat o_p}) = \mathop {\arg \min }\limits_{({g_p},{o_p})} \frac{1}{2}\sum\limits_{l = 1}^L {{{\left( {\frac{{F_{l,p}^* - {{\bar F}_l}}}{{{{\bar F}_l}}}} \right)}^2}} $$ (8) 3.3 处理流程
本文提出的方法的处理流程如下：
1）分别对K种温度面源黑体采集Jk种积分时间的图像，得到序列{Yk, j}并做归一化处理；
2）使用{Yk, j}和积分时间{tk, j}利用公式(7)计算出每个像元的响应方程fp；
3）使用响应方程计算{Yk, j}对应的辐射通量图序列{Fk, j}，并通过公式(8)获得校正参数{gp, op}；
4）对于待校正图像，先计算出待校正的辐射通量图，再使用公式(6)得到校正后的辐射通量图；
5）若仅需输出图像，将校正后的辐射通量图乘以积分时间得到校正的图像。
4. 实验结果与分析
4.1 实验设置及评价方式
实验采集图像使用640×512中波红外碲镉汞焦平面阵列探测器组件和焦距30 mm的F/4镜头，探测器工作在ITR模式，采样ADC精度为14bit；高精度面源黑体使用HGH公司的DCN1000 N4，靶面尺寸为100 mm×100 mm。采集黑体图像时，调整镜头与黑体靶面间的距离确保靶面能够覆盖镜头视场。
实验中以5℃为步长，分别采集15℃~100℃共18个温度点的黑体的图像。在确定至少能够覆盖探测器15%~85%的动态范围时任意挑选积分时间，每个温度点下分别采集8~15种积分时间的图像各1张，一共产生198张黑体图像。
本文中，针对面源黑体的图像使用的偏移不均匀性NU[9, 12]进行评价，针对实际场景的图像使用粗糙度ρ[13]进行评价。
另外，实验采集到的图像均会预先进行无效像元替换处理，所展示的红外图像均经过了非线性的自动增强处理。
4.2 实验结果与分析
实验分别使用两点校正方法、Ochs方法和本文提出的方法处理图像数据。光子型红外探测器的响应线性度较好，2阶多项式模型足以拟合探测器的非线性性，因此Ochs方法和本文方法均使用2阶多项式模型建立响应方程。这3种方法中，两点校正使用积分时间为3 ms的20℃和75℃的图像计算校正参数；Ochs方法使用35℃的图像序列计算响应方程，使用20℃和90℃的图像来获取校正参数；本文方法使用15℃、30℃、50℃和90℃的图像数据计算响应方程和校正参数。
这3种方法对198张黑体图像进行非均匀性校正处理后，校正后图像的偏移不均匀性NU的统计数据如表 1所示。表 1中可以看出，本文方法校正后的黑体图像的偏移不均匀性NU的均值，比未校正降低了98.3%，比两点校正降低了93.5%，比Ochs方法降低了24.1%，校正后图像NU的中值、最小值和最大值也均低于其他两种方法。
表 1 3种方法处理前后的黑体图像的NU的统计数据Table 1. NU statistics of the black body image before and after process of the three methodsMethod Mean NU Median NU Min NU Max NU Un-corrected 6.041% 6.489% 3.025% 8.583% Two-point 1.562% 1.081% 0.088% 6.024% Ochs 0.133% 0.128% 0.073% 0.281% Proposed 0.101% 0.098% 0.050% 0.205% 另外，实验还使用该热像仪对一场景采集了4 ms、9 ms和12 ms三种积分时间的图像，两点校正、Ochs方法和本文方法校正后的图像如图 2所示。图 2中可以看出两点校正后的图像中存在亮点和暗点，且图像的积分时间偏离标定使用的积分时间（3ms）越多时亮点和暗点的数量越多；另外图像的四周还存在过补偿的情况，导致图像四周偏亮、中心偏暗，背景因对比度不足也难以辨别。相对于两点校正，Ochs方法和本文方法校正后的图像的效果均有较明显的提升，图像中均没有明显的固定图案噪声，比如暗角、四周过补偿、竖条纹、亮点和暗点等，图像经过增强后的对比度也更高。
为了能够更客观地评价3种方法的校正效果，分别计算了9幅图像（增强之前）的粗糙度ρ，如表 2所示。3种方法中，本文方法校正后图像的粗糙度数值也最小。
表 2 三种方法处理前后的场景图像的粗糙度ρTable 2. Roughness ρ of the scene images before and after theprocess of the three methodIntegration Time/ms Un-corrected Two-point Ochs Proposed 4 0.11816 0.01032 0.00924 0.00904 9 0.07297 0.00998 0.00900 0.00890 12 0.06285 0.00989 0.00888 0.00876 5. 总结
本文提出了一种基于像素级辐射自校准的红外图像非均匀性校正改进方法。该方法通过对估计出的场景的辐射通量图进行校正，实现了可变积分时间的非均匀性校正。该方法在辐射自校准的基础上，利用多个温度点下采集的面源黑体的不同积分时间的图像，获得了更准确且更稳定的像素级响应方程的估计，可以得到更准确的场景辐射通量的估计。该方法还将非均匀性校正参数的求解转化为了线性最小二乘问题，从而能够充分利用采集到的多温度点、多积分时间的图像，实现更好的非均匀性校正效果。实验表明，本文方法能够将线性响应范围内的任意积分时间下的红外图像的非均匀性降低至较低的水平。
-
![]()
图 1 基于SLIC故障区域分割算法流程图
Figure 1. Flow chart for fault region segmentation based on SLIC algorithm
![]()
图 4 不同种子数分割后的类间方差
Figure 4. Variances between classes after segmentation of different seed numbers
表 1 4种算法的实验结果
Table 1 Experimental results due to four algorithms
Segmentation method OTSU Marked watershed Region growing Ours Precision Recall Precision Recall Precision Recall Precision Recall Picture1 0.4259 0.9271 0.3190 0.4037 0.9360 0.7686 0.9596 0.9240 Picture2 0.8438 0.8425 0.8060 0.9148 0.7244 0.8680 0.9324 0.9660 Picture3 0.4325 0.8945 0.4327 0.9192 0.7109 0.8136 0.9394 0.9393 Picture4 0.4924 0.9582 0.5474 0.9306 0.7032 0.9454 0.9485 0.9218 Picture5 0.2527 0.9322 0.4624 0.9261 0.6862 0.9244 0.9682 0.9388 
下载: 导出CSV
-
[1] 王启银, 薛建东, 任新辉. 一种自适应的变电站设备红外图像分割方法[J]. 红外技术, 2016, 38(9): 770-773. http://hwjs.nvir.cn/article/id/hwjs201609010 WANG Qiyin, XUE Jiandong, REN Xinhui. An adaptive infrared image segmentation method for substation equipment[J]. Infrared Technology, 2016, 38(9): 770-773. http://hwjs.nvir.cn/article/id/hwjs201609010
[2] 王小芳, 毛华敏. 一种复杂背景下的电力设备红外图像分割方法[J]. 红外技术, 2019, 41(12): 1111-1116. http://hwjs.nvir.cn/article/id/hwjs201912004 WANG Xiaofang, MAO Huamin. Infrared image segmentation method for power equipment under complex background[J]. Infrared Technology, 2019, 41(12) : 1111-1116. http://hwjs.nvir.cn/article/id/hwjs201912004
[3] 林颖, 郭志红, 陈玉峰. 基于卷积递归神经网络的电流互感器红外故障图像诊断[J]. 电力系统保护与控制, 2015, 43(16): 87-94. DOI: 10.7667/j.issn.1674-3415.2015.16.013 LIN Ying, GUO Zhihong, CHEN Yufeng. Convolutional-recursive network based current transformer infrared fault image diagnosis[J]. Power System Protection and Control, 2015, 43(16): 87-94. DOI: 10.7667/j.issn.1674-3415.2015.16.013
[4] 陈跃伟, 彭道刚, 夏飞, 等. 基于区域生长法和BP神经网络的红外图像识别[J]. 激光与红外, 2018, 48(3): 401-408. DOI: 10.3969/j.issn.1001-5078.2018.03.024 CHEN Yuewei, PENG Daogang, XIA Fei, et al. Infrared image recognition based on region growing method and BP neural network[J]. Laser & Infrared, 2018, 48(3): 401-408. DOI: 10.3969/j.issn.1001-5078.2018.03.024
[5] 贾鑫, 张惊雷, 温显斌. 双监督信号深度学习的电气设备红外故障识别[J]. 红外与激光工程, 2018, 285(7): 32-38. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201807005.htm JIA Xin, ZHANG Jinglei, WEN Xianbin. Infrared fault identification of electrical equipment based on dual supervised signal deep learning[J]. Infrared and Laser Engineering, 2018, 285(7): 32-38. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201807005.htm
[6] 尹阳. 基于红外图像的变电站设备识别与热状态监测系统研究[D]. 西安: 西安科技大学, 2018. YIN Yang. Research on Substation Equipment Identification and Thermal State Monitoring System Based on Infrared Image[D]. Xi'an: Xi'an University of Science and Technology, 2018.
[7] 余成波, 曾亮, 张林. 基于OTSU和区域生长的电气设备多点故障分割[J]. 红外技术, 2018, 40(10): 1008-1012. http://hwjs.nvir.cn/article/id/hwjs201810013 YU Chengbo, ZENG Liang, ZHANG Lin. Multipoint fault segmentation for electrical equipment based on OTSU and regional growth[J]. Infrared Technology, 2018, 40(10): 1008-1012. http://hwjs.nvir.cn/article/id/hwjs201810013
[8] 赵梦. 基于红外图像的电力设备故障分析研究[D]. 西安: 西安理工大学, 2020. ZHAO Meng. Research on Fault Analysis of Power Equipment Based on Infrared Image [D]. Xi 'an: Xi 'an University of Technology, 2020.
[9] 任新辉. 基于红外技术的变电站设备识别与热故障诊断[D]. 成都: 西南交通大学, 2016. REN Xinhui. Substation Equipment Identification and Thermal Fault Diagnosis Based on Infrared Technology[D]. Chengdu: Southwest Jiaotong University, 2016.
[10] 张锦文. 变电站电气设备红外图像分割方法研究[D]. 北京: 华北电力大学, 2018. ZHANG Jinwen. Research on Infrared Image Segmentation Method of Electrical Equipment in Substation[D]. Beijing: North China Electric Power University, 2018.
[11] 康龙. 基于红外图像处理的变电站设备故障诊断[D]. 北京: 华北电力大学, 2016. KANG Long. Fault Diagnosis of Substation Equipment Based on Infrared Image Processing[D]. Beijing: North China Electric Power University, 2016.
[12] 郭铭. 基于红外成像技术的变电站电气设备热故障诊断研究[D]. 阜新: 辽宁工程大学, 2019. GUO Ming. Research on Thermal Fault Diagnosis of Electrical Equipment In Substation Based on Infrared Imaging Technology[D]. Fuxin: Liaoning Engineering University, 2019.
[13] 刘辉, 石小龙. 结合显著性和超像素改进的GrabCut图像分割[J]. 红外技术, 2018, 40(1): 55-61. http://hwjs.nvir.cn/article/id/hwjs201801010 LIU H, SHI X L. Improved grab cut segmentation based on salience and superpixels[J]. Infrared Technology, 2018, 40(1): 55-61. http://hwjs.nvir.cn/article/id/hwjs201801010
[14] Levinshtein A, Stere A, Kutulakos K N, et al. Turbopixels: fast superpixels using geometric flows[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(12): 2290-2297. DOI: 10.1109/TPAMI.2009.96
[15] REN X F, Malik J. Learning a classification model for segmentation[C]//Proceedings of the Ninth IEEE International Conference on Computer Vision, 2003: 10.
[16] Veksler O, Boykov Y, Mehrani P. Superpixels and supervoxels in an energy optimization framework[C]//European Conference on Computer Vision(ECCV), 2013: 13-35.
[17] 赵文涛, 曹昕鸷, 田志勇. 基于自适应阈值区域生长的红外舰船目标分割方法[J]. 红外技术, 2018, 40(2): 158-163. http://hwjs.nvir.cn/article/id/hwjs201802010 ZHAO Wentao, CAO Xinzhi, TIAN Zhiyong. Infrared ship target segmentation based on adaptive threshold region growth[J]. Infrared Technology, 2018, 40(2): 158-163. http://hwjs.nvir.cn/article/id/hwjs201802010
[18] ZUCKER S W. Region growing: Childhood and adolescence[J]. Computer Graphics Image Processing, 1976(5): 382-399. http://ar.newsmth.net/att/dfd6fe6c43255/Region_growing_Childhood_and_adolescence.pdf
[19] LI J, QIU M, ZHANG Y, et al. A fast obstacle detection method by fusion of double-layer region growing algorithm and grid-SECOND detector[J]. IEEE Access, 2020, 9: 32053-32063. http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9309211
[20] WANG W, WANG X J, LIU X W, et al. Image segmentation algorithm based on image complexity[J]. Journal of Detection & Control, 2015, 37(3): 5-9.
-
期刊类型引用(2)
1. 陆玉. 基于大数据分析的红外图像非均匀性自动化校对. 佳木斯大学学报(自然科学版). 2025(01): 39-42 . 
百度学术
2. 陈栋，孟奇，连细南. 高速飞行条件下红外探测关键技术研究. 舰船电子工程. 2022(10): 194-198 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 360
- HTML全文浏览量: 28
- PDF下载量: 28
- 被引次数: 8
