False Alarm Rate Reduction in Infrared Search and Track Systems
-
摘要: 红外全景搜索跟踪系统能对360°大视场提供实时多目标搜索与定位功能，与此同时大视场的引入也带来虚假目标增多，以及同一运动目标在前后生成的两幅全景图像中位置差异过大的困扰。本文针对以上问题，引入图像金字塔变换降低全景图像分辨率，再利用Lucas-Kanade（LK）光流法计算所有疑似运动区域的光流，最后分析所有光流特征结合二分类思想将真实运动目标和虚假运动目标区分开，针对全景图像能够有效的将虚假目标检测出来，剔除该类目标对后续处理结果的干扰。
-
关键词:
- 全景搜索跟踪 /
- 虚警率 /
- Lucas-Kanade光流 /
- 二分类
Abstract: Infrared panoramic search and track systems can provide real-time multi-target search and positioning functions for a 360° field of view. However, the involvement of the large view field introduces problems such as increased number of false targets and a large displacement of moving targets between panoramic frames. To address these problems, this study uses the image pyramid transform to reduce the panoramic image resolution and the Lucas-Kanade optical-flow method to calculate the optical flow of all predicted movement areas. Finally, the optical-flow features are analyzed to separate the real target from the false target area. In this way, false targets can be effectively detected in the panorama images, and the interference of such targets in the subsequent processing can be eliminated.-
Keywords:
- panoramic search and track /
- false alarm rate /
- Lucas-Kanade optical-flow /
- dichotomy
-
0. 引言
热故障是电力设备运行时常见的一种故障类型。及时诊断出热故障，对电力设备安全运行有着重要意义。近年来，红外成像技术得到了长足的进步，运用光电技术检测物体热辐射的红外线特定波段信号，能有效显示物体表面的温度信息[1]，在电力设备巡检中有着广泛应用。
随着我国电力系统的快速建设，设备红外巡检压力也愈发增大[2]。当前巡检模式严重依赖人工分析与识别。这种模式存在识别效率低、误检率和漏检率高等缺点。为此，科研人员提出多种智能化的热诊断方法。这些方法可分为如下两大类：
第一大类是基于传统图像特征的诊断方法[3-8]。一种梯度分析方法[3]应用于识别热故障目标。胡洛娜等人提出一种改进的K-均值方法[4]用于红外热故障诊断。魏钢等人提出一种基于小波变换联合后验概率分布的热故障诊断技术[5]。该方法通过改进图像质量来提高热故障诊断精度。一种粒子群图像分割[6]技术用于分割图像区域目标并进行热故障诊断。黄志鸿[8]等人采用一种低秩表示的方法，利用热故障的稀疏分布特性，将热故障从低秩背景中分离出来。第二大类是基于深度学习的诊断方法。这类方法近年来也得到广泛的关注[9-12]。魏东等人[10]利用递归神经网络定位异常热故障目标。文献[10]对红外图像进行分割，并采用卷积神经网络进行热故障识别。周可慧[11]等人提出一种改进的卷积神经网络模型，对红外热故障图像进行诊断。
文献[1]提出一种基于引导滤波的热故障诊断方法。具体来说，通过引导滤波器挖掘相邻像素间的空间结构信息，同时抑制图像中噪声等突变细节并保持热故障区域的空间边缘信息，进而提升热故障的诊断精度。然而，这项研究工作存在一个局限性，即引导滤波器的平滑程度对热故障诊断的精度影响较大。基于单一参数大小的引导滤波处理难以充分地表征红外图像复杂的空间结构信息。
为解决上述难题，本文提出一种基于多尺度引导滤波和决策融合的电力设备热故障诊断方法。该方法的主要创新点在于，联合引导滤波和多尺度决策融合技术，充分挖掘红外图像的空间结构信息和温度信息，进而提升热故障的诊断精度。该方法包括3个主要步骤。首先，基于热故障区域与图像背景在红外图像上的温度差异特性，逐像素计算热故障区域与环境背景的马氏距离，获取初始的热故障诊断结果。然后，采用不同参数设置的引导滤波对初始诊断结果进行优化，并将生成的若干引导滤波特征图堆叠在一起。最后，为充分挖掘不同尺度的引导滤波特征图的空间结构信息和温度差异信息，利用主成分分析法对引导滤波特征图进行决策融合，生成最终的热故障诊断结果图。图 1为所提出方法的流程图。
1. 引导滤波热故障诊断基本测量原理
1.1 引导滤波相关原理
图像滤波是图像处理中最常见的技术之一，其中边缘保持滤波模型近年来在机器视觉领域中有着广泛应用[13]。常见的边缘保持滤波模型有：引导滤波[13]，双边滤波[14]、加权最小二乘滤波[15]。相较于其他几类边缘保持滤波技术，引导滤波采用一种简单有效的局部线性模型，具有实时性和高效性等优点[13]，在图像去噪、目标检测等领域被证明为一种有效的滤波工具。具体来说，引导图像I在局部空间窗口wj中进行线性变换生成输出图像O：
$$ {O_i} = {a_j}{I_i} + {b_j},\forall i \in {w_j}, $$ (1) 式中：wj表示以像素j为中心的局部区域，空间大小为(2r+1)×(2r+1)。能量函数E(aj, bj)用于构建滤波器中系数aj和bj：
$$ {{E}}({{{a}}_{{j}}}{{,}}{{{b}}_{{j}}}) = \sum\nolimits_{{{i}} \in {{{w}}_{{j}}}} {(({{{a}}_{{j}}}{{{I}}_{{i}}}{{ + }}{{{b}}_{{j}}} - {{{p}}_{{i}}}) + \varepsilon {{{a}}_{{j}}})} $$ (2) 式中：ε为控制滤波平滑程度的参数。通过求解下列问题得到系数aj和bj：
$$ {{{a}}_{{j}}} = \frac{{\frac{1}{{\left| {{{{w}}_{{j}}}} \right|}}\sum\nolimits_{{{i}} \in {{{w}}_{{j}}}} {{{{I}}_{{i}}}{{{P}}_{{i}}} - {\mu _{{j}}}\overline {{{{P}}_{{j}}}} } }}{{{\delta _{{j}}} + \varepsilon }},{{{b}}_{{j}}}{{ = }}\overline {{{{P}}_{{j}}}} - {{{a}}_{{j}}}{\mu _{{j}}} $$ (3) 式中：P为输入的红外图像；$ \left| {{w_j}} \right| $为wj区域内的像素数；μj和δj是引导图像I中wj区域内的均值和方差；$ \overline{p_j} $是输入图像P中wj区域内均值。通过计算公式(1)生成输出图像O。
1.2 基于引导滤波的热故障诊断
在我们之前的工作中[1]，提出一种基于引导滤波的热故障诊断方法。具体来说，通过引导滤波器挖掘相邻像素间的空间结构信息，同时抑制图像中噪声等突变细节并保持热故障区域的空间边缘信息，提升热故障的诊断精度。首先，根据设备故障发生区域与周围背景区域存在较大的温度差异特性，在红外图像上能较好地反映出两者的温度变化情况。由此，文献[1]中采用Reed-Xiao异常检测算法[15]来诊断出热故障区域。该算法表示如下：
$$ D_{\mathrm{RX}\left(m_i\right)}=\left(\boldsymbol{m}_i-\boldsymbol{\mu}\right) \mathit{\pmb{\Gamma}}^{-1}\left(\boldsymbol{m}_i-\boldsymbol{\mu}\right)^{\mathrm{T}} $$ (4) 式中：mi代表输入的红外图像m中的第$ i $个像素。μ和Γ分布表示为m的均值和协方差。$ {D_{RX({m_i})}} \in [0,1] $指的是第i个像素属于异常热故障的发生概率。
为提高发热故障区域的诊断精度，文献[1]对初始诊断结果图进行引导滤波处理，挖掘图像像素间的空间相似性信息，提升热故障诊断的性能。
$$F=G_{r_x, \varepsilon_x}(O, I) $$ (5) 式中：函数$ G_{r_x, \varepsilon_x}(O, I) $代表引导滤波操作；I代表输入的初始诊断结果；O指一个引导图像，它由输入红外热像的第一个主成分所组成；r和ε为两个控制滤波结果平滑度的参数。
2. 基于多尺度引导滤波和决策融合的热故障诊断方法
2.1 故障区域初始诊断
根据1.2节的工作，本文首先采用Reed-Xiao（RX）异常检测算法[16]来诊断故障区域，通过逐像素计算每一点的马氏距离，马氏距离结果为测试像素和背景像素之间的温度差异。图 2为初始诊断结果图，其右侧为初始诊断图中的两个局部放大图。初始诊断结果图像能较好地反映出异常热故障的发生区域。但未能有效去除图像中噪声等突变细节，同时丢失热故障区域部分空间边缘细节。
2.2 多尺度引导滤波特征提取
为提高热故障区域的诊断精度，不同参数大小的引导滤波器$G_{r_x, \varepsilon_x}(O, I) $对初始诊断结果图I进行特征提取：
$$ F_x=G_{r_x, \varepsilon_x}(O, I), x=1, \cdots, X $$ (6) $$F=\left\{F_1, \cdots, F_X\right\} $$ (7) 式中：rx和εx为第x组引导滤波器的两个参数，其中(rx, εx)＝{(r1, ε1), …, (rx, εx)}。不同滤波特征图通过公式(7)进行叠加。通过该步骤，本文所提的基于多尺度引导滤波和决策融合（multi-scale guided filter and decision fusion, MGFD）方法能够挖掘不同尺度结构信息的滤波特征图。不同参数大小的滤波特征图如图 3(b)~(e)所示。滤波后的图像有着完全不同的边缘细节和结构特征。对于含噪声的平滑区域，高平滑度可以有效降低噪声，并保持同质区域的红外光谱纯净度。因此，将这些滤波特征图叠加到一起，有助于利用不同滤波特征图的空间结构互补信息。在本文实验中(r1, ε1)＝(1, 0.05)，(r2, ε2)＝(5, 0.1)，(r3, ε3)＝(10, 0.2)，(r4, ε4)＝(10, 0.4)。
![]()
图 3 两个滤波参数ε和r的影响：(a) 初始热故障诊断结果；(b)-(e)不同参数下的滤波特征；和(f)最终热故障诊断结果Figure 3. Influence of the two parameters, r and ε to the performance of the gulied filter: (a) Initial fault diagnosis result; (b) - (e) Filterd feature maps with different parameter settings, and (f) Finial fault diagnosis result2.3 基于主成分分析的决策融合
在2.2节中，虽然叠加生成的高维度滤波特征图F（mn×X，m和n为图像的空间维度，X为特征图数目）能够利用图中的互补信息。然而，高维度滤波特征图F也带来了额外的数据冗余度，加重了模型的计算代价。
更重要的是，尽管引导滤波处理的目的是在保留图像同质区域的同时平滑图像边界。但值得注意的是平滑操作仍可能减少属于热故障像素和背景像素之间的光谱差异性。为解决这一难题，我们提出一种简单有效的基于主成分分析（Principal component analysis，PCA）的决策融合技术。该技术不仅可以减少数据的维数，而且能够增加像素间的光谱可分性。因此，在本文中，堆叠的滤波特征图通过PCA技术融合在一起，生成最终热故障诊断结果图：
$$P=\operatorname{PCA}(F, L) $$ (8) 式中：L为主成分的数目；F为叠加的滤波融合特征图。PCA技术将维度为mn×X的滤波特征图F，转换得到维度为mn×L的最终的热故障诊断结果图。在本文实验中，L取值1。
3. 实验分析
3.1 实验介绍
在实验中，本文采用3种经典的异常目标检测方法进行对比实验，验证所提出方法的有效性。这些方法包括基于全局统计的马氏距离计算Reed-Xiao（RX）方法[16]、低密度概率检测（low density probability，LDP）方法[17]和低秩表示（low-rank representation, LRR）[18]诊断方法。其中，对于LRR方法，参数σ设置为σ＝0.05。
为评估诊断结果的优劣，本文采用线下面积（area under curve, AUC）[16, 19]指标来评估对比方法的诊断性能。该指标能较好地评估诊断结果与热故障区域的温升差异和区域面积的匹配程度，定量地评价诊断结果的精度。AUC指标越高，识别结果越接近参考的热故障区域图，热故障诊断性能越优异。
3.2 实验结果与分析
第一幅测试图像由FLIR热成像仪采集，该图像包含240×330个像素。在该图中，线路某处温度异常过热。该区域被视为热故障目标。图 4(a)和(b)展示测试图像和参考的热故障区域图。不同方法的热故障诊断结果如图 4(c)~(f)所示。在每幅图的左下方为热故障识别结果的局部放大图。如图所示，LDP和LRR方法未能有效地从背景中诊断热故障区域。相较于RX的诊断结果，MGDF的诊断结果图与参考的热故障区域图更接近。3种对比方法的AUC指标分别为0.9709、0.8312和0.8974，MGDF取得最高AUC指标，0.9985。
第二张测试图像由FLIR热成像仪所采集，该图包含240×330个像素。在该图中，线路某处的温度异常过高。该区域被视为热故障目标。图 5(c)~(f)展示了不同方法的诊断结果。RX和MGDF方法能有效地诊断出热故障区域。LDP和LRR方法不能有效去除背景像素的干扰。RX、LDP、LRR和MGDF方法的AUC标值分别为0.9901、0.9132、0.9326和0.9993。
第3幅测试图像由FILR热成像仪所采集，由325×450个像素组成。该幅图像中，绝缘子出现温度过热的异常情况。图 6(a)和(b)展示该图像的红外热图像和参考的热故障区域图。不同方法的诊断结果如图 6(c)~(f)所示。LRR方法可以诊断出热故障区域，但不能有效地去除背景像素的干扰。与RX方法的结果相比，MGDF方法最接近参考的热故障区域图。RX、LDP、LRR和MGDF方法的AUC得分分别为0.9893、0.9253、0.9486和0.9989。
不同方法AUC指标如表 1所示。如表所示，本文所提出的MGDF方法能获得最高的诊断精度（已加粗）。通过多尺度决策融合和引导滤波，MGDF相较于3种对比方法在诊断精度上有明显提升。对于3张测试图像，AUC指标分别提升0.1278，0.0601，0.0449。表 2展示了不同方法的运行时间。从表中我们可以发现，RX，LDP和LRR3种方法采用全局图像的计算策略，计算效率更高。MGDF方法需进行多尺度运算。尽管所提出的MGDF方法在运行效率上不是最高的。但鉴于其出色的诊断性能，该方法仍然是4种方法中最为实用的热故障诊断技术。
表 1 不同诊断方法的AUC指标Table 1. AUC values of different diagnosis methodsTest
imagesRX LDP LRR MGDF 1 0.9707 0.8312 0.8974 0.9852 2 0.9901 0. 9132 0. 9326 0.9993 3 0.9893 0. 9253 0. 9486 0.9989 表 2 不同诊断方法的运行时间Table 2. Running time of different diagnosis methodsTest images RX LDP LRR MGDF 1 0.59 0.75 0.47 2.31 2 0.53 0.61 0.34 2.27 3 0.84 0.98 0.56 2.15 为证明多尺度融合技术的优势，MGDF方法与基于单一尺度的引导滤波方法进行对比实验。在本文实验中，GF1、GF2、GF3、GF4分别为引导滤波参数为(r1, ε1)＝(1, 0.05)，(r2, ε2)＝(5, 0.1)，(r3, ε3)＝(10, 0.2)，(r4, ε4)＝(10, 0.4)的滤波方法。表 3展示了不同热故障诊断方法的AUC指标值。不同滤波尺度的诊断结果有着不同的边缘细节和结构特征。本文所提的MGDF方法将这些滤波特征图叠加到一起，能够挖掘不同尺度的空间结构互补信息，进而提升热故障的诊断精度。
表 3 单一尺度滤波参数的AUC指标Table 3. Diagnosis methods with various parametersTest images GF1 GF2 GF3 GF4 MGDF 1 0.9403 0.9433 0.9681 0.9562 0.9852 2 0.9787 0.9464 0.9805 0.9908 0.9993 3 0.9693 0.9712 0.9485 0.9824 0.9989 4. 结论
在本文中，我们提出一种基于多尺度引导滤波和决策融合的电力设备热故障诊断方法。该方法的主要创新点在于，联合多尺度引导滤波和决策融合技术，充分挖掘红外图像的空间结构信息和温度信息，提升热故障的诊断精度。实验测试结果表明，本文方法在热故障诊断精度上有明显优势，满足电力设备红外巡检的应用需求满足电力红外巡检的应用需要。在未来的研究工作中，该项技术也可应用于绝缘子破损、通道树竹识别等巡检任务工作中。
-
[1] 陈洁, 张若岚. 应用于红外搜索跟踪和态势感知系统的全景成像技术[J]. 红外技术, 2016, 38(4): 269-279. http://hwjs.nvir.cn/article/id/hwjs201604001 CHEN Jie, ZHANG Ruolan. Panoramic imaging technology applied in IRST and status awareness system[J]. Infrared Technology, 2016, 38(4): 269-279. http://hwjs.nvir.cn/article/id/hwjs201604001
[2] 朱海滨, 邵毓, 张远健, 等. 可见光/红外双视场全景式航空侦查相机光学系统设计[J]. 应用光学, 2017, 38(1): 7-11. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX201701002.htm ZHU Haibin, SHAO Yu, ZHANG Yuanjian, et al. Optical system design of visible/infrared and double-FOV panoramic aerial camera[J]. Journal of Applied Optics, 2017, 38(1): 7-11. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX201701002.htm
[3] 贾俊涛, 唐跃峰, 毛鑫, 等. 红外全景扫描跟踪成像系统设计与实现[J]. 应用光学, 2013, 34(3): 407-412. JIA Juntao, TANG Yuefeng, MAO Xin, et al. Design and implement of infrared panoramic scanning and tracking imaging system[J]. Journal of Applied Optics, 2013, 34(3): 407-412.
[4] 李洁, 孙科峰. 机载红外搜索跟踪系统仿真测试平台设计[J]. 电光与控制, 2019, 26(8): 101-105, 110. DOI: 10.3969/j.issn.1671-637X.2019.08.019 LI Jie, SUN Kefeng. Design of a simulation testing platform for airborne IRST system[J]. Electronics Optics & Control, 2019, 26(8): 101-105, 110. DOI: 10.3969/j.issn.1671-637X.2019.08.019
[5] 何杰. 机载红外搜索跟踪系统研究与仿真实现[D]. 南京: 南京航空航天大学, 2014. HE Jie. Research and Simulation of Airborne Infrared Search and Tracking System[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2014.
[6] 王辉, 周振彪, 于劲松, 等. 红外搜索跟踪系统的半实物仿真系统设计[J]. 计算机测量与控制, 2012, 20(6): 1672-1675. WANG Hui, ZHOU Zhenbiao, YU Jingsong, et al. Design of hardware-in-the-loop simulation system for infrared search and track system[J]. Computer Measurement & Control, 2012, 20(6): 1672-1675.
[7] 杨旭, 何江宁, 陈洪亮. 一种机载红外搜索跟踪系统多目标跟踪精度测试系统设计[J]. 电光与控制, 2017, 24(4): 80-84. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201704019.htm YANG Xu, HE Jiangning, CHEN Hongliang, et al. Design of a multi-target tracking accuracy test system for airborne IRST system[J]. Electronics Optics & Control, 2017, 24(4): 80-84. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201704019.htm
[8] 王卫华, 李志军, 何艳, 等. 一种基于兴趣区提取的红外搜索系统目标实时检测算法[J]. 中国激光, 2012, 39(11): 187-192. WANG Weihua, LI Zhijun, HE Yan, et al. A real-time target detection algorithm for infrared search and track system based on region of interest extraction[J]. Chinese Journal of Lasers, 2012, 39(11): 187-192.
[9] 陈炳文, 王文伟, 秦前清, 等. 基于时空融合和粒子滤波的红外弱小目标检测[J]. 红外与激光工程, 2010, 39(s): 228-232. https://cpfd.cnki.com.cn/Article/CPFDTOTAL-ZYHG201005001052.htm CHEN Bingwen, WANG Wenwei, QIN Qianqing, et al. Infrared dim target detection based on space-time integration and particle filter[J]. Infrared and Laser Engineering, 2010, 39(s): 228-232. https://cpfd.cnki.com.cn/Article/CPFDTOTAL-ZYHG201005001052.htm
[10] 王雪梅, 黄自力, 王德胜. 红外弱小目标的单帧捕获[J]. 红外与激光工程, 2006, 35(s): 99-104. https://cpfd.cnki.com.cn/Article/CPFDTOTAL-ZYHG200611001021.htm WANG Xuemei, HUANG Zili, WANG Desheng. Infrared small and weak targets detection in single frame[J]. Infrared and Laser Engineering, 2006, 35(s): 99-104. https://cpfd.cnki.com.cn/Article/CPFDTOTAL-ZYHG200611001021.htm
[11] 罗举平, 贺有, 邰新军. 基于红外图像信息的变门限检测与跟踪方法[C]//第十届全国光电技术学术交流会论文集, 2012: 243. LUO Juping, HE You, TAI Xinjun. Variable threshold detection and tracking method based on infrared image information[C]//The 10th National Conference on Optoelectronic Technology, 2012: 243.
[12] 张艳艳, 娄莉, 梁硕. 基于改进光流算法的运动目标检测技术研究[J]. 智能计算机与应用, 2018, 8(1): 55-58. DOI: 10.3969/j.issn.2095-2163.2018.01.013 ZHANG Yanyan, LOU Li, LIANG Shuo. Research on moving object detection technology based on improved optical-flow algorithm[J]. Intelligent Computer and Applications, 2018, 8(1): 55-58. DOI: 10.3969/j.issn.2095-2163.2018.01.013
[13] 西北工业大学. 一种基于连续有限帧红外图像的弱小目标检测方法: CN201911073594[P]. 中国: 2020-02-21. Northwest Polytechnic University. A method of small target detection based on continuous finite frame infrared image: CN201911073594[P]. China: 2020-02-21.
[14] WANG Lei, ZHAO Xu, LIU Yuncai. Reduce false positives for object detection by a priori probability in videos[J]. Neurocomputing, 2016, 208: 325-332. DOI: 10.1016/j.neucom.2016.03.082
[15] Recchia G, Fasano G, Accardo D, et al. An optical-flow based electro-optical see-and-avoid system for UAVs[C]//Proceedings of IEEE 2007 Aerospace Conference, 2007: DOI: 10.1109/AERO.2007.352759.
-
期刊类型引用(2)
1. 黄坤琳，吴国周，徐维新，李利东，王海梅，李航，李自翔，司荆柯，刘洪宾，吴成娜. 呼伦贝尔东部农田区动态融雪过程及其影响因子. 干旱区研究. 2024(09): 1514-1526 . 
百度学术
2. 黄林，李晖，康璇. 基于Freeman全极化分解的干雪识别指数模型构建. 厦门理工学院学报. 2023(05): 40-48 . 百度学术
其他类型引用(2)
下载:
计量
- 文章访问数: 164
- HTML全文浏览量: 93
- PDF下载量: 56
- 被引次数: 4
