Shape Adaptation Low Rank Representation for Thermal Fault Diagnosis of Power Equipments
-
摘要: 本文提出一种形状自适应低秩表示的电力设备热故障诊断方法。该方法通过联合超像素分割和低秩表示技术进行热故障诊断。首先,使用主成分分析算法对输入的红外图像进行变换,并对第一主成分进行超像素分割处理,将红外图像自适应地分割为若干非重叠的超像素。然后,采用低秩表示技术对逐个超像素进行热故障诊断,通过充分挖掘空间结构信息和红外温度信息,优化提升热故障诊断精度。实验结果表明,与其他传统热故障诊断方法相比,本文提出的方法在热故障诊断精度上具有较大的优势,满足电力设备红外巡检的应用需求。Abstract: This work introduces a thermal fault diagnosis method that integrates superpixel segmentation and low-rank representation for diagnosis. The proposed method comprises two main steps. First, an input infrared image is transformed using a principal component analysis (PCA) algorithm, and a superpixel segmentation method is employed for the first principal component (PC). The first PC is divided into non-overlapping homogeneous superpixels. Then, the thermal fault region is detected by employing low-rank representation in a superpixel-by-superpixel manner. Experimental results show that the proposed diagnosis method has a better detection performance than that of current state-of-the-art detectors.
-
0. 引言
以像增强器为核心的微光夜视技术一直是国际先进的军用夜视技术手段,其相比于互补金属氧化物半导体(complementary metal oxide semiconductor, CMOS)和电荷耦合器件(charge-coupled device, CCD)成像探测器具有更好的低照度成像性能,可解决低至10-4 lx的低照度夜间成像。目前,大多数研究主要通过测量与对比像增强器的某项客观技术指标作为入手点评价像增强器成像效果的优劣,如像增强器的积分灵敏度[1]、信噪比[2]、亮度增益[3]、等效背景照度[4]、空间分辨力[5]、极限分辨力[6]、调制传递函数[7]等,此类评价方法往往不够直观,且仅能评价像增强器成像的某一方面特性,无法全面地描述像增强器的成像性能。
像增强器成像效果的主观评价则是评测像增强器成像质量的另一重要维度,但由于像增强器是一种直视型光学成像器件,观察者一般通过直接观察其荧光屏来实现对场景的观察。目前在评价不同型号的像增强器的成像效果时,要求在相同的观测条件下,通常采用两种方法:
① 组织若干观察者直接观察不同型号的像增强器荧光屏,并主观判断各型号像增强器成像效果的优劣。但方法的缺点为:要求观察者具备丰富的背景知识与观察经验,同时评价结果具有主观性,且由于无法录制成像效果数字视频,评价结果不可复现。
② 使用多部手机/摄像机等成像设备,以手持或架设光路的方式拍摄不同型号像增强器的荧光屏,录制数字视频,再组织若干观察者观察录制的视频。但方法的缺点为:若手持设备录制视频,拍摄会由于人手的抖动,影响观察者对成像质量的判断;若架设光路录制视频,需要携带大量额外器材进行系统搭设,且很难保证不同型号像增强器的光路平行与不同成像录制设备的时间同步;当需要更换另一型号的像增强器进行观察时,由于外型尺寸不同,还需要重新搭设光路,浪费大量的时间与人力物力。
同时,两种方法在进行野外实验时,往往都需携带额外的电源为所有设备供电,且无法精确测量观察目标与像增强器的距离。
本文提出了像增强器成像效果对比评测系统,可适配安装多种不同外型尺寸的像增强器,同时录制两路像增强器成像效果视频以达到对比的目的,还可便捷地在外场实验环境下对像增强器进行安装与拆卸,并通过数字图像处理技术辅助观察者判断图像效果优劣,从而可有效推进大规模像增强器成像效果对比实验的进行。
1. 微光成像对比评测系统设计
1.1 系统组成概述
如图 1所示,本文提出的微光像增强器成像效果对比评测系统主要由像增强器成像组件模块、微单相机、激光测距模块、低照度CMOS成像组件模块、图像采集模块、电源模块及上位机组成。对于外场微光成像实验,来自夜天光光源的辐射能量经场景反射分别被两组像增强器成像组件模块及低照度CMOS成像组件模块的物镜接收,分别聚焦在两组像增强器的光阴极及低照度CMOS的成像传感器上,低照度CMOS通过图像采集模块直接将数字图像传输至上位机;像增强器则经过高增益电子倍增轰击荧光屏发光;荧光屏的单色强度图像经中继透镜聚焦在单反相机的成像传感器上,转化为场景的数字图像输出;在上位机同步控制下,两组像增强器成像组件模块与低照度CMOS成像组件模块的数字图像在上位机实时显示,通过控制上位机软件,还可对图像感兴趣区域进行放大,并实时展示数字图像评价指标辅助观察者判断图像质量,并可按需采集各成像组件模块的数字视频。
1.2 系统关键组件
1)像增强器组件模块
如图 2(a)所示,像增强器组件模块由3部分构成:像增强器外壳1,像增强器外壳2与像增强器。其中,像增强器外壳1采用金属材料,保证与系统的连接强度;像增强器外壳2采用韧性塑料,降低模块重量。同时,像增强器外壳1中内置定位销,将像增强器放入像增强器外壳1中时,可保证二者不会发生相对旋转;像增强器外壳2与像增强器外壳1通过同时穿过二者的顶丝连接。物镜通过像增强器外壳1上的螺纹与像增强器组件模块连接;像增强器外壳1与系统通过手拧螺丝连接。
如图 2(b)所示,像增强器组件模块根据不同外形尺寸的像增强器设计3种不同内径及长度的外壳,而不同外壳的外径尺寸及与系统的连接方式相同,通过更换不同的像增强器外壳,可以将不同尺寸的像增强器便捷的安装至系统内,且不同尺寸像增强器的光阴极面位置相同。像增强器组件模块可适配ϕ16、ϕ18与ϕ25三种规格的典型像增强器,同时通过在像增强器外壳2上配置触片电极与引线电极,适配不同供电方式的像增强器。
2)激光测距模块
激光测距模块采用江苏曙光光电有限公司的905 nm激光测距机(如图 3所示),体积小,重量轻。其测量量程为5~1500 m,测距精度为2 m,测距重复频率为30次/min,采用RS232协议与上位机通信,可达到较佳测距效果。
3)低照度CMOS成像组件模块
低照度CMOS成像组件模块采用昆山瑞芯微电子公司的P2101-1英寸低照度CMOS(如图 4(a)),分辨率1280×1024,像素尺寸9.7 μm×9.7 μm,帧率50 Hz,峰值量子效率可达72%,采用CameraLink数据传输接口。采用Ploera公司的iPort CL-U3数据采集模块(如图 4(b)),将低照度CMOS相机图像数据通过USB3.0协议传输至上位机。
4)单反相机模块
单反相机模块用于拍摄像增强器成像组件模块的荧光屏,采用Canon EOS 1300D单反相机,通过其上的mini USB接口与上位机连接,将拍摄到的图像和视频传输至上位机中。单反相机物镜(中继透镜)采用Canon EF-S 35mm F/2.8 IS STM微距镜头。
5)电源模块
电源模块采用集成化的可充电锂电池供电。设计的集成化可充电锂电池模块具有多相电压输出,包括两路像增强器供电电压(3 V),一路激光测距机供电电压(5 V),一路低照度CMOS相机供电电压(5 V),两路单反相机供电电压(7.4 V)。电源组件总容量10AH,可供装置连续工作5 h。
1.3 系统集成
基于系统物镜、像增强器成像模块、微单相机、激光测距模块、低照度CMOS成像模块、图像采集模块和电源模块,搭建完成的像增强器成像效果对比评测系统如图 5(b)所示,系统内部构成如图 5(a)所示。系统通过两路USB2.0连接线、一路USB3.0连接线及一路串口转USB连接线与上位机连接,实现对单反相机、低照度CMOS成像模块及激光测距机的数据采集与控制。
1.4 系统上位机界面
系统上位机界面如图 6所示,界面基于Open Framework v0.11.0[8]开发,通过Canon相机EDSDK[9]实现对两路单反相机的控制及数据采集,通过eBus SDK[10]实现对低照度CMOS图像采集模块的控制与数据采集。
在系统上位机界面上可实时同步显示两路像增强器和一路低照度CMOS成像效果,低照度CMOS成像画面可以辅助观察实验场景,可根据需求选择是否显示低照度CMOS画面,若只需要比较两路像增强器的成像效果,便可不使用低照度CMOS。同时可保存各路成像器件的成像效果数字视频,并控制激光测距机测量系统到目标的距离。该界面可适应正像、倒像成像的像增强器;同时,在界面上可人工选取感兴趣区域进行实时放大显示在界面右下角区域,并实时计算选取区域内的各项无参考数字图像质量评价指标辅助观察者判断图像优劣。
2. 微光成像效果对比评测方法
本文的微光成像器件成像效果对比评测方法可利用微光成像器件组件模块与低照度CMOS/CCD成像组件模块的图像或数字视频,通过上位机计算各路设备图像的局域统计信息,包括:图像灰度最小值、图像灰度最大值、图像灰度均值、图像标准差、图像Brenner梯度、图像Tenen梯度和图像熵。并将计算出的图像局域统计信息显示在上位机界面上,辅助观察者判断各路成像设备的成像效果。若各路成像设备采集的图像为灰度图像,则直接进行局域统计信息计算;若各路成像设备采集的图像为彩色图像,则首先将彩色图像转换为灰度图像,即:
$$ I_{\text {gray }}=\operatorname{RGB}2\operatorname{Gray}\left(I_{\mathrm{RGB}}\right) $$ (1) 式中:Igray为转换后的灰度图像;IRGB为各路成像设备采集的彩色图像;RGB2Gray()为将彩色图像转换为灰度图像的函数。
图像灰度最小值的计算方法为:
$$ I_{\min }=\min \left(I_{\text {gray}}\right) $$ (2) 式中:Imin为计算的头像灰度最小值;min()为统计图像最小值的函数。
图像灰度最大值的计算方法为:
$$ I_{\max }=\max \left(I_{\text {gray}}\right) $$ (3) 式中:Imax为计算的图像灰度最大值;max()为统计图像最大值的函数。
图像最小值主要用于比较分析不同型号像增强器对于暗场景或场景中暗区域的适应能力,如图 7(a)(b)中的红色矩形区域,像增强器1由于可呈现更多的暗区细节因而成像效果优于像增强器2,由表 1可知,像增强器1在红色矩形区域的图像最小值更高。图像最大值主要用于分析比较不同型号像增强器对于明亮场景的适应能力,如包含光源的场景等,如图 7(a)(b)中的黑色矩形区域,像增强器2由于可保留更多的亮区细节因而成像效果优于像增强器1,由表 1可知,像增强器2在黑色矩形区域的图像最大值更低。
表 1 像增强器细节区域评价指标Table 1. Assessment index of detail region of image intensifierIndices Black rectangular area in Fig. 8 Red rectangular area in Fig. 8 Black rectangular area in Fig. 9 Image intensifier 1 Image intensifier 2 Image intensifier 1 Image intensifier 2 Image intensifier 1 Image intensifier 2 Imin 166.00 85.00 37.00 25.00 113.00 90.00 Imax 255.00 234.00 61.00 46.00 244.00 246.00 Imean 243.05 216.33 47.65 32.98 142.77 129.96 Istd 8.92 24.73 3.22 2.53 21.23 29.20 IBrenner 58359.00 171799.00 19345.00 11105.00 123959.00 213647.00 ITenen 2224.00 8304.00 0.00 0.00 3928.00 7576.00 Ientropy 3.00 3.58 2.50 2.19 4.10 4.36 图像灰度均值的计算方法为:
$$ I_{\text {mean }}=\frac{\sum\limits_{i=1}^{M} \sum\limits_{j=1}^{N} I_{\text {gray }}(i, j)}{M N} $$ (4) 式中:Imean为图像灰度均值;i, j分别为图像的行、列坐标索引;M、N分别为图像局域的行、列数。图像均值主要用于评价不同型号像增强器对于场景区域的平均亮度,可用于任意场景分析像增强器的增益水平,图像均值越大,代表像增强器的增益水平越高。图像标准差的计算方法为:
$$ I_{\mathrm{std}}=\sqrt{\frac{1}{M N} \sum\limits_{i=1}^{M} \sum\limits_{j=1}^{N}\left(I_{\text {gray }}(i, j)-I_{\text {mean}}\right)^{2}} $$ (5) 式中:Istd为图像标准差,主要用于评价不同型号像增强器对于图像平坦区域的噪声水平或图像细节区域的信息丰富程度。对于图像的平坦区域,图像标准差越大,代表噪声水平越高;对于图像细节区域,图像标准差越大,代表信息越丰富。
图像Brenner梯度的计算方法为:
$$ I_{\text {Brenner }}=\sum\limits_{i=1}^{M-2} \sum\limits_{j=1}^{N-2}\left|I_{\text {gray }}(i, j+2)-I_{\text {gray }}(i, j)\right|^{2} $$ (6) 式中:IBrenner为计算的图像Brenner梯度。图像Brenner梯度用于评价不同型号像增强器图像区域细节丰富程度。Brenner梯度越大,代表场景细节越丰富。
图像Tenen梯度的计算方法为:
$$ I_{\text {Tenen }}=\sum\limits_{i=1}^{M-2} \sum\limits_{j=1}^{N-2}|G(i, j)| \quad(G(i, j)>T) $$ (7) $$ G(i, j)=\sqrt{G_{x}(i, j)^{2}+G_{y}(i, j)^{2}} $$ (8) $$ G_{x}=g_{x} * I_{\text {gray }}, G_{y}=g_{y} * I_{\text {gray }} $$ (9) $$ g_{x}=\frac{1}{4}\left[\begin{array}{lll} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \end{array}\right], g_{y}=\frac{1}{4}\left[\begin{array}{ccc} 1 & 2 & 1 \\ 0 & 0 & 0 \\ -1 & -2 & -1 \end{array}\right] $$ (10) 式中:ITenen为计算的图像Tenen梯度;*为卷积运算;T为阈值。Tenen梯度与Brenner梯度相似,也反映图像局域的细节丰富程度,其值越大代表细节越丰富。
图像熵的计算方法为:
$$ I_{\text {entropy }}=-\sum\limits_{i=0}^{L-1} p_{i} \ln \left(p_{i}\right) $$ (11) 式中:Ientropy为图像熵;pi为图像中灰度值为i的像素出现的概率;L为灰度级总数。图像熵代表图像局域的信息丰富程度,其值越大代表选定图像区域的信息越丰富。
如图 8(a)(b)所示,在图像黑色矩形区域,像增强器2较像增强器1具有更丰富的局部纹理与更清晰的边缘细节因而具有更好的成像效果。采用图像标准差、Brenner梯度、Tenen梯度和图像熵等指标可反映该结果从而辅助观察者判断图像质量。由表 1可知,像增强器2在黑色矩形区域具有更高的图像标准差、Brenner梯度、Tenen梯度与图像熵。
3. 结论
外场微光夜视系统性能测评仪可以有效地进行不同型号像增强器成像性能对比评测,实现不同微光夜视系统外场效果的主观评价。本文研究了外场微光像增强器成像效果对比评测方法,研制了包含双像增强器成像光路、低照度CMOS成像光路与激光测距机的外场成像效果对比评测系统,其中激光测距功能能够即时获取目标距离;系统不仅可直接比较不同型号的标准像增强器间成像效果,而且也可进行像增强器通道与低照度CMOS成像通道的比较;便携式设计便于野外实验操作和多路数字视频图像的记录。同时在上位机软件中集成多个无参考图像质量评价指标,可通过数字图像处理技术辅助观察者判断不同型号像增强器成像效果的优劣。外场实验验证了测评系统方便可行,能够反映不同成像光路的成像效果。
随着各类微光夜视技术的发展,相同/不同模式的微光夜视技术比测需求明显增加,本文的研究可有效促进此类对比实验的普及,进而反馈指导像增强器生产制造工艺优化,促进微光夜视成像技术的发展。此外,在相关测试实验数据的积累基础上,进一步发展和完善对比评测的客观评价方法也是一个重要的任务。
-
表 1 不同诊断方法的AUC指标
Table 1 AUC values of different diagnosis methods
Test images RX LDP LRR SS-LRR 1 0.9707 0.8312 0.8574 0.9852 2 0.9901 0. 9132 0. 9324 0.9925 3 0.9893 0. 9253 0. 9486 0.9935 表 2 不同诊断方法的运行时间
Table 2 Running time of different diagnosis methods
s Test images RX LDP LRR SS-LRR 1 0.59 0.75 0.47 1.66 2 0.53 0.61 0.34 1.52 3 0.84 0.98 0.56 1.81 -
[1] 刘嵘, 刘辉, 贾然, 等. 一种智能型电网设备红外诊断系统的设计[J]. 红外技术, 2020, 42(12): 198-1202. http://hwjs.nvir.cn/article/id/a00b6f68-052d-40c0-a00f-1f0ff120ce69 LIU Rong, LIU Hui, JIA Ran, et al. Design of intelligent infrared di-agnosis system for power grid equipment[J]. Infrared Technology, 2020, 42(12): 1198-1202. http://hwjs.nvir.cn/article/id/a00b6f68-052d-40c0-a00f-1f0ff120ce69
[2] 张文峰, 彭向阳, 陈锐民, 等. 基于无人机红外视频的输电线路发热缺陷智能诊断技术[J]. 电网技术, 2014, 38(5): 1334-1338. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS201405034.htm ZHANG Wenfeng, PENG Xiangyang, CHEN Ruiming, et al. Intelligent diagnostic techniques of abnormal heat defect in transmission lines based on unmanned helicopter infrared video[J]. Power System Technology, 2014, 38(5): 1334-1338. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS201405034.htm
[3] 王淼, 杜伟, 孙鸿博, 等. 基于红外图像识别的输电线路故障诊断方法[J]. 红外技术, 2017, 39(4): 383-386. http://hwjs.nvir.cn/article/id/hwjs201704015 WANG Miao, DU Wei, SUN Hongbo, et al. Transmission line fault diagnosis method based on infrared image recognition[J]. Infrared Technology, 2017, 39(4): 383-386. http://hwjs.nvir.cn/article/id/hwjs201704015
[4] 胡洛娜, 彭云竹, 石林鑫. 核猫群红外图像异常检测方法在电力智能巡检中的应用[J]. 红外技术, 2018, 40(9): 323-328. http://hwjs.nvir.cn/article/id/hwjs201809013 HU Luona, PENG Yunzhu, SHI Linxin. Anomaly detection method of infrared images based on kernel cat swarm optimization clustering with application in intelligent electrical power inspection[J]. Infrared Technology, 2018, 40(9): 323-328. http://hwjs.nvir.cn/article/id/hwjs201809013
[5] 魏钢, 冯中正, 唐跃林, 等. 输变电设备红外故障诊断技术与试验研究[J]. 电气技术, 2013, 14(6): 75-78. DOI: 10.3969/j.issn.1673-3800.2013.06.020 WEI Gang, FENG Zhongzheng, TANG Yuelin, et al. The infrared diagnostic technology of power transmission devices and experimen-tal study[J]. Electrical Technology, 2013, 14(6): 75-78. DOI: 10.3969/j.issn.1673-3800.2013.06.020
[6] 李鑫, 崔昊杨, 霍思佳, 等. 基于粒子群优化法的Niblack电力设备红外图像分割[J]. 红外技术, 2018, 40(8): 780-785. http://hwjs.nvir.cn/article/id/hwjs201808010 LI Xin, CUI Wuyang, HUO Siyang. Niblack's method for infrared image segmentation of electrical equipment improved by particle swarm optimization[J]. Infrared Technology, 2018, 40(8): 780-785. http://hwjs.nvir.cn/article/id/hwjs201808010
[7] 林颖, 郭志红, 陈玉峰. 基于卷积递归网络的电流互感器红外故障图像诊断[J]. 电力系统保护与控制, 2017, 45(16): 87-94. DOI: 10.7667/j.issn.1674-3415.2015.16.013 LIN Ying, GUO Zhihong, CHEN Yufeng. Convolutional-recursive network based current transformer infrared fault image diagnosis[J]. Power System Protection and Control, 2015, 45(16): 87-94. DOI: 10.7667/j.issn.1674-3415.2015.16.013
[8] 黄志鸿, 吴晟, 肖剑, 等. 基于引导滤波的电力设备热故障诊断方法研究[J]. 红外技术, 2021, 43(9): 910-915. http://hwjs.nvir.cn/article/id/cb2a71f1-cd7c-4e76-977b-b6f7472b905d HUANG Zhihong, WU Sheng, XIAO Jian, et al. Thermal fault dagnosis of power equipments based on guided filter[J]. Infrared Technology, 2021, 43(9): 910-915. http://hwjs.nvir.cn/article/id/cb2a71f1-cd7c-4e76-977b-b6f7472b905d
[9] 常亮, 邓小明, 周明全, 等. 图像理解中的卷积神经网[J]. 自动化学报, 2016, 42(9): 1300-1312. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201609002.htm CHANG Liang, DENG Xiaoming, ZHOU Mingquan, et al. Convolu-tional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201609002.htm
[10] 魏东, 龚庆武, 来文青, 等. 基于卷积神经网络的输电线路区内外故障判断及故障选相方法研究[J]. 中国电机工程学报, 2016, 36(5): 21-28. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC2016S1003.htm WEI Dong, LONG Qinwu, LAI Wenqing, et al. Research on internal and external fault diagnosis and fault-selection of transmission line based on convolutional neural network[J]. Proceedings of the CSEE, 2016, 36(5): 21-28. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC2016S1003.htm
[11] 周可慧, 廖志伟, 肖异瑶, 等. 基于改进CNN的电力设备红外图像分类模型构建研究[J]. 红外技术, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm ZHOU Kehui, LIAO Zhiwei, XIAO Yiyao, et al. Construction of infrared image classification model for power equipments based on improved CNN[J]. Infrared Technology, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm
[12] LIU M, Tuzel O, Ramalingam S, et al. Entropy rate superpixel segmentation[C]//Pattern Recognit., 2011: 2097-2104.
[13] YUAN X, YANG J. Sparse and low-rank matrix decomposition via alternating direction methods[J]. Pacific. J. Optim, 1990, 9(1): 1760-1770.
[14] Reed I S, YU X. Adaptive multiple-band CFAR detection of an optical pattern with unknown spectral distribution[J]. IEEE Transactions on Acoustic Speech Signal Processing, 1990, 38(10): 1760-1770. DOI: 10.1109/29.60107
[15] KANG X, ZHANG X, LI S, et al. Hyperspectral anomaly detection with attribute and edge-preserving filters[J]. IEEE Trans. Geosci. Remote Sens. , 2017, 55(10): 5600-5611. DOI: 10.1109/TGRS.2017.2710145
[16] XU Y, WU Z, LI J, et al. Anomaly detection in hyperspectral images based on low-rank and sparse representation[J]. IEEE Trans. Geosci Remote Sens. , 2016, 54(4): 1990 DOI: 10.1109/TGRS.2015.2493201
[17] 蒋昀宸, 樊绍胜, 陈骏星溆. 带电作业智能新技术及其应用现状[J]. 湖南电力, 2018, 38(5): 1-4. DOI: 10.3969/j.issn.1008-0198.2018.05.001 JIANG Yunchen, FAN Zhaosheng, CHEN Junxingxu. Smart new-technologies and applications for live work[J]. Hunan Electric Power, 2018, 38(5): 1-4. DOI: 10.3969/j.issn.1008-0198.2018.05.001