Recognition of High-Voltage Isolation Switch Opening and Closing State Based on Image Fusion
-
摘要:
为了解决现有隔离开关分合闸状态识别率较低的问题，提出了一种基于NSST-PCNN-IFVSS的图像融合方法。在对红外和可见光图像的预处理阶段进行图像配准，再采用像素级融合来实现两图像的融合。在融合阶段采用非下采样剪切波变换将红外和可见光图像分解为高频子带图和低频子带图，在高频子带图部分采用脉冲耦合神经网络进行融合，在低频子带图部分采用基于视觉显著特性分割的图像融合方法进行融合，通过非下采样剪切波变换的逆变换将两个子带图像结合起来得到融合后的图。建立融合质量指标评价方案来对比本方案与常见的图像融合方案的效果。对融合后的图像进行像素积分投影算法进行处理，进而实现对高压隔离开关分合闸状态进行识别。通过实验仿真验证了NSST-PCNN-IFVSS（Non Subsampled Shearlet Transform-Pulse Coupled Neural Network-Image Fusion based on Visual Salience Segmentation）的图像融合效果优于常见的6种融合方法，且图像融合后的识别结果优于单一的可见光图像和红外图像。
-
关键词:
- 高压隔离开关 /
- 图像融合 /
- NSST-PCNN-IFVSS /
- 图像配准 /
- 像素积分投影
Abstract:To solve the low recognition rate problem of the existing isolation switch state identification, a method of image fusion based on NSST-PCNN-IFVSS is proposed. Image registration is performed in the preprocessing stage of infrared and visible light images; subsequently, pixels and fusion are used to achieve the fusion of the two images. In the fusion stage, the non-subsampled shearlet transform is used to decompose the infrared and visible light images into high- and low-frequency sub-band images. In the high-frequency sub-band image part, a pulse coupled neural network is used for fusion, whereas the image fusion method based on visual saliency segmentation is used for fusion in the low-frequency sub-band image part. The two sub-band images are combined by the inverse transform of the non-subsampled shearlet transform to obtain the fused image. A fusion quality index evaluation scheme is established to compare the effect of this method with common image fusion methods. The fused image is processed by a pixel integration projection algorithm to determine the state of the high-voltage isolation switch. Experimental simulation verifies that the image fusion effect of the non-subsampled shearlet transform-pulse coupled neural network-image fusion based on visual salience segmentation is better than six common fusion methods, and the recognition result after image fusion is better than that of the single visible light image and infrared image.
-
0. 引言
随着智能配电网建设的推进，采用红外诊断技术对配电设备进行实时监测与故障诊断可以有效地提升配电网的运行可靠性[1-3]。但是，与输电网相比配电网设备数量巨大，大规模部署价格昂贵的传统高分辨率红外传感器将使企业产生难以承受的成本[4-5]。因此，如何使用低成本的低分辨红外传感器达到高分辨率红外传感器的效果是推进红外诊断技术在配电系统应用的关键[6]。
超分辨率（Super Resolution, SR）成像技术主要目的在于克服低成本、低精度的影像采集装置限制，通过单帧或多帧的低分辨率（Low Resolution，LR）图像输入，根据不同先验知识，完成对图像的重建，得到高分辨率图像（High Resolution，HR），恢复图像采集过程中丢失的高频信息[7]。根据重建时输入LR图像数量的不同，超分辨率又可分为单帧和多帧图像超分辨率。其中多帧图像超分辨率方法包含有插值法[8-9]、迭代反投影法[10]、最大似然估计法[11]、稀疏编码方法[12]和基于学习的方法等[13-14]。多幅图像的超分辨率方法通过将同一场景内的相近时间位置获得的多幅图像配准，利用不同图像含有的互补信息完成对分辨率的提升。而单帧超分辨率方法重建时仅使用某一场景内的单幅图像，难度更大。针对电器设备的红外图像这一具体应用对象而言，其重建超分辨率图像关注重点除了结构清晰易于识别，其对设备温度的准确反应也是至关重要的。多图超分辨率由于输入的低分辨率红外图像并不严格来自于同一时刻，因此很容易导致重建图像对温度的反映失去准确性，这一问题在电力行业更为关注的设备温度快速变化的情况下尤其严重。故选择基于单幅图像的超分辨率方法更能够保证重建的准确性。
基于单幅图像的超分辨率方法主要分为3类：基于插值、基于重建以及基于学习的超分辨率方法。其中基于插值的超分辨率方法最为简单，但由于其固有的平滑效益，易使重建图像丢失细节，边缘较为模糊，研究者就这一问题相继提出了各类改进措施[15-17]。基于重建的超分辨率方法[18-21]通过引入先验知识为限制条件完成基于图像降质模型的反向迭代求解。文献[18]提出了一种基于非局部信息的超分辨率算法。X. Zhang等人[19]基于图像的非局部自相似性提出了非局部全变分模型。为更好处理图像局部信息，Li等人[20]利用自然图像中的局部结构自相似性，提出了转向核回归总变分的概念，并以非局部全变分正则项作为补充，构成其超分辨率重建模型。Pejman等人[21]提出的迭代反投影方法获得高分辨率图像重建结果。基于学习的方法主要目标在于寻找HR图像与LR图像间的对应关系，通常为训练同构字典或建立二者兼得映射关系[22]。Wang等[23]提出空间特征变换-生成对抗网络（Spatial Feature Transform-Generative Adversarial Network，SFT-GAN）模型，以图像的分割掩码作为SISR的先验知识，指导SISR中不同区域的纹理重建。文献[24]是一类目前最新的方法，它使用强化学习寻找最优网络，可减少人工对模型设计的影响。这类方法先定义一个搜索空间，使用相应的控制器处理搜索，经评估后输出重建结果，通过网络训练自动调整，直到网络收敛得到良好的重建结果为止。
考虑到基于学习的超分辨率方法需大量高分辨率红外图像样本且进行超分辨率重建时上采样倍率受所构建模型或同构字典的限制，灵活度较低，本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并且本文通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比（Gradient Norm-ratio, GNR）引入传统压缩感知超分辨率模型中。并针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文方法重建图像无论在主观视觉效果还是客观评价指标上都有了较好的提升。
1. 压缩感知理论模型
压缩感知理论给出了通过非线性优化技术重建下采样信号的方法[25]。假设将所需的高分辨率图像表示为n维列向量x∈Rn，其中n为一较大数值。理论上x可以表示任何一维信号，就本问题而言，x为一个已被转换成n×1维矢量的n像素灰度图像（或RGB图像某一通道的n像素图像）。而超分辨率的目的为通过低分辨率输入y∈Rn，其中m≪n，来估计得到高分辨率信号x。本文的目标是仅使用y作为输入来恢复高分辨率信号x。
这个问题本质上是不适定的，由于分辨率降低，信息丢失，单个低分辨率图像重建时可以映射到多个潜在高分辨率图像。为了解决这一问题，需要应用压缩感知理论的关键假设，即信号x的变换形xs在某一个基Ψ下是k稀疏的，这便意味着在该变换形式下，xs中至多有k个非零因子。这是一个合理的假设，高分辨率图像在不同的变换域中均是可以压缩的，例如小波域，傅里叶域或人工构建的过完备字典等。此时根据上述假设的合理性，可以将压缩感知超分辨率模型写作：
$$ y={\boldsymbol{S}} x={\boldsymbol{S}} \varPsi x_s $$ (1) 式中：S矩阵为下采样矩阵，多采用点采样矩阵或双三次插值下采样矩阵。
在给定测量y的情况下求解出xs，则xs为求取的高分辨率信号x。此时压缩感知理论指出若m＞2k，且矩阵A满足有RIP条件，那么即可通过式(1)寻找满足等式方程的稀疏度最高的xs对x唯一地求解[26]。此时表达式为：
$$ \min \left\|x_s\right\|_0 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (2) 式中：||xs||0表示稀疏系数xs中的非零元素个数，但由于求解式(2)的数值计算为NP难问题。Donoho[25]指出，可以通过求解一个更加简单的l1优化问题来得到同等的解，此时表达式为：
$$ \min \left\|x_s\right\|_1 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (3) 而这一问题可通过线性规划或基追踪的方法加以解决。但若将式(3)所示模型直接用于解决图像超分辨率问题，仍有一定问题存在。由于在超分辨率应用条件下，采样矩阵S无法采用更具普适性的随机高斯矩阵或随机伯努利矩阵，必须采用点采样矩阵或三次插值下采样矩阵。致使传感矩阵A对RIP条件满足度较低，图像重建效果往往不够理想。因此还需引入新的先验知识，提升重建图像视觉质量，以使其更好满足工程应用需要。
2. 基于GNR先验的压缩感知超分辨率模型
2.1 GNR先验
根据上文所述，基础压缩感知模型在直接应用于图像超分辨率重建时，由于应用条件受限，其方法性能较差。需要增加额外的有效先验知识，提升重建图像质量。图像降质过程本质为像素点信息的丢失混叠。这一过程会致使图像高频信息丢失，反映到直观视觉效果上，即低分辨率图像的边缘纹理不清晰，对比度较低。故需要寻找一指标作为约束条件，当重建图像趋向于模糊潜像时，该指标增大，当趋向清晰潜像时，该指标降低。从而通过对该指标的约束惩罚，使迭代重建过程中的恢复图像向清晰潜像靠拢，使图像高频细节得以恢复。
在优化问题中，最常见的约束为l1范数，l2范数及lp范数等，其中一般0＜p＜1。以l1范数为例，其在图像处理中多用于惩罚高频段，当图像含有噪声时，可通过最小化l1范数来去除噪声。而图像降质时高频段本身便会衰减，最小化图像高频分量的l1范数将会导致重建图像进一步模糊。对其余范数而言，由于其作用机理与l1范数相似，因此若直接引入范数约束作为正则项，并不能起到提升图像重建质量的目的。但通过统计不同范数对重建图像高频息约束时的成本发现，虽然其成本都随着输入图像分辨率的降低，即重建图像的模糊而降低，但不同范数成本降低速度并不相同，l2范数成本降低速度明显高于l1范数。因此引入高频信息范数比值作为先验信息，能够保证随重建图像质量降低，该惩罚项成本不断增大，换而言之即通过降低该项成本，可以达到提高重建图像质量的目的。图像高频信息可通过多种方式获得，本文则选取横纵方向梯度为例，通过范数比的形式对重建图像加以约束。图 1为采用不同约束项时重建图像高频信息成本变化示意图。
![]()
图 1 采用不同约束项时重建图像高频信息成本变化图Figure 1. Reconstruction of high frequency information cost chart of image with different constraints其中高频信息通过分别采用横向差分算子f1＝[1 －1]和纵向差分算子f2＝[1 －1]T对重建图像进行卷积的方式获取。重建图像则为典型电力设备红外图像在经过不同比例下采样后，通过三次插值重建回原大小得到的一系列图像。由图 1可以明显看出，随着采样比例的增加，即重建图像的模糊，各范数约束下的高频信息成本在不断降低，而l1范数和l2范数比值的成本则不断增大。记GNR(x)=||x||1/||x||2，将GNR(x)作为约束项引入目标函数，即可实现最小化目标函数过程中，提升中间迭代图像质量的目的。
2.2 超分辨率模型及求解算法
本节将构建改进后的压缩感知超分辨率目标函数。将GNR(x)先验引入后，目标函数构建为：
$$ \begin{aligned} & \left\{x, x_s\right\}=\arg \min _{x, x_s}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(f_1 \otimes X\right)+{\rm{GNR}}\left(f_2 \otimes X\right)\right) \\ & \quad+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (4) 式中：λ, β和μ分别为权重系数；⊗为卷积运算符；X为x对应的高分辨率图像的二维形式；D为过完备字典，采用文献[27]中介绍的方法训练得到，采用人工构建的过完备字典目的在于提升对图像的稀疏表达能力，从而提升稀疏系数xs的稀疏度，提升重建图像质量。为了便于求解目标函数，通过半二次分裂方法引入辅助变量，得到目标函数为：
$$ \begin{aligned} &\left\{x, x_s, w_1, w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(W_1\right)+{\rm{GNR}}\left(W_2\right)\right) \\ &+ \eta\left(\left\|f_1 \otimes X-W_1\right\|_2^2+\left\|f_2 \otimes X-W_2\right\|_2^2\right) \\ &+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (5) 将f⊗X转变为矩阵相乘的形式，即可得到最终待求解的目标函数：
$$ \begin{aligned} \left\{x, x_s, w_1,\right. & \left.w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(w_1\right)+{\rm{GNR}}\left(w_2\right)\right) \\ + & \eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ + & \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (6) 式中：F1和F2分别为根据f1和f2生成的托普利兹循环矩阵；w和W分别为辅助变量的向量和矩阵形式；η为权重系数，在迭代过程中不断增大，当其足够大时，可认为Fx与w数值近似相同，此外μ也起到同样的作用。此时可将目标函数的求解分为x，xs和w子问题的求解，只需在迭代过程中不断增大惩罚系数η和μ，分别求解上述3个未知变量即可完成重建。
当求解x子问题时，固定xs和w变量，此时目标函数为：
$$ \begin{aligned} x & =\arg \min _x\|S x-y\|_2^2+\eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ & +\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (7) 式(7)所示的目标函数为典型的最小二乘问题，可通过梯度下降法求解，求解方式为：
$$ \begin{aligned} d_x & =2 {\boldsymbol{S}}^{{\mathrm{T}}}({\boldsymbol{S}} x-y)+2 \eta\left({\boldsymbol{F}}_1^{{\mathrm{T}}}\left({\boldsymbol{F}}_1 x-w_1\right)+F_2^{{\mathrm{T}}}\left({\boldsymbol{F}}_2 x-w_2\right)\right) \\ & -2 \mu\left({\boldsymbol{D}} x_s-x\right) \end{aligned} $$ (8) $$ x^{(K+1)}=x^{(K)}-\tau d_x $$ (9) 式中：τ为下降步长，可通过文献[28]中介绍的回溯直线搜索法确定。
求解w子问题时，固定xs和x变量，将函数GNR(w)展开，目标函数为：
$$ w_i=\arg \min\limits _{w_i} \lambda \frac{\left\|w_i\right\|_1}{\left\|w_i\right\|_2}+\eta\left\|{\boldsymbol{F}}_i x-w_i\right\|_2^2 $$ (10) 式中：i＝1, 2。由于GNR(wi)项的存在，w子问题非凸。但可通过固定分母||wi||2中wi为上一次迭代取值，使式(10)变为凸优化问题。此时式(10)所示问题可通过迭代收缩阈值算法进行求解：
$$ z_i=w_i^{(K)}-\tau {\boldsymbol{F}}_i^{{\mathrm{T}}}\left({\boldsymbol{F}}_i x-w_i^{(K)}\right) $$ (11) $$ w_i^{(K+1)}=\max \left(\left|z_i\right|-\frac{\tau \lambda}{2 \eta\left\|w_i^{(K)}\right\|_2}, 0\right) \circ \operatorname{sign}\left(z_i\right) $$ (12) 式中：τ为下降步长；◦为分量乘法；sign为符号函数。
完成x和w子问题的求解后，固定上述变量，求解稀疏系数xs。目标函数为：
$$ x_s=\arg \min\limits _{x_s} \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 $$ (13) 式(13)与式(10)所示问题类似，同样可采取迭代收缩阈值的方式进行求解，故求解过程不再赘述。
当完成各变量的求解后，判断||x(K)－x(K－1)||2是否小于ε，或迭代次数K是否大于Kmax，若判断结果为是，则完成迭代，输出重建图像。最终，式(4)所示目标函数求解算法流程图如图 2所示。
3. 实验及结果分析
3.1 实验环境及评价指标
在本节中，给出了电力设备红外图像盲超分辨率重建实例，通过与现有算法重建结果进行比较，验证了本文所提出的基于压缩感知的盲超分辨率算法的有效性。本文实验环境为：Intel Core(TM) i5-9300H CPU @2.40 GHz，内存16.00 GB，MATLAB R2019a编程，并通过反复实验调整得到以下固定参数：λ＝0.05，β＝1，μ0＝2，η0＝2，μmax＝256，ηmax＝256，Kmax＝5。HR图像重建时为便于计算进行分块重建，分块大小为32×32。所用稀疏字典大小为1024×3096，即字典中含有3096个长度为1024的原子。重建后采用文献[29]中介绍的方法解决因分块导致的重建图像中存在的“块效应”问题。
为使实验结果更具说服力，本文分别对人工合成电力设备红外图像，以及实际拍摄的电力设备红外图像进行重建，对比方法选取Zhang[17]，未改进的原始压缩感知方法，Yang[22]和Li[20]提出的方法。其中人工合成的电力设备红外图像由于存在原始高分辨率清晰图像，采用峰值信噪比（peak signal to noise ratio, PSNR）和结构相似度（structural similarity, SSIM）两个评价指标对重建结果进行评价，而实际拍摄的电力设备红外图像由于其不存在原始高分辨率清晰图像，因此采用无原图评价指标对重建结果进行量化，本文所采取的指标为影像平均梯度（average gradient, AG）以及信息熵（information entropy, IE）这两个客观评价指标。其中AG的计算方式为：
$$ {\mathrm{AG}}=\frac{1}{M N} \sum\limits_i \sum\limits_j \sqrt{f_x^2(i, j)+f_y^2(i, j)} $$ (14) 式中：fx(i, j)和fy(i, j)分别为图像行方向和列方向的差分算子对图像卷积结果，本文采用Sobel算子。最终求得AG数值越大，意味图像中灰度变化越剧烈，图像层次越多，一般而言图像越加清晰。
信息熵在物理学中表示某个体系的均匀程度，某体系分布越均匀，其信息熵越大，由此类推出图像的信息熵概念。定义为：
$$ {\mathrm{IE}}=-\sum\limits_{i=0}^n p(i) \log _2 p(i) $$ (15) 式中：p(i)为灰度值为i的像素点在影像中出现的频率，最终求得的IE数值越大，表示图像中包含的信息越丰富。
3.2 人工下采样图像重建结果分析
本节共选取12张不同电力设备红外图像人工合成低分辨率图像，图 3给出其中两张图像通过不同方法超分辨率重建的结果图像以及其原始高清图像。其余10张图像则以PSNR和SSIM评价参数的形式，给出不同方法的重建结果。
![]()
图 3 人工下采样红外图像不同方法重建结果Figure 3. Reconstruction results of artificial down sampling infrared image by different methods由图 3可以明显看出本文算法重建效果优于其余对比方法的重建结果，Zhang的算法由于插值类算法固有的平滑效益，且为经训练或利用图像先验信息，其重建结果较为模糊，边缘并不清晰。原始压缩感知算法由于其理论本身与超分辨率问题并不完全适应，重建图像视觉效果同样较差，图像边缘纹理并不清晰。Yang和Li的方法相较前两种方法视觉效果有明显的提高，但与本文方法相比，其重建结果图像清晰程度仍有所不如，尤其在边缘部分更为明显。表 1和表 2给出了不同方法重建后的PSNR以及SSIM数据对比，可以看出本文方法重建的图像在客观评价参数上相较其余方法也取得了较好结果。
表 1 不同方法重建图像PSNR评价指标对比Table 1. Comparison of PSNR evaluation indexes of reconstructed images by different methodsImage number Zhang's Original CS Yang's Li's Ours 1 23.0657 24.9632 26.5846 27.2059 29.3659 2 22.5691 24.6251 25.9631 26.3620 29.0325 3 23.6245 24.3219 26.4263 26.3494 30.0316 4 22.9521 23.6594 25.6845 25.2631 28.9613 5 22.1694 24.2351 26.4975 26.1279 30.1034 6 23.1784 23.9865 27.3249 26.6947 28.9674 7 22.5728 24.6937 26.3592 27.0691 29.3461 8 21.6891 23.4967 26.6481 27.9612 28.6541 9 22.7816 25.1435 26.2597 26.6729 30.5319 10 23.0684 24.3167 26.9437 27.1636 28.6755 表 2 不同方法重建图像SSIM评价指标对比Table 2. Comparison of SSIM evaluation indexes of reconstructed images by different methodsImage number Zhang’s Original CS Yang’s Li’s Ours 1 0.7934 0.8635 0.8966 0.9103 0.9731 2 0.7349 0.8526 0.8791 0.8955 0.9436 3 0.8172 0.8678 0.9249 0.9027 0.9348 4 0.7393 0.8211 0.8842 0.8931 0.9274 5 0.7304 0.8197 0.8991 0.8769 0.9533 6 0.7681 0.7987 0.9014 0.8643 0.9264 7 0.7311 0.8235 0.8624 0.8971 0.9083 8 0.7129 0.8433 0.8742 0.8892 0.9151 9 0.7486 0.8730 0.8785 0.8797 0.9762 10 0.7519 0.8261 0.8834 0.9031 0.9216 3.3 实际低分辨率图像重建结果分析
文章第3.2节通过合成低分辨率图像初步验证了本文算法的有效性，本节将通过实际拍摄低分辨率图像进行进一步验证。次此实验选取12张于现场拍摄的低分辨率红外图像，通过不同超分辨率方法进行重建。给出其中两张红外图像的各方法重建结果，其余10张红外图像的重建结果以客观评价参数AG和IE的形式给出。图 4、图 5为实际低分辨率红外图像不同方法的重建结果。
由图 4、图 5可以看出，在应用于实际场景时，本文方法相较对比方法仍有较为明显的提升，重建红外图像的纹理相对对比方法而言更为清晰。这种图像质量的提升能为后续进行的异常发热区域定位，故障类型识别提供更好的应用环境。表 3、表 4分别给出了不同方法对剩余10张红外图像重建结果的AG和IE评价参数数值，与主观视觉效果相互印证，说明了本文方法性能的优越性。
表 3 不同方法重建图像AG评价指标对比Table 3. Comparison of AG evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 20.6496 20.3521 29.1152 28.4946 31.0694 2 18.6232 24.7993 32.6134 30.6779 33.9552 3 20.5298 23.6657 31.5780 32.6144 34.3967 4 22.3863 22.6349 30.3440 29.4893 31.3995 5 19.8414 23.3463 27.4514 24.9311 31.3776 6 17.6890 21.1064 28.9477 31.3425 33.1015 7 18.6451 25.6108 32.6944 32.4871 36.2160 8 22.3637 24.4892 30.9645 28.5638 34.2556 9 20.0684 25.6946 31.9865 30.9783 36.9943 10 19.6452 20.3521 29.1152 28.4946 31.0694 表 4 不同方法重建图像IE评价指标对比Table 4. Comparison of IE evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 5.8113 6.0168 6.3153 6.2154 6.5312 2 5.7256 5.8364 6.0215 5.9342 6.1249 3 6.2316 6.1546 6.2599 6.5644 6.7291 4 5.9233 5.9487 6.1547 6.3263 6.3478 5 6.0532 6.1306 6.1658 6.2431 6.4528 6 5.625 5.8314 5.8947 6.1456 6.1569 7 5.8449 6.1125 6.0387 6.2831 6.5937 8 5.7052 5.8841 6.2436 6.1463 6.2649 9 6.1242 5.8543 6.1488 6.1395 6.1531 10 5.9439 6.0337 6.3894 6.2343 6.5013 3.4 计算复杂度分析
本文中待求解的目标函数为式(5)，其中待求解变量为x、xs、w1、w2。针对x变量，本文采用梯度下降法的方式进行求解。若不采取任何优化措施，当待重建低分辨率图像大小为128×128时，其单次求解用时为0.24 s左右，若采用文献[30]中一步最陡下降法求解，则单次迭代用时在0.008 s左右。针对xs变量，本文采用的求解方法为收缩迭代阈值方法。求解分为两步进行，分别为软阈值收缩以及梯度下降求解。其中软阈值收缩求解较为简单，单次求解所需时间在10－5 s，而梯度下降法由于xs变量求解时，梯度向量的求取相较x变量更为简单，在采用一步最陡下降法进行优化的情况下，单次求解耗时在5×10－4 s左右。针对w1、w2变量，其求解方式均为收缩迭代阈值方法。其中软阈值收缩步骤所需时间与xs变量相同，而梯度下降过程中由于F矩阵维度相较D矩阵而言更小，其单次迭代所需时间在10－4 s左右。
根据图 2以及实验部分所给出参数取值可知，在全部迭代过程中，至多进行5轮循环，每轮循环变量x计算1次，变量xs计算64次，变量w1、w2各计算8次。根据上述分析中各变量单次计算所需时间可以得到，重建128×128低分辨率图像理论所需时间在0.208 s左右。但由于实际运算过程中除上述迭代步骤外，还存在F1、F2托普利兹循环矩阵的生成，“块效应”问题的解决等计算步骤，因此最终图像重建实际用时在0.4 s左右。而对不同尺寸红外图像的重建实验结果如图 6所示，其中输入原始图像大小由64×64等比例递增至512×512，各尺寸图像重建实验均选取50张不同红外图像进行重建。图中显示的不同大小红外图像重建所需时间由50张图像重建所需时间取平均得到。
由图 6可见，本文方法能够以较快速度重建低分辨率红外图像。而根据国家标准[31]，普通型红外探测器分辨率在160×120以下，本文方法对其重建用时在1 s以下，可以适应物联网场景下大量红外图像的重建工作。
4. 结论
本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比引入传统压缩感知超分辨率模型中。针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文算法性能存在一定优势，有利于为红外诊断技术在电力系统中应用提供更良好的数据基础。
-
![]()
图 4 隔离开关像素积分投影计算模型
Figure 4. Calculation model of isolation switch pixel integral projection
表 1 不同融合方法得到的图像质量评价指标
Table 1 Image quality evaluation indicators obtained by different fusion methods
Fusion methods QAB/F IE MI VSI STD SSIM LAB 9.9351 5.8204 -6.37e-12 9945 27.3467 1 IHS 11.3684 6.1834 -8.00e-12 10030 32.3809 1 Weighted average fusion 9.1370 6.1181 -1.00e-11 9945 33.6583 1 Brovey 12.1616 5.3541 -6.10e-12 9944 38.2942 1 Wavelet transform fusion 8.1644 6.5108 -1.65e-11 9945 33.0885 1 PCA 8.7515 5.3947 -7.02e-12 10030 26.4476 1 NSST-PCNN-IFVSS 14.3917 6.5260 -1.03e-11 10030 38.5471 1 
下载: 导出CSV
表 2 不同类型图像识别准确率对比表
Table 2 Different types of image recognition accuracy comparison
Image type Opening accuracy Closing accuracy Infrared image 88% 87% Visible image 91% 89% Fused images 95% 94%
下载: 导出CSV
-
[1] XU J, LI Q, LUO Y, et al. State measurement of isolating switch using cost fusion and smoothness prior based stereo matching[J]. International Journal of Advanced Robotic Systems, 2020, 17(3): 172988142092529. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHB202405016.htm [2] LI Y, DONG X, LIU Z, et al. Design of grinding tool for isolating switch with multiple operating conditions in substation[J]. Journal of Physics: Conference Series, 2020, 1601(4): 042015-042019. DOI: 10.1088/1742-6596/1601/4/042015
[3] 曾小松, 罗菁, 姚强, 等. 500 kV GIS隔离开关触头温度监测及外壳温度传感器优化布置[J]. 高压电器, 2021, 57(10): 111-119. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202401004.htm ZENG Xiaosong, LUO Jing, YAO Qiang, et al. Temperature monitoring of 500 kv GIS isolation switch contacts and optimal placement of shell temperature sensor[J]. High Voltage Electrical Apparatus, 2021, 57(10): 111-119. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202401004.htm
[4] 陈富国, 蔡杰, 李中旗. 基于机器视觉的高压隔离开关设备状态判别与故障诊断技术[J]. 微型电脑应用, 2022, 38(2): 191-194. DOI: 10.3969/j.issn.1007-757X.2022.02.055 CHEN Fuguo, CAI Jie, LI Zhongqi. State identification and Fault diagnosis of High voltage isolation Switchgear based on machine vision [J]. Microcomputer Applications, 2022, 38(2): 191-194. DOI: 10.3969/j.issn.1007-757X.2022.02.055
[5] 腾云, 雷丞, 李洪涛, 等. 基于HOG和SVM的高压隔离开关分合闸状态自动识别技术研究[J]. 高压电器, 2020, 56(9): 246-252. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202009036.htm TENG Yun, LEI Cheng, LI Hongtao, et al. Research on automatic state recognition of high voltage isolation switch based on HOG and SVM [J]. High Voltage Electrical Apparatus, 2020, 56(9): 246-252. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202009036.htm
[6] 刘子英, 张靖, 邓芳明. 基于BP神经网络的高压隔离开关分合闸监测识别[J]. 电力系统保护与控制, 2020, 48(5): 134-140. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW202005018.htm LIU Ziying, ZHANG Jing, DENG Fangming. On-off monitoring and identification of high voltage isolation switch based on BP neural network [J]. Power System Protection and Control, 2020, 48(5): 134-140. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW202005018.htm
[7] 刘春来, 周涛涛, 马宏明, 等. 基于力矩与转角检测的GW4-126型隔离开关典型机械故障诊断[J]. 高压电器, 2020, 56(2): 232-239. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202002037.htm LIU Chunlai, ZHOU Taotao, MA Hongming, et al. Typical mechanical fault diagnosis of GW4-126 isolation switch based on torque and angle detection [J]. High Voltage Electrical Apparatus, 2020, 56(2): 232-239. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202002037.htm
[8] 于力, 曹双鹏, 荆澜涛, 等. 550 kV GIS内隔离开关机械故障仿真研究[J]. 高压电器, 2021, 57(10): 127-133. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202405001.htm YU Li, CAO Shuangpeng, JING Lantao, et al. Mechanical fault simulation of isolation switch in 550 kV GIS[J]. High Voltage Electrical Apparatus, 2021, 57(10): 127-133. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202405001.htm
[9] 刘仕兵, 宋陵灿, 郭文璟, 等. 基于定子电流特征与SVM高压隔离开关机构故障诊断[J]. 高压电器, 2020, 56(6): 289-295. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202006043.htm LIU Shibing, SONG Lingcan, GUO Wenjing, et al. Fault diagnosis of high voltage isolation switch based on stator current characteristics and SVM[J]. High Voltage Electrical Apparatus, 2020, 56(6): 289-295. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202006043.htm
[10] CAO Y, TANG L, JIN R, et al. Grayscale image for broadband linear polarization measurement by an ultracompact metasurface[J]. Optics Letters, 2021, 46(5): 1117-1120. DOI: 10.1364/OL.415844
[11] Ehsan S M, Imran M, Ullah A, et al. A single image dehazing technique using the dual transmission maps strategy and gradient-domain guided image filtering[J]. IEEE Access, 2021, 9: 89055-89063. DOI: 10.1109/ACCESS.2021.3090078
[12] 谢文昕, 马伟, 杜雪雪, 等. 起重机械金属结构缺陷的热成像技术研究[J]. 红外技术, 2022, 44(7): 741-749. http://hwjs.nvir.cn/cn/article/id/ef131bfa-8ddb-49e8-827f-f1ea324eb408 XIE Wenxin, MA Wei, DU Xuexue, et al. Thermal imaging of metal structure defects in lifting machinery[J]. Infrared Technology, 2022, 44(7): 741-749. http://hwjs.nvir.cn/cn/article/id/ef131bfa-8ddb-49e8-827f-f1ea324eb408
[13] Jhan J P, Rau J Y. A generalized tool for accurate and efficient image registration of UAV multi-lens multispectral cameras by n-surf matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 6353-6362. DOI: 10.1109/JSTARS.2021.3079404
[14] 何凯, 刘坤, 沈成南, 等. 基于相似图像配准的图像修复算法[J]. 电子科技大学学报, 2021, 50(2): 207-213. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX202102008.htm HE Kai, LIU Kun, SHEN Chengnan, et al. Image restoration algorithm based on similar image registration[J]. Journal of University of Electronic Science and Technology of China, 2021, 50(2): 207-213. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX202102008.htm
[15] Dinesh K P, Jeetha B R. Canny edge detection and contrast stretching for facial expression detection and recognition using machine learning[J]. Far East Journal of Electronics and Communications, 2021, 24(1): 35-66. DOI: 10.17654/EC024010035
[16] Radha R, Pushpa M. A comparative analysis of SIFT, SURF and ORB on sketch and paint based images[J]. International Journal of Forensic Engineering, 2021(8): 102-110.
[17] Amir A, Mokhtar K. A deeper Newton descent direction with generalized Hessian matrix for SVMs: an application to face detection[J]. International Journal of Mathematical Modelling and Numerical Optimization, 2021, 11(2): 196-208. DOI: 10.1504/IJMMNO.2021.114485
[18] Levenberg K A. A method for the solution of certain non-linear problems in least squares[J]. Quarterly of Applied Mathematics, 2018, 2(4): 436-438.
[19] HU Peng, WANG Chenjun, LI Dequan, et al. An improved hybrid multiscale fusion algorithm based on NSST for infrared–visible images[J]. The Visual Computer, 2024, 40: 1245-1259. DOI: 10.1007/s00371-023-02844-8
[20] Basar S, Ali M, Ochoa-Ruiz G, et al. A novel defocused image segmentation method based on PCNN and LBP[J]. IEEE Access, 2021, 9: 87219-87240. DOI: 10.1109/ACCESS.2021.3084905
[21] 朱亚辉, 高逦. 基于复合分解与直觉模糊集的红外与可见光图像融合方法[J]. 西北工业大学学报, 2021, 39(4): 930-936. https://www.cnki.com.cn/Article/CJFDTOTAL-XBGD202104028.htm ZHU Yahui, GAO Li. Infrared and visible image fusion method based on composite decomposition and intuitive fuzzy set[J]. Journal of Northwestern Polytechnical University, 2021, 39(4): 930-936. https://www.cnki.com.cn/Article/CJFDTOTAL-XBGD202104028.htm
[22] 余映, 吴青龙, 邵凯旋, 等. 超复数域小波变换的显著性检测[J]. 电子与信息学报, 2019, 41(9): 2231-2238. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201909028.htm YU Ying, WU Qinglong, SHAO Kaixuan, et al. Significance detection of wavelet transform in hypercomplex domain[J]. Journal of Electronics and Information Technology, 2019, 41(9): 2231-2238. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201909028.htm
[23] ZHANG Y, HAN J. Differential privacy fuzzy C-means clustering algorithm based on Gaussian kernel function[J]. PLOS ONE, 2021, 16(3): 1-20.
[24] 郭全民, 柴改霞, 李翰山. 夜视抗晕光融合图像自适应分区质量评价[J]. 电子与信息学报, 2020, 42(7): 1750-1757. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202007025.htm GUO Quanmin, CHAI Gaixia, LI Hanshan. Quality evaluation of adaptive partition of night vision anti-halo fusion image[J]. Journal of Electronics and Information Technology, 2020, 42(7): 1750-1757. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202007025.htm
[25] 杜云, 郑羽纶, 孟凡华. 基于Otsu法和直方图规定化相结合的苹果图像分割研究[J]. 科技创新与应用, 2019(28): 15-17. https://www.cnki.com.cn/Article/CJFDTOTAL-CXYY201928004.htm DU Yun, ZHENG Yulun, MENG Fanhua. Research on apple image segmentation based on Otsu method and histogram regularization [J]. Science and Technology Innovation and Application, 2019(28): 15-17. https://www.cnki.com.cn/Article/CJFDTOTAL-CXYY201928004.htm
-
期刊类型引用(5)
1. 李金鑫，郑磊，廖海，王楠，邹胤. 基于红外监测的电站设备热状态智能感知识别技术. 粘接. 2025(01): 177-180 . 
百度学术
2. 赵洪山，王惠东，刘婧萱，杨伟新，李忠航，林诗雨，余洋，吕廷彦. 考虑局部纹理特征和全局温度分布的电力设备红外图像超分辨率重建方法. 电力系统保护与控制. 2025(02): 89-99 . 百度学术
3. 刘传洋，吴一全. 基于红外图像的电力设备识别及发热故障诊断方法研究进展. 中国电机工程学报. 2025(06): 2171-2196 . 百度学术
4. 刘晓朋，张涛. 全局-局部注意力引导的红外图像恢复算法. 红外技术. 2024(07): 791-801 . 本站查看
5. 郭文红. 红外测温仪的主要工作原理及应用实践. 仪器仪表用户. 2024(05): 104-106+109 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 48
- HTML全文浏览量: 5
- PDF下载量: 15
- 被引次数: 9
