Super Resolution Method for Power Equipment Infrared Imaging Based on Gradient Norm-ratio Prior
-
摘要: 电力设备红外图像在电力设备状态监测、故障识别等方面发挥着重要作用。针对红外图像应用时存在的分辨率低，清晰度不足的问题，本文提出一种基于图像梯度范数比（Gradient Norm-ratio, GNR）先验约束的压缩感知电力设备红外图像超分辨率方法。通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将GNR先验引入传统压缩感知超分辨率模型中。并针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文方法重建图像无论在主观视觉效果还是客观评价指标上都有了较好的提升。Abstract: Infrared images play an important role in the condition monitoring and fault identification of power equipment. Aiming at solving the problems of low resolution and low definition in the application of infrared images, this paper proposes a super-resolution method for compressed infrared images of sensing power equipment based on the prior constraint of the image gradient ratio (GNR). The GNR prior was introduced into the traditional compressed sensing super-resolution model by analyzing the variation in high-frequency information of power equipment infrared images at different sampling ratios. An effective algorithm was designed to solve the improved model. By introducing auxiliary variables into the semi-quadratic splitting method, different variables were iteratively and alternately solved to realize the super-resolution reconstruction of infrared images. The simulation results show that the introduction of GNR prior information was conducive to the super-resolution algorithm achieving better reconstruction. Compared with existing classical super-resolution methods, the proposed method improves both the subjective visual effect and objective evaluation index.
-
Keywords:
- electrical equipment /
- infrared image /
- compressed sensing /
- super resolution /
- gradient norm-ratio
-
0. 引言
随着智能配电网建设的推进，采用红外诊断技术对配电设备进行实时监测与故障诊断可以有效地提升配电网的运行可靠性[1-3]。但是，与输电网相比配电网设备数量巨大，大规模部署价格昂贵的传统高分辨率红外传感器将使企业产生难以承受的成本[4-5]。因此，如何使用低成本的低分辨红外传感器达到高分辨率红外传感器的效果是推进红外诊断技术在配电系统应用的关键[6]。
超分辨率（Super Resolution, SR）成像技术主要目的在于克服低成本、低精度的影像采集装置限制，通过单帧或多帧的低分辨率（Low Resolution，LR）图像输入，根据不同先验知识，完成对图像的重建，得到高分辨率图像（High Resolution，HR），恢复图像采集过程中丢失的高频信息[7]。根据重建时输入LR图像数量的不同，超分辨率又可分为单帧和多帧图像超分辨率。其中多帧图像超分辨率方法包含有插值法[8-9]、迭代反投影法[10]、最大似然估计法[11]、稀疏编码方法[12]和基于学习的方法等[13-14]。多幅图像的超分辨率方法通过将同一场景内的相近时间位置获得的多幅图像配准，利用不同图像含有的互补信息完成对分辨率的提升。而单帧超分辨率方法重建时仅使用某一场景内的单幅图像，难度更大。针对电器设备的红外图像这一具体应用对象而言，其重建超分辨率图像关注重点除了结构清晰易于识别，其对设备温度的准确反应也是至关重要的。多图超分辨率由于输入的低分辨率红外图像并不严格来自于同一时刻，因此很容易导致重建图像对温度的反映失去准确性，这一问题在电力行业更为关注的设备温度快速变化的情况下尤其严重。故选择基于单幅图像的超分辨率方法更能够保证重建的准确性。
基于单幅图像的超分辨率方法主要分为3类：基于插值、基于重建以及基于学习的超分辨率方法。其中基于插值的超分辨率方法最为简单，但由于其固有的平滑效益，易使重建图像丢失细节，边缘较为模糊，研究者就这一问题相继提出了各类改进措施[15-17]。基于重建的超分辨率方法[18-21]通过引入先验知识为限制条件完成基于图像降质模型的反向迭代求解。文献[18]提出了一种基于非局部信息的超分辨率算法。X. Zhang等人[19]基于图像的非局部自相似性提出了非局部全变分模型。为更好处理图像局部信息，Li等人[20]利用自然图像中的局部结构自相似性，提出了转向核回归总变分的概念，并以非局部全变分正则项作为补充，构成其超分辨率重建模型。Pejman等人[21]提出的迭代反投影方法获得高分辨率图像重建结果。基于学习的方法主要目标在于寻找HR图像与LR图像间的对应关系，通常为训练同构字典或建立二者兼得映射关系[22]。Wang等[23]提出空间特征变换-生成对抗网络（Spatial Feature Transform-Generative Adversarial Network，SFT-GAN）模型，以图像的分割掩码作为SISR的先验知识，指导SISR中不同区域的纹理重建。文献[24]是一类目前最新的方法，它使用强化学习寻找最优网络，可减少人工对模型设计的影响。这类方法先定义一个搜索空间，使用相应的控制器处理搜索，经评估后输出重建结果，通过网络训练自动调整，直到网络收敛得到良好的重建结果为止。
考虑到基于学习的超分辨率方法需大量高分辨率红外图像样本且进行超分辨率重建时上采样倍率受所构建模型或同构字典的限制，灵活度较低，本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并且本文通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比（Gradient Norm-ratio, GNR）引入传统压缩感知超分辨率模型中。并针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文方法重建图像无论在主观视觉效果还是客观评价指标上都有了较好的提升。
1. 压缩感知理论模型
压缩感知理论给出了通过非线性优化技术重建下采样信号的方法[25]。假设将所需的高分辨率图像表示为n维列向量x∈Rn，其中n为一较大数值。理论上x可以表示任何一维信号，就本问题而言，x为一个已被转换成n×1维矢量的n像素灰度图像（或RGB图像某一通道的n像素图像）。而超分辨率的目的为通过低分辨率输入y∈Rn，其中m≪n，来估计得到高分辨率信号x。本文的目标是仅使用y作为输入来恢复高分辨率信号x。
这个问题本质上是不适定的，由于分辨率降低，信息丢失，单个低分辨率图像重建时可以映射到多个潜在高分辨率图像。为了解决这一问题，需要应用压缩感知理论的关键假设，即信号x的变换形xs在某一个基Ψ下是k稀疏的，这便意味着在该变换形式下，xs中至多有k个非零因子。这是一个合理的假设，高分辨率图像在不同的变换域中均是可以压缩的，例如小波域，傅里叶域或人工构建的过完备字典等。此时根据上述假设的合理性，可以将压缩感知超分辨率模型写作：
$$ y={\boldsymbol{S}} x={\boldsymbol{S}} \varPsi x_s $$ (1) 式中：S矩阵为下采样矩阵，多采用点采样矩阵或双三次插值下采样矩阵。
在给定测量y的情况下求解出xs，则xs为求取的高分辨率信号x。此时压缩感知理论指出若m＞2k，且矩阵A满足有RIP条件，那么即可通过式(1)寻找满足等式方程的稀疏度最高的xs对x唯一地求解[26]。此时表达式为：
$$ \min \left\|x_s\right\|_0 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (2) 式中：||xs||0表示稀疏系数xs中的非零元素个数，但由于求解式(2)的数值计算为NP难问题。Donoho[25]指出，可以通过求解一个更加简单的l1优化问题来得到同等的解，此时表达式为：
$$ \min \left\|x_s\right\|_1 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (3) 而这一问题可通过线性规划或基追踪的方法加以解决。但若将式(3)所示模型直接用于解决图像超分辨率问题，仍有一定问题存在。由于在超分辨率应用条件下，采样矩阵S无法采用更具普适性的随机高斯矩阵或随机伯努利矩阵，必须采用点采样矩阵或三次插值下采样矩阵。致使传感矩阵A对RIP条件满足度较低，图像重建效果往往不够理想。因此还需引入新的先验知识，提升重建图像视觉质量，以使其更好满足工程应用需要。
2. 基于GNR先验的压缩感知超分辨率模型
2.1 GNR先验
根据上文所述，基础压缩感知模型在直接应用于图像超分辨率重建时，由于应用条件受限，其方法性能较差。需要增加额外的有效先验知识，提升重建图像质量。图像降质过程本质为像素点信息的丢失混叠。这一过程会致使图像高频信息丢失，反映到直观视觉效果上，即低分辨率图像的边缘纹理不清晰，对比度较低。故需要寻找一指标作为约束条件，当重建图像趋向于模糊潜像时，该指标增大，当趋向清晰潜像时，该指标降低。从而通过对该指标的约束惩罚，使迭代重建过程中的恢复图像向清晰潜像靠拢，使图像高频细节得以恢复。
在优化问题中，最常见的约束为l1范数，l2范数及lp范数等，其中一般0＜p＜1。以l1范数为例，其在图像处理中多用于惩罚高频段，当图像含有噪声时，可通过最小化l1范数来去除噪声。而图像降质时高频段本身便会衰减，最小化图像高频分量的l1范数将会导致重建图像进一步模糊。对其余范数而言，由于其作用机理与l1范数相似，因此若直接引入范数约束作为正则项，并不能起到提升图像重建质量的目的。但通过统计不同范数对重建图像高频息约束时的成本发现，虽然其成本都随着输入图像分辨率的降低，即重建图像的模糊而降低，但不同范数成本降低速度并不相同，l2范数成本降低速度明显高于l1范数。因此引入高频信息范数比值作为先验信息，能够保证随重建图像质量降低，该惩罚项成本不断增大，换而言之即通过降低该项成本，可以达到提高重建图像质量的目的。图像高频信息可通过多种方式获得，本文则选取横纵方向梯度为例，通过范数比的形式对重建图像加以约束。图 1为采用不同约束项时重建图像高频信息成本变化示意图。
![]()
图 1 采用不同约束项时重建图像高频信息成本变化图Figure 1. Reconstruction of high frequency information cost chart of image with different constraints其中高频信息通过分别采用横向差分算子f1＝[1 －1]和纵向差分算子f2＝[1 －1]T对重建图像进行卷积的方式获取。重建图像则为典型电力设备红外图像在经过不同比例下采样后，通过三次插值重建回原大小得到的一系列图像。由图 1可以明显看出，随着采样比例的增加，即重建图像的模糊，各范数约束下的高频信息成本在不断降低，而l1范数和l2范数比值的成本则不断增大。记GNR(x)=||x||1/||x||2，将GNR(x)作为约束项引入目标函数，即可实现最小化目标函数过程中，提升中间迭代图像质量的目的。
2.2 超分辨率模型及求解算法
本节将构建改进后的压缩感知超分辨率目标函数。将GNR(x)先验引入后，目标函数构建为：
$$ \begin{aligned} & \left\{x, x_s\right\}=\arg \min _{x, x_s}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(f_1 \otimes X\right)+{\rm{GNR}}\left(f_2 \otimes X\right)\right) \\ & \quad+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (4) 式中：λ, β和μ分别为权重系数；⊗为卷积运算符；X为x对应的高分辨率图像的二维形式；D为过完备字典，采用文献[27]中介绍的方法训练得到，采用人工构建的过完备字典目的在于提升对图像的稀疏表达能力，从而提升稀疏系数xs的稀疏度，提升重建图像质量。为了便于求解目标函数，通过半二次分裂方法引入辅助变量，得到目标函数为：
$$ \begin{aligned} &\left\{x, x_s, w_1, w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(W_1\right)+{\rm{GNR}}\left(W_2\right)\right) \\ &+ \eta\left(\left\|f_1 \otimes X-W_1\right\|_2^2+\left\|f_2 \otimes X-W_2\right\|_2^2\right) \\ &+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (5) 将f⊗X转变为矩阵相乘的形式，即可得到最终待求解的目标函数：
$$ \begin{aligned} \left\{x, x_s, w_1,\right. & \left.w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(w_1\right)+{\rm{GNR}}\left(w_2\right)\right) \\ + & \eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ + & \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (6) 式中：F1和F2分别为根据f1和f2生成的托普利兹循环矩阵；w和W分别为辅助变量的向量和矩阵形式；η为权重系数，在迭代过程中不断增大，当其足够大时，可认为Fx与w数值近似相同，此外μ也起到同样的作用。此时可将目标函数的求解分为x，xs和w子问题的求解，只需在迭代过程中不断增大惩罚系数η和μ，分别求解上述3个未知变量即可完成重建。
当求解x子问题时，固定xs和w变量，此时目标函数为：
$$ \begin{aligned} x & =\arg \min _x\|S x-y\|_2^2+\eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ & +\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (7) 式(7)所示的目标函数为典型的最小二乘问题，可通过梯度下降法求解，求解方式为：
$$ \begin{aligned} d_x & =2 {\boldsymbol{S}}^{{\mathrm{T}}}({\boldsymbol{S}} x-y)+2 \eta\left({\boldsymbol{F}}_1^{{\mathrm{T}}}\left({\boldsymbol{F}}_1 x-w_1\right)+F_2^{{\mathrm{T}}}\left({\boldsymbol{F}}_2 x-w_2\right)\right) \\ & -2 \mu\left({\boldsymbol{D}} x_s-x\right) \end{aligned} $$ (8) $$ x^{(K+1)}=x^{(K)}-\tau d_x $$ (9) 式中：τ为下降步长，可通过文献[28]中介绍的回溯直线搜索法确定。
求解w子问题时，固定xs和x变量，将函数GNR(w)展开，目标函数为：
$$ w_i=\arg \min\limits _{w_i} \lambda \frac{\left\|w_i\right\|_1}{\left\|w_i\right\|_2}+\eta\left\|{\boldsymbol{F}}_i x-w_i\right\|_2^2 $$ (10) 式中：i＝1, 2。由于GNR(wi)项的存在，w子问题非凸。但可通过固定分母||wi||2中wi为上一次迭代取值，使式(10)变为凸优化问题。此时式(10)所示问题可通过迭代收缩阈值算法进行求解：
$$ z_i=w_i^{(K)}-\tau {\boldsymbol{F}}_i^{{\mathrm{T}}}\left({\boldsymbol{F}}_i x-w_i^{(K)}\right) $$ (11) $$ w_i^{(K+1)}=\max \left(\left|z_i\right|-\frac{\tau \lambda}{2 \eta\left\|w_i^{(K)}\right\|_2}, 0\right) \circ \operatorname{sign}\left(z_i\right) $$ (12) 式中：τ为下降步长；◦为分量乘法；sign为符号函数。
完成x和w子问题的求解后，固定上述变量，求解稀疏系数xs。目标函数为：
$$ x_s=\arg \min\limits _{x_s} \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 $$ (13) 式(13)与式(10)所示问题类似，同样可采取迭代收缩阈值的方式进行求解，故求解过程不再赘述。
当完成各变量的求解后，判断||x(K)－x(K－1)||2是否小于ε，或迭代次数K是否大于Kmax，若判断结果为是，则完成迭代，输出重建图像。最终，式(4)所示目标函数求解算法流程图如图 2所示。
3. 实验及结果分析
3.1 实验环境及评价指标
在本节中，给出了电力设备红外图像盲超分辨率重建实例，通过与现有算法重建结果进行比较，验证了本文所提出的基于压缩感知的盲超分辨率算法的有效性。本文实验环境为：Intel Core(TM) i5-9300H CPU @2.40 GHz，内存16.00 GB，MATLAB R2019a编程，并通过反复实验调整得到以下固定参数：λ＝0.05，β＝1，μ0＝2，η0＝2，μmax＝256，ηmax＝256，Kmax＝5。HR图像重建时为便于计算进行分块重建，分块大小为32×32。所用稀疏字典大小为1024×3096，即字典中含有3096个长度为1024的原子。重建后采用文献[29]中介绍的方法解决因分块导致的重建图像中存在的“块效应”问题。
为使实验结果更具说服力，本文分别对人工合成电力设备红外图像，以及实际拍摄的电力设备红外图像进行重建，对比方法选取Zhang[17]，未改进的原始压缩感知方法，Yang[22]和Li[20]提出的方法。其中人工合成的电力设备红外图像由于存在原始高分辨率清晰图像，采用峰值信噪比（peak signal to noise ratio, PSNR）和结构相似度（structural similarity, SSIM）两个评价指标对重建结果进行评价，而实际拍摄的电力设备红外图像由于其不存在原始高分辨率清晰图像，因此采用无原图评价指标对重建结果进行量化，本文所采取的指标为影像平均梯度（average gradient, AG）以及信息熵（information entropy, IE）这两个客观评价指标。其中AG的计算方式为：
$$ {\mathrm{AG}}=\frac{1}{M N} \sum\limits_i \sum\limits_j \sqrt{f_x^2(i, j)+f_y^2(i, j)} $$ (14) 式中：fx(i, j)和fy(i, j)分别为图像行方向和列方向的差分算子对图像卷积结果，本文采用Sobel算子。最终求得AG数值越大，意味图像中灰度变化越剧烈，图像层次越多，一般而言图像越加清晰。
信息熵在物理学中表示某个体系的均匀程度，某体系分布越均匀，其信息熵越大，由此类推出图像的信息熵概念。定义为：
$$ {\mathrm{IE}}=-\sum\limits_{i=0}^n p(i) \log _2 p(i) $$ (15) 式中：p(i)为灰度值为i的像素点在影像中出现的频率，最终求得的IE数值越大，表示图像中包含的信息越丰富。
3.2 人工下采样图像重建结果分析
本节共选取12张不同电力设备红外图像人工合成低分辨率图像，图 3给出其中两张图像通过不同方法超分辨率重建的结果图像以及其原始高清图像。其余10张图像则以PSNR和SSIM评价参数的形式，给出不同方法的重建结果。
![]()
图 3 人工下采样红外图像不同方法重建结果Figure 3. Reconstruction results of artificial down sampling infrared image by different methods由图 3可以明显看出本文算法重建效果优于其余对比方法的重建结果，Zhang的算法由于插值类算法固有的平滑效益，且为经训练或利用图像先验信息，其重建结果较为模糊，边缘并不清晰。原始压缩感知算法由于其理论本身与超分辨率问题并不完全适应，重建图像视觉效果同样较差，图像边缘纹理并不清晰。Yang和Li的方法相较前两种方法视觉效果有明显的提高，但与本文方法相比，其重建结果图像清晰程度仍有所不如，尤其在边缘部分更为明显。表 1和表 2给出了不同方法重建后的PSNR以及SSIM数据对比，可以看出本文方法重建的图像在客观评价参数上相较其余方法也取得了较好结果。
表 1 不同方法重建图像PSNR评价指标对比Table 1. Comparison of PSNR evaluation indexes of reconstructed images by different methodsImage number Zhang's Original CS Yang's Li's Ours 1 23.0657 24.9632 26.5846 27.2059 29.3659 2 22.5691 24.6251 25.9631 26.3620 29.0325 3 23.6245 24.3219 26.4263 26.3494 30.0316 4 22.9521 23.6594 25.6845 25.2631 28.9613 5 22.1694 24.2351 26.4975 26.1279 30.1034 6 23.1784 23.9865 27.3249 26.6947 28.9674 7 22.5728 24.6937 26.3592 27.0691 29.3461 8 21.6891 23.4967 26.6481 27.9612 28.6541 9 22.7816 25.1435 26.2597 26.6729 30.5319 10 23.0684 24.3167 26.9437 27.1636 28.6755 表 2 不同方法重建图像SSIM评价指标对比Table 2. Comparison of SSIM evaluation indexes of reconstructed images by different methodsImage number Zhang’s Original CS Yang’s Li’s Ours 1 0.7934 0.8635 0.8966 0.9103 0.9731 2 0.7349 0.8526 0.8791 0.8955 0.9436 3 0.8172 0.8678 0.9249 0.9027 0.9348 4 0.7393 0.8211 0.8842 0.8931 0.9274 5 0.7304 0.8197 0.8991 0.8769 0.9533 6 0.7681 0.7987 0.9014 0.8643 0.9264 7 0.7311 0.8235 0.8624 0.8971 0.9083 8 0.7129 0.8433 0.8742 0.8892 0.9151 9 0.7486 0.8730 0.8785 0.8797 0.9762 10 0.7519 0.8261 0.8834 0.9031 0.9216 3.3 实际低分辨率图像重建结果分析
文章第3.2节通过合成低分辨率图像初步验证了本文算法的有效性，本节将通过实际拍摄低分辨率图像进行进一步验证。次此实验选取12张于现场拍摄的低分辨率红外图像，通过不同超分辨率方法进行重建。给出其中两张红外图像的各方法重建结果，其余10张红外图像的重建结果以客观评价参数AG和IE的形式给出。图 4、图 5为实际低分辨率红外图像不同方法的重建结果。
由图 4、图 5可以看出，在应用于实际场景时，本文方法相较对比方法仍有较为明显的提升，重建红外图像的纹理相对对比方法而言更为清晰。这种图像质量的提升能为后续进行的异常发热区域定位，故障类型识别提供更好的应用环境。表 3、表 4分别给出了不同方法对剩余10张红外图像重建结果的AG和IE评价参数数值，与主观视觉效果相互印证，说明了本文方法性能的优越性。
表 3 不同方法重建图像AG评价指标对比Table 3. Comparison of AG evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 20.6496 20.3521 29.1152 28.4946 31.0694 2 18.6232 24.7993 32.6134 30.6779 33.9552 3 20.5298 23.6657 31.5780 32.6144 34.3967 4 22.3863 22.6349 30.3440 29.4893 31.3995 5 19.8414 23.3463 27.4514 24.9311 31.3776 6 17.6890 21.1064 28.9477 31.3425 33.1015 7 18.6451 25.6108 32.6944 32.4871 36.2160 8 22.3637 24.4892 30.9645 28.5638 34.2556 9 20.0684 25.6946 31.9865 30.9783 36.9943 10 19.6452 20.3521 29.1152 28.4946 31.0694 表 4 不同方法重建图像IE评价指标对比Table 4. Comparison of IE evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 5.8113 6.0168 6.3153 6.2154 6.5312 2 5.7256 5.8364 6.0215 5.9342 6.1249 3 6.2316 6.1546 6.2599 6.5644 6.7291 4 5.9233 5.9487 6.1547 6.3263 6.3478 5 6.0532 6.1306 6.1658 6.2431 6.4528 6 5.625 5.8314 5.8947 6.1456 6.1569 7 5.8449 6.1125 6.0387 6.2831 6.5937 8 5.7052 5.8841 6.2436 6.1463 6.2649 9 6.1242 5.8543 6.1488 6.1395 6.1531 10 5.9439 6.0337 6.3894 6.2343 6.5013 3.4 计算复杂度分析
本文中待求解的目标函数为式(5)，其中待求解变量为x、xs、w1、w2。针对x变量，本文采用梯度下降法的方式进行求解。若不采取任何优化措施，当待重建低分辨率图像大小为128×128时，其单次求解用时为0.24 s左右，若采用文献[30]中一步最陡下降法求解，则单次迭代用时在0.008 s左右。针对xs变量，本文采用的求解方法为收缩迭代阈值方法。求解分为两步进行，分别为软阈值收缩以及梯度下降求解。其中软阈值收缩求解较为简单，单次求解所需时间在10－5 s，而梯度下降法由于xs变量求解时，梯度向量的求取相较x变量更为简单，在采用一步最陡下降法进行优化的情况下，单次求解耗时在5×10－4 s左右。针对w1、w2变量，其求解方式均为收缩迭代阈值方法。其中软阈值收缩步骤所需时间与xs变量相同，而梯度下降过程中由于F矩阵维度相较D矩阵而言更小，其单次迭代所需时间在10－4 s左右。
根据图 2以及实验部分所给出参数取值可知，在全部迭代过程中，至多进行5轮循环，每轮循环变量x计算1次，变量xs计算64次，变量w1、w2各计算8次。根据上述分析中各变量单次计算所需时间可以得到，重建128×128低分辨率图像理论所需时间在0.208 s左右。但由于实际运算过程中除上述迭代步骤外，还存在F1、F2托普利兹循环矩阵的生成，“块效应”问题的解决等计算步骤，因此最终图像重建实际用时在0.4 s左右。而对不同尺寸红外图像的重建实验结果如图 6所示，其中输入原始图像大小由64×64等比例递增至512×512，各尺寸图像重建实验均选取50张不同红外图像进行重建。图中显示的不同大小红外图像重建所需时间由50张图像重建所需时间取平均得到。
由图 6可见，本文方法能够以较快速度重建低分辨率红外图像。而根据国家标准[31]，普通型红外探测器分辨率在160×120以下，本文方法对其重建用时在1 s以下，可以适应物联网场景下大量红外图像的重建工作。
4. 结论
本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比引入传统压缩感知超分辨率模型中。针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文算法性能存在一定优势，有利于为红外诊断技术在电力系统中应用提供更良好的数据基础。
-
![]()
图 1 采用不同约束项时重建图像高频信息成本变化图
Figure 1. Reconstruction of high frequency information cost chart of image with different constraints
![]()
图 3 人工下采样红外图像不同方法重建结果
Figure 3. Reconstruction results of artificial down sampling infrared image by different methods
表 1 不同方法重建图像PSNR评价指标对比
Table 1 Comparison of PSNR evaluation indexes of reconstructed images by different methods
Image number Zhang's Original CS Yang's Li's Ours 1 23.0657 24.9632 26.5846 27.2059 29.3659 2 22.5691 24.6251 25.9631 26.3620 29.0325 3 23.6245 24.3219 26.4263 26.3494 30.0316 4 22.9521 23.6594 25.6845 25.2631 28.9613 5 22.1694 24.2351 26.4975 26.1279 30.1034 6 23.1784 23.9865 27.3249 26.6947 28.9674 7 22.5728 24.6937 26.3592 27.0691 29.3461 8 21.6891 23.4967 26.6481 27.9612 28.6541 9 22.7816 25.1435 26.2597 26.6729 30.5319 10 23.0684 24.3167 26.9437 27.1636 28.6755 
下载: 导出CSV
表 2 不同方法重建图像SSIM评价指标对比
Table 2 Comparison of SSIM evaluation indexes of reconstructed images by different methods
Image number Zhang’s Original CS Yang’s Li’s Ours 1 0.7934 0.8635 0.8966 0.9103 0.9731 2 0.7349 0.8526 0.8791 0.8955 0.9436 3 0.8172 0.8678 0.9249 0.9027 0.9348 4 0.7393 0.8211 0.8842 0.8931 0.9274 5 0.7304 0.8197 0.8991 0.8769 0.9533 6 0.7681 0.7987 0.9014 0.8643 0.9264 7 0.7311 0.8235 0.8624 0.8971 0.9083 8 0.7129 0.8433 0.8742 0.8892 0.9151 9 0.7486 0.8730 0.8785 0.8797 0.9762 10 0.7519 0.8261 0.8834 0.9031 0.9216
下载: 导出CSV
表 3 不同方法重建图像AG评价指标对比
Table 3 Comparison of AG evaluation indexes of reconstructed images by different methods
Image
numberZhang’s Original CS Yang’s Li’s Ours 1 20.6496 20.3521 29.1152 28.4946 31.0694 2 18.6232 24.7993 32.6134 30.6779 33.9552 3 20.5298 23.6657 31.5780 32.6144 34.3967 4 22.3863 22.6349 30.3440 29.4893 31.3995 5 19.8414 23.3463 27.4514 24.9311 31.3776 6 17.6890 21.1064 28.9477 31.3425 33.1015 7 18.6451 25.6108 32.6944 32.4871 36.2160 8 22.3637 24.4892 30.9645 28.5638 34.2556 9 20.0684 25.6946 31.9865 30.9783 36.9943 10 19.6452 20.3521 29.1152 28.4946 31.0694
下载: 导出CSV
表 4 不同方法重建图像IE评价指标对比
Table 4 Comparison of IE evaluation indexes of reconstructed images by different methods
Image
numberZhang’s Original CS Yang’s Li’s Ours 1 5.8113 6.0168 6.3153 6.2154 6.5312 2 5.7256 5.8364 6.0215 5.9342 6.1249 3 6.2316 6.1546 6.2599 6.5644 6.7291 4 5.9233 5.9487 6.1547 6.3263 6.3478 5 6.0532 6.1306 6.1658 6.2431 6.4528 6 5.625 5.8314 5.8947 6.1456 6.1569 7 5.8449 6.1125 6.0387 6.2831 6.5937 8 5.7052 5.8841 6.2436 6.1463 6.2649 9 6.1242 5.8543 6.1488 6.1395 6.1531 10 5.9439 6.0337 6.3894 6.2343 6.5013
下载: 导出CSV
-
[1] 王毅, 陈启鑫, 张宁, 等. 5G通信与泛在电力物联网的融合: 应用分析与研究展望[J]. 电网技术, 2019, 43(5): 1575-1585. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS201905012.htm WANG Yi, CHEN Qixin, ZHANG Ning, et al. Fusion of the 5G communication and the ubiquitous electric internet of things: application analysis and research prospects[J]. Power System Technology, 2019, 43(5): 1575-1585. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS201905012.htm
[2] 李鹏, 毕建刚, 于浩, 等. 变电设备智能传感与状态感知技术及应用[J]. 高电压技术, 2020, 46(9): 3097-3113. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202009013.htm LI Peng, BI Jiangang, YU Hao, et al. Technology and application of intelligent sensing and state sensing for transformation equipment[J]. High Voltage Engineering, 2020, 46(9): 3097-3113. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202009013.htm
[3] 梁兴, 严居斌, 尹磊. 基于红外图像的输电线路故障识别[J]. 电测与仪表, 2019, 56(24): 99-103. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201924016.htm LIANG Xing, YAN Jubin, YIN Lei. Fault identification of transmission lines based on infrared image[J]. Electrical Measurement & Instrumentation, 2019, 56(24): 99-103. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201924016.htm
[4] 赵仕策, 赵洪山, 寿佩瑶. 智能电力设备关键技术及运维探讨[J]. 电力系统自动化, 2020, 44(20): 1-10. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXT202020001.htm ZHAO Shice, ZHAO Hongshan, SHOU Peiyao. Discussion on key technology and operation & maintenance of intelligent power equipment[J]. Automation of Electric Power Systems, 2020, 44(20): 1-10. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXT202020001.htm
[5] Lozanov Y, Tzvetkova S. A methodology for processing of thermographic images for diagnostics of electrical equipment[C]//2019 11th Electrical Engineering Faculty Conference (BulEF). IEEE, 2019: 1-4.
[6] LI Y, ZHAO K, REN F, et al. Research on super-resolution image reconstruction based on low-resolution infrared sensor[J]. IEEE Access, 2020, 8: 69186-69199. DOI: 10.1109/ACCESS.2020.2984945
[7] 唐艳秋, 潘泓, 朱亚平, 等. 图像超分辨率重建研究综述[J]. 电子学报, 2020, 48(7): 1407-1420. DOI: 10.3969/j.issn.0372-2112.2020.07.022 TANG Yanqiu, PAN Hong, ZHU Yaping, et al. A survey of image super-resolution reconstruction[J]. Acta Electronica Sinica, 2020, 48(7): 1407-1420. DOI: 10.3969/j.issn.0372-2112.2020.07.022
[8] Bätz M, Eichenseer A, Kaup A. Multi-image super-resolution using a dual weighting scheme based on Voronoi tessellation[C]//2016 IEEE International Conference on Image Processing (ICIP). IEEE, 2016: 2822-2826.
[9] WANG L, LIN Z, DENG X, et al. Multi-frame image super-resolution with fast upscaling technique[J/OL]. arXiv preprint arXiv: 1706.06266, 2017.
[10] Rasti P, Demirel H, Anbarjafari G. Improved iterative back projection for video super-resolution[C]//2014 22nd Signal Processing and Com-munications Applications Conference (SIU). IEEE, 2014: 552-555.
[11] 杨欣, 费树岷, 周大可. 基于MAP的自适应图像配准及超分辨率重建[J]. 仪器仪表学报, 2011, 32(8): 1771-1775. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201108014.htm YANG Xin, FEI Shumin, ZHOU Dake. Self-adapting weighted technology for simultaneous image registration and super-resolution reconstruction based on MAP[J]. Chinese Journal of Scientific Instrument, 2011, 32(8): 1771-1775. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201108014.htm
[12] Kato T, Hino H, Murata N. Multi-frame image super resolution based on sparse coding[J]. Neural Networks, 2015, 66: 64-78.
[13] Greaves A, Winter H. Multi-frame video super-resolution using convolutional neural networks[J]. IEEE Transactions on Multimedia, 2017, 8(3): 76-85.
[14] Hayat K. Multimedia super-resolution via deep learning: a survey[J]. Digital Signal Processing, 2018, 81: 198-217.
[15] DONG W, ZHANG L, Lukac R, et al. Sparse representation-based image interpolation with nonlocal autoregressive modeling[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1382-1394.
[16] WANG L, WU H, PAN C. Fast image upsampling via the displacement field[J]. IEEE Transactions on Image Processing, 2014, 23(12): 5123-5135.
[17] ZHANG Y, FAN Q, BAO F, et al. Single-image super-resolution based on rational fractal interpolation[J]. IEEE Transactions on Image Processing, 2018, 27(8): 3782-3797.
[18] Manjón J V, Coupé P, Buades A, et al. Non-local MRI upsampling[J]. Medical Image Analysis, 2010, 14(6): 784-792.
[19] ZHANG X, Burger M, Bresson X, et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction[J]. SIAM Journal on Imaging Sciences, 2010, 3(3): 253-276.
[20] LI L, XIE Y, HU W, et al. Single image super-resolution using combined total variation regularization by split Bregman Iteration[J]. Neurocomputing, 2014, 142: 551-560.
[21] Rasti P, Demirel H, Anbarjafari G. Improved iterative back projection for video super-resolution[C]//2014 22nd Signal Processing and Communications Applications Conference (SIU). IEEE, 2014: 552-555.
[22] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.
[23] WANG X, YU K, DONG C, et al. Recovering realistic texture in image super-resolution by deep spatial feature transform[C]//Proceedings of The IEEE Conference on Computer Vision and Pattern Recognition, 2018: 606-615.
[24] Zoph B, Le Q V. Neural architecture search with reinforcement learning[J/OL]. arXiv preprint arXiv: 1611.01578, 2016.
[25] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.
[26] Candes E, Romberg J. Sparsity and incoherence in compressive sampling[J]. Inverse Problems, 2007, 23(3): 969.
[27] Sulam J, Ophir B, Zibulevsky M, et al. Trainlets: Dictionary learning in high dimensions[J/OL]. arXiv preprint arXiv: 1602.00212, 2016.
[28] ZHANG H, Hager W W. A nonmonotone line search technique and its application to unconstrained optimization[J]. SIAM Journal on Opti-mization, 2004, 14(4): 1043-1056.
[29] JIN J, YUAN J, SHEN Q, et al. Curvelet transform based adaptive image deblocking method[J]. Computers & Electrical Engineering, 2014, 40(8): 117-129.
[30] Chengbo L. An efficient algorithm for total variation regularization with applications to the single pixel camera and compressive sensing[D]. Houston: Department of Computational and Applied Mathematics, 2009.
[31] 中华人民共和国国家质量监督检验检疫总局. 工业检测型红外热像仪[S]. GB/T 19870-200, [2021-06-08]. General Administration of Quality Supervision, Inspection and Quarantine of the People's Republic of China. Industrial Inspecting Thermal Imagers[S]. GB/T 19870-200, [2021-06-08].
-
期刊类型引用(5)
1. 李金鑫，郑磊，廖海，王楠，邹胤. 基于红外监测的电站设备热状态智能感知识别技术. 粘接. 2025(01): 177-180 . 
百度学术
2. 赵洪山，王惠东，刘婧萱，杨伟新，李忠航，林诗雨，余洋，吕廷彦. 考虑局部纹理特征和全局温度分布的电力设备红外图像超分辨率重建方法. 电力系统保护与控制. 2025(02): 89-99 . 百度学术
3. 刘传洋，吴一全. 基于红外图像的电力设备识别及发热故障诊断方法研究进展. 中国电机工程学报. 2025(06): 2171-2196 . 百度学术
4. 刘晓朋，张涛. 全局-局部注意力引导的红外图像恢复算法. 红外技术. 2024(07): 791-801 . 本站查看
5. 郭文红. 红外测温仪的主要工作原理及应用实践. 仪器仪表用户. 2024(05): 104-106+109 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 137
- HTML全文浏览量: 44
- PDF下载量: 28
- 被引次数: 9
