Image Fusion Based on NSCT and Minimum-Local Mean Gradient
-
摘要: 针对传统红外图像与可见光图像融合存在对比度低、细节丢失、目标模糊等问题，本文基于非下采样轮廓波变换（Non-subsampled Contourlet Transform，NSCT）的思想，通过改进权重函数和融合规则，建立新的融合算法实现红外图像和可见光图像的有效融合。首先，通过NSCT变换对红外和可见光图像进行多尺度分解得到对应的低频系数和高频系数。然后，采用改进的最小化规则和局部平均梯度规则分别对低频系数和高频系数进行融合处理，得到对应的最优融合系数，并将所得融合系数进行NSCT逆变换得到最终融合图像。最后，使用公共数据集与其他5种算法进行对比实验，并在7个具有实际意义的性能评价指标约束下，验证所设计算法的有效性和鲁棒性。Abstract: To address the problems of low contrast, detail loss, and target blur in the fusion of traditional infrared and visible images, this study uses the idea of non-subsampled contourlet transform (NSCT) to improve the weight function and fusion rules and thus develops a new fusion algorithm to realize the effective fusion of infrared and visible images. First, NSCT is used to decompose infrared and visible images at multiple scales to obtain the corresponding low-and high-frequency coefficients. Then, the improved minimization and local mean gradient rules are used to fuse the low- and high-frequency coefficients, respectively, and thus to obtain the corresponding optimal fusion coefficient. The obtained fusion coefficient is then converted via an NSCT inverse transformation to obtain the final fused image. Finally, a public dataset is used to compare the proposed algorithm with the other five algorithms. The effectiveness and robustness of the proposed algorithm are verified under the constraints of seven performance evaluation indices having practical significance.
-
0. 引言
随着智能配电网建设的推进，采用红外诊断技术对配电设备进行实时监测与故障诊断可以有效地提升配电网的运行可靠性[1-3]。但是，与输电网相比配电网设备数量巨大，大规模部署价格昂贵的传统高分辨率红外传感器将使企业产生难以承受的成本[4-5]。因此，如何使用低成本的低分辨红外传感器达到高分辨率红外传感器的效果是推进红外诊断技术在配电系统应用的关键[6]。
超分辨率（Super Resolution, SR）成像技术主要目的在于克服低成本、低精度的影像采集装置限制，通过单帧或多帧的低分辨率（Low Resolution，LR）图像输入，根据不同先验知识，完成对图像的重建，得到高分辨率图像（High Resolution，HR），恢复图像采集过程中丢失的高频信息[7]。根据重建时输入LR图像数量的不同，超分辨率又可分为单帧和多帧图像超分辨率。其中多帧图像超分辨率方法包含有插值法[8-9]、迭代反投影法[10]、最大似然估计法[11]、稀疏编码方法[12]和基于学习的方法等[13-14]。多幅图像的超分辨率方法通过将同一场景内的相近时间位置获得的多幅图像配准，利用不同图像含有的互补信息完成对分辨率的提升。而单帧超分辨率方法重建时仅使用某一场景内的单幅图像，难度更大。针对电器设备的红外图像这一具体应用对象而言，其重建超分辨率图像关注重点除了结构清晰易于识别，其对设备温度的准确反应也是至关重要的。多图超分辨率由于输入的低分辨率红外图像并不严格来自于同一时刻，因此很容易导致重建图像对温度的反映失去准确性，这一问题在电力行业更为关注的设备温度快速变化的情况下尤其严重。故选择基于单幅图像的超分辨率方法更能够保证重建的准确性。
基于单幅图像的超分辨率方法主要分为3类：基于插值、基于重建以及基于学习的超分辨率方法。其中基于插值的超分辨率方法最为简单，但由于其固有的平滑效益，易使重建图像丢失细节，边缘较为模糊，研究者就这一问题相继提出了各类改进措施[15-17]。基于重建的超分辨率方法[18-21]通过引入先验知识为限制条件完成基于图像降质模型的反向迭代求解。文献[18]提出了一种基于非局部信息的超分辨率算法。X. Zhang等人[19]基于图像的非局部自相似性提出了非局部全变分模型。为更好处理图像局部信息，Li等人[20]利用自然图像中的局部结构自相似性，提出了转向核回归总变分的概念，并以非局部全变分正则项作为补充，构成其超分辨率重建模型。Pejman等人[21]提出的迭代反投影方法获得高分辨率图像重建结果。基于学习的方法主要目标在于寻找HR图像与LR图像间的对应关系，通常为训练同构字典或建立二者兼得映射关系[22]。Wang等[23]提出空间特征变换-生成对抗网络（Spatial Feature Transform-Generative Adversarial Network，SFT-GAN）模型，以图像的分割掩码作为SISR的先验知识，指导SISR中不同区域的纹理重建。文献[24]是一类目前最新的方法，它使用强化学习寻找最优网络，可减少人工对模型设计的影响。这类方法先定义一个搜索空间，使用相应的控制器处理搜索，经评估后输出重建结果，通过网络训练自动调整，直到网络收敛得到良好的重建结果为止。
考虑到基于学习的超分辨率方法需大量高分辨率红外图像样本且进行超分辨率重建时上采样倍率受所构建模型或同构字典的限制，灵活度较低，本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并且本文通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比（Gradient Norm-ratio, GNR）引入传统压缩感知超分辨率模型中。并针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文方法重建图像无论在主观视觉效果还是客观评价指标上都有了较好的提升。
1. 压缩感知理论模型
压缩感知理论给出了通过非线性优化技术重建下采样信号的方法[25]。假设将所需的高分辨率图像表示为n维列向量x∈Rn，其中n为一较大数值。理论上x可以表示任何一维信号，就本问题而言，x为一个已被转换成n×1维矢量的n像素灰度图像（或RGB图像某一通道的n像素图像）。而超分辨率的目的为通过低分辨率输入y∈Rn，其中m≪n，来估计得到高分辨率信号x。本文的目标是仅使用y作为输入来恢复高分辨率信号x。
这个问题本质上是不适定的，由于分辨率降低，信息丢失，单个低分辨率图像重建时可以映射到多个潜在高分辨率图像。为了解决这一问题，需要应用压缩感知理论的关键假设，即信号x的变换形xs在某一个基Ψ下是k稀疏的，这便意味着在该变换形式下，xs中至多有k个非零因子。这是一个合理的假设，高分辨率图像在不同的变换域中均是可以压缩的，例如小波域，傅里叶域或人工构建的过完备字典等。此时根据上述假设的合理性，可以将压缩感知超分辨率模型写作：
$$ y={\boldsymbol{S}} x={\boldsymbol{S}} \varPsi x_s $$ (1) 式中：S矩阵为下采样矩阵，多采用点采样矩阵或双三次插值下采样矩阵。
在给定测量y的情况下求解出xs，则xs为求取的高分辨率信号x。此时压缩感知理论指出若m＞2k，且矩阵A满足有RIP条件，那么即可通过式(1)寻找满足等式方程的稀疏度最高的xs对x唯一地求解[26]。此时表达式为：
$$ \min \left\|x_s\right\|_0 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (2) 式中：||xs||0表示稀疏系数xs中的非零元素个数，但由于求解式(2)的数值计算为NP难问题。Donoho[25]指出，可以通过求解一个更加简单的l1优化问题来得到同等的解，此时表达式为：
$$ \min \left\|x_s\right\|_1 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (3) 而这一问题可通过线性规划或基追踪的方法加以解决。但若将式(3)所示模型直接用于解决图像超分辨率问题，仍有一定问题存在。由于在超分辨率应用条件下，采样矩阵S无法采用更具普适性的随机高斯矩阵或随机伯努利矩阵，必须采用点采样矩阵或三次插值下采样矩阵。致使传感矩阵A对RIP条件满足度较低，图像重建效果往往不够理想。因此还需引入新的先验知识，提升重建图像视觉质量，以使其更好满足工程应用需要。
2. 基于GNR先验的压缩感知超分辨率模型
2.1 GNR先验
根据上文所述，基础压缩感知模型在直接应用于图像超分辨率重建时，由于应用条件受限，其方法性能较差。需要增加额外的有效先验知识，提升重建图像质量。图像降质过程本质为像素点信息的丢失混叠。这一过程会致使图像高频信息丢失，反映到直观视觉效果上，即低分辨率图像的边缘纹理不清晰，对比度较低。故需要寻找一指标作为约束条件，当重建图像趋向于模糊潜像时，该指标增大，当趋向清晰潜像时，该指标降低。从而通过对该指标的约束惩罚，使迭代重建过程中的恢复图像向清晰潜像靠拢，使图像高频细节得以恢复。
在优化问题中，最常见的约束为l1范数，l2范数及lp范数等，其中一般0＜p＜1。以l1范数为例，其在图像处理中多用于惩罚高频段，当图像含有噪声时，可通过最小化l1范数来去除噪声。而图像降质时高频段本身便会衰减，最小化图像高频分量的l1范数将会导致重建图像进一步模糊。对其余范数而言，由于其作用机理与l1范数相似，因此若直接引入范数约束作为正则项，并不能起到提升图像重建质量的目的。但通过统计不同范数对重建图像高频息约束时的成本发现，虽然其成本都随着输入图像分辨率的降低，即重建图像的模糊而降低，但不同范数成本降低速度并不相同，l2范数成本降低速度明显高于l1范数。因此引入高频信息范数比值作为先验信息，能够保证随重建图像质量降低，该惩罚项成本不断增大，换而言之即通过降低该项成本，可以达到提高重建图像质量的目的。图像高频信息可通过多种方式获得，本文则选取横纵方向梯度为例，通过范数比的形式对重建图像加以约束。图 1为采用不同约束项时重建图像高频信息成本变化示意图。
![]()
图 1 采用不同约束项时重建图像高频信息成本变化图Figure 1. Reconstruction of high frequency information cost chart of image with different constraints其中高频信息通过分别采用横向差分算子f1＝[1 －1]和纵向差分算子f2＝[1 －1]T对重建图像进行卷积的方式获取。重建图像则为典型电力设备红外图像在经过不同比例下采样后，通过三次插值重建回原大小得到的一系列图像。由图 1可以明显看出，随着采样比例的增加，即重建图像的模糊，各范数约束下的高频信息成本在不断降低，而l1范数和l2范数比值的成本则不断增大。记GNR(x)=||x||1/||x||2，将GNR(x)作为约束项引入目标函数，即可实现最小化目标函数过程中，提升中间迭代图像质量的目的。
2.2 超分辨率模型及求解算法
本节将构建改进后的压缩感知超分辨率目标函数。将GNR(x)先验引入后，目标函数构建为：
$$ \begin{aligned} & \left\{x, x_s\right\}=\arg \min _{x, x_s}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(f_1 \otimes X\right)+{\rm{GNR}}\left(f_2 \otimes X\right)\right) \\ & \quad+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (4) 式中：λ, β和μ分别为权重系数；⊗为卷积运算符；X为x对应的高分辨率图像的二维形式；D为过完备字典，采用文献[27]中介绍的方法训练得到，采用人工构建的过完备字典目的在于提升对图像的稀疏表达能力，从而提升稀疏系数xs的稀疏度，提升重建图像质量。为了便于求解目标函数，通过半二次分裂方法引入辅助变量，得到目标函数为：
$$ \begin{aligned} &\left\{x, x_s, w_1, w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(W_1\right)+{\rm{GNR}}\left(W_2\right)\right) \\ &+ \eta\left(\left\|f_1 \otimes X-W_1\right\|_2^2+\left\|f_2 \otimes X-W_2\right\|_2^2\right) \\ &+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (5) 将f⊗X转变为矩阵相乘的形式，即可得到最终待求解的目标函数：
$$ \begin{aligned} \left\{x, x_s, w_1,\right. & \left.w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(w_1\right)+{\rm{GNR}}\left(w_2\right)\right) \\ + & \eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ + & \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (6) 式中：F1和F2分别为根据f1和f2生成的托普利兹循环矩阵；w和W分别为辅助变量的向量和矩阵形式；η为权重系数，在迭代过程中不断增大，当其足够大时，可认为Fx与w数值近似相同，此外μ也起到同样的作用。此时可将目标函数的求解分为x，xs和w子问题的求解，只需在迭代过程中不断增大惩罚系数η和μ，分别求解上述3个未知变量即可完成重建。
当求解x子问题时，固定xs和w变量，此时目标函数为：
$$ \begin{aligned} x & =\arg \min _x\|S x-y\|_2^2+\eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ & +\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (7) 式(7)所示的目标函数为典型的最小二乘问题，可通过梯度下降法求解，求解方式为：
$$ \begin{aligned} d_x & =2 {\boldsymbol{S}}^{{\mathrm{T}}}({\boldsymbol{S}} x-y)+2 \eta\left({\boldsymbol{F}}_1^{{\mathrm{T}}}\left({\boldsymbol{F}}_1 x-w_1\right)+F_2^{{\mathrm{T}}}\left({\boldsymbol{F}}_2 x-w_2\right)\right) \\ & -2 \mu\left({\boldsymbol{D}} x_s-x\right) \end{aligned} $$ (8) $$ x^{(K+1)}=x^{(K)}-\tau d_x $$ (9) 式中：τ为下降步长，可通过文献[28]中介绍的回溯直线搜索法确定。
求解w子问题时，固定xs和x变量，将函数GNR(w)展开，目标函数为：
$$ w_i=\arg \min\limits _{w_i} \lambda \frac{\left\|w_i\right\|_1}{\left\|w_i\right\|_2}+\eta\left\|{\boldsymbol{F}}_i x-w_i\right\|_2^2 $$ (10) 式中：i＝1, 2。由于GNR(wi)项的存在，w子问题非凸。但可通过固定分母||wi||2中wi为上一次迭代取值，使式(10)变为凸优化问题。此时式(10)所示问题可通过迭代收缩阈值算法进行求解：
$$ z_i=w_i^{(K)}-\tau {\boldsymbol{F}}_i^{{\mathrm{T}}}\left({\boldsymbol{F}}_i x-w_i^{(K)}\right) $$ (11) $$ w_i^{(K+1)}=\max \left(\left|z_i\right|-\frac{\tau \lambda}{2 \eta\left\|w_i^{(K)}\right\|_2}, 0\right) \circ \operatorname{sign}\left(z_i\right) $$ (12) 式中：τ为下降步长；◦为分量乘法；sign为符号函数。
完成x和w子问题的求解后，固定上述变量，求解稀疏系数xs。目标函数为：
$$ x_s=\arg \min\limits _{x_s} \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 $$ (13) 式(13)与式(10)所示问题类似，同样可采取迭代收缩阈值的方式进行求解，故求解过程不再赘述。
当完成各变量的求解后，判断||x(K)－x(K－1)||2是否小于ε，或迭代次数K是否大于Kmax，若判断结果为是，则完成迭代，输出重建图像。最终，式(4)所示目标函数求解算法流程图如图 2所示。
3. 实验及结果分析
3.1 实验环境及评价指标
在本节中，给出了电力设备红外图像盲超分辨率重建实例，通过与现有算法重建结果进行比较，验证了本文所提出的基于压缩感知的盲超分辨率算法的有效性。本文实验环境为：Intel Core(TM) i5-9300H CPU @2.40 GHz，内存16.00 GB，MATLAB R2019a编程，并通过反复实验调整得到以下固定参数：λ＝0.05，β＝1，μ0＝2，η0＝2，μmax＝256，ηmax＝256，Kmax＝5。HR图像重建时为便于计算进行分块重建，分块大小为32×32。所用稀疏字典大小为1024×3096，即字典中含有3096个长度为1024的原子。重建后采用文献[29]中介绍的方法解决因分块导致的重建图像中存在的“块效应”问题。
为使实验结果更具说服力，本文分别对人工合成电力设备红外图像，以及实际拍摄的电力设备红外图像进行重建，对比方法选取Zhang[17]，未改进的原始压缩感知方法，Yang[22]和Li[20]提出的方法。其中人工合成的电力设备红外图像由于存在原始高分辨率清晰图像，采用峰值信噪比（peak signal to noise ratio, PSNR）和结构相似度（structural similarity, SSIM）两个评价指标对重建结果进行评价，而实际拍摄的电力设备红外图像由于其不存在原始高分辨率清晰图像，因此采用无原图评价指标对重建结果进行量化，本文所采取的指标为影像平均梯度（average gradient, AG）以及信息熵（information entropy, IE）这两个客观评价指标。其中AG的计算方式为：
$$ {\mathrm{AG}}=\frac{1}{M N} \sum\limits_i \sum\limits_j \sqrt{f_x^2(i, j)+f_y^2(i, j)} $$ (14) 式中：fx(i, j)和fy(i, j)分别为图像行方向和列方向的差分算子对图像卷积结果，本文采用Sobel算子。最终求得AG数值越大，意味图像中灰度变化越剧烈，图像层次越多，一般而言图像越加清晰。
信息熵在物理学中表示某个体系的均匀程度，某体系分布越均匀，其信息熵越大，由此类推出图像的信息熵概念。定义为：
$$ {\mathrm{IE}}=-\sum\limits_{i=0}^n p(i) \log _2 p(i) $$ (15) 式中：p(i)为灰度值为i的像素点在影像中出现的频率，最终求得的IE数值越大，表示图像中包含的信息越丰富。
3.2 人工下采样图像重建结果分析
本节共选取12张不同电力设备红外图像人工合成低分辨率图像，图 3给出其中两张图像通过不同方法超分辨率重建的结果图像以及其原始高清图像。其余10张图像则以PSNR和SSIM评价参数的形式，给出不同方法的重建结果。
![]()
图 3 人工下采样红外图像不同方法重建结果Figure 3. Reconstruction results of artificial down sampling infrared image by different methods由图 3可以明显看出本文算法重建效果优于其余对比方法的重建结果，Zhang的算法由于插值类算法固有的平滑效益，且为经训练或利用图像先验信息，其重建结果较为模糊，边缘并不清晰。原始压缩感知算法由于其理论本身与超分辨率问题并不完全适应，重建图像视觉效果同样较差，图像边缘纹理并不清晰。Yang和Li的方法相较前两种方法视觉效果有明显的提高，但与本文方法相比，其重建结果图像清晰程度仍有所不如，尤其在边缘部分更为明显。表 1和表 2给出了不同方法重建后的PSNR以及SSIM数据对比，可以看出本文方法重建的图像在客观评价参数上相较其余方法也取得了较好结果。
表 1 不同方法重建图像PSNR评价指标对比Table 1. Comparison of PSNR evaluation indexes of reconstructed images by different methodsImage number Zhang's Original CS Yang's Li's Ours 1 23.0657 24.9632 26.5846 27.2059 29.3659 2 22.5691 24.6251 25.9631 26.3620 29.0325 3 23.6245 24.3219 26.4263 26.3494 30.0316 4 22.9521 23.6594 25.6845 25.2631 28.9613 5 22.1694 24.2351 26.4975 26.1279 30.1034 6 23.1784 23.9865 27.3249 26.6947 28.9674 7 22.5728 24.6937 26.3592 27.0691 29.3461 8 21.6891 23.4967 26.6481 27.9612 28.6541 9 22.7816 25.1435 26.2597 26.6729 30.5319 10 23.0684 24.3167 26.9437 27.1636 28.6755 表 2 不同方法重建图像SSIM评价指标对比Table 2. Comparison of SSIM evaluation indexes of reconstructed images by different methodsImage number Zhang’s Original CS Yang’s Li’s Ours 1 0.7934 0.8635 0.8966 0.9103 0.9731 2 0.7349 0.8526 0.8791 0.8955 0.9436 3 0.8172 0.8678 0.9249 0.9027 0.9348 4 0.7393 0.8211 0.8842 0.8931 0.9274 5 0.7304 0.8197 0.8991 0.8769 0.9533 6 0.7681 0.7987 0.9014 0.8643 0.9264 7 0.7311 0.8235 0.8624 0.8971 0.9083 8 0.7129 0.8433 0.8742 0.8892 0.9151 9 0.7486 0.8730 0.8785 0.8797 0.9762 10 0.7519 0.8261 0.8834 0.9031 0.9216 3.3 实际低分辨率图像重建结果分析
文章第3.2节通过合成低分辨率图像初步验证了本文算法的有效性，本节将通过实际拍摄低分辨率图像进行进一步验证。次此实验选取12张于现场拍摄的低分辨率红外图像，通过不同超分辨率方法进行重建。给出其中两张红外图像的各方法重建结果，其余10张红外图像的重建结果以客观评价参数AG和IE的形式给出。图 4、图 5为实际低分辨率红外图像不同方法的重建结果。
由图 4、图 5可以看出，在应用于实际场景时，本文方法相较对比方法仍有较为明显的提升，重建红外图像的纹理相对对比方法而言更为清晰。这种图像质量的提升能为后续进行的异常发热区域定位，故障类型识别提供更好的应用环境。表 3、表 4分别给出了不同方法对剩余10张红外图像重建结果的AG和IE评价参数数值，与主观视觉效果相互印证，说明了本文方法性能的优越性。
表 3 不同方法重建图像AG评价指标对比Table 3. Comparison of AG evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 20.6496 20.3521 29.1152 28.4946 31.0694 2 18.6232 24.7993 32.6134 30.6779 33.9552 3 20.5298 23.6657 31.5780 32.6144 34.3967 4 22.3863 22.6349 30.3440 29.4893 31.3995 5 19.8414 23.3463 27.4514 24.9311 31.3776 6 17.6890 21.1064 28.9477 31.3425 33.1015 7 18.6451 25.6108 32.6944 32.4871 36.2160 8 22.3637 24.4892 30.9645 28.5638 34.2556 9 20.0684 25.6946 31.9865 30.9783 36.9943 10 19.6452 20.3521 29.1152 28.4946 31.0694 表 4 不同方法重建图像IE评价指标对比Table 4. Comparison of IE evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 5.8113 6.0168 6.3153 6.2154 6.5312 2 5.7256 5.8364 6.0215 5.9342 6.1249 3 6.2316 6.1546 6.2599 6.5644 6.7291 4 5.9233 5.9487 6.1547 6.3263 6.3478 5 6.0532 6.1306 6.1658 6.2431 6.4528 6 5.625 5.8314 5.8947 6.1456 6.1569 7 5.8449 6.1125 6.0387 6.2831 6.5937 8 5.7052 5.8841 6.2436 6.1463 6.2649 9 6.1242 5.8543 6.1488 6.1395 6.1531 10 5.9439 6.0337 6.3894 6.2343 6.5013 3.4 计算复杂度分析
本文中待求解的目标函数为式(5)，其中待求解变量为x、xs、w1、w2。针对x变量，本文采用梯度下降法的方式进行求解。若不采取任何优化措施，当待重建低分辨率图像大小为128×128时，其单次求解用时为0.24 s左右，若采用文献[30]中一步最陡下降法求解，则单次迭代用时在0.008 s左右。针对xs变量，本文采用的求解方法为收缩迭代阈值方法。求解分为两步进行，分别为软阈值收缩以及梯度下降求解。其中软阈值收缩求解较为简单，单次求解所需时间在10－5 s，而梯度下降法由于xs变量求解时，梯度向量的求取相较x变量更为简单，在采用一步最陡下降法进行优化的情况下，单次求解耗时在5×10－4 s左右。针对w1、w2变量，其求解方式均为收缩迭代阈值方法。其中软阈值收缩步骤所需时间与xs变量相同，而梯度下降过程中由于F矩阵维度相较D矩阵而言更小，其单次迭代所需时间在10－4 s左右。
根据图 2以及实验部分所给出参数取值可知，在全部迭代过程中，至多进行5轮循环，每轮循环变量x计算1次，变量xs计算64次，变量w1、w2各计算8次。根据上述分析中各变量单次计算所需时间可以得到，重建128×128低分辨率图像理论所需时间在0.208 s左右。但由于实际运算过程中除上述迭代步骤外，还存在F1、F2托普利兹循环矩阵的生成，“块效应”问题的解决等计算步骤，因此最终图像重建实际用时在0.4 s左右。而对不同尺寸红外图像的重建实验结果如图 6所示，其中输入原始图像大小由64×64等比例递增至512×512，各尺寸图像重建实验均选取50张不同红外图像进行重建。图中显示的不同大小红外图像重建所需时间由50张图像重建所需时间取平均得到。
由图 6可见，本文方法能够以较快速度重建低分辨率红外图像。而根据国家标准[31]，普通型红外探测器分辨率在160×120以下，本文方法对其重建用时在1 s以下，可以适应物联网场景下大量红外图像的重建工作。
4. 结论
本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比引入传统压缩感知超分辨率模型中。针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文算法性能存在一定优势，有利于为红外诊断技术在电力系统中应用提供更良好的数据基础。
-
![]()
图 4 式(10)函数对应表达
Figure 4. The corresponding expression of equation (10) is the function
表 1 “UN Camp”图像融合结果的客观评价数据
Table 1 Objective evaluation data of fusion results of "UN Camp" image
LPRP CBF CT DTCWT NSCT-M Ours IE 5.8736 5.8778 5.9535 6.6971 6.0300 6.7782 AG 5.0301 5.2612 5.9634 5.4543 6.9987 8.6568 SD 18.6783 18.5153 19.3430 28.6416 20.2610 33.7394 SF 10.5760 10.7665 12.6522 10.9804 14.8598 18.0516 MI 1.7317 1.7287 1.7345 1.8071 1.7482 1.7807 VIF 0.2834 0.2889 0.3066 0.4386 0.2932 0.5982 QABF 0.3531 0.3391 0.4069 0.3956 0.3895 0.4116 
下载: 导出CSV
表 2 “Kaptein_1123”图像的融合结果的客观评价数据
Table 2 Objective evaluation data of fusion results of "Kaptein_1123" image
LPRP CBF CT DTCWT NSCT-M Ours IE 6.5108 6.5400 6.4460 6.7483 6.4623 6.7527 AG 4.7763 6.2218 3.8271 5.1686 4.2784 7.1084 SD 32.0192 32.6583 30.8624 36.0783 31.3539 47.2670 SF 11.9578 17.3752 9.9378 15.4644 11.4173 19.4531 MI 1.6681 1.6794 1.6542 1.6272 1.6570 1.6728 VIF 0.2852 0.2693 0.2639 0.1811 0.2561 0.4387 QABF 0.3080 0.2947 0.2552 0.3225 0.2737 0.3362
下载: 导出CSV
表 3 “Quad”图像的融合结果客观评价数据
Table 3 Objective evaluation data of fusion results of "Quad" image
LPRP CBF CT DTCWT NSCT-M Ours IE 5.7331 5.8807 6.4628 6.0780 5.7632 6.0501 AG 2.6998 3.1727 2.9816 3.0675 2.9061 3.4874 SD 29.8808 28.9345 34.2477 39.7308 26.0337 35.0966 SF 6.6144 7.5910 7.1388 7.4617 7.1121 8.1971 MI 1.7991 1.7882 1.8732 1.8816 1.7565 1.8579 VIF 0.1881 0.2749 0.3262 0.2403 0.2637 0.2963 QABF 0.2010 0.3970 0.3509 0.2436 0.4100 0.4534
下载: 导出CSV
表 4 “UN Camp”融合图像的达成度
Table 4 Degree of "UN Camp" fusion image
LPRP CBF CT DTCWT NSCT-M Ours IE 0.8665 0.8672 0.8783 0.9880 0.8896 1.0000 AG 0.5811 0.6078 0.6889 0.6301 0.8085 1.0000 SD 0.5536 0.5488 0.5733 0.8489 0.6005 1.0000 SF 0.5859 0.5964 0.7009 0.6083 0.8232 1.0000 MI 0.9583 0.9566 0.9598 1.0000 0.9674 0.9854 VIF 0.4738 0.4829 0.5125 0.7332 0.4901 1.0000 QABF 0.8579 0.8239 0.9886 0.9611 0.9463 1.0000 TGA 4.8770 4.8835 5.3023 5.7696 5.5256 6.9854
下载: 导出CSV
表 5 “Kaptein_1123”融合图像的达成度
Table 5 degree of "Kaptein_1123" fusion image
LPRP CBF CT DTCWT NSCT-M Ours IE 0.9642 0.9685 0.9546 0.9993 0.9570 1.0000 AG 0.6719 0.8753 0.5384 0.7271 0.6019 1.0000 SD 0.6774 0.6909 0.6529 0.7633 0.6633 1.0000 SF 0.6147 0.8932 0.5109 0.7950 0.5869 1.0000 MI 0.9933 1.0000 0.9850 0.9689 0.9867 0.9961 VIF 0.6501 0.6139 0.6016 0.4128 0.5838 1.0000 QABF 0.9161 0.8766 0.7591 0.9593 0.8141 1.0000 TGA 5.4877 5.9183 5.0024 5.6257 5.1937 6.9961
下载: 导出CSV
表 6 “Quad”融合图像的达成度
Table 6 degree of "Quad" fusion image
LPRP CBF CT DTCWT NSCT-M Ours IE 0.8871 0.9099 1.0000 0.9405 0.8917 0.9361 AG 0.7742 0.9098 0.8550 0.8796 0.8333 1.0000 SD 0.7521 0.7283 0.8620 1.0000 0.6553 0.8834 SF 0.8069 0.9261 0.8709 0.9103 0.8676 1.0000 MI 0.9562 0.9504 0.9955 1.0000 0.9335 0.9874 VIF 0.5766 0.8427 1.0000 0.7367 0.8084 0.9083 QABF 0.4433 0.8756 0.7739 0.5373 0.9043 1.0000 TGA 5.1964 6.1428 6.3573 6.0044 5.8941 6.7152
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] HUANG Z, CHEN L, ZHANG Y, et al. Robust contact-point detection from pantograph-catenary infrared images by employing horizontal- vertical enhancement operator[J]. Infrared Physics & Technology, 2019, 101: 146-155.
[3] HUANG Z, FANG H, LI Q, et al. Optical remote sensing image enhancement with weak structure preservation via spatially adaptive gamma correction[J]. Infrared Physics & Technology, 2018, 94: 38-47.
[4] 肖中杰.基于NSCT红外与可见光图像融合算法优化研究[J].红外技术, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010 XIAO Zhongjie. Optimization of Infrared and Visible Image Fusion Algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010
[5] ZHANG B, LU X, PEI H, et al. A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J]. Infrared Physics & Technology, 2015, 73: 286-297.
[6] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26. DOI: 10.1016/j.inffus.2015.11.003
[7] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[8] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
[9] 肖进胜, 饶天宇, 贾茜, 等.基于图切割的拉普拉斯金字塔图像融合算法[J].光电子·激光, 2014, 25(7): 1416-1424. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201407032.htm XIAO Jinsheng, RAO Tianyu, JIA Qian, et al. Image fusion algorithm of Laplacian Pyramid based on graph Cutting[J]. Photoelectron Laser, 2014, 25(7): 1416-1424. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201407032.htm
[10] 刘斌, 付忠旺.基于四通道不可分提升小波的多聚焦图像融合[J].系统工程与电子技术, 2018, 40(2): 463-471. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD201802032.htm LIU Bin, FU Zhongwang. Multi-focus image fusion based on four-channel Indivisible Lifting Wavelet[J]. Systems Engineering and Electronics technology, 2018, 40(2): 463-471. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD201802032.htm
[11] 薛琴, 范勇, 李绘卓, 等.基于广义邻域结构相似度的红外和彩色可见光图像融合[J].四川大学学报:自然科学版, 2012, 49(3): 570-576. DOI: 10.3969/j.issn.0490-6756.2012.03.017 XUE Qin, FAN Yong, LI Huizhong, et al. Infrared and color visible light image fusion based on generalized neighborhood structure similarity[J]. Journal of Sichuan University: Natural Science, 2012, 49(3): 570-576. DOI: 10.3969/j.issn.0490-6756.2012.03.017
[12] DA Cunha A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101. DOI: 10.1109/TIP.2006.877507
[13] ZHU Z, YIN H, CHAI Y, et al. A novel multi-modality image fusion method based on image decomposition and sparse representation[J]. Information Sciences, 2018, 432: 516-529. DOI: 10.1016/j.ins.2017.09.010
[14] 甄媚, 王书朋.可见光与红外图像自适应加权平均融合方法[J].红外技术, 2019, 41(4): 341-346. http://hwjs.nvir.cn/article/id/hwjs201904008 ZHEN Mei, WANG Shupeng. Adaptive Weighted average fusion method for Visible light and infrared Images[J]. Infrared Technology, 2019, 41(4): 341-346. http://hwjs.nvir.cn/article/id/hwjs201904008
[15] XIA Z, PENG X, FENG X, et al. Scarce face recognition via two-layer collaborative representation[J]. IET Biometrics, 2017, 7(1): 56-62.
[16] 张新曼, 韩九强.基于视觉特性的多尺度对比度塔图像融合及性能评价[J].西安交通大学学报, 2004(4): 380-383. DOI: 10.3321/j.issn:0253-987X.2004.04.013 ZHANG Xinman, HAN Jiuqiang. Image fusion and Performance Evaluation of Multi-scale Contrast tower based on visual Characteristics[J]. Journal of Xi 'an Jiaotong University, 2004(4): 380-383. DOI: 10.3321/j.issn:0253-987X.2004.04.013
[17] 徐丹萍, 王海梅.基于双边滤波和NSST的红外与可见光图像融合[J].计算机测量与控制, 2018, 26(4): 201-204. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201804053.htm XU Danping, WANG Haimei. Infrared and visible image fusion based on bilateral Filtering and NSST[J]. Computer Measurement and Control, 2018, 26(4): 201-204. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201804053.htm
[18] 李晖晖, 郭雷, 刘坤.基于曲波变换的遥感图像融合研究[J].光电子·激光, 2008(3): 400-403, 411. DOI: 10.3321/j.issn:1005-0086.2008.03.029 LI Huihui, GUO Lei, LIU Kun. Research on Remote sensing Image Fusion based on Qu Wave Transform[J]. Optoelectronics.Laser, 2008(3): 400-403, 411. DOI: 10.3321/j.issn:1005-0086.2008.03.029
[19] 王亚杰, 李殿起, 徐心和.基于双树复小波变换彩色多聚焦图像融合方法[J].计算机工程与应用, 2007(28): 12-14, 40. DOI: 10.3321/j.issn:1002-8331.2007.28.005 WANG Yajie, LI Dianqi, XU Xinhe. Color Multi-focus image fusion method based on Double tree Complex Wavelet Transform[J]. Computer Engineering and Applications, 2007(28): 12-14, 40. DOI: 10.3321/j.issn:1002-8331.2007.28.005
[20] JIN X, JIANG Q, YAO S, et al. A survey of infrared and visual image fusion methods[J]. Infrared Physics & Technology, 2017, 85: 478-501.
[21] 王跃华, 陶忠祥.红外与可见光图像融合质量评价方法综述[J].红外, 2012, 33(6): 7-11. DOI: 10.3969/j.issn.1672-8785.2012.06.002 WANG Yuehua, TAO Zhongxiang. Review of evaluation methods of infrared and visible image fusion quality[J]. Infrared, 2012, 33(6): 7-11. DOI: 10.3969/j.issn.1672-8785.2012.06.002
[22] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]. Electronics letters, 2002, 38(7): 313-315. DOI: 10.1049/el:20020212
[23] HAN Y, CAI Y, CAO Y, et al. A new image fusion performance metric based on visual information fidelity[J]. Information Fusion, 2013, 14(2): 127-135. DOI: 10.1016/j.inffus.2011.08.002
[24] 薄瑞峰, 苗鸿宾.目标达成度评价法在机械设计课程考核中的应用[J].机械设计, 2018, 35(S2): 236-238. https://www.cnki.com.cn/Article/CJFDTOTAL-JXSJ2018S2078.htm BO Ruifeng, MIAO Hongbin. Application of objective Achievement Evaluation method in mechanical Design Course Assessment[J]. Mechanical Design, 2018, 35(S2): 236-238. https://www.cnki.com.cn/Article/CJFDTOTAL-JXSJ2018S2078.htm
-
期刊类型引用(5)
1. 李金鑫，郑磊，廖海，王楠，邹胤. 基于红外监测的电站设备热状态智能感知识别技术. 粘接. 2025(01): 177-180 . 
百度学术
2. 赵洪山，王惠东，刘婧萱，杨伟新，李忠航，林诗雨，余洋，吕廷彦. 考虑局部纹理特征和全局温度分布的电力设备红外图像超分辨率重建方法. 电力系统保护与控制. 2025(02): 89-99 . 百度学术
3. 刘传洋，吴一全. 基于红外图像的电力设备识别及发热故障诊断方法研究进展. 中国电机工程学报. 2025(06): 2171-2196 . 百度学术
4. 刘晓朋，张涛. 全局-局部注意力引导的红外图像恢复算法. 红外技术. 2024(07): 791-801 . 本站查看
5. 郭文红. 红外测温仪的主要工作原理及应用实践. 仪器仪表用户. 2024(05): 104-106+109 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 304
- HTML全文浏览量: 80
- PDF下载量: 40
- 被引次数: 9
