Infrared and Visible Image Fusion Based on Saliency Detection and Latent Low-Rank Representation
-
摘要: 针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题，提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先，使用基于显著性检测的方法对红外与可见光图像进行预融合；然后，使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层；其中细节层采用结构相似性和L2范数相结合的方法进行融合，低秩层使用基于能量属性的方法进行融合；最后，将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较，通过对比多组融合图像的主客观评价，其结果表明，相较于对比方法，本方法能够保留红外与可见光图像融合过程中源图像的有效细节，且融合结果具有较高的对比度，更符合人们的视觉理解。Abstract: To address the problems of missing detail and low contrast in the fusion of infrared and visible images, this study proposes a fusion method based on saliency detection and latent low-rank representation. First, a pre-fusion image is obtained by saliency detection for the infrared and visible images. Then, the infrared, visible, and pre-fused images are decomposed into low-rank and detail layers by the multilevel latent low-rank representation method. The detail layer is fused by combining the hyperspherical L2 norm and structural similarities, while the low-rank layer is fused using an approach based on the energy property. The final fused image is obtained by adding the fusion results of the low-rank and detail layers. The proposed method is compared with 11 representative image fusion methods by conducting subjective and objective evaluations of multiple groups of fused images. The results show that the image fusion method enhances the effective detail information and improves the image contrast, yielding a fusion result that is more in line with people's visual understanding.
-
Keywords:
- image fusion /
- saliency detection /
- latent low-rank representation /
- infrared image /
- visible image
-
0. 引言
随着智能配电网建设的推进，采用红外诊断技术对配电设备进行实时监测与故障诊断可以有效地提升配电网的运行可靠性[1-3]。但是，与输电网相比配电网设备数量巨大，大规模部署价格昂贵的传统高分辨率红外传感器将使企业产生难以承受的成本[4-5]。因此，如何使用低成本的低分辨红外传感器达到高分辨率红外传感器的效果是推进红外诊断技术在配电系统应用的关键[6]。
超分辨率（Super Resolution, SR）成像技术主要目的在于克服低成本、低精度的影像采集装置限制，通过单帧或多帧的低分辨率（Low Resolution，LR）图像输入，根据不同先验知识，完成对图像的重建，得到高分辨率图像（High Resolution，HR），恢复图像采集过程中丢失的高频信息[7]。根据重建时输入LR图像数量的不同，超分辨率又可分为单帧和多帧图像超分辨率。其中多帧图像超分辨率方法包含有插值法[8-9]、迭代反投影法[10]、最大似然估计法[11]、稀疏编码方法[12]和基于学习的方法等[13-14]。多幅图像的超分辨率方法通过将同一场景内的相近时间位置获得的多幅图像配准，利用不同图像含有的互补信息完成对分辨率的提升。而单帧超分辨率方法重建时仅使用某一场景内的单幅图像，难度更大。针对电器设备的红外图像这一具体应用对象而言，其重建超分辨率图像关注重点除了结构清晰易于识别，其对设备温度的准确反应也是至关重要的。多图超分辨率由于输入的低分辨率红外图像并不严格来自于同一时刻，因此很容易导致重建图像对温度的反映失去准确性，这一问题在电力行业更为关注的设备温度快速变化的情况下尤其严重。故选择基于单幅图像的超分辨率方法更能够保证重建的准确性。
基于单幅图像的超分辨率方法主要分为3类：基于插值、基于重建以及基于学习的超分辨率方法。其中基于插值的超分辨率方法最为简单，但由于其固有的平滑效益，易使重建图像丢失细节，边缘较为模糊，研究者就这一问题相继提出了各类改进措施[15-17]。基于重建的超分辨率方法[18-21]通过引入先验知识为限制条件完成基于图像降质模型的反向迭代求解。文献[18]提出了一种基于非局部信息的超分辨率算法。X. Zhang等人[19]基于图像的非局部自相似性提出了非局部全变分模型。为更好处理图像局部信息，Li等人[20]利用自然图像中的局部结构自相似性，提出了转向核回归总变分的概念，并以非局部全变分正则项作为补充，构成其超分辨率重建模型。Pejman等人[21]提出的迭代反投影方法获得高分辨率图像重建结果。基于学习的方法主要目标在于寻找HR图像与LR图像间的对应关系，通常为训练同构字典或建立二者兼得映射关系[22]。Wang等[23]提出空间特征变换-生成对抗网络（Spatial Feature Transform-Generative Adversarial Network，SFT-GAN）模型，以图像的分割掩码作为SISR的先验知识，指导SISR中不同区域的纹理重建。文献[24]是一类目前最新的方法，它使用强化学习寻找最优网络，可减少人工对模型设计的影响。这类方法先定义一个搜索空间，使用相应的控制器处理搜索，经评估后输出重建结果，通过网络训练自动调整，直到网络收敛得到良好的重建结果为止。
考虑到基于学习的超分辨率方法需大量高分辨率红外图像样本且进行超分辨率重建时上采样倍率受所构建模型或同构字典的限制，灵活度较低，本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并且本文通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比（Gradient Norm-ratio, GNR）引入传统压缩感知超分辨率模型中。并针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文方法重建图像无论在主观视觉效果还是客观评价指标上都有了较好的提升。
1. 压缩感知理论模型
压缩感知理论给出了通过非线性优化技术重建下采样信号的方法[25]。假设将所需的高分辨率图像表示为n维列向量x∈Rn，其中n为一较大数值。理论上x可以表示任何一维信号，就本问题而言，x为一个已被转换成n×1维矢量的n像素灰度图像（或RGB图像某一通道的n像素图像）。而超分辨率的目的为通过低分辨率输入y∈Rn，其中m≪n，来估计得到高分辨率信号x。本文的目标是仅使用y作为输入来恢复高分辨率信号x。
这个问题本质上是不适定的，由于分辨率降低，信息丢失，单个低分辨率图像重建时可以映射到多个潜在高分辨率图像。为了解决这一问题，需要应用压缩感知理论的关键假设，即信号x的变换形xs在某一个基Ψ下是k稀疏的，这便意味着在该变换形式下，xs中至多有k个非零因子。这是一个合理的假设，高分辨率图像在不同的变换域中均是可以压缩的，例如小波域，傅里叶域或人工构建的过完备字典等。此时根据上述假设的合理性，可以将压缩感知超分辨率模型写作：
$$ y={\boldsymbol{S}} x={\boldsymbol{S}} \varPsi x_s $$ (1) 式中：S矩阵为下采样矩阵，多采用点采样矩阵或双三次插值下采样矩阵。
在给定测量y的情况下求解出xs，则xs为求取的高分辨率信号x。此时压缩感知理论指出若m＞2k，且矩阵A满足有RIP条件，那么即可通过式(1)寻找满足等式方程的稀疏度最高的xs对x唯一地求解[26]。此时表达式为：
$$ \min \left\|x_s\right\|_0 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (2) 式中：||xs||0表示稀疏系数xs中的非零元素个数，但由于求解式(2)的数值计算为NP难问题。Donoho[25]指出，可以通过求解一个更加简单的l1优化问题来得到同等的解，此时表达式为：
$$ \min \left\|x_s\right\|_1 \quad {\text { s.t. }} \quad y={{\boldsymbol{A}}} x_s $$ (3) 而这一问题可通过线性规划或基追踪的方法加以解决。但若将式(3)所示模型直接用于解决图像超分辨率问题，仍有一定问题存在。由于在超分辨率应用条件下，采样矩阵S无法采用更具普适性的随机高斯矩阵或随机伯努利矩阵，必须采用点采样矩阵或三次插值下采样矩阵。致使传感矩阵A对RIP条件满足度较低，图像重建效果往往不够理想。因此还需引入新的先验知识，提升重建图像视觉质量，以使其更好满足工程应用需要。
2. 基于GNR先验的压缩感知超分辨率模型
2.1 GNR先验
根据上文所述，基础压缩感知模型在直接应用于图像超分辨率重建时，由于应用条件受限，其方法性能较差。需要增加额外的有效先验知识，提升重建图像质量。图像降质过程本质为像素点信息的丢失混叠。这一过程会致使图像高频信息丢失，反映到直观视觉效果上，即低分辨率图像的边缘纹理不清晰，对比度较低。故需要寻找一指标作为约束条件，当重建图像趋向于模糊潜像时，该指标增大，当趋向清晰潜像时，该指标降低。从而通过对该指标的约束惩罚，使迭代重建过程中的恢复图像向清晰潜像靠拢，使图像高频细节得以恢复。
在优化问题中，最常见的约束为l1范数，l2范数及lp范数等，其中一般0＜p＜1。以l1范数为例，其在图像处理中多用于惩罚高频段，当图像含有噪声时，可通过最小化l1范数来去除噪声。而图像降质时高频段本身便会衰减，最小化图像高频分量的l1范数将会导致重建图像进一步模糊。对其余范数而言，由于其作用机理与l1范数相似，因此若直接引入范数约束作为正则项，并不能起到提升图像重建质量的目的。但通过统计不同范数对重建图像高频息约束时的成本发现，虽然其成本都随着输入图像分辨率的降低，即重建图像的模糊而降低，但不同范数成本降低速度并不相同，l2范数成本降低速度明显高于l1范数。因此引入高频信息范数比值作为先验信息，能够保证随重建图像质量降低，该惩罚项成本不断增大，换而言之即通过降低该项成本，可以达到提高重建图像质量的目的。图像高频信息可通过多种方式获得，本文则选取横纵方向梯度为例，通过范数比的形式对重建图像加以约束。图 1为采用不同约束项时重建图像高频信息成本变化示意图。
![]()
图 1 采用不同约束项时重建图像高频信息成本变化图Figure 1. Reconstruction of high frequency information cost chart of image with different constraints其中高频信息通过分别采用横向差分算子f1＝[1 －1]和纵向差分算子f2＝[1 －1]T对重建图像进行卷积的方式获取。重建图像则为典型电力设备红外图像在经过不同比例下采样后，通过三次插值重建回原大小得到的一系列图像。由图 1可以明显看出，随着采样比例的增加，即重建图像的模糊，各范数约束下的高频信息成本在不断降低，而l1范数和l2范数比值的成本则不断增大。记GNR(x)=||x||1/||x||2，将GNR(x)作为约束项引入目标函数，即可实现最小化目标函数过程中，提升中间迭代图像质量的目的。
2.2 超分辨率模型及求解算法
本节将构建改进后的压缩感知超分辨率目标函数。将GNR(x)先验引入后，目标函数构建为：
$$ \begin{aligned} & \left\{x, x_s\right\}=\arg \min _{x, x_s}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(f_1 \otimes X\right)+{\rm{GNR}}\left(f_2 \otimes X\right)\right) \\ & \quad+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (4) 式中：λ, β和μ分别为权重系数；⊗为卷积运算符；X为x对应的高分辨率图像的二维形式；D为过完备字典，采用文献[27]中介绍的方法训练得到，采用人工构建的过完备字典目的在于提升对图像的稀疏表达能力，从而提升稀疏系数xs的稀疏度，提升重建图像质量。为了便于求解目标函数，通过半二次分裂方法引入辅助变量，得到目标函数为：
$$ \begin{aligned} &\left\{x, x_s, w_1, w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(W_1\right)+{\rm{GNR}}\left(W_2\right)\right) \\ &+ \eta\left(\left\|f_1 \otimes X-W_1\right\|_2^2+\left\|f_2 \otimes X-W_2\right\|_2^2\right) \\ &+\beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (5) 将f⊗X转变为矩阵相乘的形式，即可得到最终待求解的目标函数：
$$ \begin{aligned} \left\{x, x_s, w_1,\right. & \left.w_2\right\}=\arg \min _{x, x_s, w_1, w_2}\|S x-y\|_2^2+\lambda\left({\rm{GNR}}\left(w_1\right)+{\rm{GNR}}\left(w_2\right)\right) \\ + & \eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ + & \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (6) 式中：F1和F2分别为根据f1和f2生成的托普利兹循环矩阵；w和W分别为辅助变量的向量和矩阵形式；η为权重系数，在迭代过程中不断增大，当其足够大时，可认为Fx与w数值近似相同，此外μ也起到同样的作用。此时可将目标函数的求解分为x，xs和w子问题的求解，只需在迭代过程中不断增大惩罚系数η和μ，分别求解上述3个未知变量即可完成重建。
当求解x子问题时，固定xs和w变量，此时目标函数为：
$$ \begin{aligned} x & =\arg \min _x\|S x-y\|_2^2+\eta\left(\left\|{\boldsymbol{F}}_1 x-w_1\right\|_2^2+\left\|{\boldsymbol{F}}_2 x-w_2\right\|_2^2\right) \\ & +\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 \end{aligned} $$ (7) 式(7)所示的目标函数为典型的最小二乘问题，可通过梯度下降法求解，求解方式为：
$$ \begin{aligned} d_x & =2 {\boldsymbol{S}}^{{\mathrm{T}}}({\boldsymbol{S}} x-y)+2 \eta\left({\boldsymbol{F}}_1^{{\mathrm{T}}}\left({\boldsymbol{F}}_1 x-w_1\right)+F_2^{{\mathrm{T}}}\left({\boldsymbol{F}}_2 x-w_2\right)\right) \\ & -2 \mu\left({\boldsymbol{D}} x_s-x\right) \end{aligned} $$ (8) $$ x^{(K+1)}=x^{(K)}-\tau d_x $$ (9) 式中：τ为下降步长，可通过文献[28]中介绍的回溯直线搜索法确定。
求解w子问题时，固定xs和x变量，将函数GNR(w)展开，目标函数为：
$$ w_i=\arg \min\limits _{w_i} \lambda \frac{\left\|w_i\right\|_1}{\left\|w_i\right\|_2}+\eta\left\|{\boldsymbol{F}}_i x-w_i\right\|_2^2 $$ (10) 式中：i＝1, 2。由于GNR(wi)项的存在，w子问题非凸。但可通过固定分母||wi||2中wi为上一次迭代取值，使式(10)变为凸优化问题。此时式(10)所示问题可通过迭代收缩阈值算法进行求解：
$$ z_i=w_i^{(K)}-\tau {\boldsymbol{F}}_i^{{\mathrm{T}}}\left({\boldsymbol{F}}_i x-w_i^{(K)}\right) $$ (11) $$ w_i^{(K+1)}=\max \left(\left|z_i\right|-\frac{\tau \lambda}{2 \eta\left\|w_i^{(K)}\right\|_2}, 0\right) \circ \operatorname{sign}\left(z_i\right) $$ (12) 式中：τ为下降步长；◦为分量乘法；sign为符号函数。
完成x和w子问题的求解后，固定上述变量，求解稀疏系数xs。目标函数为：
$$ x_s=\arg \min\limits _{x_s} \beta\left\|x_s\right\|_1+\mu\left\|{\boldsymbol{D}} x_s-x\right\|_2^2 $$ (13) 式(13)与式(10)所示问题类似，同样可采取迭代收缩阈值的方式进行求解，故求解过程不再赘述。
当完成各变量的求解后，判断||x(K)－x(K－1)||2是否小于ε，或迭代次数K是否大于Kmax，若判断结果为是，则完成迭代，输出重建图像。最终，式(4)所示目标函数求解算法流程图如图 2所示。
3. 实验及结果分析
3.1 实验环境及评价指标
在本节中，给出了电力设备红外图像盲超分辨率重建实例，通过与现有算法重建结果进行比较，验证了本文所提出的基于压缩感知的盲超分辨率算法的有效性。本文实验环境为：Intel Core(TM) i5-9300H CPU @2.40 GHz，内存16.00 GB，MATLAB R2019a编程，并通过反复实验调整得到以下固定参数：λ＝0.05，β＝1，μ0＝2，η0＝2，μmax＝256，ηmax＝256，Kmax＝5。HR图像重建时为便于计算进行分块重建，分块大小为32×32。所用稀疏字典大小为1024×3096，即字典中含有3096个长度为1024的原子。重建后采用文献[29]中介绍的方法解决因分块导致的重建图像中存在的“块效应”问题。
为使实验结果更具说服力，本文分别对人工合成电力设备红外图像，以及实际拍摄的电力设备红外图像进行重建，对比方法选取Zhang[17]，未改进的原始压缩感知方法，Yang[22]和Li[20]提出的方法。其中人工合成的电力设备红外图像由于存在原始高分辨率清晰图像，采用峰值信噪比（peak signal to noise ratio, PSNR）和结构相似度（structural similarity, SSIM）两个评价指标对重建结果进行评价，而实际拍摄的电力设备红外图像由于其不存在原始高分辨率清晰图像，因此采用无原图评价指标对重建结果进行量化，本文所采取的指标为影像平均梯度（average gradient, AG）以及信息熵（information entropy, IE）这两个客观评价指标。其中AG的计算方式为：
$$ {\mathrm{AG}}=\frac{1}{M N} \sum\limits_i \sum\limits_j \sqrt{f_x^2(i, j)+f_y^2(i, j)} $$ (14) 式中：fx(i, j)和fy(i, j)分别为图像行方向和列方向的差分算子对图像卷积结果，本文采用Sobel算子。最终求得AG数值越大，意味图像中灰度变化越剧烈，图像层次越多，一般而言图像越加清晰。
信息熵在物理学中表示某个体系的均匀程度，某体系分布越均匀，其信息熵越大，由此类推出图像的信息熵概念。定义为：
$$ {\mathrm{IE}}=-\sum\limits_{i=0}^n p(i) \log _2 p(i) $$ (15) 式中：p(i)为灰度值为i的像素点在影像中出现的频率，最终求得的IE数值越大，表示图像中包含的信息越丰富。
3.2 人工下采样图像重建结果分析
本节共选取12张不同电力设备红外图像人工合成低分辨率图像，图 3给出其中两张图像通过不同方法超分辨率重建的结果图像以及其原始高清图像。其余10张图像则以PSNR和SSIM评价参数的形式，给出不同方法的重建结果。
![]()
图 3 人工下采样红外图像不同方法重建结果Figure 3. Reconstruction results of artificial down sampling infrared image by different methods由图 3可以明显看出本文算法重建效果优于其余对比方法的重建结果，Zhang的算法由于插值类算法固有的平滑效益，且为经训练或利用图像先验信息，其重建结果较为模糊，边缘并不清晰。原始压缩感知算法由于其理论本身与超分辨率问题并不完全适应，重建图像视觉效果同样较差，图像边缘纹理并不清晰。Yang和Li的方法相较前两种方法视觉效果有明显的提高，但与本文方法相比，其重建结果图像清晰程度仍有所不如，尤其在边缘部分更为明显。表 1和表 2给出了不同方法重建后的PSNR以及SSIM数据对比，可以看出本文方法重建的图像在客观评价参数上相较其余方法也取得了较好结果。
表 1 不同方法重建图像PSNR评价指标对比Table 1. Comparison of PSNR evaluation indexes of reconstructed images by different methodsImage number Zhang's Original CS Yang's Li's Ours 1 23.0657 24.9632 26.5846 27.2059 29.3659 2 22.5691 24.6251 25.9631 26.3620 29.0325 3 23.6245 24.3219 26.4263 26.3494 30.0316 4 22.9521 23.6594 25.6845 25.2631 28.9613 5 22.1694 24.2351 26.4975 26.1279 30.1034 6 23.1784 23.9865 27.3249 26.6947 28.9674 7 22.5728 24.6937 26.3592 27.0691 29.3461 8 21.6891 23.4967 26.6481 27.9612 28.6541 9 22.7816 25.1435 26.2597 26.6729 30.5319 10 23.0684 24.3167 26.9437 27.1636 28.6755 表 2 不同方法重建图像SSIM评价指标对比Table 2. Comparison of SSIM evaluation indexes of reconstructed images by different methodsImage number Zhang’s Original CS Yang’s Li’s Ours 1 0.7934 0.8635 0.8966 0.9103 0.9731 2 0.7349 0.8526 0.8791 0.8955 0.9436 3 0.8172 0.8678 0.9249 0.9027 0.9348 4 0.7393 0.8211 0.8842 0.8931 0.9274 5 0.7304 0.8197 0.8991 0.8769 0.9533 6 0.7681 0.7987 0.9014 0.8643 0.9264 7 0.7311 0.8235 0.8624 0.8971 0.9083 8 0.7129 0.8433 0.8742 0.8892 0.9151 9 0.7486 0.8730 0.8785 0.8797 0.9762 10 0.7519 0.8261 0.8834 0.9031 0.9216 3.3 实际低分辨率图像重建结果分析
文章第3.2节通过合成低分辨率图像初步验证了本文算法的有效性，本节将通过实际拍摄低分辨率图像进行进一步验证。次此实验选取12张于现场拍摄的低分辨率红外图像，通过不同超分辨率方法进行重建。给出其中两张红外图像的各方法重建结果，其余10张红外图像的重建结果以客观评价参数AG和IE的形式给出。图 4、图 5为实际低分辨率红外图像不同方法的重建结果。
由图 4、图 5可以看出，在应用于实际场景时，本文方法相较对比方法仍有较为明显的提升，重建红外图像的纹理相对对比方法而言更为清晰。这种图像质量的提升能为后续进行的异常发热区域定位，故障类型识别提供更好的应用环境。表 3、表 4分别给出了不同方法对剩余10张红外图像重建结果的AG和IE评价参数数值，与主观视觉效果相互印证，说明了本文方法性能的优越性。
表 3 不同方法重建图像AG评价指标对比Table 3. Comparison of AG evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 20.6496 20.3521 29.1152 28.4946 31.0694 2 18.6232 24.7993 32.6134 30.6779 33.9552 3 20.5298 23.6657 31.5780 32.6144 34.3967 4 22.3863 22.6349 30.3440 29.4893 31.3995 5 19.8414 23.3463 27.4514 24.9311 31.3776 6 17.6890 21.1064 28.9477 31.3425 33.1015 7 18.6451 25.6108 32.6944 32.4871 36.2160 8 22.3637 24.4892 30.9645 28.5638 34.2556 9 20.0684 25.6946 31.9865 30.9783 36.9943 10 19.6452 20.3521 29.1152 28.4946 31.0694 表 4 不同方法重建图像IE评价指标对比Table 4. Comparison of IE evaluation indexes of reconstructed images by different methodsImage
numberZhang’s Original CS Yang’s Li’s Ours 1 5.8113 6.0168 6.3153 6.2154 6.5312 2 5.7256 5.8364 6.0215 5.9342 6.1249 3 6.2316 6.1546 6.2599 6.5644 6.7291 4 5.9233 5.9487 6.1547 6.3263 6.3478 5 6.0532 6.1306 6.1658 6.2431 6.4528 6 5.625 5.8314 5.8947 6.1456 6.1569 7 5.8449 6.1125 6.0387 6.2831 6.5937 8 5.7052 5.8841 6.2436 6.1463 6.2649 9 6.1242 5.8543 6.1488 6.1395 6.1531 10 5.9439 6.0337 6.3894 6.2343 6.5013 3.4 计算复杂度分析
本文中待求解的目标函数为式(5)，其中待求解变量为x、xs、w1、w2。针对x变量，本文采用梯度下降法的方式进行求解。若不采取任何优化措施，当待重建低分辨率图像大小为128×128时，其单次求解用时为0.24 s左右，若采用文献[30]中一步最陡下降法求解，则单次迭代用时在0.008 s左右。针对xs变量，本文采用的求解方法为收缩迭代阈值方法。求解分为两步进行，分别为软阈值收缩以及梯度下降求解。其中软阈值收缩求解较为简单，单次求解所需时间在10－5 s，而梯度下降法由于xs变量求解时，梯度向量的求取相较x变量更为简单，在采用一步最陡下降法进行优化的情况下，单次求解耗时在5×10－4 s左右。针对w1、w2变量，其求解方式均为收缩迭代阈值方法。其中软阈值收缩步骤所需时间与xs变量相同，而梯度下降过程中由于F矩阵维度相较D矩阵而言更小，其单次迭代所需时间在10－4 s左右。
根据图 2以及实验部分所给出参数取值可知，在全部迭代过程中，至多进行5轮循环，每轮循环变量x计算1次，变量xs计算64次，变量w1、w2各计算8次。根据上述分析中各变量单次计算所需时间可以得到，重建128×128低分辨率图像理论所需时间在0.208 s左右。但由于实际运算过程中除上述迭代步骤外，还存在F1、F2托普利兹循环矩阵的生成，“块效应”问题的解决等计算步骤，因此最终图像重建实际用时在0.4 s左右。而对不同尺寸红外图像的重建实验结果如图 6所示，其中输入原始图像大小由64×64等比例递增至512×512，各尺寸图像重建实验均选取50张不同红外图像进行重建。图中显示的不同大小红外图像重建所需时间由50张图像重建所需时间取平均得到。
由图 6可见，本文方法能够以较快速度重建低分辨率红外图像。而根据国家标准[31]，普通型红外探测器分辨率在160×120以下，本文方法对其重建用时在1 s以下，可以适应物联网场景下大量红外图像的重建工作。
4. 结论
本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比引入传统压缩感知超分辨率模型中。针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文算法性能存在一定优势，有利于为红外诊断技术在电力系统中应用提供更良好的数据基础。
-
表 1 数据集‘Camp’的融合结果客观评价指标
Table 1 Objective evaluation indicators of fusion results on dataset 'Camp'
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 4.862 0.464 51.008 6.548 1.062 510.614 27.418 11.644 1.260 0.284 7.716 CNN 4.569 0.239 47.485 7.102 1.394 349.232 37.269 11.506 1.414 0.469 23.71 GFCE 6.747 1.569 70.022 7.202 1.295 603.566 38.121 15.649 1.123 0.510 0.386 GFF 4.045 0.478 42.519 6.524 1.163 444.798 27.393 10.554 1.433 0.272 0.086 HMSD_GF 5.204 0.379 53.686 6.936 1.356 416.013 36.358 13.164 1.412 0.540 0.363 IVFusion 8.720 0.859 91.261 7.355 0.948 796.213 42.972 20.731 1.054 1.030 14.22 LP 5.371 0.294 56.580 7.289 1.167 601.295 45.316 12.937 1.389 0.703 0.339 MDLatLRR 8.398 0.250 88.341 7.192 1.094 653.114 42.825 20.818 1.252 1.161 52.55 NSST_PCNN 4.135 0.601 43.284 6.649 1.189 295.207 29.113 10.722 1.471 0.408 62.50 TIF 4.394 0.672 46.186 6.639 1.307 323.957 29.249 11.043 1.513 0.557 0.025 WLS 4.628 0.543 47.058 6.603 1.091 400.285 28.251 11.782 1.461 0.452 0.572 Proposed 9.549 0.372 100.363 7.489 1.143 183.030 54.758 22.880 1.019 0.977 12.42 
下载: 导出CSV
表 2 数据集‘Kaptein’的融合结果客观评价指标
Table 2 Objective evaluation indicators of fusion results on dataset 'Kaptein '
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 5.599 1.672 58.013 6.878 1.295 319.046 36.413 13.255 1.079 0.327 16.24 CNN 4.493 1.073 45.282 7.312 1.710 145.364 57.149 11.534 1.365 0.533 55.98 GFCE 8.015 1.734 76.406 7.584 1.418 553.108 54.349 19.889 0.888 0.559 2.327 GFF 4.133 1.103 41.579 7.129 3.341 374.493 52.447 10.947 1.353 0.381 0.523 HMSD_GF 5.147 1.250 51.318 7.253 1.619 129.287 53.568 13.133 1.359 0.602 0.916 IVFusion 8.774 0.843 87.343 7.258 0.744 243.631 43.409 22.083 1.004 0.894 70.26 LP 5.113 1.012 51.605 7.369 1.663 504.230 58.894 12.689 1.309 0.697 0.533 MDLatLRR 8.798 1.145 89.001 7.196 0.885 353.961 50.387 22.812 1.064 0.839 145.5 NSST_PCNN 4.256 2.007 42.916 6.739 1.427 124.723 43.423 11.163 1.403 0.452 124.1 TIF 4.218 1.964 43.059 6.613 1.058 152.787 33.914 10.801 1.392 0.489 0.044 WLS 4.728 1.865 46.134 6.743 1.398 157.646 42.077 12.158 1.395 0.469 3.834 Proposed 9.630 1.186 95.924 7.171 1.169 528.788 70.799 25.193 0.927 0.913 63.67
下载: 导出CSV
表 3 数据集‘Marne’的融合结果客观评价指标对比
Table 3 Objective evaluation indicators of fusion results on dataset 'Marne'
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 5.510 1.172 57.215 6.957 0.741 859.46 31.876 12.906 0.918 0.210 16.31 CNN 3.013 0.640 29.321 7.411 1.362 1066.3 45.254 7.576 1.357 0.606 53.88 GFCE 5.366 1.011 47.239 7.444 0.939 1296.6 42.973 14.087 1.062 0.659 2.414 GFF 2.513 0.582 22.849 7.113 3.002 443.47 40.391 7.010 1.362 0.119 0.570 HMSD_GF 3.429 0.712 33.045 7.450 1.687 1372.6 45.971 8.704 1.345 1.065 2.442 IVFusion 6.547 0.639 59.878 7.782 1.547 1707.7 59.069 16.922 0.985 1.144 39.02 LP 3.346 0.404 32.674 7.368 1.519 405.41 45.814 8.056 1.244 0.519 0.485 MDLatLRR 5.746 0.725 56.777 7.254 0.857 899.58 38.720 14.517 1.146 0.962 149.2 NSST_PCNN 2.936 0.799 28.508 7.230 1.673 808.54 38.255 7.431 1.394 0.567 126.4 TIF 2.684 1.162 27.618 6.839 1.004 1293.7 28.530 6.678 1.381 0.475 0.036 WLS 3.861 0.750 36.552 7.182 1.271 882.73 39.416 10.166 1.339 0.691 3.642 Proposed 7.360 0.590 65.360 7.805 1.437 459.2 65.821 20.057 0.898 0.702 42.86
下载: 导出CSV
表 4 数据集‘Airplane in Trees’的融合结果客观评价指标对比
Table 4 Objective evaluation indicators of fusion results on dataset 'Airplane in Trees'
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 3.934 1.298 42.149 6.522 1.367 1431.60 40.857 9.671 1.362 0.332 13.62 CNN 2.484 1.443 26.972 6.654 2.391 181.686 59.796 6.373 1.654 0.546 40.85 GFCE 5.283 1.094 57.008 7.387 1.893 302.870 61.272 11.670 1.187 1.142 1.601 GFF 2.431 1.502 26.516 6.494 2.257 964.541 50.078 6.179 1.652 0.429 0.402 HMSD_GF 2.732 1.137 29.404 6.661 2.076 198.739 59.171 7.196 1.652 0.587 1.669 IVFusion 5.419 1.733 58.824 7.115 0.824 739.613 35.871 12.672 1.246 1.304 36.75 LP 2.799 1.255 30.534 6.987 1.689 381.239 62.178 6.667 1.626 0.776 0.176 MDLatLRR 4.843 1.032 52.793 7.129 1.233 402.472 45.285 12.417 1.401 1.047 173.6 NSST_PCNN 2.379 1.224 25.960 6.683 1.934 189.736 48.505 6.016 1.676 0.451 150.2 TIF 2.379 1.430 25.784 6.505 1.442 366.907 34.257 6.189 1.670 0.462 0.048 WLS 2.404 1.221 25.689 6.611 1.885 224.499 46.689 5.920 1.687 0.489 2.484 Proposed 5.897 2.373 64.020 7.162 1.501 260.734 81.195 15.109 1.039 1.453 32.75
下载: 导出CSV
-
[1] MA J, TANG L, XU M, et al. STD FusionNet: An infrared and visible image fusion network based on salient target detection[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-13.
[2] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[3] YAN H, ZHANG J X, ZHANG X. Injected infrared and visible image fusion via l1 decomposition model and guided filtering[J]. IEEE Transactions on Computational Imaging, 2022, 8: 162-173. DOI: 10.1109/TCI.2022.3151472
[4] 唐霖峰, 张浩, 徐涵, 等. 基于深度学习的图像融合方法综述[J]. 中国图象图形学报, 2023, 28(1): 3-36. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301002.htm TANG L F, ZHANG H, XU H, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301002.htm
[5] ZHANG X. Deep learning-based multi-focus image fusion: A survey and a comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(9): 4819-4838.
[6] REN L, PAN Z, CAO J, et al. Infrared and visible image fusion based on weighted variance guided filter and image contrast enhancement[J]. Infrared Physics & Technology, 2021, 114: 103662.
[7] LI G, LIN Y, QU X. An infrared and visible image fusion method based on multi-scale transformation and norm optimization[J]. Information Fusion, 2021, 71: 109-129. DOI: 10.1016/j.inffus.2021.02.008
[8] TAN X, GUO L. Visible and infrared image fusion based on visual saliency detection[C]//2020 19th International Symposium on Distributed Computing and Applications for Business Engineering and Science (DCABES). IEEE, 2020: 134-137.
[9] Bavirisetti D P, Dhuli R. Two-scale image fusion of visible and infrared images using Sali ency detection[J]. Infrared Physics & Technology, 2016, 76: 52-64.
[10] 霍星, 邹韵, 陈影, 等. 双尺度分解和显著性分析相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2021, 26(12): 2813-2825. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202112005.htm HUO X, ZOU Y, CHEN Y, et al. Dual-scale decomposition and saliency analysis based infrared and visible image fusion[J]. Journal of Image and Graphics, 2021, 26(12): 2813-2825 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202112005.htm
[11] LIU G, YAN S. Latent low-rank representation for subspace segmentation and feature extraction[C]//2011 International Conference on Computer Vision. IEEE, 2011: 1615-1622.
[12] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576 SUN B, ZHUGE W W, GAO Y X, et al. Infrared and visible image fusion based on latent low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576
[13] LI H, WU X J, Kittler J. MDLatLRR: A novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746.
[14] TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J/OL]. Neural Computing and Applications, 2020, https://doi.org/10.1007/s00521-020-05173-2.
[15] WANG Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612.
[16] 张蕾, 金龙旭, 韩双丽, 等. 采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J]. 光学精密工程, 2015, 23(3): 810-818. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503027.htm Zhang L, Jing L X, Han S L, et al. Fusion of infrared and visual images based on non-sampled Contourlet transform and region classification[J]. Optics and Precision Engineering, 2015, 23(3): 810-818. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503027.htm
[17] Alexander Toet. TNO Image Fusion Dataset[EB/OL]. 2014. https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029.
[18] Shreyamsha Kumar B K. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204.
[19] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018.
[20] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Applied Optics, 2016, 55(23): 6480-6490.
[21] LI S, KANG X, HU J. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875.
[22] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]. IEEE Transactions on Communications, 1983, 31(4): 532-540.
[23] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[24] ZHANG X, YE P, XIAO G. VIFB: A visible and infrared image fusion benchmark[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 104-105.
-
期刊类型引用(5)
1. 李金鑫，郑磊，廖海，王楠，邹胤. 基于红外监测的电站设备热状态智能感知识别技术. 粘接. 2025(01): 177-180 . 
百度学术
2. 赵洪山，王惠东，刘婧萱，杨伟新，李忠航，林诗雨，余洋，吕廷彦. 考虑局部纹理特征和全局温度分布的电力设备红外图像超分辨率重建方法. 电力系统保护与控制. 2025(02): 89-99 . 百度学术
3. 刘传洋，吴一全. 基于红外图像的电力设备识别及发热故障诊断方法研究进展. 中国电机工程学报. 2025(06): 2171-2196 . 百度学术
4. 刘晓朋，张涛. 全局-局部注意力引导的红外图像恢复算法. 红外技术. 2024(07): 791-801 . 本站查看
5. 郭文红. 红外测温仪的主要工作原理及应用实践. 仪器仪表用户. 2024(05): 104-106+109 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 184
- HTML全文浏览量: 41
- PDF下载量: 40
- 被引次数: 9
