Infrared and Visible Image Fusion Based on Saliency Detection and Latent Low-Rank Representation
-
摘要: 针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题，提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先，使用基于显著性检测的方法对红外与可见光图像进行预融合；然后，使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层；其中细节层采用结构相似性和L2范数相结合的方法进行融合，低秩层使用基于能量属性的方法进行融合；最后，将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较，通过对比多组融合图像的主客观评价，其结果表明，相较于对比方法，本方法能够保留红外与可见光图像融合过程中源图像的有效细节，且融合结果具有较高的对比度，更符合人们的视觉理解。Abstract: To address the problems of missing detail and low contrast in the fusion of infrared and visible images, this study proposes a fusion method based on saliency detection and latent low-rank representation. First, a pre-fusion image is obtained by saliency detection for the infrared and visible images. Then, the infrared, visible, and pre-fused images are decomposed into low-rank and detail layers by the multilevel latent low-rank representation method. The detail layer is fused by combining the hyperspherical L2 norm and structural similarities, while the low-rank layer is fused using an approach based on the energy property. The final fused image is obtained by adding the fusion results of the low-rank and detail layers. The proposed method is compared with 11 representative image fusion methods by conducting subjective and objective evaluations of multiple groups of fused images. The results show that the image fusion method enhances the effective detail information and improves the image contrast, yielding a fusion result that is more in line with people's visual understanding.
-
Keywords:
- image fusion /
- saliency detection /
- latent low-rank representation /
- infrared image /
- visible image
-
0. 引言
单一传感器的成像不一定能反映目标场景的完整信息，为达到更好的视觉理解，有时我们需要集合两个或多个相同场景的图像共同来表达目标信息[1]。图像融合是一种将多幅不同的源图像中有用或互补的信息组合到一幅图像中的技术，其融合结果能完整、清晰地描述目标场景信息，以促进后续的目标检测、识别、跟踪等计算机视觉研究[2-3]。
根据成像机理的差异，图像可分为多模态、多光谱以及数字摄影图像，多模态图像主要包括红外与可见光图像、医学图像和遥感图像[4]，其中可见光图像能为计算机视觉任务提供丰富的背景和直观的细节信息，其成像特点符合人的视觉理解，但在光线较暗或天气不明朗的环境中无法突出重要的目标信息；红外图像能根据物体和环境的热辐射差异，将目标和背景信息区分开，且不受低能见度或恶劣天气环境的影响，但其空间分辨率较低，不能反映图像的纹理细节[2]。将红外图像与可见光图像进行融合，既能结合红外图像中热辐射差异信息，又能结合可见光图像中细致的纹理信息，因此红外与可见光图像融合广泛应用于车载、夜间行驶、安防监视等计算机视觉领域[1]。
现有的红外与可见光图像融合主流方法可分为传统法和深度学习法[5]两大类，基于深度学习的方法在图像处理领域有着巨大的研究前景，其原理是通过设计一种网络框架和损失函数[4]，实现对图像信息的特征提取、特征融合及图像重构，但其过程需要依靠大量的训练数据来确保融合的准确性，融合过程中易出现特征提取不完整的情况，且其网络框架也难以解释[6-7]。传统方法主要包括多尺度变换、稀疏表示、基于显著性、基于子空间以及混合方法[1-2]，其中基于多尺度变换是一种常用的图像融合方法，且融合结果符合人们的视觉理解[3]，其原理是通过多尺度变换将图像分解为多个方向的尺度，根据每个尺度相应的特点采取不同的融合策略进行融合，最终通过逆变换重构出融合图像，能够有效融合多个方向的有效信息。目前来讲，尽管深度学习方法有着巨大的研究前景，但基于多尺度变换实现图像融合的方法灵活多变、更受欢迎，且融合效果更好。
基于多尺度变换能够融合各个方向的有效信息，其融合结果符合人们的视觉观察，但也存在一些问题。首先，传统的多尺度分解方法的分解过程中存在伪影现象[2]，导致融合结果不太理想，且基部采用简单的权值分配的融合规则，使融合结果的对比度信息较低，目标信息不够突出[7]。此外，不是所有可见光图像中的细节信息都是有效的，如汽车灯、路灯等局部高亮度信息不能反映目标场景的有效细节，但过于简单的融合策略无法提取目标场景中的有效细节，易将无效的细节注入到融合图像中，导致融合过程中出现细节信息缺失的问题。
为了解决红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题，本文提出一种基于显著性检测与多级潜在低秩分解（Multi-level image Decomposition base on Latent Low-Rank Representation，MDLatLRR）的红外与可见光图像融合方法，通过对源图像使用显著性检测以突出图像的显著特征，潜在低秩表示将图像分解为低秩层和细节层，其中低秩层引入能量属性进行融合，保留了源图像中大部分的背景信息，对于细节层引入结构相似性系数和L2范数进行融合，充分提取了目标场景的有效细节信息，且融合结果的对比度也得以提高。
1. 本文方法
本文提出的基于显著性检测与MDLatLRR分解实现红外与可见光图像融合分为3个步骤：图像预融合、图像分解、图像二次融合。图 1为实现本文方法的框架，具体地，对红外与可见光图像使用显著性检测的方法获取预融合图像，然后通过多层潜在低秩表示方法，将预融合图像分解为一层低秩图像，多层细节层图像，分别引入不同的融合策略对其二次融合，最后通过重构图像得到最终的融合图像。
1.1 图像预融合
显著性检测旨在识别输入图像上最引人注目的对象，例如比邻域更重要的人，物体等信息[8-10]。对源图像使用显著性检测获取的预融合图像，突出了源图像中的显著特征信息，同时为细节层融合提供了参考。图 2为获取预融合图像的框架，包括双尺度分解、显著性检测、图像预融合3部分。
1）通过双尺度变换将红外与可见光源图像分解为基础层和细节层，如式(1)和(2)所示，Ii表示源图像，文中通用下标i取1或2，分别代表红外与可见光图像对应的部分，Mean(l×l)表示尺寸为l×l的均值滤波器，K(·)表示滑窗操作，*是卷积运算符，对源图像进行均值滤波得到基层图像Ibi；源图像Ii减去基层图Ibi像得到细节层图像Idi。
$$I_{\mathrm{b} i}=\operatorname{Mean}(l \times l) * K\left(I_i\right)$$ (1) $$I_{\mathrm{d} i}=I_i-I_{\mathrm{b} i}$$ (2) 2）如式(3)和(4)所示，定义一种显著性检测，Igi表示源图像Ii经过引导滤波后的结果，其中引导图P与输入图像相同，r为滤波器尺寸，eps为滤波参数；Si就是对源图像通过显著性检测得到的显著特征图层。
$$I_{\mathrm{g} i}=\text { guidedfilter }\left(I_i, P, r \text {, eps }\right)$$ (3) $$S_i=\left|I_{\mathrm{b} i}-I_{\mathrm{g} i}\right|$$ (4) 3）对获取的显著特征图层归一化，作为预融合细节层图像的权重系数γi，基层选取加权平均的融合规则，IB为预融合的基层图像，ID为预融合的细节层图像，Ipf为预融合图像。
$$\gamma_i=S_i /\left(S_1+S_2\right)$$ (5) $$I_{\mathrm{D}}=\gamma_1 \times I_{\mathrm{d} 1}+\gamma_2 \times I_{\mathrm{d} 2}$$ (6) $$I_{\mathrm{B}}=0.5 \times\left(I_{\mathrm{b} 1}+I_{\mathrm{b} 2}\right)$$ (7) $$I_{\mathrm{pf}}=I_{\mathrm{B}}+I_{\mathrm{D}}$$ (8) 1.2 图像分解
图像分解旨在将一幅包含完整目标信息的图像分解为各个方向的尺度，其每个方向包含不同的特征信息，通过对不同方向采用不同的融合方法将特征信息进行融合，从而把源图像中有效的信息注入到融合图像中，使融合结果符合人们的视觉特征。潜在低秩表示（Latent Low-Rank Representation，LatLRR）理论是在低秩表示（Low-Rank Representation，LRR）理论的基础上发展而来的子空间分割算法，解决了LRR方法输入数据不充分或严重损坏的问题，能够提取图像的低秩结构和细节特征，如式(9)和(10)所示，将LatLRR问题表示为优化问题[11]：
$$\boldsymbol{X}=\boldsymbol{X} \boldsymbol{Z}+\boldsymbol{L} \boldsymbol{X}+\boldsymbol{E}$$ (9) $$\min\limits_{Z, L, E}\|\boldsymbol{Z}\|_*+\|\boldsymbol{L}\|_*+\lambda\|\boldsymbol{E}\|_1$$ (10) 式中：X为输入源图像矩阵；Z是低秩系数矩阵；L是学习得到的显著性系数矩阵；E代表噪声；XZ为分离出来的低秩信息；LX包含图像大部分的细节和显著信息[12]。λ＞0，表示平衡系数，||·||∗为nuclear范数，描述奇异矩阵值之和，||.||1表示L1范数，用于表征稀疏噪声。
基于多层潜在低秩表示将图像分解为低秩层和细节层的实现如式(11)和(12)所示[13]：
$$V_{\mathrm{D}}{}^j=L \times P\left(I_{\mathrm{Z}}{}^{j-1}\right), \quad I_{\mathrm{Z}}{}^0=I, j=[1,2, \cdots]$$ (11) $$I_{\mathrm{D}}{}^j=R\left(V_{\mathrm{D}}{}^j\right), \quad I_{\mathrm{Z}}{}^j=I_{\mathrm{Z}}{}^{j-1}-I_{\mathrm{D}}{}^j$$ (12) 式中：I为输入图像；j表示分解的层数；IZj为第j级分解的低秩层；IDj为第j级分解的细节层；P(·)表示滑窗和矩阵重组两种运算符；VD为输入图像分解的结果；R(·)是一种重构运算符，从VD中重构出细节层图像，将输入图像减去细节层就得到对应的低秩层图像。
1.3 图像二次融合
红外、可见光源图像以及预融合图像被分解为低秩层和细节层，针对每层不同的特征采用不同的融合规则进行融合。具体地，将可见光和预融合图像的低秩层使用一种基于能量属性的方法进行融合，其结果作为最终图像的基层；红外与可见光图像的细节层通过L2范数与结构相似性系数相结合的方法进行融合，其结果作为最终图像的细节层，将得到的基层和细节层进行相加重构，得到最终的融合结果。
1.3.1 低秩层融合
定义一种能量属性[14]EA，如式(13)和(14)所示：
$$\mathrm{IE}=\left(I_{\mathtt{μ}}+I_{\mathtt{η}}\right) / 2$$ (13) $$\mathrm{EA}(n, m)=\exp \left[\sigma \cdot\left|I_{\mathrm{Z}}(n, m)-\mathrm{IE}\right|\right]$$ (14) 式中：Iμ表示图像的均值；Iη表示图像的中值；IE是包括图像均值和中值的固有属性，将图像的低秩层IZ与固有属性IE做减法操作，然后通过一种指数运算，得到能量属性EA，σ在式中作为调整能量属性值的参数。
根据式(13)、(14)，分别求取红外和预融合图像的能量属性，用EA1和EA2表示，计算其权重比例，作为可见光低秩层图像IZvi和预融合低秩层图像IZpf的融合系数，最后将其对应加权相加得到在最终融合图像的基层IMB。
$$\lambda_i(n, m)=\mathrm{EA}_i(n, m) /\left[\mathrm{EA}_1(n, m)+\mathrm{EA}_2(n, m)\right]$$ (15) $$\mathrm{IMB}=\lambda_1(n, m) \cdot I_{\mathrm{Zvi}}(n, m)+\lambda_2(n, m) \cdot I_{\mathrm{Zpf}}(n, m)$$ (16) 可见光图像中含有丰富的背景信息，预融合图像包含了源图像中的显著性信息，通过基于能量属性的方法将可见光图像和预融合图像的低秩层进行融合，能保留源图像中丰富的背景信息，提高融合图像的对比度，同时加强了相邻像素间的联系。
1.3.2 细节层融合
针对过于简单的融合规则无法提取可见光图像中有效细节信息的问题，本文把潜在低秩分解获得的红外与可见光图像的细节层，采用L2范数和结构相似性（structural similarity，SSIM）相结合的方法进行融合，融合结果作为最终融合图像的细节层，流程图如图 3所示。
1）计算结构相似性
结构相似性表征两个图像之间的相似度，包括图像的亮度、对比度、结构3个特征[15-16]，如式(17)所示：
$$ {\text{SSIM}}(x,y) = \frac{{\left( {2{\mu _x}{\mu _y} + {C_1}} \right) \cdot \left( {2{\sigma _{xy}} + {C_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {C_1}} \right) \cdot \left( {\sigma _x^2 + \sigma _y^2 + {C_2}} \right)}} $$ (17) 式中：μx、μy分别代表两幅图像的平均灰度；σx、σy分别代表两幅图像的标准差；σxy代表两幅图像的协方差；C1、C2为常数，选择适当的参数可以调整高度、对比度、结构3个特征的权重。
$$w=1+\mathrm{SS}_{\mathrm{v}_{-} \mathrm{f}}-\mathrm{SS}_{\mathrm{i}_{-} \mathrm{f}}, \quad(0 \leqslant w \leqslant 1)$$ (18) 根据公式(17)计算红外图像和预融合图像之间的结构相似性，结果用SSi_f表示，计算可见光图像和预融合图像之间的结构相似性，结果用SSv_f表示，再根据式(18)将计算的结果进一步转化为平衡系数w，用来控制红外与可见光图像的细节信息分配；SSv_f≥SSi_f时，w＝1，说明该区域中可见光图像能提供较多的有效细节信息；SSv_f＜SSi_f时，w＜1，表示该区域融合图像中大部分有效的细节信息应来自红外图像。
2）L2范数优化融合细节层
针对过于简单的融合策略无法提取可见光图像的有效细节，易将无效的细节注入到融合图像中，导致融合过程中出现细节信息缺失的问题，本文使用L2范数和结构相似性系数相结合的方法，提取出红外图像中含有的少量细节信息，以及可见光图像中有效的细节信息，如式(19)所示，细节层图像融合被视为一个最小优化问题[7]：
$$ \underset{A\text{，}B}{\mathrm{min}}{}_{}\Vert A\Vert {}_{\ast }+w\cdot {\Vert B\Vert }_{\ast } $$ (19) $$A=I^j{ }_{\mathrm{Dfi}}-\alpha^j{ }_{\mathrm{ir}} \cdot I^j{ }_{\mathrm{Dir}}$$ (20) $$B=I^j{ }_{\mathrm{Dfi}}-\alpha^j{ }_{\mathrm{vi}} \cdot I^j{ }_{\mathrm{Dvi}}$$ (21) $$ {\left({I}_{\text{Dfi}}^{j}\right)}^{\text{T}}=\left[2\times {M}^{\text{T}}+{N}^{\text{T}}\left({w}^{\text{T}}+w\right)\right]\cdot {\left(2\times E+{w}^{\text{T}}+w\right)}^{-1} $$ (22) 式(20)和(21)中IDfij、IDirj和IDvij分别表示第j层最终融合图像的细节层，红外、可见光图像通过潜在低秩分解后的细节层，αirj、αvij分别为第j层红外、可见光细节层图像融合的增强系数，大小为源图像细节层的全局均方根误差和局部均方根误差的比值，红外、可见光图像细节层乘上对应增强系数与最终融合图像细节层的偏差分别用A、B表示，当偏差值最小时，此时的IDfij为最终求取的第j层融合细节层，其中w是由式(18)获得的平衡系数，用来提取可见光图像中的有效细节信息。式(22)中的M表示αirj与IDirj的乘积，N为αvij与IDvij的乘积。
1.3.3 图像重建
将各层细节层融合的图像IDfij累加得到最终融合图像的细节层IMD，然后将基层的融合图像IMB与最终融合图像的细节层IMD相加重构获得最终的融合图像IMF：
$$ {\text{IMD}} = \sum\limits_{j = 1}^L {{I^j}}{ }_{\text{Dfi}} $$ (23) $$\mathrm{IMF}=\mathrm{IMB}+\mathrm{IMD}$$ (24) 式中：L为潜在低秩表示分解的总层数。
2. 实验参数
实验中的红外与可见光输入源图像来自于TNO公共数据集[17]，其包含了不同军事相关的多光谱夜间图像，通过不同多波段的相机系统将图像配准好，有多种不同分辨率的灰度图像。
预融合过程中，中值滤波的滤波器尺寸l＝5；对可见光图像进行引导滤波的滤波器尺寸r＝45，滤波参数eps＝0.3；对红外图像进行引导滤波的滤波器尺寸r＝7，滤波参数为eps＝10－6；多层潜在低秩分解的总层数L=4；低秩层融合过程中，调整能量属性的参数σ＝4；求解结构相似性系数中的参数C1＝C2＝1；
实验在配置为Intel core i5-6500，CPU主频3.2GHz，16G RAM，Windows10系统下的计算机上运行的，实验环境平台为MATLAB R2016b。
3. 实验与分析
为验证本文方法的性能，融合实验中选择4组经典的红外与可见光图像数据集，分别为‘Camp、Kaptein、Marne、Airplane in Trees’；同CBF[18]、CNN[19]、GFCE[20]、GFF[21]、HMSD_GF[20]、IVFusion[7]、LP[22]、MDLatLRR[13]、NSST_PCNN[14]、TIF[9]、VSMWLS[23]共11种具有代表性的图像融合方法进行了定性和定量的比较，图 4~7分别为11种融合方法以及本文提出方法对“Camp、Kaptein、Marne、Airplane in Trees”4组数据集融合结果的对比。
由图 4~7可知，大部分融合方法都能将红外图像中较强的目标信息和可见光图像中丰富的纹理和细节信息融合成一幅图像，但CBF方法容易给融合图像带来噪点，在数据集Kaptein、Airplane in Trees’的融合上尤为突出；GFF、HMSD_GF、NSST_PCNN、TIF、VSMWLS方法融合的图像亮度信息不高，无法突出图像的细节，边缘轮廓也较模糊；IVFusion方法的融合结果在目标和背景都呈现较高的亮度，但目标与背景的对比度较差，无法突出目标特征；LP方法在一些区域混肴了图像的目标和背景信息，导致无法正确提取显著信息；总的来说，GFCE、MDLatLRR以及本文提出的方法融合效果都有着较好的视觉理解，但遇到目标和背景很接近的场景时，如‘Airplane in Trees’数据集中，在背景为森林中的飞机目标难以察觉，GFCE和MDLatLRR融合效果有所降低，不能突出有效的细节信息，而本文提出方法的融合结果有着较好的清晰度，目标与场景的对比度较高，有着丰富的细节纹理。
客观评价使用平均梯度（average gradient，AG）、交叉熵（cross entropy，CE）、边缘强度（edge intensity，EI）、信息熵（information entropy，EN）、互信息（mutual information，MI）、QCV（Chen-Varshney）、标准差（standard deviation，SD）、空间频率（spatial frequency，SF）、结构相似性SSIM以及视觉信息保真度（visual information fidelity，VIF）10种评价指标[5, 24]。其中CE和QCV 2个指标值越小代表融合结果越好，其余8个指标值越大代表融合效果越佳，表 1~4为4组数据集融合结果的客观评价指标和运行时间对比，其中最优值数据用红色表示，次优值用蓝色表示，第三用绿色表示。
表 1 数据集‘Camp’的融合结果客观评价指标Table 1. Objective evaluation indicators of fusion results on dataset 'Camp'Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 4.862 0.464 51.008 6.548 1.062 510.614 27.418 11.644 1.260 0.284 7.716 CNN 4.569 0.239 47.485 7.102 1.394 349.232 37.269 11.506 1.414 0.469 23.71 GFCE 6.747 1.569 70.022 7.202 1.295 603.566 38.121 15.649 1.123 0.510 0.386 GFF 4.045 0.478 42.519 6.524 1.163 444.798 27.393 10.554 1.433 0.272 0.086 HMSD_GF 5.204 0.379 53.686 6.936 1.356 416.013 36.358 13.164 1.412 0.540 0.363 IVFusion 8.720 0.859 91.261 7.355 0.948 796.213 42.972 20.731 1.054 1.030 14.22 LP 5.371 0.294 56.580 7.289 1.167 601.295 45.316 12.937 1.389 0.703 0.339 MDLatLRR 8.398 0.250 88.341 7.192 1.094 653.114 42.825 20.818 1.252 1.161 52.55 NSST_PCNN 4.135 0.601 43.284 6.649 1.189 295.207 29.113 10.722 1.471 0.408 62.50 TIF 4.394 0.672 46.186 6.639 1.307 323.957 29.249 11.043 1.513 0.557 0.025 WLS 4.628 0.543 47.058 6.603 1.091 400.285 28.251 11.782 1.461 0.452 0.572 Proposed 9.549 0.372 100.363 7.489 1.143 183.030 54.758 22.880 1.019 0.977 12.42 表 2 数据集‘Kaptein’的融合结果客观评价指标Table 2. Objective evaluation indicators of fusion results on dataset 'Kaptein 'Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 5.599 1.672 58.013 6.878 1.295 319.046 36.413 13.255 1.079 0.327 16.24 CNN 4.493 1.073 45.282 7.312 1.710 145.364 57.149 11.534 1.365 0.533 55.98 GFCE 8.015 1.734 76.406 7.584 1.418 553.108 54.349 19.889 0.888 0.559 2.327 GFF 4.133 1.103 41.579 7.129 3.341 374.493 52.447 10.947 1.353 0.381 0.523 HMSD_GF 5.147 1.250 51.318 7.253 1.619 129.287 53.568 13.133 1.359 0.602 0.916 IVFusion 8.774 0.843 87.343 7.258 0.744 243.631 43.409 22.083 1.004 0.894 70.26 LP 5.113 1.012 51.605 7.369 1.663 504.230 58.894 12.689 1.309 0.697 0.533 MDLatLRR 8.798 1.145 89.001 7.196 0.885 353.961 50.387 22.812 1.064 0.839 145.5 NSST_PCNN 4.256 2.007 42.916 6.739 1.427 124.723 43.423 11.163 1.403 0.452 124.1 TIF 4.218 1.964 43.059 6.613 1.058 152.787 33.914 10.801 1.392 0.489 0.044 WLS 4.728 1.865 46.134 6.743 1.398 157.646 42.077 12.158 1.395 0.469 3.834 Proposed 9.630 1.186 95.924 7.171 1.169 528.788 70.799 25.193 0.927 0.913 63.67 表 3 数据集‘Marne’的融合结果客观评价指标对比Table 3. Objective evaluation indicators of fusion results on dataset 'Marne'Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 5.510 1.172 57.215 6.957 0.741 859.46 31.876 12.906 0.918 0.210 16.31 CNN 3.013 0.640 29.321 7.411 1.362 1066.3 45.254 7.576 1.357 0.606 53.88 GFCE 5.366 1.011 47.239 7.444 0.939 1296.6 42.973 14.087 1.062 0.659 2.414 GFF 2.513 0.582 22.849 7.113 3.002 443.47 40.391 7.010 1.362 0.119 0.570 HMSD_GF 3.429 0.712 33.045 7.450 1.687 1372.6 45.971 8.704 1.345 1.065 2.442 IVFusion 6.547 0.639 59.878 7.782 1.547 1707.7 59.069 16.922 0.985 1.144 39.02 LP 3.346 0.404 32.674 7.368 1.519 405.41 45.814 8.056 1.244 0.519 0.485 MDLatLRR 5.746 0.725 56.777 7.254 0.857 899.58 38.720 14.517 1.146 0.962 149.2 NSST_PCNN 2.936 0.799 28.508 7.230 1.673 808.54 38.255 7.431 1.394 0.567 126.4 TIF 2.684 1.162 27.618 6.839 1.004 1293.7 28.530 6.678 1.381 0.475 0.036 WLS 3.861 0.750 36.552 7.182 1.271 882.73 39.416 10.166 1.339 0.691 3.642 Proposed 7.360 0.590 65.360 7.805 1.437 459.2 65.821 20.057 0.898 0.702 42.86 表 4 数据集‘Airplane in Trees’的融合结果客观评价指标对比Table 4. Objective evaluation indicators of fusion results on dataset 'Airplane in Trees'Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 3.934 1.298 42.149 6.522 1.367 1431.60 40.857 9.671 1.362 0.332 13.62 CNN 2.484 1.443 26.972 6.654 2.391 181.686 59.796 6.373 1.654 0.546 40.85 GFCE 5.283 1.094 57.008 7.387 1.893 302.870 61.272 11.670 1.187 1.142 1.601 GFF 2.431 1.502 26.516 6.494 2.257 964.541 50.078 6.179 1.652 0.429 0.402 HMSD_GF 2.732 1.137 29.404 6.661 2.076 198.739 59.171 7.196 1.652 0.587 1.669 IVFusion 5.419 1.733 58.824 7.115 0.824 739.613 35.871 12.672 1.246 1.304 36.75 LP 2.799 1.255 30.534 6.987 1.689 381.239 62.178 6.667 1.626 0.776 0.176 MDLatLRR 4.843 1.032 52.793 7.129 1.233 402.472 45.285 12.417 1.401 1.047 173.6 NSST_PCNN 2.379 1.224 25.960 6.683 1.934 189.736 48.505 6.016 1.676 0.451 150.2 TIF 2.379 1.430 25.784 6.505 1.442 366.907 34.257 6.189 1.670 0.462 0.048 WLS 2.404 1.221 25.689 6.611 1.885 224.499 46.689 5.920 1.687 0.489 2.484 Proposed 5.897 2.373 64.020 7.162 1.501 260.734 81.195 15.109 1.039 1.453 32.75 表 1~4的结果表明，本文算法在4组数据集‘Camp、Kaptein、Marne、Airplane in Trees’上的客观评价指标AG、EI、SD、SF都要优于其余11种对比方法，同时指标EN、VIF和QCV多次取得最优值和次优值，指标CE和MI也获得较理想的值；其中指标AG、EI、SD体现在融合图像有着较高的质量和清晰度，指标SF、EN、CE、MI体现在融合图像有着丰富的细节，VIF和QCV则体现在融合图像有着较好的视觉理解。此外，与源图像相比，本文方法融合的图像对比度信息得以增强，致使融合图像与源图像之间的结构相似性系数SSIM偏低，同样地，IVFusion、GFCE算法融合的图像和客观指标也有相似的现象。
表格1~4中的最后一列为12种算法的运行时间对比，其中TIF、GFF、LP算法较简单，运行时间相对较短；MDLatLRR、NSST_PCNN、CNN、及IVFusion算法实现较复杂，因此运行时间较长；而本文方法与同类算法MDLatLRR、IVFusion对比，在融合效果有效提高的前提下，运行时间也有效降低。
4. 结论
本文提出了一种基于显著性检测与MDLatLRR分解的红外与可见光图像融合方法，通过在低秩层图像的融合过程中引入预融合图像，采用基于能量属性将其融合，能有效突出源图像中的显著信息。对于细节层图像的融合，以预融合图像为基准，通过计算结构相似性来确定可见光图像中有效细节信息的比重，再引入L2范数优化细节层融合的方法，使最终融合图像的细节层包含红外图像和可见光图像中的有效细节信息。通过与11种主流的融合方法进行实验对比，在10种客观评价指标上进行定量的分析，其结果表明，与其他方法比较，本方法能够保留源图像中的有效细节信息，融合图像具有较高的对比度，主观融合效果和整体客观评价都要优于对比方法。
-
表 1 数据集‘Camp’的融合结果客观评价指标
Table 1 Objective evaluation indicators of fusion results on dataset 'Camp'
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 4.862 0.464 51.008 6.548 1.062 510.614 27.418 11.644 1.260 0.284 7.716 CNN 4.569 0.239 47.485 7.102 1.394 349.232 37.269 11.506 1.414 0.469 23.71 GFCE 6.747 1.569 70.022 7.202 1.295 603.566 38.121 15.649 1.123 0.510 0.386 GFF 4.045 0.478 42.519 6.524 1.163 444.798 27.393 10.554 1.433 0.272 0.086 HMSD_GF 5.204 0.379 53.686 6.936 1.356 416.013 36.358 13.164 1.412 0.540 0.363 IVFusion 8.720 0.859 91.261 7.355 0.948 796.213 42.972 20.731 1.054 1.030 14.22 LP 5.371 0.294 56.580 7.289 1.167 601.295 45.316 12.937 1.389 0.703 0.339 MDLatLRR 8.398 0.250 88.341 7.192 1.094 653.114 42.825 20.818 1.252 1.161 52.55 NSST_PCNN 4.135 0.601 43.284 6.649 1.189 295.207 29.113 10.722 1.471 0.408 62.50 TIF 4.394 0.672 46.186 6.639 1.307 323.957 29.249 11.043 1.513 0.557 0.025 WLS 4.628 0.543 47.058 6.603 1.091 400.285 28.251 11.782 1.461 0.452 0.572 Proposed 9.549 0.372 100.363 7.489 1.143 183.030 54.758 22.880 1.019 0.977 12.42 
下载: 导出CSV
表 2 数据集‘Kaptein’的融合结果客观评价指标
Table 2 Objective evaluation indicators of fusion results on dataset 'Kaptein '
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 5.599 1.672 58.013 6.878 1.295 319.046 36.413 13.255 1.079 0.327 16.24 CNN 4.493 1.073 45.282 7.312 1.710 145.364 57.149 11.534 1.365 0.533 55.98 GFCE 8.015 1.734 76.406 7.584 1.418 553.108 54.349 19.889 0.888 0.559 2.327 GFF 4.133 1.103 41.579 7.129 3.341 374.493 52.447 10.947 1.353 0.381 0.523 HMSD_GF 5.147 1.250 51.318 7.253 1.619 129.287 53.568 13.133 1.359 0.602 0.916 IVFusion 8.774 0.843 87.343 7.258 0.744 243.631 43.409 22.083 1.004 0.894 70.26 LP 5.113 1.012 51.605 7.369 1.663 504.230 58.894 12.689 1.309 0.697 0.533 MDLatLRR 8.798 1.145 89.001 7.196 0.885 353.961 50.387 22.812 1.064 0.839 145.5 NSST_PCNN 4.256 2.007 42.916 6.739 1.427 124.723 43.423 11.163 1.403 0.452 124.1 TIF 4.218 1.964 43.059 6.613 1.058 152.787 33.914 10.801 1.392 0.489 0.044 WLS 4.728 1.865 46.134 6.743 1.398 157.646 42.077 12.158 1.395 0.469 3.834 Proposed 9.630 1.186 95.924 7.171 1.169 528.788 70.799 25.193 0.927 0.913 63.67
下载: 导出CSV
表 3 数据集‘Marne’的融合结果客观评价指标对比
Table 3 Objective evaluation indicators of fusion results on dataset 'Marne'
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 5.510 1.172 57.215 6.957 0.741 859.46 31.876 12.906 0.918 0.210 16.31 CNN 3.013 0.640 29.321 7.411 1.362 1066.3 45.254 7.576 1.357 0.606 53.88 GFCE 5.366 1.011 47.239 7.444 0.939 1296.6 42.973 14.087 1.062 0.659 2.414 GFF 2.513 0.582 22.849 7.113 3.002 443.47 40.391 7.010 1.362 0.119 0.570 HMSD_GF 3.429 0.712 33.045 7.450 1.687 1372.6 45.971 8.704 1.345 1.065 2.442 IVFusion 6.547 0.639 59.878 7.782 1.547 1707.7 59.069 16.922 0.985 1.144 39.02 LP 3.346 0.404 32.674 7.368 1.519 405.41 45.814 8.056 1.244 0.519 0.485 MDLatLRR 5.746 0.725 56.777 7.254 0.857 899.58 38.720 14.517 1.146 0.962 149.2 NSST_PCNN 2.936 0.799 28.508 7.230 1.673 808.54 38.255 7.431 1.394 0.567 126.4 TIF 2.684 1.162 27.618 6.839 1.004 1293.7 28.530 6.678 1.381 0.475 0.036 WLS 3.861 0.750 36.552 7.182 1.271 882.73 39.416 10.166 1.339 0.691 3.642 Proposed 7.360 0.590 65.360 7.805 1.437 459.2 65.821 20.057 0.898 0.702 42.86
下载: 导出CSV
表 4 数据集‘Airplane in Trees’的融合结果客观评价指标对比
Table 4 Objective evaluation indicators of fusion results on dataset 'Airplane in Trees'
Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s CBF 3.934 1.298 42.149 6.522 1.367 1431.60 40.857 9.671 1.362 0.332 13.62 CNN 2.484 1.443 26.972 6.654 2.391 181.686 59.796 6.373 1.654 0.546 40.85 GFCE 5.283 1.094 57.008 7.387 1.893 302.870 61.272 11.670 1.187 1.142 1.601 GFF 2.431 1.502 26.516 6.494 2.257 964.541 50.078 6.179 1.652 0.429 0.402 HMSD_GF 2.732 1.137 29.404 6.661 2.076 198.739 59.171 7.196 1.652 0.587 1.669 IVFusion 5.419 1.733 58.824 7.115 0.824 739.613 35.871 12.672 1.246 1.304 36.75 LP 2.799 1.255 30.534 6.987 1.689 381.239 62.178 6.667 1.626 0.776 0.176 MDLatLRR 4.843 1.032 52.793 7.129 1.233 402.472 45.285 12.417 1.401 1.047 173.6 NSST_PCNN 2.379 1.224 25.960 6.683 1.934 189.736 48.505 6.016 1.676 0.451 150.2 TIF 2.379 1.430 25.784 6.505 1.442 366.907 34.257 6.189 1.670 0.462 0.048 WLS 2.404 1.221 25.689 6.611 1.885 224.499 46.689 5.920 1.687 0.489 2.484 Proposed 5.897 2.373 64.020 7.162 1.501 260.734 81.195 15.109 1.039 1.453 32.75
下载: 导出CSV
-
[1] MA J, TANG L, XU M, et al. STD FusionNet: An infrared and visible image fusion network based on salient target detection[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-13.
[2] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[3] YAN H, ZHANG J X, ZHANG X. Injected infrared and visible image fusion via l1 decomposition model and guided filtering[J]. IEEE Transactions on Computational Imaging, 2022, 8: 162-173. DOI: 10.1109/TCI.2022.3151472
[4] 唐霖峰, 张浩, 徐涵, 等. 基于深度学习的图像融合方法综述[J]. 中国图象图形学报, 2023, 28(1): 3-36. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301002.htm TANG L F, ZHANG H, XU H, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301002.htm
[5] ZHANG X. Deep learning-based multi-focus image fusion: A survey and a comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(9): 4819-4838.
[6] REN L, PAN Z, CAO J, et al. Infrared and visible image fusion based on weighted variance guided filter and image contrast enhancement[J]. Infrared Physics & Technology, 2021, 114: 103662.
[7] LI G, LIN Y, QU X. An infrared and visible image fusion method based on multi-scale transformation and norm optimization[J]. Information Fusion, 2021, 71: 109-129. DOI: 10.1016/j.inffus.2021.02.008
[8] TAN X, GUO L. Visible and infrared image fusion based on visual saliency detection[C]//2020 19th International Symposium on Distributed Computing and Applications for Business Engineering and Science (DCABES). IEEE, 2020: 134-137.
[9] Bavirisetti D P, Dhuli R. Two-scale image fusion of visible and infrared images using Sali ency detection[J]. Infrared Physics & Technology, 2016, 76: 52-64.
[10] 霍星, 邹韵, 陈影, 等. 双尺度分解和显著性分析相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2021, 26(12): 2813-2825. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202112005.htm HUO X, ZOU Y, CHEN Y, et al. Dual-scale decomposition and saliency analysis based infrared and visible image fusion[J]. Journal of Image and Graphics, 2021, 26(12): 2813-2825 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202112005.htm
[11] LIU G, YAN S. Latent low-rank representation for subspace segmentation and feature extraction[C]//2011 International Conference on Computer Vision. IEEE, 2011: 1615-1622.
[12] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576 SUN B, ZHUGE W W, GAO Y X, et al. Infrared and visible image fusion based on latent low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576
[13] LI H, WU X J, Kittler J. MDLatLRR: A novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746.
[14] TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J/OL]. Neural Computing and Applications, 2020, https://doi.org/10.1007/s00521-020-05173-2.
[15] WANG Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612.
[16] 张蕾, 金龙旭, 韩双丽, 等. 采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J]. 光学精密工程, 2015, 23(3): 810-818. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503027.htm Zhang L, Jing L X, Han S L, et al. Fusion of infrared and visual images based on non-sampled Contourlet transform and region classification[J]. Optics and Precision Engineering, 2015, 23(3): 810-818. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503027.htm
[17] Alexander Toet. TNO Image Fusion Dataset[EB/OL]. 2014. https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029.
[18] Shreyamsha Kumar B K. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204.
[19] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018.
[20] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Applied Optics, 2016, 55(23): 6480-6490.
[21] LI S, KANG X, HU J. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875.
[22] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]. IEEE Transactions on Communications, 1983, 31(4): 532-540.
[23] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[24] ZHANG X, YE P, XIAO G. VIFB: A visible and infrared image fusion benchmark[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 104-105.
计量
- 文章访问数: 183
- HTML全文浏览量: 40
- PDF下载量: 40
