Infrared and Visible Image Fusion Based on CNN with NSCT
-
摘要: 传统红外与可见光融合图像在复杂环境下存在细节缺失，特征单一导致目标模糊等问题，本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform，NSCT）的红外与可见光图像进行融合的方法。首先，通过卷积神经网络提取红外与可见光目标特征信息，同时利用NSCT对源图像进行多尺度分解，得到源图像的高频系数与低频系数；其次，结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合；最后，通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比；实验结果表明，本文方法在多个客观评价指标上均有所提高。Abstract: Traditional infrared and visible fused images suffer from missing details and blurred targets owing to single features in complex environments. This study presents a method for fusing infrared and visible images based on a convolution neural network(CNN) combined with a non-subsampled contourlet transform (NSCT). Firstly, the infrared and visible target feature information is extracted by CNN, and the source image is decomposed by the NSCT at multiple scales to obtain its high-frequency coefficients and low-frequency coefficients. Secondly, the high-frequency sub-bands and low-frequency sub-bands of the source image are fused separately using adaptive fuzzy logic and local variance contrast in combination with the target feature image. Finally, the fused image is obtained by inverse NSCT transformation. We conducted a comparative analysis with five other traditional algorithms. The experimental results show that the proposed method performs better in several objective evaluation indicators.
-
Keywords:
- image fusion /
- convolutional neural network /
- NSCT /
- fuzzy logic
-
0. 引言
图像融合是将多个传感器获取的同一区域内图像，经预处理后，进行融合，得到合成图像的过程。通过对不同传感器信息的融合，可有效弥补单一传感器的局限性。在红外与可见光图像的融合中，红外传感器采集到的图像能够不受周围环境影响，采集场景内热辐射信息，但图像纹理信息少[1-3]。可见光传感器可采集到目标场景内丰富的细节，但易受环境因素的影响。因此通过对红外与可见光传感器在同时间同场景不同波段下的图像进行融合，生成的合成图像既能观察到隐匿目标的热辐射，背景又具有丰富纹理，利于视觉观察与识别。因而在国防军工，航空航天等需要多个光电传感器信息融合的领域，具有较好的应用前景。
目前传统的红外与可见光图像融合方法主要有小波变换、金字塔变换、非下采样剪切波变换[4]（non-subsampled shearlet transform，NSST）、非下采样Contourlet变换[5]（nonsubsampled contourlet transform，NSCT）等。相比于其他传统算法，非下采样Contourlet变换具有平移不变性，且减少了处理过程中产生的伪吉布斯现象导致的图像失真。但在复杂的环境中，融合图像中红外目标信息有所缺失，影响融合图像质量。近年来随计算机硬件的发展，深度学习逐渐成为图像领域关注的焦点。Cui[6]等提出了一种使用细节强化频道关注网的红外和可见图像融合，引入细节增强信道注意块（detail enhanced channel attention, DECA），它允许网络有选择地强调有用的特征并抑制不太有用的特征。该融合网络结构简单，操作复杂度低，这种端到端的网络可直接从源图像生成融合图像，保证融合图像质量。Xia[7]等提出一种基于改进脉冲耦合神经网络结合卷积稀疏表示，利用非下采样剪切波变换（NSST）分解后分别对高频与低频子带进行卷积稀疏表示与改进脉冲耦合神经网络进行融合，相较传统算法在融合图像的客观指标上有所提升。仅通过深度学习的融合方法，虽在图形特征提取方面有优势，但因无法对图像进行高低频划分，融合图像质量难以保证。而结合多尺度算法，分解源图像，能够做到低频与高频信息都被充分保留，进一步提升融合图像质量。
综上，本文提出一种基于卷积神经网络结合NSCT的红外与可见光图像融合方法。首先通过训练卷积神经网络，使其具备目标与背景分离的功能，并使用训练成功的网络模型分离红外图像中目标与背景，提取红外目标特征图；然后利用NSCT对红外与可见光图像进行融合。
1. 神经网络
1.1 网络结构与训练
红外传感器通过捕捉场景内热辐射信息生成图像，具有热辐射的目标会显著高于背景，易被观察。但可见光传感器生成的图像，常因各种环境因素干扰或目标被环境遮蔽，不易观察，从而导致融合图像目标热辐射信息缺失，目标不明显，融合图像质量下降[8]。为解决上述现象，本文提出一种通过卷积神经网络结构分离目标与背景，提取出红外图像特征图，网络结构如图 1所示。为提升对红外图像中目标提取能力，本文卷积神经网络通过输入预处理后像素为256×256的红外图像，通过16×16的滑动窗口遍历整个图像，采用3×3的卷积核，步长为1，经过两层卷积后每个子块有10张大小为16×16的特征图；继续通过最大池化层压缩数据，再进入两层步长为2卷积核为2×2的卷积后，对尺寸为8×8的40张特征图再次进行最大池化，得到尺寸为2×2的40张特征图，最终通过两层全连接经过softmax分类，实现对红外图像中目标特征的提取。
训练模型所需数据来自INO_ Videos_Analytics_Dataset和TNO_Image_Fusion _ Datase数据集，从中随机抽取300幅红外图像，通过数据增强手段，将随机选中的300幅图像扩增到2400幅。将每幅图像分割为尺寸为16×16像素的子集，并对子集中红外目标与背景进行标记，其中红外目标集标定为1，背景集标定为0。训练模型时，全连接层后的softmax分类器输出范围为(0, 1)。验证时，输出越接近0，目标区域的可能性越大。为了能够获得更好的训练效果，满足分离目标与背景提取目标特征图的任务，设置交叉熵函数为该网络损失函数，返回平均值与损失。使用optimzier优化器，通过随机梯度下降来降低损失函数。在学习率为1×10－6，600次循环后，损失函数如图 2所示。
由图 2可看出，随训练次数的增加，网络的损失函数（交叉熵）逐渐下降，损失函数越接近0，卷积神经网络模型分类越准确，模型性能越好。
1.2 神经网络目标提取
为证明卷积神经网络在对红外图像中目标提取的优势，以手动处理得到红外目标标准分割图为准，分别与局部对比度法[9]（local contrast，LC）、全分辨率方法（average contrast, AC）、Ft[10]（frequency-tuned）进行对比，通过主客观验证卷积神经网络在目标提取的优势。
从数据集中选取两组经预处理像素为256×256的红外图像，进行多次仿真验证后，结果如图 3、4所示。图 3为TNO数据集中“Nato_camp”系列中红外图像目标显著性对比实验，图 4为TNO数据集中“Kaptein”红外图像目标显著性对比实验。
![]()
图 3 红外图像“Nato_camp”及多种方法提取显著性图像：(a) 红外图像“Nato_camp”；(b) 图像“Nato_camp”标准分割图；(c) FT方法；(d) AC方法；(e) LC方法；(f) CNN方法Figure 3. Infrared image ''Nato_camp'' and images after saliency extraction by various methods: (a) Infrared image "Nato_camp"; (b) Standard segmentation of image "Nato_camp"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method![]()
图 4 红外图像“Kaptein”及多种方法提取显著性图像：(a) 红外图像“Kaptein”；(b) 图像“Kaptein”标准分割图；(c) FT方法；(d) AC方法；(e) LC方法；(f) CNN方法Figure 4. Infrared image ''Kaptein'' and images after saliency extraction by various methods: (a) Infrared image "Kaptein"; (b) Standard segmentation of image "Kaptein"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method图 3、4中，FT与LC方法夹杂大量背景中热辐射信息，目标不明确；AC方法提取的信息少，仅有目标轮廓，信息缺失严重；CNN方法从肉眼上与标准分割图最为接近，主观上CNN方法的效果最优。
为进一步验证CNN相较于其他显著性算法在目标显著性提取方面的优势，我们以均方误差（mean squared error，MSE）对目标显著性进行客观评价，通过多次实验，比较不同方法均方误差的均值以衡量各种方法优劣性。MSE主要体现提取的目标显著图与理想的标准分割之间的误差，公式如式(1)所示：
$$ \text{MSE} = \frac{1}{{M \times N\mathop \sum \nolimits_{i = 1}^M \mathop \sum \nolimits_{j = 1}^N {{\left( {{{\hat y}_{ij}} - {y_{ij}}} \right)}^2}}} $$ (1) 式(1)中：M×N为分割图像的大小；${\hat y_{ij}}$是标准分割图在位置(i, j)的像素值；yij是目标显著图在位置(i, j)的像素值。
上述4种方法提取的目标显著图与理想的标准分割之间的平均绝对误差均值如表 1所示。
表 1 目标显著性提取评价指标MAETable 1. Target significance extraction evaluation index MAEMethod AC FT LC CNN MSE1 1429.6117 1816.0338 1377.7657 9.8357 MSE2 672.0769 1379.5997 1965.2603 17.2382 表中MSE1为红外图像“Nato_camp”目标显著性评价指标；MSE2为红外图像“Kaptein”目标显著性评价指标。结合表中数据可以看出，CNN方法在两种不同风格红外图像上对目标的提取均优于其他算法，且差异较小，运行稳定。
2. 神经网络结合NSCT的图像融合方法
2.1 融合模型
本文提出融合算法模型如图 5所示，首先，通过卷积神经网络确定红外图像中目标特征图；同时利用NSCT变换对红外与可见光图像进行分解，分别得到红外与可见光图像的低频子带系数与高频子带系数；利用卷积神经网络提取的目标特征图结合自适应模糊逻辑与红外与可见光低频子带进行融合，利用局部方差对比度对红外与可见光高频子带进行融合；最后经过逆NCST[11-13]变换得到最终的融合图像。
![]()
图 5 神经网络结合NSCT图像融合模型Figure 5. Image fusion model based on convolutional neural network and NSCT2.2 融合规则
在NSCT变换过程中，会将红外与可见光图像分解成低频子带系数和多个高频子带系数[14-15]。对于低频子带融合，采用自适应模糊逻辑结合红外目标特征图的融合规则，以目标特征图为依据，生成目标掩模版mask。对于目标区域mask(i, j)＝1；背景区域mask(i, j)＝0。然后通过模糊逻辑中高斯隶属度函数进行加权平均对低频子带进行融合，公式如式(2)、(3)、(4)所示：
$$ {\eta _1} = \left\{ {\begin{array}{*{20}{c}} {\exp \left\{ { - \frac{{{{\left[ {C_\text{L}^\text{VIS}\left( {i,j} \right) - \mu _\text{L}^\text{VIS}} \right]}^2}}}{{2{{\left( {k\sigma _\text{L}^\text{VIS}} \right)}^2}}}} \right\}} \\ {0,\text{mask}\left( {i,j} \right) = 1} \end{array}} \right.,\text{mask}\left( {i,j} \right) = 0 $$ (2) $$ η_{2}＝1－η_{1} $$ (3) $$ C_\text{L}(i,j)＝η_{1}C_\text{L}^\text{IR}(i,j)+η_{2}C_\text{L}^\text{VIS}(i,j)$$ (4) 式中：CLVIS(i, j)、CLIR(i, j)、CL(i, j)分别为可见光图像、红外图像、融合图像的低频子带像素大小；η1、η2为可见光图像像素(i, j)位置的背景隶属度与目标隶属度：μLVIS、σLVIS分别为可见光图像低频子带上像素的均值与方差；k为高斯函数调整参数。k值对于低频融合图像起着决定融合效果的作用，传统算法中通过随机决定k值可能达不到最优的融合效果，因而本文中提出一种自适应模糊逻辑算法确定k值，步骤如下：
1）设定红外目标与背景区域像素权重η0(0≤η0≤1)；2）k初始值置为0.1；k最大值小于等于2；每次增长0.1，计算不同k值下的红外图像低频子带像素权重ηk，并计算与η0差的绝对值；3）通过确定$ \min \left| {{\eta _k} - {\eta _0}} \right| $高斯函数调整参数k0，并计算对应的交叉熵CE0；4）计算不同k值下红外图像的交叉熵，通过最小交叉熵CEmin确定高斯函数调整参数k1；5）计算CE0与CEmin差的绝对差值$ \left| {{\text{CE}_0} - {\text{CE}_{\min }}} \right| $，并判断$ \left| {\text{C}{\text{E}_0} - \text{C}{\text{E}_{\min }}} \right| \leqslant \delta $是否成立。若判断结果成立，即确定k1值为确定的高斯函数调整参数；如结果不成立，则比较k0与k1大小，k1大于等于k0时，适量增加η0值，反之则减小η0值，并回到第一步，直到交叉熵差值符合要求。
对于图像高频子带融合，采用局部方差对比度融合规则。融合过程中，考虑到红外与可见光图像灰度图不同区域像素亮度上存在较大差异，直接赋值融合的合成图像容易产生块效应，边缘过渡不平滑，为保证融合图像高频信息的质量，对高频像素进行边缘滤波处理，如式(5)、(6)所示：
$$ u_\text{H}^\text{IR} = \frac{{\mathop \sum \nolimits_{m = 1}^M \mathop \sum \nolimits_{n = 1}^N C_\text{H}^\text{IR}\left( {i,j} \right)}}{{M \times N}} $$ (5) $$ \delta _\text{H}^\text{IR}\left( {i,j} \right) = \frac{1}{{M \times N}}\mathop \sum \nolimits_{m = 1}^M \mathop \sum \nolimits_{n = 1}^N {\left[ {C_\text{H}^\text{IR}\left( {i + m,j + n} \right) - u_\text{H}^\text{IR}\left( {i,j} \right)} \right]^2} $$ (6) 式(5)为局部均值公式，式(6)为局部方差公式，式中：CHIR(i, j)、uHIR(i, j)、δHIR(i, j)分别为红外图像高频子带的边缘滤波后信息、局部均值与局部方差。M×N为窗口大小，本文中大小为3×3。同样对可见光图像高频子带使用上述方法求出CHVIS(i, j)、uHVIS (i, j)、δHVIS(i, j)。求红外与可见光高频子带上像素级别的局部方差对比度，如式(7)所示：
$$ R\left( {i,j} \right) = \frac{{\delta _\text{H}^\text{IR}\left( {i,j} \right)}}{{\delta _\text{H}^\text{VIS}\left( {i,j} \right)}} $$ (7) 式中：R(i, j)为红外与可见光图像高频像素间局部方差对比度，R(i, j)大于等于1时，代表红外图像特征对比度高，R(i, j)小于1时，可见光图像特征对比度高。本文通过特征对比度确定融合图像高频子带系数大小，如式(8)所示：
$$ {C_\text{H}}\left( {i,j} \right) = \left\{ {\begin{array}{*{20}{c}} {C_\text{H}^\text{IR}\left( {i,j} \right),R\left( {i,j} \right) \geqslant 1} \\ {C_\text{H}^\text{VIS}\left( {i,j} \right),R\left( {i,j} \right) < 1} \end{array}} \right. $$ (8) 式中：CH(i, j)、CHIR(i, j)、CHVIS(i, j)分别为融合图像、红外图像与可见光图像分别在同层与同方向下高频子带系数的大小。最后进行NSCT逆变换，得到红外与可见光融合图像。
2.3 融合结果
为验证本文算法的有效性，选取3组红外与可见光图像进行仿真实验。两组红外与可见光图像均来自于公共数据集（像素大小为256×256），另一组是通过可见光相机和中波热像仪（波段3~5 μm，分辨率320×256）拍摄，在经过预处理后，分别与拉普拉斯变换（Laplace transform, LP）、离散小波变换（discrete wavelet transform, DWT）、二维经验模态分解（bidimensional empirical mode decomposition, BEMD）、非下采样剪切波变换（non-separable secondary transforms, NSST）、非下采样轮廓波变换（nonsubsampled contourlet, NSCT）与本文方法进行主客观对比。
第一组实验图像采用“Nato_camp”红外与可见光图像用不同方法进行融合，融合结果如图 6所示。
![]()
图 6 “Nato_camp”红外和可见光图像以及融合结果：(a) 红外图像；(b) 可见光图像；(c) LP方法；(d) DWT方法；(e) BEMD方法；(f) NSST方法；(g) NSCT方法；(h) 本文方法Figure 6. ''Nato_camp'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method; (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method图中(a)、(b)分别为红外图像与可见光图像。(c)为拉普拉斯变换融合图像，目标周围有严重的拖影现象，整体模糊；(d)为离散小波变换融合图像，融合部分较为模糊，不利于人眼观察；(e)为二维经验模态分解融合图像，目标不明显且背景纹理模糊；(f)为非下采样剪切波变换融合图像，可见光图像种背景的纹理信息完全丢失；(g)为非下采样轮廓波变换融合图像，目标轮廓模糊难以分辨；(h)卷积神经网络结合非下采样轮廓波变换融合图像，在保证充足的背景信息情况下，红外目标特征更加清晰，对比度更高，易于观察。
第二组实验图像采用“Kaptein”红外与可见光图像用不同方法进行融合，融合结果如图 7所示。
![]()
图 7 “Kaptein”红外和可见光图像以及融合结果：(a) 红外图像；(b) 可见光图像；(c) LP方法；(d) DWT方法；(e) BEMD方法；(f) NSST方法；(g) NSCT方法；(h) 本文方法Figure 7. ''Kaptein'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method图中(a)、(b)分别为红外图像与可见光图像。(c)为拉普拉斯变换融合图像，整体模糊，有严重的拖影；(d)为离散小波变换融合图像，左上角信息缺失，对比度偏低；(e)为二维经验模态分解融合图像，整体图像暗淡，背景轮廓模糊；(f)为非下采样剪切波变换融合图像，背景纹理信息缺失，边缘混乱，不适合人眼视觉；(g)为非下采样轮廓波变换融合图像，天空部分融合效果不好，红外目标难以分辨其轮廓；(h)卷积神经网络结合非下采样轮廓波变换融合图像，纹理信息丰富，融合效果自然，天空部分融合效果好，目标清晰。
第3组实验图像采用“iron”红外和可见光图像进行融合，图像以及融合结果如图 8所示。在图 8中，图(a)、(b)分别为红外图像和可见光图像；图(c)拉普拉斯变换融合图像中的电烙铁边缘模糊；图(d)离散小波变换融合图像，电烙铁的高温特征完全掩盖了可见光信息；图(e)二维经验模态分解融合图像，电烙铁的热辐射信息没有体现；图(f)非下采样剪切波变换融合图像，可见光纹理信息缺失；图(g)非下采样轮廓波变换融合图像，电烙铁的高温虽然得到了体现，但尖端部分的高温信息并不明显；而图(h)卷积神经网络结合非下采样轮廓波变换融合图像中，电烙铁各处温度差异都得到了一定的反映，特别是尖端的高温图像的特征信息被保留，同时尾部的低温以及底座的常温均被良好地体现出来，温度层次较为明显，有利于人眼识别。
![]()
图 8 “iron”红外和可见光图像以及融合结果：(a) 红外图像；(b) 可见光图像；(c) LP方法；(d) DWT方法；(e) BEMD方法；(f) NSST方法；(g) NSCT方法；(h)本文方法Figure 8. ''iron'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method为了客观评价图像融合的质量，进一步选取信息熵（information entropy, IE）、平均梯度（average gradient, AG）、空间频率（spatial frequency, SF）、像素互信息（mutual information, MI）、像素交叉熵（cross entropy, CE）5种客观评价指标对图像融合效果进行评价。本文通过多组次（3组）实验获得实验结果，并求取平均值，进而验证本文方法的有效性，表 2为红外与可见光图像融合效果评价。
表 2 红外与可见光图像融合效果评价Table 2. Infrared and visible image fusion effect evaluationImage Image fusion method IE AG SF MI CEN “Nato_camp” LP 6.6747 5.5365 15.9373 1.7365 1.4858 DWT 6.9908 6.6575 17.4658 1.6712 0.6218 BEMD 6.6029 6.2838 17.1804 1.3671 1.7880 NSST 6.8419 5.8138 16.7266 1.3348 1.5568 NSCT 6.6224 6.3133 17.3085 2.0859 0.3409 Ours 7.1934 4.7142 17.5647 2.0883 0.3206 “Kaptein” LP 6.7174 4.0659 12.8846 3.2774 1.3173 DWT 7.1419 6.2009 18.9346 3.8891 1.0452 BEMD 6.7497 5.9790 19.4699 3.0136 1.2275 NSST 6.8063 4.4414 15.8489 3.9370 1.1409 NSCT 6.9281 6.3012 19.2932 3.6070 1.6858 Ours 7.2729 4.5076 20.1209 3.9387 1.0457 “iron” LP 6.4638 7.1542 20.2285 3.1355 0.5064 DWT 6.6377 11.7327 33.4574 3.3785 0.6087 BEMD 6.5765 9.4525 23.3567 3.4273 0.5408 NSST 6.7624 14.7945 39.4278 3.4058 0.5075 NSCT 6.7352 15.6254 40.4253 3.1668 0.4772 Ours 6.7648 14.7857 40.8547 3.8173 0.4117 由表 2可看出本文方法在3组实验上均表现良好，且相比其他对比算法有一定优势。对于“Nato_camp”融合图像中信息熵、空间频率、互信息、像素交叉熵（CE）4种评价指标相比对比算法提升了2.89%、2.23%、0.11%、5.95%；“Kaptein”融合图像中信息熵、空间频率、互信息像素交叉熵（CE）4种评价指标相比对比算法提升了1.83%、3.34%、1.27%、0.04%；本文所提出方法在客观评价结果来看，具有一定优势，证明了卷积神经网络结合NSCT的优越性。
综上，通过CNN强大的特征提取优势，获取红外图像的目标特征图，更好地对目标与背景进行分离。再利用目标特征图结合NSCT，解决了传统算法中，低频子带背景模糊、高频子带边缘缺失的问题，能够在融合图像中更好地还原源图像细节。相比其他算法，融合图像细节更加丰富，目标轮廓更清晰，易于观察。
3. 结论
提出了一种结合卷积神经网络的NSCT红外与可见光融合算法。本文通过利用卷积神经网络获取红外图像目标特征图，相比AC、SR、LC、FT等方法，CNN方法降低了目标特征与标准分割间的误差，使目标提取更加准确；同时，首次使用自适应的模糊逻辑方法结合目标显著图的方式进行低频图像融合，突出了源图像的特征。实验结果表明，相比于传统算法，本文方法可以更好地提取源图像的特征信息，提高了融合图像对比度，图像更加清晰，更有利于人眼观察，同时，融合图像客观评价指标上都有所提高该方法可以很好地应用于红外搜索与跟踪、多传感器信息融合、光电侦察等光电信息领域。
-
![]()
图 3 红外图像“Nato_camp”及多种方法提取显著性图像：(a) 红外图像“Nato_camp”；(b) 图像“Nato_camp”标准分割图；(c) FT方法；(d) AC方法；(e) LC方法；(f) CNN方法
Figure 3. Infrared image ''Nato_camp'' and images after saliency extraction by various methods: (a) Infrared image "Nato_camp"; (b) Standard segmentation of image "Nato_camp"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method
![]()
图 4 红外图像“Kaptein”及多种方法提取显著性图像：(a) 红外图像“Kaptein”；(b) 图像“Kaptein”标准分割图；(c) FT方法；(d) AC方法；(e) LC方法；(f) CNN方法
Figure 4. Infrared image ''Kaptein'' and images after saliency extraction by various methods: (a) Infrared image "Kaptein"; (b) Standard segmentation of image "Kaptein"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method
![]()
图 5 神经网络结合NSCT图像融合模型
Figure 5. Image fusion model based on convolutional neural network and NSCT
![]()
图 6 “Nato_camp”红外和可见光图像以及融合结果：(a) 红外图像；(b) 可见光图像；(c) LP方法；(d) DWT方法；(e) BEMD方法；(f) NSST方法；(g) NSCT方法；(h) 本文方法
Figure 6. ''Nato_camp'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method; (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
![]()
图 7 “Kaptein”红外和可见光图像以及融合结果：(a) 红外图像；(b) 可见光图像；(c) LP方法；(d) DWT方法；(e) BEMD方法；(f) NSST方法；(g) NSCT方法；(h) 本文方法
Figure 7. ''Kaptein'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
![]()
图 8 “iron”红外和可见光图像以及融合结果：(a) 红外图像；(b) 可见光图像；(c) LP方法；(d) DWT方法；(e) BEMD方法；(f) NSST方法；(g) NSCT方法；(h)本文方法
Figure 8. ''iron'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
表 1 目标显著性提取评价指标MAE
Table 1 Target significance extraction evaluation index MAE
Method AC FT LC CNN MSE1 1429.6117 1816.0338 1377.7657 9.8357 MSE2 672.0769 1379.5997 1965.2603 17.2382 
下载: 导出CSV
表 2 红外与可见光图像融合效果评价
Table 2 Infrared and visible image fusion effect evaluation
Image Image fusion method IE AG SF MI CEN “Nato_camp” LP 6.6747 5.5365 15.9373 1.7365 1.4858 DWT 6.9908 6.6575 17.4658 1.6712 0.6218 BEMD 6.6029 6.2838 17.1804 1.3671 1.7880 NSST 6.8419 5.8138 16.7266 1.3348 1.5568 NSCT 6.6224 6.3133 17.3085 2.0859 0.3409 Ours 7.1934 4.7142 17.5647 2.0883 0.3206 “Kaptein” LP 6.7174 4.0659 12.8846 3.2774 1.3173 DWT 7.1419 6.2009 18.9346 3.8891 1.0452 BEMD 6.7497 5.9790 19.4699 3.0136 1.2275 NSST 6.8063 4.4414 15.8489 3.9370 1.1409 NSCT 6.9281 6.3012 19.2932 3.6070 1.6858 Ours 7.2729 4.5076 20.1209 3.9387 1.0457 “iron” LP 6.4638 7.1542 20.2285 3.1355 0.5064 DWT 6.6377 11.7327 33.4574 3.3785 0.6087 BEMD 6.5765 9.4525 23.3567 3.4273 0.5408 NSST 6.7624 14.7945 39.4278 3.4058 0.5075 NSCT 6.7352 15.6254 40.4253 3.1668 0.4772 Ours 6.7648 14.7857 40.8547 3.8173 0.4117
下载: 导出CSV
-
[1] MA J Y, MA Yong. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] 董安勇, 杜庆治. 基于卷积神经网络的红外与可见光图像融合[J]. 红外技术, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009 DONG Anyong, DU Qingzhi. Infrared and visible image fusion based on vonvolutional neural network[J]. Infrared Technology, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009
[3] 杨孙运, 奚峥皓, 汪汉东, 等. 基于NSCT和最小化-局部平均梯度的图像融合[J]. 红外技术, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6 YANG Sunyun, XI Zhenghao, WANG Handong, et al. Image fusion based on NSCT and minimum-local mean gradient[J]. Infrared Technology, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6
[4] ZHANG Shuang, LIU Feng. Infrared and visible image fusion based on non-subsampled shearlet transform, regional energy, and co-occurrence filtering[J]. Electronics Letters, 2020, 56(15): 761-764. DOI: 10.1049/el.2020.0557
[5] LIU Yu, LIU Shuping, WANG Zengfu. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[6] CUI Y, DU H, MEI W. Infrared and visible image fusion using detail enhanced channel attention network[J]. IEEE Access, 2019, 7: 182185-182197. DOI: 10.1109/ACCESS.2019.2959034
[7] XIA Jingming, YI Lu. Intelligent fusion of infrared and visible image data based on convolutional sparse representation and improved pulse-coupled neural network[J]. CMC-Computers Materials & Continua, 2021, 67(1): 613-624.
[8] 肖中杰. 基于NSCT红外与可见光图像融合算法优化研究[J]. 红外技术, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010 XIAO Zhongjie. Improved infrared and visible light image fusion algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010
[9] MA Jinlei, ZHOU Zhiqiang. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics and Technology, 2017, 82: 8-17. DOI: 10.1016/j.infrared.2017.02.005
[10] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007 FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007
[11] 闫利, 向天烛. NSCT域内结合边缘特征和自适应PCNN的红外与可见光图像融合[J]. 电子学报, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002 YAN Li, XIANG Tianzhu. Fusion of infrared and visible images based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002
[12] 陈震, 杨小平. 基于补偿机制的NSCT域红外与可见光图像融合[J]. 仪器仪表学报, 2016, 37(4): 860-870. DOI: 10.3969/j.issn.0254-3087.2016.04.019 CHEN Zhen, YANG Xiaoping. Infrared and visible image fusion based on the compensation mechanism in NSCT domain[J]. Chinese Journal of Scientific Instrument, 2016, 37(4): 860-870. DOI: 10.3969/j.issn.0254-3087.2016.04.019
[13] 周渝人, 耿爱辉, 张强. 基于压缩感知的红外与可见光图像融合[J]. 光学精密工程, 2015, 23(3): 855-863. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503032.htm ZHOU Yuren, GENG Aihui, ZHANG Qiang. Fusion of infrared and visible images based on compressive sensing[J]. Optics and Precision Engineering, 2015, 23(3): 855-863. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503032.htm
[14] REN Long, PAN Zhibin. Infrared and visible image fusion based on edge-preserving guided filter and infrared feature decomposition[J]. Signal Processing, 2021, 186: 108108.
[15] FU Zhizhong, WANG Xue. Infrared and visible images fusion based on RPCA and NSCT[J]. Infrared Physics and Technology, 2016, 77: 114-123.
-
期刊类型引用(6)
1. 马庆禄，汪曦洪，马恋，段学锋. 隧道内不均匀照度下无人驾驶视觉融合感知方法. 应用光学. 2025(01): 89-101 . 
百度学术
2. 王旭升，许亚男，胡石. 基于NSCT和SF-PCNN的红外与可见光图像融合. 电脑知识与技术. 2025(04): 147-151 . 百度学术
3. 赵庆典，杨德宏. 基于图像增强和二次非下采样轮廓波变换的红外与可见光图像融合. 激光与光电子学进展. 2024(04): 494-502 . 百度学术
4. 李立，易诗，刘茜，程兴豪，王铖. 基于密集残差生成对抗网络的红外图像去模糊. 红外技术. 2024(06): 663-671 . 本站查看
5. 孙帮勇，施雨含，于涛. 面向伪装目标探测的语义引导偏振光谱图像融合方法. 光学学报. 2024(19): 137-149 . 百度学术
6. 郝帅，李彤，马旭，何田，孙曦子，李嘉豪. 基于目标增强与蝴蝶优化的红外与可见光图像融合. 光学精密工程. 2023(23): 3490-3503 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 191
- HTML全文浏览量: 85
- PDF下载量: 76
- 被引次数: 7
