0.   引言

根据成像原理，红外图像是通过“测量”物体向外辐射的热量获得，描述的是目标与背景所保持温度的差异，具有较高的对比度和突出目标的优势；而可见光图像的优点在于主要呈现场景中的细节以及纹理信息，不容易受到温度等的影响^[1-5]。由此，同一场景下的红外图像与可见光图像中的信息具有一定的互补性。在同一场景下，为了实现信息的互补，可通过红外与可见光图像融合技术来获取一幅具有更全面目标和场景信息的图像。目前在目标跟踪、智能监控、视频分析等领域红外与可见光图像融合有着广泛的应用^[6-9]。

近年来，在图像融合领域中由于深度学习具有较强的特征提取能力而得到了深入研究。文献[10]提出了一种基于CNN的图像融合方法，通过训练使网络具有分类能力，通过二值化和两个一致性策略得到决策映射，并由该映射作为权重重构融合图像；文献[11]提出基于生成对抗网络FusionGAN的红外与可见光图像融合方法；文献[12]在现有基于GAN图像融合方法的基础上，提出了一种基于双路级联对抗机制的融合方法，在生成器模型中采用双路级联的方式进行特征提取，在判别器模型中采用双判别方式生成融合图像；文献[13]中提出通用的卷积神经网络图像融合模型，以端到端的方式进行训练，利用两个卷积层从多个输入图像中提取特征，并根据输入图像类型选择适当的融合规则进行融合得到融合图像；文献[14]建立权重独立的双通道残差卷积神经网络，对可见光与红外频段下的目标图像进行特征提取，生成多尺度复合频段特征图组的融合方法。目前学者们利用深度学习方法在红外与可见光图像融合上取得较好的融合效果，但是在融合过程中没有结合图像的尺度信息，往往影响融合图像的视觉效果，容易出现细节丢失、边缘模糊以及出现伪影等的问题。

多尺度变换方法通常将图像中的信息分为结构信息和细节信息，通过深度学习结合多尺度变换方法可以更好地提取源图像的结构信息，有效保留源图像的细节信息，从而进一步提升融合图像质量。引导滤波是一种重要的多尺度变换方法，具有保边平滑和复杂度较低等特性。本文提出了一种基于变换域VGGNet19网络的红外与可见光图像融合算法。首先，通过引导滤波进行分解，获取到包含源图像大尺度信息的基础层和包含细节信息的细节层；然后，采用拉普拉斯能量对基础层进行融合得到基础融合图，细节层通过VGGNet19网络进行多层特征提取，L1正则化、上采样以及最终的加权平均策略得到细节融合图；最后，通过相加得到最终结果。

1.   基本理论

1.1   引导滤波

引导滤波器（guided filter，GF）在图像融合领域是一种高效的图像边缘保持平滑滤波器^[15]，其被定义为一个局部线性模型，其滤波时间与滤波器尺寸是相互独立的。设J为引导图像，I为滤波输入图像、P为滤波输出图像、假设滤波器输出结果P与引导图像J为线性变换，则有：

式中：ω_n是大小为(2r+1)×(2r+1)的矩形窗口；J_i表示i像素强度；线性系数a_n和b_n为ω_n内的常数；i和n为像素索引，若引导图像J存在边缘，为了使滤波输出图像P保持与J相似特性的边缘，可通过最小化该局部线性模型的方式，因为∇P＝a_n∇J，故引导滤波器具有边缘保持特性，即滤波输出图像P是滤波输入图像I去除纹理或噪声后的图像，公式如下：

式中：I为待滤波图像，采用最小二乘法，求出a_n和b_n：

正则化参数ε＞0；μ_n为引导图像J在窗口ω_n中的均值；σ_n²为I在ω_n中的方差；|ω|为ω_n中所包含像素的个数；$ {\overline I _n} $为在窗口ω_n中待滤波图像的均值。由于一个像素可能同时出现在多个窗口，因此，可通过对多个窗口的线性函数值取平均的方式计算该点输出，公式如下：

式中：ω_i为以i为窗口中心像素的包含所有像素n的窗口。

1.2   VGGNet网络

VGGNet网络是一种结构加深了的卷积网络，其验证了增加网络的深度确实可以提高网络本身的性能，核心思想是通过利用较小的卷积核来增加网络深度，通过加深结构来提升性能^[16]。VGGNet19网络模型中共有19个权值层，通常为16个卷积核大小为3×3的卷积层和3个全连接层。其主要目的是通过非线性深层网络来提升网络的学习性能，以达到更好的应用效果。在图像处理中，对于输入图像的局部大小，通过小卷积核进行特征提取较大卷积核具有更优的性能，而VGGNet19网络具有卷积核小以及网络深度深的特性。因此，将VGGNet19网络应用于图像融合领域能够提取更精确的特征信息，以达到更好的融合效果。VGGNet19网络架构如图 1所示。

图  1  VGGNet19网络结构模型

Figure  1.  VGGNet 19 Network structure model diagram

下载: 全尺寸图片 幻灯片

2.   本文算法

2.1   本文方法结构

本文方法主要分为3部分：1）源图像多尺度分解：源图像分解通过引导滤波完成，得到一层基础信息和多层细节信息；2）基础层与细节层融合策略：基础层通过拉普拉斯能量进行融合得到新的基础部分，细节层输入到VGGNet19网络，进行特征提取操作、L1正则化、上采样以及最终的加权平均策略得到新的细节部分；3）多尺度图像重构：将得到融合图像的基础图像和细节图像通过相加，即可获得最终的融合结果。图 2为本文算法思路框图。

图  2  本文算法思路框图

Figure  2.  Block diagram of the algorithm in this paper

下载: 全尺寸图片 幻灯片

2.2   引导滤波分解

为了使最终的融合图像包含更多红外图像的细节信息与可见光图像丰富的边缘信息，本文采用引导滤波对源图像进行多尺度的边缘保持分解（multi-scale guided filter decomposition, MGFD）。首先假设输入的源图像为I，对其进行N级分解，会得到一幅基础图像b^N－1和N－1幅细节图像dⁱ(i＝1, 2, …, N－1)。具体计算公式如下：

式中：b⁰＝I，r和ε为引导滤波的两个自由参数，可通过相加完成重构，即：

2.3   融合策略

在图像融合领域，融合策略的选择将直接决定最终融合图像效果，拉普拉斯算子是基于像素的算子，具有提高图像对比度与清晰度的优势，因此本文选用拉普拉斯算子进行基础层的融合；VGGNet19网络是一种卷积核较小的深层网络模型，具有较高的网络性能，在细节层中能够提取到更多细节纹理信息，由此选用该网络来进行细节层的特征提取。

1）基础层融合策略

由于将源图像经过引导滤波多尺度边缘保持分解后，其基础信息主要表示融合图像的轮廓信息，因此为了有效地保留源图像的主要能量信息，本文采用性能优异的拉普拉斯算子（Laplacian operator）进行基础图像的融合，能够有效克服图像中清晰度与对比度下降问题，提高图像的局部清晰度，为最终的融合提供具有更高清晰度的基础层融合图像。过程如下：

式中：f(x, y)为(x, y)处的基础层系数，(x, y)为ω的中心位置，大小为l×l的窗口，l取3。本文算法用到的窗口矩阵为[－1, －4, －1; －4, 20, －4; －1, －4, －1]。

2）细节层融合策略

细节层主要包含源图像的细节及纹理信息，对细节层的处理直接影响融合图像是否清晰以及边缘失真是否严重。对于细节部分，先使用VGGNet19提取特征得到特征层；然后由特征层通过加权平均策略得到最终权重层；最后将最终权重层作为权重系数得到细节层融合图像F_d。设细节信息为Id J、ϕ_J^{i, m}表示第i层中第J个细节信息提取的特征映射，m是第i层的通道数，故：

式中：Φ_i(⋅)为特征提取层，i＝{1, 2, 3, 4, 5}分别表示relu_1_1，relu_2_1，relu_3_1，relu_4_1，relu_5_1，在得到特征映射后，通过L₁正则化来获取该特征映射的活跃度水平映射，公式如下：

式中：ϕ_J^{i, 1:M}为M维向量，表示特征映射中(x, y)处ϕ_J^{i, m}层的内容。在得到活跃度水平映射后，通过softmax层获取初始权重映射ωi J：

式中：ω_Jⁱ(x, y)为在[0, 1]范围内的初始权重映射值；J为活跃度水平数量取2。在VGGNet网络中最大池化层相当于子采样过程，本文算法中，步长设为2，因此在不同层特征映射图的大小为细节内容大小的1/(2i－1)，i∈{1, 2, 3, 4, 5}，在得到初始权重映射ω_Jⁱ后，进行上采样操作，将权重映射大小恢复至输入图像大小得到最终权重映射（大小与输入图像大小一致），公式如下：

即为上采样的过程，权重映射图的数目为2J对，i∈{1, 2, 3, 4, 5}，初始融合细节：

细节信息融合结果：

3）图像重构过程

3.   实验结果及分析

3.1   实验说明

本文红外与可见光源图像选取公共数据集TNO中的21组图像进行实验，实验仿真平台采用Intel酷睿i7-1065G7 CPU，编程环境为Matlab 2019b。为验证算法性能，本文选定6组已配准图像进行实验分析，其大小分别为360×270 pixel、632×496 pixel、505×510 pixel、640×480 pixel、360×270 pixel、595×328 pixel。为验证本文算法的可行性与有效性，将本文方法的融合结果与文献[13]全卷积融合算法（image fusion framework based on convolutional neural network, IFCNN）、文献[17]卷积稀疏表示模型（convolutional sparse representation, CSR）、文献[18]基于显著检测的联合稀疏表示模型（JSR model with saliency detection fusion method, JSRSD）、文献[19]加权最小二乘优化方法（weighted least square, WLS）、文献[20]梯度滤波算法（gradient structural filter, GSF）、文献[21]基于空间频率激励脉冲耦合神经网络的非下采样Contourlet变换域图像融合算法（nonsubsampled contourlet transform，NSCT）、文献[22]拉普拉斯结合卷积神经网络（Laplace-cnn, Lp-cnn）7种方法进行了对比。引导滤波多尺度算法的参数设置为：分解层数N＝4: r₁＝25, r₂＝14, ε₁＝0.1, ε₂＝10^－2。

3.2   主观评价

通过6组实验的融合结果如图 3所示，Img1中CSR人物旁边有晕染，JSRSD、GSF和Lp-cnn缺少细节信息（呈现白块），IFCNN、WLS和NSCT包含少量的纹理信息，但不如本文所包含信息丰富；Img2中CSR和NSCT有噪声以及晕染块的出现，路灯处JSRSD和Lp-cnn轮廓不分明，缺少可见光图像中的边缘信息，WLS、DTCWT和GSF虽然存在一些细节纹理信息，但相比本文方法，对比方法人物衣服线条不如本文分明；Img3中整体来看，CSR、JSRSD均出现噪声块，天空有较多晕染，NSCT天空处出现伪影，本文方法相比WLS和GSF在船顶端处有更加丰富的纹理信息，本文较IFCNN、Lp-cnn云层处的轮廓更加分明；Img4中天空及房屋墙面上CSR、WLS均有噪声出现，NSCT在边缘处有晕染，本文在没有噪声晕影出现的情况下相比GSF、Lp-cnn可以明显看出人物及房屋边界更加清晰；Img5中整体来看CBF、CSR和Lp-cnn存在树木边缘信息丢失的情况，JSRSD和NSCT人物边缘出现晕染，IFCNN、GSF和WLS通过放大图来看，人物轮廓不如本文分明；Img6中从树木边缘来看，CBF、CSR、WLS、JSRSD、GSF、Lp-cnn、NSCT均出现边缘晕染，从放大图看本文相对较少，并且包含更多飞机头部位的纹理信息。该6组实验中有5组实验CBF和CSR其实验结果具有较多噪声和晕染，显著性特征不够清晰。IFCNN、JSRSD、NSCT方法除显著特征外其他区域细节模糊，对比度不高，其次更多地保留红外图像的特征，亮度偏高。GSF、Lp-cnn和WLS融合后图像，区域过渡不够自然，缺少小区域部分的细节纹理信息。通过以上7种方法的对比，本文所提方法其融合结果晕影和块效应不明显，边缘轮廓分明，包含更多的细节信息，具有更高的对比度。

图  3  实验结果：(a) 红外图像(b) 可见光图像(c) IFCNN (d) CSR (e) JSRSD (f) WLS (g) GSF (h) NSCT (i) Lp-cnn (j) 本文

Figure  3.  Experimental results: (a) Infrared image(b) Visible image(c) IFCNN(d) CSR(e) JSRSD (f) WLS(g) GSF(h) NSCT(i)Lp-cnn(j) Ours

下载: 全尺寸图片 幻灯片

三维分析对比图可以较好地表示融合结果图中细节与纹理信息的分布情况。如图 4所示，以Img1为源图像，可以看出同一场景下红外图像和可见光图像在三维分析中所表现出来的特征信息，红外图像可根据温度的高低区分图像，可见光图像则根据光照的亮度来区分场景信息。本文算法结果图与对比方法结果图的三维分析结果。相比本文算法IFCNN方法、CSR方法以及NSCT方法从图像看均有少量噪声伪影出现，在三维分布中可以看出轮廓信息有过拟合现象；JSRSD方法与WLS方法虽分布较为均匀，但细节边缘线条不及本文算法清晰；GSF方法以及Lp-cnn方法蓝色分布缺少，即轮廓不够明显，因此，从三维分析图可以看出，本文算法具有细节纹理清晰的优势。

图  4  融合结果三维对比分析

Figure  4.  Three-dimensional comparative analysis chart of fusion results

下载: 全尺寸图片 幻灯片

3.3   客观评价

为验证算法性能及图像融合质量，本文对融合结果的定量分析主要采用5种在图像融合方面广泛使用的评价指标，依次为图像像素特征互信息（FMI-pixel）、离散余弦特征互信息（FMI-dct）、小波特征互信息（FMI-w）、相位一致性的度量（phase congruency-based Metric，Q_P）以及图像结构相似程度的度量（structural similarity-based metric，Q_Y）。其中FMI-pixel、FMI-dct、FMI-w分别从不同角度计算融合图像与源图像的特征互信息（feature mutual information，FMI）^[23]，值越大，则说明融合图像与源图具有较高的信息相关性，即在融合过程中损失的细节信息越少；Q_P用于测量从源图传输到融合图像其边缘与角点信息；Q_Y测量融合图像与源图间的自适应结构信息，反映其相似程度，其值越大表示融合效果更优。

通过6组实验图像的客观评价指标如图 5所示。实验指标值可以看出本文方法的FMI-dct指标均优于其余7种对比方法，而指标FMI-pixel、FMI-w、Q_Y的值在6组图像中有5组处于最优，Q_P指标值有大多数处于最优。表明本文方法所获得的融合结果与源图像具有的离散余弦特征的特征互信息最多，即与源图像具有较高的相关性，同时具有较多的图像像素信息、小波特征信息以及自适应结构信息，能够从源图像中提取到更多的细节边缘信息，融合结果包含更丰富的纹理结构。综上，本文所提算法融合效果更优。

图  5  指标对比折线图：(a) FMI-dct；(b) FMI-pixel；(c) FMI-w；(d) Q_P；(e) Q_Y

Figure  5.  Indicator comparison line chart: (a) FMI-dct; (b) FMI-pixel; (c) FMI-w; (d) Q_P; (e) Q_Y

下载: 全尺寸图片 幻灯片

综合主客观评价指标，本文所提算法大多数指标均优于对比融合方法，较好地保留了可见光图像中的边缘及纹理信息，同时突出了红外图像的目标，具有更优的清晰度与对比度。从折线图可以清晰地看出本文方法所存在指标方面的优越性。从FMI-pixel、FMI-dct、FMI-w、Q_Y的指标对比折线图来看，本文方法的融合效果最优；从Q_P指标对比折线图来看，6组图中本文方法有大多数优于其余对比方法。

4.   结论

本文通过在变换域中引用结构较深的卷积神经网络VGGNet19来进行红外图像与可见光图像融合，改善了融合结果图轮廓不分明以及细节信息丢失的问题，在实验过程中通过多尺度引导滤波分解源图像，可以更好地提取源图像中的细节纹理以及轮廓信息，其次结合基于像素的拉普拉斯能量算法进行基础部分的融合，通过VGGNet19网络对细节信息进行特征提取并得到一系列权重图，保留了更多细节信息，避免了细节信息地丢失。最终得到轮廓分明，细节清晰的融合图。实验结果表明，本文方法所得到的融合图不仅具在视觉效果方面更加接近真实，而且客观评价指标方面也具有更优的效果。由于VGGNet19网络特征提取过程运行时间较长，今后将尝试对其进行优化，进一步提高算法效率。