0.   引言

由于成像设备成像原理造成同一场景下的红外与可见光图像各有利弊：红外图像受光线或不利天气条件的影响较小，但缺乏足够的背景细节；可见光图像通常包含更多的细节和纹理信息与更高的空间分辨率，但受不利天气等因素影响较大。如果将同一场景下红外与可见光图像融合就可获取更多图像信息，因此红外与可见光图像融合在目标检测、监视、情报收集等军事和民用领域有着重要的应用^[1-3]。

红外与可见光图像的融合有很多种方法，现阶段较常见的为基于多尺度分解的融合方法。多尺度融合方法实质是用多尺度分解将空间上重叠的特征在尺度上充分分离，从而使不同尺度上分离出来的特征更有效地进行组合。如刘等人提出了一种基于多尺度变换和稀疏表示的图像融合的一般框架^[4]，并取得了不错的融合效果。但由于稀疏表示采用窗口滑动技术，致使融合图像中细节过于平滑，图像局部模糊不清，整体视觉效果不佳。为了提高视觉效果，李等人提出了一种快速有效的图像融合方法，称为基于引导滤波的融合方法（guided filtering fusion GFF）^[5]，其中引入了一种新的基于引导滤波的权重构造方法，由于权重的计算不可避免带来融合后图像的噪音和伪影，因此构造了视觉显著性函数将像素显著性和空间一致性结合起来。Bavirisetti等人借鉴GFF方法中的优点，提出了一种多尺度引导滤波融合方法（multi-scale guided fusion MGF）^[6]，在不同尺度上转移边缘结构方面，大大降低了算法的复杂度。GFF和MGF方法有一定的优点，但是也有不足之处。Gan等人提出了GFF与MGF方法中的不足之处^[7]：首先，显著性函数没有保留图像所有特征，导致视觉效果差；其次，这两类方法所采用边缘保护滤波器在图像分解中较少考虑其空间尺度，因此，没有将多尺度分解的优势发挥出来。为了取得较好的融合效果，必须解决以上的两个问题。张等人提出了一种基于尺度的边缘保护滤波器，称为滚动引导滤波器（rolling guidance filter RGF）^[8]，RGF在图像分解过程中具有很好的尺度感知和边缘保持特性，弥补了GFF与MGF方法中的关于空间尺度的不足之处，因此本文采用RGF方法作为源图像分解的工具。

图像融合除了分解方法外还有融合规则影响图像融合的最终效果。传统的基础层和细节层大多数采用“平均”与“绝对值最大”的融合规则，常常会导致图像的对比度下降和可见光图像细节丢失且产生噪声，从而影响融合后图像的视觉效果。马等人在文献[9]中提出了使用视觉显著性图（visual saliency map, VSM）^[10]来合并基础层，有效地避免对比度的损失；同时提出了一种优化的加权最小二乘法（weighted least square, WLS）方法来融合细节层，此方法基于红外和可见光图像特征的不同特性，可以选择性地融合源图像中的细节信息。文献[9]中所提及的融合规则很好地解决了GFF与MGF方法中采用显著性函数导致融合图像视觉效果不佳的问题。所以，本文也采用VSM和WLS方法作为基础层和细节层的融合规则。

可见光图像成像时易受天气等因素的影响使得可见光源图像辨识度低，直接导致融合后图像的视觉效果不佳，因此，可见光图像的增强一直是图像融合过程中源图像预处理的重要环节之一。现阶段很多研究成果，如文献[11-12]所提及的方法都在可见光图像增强上有不错的效果，但是也有计算成本高等一些不足之处，如何提高可见光图像的增强效果也是图像融合中急需解决的问题。

综上所述，本文提出了一种基于滚动引导滤波的红外与可见光图像融合方法。首先利用引导滤波将可见光图像进行增强，然后利用滚动引导滤波将源图像进行多尺度的分解。通常的融合方法将源图像分别分解为细节层和基础层，但在文献[13-14]中提出将源图像分解为基础层，大尺度层与小尺度层，即将细节层继续细分。这样分解的原因是细化细节层的分解能够提高融合图像的视觉效果，同时也能保护图像边缘。因此本文也采用这种分解方法，并在分解后的基础层，大尺度层、小尺度层采用不同的融合方法进行融合，最后进行信息合成得到最终融合图像。通过观察融合图像和对比数据结果发现，本文所提出的融合方法在主观评价和客观评价上都有不错的表现。

1.   可见光图像的增强与源图像的分解

1.1   可见光图像的增强

为了增强较暗光线下可见光图像，文献[15]给出了一种基于引导滤波的高动态范围压缩的图像增强方法，其实质是利用引导滤波对图像进行分解，分步对图像进行增强。标记引导滤波算子为GF_{r, ε}(⋅)，则基本步骤可以表述如下：

1）对图像I先利用方引导滤波算子进行分解得到基础层I_b＝GF_{r, ε}(⋅)。

2）利用下列公式得到对数域的细节层$ {\hat I_{\rm{d}}} $及实施动态压缩恢复整体对比度得到$ \hat u $。

3）增强后的图像为：

式中：r与ε是关于引导滤波的大小和保护图像边缘程度的参数；β与γ是动态范围压缩的尺度因子。由于篇幅所限，4个参数的具体定义与取值可参阅文献[15]。

图 1给出了两组可见光图像利用所给方法进行增强前、后的对比图像。通过图 1明显可以看出，增强后的可见光图像无论是在细节表现还是整体的对比度上都得到了提升。

图  1  两组可见光图像的增强结果

Figure  1.  Visibility enhancement results for two test visible images

下载: 全尺寸图片 幻灯片

1.2   源图像的分解

在多尺度分解中往往会伴随融合后图像边缘出现一些光晕以及不能很好地实现空间重叠特征的尺度分离，而RGF具有边缘保持和尺度感知特性，从而可以减少光晕并保留特定尺度的信息，故本文采用RGF方法对源图像进行分解。记滚动引导滤波算子为RGF(I, σ_s, σ_r, T)。其中I为输入图像，σ_s是标准方差作为尺度参数，σ_r是用来控制权重的范围，本文取σ_r＝0.05，T是迭代次数，这里取T＝4。源图像可利用以下式来进行多尺度分解：

式中：u^j是第j层滤波输出图像，u⁰＝I。d^j是第j层细节层。N代表分解的层数，本文N＝4，令σ_s^j+1＝2σ_s^j。利用公式(5)~(8)将可见光与红外图像分别分解为小尺度层、大尺度层和基础层。基于滚动引导滤波融合的框架如图 2所示。

图  2  基于多尺度分解的滚动方向导波融合流程图

Figure  2.  Flow chart of fusion based on MSD of the rolling guided filter

下载: 全尺寸图片 幻灯片

2.   分解后的信息合成

2.1   小尺度层的信息合成

通过图 2融合流程图的展示可知，利用RGF方法将可见光与红外图像分别分解后所得的第一层细节层作为小尺度层。由于细节层系数的绝对值越大，对应的特征越显著，所以在小尺度层上采用传统的“绝对值最大”融合规则对细节层进行合并。

首先给出绝对值最大的系数W^j：

那么在小尺度层的复合信息利用下式进行计算：

2.2   大尺度层的信息合成

与可见光图像相比，红外图像通常含有大尺度的结构信息，但缺乏视觉细节信息并含噪声。在更高层的细节层如果简单地使用传统的“绝对值最大”融合规则，不考虑红外和可见光图像之间的不同特性，可能会融合来自源图像不相关的细节信息，以及红外图像的噪声。为了使融合后的图像更自然，更适合人类视觉感知，我们称自第二层开始的细节层为大尺度层，结合文献[9]，提出WLS融合规则。

为了减少噪声，我们将公式(9)的融合系数利用高斯滤波器进行平滑，即：

在此取σ_s＝2。然后依然利用“绝对值最大”融合规则，得到融合后第j层的细节层。

然后利用公式(11)来获得优化后的第j层的细节层。

公式(13)中的权重参数a_p^j定义为$ {a}_{p}^{j}\text{=}（\left|{\displaystyle \sum _{q\in {\omega }_{p}}{({d}_{1}^{j})}_{q}}\right|+\varepsilon {)}^{-1} $，其中p表示像素的空间位置，为了防止公式中绝对值等于零无法计算a_p^j，添加一个取值很小的常数ε，令ε＝0.0001。ω_p是以像素p为中心的正方形窗口，为了使得融合后图像不模糊，并且避免噪声和无关信息的产生，本文取窗口为7×7大小。公式(13)中一共有两项，第一项(D_p^j－M_p^j)²是优化前后的细节层之间的欧氏距离，第二项主要目的是为了让优化后的细节层更加接近可见光图像细节层，λ是权衡这两项的一个参数，本文中令λ＝0.01。若是区域内红外图像包含噪音并且有无关细节信息时，$ \left| {\sum\limits_{q \in {\omega _p}} {{{(d_1^j)}_q}} } \right| $取值变小导致系数a_p^j变大，使得更多红外图像可见细节融入到融合后的细节层，这将使融合后的图像在视觉上更加悦目，更适合人类的感知。如果其他区域中包含较多红外线光谱信息时就会与窗口区域形成较强对比度，这时$ \left| {\sum\limits_{q \in {\omega _p}} {{{(d_1^j)}_q}} } \right| $取值变大，从而系数a_p^j变小，公式(13)此时等同于“绝对值取最大”融合规则，并且“绝对值取最大”融合规则非常适合此情况。通过分析可知，无论何种情况下公式(13)所提供的融合方法都能很好地解决可见与红外图像细节层融合特征不同而导致的问题，提高视觉效果。

2.3   基础层的信息合成

常见的基础层融合方法容易导致对比度降低，为了避免对比度的损失，我们引入VSM融合方法对基础层进行融合。VSM方法根据像素与所有其他像素的对比度来定义像素的显著性^[16]。

让I_p表示图像I中像素p的强度值，像素p的显著值V(p)定义为：

式中：L表示I中的像素总数。将V(p)规范化后其取值在[0, 1]之间，令V₁和V₂分别表示输入的红外图像和可见光图像利用公式(14)计算得到的显著值，则红外与可见光图像基础层的融合结果可以通过公式(15)得到：

其中，$ {W_b} = 0.5 + \frac{{{V_1} - {V_2}}}{2} $。通过公式(15)，如果在某些位置V₁＝V₂，则权重W_b变为共同的平均值。如果V₁大于V₂，则权重W_b将大于0.5，因此将融合来自底基础层B₁的更多信息。反之，则会融合来自基础层B₂的更多信息。

最后的融合结果为：

3.   实验结果与分析

3.1   测试集与相比较的融合方法

为了验证本文所提出方法的融合效果，选取如图 3所给的10组红外与可见光图像的测试集（来源于http://www.imagefusion.org/）。本文所提的方法记为RGF_GSE，与本文所提方法进行比较的融合方法有RGF_GS（文献[9]所提方法），GFF方法和MGF方法，以及离散小波变换方法（discrete wavelet transform, DWT）和曲波变换方法（curvelet transform, CVT）。

图  3  测试集

Figure  3.  Test set

下载: 全尺寸图片 幻灯片

3.2   图像质量评价指标

为了更加客观地评价融合的效果，本文采用6种常见的融合指标对各种融合方法进行客观质量评价。6种融合指标分别为度量图像中信息丰富程度的熵（Entropy, EN），度量融合图像中结构信息的标准偏差（standard deviation, SD），度量从源图像传递到融合图像的信息熵（tsallis entropy, Q_TE）^[17]、度量输入图像与融合图像之间的非线性相关信息熵（nonlinear correlation information entropy, Q_NCIE）^[18]，度量图像的感知显著性（perceptual saliency, PS）^[15]，以及所用时间（time，单位为秒）。在评价的过程中，这些评价指标的数值除时间值越小越好，其指标数值越大说明融合效果越好。

3.3   融合后的主观评价

鉴于文章篇幅的限制，从10组融合结果中给出其中两组的融合结果进行比较，如图 4所示。通过观察融合结果发现，两组实验结果中利用DWT与CVT方法融合结果中都出现了“块”，这是因为两种方法都是采用多尺度分解+SR的融合框架，而稀疏的融合规则会导致融合结果中出现“块”。并且采用这两种方法所得融合图像较为模糊，辨识度低。采用GFF方法与MGF方法所得两组融合结果中图像对比度比较低，并且图像中有些边界较为模糊，例如第一组实验结果中的树木和花草基本无法辨识，只是一个轮廓；第二组中栅栏与周围植物基本无法分辨，视觉效果差。利用RGS_GS方法融合所得的实验结果与之前的4种方法对比，没有出现“块”，对比度也得到了提高，两组融合结果中边缘处理的也较为理想，但是也有一些不足之处。例如，第一组融合结果中植物辨识度也不是很好，地面与墙面较为模糊；第二组中植物轮廓不分明，某些区域对比度低。采用本文提出的方法RGS_GSE所得到的融合结果，视觉效果好，整个融合图像的对比度高，两组图像中的植物轮廓分明，树叶与花朵都能分的很清楚。并且某些细节处理很好，例如第一组融合结果中右边墙面上有很多均匀的竖线，都看得很清楚，这些竖线在其他方法的融合结果中根本看不到；在第二组融合结果中栅栏、房屋上的烟囱都很清楚。

图  4  两组实验结果图

Figure  4.  Two sets of experimental results

下载: 全尺寸图片 幻灯片

通过实验结果展示和分析可以看出，本文所提出的方法无论是在细节处理、边缘保护还是在对比度提升上都有很好的表现，所得融合图像适应人类视觉感知，有很好的视觉效果。

3.4   融合后的客观评价

表 1给出的是10组图像经不同融合方法后所得客观评价指标的结果，由于篇幅原因，表中的数据是10组图像在同一方法、同一指标取平均值。通过观察6种客观评价指标的测试数据（黑色表明结果最好），本文所提出的方法在其中4项的评价指标中都是最好的，有一项的指标在6种方法中数据是排在第二的，在耗时方面没有MGF和GFF两种方法优化。这主要是由于本文所提方法需要对可见光图像进行增强，会耗费一定时间，并且MGF与GFF方法的特点就是分解方法简单，融合用时少。但是综合考虑融合效果和用时的细微差距，本文给出的融合方法在边缘保护、细节的融合处理以及视觉效果等方面都有不错的表现。

表  1  用DWT、CVT、GFF、MGF、RGF_GS和RGF_GSE方法融合得到的指标

Table  1.  Comparison with DWT, CVT, GFF, MGF, RGF_GS and RGF_GSE of different processing results

Criteria	DWT	CVT	GFF	MGF	RGF_GS	RGF_GSE
EN	7.0418	7.0821	6.7096	6.6521	6.6325	7.1212
SD	42.9531	41.8259	34.9514	33.4429	36.0834	43.0536
QTE	0.3753	0.3713	0.41158	0.3804	0.3964	0.41163
QNCIE	0.80951	0.8083	0.8101	0.8059	0.8067	0.80952
PS	21.4059	20.7318	19.7443	18.4000	19.5114	24.8152
Time/s	2.03902	2.7364	1.5646	1.6532	1.9215	1.6604

下载: 导出CSV 

| 显示表格

4.   结论

本文提出一种基于滚动引导滤波的可见光与红外图像融合方法，首先利用引导滤波对可见光图像的内容进行增强，提高可见光图像在照明条件不好情况下的融合效果。同时，为了提高融合图像的视觉感知以适应人类视觉，并实现红外图像与可见光图像不同特征信息的融合，本文利用滚动引导滤波将源图像分解为小尺度层、大尺度层和基础层。在大尺度层的信息合并中，采用WLS融合规则解决可见光与红外图像不同特征，使融合后的图像更加适应人类感知。为了降低对比度的损失，在基础层的信息合成过程中使用了VSM优化的融合方法。主观评价与客观评价也证实了本文方法的有效性。