0.   引言

图像融合可以将多幅不同成像机制的同一场景图像通过融合算法合成为一张新的图像，以有利于人眼观察和计算机处理^[1]，目前已经在医学^[2]、遥感^[3]、军事^[4]等邻域得到广泛运用。红外图像和可见光图像融合旨在利用图像融合算法运用红外图像和可见光图像的不同成像特点得到场景内目标更全面、清晰、准确的图像^[5]。红外获取的图像不依赖于光照条件，抗干扰能力较强，但通常对比度和分辨率都较低，不能有效获取目标场景的细节信息^[6]。可见光图像通常分辨率较高，边缘纹理等细节信息丰富，但依赖于光照条件^[7]。红外图像与可见光图像之间有很强的信息互补性，充分利用两种图像信息的互补性，将这两种图像进行融合，可以得到目标场景清晰的图像。红外图像和可见光图像融合技术在军事、安全等邻域已经有较为广泛的运用^[8]。

像素级的图像融合方法包含空间域融合和变换域融合方法。空间域的融合方法在像素层面上进行融合，复杂度低，但融合图像通常信息保留不完整^[9]。变换域融合方法是基于多尺度变换理论将图像进行多层分解，得到源图像的低频近似子带和高频细节子带^[10]。利用低频子带和高频子带的不同特点将低频子带和高频子带分别采用不同的融合规则融合，最后通过逆变换得到重构的融合图像。常用的多尺度变换如：金字塔变换、小波变换、轮廓波变换、非下采样Contourlet变换^[11]等。金字塔变换的数据冗余度高且缺乏方向性^[12]; 小波变换克服了金字塔变换的缺点，在不同尺度上具有水平、垂直和对角线3个方向的分解信息^[13]; 在一定程度上提高了图像融合的效果; 但在二维奇异曲线的表示上还具有局限性; Curvelet变换^[14]的提出旨在更好地解决曲线奇异性问题; 轮廓波变换是文献[15]提出的一种图像二维表示方法，能够更好地表示图像轮廓，但低频子带和高频子带中存在频谱混叠现象^[16]，为消除轮廓波变换的频谱混叠现象，文献[17]中提出的非下采样轮廓波变换（non-subsampled contourlet transform, NSCT），删除了下采样操作，具有更好的频谱特性^[18]。

本文算法对源图像首先进行初处理，然后对其进行NSCT分解。低频子带利用红外图像显著性图进行加权融合，在获取显著性图时，对传统FT算法进行基于引导滤波的改进以突出边界显著性; 对高频子带采用基于马氏距离加权的拉普拉斯能量和取大的融合规则以获得更多的细节信息。实验结果表明，本文算法相较传统小波变化和NSCT变换等算法而言，不仅在主观视觉上表现较好，在客观评价上也有较好的表现。

1.   非下采样Contourlet变换

轮廓波变换不具有平移不变性的原因就在于拉普拉斯金字塔和方向滤波器组中存在的上采样和下采样。在NSCT中，为保留变换的方向和多尺度属性，拉普拉斯金字塔被替换为非下采样金字塔滤波器组（non-subsampled pyramid filter banks, NSP）以保留多尺度属性，以及将非下采样方向滤波器组（non-subsampled direction filter banks, NSDFB）用于方向性分解。在图像进行S层NSCT变换后，我们可以得到1个低频子带图像和$\sum\nolimits_{s = 1}^S {{2^{{k_s}}}} $个方向子带，其中s是分解层数，k_s是第s层的方向分解级数。

进行NSCT分解时，对源图像首先经过塔形分解为高通和低通，对高通部分再进行多方向分解，低通部分继续进行二层分解^[19]。如图 1为NSCT两层分解的示意图。

图  1  NSCT分解过程

Figure  1.  The decomposition process of NSCT

下载: 全尺寸图片 幻灯片

2.   对比度受限的自适应直方图均衡化

可见光成像容易受光照等条件的影响，获取的图像有时对比度较低，使用这样的源图像进行融合会丢掉很多图像目标细节信息，因此需要对源可见光图像进行对比度增强^[20-21]。对比度受限的自适应直方图均衡（contrast limited adaptive histogram equalization，CLAHE）将图像划分为若干个小块，对每个子块的直方图做裁剪，然后将裁剪的部分均匀地分布在整个灰度区间上。在将图像进行分块处理时，图像容易出现块状效应，为解决这个问题，每个子块上像素点的值由它周围4个子块的映射函数进行双线性插值得到，角点处像素点由该子块的映射函数得到，边缘子块的像素值则以相邻两个子块的映射函数做线性插值得到。

本文采用CLAHE算法对可见光图像进行对比度增强，分别使用传统直方图均衡化算法（histogram equalization, HE）和CLAHE算法对可见光图像增强的结果如图 2所示。

图  2  可见光图像对比度增强

Figure  2.  Visible image contrast enhancement

下载: 全尺寸图片 幻灯片

3.   引导滤波改进的图像显著性图

人眼在观察一幅图像时，有些区域会引起人眼极大的兴趣，有些区域则会被忽略。而红外图像中的目标通常为人眼视觉的显著性区域，以人类视觉机制为基础，构建图像显著性模型^[21]，将人眼对图像各区域感兴趣的程度使用灰度信息进行量化，即可获得图像的显著性图。

FT算法是提取图像显著性图的一种常用算法，FT算法获取图像显著性图的算法如下式(1)所示：

式中：I_μ为输入图像I的均值; I_gauss(i, j)为输入图像经高斯滤波后的图像在点(i, j)处的像素值。

高斯模糊在对图像进行细节平滑滤波时会使图像边缘也变得模糊，而引导滤波作为一种可以保持图像边缘的滤波方法可以有效地在滤波过程中保持图像的边缘，可以有效突出图像显著性区域的边界，基于此，本文使用引导滤波对传统FT算法进行改进，提出基于引导滤波的红外图像显著性图提取方法。引导滤波是一种自适应滤波器，能够在平滑图像的同时起到保持边界的作用^[22]。引导滤波处理图像时，通过一张引导图I对输入图像p进行滤波处理，滤波后的输出图像与输入图像的纹理部分与引导图像相似。在使用引导滤波时，如果引导图像与输入图像相同，此时引导滤波成为一个保持边缘的滤波操作。在局部窗口内使用线性模型，使得滤波器输出结果与引导图在局部窗口内的梯度一致。引导滤波函数的输入和输出在一个局部窗口内满足线性关系如下式(2)：

式中：I为引导图像; q为输出图像; ω_k是中心像素点为k的局部窗口; a_k和b_k为当前窗口通过最小成本函数E(a_k, b_k)获得，如下式(3)所示：

式中：ε是用来调节a_k，防止a_k过大的参数，对代价函数进行求解，可以得到a_k、b_k得最优解。

式中：μ_k为局部窗口内引导图像I的均值; σ_k为局部窗口内引导图像I的方差; |ω|为局部窗口大小; p_k为输入图像在局部窗口内的均值。由于滤波窗口滑动，同一个像素会出现在不同的窗口中，对同一像素位置在不同窗口下的a_k、b_k取平均值得到该像素位置的滤波参数，则某一像素点的滤波输出为：

其中：

假设G(x, y)为红外图像同时作为引导图像和输入图像输入到引导滤波中的输出图像，将此输出图像代替公式(1)中的高斯滤波图像，因此，基于引导滤波改进的FT算法显著性图计算公式如下：

将获得的红外图像显著性图进行归一化：

式中：maxS_g和minS_g分别为S_g的最大灰度值和最小灰度值。最后对归一化的显著性图做对比度拉伸得到最后的红外图像显著性图，拉伸函数如下式(9)：

4.   马氏距离加权的拉普拉斯能量和

传统的拉普拉斯能量和（sum of modified Laplacian, SML）^[23]使用水平和垂直两个方向来计算拉普拉斯能量值，为获得更好的细节信息表征效果，本文计算4个方向上的拉普拉斯能量值，其计算方式如下式(10)：

马氏距离可以计算样本到样本“重心”之间的距离，样本到样本“重心”的距离越大^[24-25]，表明该样本与总体偏离越远，与样本的相关度越低，使用马氏距离对拉普拉斯能量进行加权求和。设以点(x, y)为中心的3×3邻域Q_{x, y}内ML的均值和协方差为μ、σ，则邻域内的点(i, j)到该邻域内基于拉普拉斯能量ML的马氏距离为：

使用函数1/e^x将马氏距离映射到[0, 1]区间内计算拉普拉斯能量求和的权值，但指数函数运算给计算机硬件实现带来了极大的不便，因此采用麦克劳林公式对指数函数e^x进行分式展开如下：

由此，使用1/e^x的逼近函数1/(1+x)计算拉普拉斯能量和的权值：

则使用马氏距离加权计算的点(x, y)的改进拉普拉斯能量和SL为：

5.   融合算法

本文结合NSCT变换的系数特点和可见光与红外图像的成像特点，首先对可见光图像进行对比度增强处理，并将红外图像与CLAHE处理后可见光图像经过NSCT变换分解为低频近似图像和一系列高频细节图像; 低频图像是源图像的一个近似图像，对低频图像使用红外显著性图融合; 高频图像中包含了图像的细节纹理信息，使用马氏距离对拉普拉斯能量和进行改进，对高频采用改进拉普拉斯能量和取大的融合规则进行融合; 融合的低频图像和高频图像经过NSCT逆变换后获得最终融合图像。如图 3为本文算法融合框架图。

图  3  融合框架

Figure  3.  Fusion framework

下载: 全尺寸图片 幻灯片

对CLAHE增强后的可见光图像VIS和红外图像IR进行NSCT多层分解，设C_L^vis和C_L^ir分别为VIS和IR的低频系数，C_{s, k}^vis和C_{s, k}^ir分别表示VIS和IR的第s层第k个方向的高频系数。对低频系数采用红外图像的显著性图进行加权融合，其融合规则为：

其中权值：

对高频系数采用马氏距离加权改进的拉普拉斯能量和取大的规则进行融合。

6.   实验结果分析

为验证本文算法的有效性，将本文算法（NSCT-M）与多种融合算法融合的红外图像和可见光图像进行实验对比，如图 4所示为可见光图像和红外图像源图像。第一组图像为白天拍摄的远距离海上船只的图像，第二组图像为白天拍摄的目标与背景难以区分的图像，第三组图像为夜间拍摄的街道场景。

图  4  可见光源图像与红外源图像

Figure  4.  Source image of visible light image and infrared image

下载: 全尺寸图片 幻灯片

如图 5为3组实验图像对比结果，对比实验设置为：小波变换（DWT）融合方法的源图像采用二维离散小波变换分解，低频采用取均值的融合规则、高频采用区域能量取大的融合规则。基于NSCT分解的融合算法以及本算法采用三层分解。NSCT融合低频采用取均值的融合规则、高频采用区域能量取大的融合规则; NSCT-FT融合低频采用红外图像FT显著性图提取加权融合的规则、高频采用区域能量取大的融合规则。NSCT-M为本文所提的融合框架算法。

图  5  实验图像对比

Figure  5.  The comparison of experimental images

下载: 全尺寸图片 幻灯片

从主观视觉上看，本文所提算法在图像清晰度以及细节边缘的保持上都优于其他3组融合算法。为进一步验证实验的有效性，使用信息熵（information entropy, EI）、标准差（standard deviation, SD）、平均梯度（average gradient, AG）和空间频率（spatial frequency, SF）图像融合客观评价指标对3组实验融合图像进行客观评价。从表 1的客观评价指标上分析，本文算法相对其他算法保留的图像信息更多、图像清晰度更高、细节纹理信息也更丰富。

表  1  融合图像客观评价结果

Table  1.  Objective evaluation results of fusion image

Image name	Fusion method	EI	SD	AG	SF
Ship	DWT	4.9016	10.4666	1.4100	3.1531
	NSCT	4.9139	10.4807	1.3980	3.1546
	NSCT-FT	5.9540	21.1184	1.6376	3.9024
	NSCT-M	6.5735	25.8154	4.7976	10.1821
Man	DWT	6.5266	31.5238	2.9829	5.5125
	NSCT	6.5491	31.7851	3.2272	6.3206
	NSCT-FT	7.1864	61.6516	3.4935	7.1168
	NSCT-M	7.6698	58.7864	8.8359	15.5185
Street	DWT	5.9299	20.6524	3.1668	7.7725
	NSCT	5.9442	21.8888	3.7054	12.7396
	NSCT-FT	5.5269	33.4513	4.0396	13.8090
	NSCT-M	6.8136	41.2933	8.4553	20.3821

下载: 导出CSV 

| 显示表格

7.   结语

本文算法利用NSCT变换的系数特点，利用可见光图像与红外图像之间信息的互补性与冗余性，对红外图像和可见光图像进行融合。针对可见光对比度低的问题，采用对比度受限的直方图均衡算法调整可见光图像的对比度。在对低频图像进行融合时，使用引导滤波改进的FT显著性图提取算法对红外图像提取显著性图，利用红外图像显著性图对低频图像做加权融合; 在对高频图像进行融合时，针对传统算法通过四领域计算拉普拉斯能量的局限，本文使用八邻域计算拉普拉斯能量，并使用马氏距离对邻域内的拉普拉斯能量进行加权求和，最后使用改进的拉普拉斯能量和取大的规则对高频图像进行融合。理论分析与实验结果及指标表明，本文算法在主观视觉图像上和客观评价指标上都有较好的表现。