0.   引言

红外传感器可以捕捉到物体发出的热辐射，由于其良好的隐蔽性，受环境影响比较小，可24 h全天候工作。其特殊的成像系统可摄取人体温度分布的热图像，探测电气设备的不良接触、以及过热的机械部件，也可用于目标检测，使得红外成像被广泛应用在军事、工业及民用等领域^[1-4]。红外波段的辐射波长短于无线电波，长于可见光，空间分辨率高于雷达，但低于可见光^[2]。由于目标与传感器距离较远，红外辐射会受到大气热辐射的影响，使得红外图像的灰度分布不均匀，对比度比较低，细节不明显且易缺失，不易于观察和识别^[5-8]。因此，提高红外图像的对比度并增强细节成为红外图像处理的关键。

传统红外图像增强算法主要是基于映射的算法，这类算法以合适的映射关系来表达原始图像和增强图像之间的关系，常见的算法为直方图均衡（histogram equalization，HE）。HE算法能有效地增强图像对比度，但会因灰度级合并而造成细节信息的丢失。Wang等^[9]提出在红外图像直方图计算中引入相邻像素之间的二维差分信息，在不过度增强的情况下增强了对比度。Wan等^[10]采用局部加权散点平滑算法和局部最小值检验分割灰度直方图，对前景子直方图采用局部对比度加权分布均衡，但增强效果不稳定，边缘和纹理易模糊。该类算法复杂度低、能有效地增强图像对比度，但图像的轮廓和边缘纹理等信息因为对细节的忽视而不够凸显。

为了对细节信息进行增强，各国学者相继提出了各种红外图像细节增强算法。在高动态范围红外图像增强领域中，文献[11]提出一种基于双边滤波的增强算法（bilateral filter and digital detail enhancement algorithm，BF & DDE），该算法提出运用双边滤波将图像分为低频信息构成的基础层图像和高频信息构成的高频层图像，再用不同的算法对两层图像进行处理。文献[12]提出了一种基于引导滤波的增强算法（guided image filter and digital detail enhancement algorithm, GIF & DDE）。该算法将BF & DDE中的双边滤波替换为对边缘和纹理保留效果更好的引导滤波，对细节信息进行增强，由于引导滤波是将边缘和纹理信息保留在了基础层，其细节层含有边缘和纹理信息过少，且该算法对基础层只进行了对比度拉伸，导致其对细节层图像增强后的边缘和纹理不够突出。Chen等^[13]提出一种利用能量梯度函数与多尺度引导滤波相结合的方法，在动态范围压缩时能够较好地保留图像的细节，但仍不满足主观上边缘和纹理信息突出的需求。

根据上述方法的特点和缺陷，本文提出一种基于多尺度加权引导滤波的图像增强方法。在滤波分层方面，本文方法提出将带转向核的引导滤波^[14]与迭代多尺度方式相结合对图像进行分层处理，以获得更完整的细节；在基础层方面，采用限制对比度的自适应直方图均衡进行增强处理；在细节层采用基于Markov-Poisson分布的最大后验法和Gamma校正增强其细节信息。最后对基础层图像和细节层图像进行线性融合得到细节增强后的图像。该方法能对图像进行对比度拉伸的同时增强其细节信息，使图像的纹理和边缘更加清晰明显。

1.   相关理论

1.1   加权引导滤波理论

引导滤波（guided image filter, GIF）^[15]是一种基于局部线性模型的平滑滤波器，引导图像为本身时，对图像的边缘和纹理信息有较好的保护作用。引导滤波在某像素点处的输出可以表示为一个加权平均的形式，如下式：

式中：q_i为输出图像；i和j代表像素的坐标；p_j为输入图像；I为引导图像；W_ij是引导图像I的权重函数，其表达式如下：

式中：μ_k、$ \left\| \omega \right\| $是半径为r、中心为像素k的窗口ω_k内像素点的均值和像素个数；而I_j和I_i为引导图像的像素值，σ_k²是窗口ω_k内像素点的方差。$ \epsilon $则是惩罚系数，在ω_k不变的情况下，$ \epsilon $越大，滤波后的图像越平滑。滤波窗口的半径r决定了滤波的能力，r越大，窗口越大，参与滤波的像素点也就越多，滤波输出也就越平滑。

引导滤波器假定在以像素k为中心的局部方形窗口ω_k内，滤波输出q是制导图像I的线性变换，则其局部线性模型的表达式为：

式中：a_k、b_k是窗口中不变的线性系数，其值通过最小化代价函数确定，代价函数的表达式为：

由参考文献[16]可知GIF在滤波的同时还能保护边缘，但是由于对于任意窗口，其惩罚系数都采用同一值，忽略了像素间的差别。为此，文献[17]提出一种加权引导滤波（weighted guided image filtering，WGIF），采用基于窗口像素方差的边缘权重因子ϕ_I(k)来调节惩罚系数，公式(4)变为：

由上述公式和文献[17]可知加权引导滤波对局部窗口有一定的适应性。为了进一步提高引导滤波对局部窗口的适应性，Sun^[14]等人提出一种带导向核的加权引导滤波（weighted guided image filtering with steering kernel，SKWGIF），将归一化局部转向核（steering kernel）^[18]代入引导滤波中，表达式为：

式中：h为控制核的平滑参数，x_i和x_k为像素坐标。C_i是由以像素i为中心的ω_k局部窗口计算得到的对称梯度协方差矩阵，式(3)变为：

由公式和文献[14]得，引入局部转向核的SKWGIF比GIF和WGIF有更好的边缘保持性。

1.2   限制对比度的自适应直方图均衡

红外探测器的原始图像经过滤波处理后存在对比度低，图像整体偏暗等问题，对基础层必须进行对比度增强处理。直方图均衡（histogram equalization，HE）可以对红外图像进行对比度增强，但处理后的图像部分区域的对比度增强过大，成为噪点；且边缘处经过调整后变得过暗。为了避免上述问题，本文采用限制对比度的自适应直方图均衡（contrast limited adaptive histogram equalization, CLAHE）算法^[19]，该方法能有效地避免局部增强过大的问题，处理后的直方图分布更均匀，且能避免过度增强。CLAHE实现限制对比度的原理如下：

1）设定M×M大小的滑动窗口，则其局部映射函数M_i表达式为：

式中：H_DF(i)是局部直方图分布函数H_ist(i)的累积分布函数值。

2）灰阶映射函数的导数可视为对比度增强的幅度。局部映射函数M_i的导数S为：

由公式(9)可知，通过限制H_ist(i)即可限制对比度的增强幅度。

3）求出直方图的最大高度：

4）设定阈值T，如图 1所示，将高度大于T的直方图部分截掉，重新均匀地分布在直方图上，且最大值不会超过H_max，其中T为设定的阈值，L为补偿值。

图  1  直方图的剪切和重新分配

Figure  1.  Shear of histogram and redistribution

下载: 全尺寸图片 幻灯片

直方图的总面积不变，整体灰度图上升L高度，H_max，L和T之间满足以下关系：

重新分配后，得到的新的基础层图像的直方图分布为：

1.3   基于Markov-Poisson的最大后验概率

由于原始红外图像本身细节比较模糊，细节层的信息易丢失，导致其经过滤波处理的细节层图像含有的信息较少，分辨力下降，不利于人眼观察。为了合理地增加细节信息，本文采用超分辨率算法的思想对细节层进行处理。最大后验概率算法可用来增加图像的细节信息，但是增加的信息过于虚假，且与基础层相加会导致边缘纹理变得模糊；为了解决上述问题，文献[20-21]采用基于Poisson-Markov分布的最大后验概率算法（Poisson and Markov model Maximum a Posteriori, MPMAP）对细节层进行处理，其实现函数如下：

式中：g_ij为图像像素灰度值；n为迭代的阶数；β是控制迭代速度和算法收敛的控制系数；U(f)是Markov约束函数；α为约束重量不平衡部分的自适应正则化参数；I_{i, j}为处理后的图像。

经过该算法处理后的细节层图像如图 2所示，基于Poisson-Markov分布的最大后验法能够根据细节层图像合理增加图像的细节信息，使细节更明显，利于人眼观察。

图  2  MPMAP对细节层处理后效果对比图

Figure  2.  MPMAP effect comparison diagram after detail layer processing

下载: 全尺寸图片 幻灯片

2.   本文方法流程

本文提出的方法流程如图 3所示，先利用多尺度加权引导滤波器将图像分成基础层和多个红外细节层；其次，对第一层细节层图像进行基于Markov-Poisson的最大后验法处理，对第二层图像进行Gamma校正来对细节层进行增强，得到两幅增强后的细节层图像；同时对基础层图像进行限制对比度的自适应直方图均衡，得到增强后的基础层图像；最后将增强后的基础层图像与增强后的细节层图像线性融合，得到具有全局细节的增强图像。

图  3  本文算法流程

Figure  3.  Flowchart of this algorithm

下载: 全尺寸图片 幻灯片

其中，为了得到完整的细节层图像，本文对多尺度加权引导滤波进行改进，将转向核与加权引导滤波相结合，并对多尺度的实现方式做出改进（详细内容见2.1节）；对细节层图像采用MPMAP和Gamma校正进行处理而达到增强细节层并突出边缘和纹理的目的。

2.1   对多尺度加权引导滤波的改进

为了获得红外图像中更完整的细节，文献[13]中提到了一种基于迭代的多尺度引导滤波实现算法，其表达式为：

式中：F为输入的红外图像；B为滤波后的基础层图像；I为细节层图像，由原图像与滤波后的图像相减得到；k为迭代次数，代表该算法中共进行k次引导滤波。

为了对图像的边缘和纹理进行增强，本文对多尺度引导滤波做出改进，将GIF替换成SKWGIF（weighted guided image filtering with steering kernel），k＝2即采用两次引导滤波，将第一次引导滤波得到的细节层图像作为第二次引导滤波的处理对象，得到一层含有丰富细节信息的第一层细节层图像和含有边缘、纹理信息的第二层细节层图像。此时的多尺度加权引导滤波的公式定义为：

式中：B为滤波后得到的基础层图像；I为第一次滤波得到的细节层图像；I₁为第二次滤波得到的细节层图像，I₂为I减去I₁得到的第二层细节层图像。为保证第二层细节层图像含有边缘和纹理信息，需要将第一次的加权引导滤波的惩罚系数设置在0.16~0.25，第二次的加权引导滤波的惩罚系数设置为0.01~0.04。输入的红外图像F与输出的图像B、第二次滤波得到的细节层图像I₁和第二层细节层图像I₂的关系为：

2.2   对细节层进行MPMAP和Gamma校正的增强处理

对于多尺度加权引导滤波后得到的两幅细节层图像，由于第一层细节图像含有丰富的细节信息，本文采用MPMAP算法对第一层细节层图像做增强处理，合理增加其细节信息；对第二层细节层图像，采用Gamma校正达到增强其边缘、纹理信息的目的。对于基础层图像，采用CLAHE算法进行处理以达到拉伸对比度的目的。最后采用加权融合的方式对细节层图像和基础层图像进行融合。最终输出图像可以描述为：

3.   实验结果及分析评价

为验证本文方法的可行性及有效性，本文选取3个场景进行对比试验。选用的3个场景分别为：图 4(a)所示场景，该场景中包含的树干纹理信息较多，可作为算法处理后图像的重点观察对象；图 5(a)所示场景，该场景中包含车辆，树干，电线和马路，包含的细节信息较为丰富；图 6(a)所示场景，该场景中包含地面纹理信息较多且噪声较少，可作为算法处理后图像的重点观察对象。本文采取HE算法、Gamma校正算法、CLAHE算法、文献[10]提到的算法和本文方法分别对其进行处理，从主观和客观上进行对比和评价。其中，Gamma校正算法中的值设为0.8，本文算法中第一次和第二次加权引导滤波的惩罚系数分别设为0.01和0.06。

图  4  第一场景增强效果对比

Figure  4.  Comparison of enhanced effects in scene 1

下载: 全尺寸图片 幻灯片

图  5  第二场景增强效果对比

Figure  5.  Comparison of enhanced effects in scene 2

下载: 全尺寸图片 幻灯片

图  6  第三场景增强效果对比

Figure  6.  Comparison of enhanced effects in scene 3

下载: 全尺寸图片 幻灯片

从不同算法处理效果来看，HE算法容易使图像的对比度拉伸过于严重，导致部分细节信息丢失，且对细节层没有增强效果，如图 4(b)中，左上方中树的纹理信息丢失严重；图 6(b)中，人物的衣服、汽车轮胎处过亮，部分细节信息丢失。Gamma校正算法容易使图像局部过亮，导致细节丢失严重，如图 4(c)所示，整体偏亮且树干纹理较为模糊；文献[10]的算法对图像细节没有很好的增强效果，且细节模糊现象严重，如图 4(e)所示，左上方的树枝纹理与原图相比更模糊；CLAHE算法因对全局进行对比度拉伸，使得其对比度有较好的改善，但因未对细节层进行增强，导致对边缘、纹理的突出效果不明显，且容易突出噪声，如图 5(d)所示，天空中噪声严重。本文提出的方法由于采用多尺度加权引导滤波对图像进行分层处理，并对细节层进行MPMAP和Gamma校正处理，使得边缘和纹理明显、突出且清晰，如图 4(f)所示，与其他图像相比不仅对比度得到改善，同时树干的纹理明显、清晰且自然；图 5(f)中，与其他图像相比，右上方房屋的纹理的增强效果明显，路边的建筑边缘和纹理的突出效果明显；图 6(f)与其他图像相比，左边树的纹理得到改善，地面纹理清晰。

为客观评价各算法对图像的增强效果，本文采用信息熵（IE），熵增强（EME）^[22]和平均梯度（AG）3个客观指标对增强后的图像进行定量评价。其中，IE代表图像中的信息含量程度；EME是对图像局域灰度的变化程度的表现，局域灰度变化越强，图像表现出的细节越强；AG为图像梯度图上所有点的均值，反映了图像中的细节反差和纹理变化特征。表 1、表 2和表 3分别为图 4、图 5和图 6中各个算法处理后的图像的相关指标的计算结果。表 1、表 2和表 3可以看出，HE算法的信息熵最高，但是其EME和AG相对较低，反映出其细节信息较差。本文方法与HE算法、Gamma校正算法，CLAHE算法和文献[10]中提到的算法相比，其指标相对较高，说明本文处理后的图像具有较高的质量，细节信息得到较好的增强，且图 4(f)、图 5(f)和图 6(f)中纹理和边缘突出效果明显、清晰。综上可以看出本文方法红外图像增强效果较好，且具有可行性和优化性。

表  1  图 4对应图像IE，EME和AG指标

Table  1.  IE, EME and AG indexes of Figure 4 corresponding images

	HE	Gamma	CLAHE	Paper[10]	Ours
IE	7.9828	7.5672	7.7843	7.8271	7.8495
EME	10.9885	7.3383	10.1227	6.5807	12.7727
AG	0.0649	0.0425	0.1092	0.0495	0.1151

下载: 导出CSV 

| 显示表格

表  2  图 5对应图像IE，EME和AG指标

Table  2.  IE, EME and AG indexes of Figure 5 corresponding images

	HE	Gamma	CLAHE	Paper[10]	Ours
IE	7.9828	6.8359	7.446	7.2184	7.3183
EME	5.8178	2.4591	6.0818	4.3463	7.4671
AG	0.0175	0.0150	0.0272	0.0196	0.0317

下载: 导出CSV 

| 显示表格

表  3  图 6对应图像IE，EME和AG指标

Table  3.  IE, EME and AG indexes of Figure 6 corresponding images

	HE	Gamma	CLAHE	Paper[10]	Ours
IE	7.8740	7.5624	7.6260	7.5559	7.5566
EME	4.5674	3.5398	6.3457	3.6904	6.5143
AG	0.0204	0.0139	0.0206	0.0141	0.0211

下载: 导出CSV 

| 显示表格

4.   结论

为突出红外图像细节信息，使红外图像边缘和纹理清晰，本文提出一种基于多尺度加权引导滤波的红外图像增强方法。该方法将SKWGIF与多尺度引导滤波相结合对图像进行分层处理；对基础层用CLAHE算法，增强输出图像的对比度；采用MPMAP算法和Gamma校正算法对细节层进行增强处理，增加并突出输出图像的细节信息。实验结果表明，本文方法可以增强图像的对比度，同时对图像细节信息的增强效果明显，且增强后的图像纹理和边缘比较自然，清晰且明显。本文算法局限之处在于增强后的图像会出现块效应的现象。