0.   引言

红外图像增强是指提升红外图像的对比度和细节分辨能力，以达到丰富图像信息量、加强图像辨识效果以及改善红外图像可视化质量的目的。传统的红外图像细节增强方法可大致分为空域增强算法和频域增强算法两大类^[1]，空域类的红外图像细节增强算法计算复杂度相对较低从而广泛应用于实时红外成像系统中，典型的空域增强算法有基于线性映射的增强方法（如自动增益控制^[2]）、基于图像直方图调整的增强方法（如直方图均衡化^[3]）、基于图像分层的反锐化掩膜^[4]的增强方法等；频域增强算法需要傅里叶变换、DCT变换等方式将图像转换到某个变换域内进行处理，算法复杂度相对较高，典型的频域增强算法有基于Retinex^[5]、基于小波变换^[6]、Contourlet变换^[7]等。

其中，基于分层思想的红外图像细节增强算法^[8-10]相较于其他传统的增强算法，能更好地保留和增强原始宽动态红外图像的细节信息，从而成为了红外图像可视化研究领域的热点方向。因为通过具有场景边缘保持能力的高斯低通滤波器先将原始宽动态范围红外图像进行分层，以提取出原图像中的细节信息进行单独的增强处理，并对高动态范围的基础层进行动态范围压缩^[11]（一般由14位或16位压缩至8位），最后再将增强后的细节层与压缩后的背景层进行拟合相加。这样既实现了动态范围的压缩，同时可以有效保留原图细节信息并进一步进行细节信息的增强处理。

其中，如何选择分层滤波器以保证图像细节信息的有效分离出来，以及在增强细节信息的同时更好地抑制图像噪声是此类基于分层的红外图像细节增强算法的关键。基于此，本文在传统的引导滤波算法的基础上，将算法中的核心参数ε改为自适应，从而提高了引导滤波算法对不同场景图像的分层能力。此外，在自适应参数ε的基础上，本文进一步提出了基于噪声掩膜函数的细节层增强改进算法，该方法对不同清晰度图像的细节层整体增益水平和同一图像不同区域的局部细节信息增益水平，进行不同程度的调整，从而实现在增强图像细节信息的同时更好地掩蔽图像噪声。

1.   引导滤波器

常用的红外图像保边分层滤波器有双边滤波器^[12]，引导滤波器^[13]，最小二乘滤波器^[14]等。引导滤波器是以局部线性模型为基础的线性滤波器，所以算法的计算复杂度要远远小于其它非线性保边滤波器，此外引导滤波器可以更好地保护原图像的边缘梯度信息，从而有效地减少了图像“梯度反转”现象^[15]的出现。假设输入图像为p，输出图像为q，引导图像为I，q与I在以像素k为中心、r为半径的窗口ω_k中存在局部线性关系如式(1)所示：

当计算a_k和b_k时，每个像素在不同的窗口ω_k下计算得到的q将不同，所以为提高计算效率可在ω_k遍历全图后取a_k和b_k均值，以得到引导滤波后输出图像q，即表示为式(2)：

而且当引导图像等于输入图像，及I＝p时，引导滤波器可以作为边缘保持滤波器而表现出保边滤噪的特性，此时求得a_k和b_k可以表示为式(3)：

式中：σ_k²为窗口图像ω_k的方差；$ \overline {{p_k}} $为待滤波图像p在窗口ω_k内的均值；ε为防止a_k过大的正则化参数。由上式可以看出当滤波窗口处于像素灰度变化小的平坦区域时，局部方差σ_k²较小，使得a_k值趋于0，从而b_k值将接近于窗口均值$ \overline {{p_k}} $，此时引导滤波近似于加权均值滤波；而当滤波窗口处于图像灰度变化较大的边缘处，局部方差σ_k²值较大，a_k近似于1，而b_k趋于0，此时滤波效果很弱，滤波输出值和原始图像的灰度值很接近，从而起到了保护图像边缘信息的作用。

2.   改进的参数自适应引导滤波分层及细节增强算法

本文将基于图像分层的原理对原始红外图像进行动态范围压缩和细节增强处理，其中分层滤波器采用本文提出的参数自适应引导滤波器；对图像进行分层后，采用基于对比度受限的局部直方图压缩算法^[16]对图像基本层进行动态范围压缩；同时提出基于噪声掩膜函数的细节层增强改进算法对图像细节层进行处理；最后将处理后的图像基本层和细节层进行合并，得到最终的动态范围压缩和细节增强的红外图像。

2.1   引导滤波参数ε自适应算法

由公式(3)可知，对a_k值影响的两个变量为局部方差σ_k²和ε值，基于上一节中对引导滤波器的分析可以进一步得出：当σ_k²值远小于ε值时，a_k值趋于0，引导滤波后图像的细节提取能力强；当σ_k²值远大于ε值时，b_k值趋于0，引导滤波后图像的细节提取能力弱。而局部方差σ_k²由原始红外图像的自身灰度值决定，所以滤波参数ε值的选择在很大程度上影响着滤波分层的效果，但传统算法中ε的值一般设定为一个固定参数。

图 1(a)、(b)和图 1(c)、(d)，分别为能见度较高的晴朗天气和能见度较低的阴雨天气的场景下不同ε取值引导滤波细节增强处理结果。可以看出图 1(a)最终的细节增强效果明显好于图 1(b)，说明较高的ε取值，针对能见度较高、目标能量较强、场景细节信息明显的清晰红外图像，由于滤波效果较强，提取的细节信息较多，能取得更好的处理效果；但图 1(c)最终的细节增强效果却比图 1(d)差，说明较低的ε取值引导滤波，针对雨雾天等能见度较低、目标场景能量较弱、场景细节信息不明显的模糊红外图像，反而能取得更好的细节增强效果，而较高的ε取值引导滤波的强滤波能力此时起不到很好的边缘保护的分层作用，图像将被过度平滑，细节层中将包含过多的图像梯度纹理信息，从而导致细节增强效果较差。所以固定的ε值对不同场景下的红外图像不一定都能取得较好的滤波分层效果。

图  1  不同能见度场景下ε的不同取值时引导滤波细节增强处理结果

Figure  1.  Guided filtering detail enhancement processing results for different values of ε in different definition scenes

下载: 全尺寸图片 幻灯片

上文中已经分析了局部方差σ_k²和ε值之间的比较关系对图像滤波效果的影响，所以只要建立起局部方差σ_k²和ε值两者之间的映射关系，将不同场景下的原始红外图像局部方差σ_k²值作为参量来自适应的求取合适的ε值，滤波器的场景适应性将极大的提高。而本文考虑到局部方差σ_k²值反映的是图像的细节和边缘纹理，而σ_k²统计信息直方图又可以作为σ_k²分布情况的重要参考，基于此，本文将结合不同图像的σ_k²统计直方图特性作为依据来求取相应的ε值。

图 2(a)、(b)分别为图 1(a)和图 1(c)的原图局部方差统计直方图，直方图横坐标表示局部方差数值大小，纵坐标表示其相应的统计数量。从图 2的两幅统计直方图可以看出图像的局部方差统计信息分布很广（所以两幅图像的统计信息都只截取到6000的局部方差值），且局部方差值大部分都较小，但是由于局部方差σ_k²值反映了图像的细节和边缘纹理，所以图 2(a)细节纹理丰富图像的局部方差统计直方图的统计信息分布更宽，且相比于图 2(b)细节纹理不丰富图像的局部方差统计直方图，图 2(a)在局部方差较大的区间σ_k²分布数量也更多，但在局部方差较小的区间图 2(a)中σ_k²的分布数量却又比图 2(b)要少很多。基于以上分析，本文进一步考虑用局部直方图中σ_k²的均值来求取ε值，其表达式如式(4)所示：

图  2  细节纹理丰富图像和细节纹理不丰富图像局部方差直方图对比

Figure  2.  Local variance histogram comparison of images with rich detail texture and images without rich detail texture

下载: 全尺寸图片 幻灯片

式中：$ k $表示ε调整系数；$ \left| {\sigma _k^2\left( \mu \right)} \right| $代表各级局部方差的数量；ε表示σ_k²的均值，这里为简化计算复杂度本文取局部方差值小于5000的σ_k²的均值。从上式可以看出在细节纹理丰富的图像中，可以根据其σ_k²的分布情况来自适应求得更大的ε值，而在细节纹理不丰富的阴雨天等图像场景中，可以根据其σ_k²的分布情况来自适应求得更小的ε值。从而满足了对ε的取值在不同场景下的需求。

图 3为本文提出的自适应ε引导滤波细节增强算法在不同场景下处理结果对比。从图 3可以看出本文算法求得的ε值基本符合我们前文中对理想的ε取值的预期，且基于本文算法求得的ε值在不同场景下都可以得到比较好的处理效果。

图  3  本文自适应ε引导滤波细节增强算法处理结果（k取2）

Figure  3.  Processing results of the adaptive ε-guided filtering detail enhancement algorithm in this paper (k = 2)

下载: 全尺寸图片 幻灯片

2.2   基于噪声掩膜函数的细节层增强改进算法

对细节层的处理对于最终的细节增强效果好坏有着重要的影响。而基于视觉掩蔽效应的细节拉伸方法是目前最常用的细节层增强和噪声抑制方法之一，视觉掩蔽效应^[17]理论认为：平坦区域的噪声对人眼视觉系统的刺激比复杂纹理区域中的噪声要更大，所以平坦区域的噪声将明显降低图像的可视化效果，而噪声在图像灰度信息丰富的区域却表现出了低可见性。文献[18]基于这种视觉掩蔽效应提出了噪声可见度函数，其表达式如式(5)所示：

式中：M(i, j)表示基于图像局部方差的噪声掩膜函数；ω为调节参量。从上式可以看出，噪声可见度函数与表征图像局部信息丰富程度的噪声掩膜函数的值成反比：当区域中的灰度信息丰富时，噪声的可见度较低；而当图像处于灰度信息较少的平坦区域时，图像噪声将更为凸显。基于上述噪声掩膜效应，基于双边滤波的色调映射算法（bilateral filter and dynamic range partitioning，BF & DRP^[19]）、基于引导滤波器的图像细节增强算法（guided filter and dynamic detailed enhancement，GF & DDE^[20]）等算法将图像滤波分层过程中计算得到的某些权值和中间系数来作为对图像噪声进行抑制的掩膜，得到细节层增益基本计算公式如式(6)所示：

式中：g_max和g_min分别为图像的高、低增益值系数，代表了图像的增益范围，取值一般在（1~2.5）；f(i, j)是表示图像区域灰度信息丰富程度的关系式。但是上式(6)仅对图像细节层进行单一的指定增益区间的拉伸处理，却没有考虑不同场景下细节层的整体增益调整问题，所以细节层增强方法的场景适应性较差。基于此，本文在式(6)的基础上增加了表征图像清晰度的整体增益系数，本文提出的细节层图像增强算法如式(7)所示：

式中：ε为上一节中求得的自适应滤波正则化参数；α为ε的归一化调整因子，取值接近于标准清晰场景下图像求得的ε，一般取值500；σ_k²为图像的局部方差。该增益系数公式主要是基于图像的滤波参数ε和局部方差σ_k²设计的。此处刚好可以应用上一节中求得的ε值来表征图像的整体清晰度水平，而α/ε代表了图像的整体增益调整参量，在整体细节纹理清晰的图像中，α/ε较小，图像不需要额外的整体增益，从而避免了图像强边缘信息和图像噪声的过度增强；在整体细节纹理模糊的图像中，细节层信息提取量较少，所以需要更大的整体增益，而求得的α/ε更大，最后图像的整体增益也相应会更强。σ_k²/(σ_k²+ε)代表了图像各个区域的细节纹理丰富度信息，当σ_k²/(σ_k²+ε)较大时，代表该区域图像细节丰富，基于噪声掩膜原理，与增益系数相乘后该区域像素将获得较大的增强；当σ_k²/(σ_k²+ε)较小时，代表该区域较为平坦，根据噪声掩膜原理，与增益系数相乘后该区域像素也将相应获得较小的增强。所以本文算法在同时考虑了图像局部清晰度和图像整体清晰度水平的基础上，对图像细节层进行增强处理。最后再将处理后的图像细节层和基础层按一定比例相加，可以得到最终动态范围压缩及细节增强后的红外图像。

图 4(a)、(b)和图 4(c)、(d)分别代表了不同清晰度场景下，细节层处理方法应用GF & DDE算法细节层处理方法和本文细节层处理方法不同的处理效果对比。从图 4(a)、(b)可以看出，本文算法通过减小清晰图像整体增益水平，相比GF & DDE算法，在有效增强目标细节时，避免了云层等处噪声的过度放大。从图 4(c)、(d)可以看出，本文算法通过增大模糊图像的整体增益水平，相比GF & DDE算法，进一步增强了全图的细节信息。

图  4  不同能见度下基于GF & DDE细节层处理方法和本文细节层处理方法结果对比

Figure  4.  Comparison of the results of the detail layer processing method based on GF & DDE and the detail layer processing method in this paper in different definition scenes

下载: 全尺寸图片 幻灯片

2.3   针对FPGA嵌入式实现的算法优化和可行性分析

针对本文所提的参数自适应引导滤波及细节增强改进算法，式(4)和式(7)只涉及简单的加法和乘、除法运算，像素局部方差已通过引导滤波求得，而引导滤波遍历全图像素过程中就可以统计出局部方差小于阈值的像素总数及局部方差总和，再根据式(4)可以直接求取自适应ε值，并进一步通过式(7)求得细节增益系数，因此两个算法也基本不占用存储空间。所以本文所提的参数自适应引导滤波及细节增强改进算法不用优化，可以基于FPGA硬件平台直接实现。此外，对于硬件实现时的实时性问题，考虑实际应用时目标场景的变化速度一般远小于红外实时系统的帧频率，所以我们可以通过使用前一帧图像的局部方差统计直方图求得的ε值作为下一帧图像引导滤波和自适应细节增强算法所需的ε值。

3.   实验结果与分析

为进一步说明本文所提算法的处理效果好坏，本章将从主观和客观两个方面对本文所提的红外图像动态范围压缩及细节增强算法做综合评价。同时选择了5个经典的红外图像动态范围压缩和细节增强算法与本文算法进行综合的比较：最简单也是最基础的线性映射算法AGC、线性映射和直方图均衡化相结合算法HALEQ（histogram adjustment based on linear to equalized quantizer）^[21]、经典局部直方图色调映射算法CLAHE^[22]（contrast limited adaptive histogram equalization）、基于双边滤波的色调映射算法BF & DRP、基于引导滤波器的图像细节增强算法GF & DDE。为了更好地说明本文算法的处理效果和算法适应性，本文选用了3个典型场景下的非制冷红外图像（图 5~图 7）进行实验，场景分别为：细节丰富的清晰图像、细节纹理不丰富的模糊图像、测试红外图像NETD等重要性能指标的四杠靶图像。本文中使用的实验数据均为艾睿光电12 μm氧化钒长波探测器采集，并进行非均匀性校正后输出的16 bit、1024×768像素的原始非制冷红外图像。

图  5  场景一：细节丰富的清晰室外场景

Figure  5.  Scene 1: a clear outdoor scene with rich details

下载: 全尺寸图片 幻灯片

图  6  场景二：细节纹理模糊的室外场景

Figure  6.  Scene 2: outdoor scene with hazy details and texture

下载: 全尺寸图片 幻灯片

图  7  场景三：四杠靶图像

Figure  7.  Scene 3: four-bar target image

下载: 全尺寸图片 幻灯片

从上述典型的3个场景中，我们可以看出AGC算法简单，但是整体的处理效果很差，只能将其作为原始红外图像的可视化参考图像。CLAHE算法映射后对图像的局部对比度拉伸明显，图像的细节增强能力相对较好，但是图像整体层次感和均匀性较差，图像噪声水平较高。HALEQ算法处理后图像整体对比度拉伸明显，但是和AGC算法、CLAHE算法一样对图像的细节保持和增强方面的能力相比于其他基于分层的细节增强算法明显更差。BF & DRP算法对图像的细节保持和增强方面的能力较好，但是也存在强边缘过度增强等现象，且对于图像噪声的抑制能力较差。GF & DDE算法细节增强效果好于BF & DRP算法，但算法对不同场景的适应性较差，平坦区域的噪声也不能得到有效抑制。而本文算法相比其它算法在实验中的综合表现最好，算法在图像细节保留及增强、对比度提升、噪声水平抑制、场景适应性等方面都表现出了很好的处理效果。

客观评价方面，本文选择了平均梯度（average gradient，AG）^[23]和基于图像信息熵概念的增强指标EMEE（measure of image enhancement of Entropy）^[24]两个指标来定量分析本文所提算法的好坏。其中平均梯度AG指标通过对全图平均梯度水平的计算来刻画和评判图像中细节纹理信息的丰富程度，为得到更精确的AG值，本文选用了对噪声不敏感的sobel算子来求图像梯度；基于图像信息熵概念的增强指标EMEE主要是对图像进行分块，然后计算各子块内像素灰度最大值和最小值的比值来表征图像的局部增强程度，EMEE值越大，表明图像的局部对比度拉伸越强，图像增强效果越好。各算法在上述不同场景下的AG值和EMEE值情况如表 1所示。

表  1  各算法在3个场景下处理图像的AG值和EMEE值结果对比

Table  1.  Comparison of AG values and EMEE values of images processed by each algorithm in 3 scenes

	Method	AGC	CLAHE	HALEQ	BF & DRP	GF & DDE	Proposed
Scene 1	AG	26.8014	59.8192	38.0070	95.156	78.1382	102.9149
	EMEE	142.5497	264.5845	157.5203	167.1697	185.0839	249.4993
Scene 2	AG	21.9576	55.4266	29.5654	72.2097	60.2035	87.1753
	EMEE	28.4475	138.0465	86.2441	135.8672	106.4596	174.7866
Scene 3	AG	25.2533	42.7458	42.9988	42.9236	37.0748	47.7793
	EMEE	16.7344	43.2476	33.1936	34.8786	28.7109	45.5171

下载: 导出CSV 

| 显示表格

从表 1可以看出，基于分层思想的3种算法的细节信息AG值要明显高于其他3种传统算法，而基于双边滤波的细节增强算法比基于引导滤波算法往往表现出过度的边缘增强现象，所以BF & DRP算法的AG值要大于GF & DDE，但处理图像的可视化效果要比GF & DDE算法差。而本文算法虽然也是基于引导滤波分层但是经过了改进和完善后，不仅表现出来的可视化效果要优于其他算法，而且在各场景下的AG值也是所有算法中整体表现最好的。此外由于CHALE算法和本文算法对图像局部对比度的拉伸能力要强于其他几种算法，CHALE算法和本文算法的EMEE值总体要高于其他算法，而本文算法的细节增强能力更强，所以在各场景下的EMEE值表现也要比CHALE算法更好。

最后对本文所提算法的复杂度进行分析：上述6个算法在不同场景下，AGC算法、CLAHE算法、HALEQ算法和GF & DDE算法的仿真计算时间分别为0.1 s、0.8 s、0.9 s和1.6 s左右，BF & DRP算法和本文算法的仿真计算时间分别在3 s和2.4 s左右，由于BF & DRP算法和本文算法的计算量相对更大，仿真时间都要高于其他4个算法。

4.   结论

本文提出了基于原始红外图像的局部方差直方图的引导滤波参数ε自适应算法，以取代传统算法中固定的参数ε值；进一步的，通过自适应ε值设计了图像清晰度评价系数，提出了基于噪声掩膜函数的细节增强改进算法对图像细节层进行处理。从而较大地改善了引导滤波器在不同场景下的滤波分层效果，并在有效抑制图像噪声水平同时提高了细节增强算法的场景适应性。最后本文选择了5个经典的红外图像动态范围压缩和细节增强算法，结合不同的典型红外场景和评价指标，从主观和客观两个方面对本文提出的算法的综合性能进行对比验证和评价。实验结果表明，本文算法的综合可视化效果更好、场景适应性更高，在不同场景下，能保证原始图像的灰度信息在映射后不会过度丢失，并可以对图像的对比度和细节信息进行有效增强，同时能更好地抑制图像噪声。