A High Dynamic Range Compression Technique Based on Infrared Contrast Enhancement
-
摘要: 如何将红外探测器采集的高动态范围的数据压缩为低动态范围图像数据的同时，能尽可能地保留图像的信息，提高图像的对比度一直是一个技术难点。针对这一问题，本文提出了一种新的红外图像压缩方法。该方法引入了直方图信息，通过对直方图进行分割，区分背景区域像素和目标区域像素; 然后计算压缩映射模型; 最后结合分割后的直方图对图像的像素采用不同强度的对比度增强。本文算法利用直方图区分背景区域像素与目标区域像素，在增强图像对比度时，能有效抑制背景噪声。通过实验对比，结果表明，本文所提出的算法更能较好地突出图像的细节，增强图像对比度。Abstract: It has always been technically difficult to compress the high dynamic range data collected by an infrared detector to low dynamic range image data, while preserving the image information as much as possible and improving the contrast of the image. To solve this problem, a new infrared image compression method was proposed. In this method, histogram information is introduced, and the pixels of the background and target regions are distinguished by the segmentation of the histogram. Then, the compression model is established. Finally, enhancing the contrast of the image pixels using different coefficients combines the segmented histogram. The algorithm proposed in this paper uses histogram information to distinguish the pixels of the background region and the pixels of the target region and can effectively suppress background noise when enhancing the image contrast. The experimental results show that the proposed algorithm can better highlight details and improve the contrast.
-
0. 引言
图像融合可以将多幅不同成像机制的同一场景图像通过融合算法合成为一张新的图像，以有利于人眼观察和计算机处理[1]，目前已经在医学[2]、遥感[3]、军事[4]等邻域得到广泛运用。红外图像和可见光图像融合旨在利用图像融合算法运用红外图像和可见光图像的不同成像特点得到场景内目标更全面、清晰、准确的图像[5]。红外获取的图像不依赖于光照条件，抗干扰能力较强，但通常对比度和分辨率都较低，不能有效获取目标场景的细节信息[6]。可见光图像通常分辨率较高，边缘纹理等细节信息丰富，但依赖于光照条件[7]。红外图像与可见光图像之间有很强的信息互补性，充分利用两种图像信息的互补性，将这两种图像进行融合，可以得到目标场景清晰的图像。红外图像和可见光图像融合技术在军事、安全等邻域已经有较为广泛的运用[8]。
像素级的图像融合方法包含空间域融合和变换域融合方法。空间域的融合方法在像素层面上进行融合，复杂度低，但融合图像通常信息保留不完整[9]。变换域融合方法是基于多尺度变换理论将图像进行多层分解，得到源图像的低频近似子带和高频细节子带[10]。利用低频子带和高频子带的不同特点将低频子带和高频子带分别采用不同的融合规则融合，最后通过逆变换得到重构的融合图像。常用的多尺度变换如：金字塔变换、小波变换、轮廓波变换、非下采样Contourlet变换[11]等。金字塔变换的数据冗余度高且缺乏方向性[12]; 小波变换克服了金字塔变换的缺点，在不同尺度上具有水平、垂直和对角线3个方向的分解信息[13]; 在一定程度上提高了图像融合的效果; 但在二维奇异曲线的表示上还具有局限性; Curvelet变换[14]的提出旨在更好地解决曲线奇异性问题; 轮廓波变换是文献[15]提出的一种图像二维表示方法，能够更好地表示图像轮廓，但低频子带和高频子带中存在频谱混叠现象[16]，为消除轮廓波变换的频谱混叠现象，文献[17]中提出的非下采样轮廓波变换（non-subsampled contourlet transform, NSCT），删除了下采样操作，具有更好的频谱特性[18]。
本文算法对源图像首先进行初处理，然后对其进行NSCT分解。低频子带利用红外图像显著性图进行加权融合，在获取显著性图时，对传统FT算法进行基于引导滤波的改进以突出边界显著性; 对高频子带采用基于马氏距离加权的拉普拉斯能量和取大的融合规则以获得更多的细节信息。实验结果表明，本文算法相较传统小波变化和NSCT变换等算法而言，不仅在主观视觉上表现较好，在客观评价上也有较好的表现。
1. 非下采样Contourlet变换
轮廓波变换不具有平移不变性的原因就在于拉普拉斯金字塔和方向滤波器组中存在的上采样和下采样。在NSCT中，为保留变换的方向和多尺度属性，拉普拉斯金字塔被替换为非下采样金字塔滤波器组（non-subsampled pyramid filter banks, NSP）以保留多尺度属性，以及将非下采样方向滤波器组（non-subsampled direction filter banks, NSDFB）用于方向性分解。在图像进行S层NSCT变换后，我们可以得到1个低频子带图像和$\sum\nolimits_{s = 1}^S {{2^{{k_s}}}} $个方向子带，其中s是分解层数，ks是第s层的方向分解级数。
进行NSCT分解时，对源图像首先经过塔形分解为高通和低通，对高通部分再进行多方向分解，低通部分继续进行二层分解[19]。如图 1为NSCT两层分解的示意图。
2. 对比度受限的自适应直方图均衡化
可见光成像容易受光照等条件的影响，获取的图像有时对比度较低，使用这样的源图像进行融合会丢掉很多图像目标细节信息，因此需要对源可见光图像进行对比度增强[20-21]。对比度受限的自适应直方图均衡（contrast limited adaptive histogram equalization，CLAHE）将图像划分为若干个小块，对每个子块的直方图做裁剪，然后将裁剪的部分均匀地分布在整个灰度区间上。在将图像进行分块处理时，图像容易出现块状效应，为解决这个问题，每个子块上像素点的值由它周围4个子块的映射函数进行双线性插值得到，角点处像素点由该子块的映射函数得到，边缘子块的像素值则以相邻两个子块的映射函数做线性插值得到。
本文采用CLAHE算法对可见光图像进行对比度增强，分别使用传统直方图均衡化算法（histogram equalization, HE）和CLAHE算法对可见光图像增强的结果如图 2所示。
3. 引导滤波改进的图像显著性图
人眼在观察一幅图像时，有些区域会引起人眼极大的兴趣，有些区域则会被忽略。而红外图像中的目标通常为人眼视觉的显著性区域，以人类视觉机制为基础，构建图像显著性模型[21]，将人眼对图像各区域感兴趣的程度使用灰度信息进行量化，即可获得图像的显著性图。
FT算法是提取图像显著性图的一种常用算法，FT算法获取图像显著性图的算法如下式(1)所示：
$$ S(i, j) = |{I_{\rm{ \mathsf{ μ} }}} - {I_{{\rm{gauss}}}}(i, j)| $$ (1) 式中：Iμ为输入图像I的均值; Igauss(i, j)为输入图像经高斯滤波后的图像在点(i, j)处的像素值。
高斯模糊在对图像进行细节平滑滤波时会使图像边缘也变得模糊，而引导滤波作为一种可以保持图像边缘的滤波方法可以有效地在滤波过程中保持图像的边缘，可以有效突出图像显著性区域的边界，基于此，本文使用引导滤波对传统FT算法进行改进，提出基于引导滤波的红外图像显著性图提取方法。引导滤波是一种自适应滤波器，能够在平滑图像的同时起到保持边界的作用[22]。引导滤波处理图像时，通过一张引导图I对输入图像p进行滤波处理，滤波后的输出图像与输入图像的纹理部分与引导图像相似。在使用引导滤波时，如果引导图像与输入图像相同，此时引导滤波成为一个保持边缘的滤波操作。在局部窗口内使用线性模型，使得滤波器输出结果与引导图在局部窗口内的梯度一致。引导滤波函数的输入和输出在一个局部窗口内满足线性关系如下式(2)：
$$ {q_i} = {a_k}{I_i} + {b_k}, \forall i \in {\omega _k} $$ (2) 式中：I为引导图像; q为输出图像; ωk是中心像素点为k的局部窗口; ak和bk为当前窗口通过最小成本函数E(ak, bk)获得，如下式(3)所示：
$$ E({a_k}, {b_k}) = \sum\limits_{i \in {\omega _k}} {({{({a_k}{I_i} + {b_k} - {p_i})}^2} + \varepsilon a_k^2)} $$ (3) 式中：ε是用来调节ak，防止ak过大的参数，对代价函数进行求解，可以得到ak、bk得最优解。
$$\left\{ {\begin{array}{*{20}{c}} {{a_k} = \frac{{\frac{1}{{|\omega |}}\sum\nolimits_{i \in {\omega _k}} {{I_i}{p_i} - {\mu _k}{{\bar p}_k}} }}{{\sigma _k^2 + \varepsilon }}}\\ {{b_k} = {p_k} - {a_k}{\mu _k}} \end{array}} \right.$$ (4) 式中：μk为局部窗口内引导图像I的均值; σk为局部窗口内引导图像I的方差; |ω|为局部窗口大小; pk为输入图像在局部窗口内的均值。由于滤波窗口滑动，同一个像素会出现在不同的窗口中，对同一像素位置在不同窗口下的ak、bk取平均值得到该像素位置的滤波参数，则某一像素点的滤波输出为：
$${q_i} = {\bar a_i}{I_i} + {\bar b_i}$$ (5) 其中：
$$\left\{ {\begin{array}{*{20}{c}} {{{\bar a}_i} = \frac{1}{{|\omega |}}\sum\nolimits_{k:i \in {\omega _k}} {{a_k}} }\\ {{{\bar b}_i} = \frac{1}{{|\omega |}}\sum\nolimits_{k:i \in {\omega _k}} {{b_k}} } \end{array}} \right.$$ (6) 假设G(x, y)为红外图像同时作为引导图像和输入图像输入到引导滤波中的输出图像，将此输出图像代替公式(1)中的高斯滤波图像，因此，基于引导滤波改进的FT算法显著性图计算公式如下：
$${S_{\rm{g}}}(i, j) = |{I_{\rm{ \mathsf{ μ} }}} - G(i, j)|$$ (7) 将获得的红外图像显著性图进行归一化：
$${S_{\rm{m}}}(i, j) = \frac{{{S_{\rm{g}}}(i, j) - \min {S_{\rm{g}}}}}{{\max {S_{\rm{g}}} - \min {S_{\rm{g}}}}}$$ (8) 式中：maxSg和minSg分别为Sg的最大灰度值和最小灰度值。最后对归一化的显著性图做对比度拉伸得到最后的红外图像显著性图，拉伸函数如下式(9)：
$${S_{{\rm{ir}}}}(i, j) = \frac{1}{{1 + {{(\frac{1}{{2{S_{\rm{m}}}(i, j)}})}^{10}}}}$$ (9) 4. 马氏距离加权的拉普拉斯能量和
传统的拉普拉斯能量和（sum of modified Laplacian, SML）[23]使用水平和垂直两个方向来计算拉普拉斯能量值，为获得更好的细节信息表征效果，本文计算4个方向上的拉普拉斯能量值，其计算方式如下式(10)：
$$\begin{array}{c} {\rm{ML}}(i, j) = |2I(i, j) - I(i - 1, j) - I(i + 1, j)| + \\ |2I(i, j) - I(i, j - 1) - I(i, j + 1)| + \\ |2I(i, j) - I(i - 1, j - 1) - I(i - 1, j + 1)| + \\ |2I(i, j) - I(i + 1, j + 1) - I(i + 1, j - 1)| \end{array}$$ (10) 马氏距离可以计算样本到样本“重心”之间的距离，样本到样本“重心”的距离越大[24-25]，表明该样本与总体偏离越远，与样本的相关度越低，使用马氏距离对拉普拉斯能量进行加权求和。设以点(x, y)为中心的3×3邻域Qx, y内ML的均值和协方差为μ、σ，则邻域内的点(i, j)到该邻域内基于拉普拉斯能量ML的马氏距离为：
$$ d(i, j) = \sqrt {{{({\rm{ML}}(i, j) - \mu )}^{\rm{T}}}*{\sigma ^{ - 1}}*({\rm{ML}}(i, j) - \mu )} $$ (11) 使用函数1/ex将马氏距离映射到[0, 1]区间内计算拉普拉斯能量求和的权值，但指数函数运算给计算机硬件实现带来了极大的不便，因此采用麦克劳林公式对指数函数ex进行分式展开如下：
$${e^x} = 1 + x + \frac{{{x^2}}}{{2!}} + ... + \frac{{{x^n}}}{{n!}} + o({x^n})$$ (12) 由此，使用1/ex的逼近函数1/(1+x)计算拉普拉斯能量和的权值：
$$w(i, j) = \frac{1}{{1 + d(i, j)}}$$ (13) 则使用马氏距离加权计算的点(x, y)的改进拉普拉斯能量和SL为：
$${\rm{SL}}(x, y) = \sum\limits_{(i, j) \in {Q_{x, y}}} {w(i, j)*{\rm{ML}}(i, j)} $$ (14) 5. 融合算法
本文结合NSCT变换的系数特点和可见光与红外图像的成像特点，首先对可见光图像进行对比度增强处理，并将红外图像与CLAHE处理后可见光图像经过NSCT变换分解为低频近似图像和一系列高频细节图像; 低频图像是源图像的一个近似图像，对低频图像使用红外显著性图融合; 高频图像中包含了图像的细节纹理信息，使用马氏距离对拉普拉斯能量和进行改进，对高频采用改进拉普拉斯能量和取大的融合规则进行融合; 融合的低频图像和高频图像经过NSCT逆变换后获得最终融合图像。如图 3为本文算法融合框架图。
对CLAHE增强后的可见光图像VIS和红外图像IR进行NSCT多层分解，设CLvis和CLir分别为VIS和IR的低频系数，Cs, kvis和Cs, kir分别表示VIS和IR的第s层第k个方向的高频系数。对低频系数采用红外图像的显著性图进行加权融合，其融合规则为：
$$C_{\rm{L}}^{\rm{F}}(i, j) = {w_1}(i, j)*C_{\rm{L}}^{{\rm{ir}}}(i, j) + {w_2}*C_{\rm{L}}^{{\rm{vis}}}(i, j)$$ (15) 其中权值：
$$\left\{ {\begin{array}{*{20}{c}} {{w_1}(i, j) = {S_{{\rm{ir}}}}(i, j)}\\ {{w_2}(i, j) = 1 - {w_1}(i, j)} \end{array}} \right.$$ (16) 对高频系数采用马氏距离加权改进的拉普拉斯能量和取大的规则进行融合。
$$C_{s, k}^{\rm{F}}(i, j) = \left\{ {\begin{array}{*{20}{c}} {C_{s, k}^{{\rm{ir}}}(i, j), {\rm{SL}}_{s, k}^{{\rm{ir}}}(i, j) > {\rm{SL}}_{s, k}^{{\rm{vis}}}(i, j)}\\ {C_{s, k}^{{\rm{vis}}}(i, j), {\rm{SL}}_{s, k}^{{\rm{ir}}}(i, j) \le {\rm{SL}}_{s, k}^{{\rm{vis}}}(i, j)} \end{array}} \right.$$ (17) 6. 实验结果分析
为验证本文算法的有效性，将本文算法（NSCT-M）与多种融合算法融合的红外图像和可见光图像进行实验对比，如图 4所示为可见光图像和红外图像源图像。第一组图像为白天拍摄的远距离海上船只的图像，第二组图像为白天拍摄的目标与背景难以区分的图像，第三组图像为夜间拍摄的街道场景。
如图 5为3组实验图像对比结果，对比实验设置为：小波变换（DWT）融合方法的源图像采用二维离散小波变换分解，低频采用取均值的融合规则、高频采用区域能量取大的融合规则。基于NSCT分解的融合算法以及本算法采用三层分解。NSCT融合低频采用取均值的融合规则、高频采用区域能量取大的融合规则; NSCT-FT融合低频采用红外图像FT显著性图提取加权融合的规则、高频采用区域能量取大的融合规则。NSCT-M为本文所提的融合框架算法。
从主观视觉上看，本文所提算法在图像清晰度以及细节边缘的保持上都优于其他3组融合算法。为进一步验证实验的有效性，使用信息熵（information entropy, EI）、标准差（standard deviation, SD）、平均梯度（average gradient, AG）和空间频率（spatial frequency, SF）图像融合客观评价指标对3组实验融合图像进行客观评价。从表 1的客观评价指标上分析，本文算法相对其他算法保留的图像信息更多、图像清晰度更高、细节纹理信息也更丰富。
表 1 融合图像客观评价结果Table 1. Objective evaluation results of fusion imageImage name Fusion method EI SD AG SF Ship DWT 4.9016 10.4666 1.4100 3.1531 NSCT 4.9139 10.4807 1.3980 3.1546 NSCT-FT 5.9540 21.1184 1.6376 3.9024 NSCT-M 6.5735 25.8154 4.7976 10.1821 Man DWT 6.5266 31.5238 2.9829 5.5125 NSCT 6.5491 31.7851 3.2272 6.3206 NSCT-FT 7.1864 61.6516 3.4935 7.1168 NSCT-M 7.6698 58.7864 8.8359 15.5185 Street DWT 5.9299 20.6524 3.1668 7.7725 NSCT 5.9442 21.8888 3.7054 12.7396 NSCT-FT 5.5269 33.4513 4.0396 13.8090 NSCT-M 6.8136 41.2933 8.4553 20.3821 7. 结语
本文算法利用NSCT变换的系数特点，利用可见光图像与红外图像之间信息的互补性与冗余性，对红外图像和可见光图像进行融合。针对可见光对比度低的问题，采用对比度受限的直方图均衡算法调整可见光图像的对比度。在对低频图像进行融合时，使用引导滤波改进的FT显著性图提取算法对红外图像提取显著性图，利用红外图像显著性图对低频图像做加权融合; 在对高频图像进行融合时，针对传统算法通过四领域计算拉普拉斯能量的局限，本文使用八邻域计算拉普拉斯能量，并使用马氏距离对邻域内的拉普拉斯能量进行加权求和，最后使用改进的拉普拉斯能量和取大的规则对高频图像进行融合。理论分析与实验结果及指标表明，本文算法在主观视觉图像上和客观评价指标上都有较好的表现。
-
![]()
图 1 分割点示意图（左）和最终分割点示意图（右）
Figure 1. Schematic diagram of Segmentation points (left) and schematic diagram of final segmentation points (right)
![]()
图 2 示例图及不同滤波尺寸下的局部对比度直方图
Figure 2. Sample image and local contrast under different filter sizes
表 1 不同算法在相同场景图像中的信息熵的对比结果
Table 1 Information entropy comparison results that different algorithms in the same scene image
Algorithm Scene 1 Scene 2 Scene 3 Scene 4 Scene 5 Linear mapping 7.1260 6.2631 7.1262 7.4640 7.2761 Literature[6]'s algorithm 7.2788 6.7646 7.0064 7.4837 7.4046 Literature[7]'s algorithm 7.6616 6.1768 7.3264 7.6890 7.4696 Our algorithm 7.8303 6.7306 7.6266 7.7293 7.7107 
下载: 导出CSV
表 2 不同算法在相同场景图像中的峰值信噪比的对比结果
Table 2 PSNR comparison results that different algorithms in the same scene image
Algorithm Scene 1 Scene 2 Scene 3 Scene 4 Scene 5 Literature[6]'s algorithm 19.7842 24.5278 23.7493 19.2759 21.3895 Literature[7]'s algorithm 18.2785 18.7230 22.8438 20.1421 23.9762 Our algorithm 22.2963 23.3482 23.7893 21.5421 24.4664
下载: 导出CSV
-
[1] Silverman J. Display and enhancement of infrared images[C]//Image Processing and its Applications, 1992, International Conference on. IET, 1992.
[2] Rafael C Gonzalez, Richard E Woods. Digital image processing[J]. Prentice Hall International, 2008, 28(4): 484 - 486.
[3] 王炳健, 刘上乾, 周慧鑫, 等. 基于平台直方图的红外图像自适应增强算法[J]. 光子学报, 2005, 34(2): 299-301. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB20050200Z.htm WANG Bingjian, LIU Shangqian, ZHOU Huixin, et al. Self-adaptive contrast enhancement algorithm for infrared images based on plateau histgrom[J]. Acta Photonica Sinica, 2005, 34(2): 484 - 486. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB20050200Z.htm
[4] 宋岩峰, 邵晓鹏, 徐军. 基于双平台直方图的红外图像增强算法[J]. 红外与激光工程, 2008(2): 125-128. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ200802029.htm SONG Yanfeng. SHAO Xiaopeng, XU Jun. Infrared image enhancement algorithm based on dual platform histogram[J]. Infrared And Laser Engineering, 2008(2): 125-128. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ200802029.htm
[5] ZUO C, CHEN Q, LIU N. Display and detail enhancement for the visualization of high dynamic range infrared images[J]. Opt. Eng., 2011, 50(12): 127401. DOI: 10.1117/1.3659698
[6] HUANG J, YONG M, YING Z, et al. Infrared image enhancement algorithm based on adaptive histogram segmentation[J]. Applied Optics, 2017, 56(35): 9686. DOI: 10.1364/AO.56.009686
[7] Branchitta F, Diani M, Corsini G, et al. Dynamic-range compression and contrast enhancement in infrared imaging systems[J]. Optical Engineering, 2008, 47(7): 076401.1-076401.14. DOI: 10.1117/1.2956655
[8] Monobe Y, Yamashita H, Kurosawa T, et al. Dynamic range compression preserving local image contrast for digital video camera[J]. IEEE Transactions on Consumer Electronics, 2005, 51(1): 1-10. http://ieeexplore.ieee.org/document/1405691
[9] 王园园, 赵耀宏, 罗海波, 等. 海面红外图像的动态范围压缩及细节增强[J]. 红外与激光工程, 2019, 48(1): 307-315. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201901045.htm WANG Yuanyuan, ZHAO Yaohong, LUO Haibo, et al. Dynamic range compression and detail enhancement of sea-surface infrared image[J]. Infrared and Laser Engineering, 2019, 48(1): 307-315. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201901045.htm
[10] 张菲菲. 梯度域处理框架下的图像视见度增强技术研究[D]. 武汉: 武汉大学, 2015. WANG Feifei. Study on image visibility enhancement in the framework of gradient domain processing[D]. Wuhan: Wuhan University, 2015.
[11] 张临临. 基于图像分层和动态压缩的图像细节增强算法研究[D]. 西安: 西安电子科技大学, 2012. ZHANG Linlin. Study on image detail enhancement algorithm based on image stratification and dynamic compression[D]. Xi'an: XIDIAN University, 2012.
[12] 单瑞卿, 李斌, 韩伟, 等. 高动态范围红外图像的显示与细节增强[J]. 光学技术, 2019, 45(4): 475-481. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS201904016.htm SHAN Ruiqing, LI Bin, HAN Wei, et al. Display and detail enhancement for high-dynamic-range infrared images[J]. Optical Technique, 2019, 45(4): 475-481. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS201904016.htm
-
期刊类型引用(1)
1. 花文波，赵城慷，高大友，花文涛. 一种温度补偿调焦红外系统丢包检测方法. 红外技术. 2024(09): 1081-1086 . 
本站查看
其他类型引用(0)
计量
- 文章访问数: 380
- HTML全文浏览量: 111
- PDF下载量: 153
- 被引次数: 1
