Infrared Image Detail Enhancement Based on Adaptive Conditional Histogram Equalization
-
摘要: 红外图像普遍存在对比度低、细节不清晰、边缘特征不突出等问题。针对这些问题，本文提出了一种自适应条件直方图均衡的红外图像细节增强算法。采用引导滤波将红外图像分解为背景层和细节层；然后采用自适应阈值邻域条件直方图结合对比度受限直方图均衡方式，对背景层图像进行灰度压缩和对比度增强；接着利用引导滤波的中间计算结果构造滤噪掩模，在对细节层进行增强的同时有效滤除背景噪声；最后将背景层和细节层处理结果进行线性融合得到细节增强后红外图像。主观评价和客观数据计算表明，本文提出的红外图像细节增强算法无须手动调节参数即可实现对各类场景的自适应，可以在抑制噪声的前提下，有效增强图像细节，并提升图像整体对比度水平。对算法进行了嵌入式移植，显示效果和资源占用表明算法具有很强的工程化应用水平。Abstract: There are many problems with infrared images, such as low contrast, unclear details, and non-prominent edge features. To solve these problems, this study proposes an adaptive conditional histogram equalization algorithm for infrared image detail enhancement. First, the infrared image is decomposed into background and detail layers by a guided filter. Second, the combined adaptive threshold neighborhood condition histogram and contrast limited histogram equalization method are used to compress and enhance the gray level of the background image. Then a noise mask is constructed using the intermediate calculation results of the guided filter, which can effectively filter the background noise while enhancing the detail layer. Finally, the background and detail layer processing results are linearly fused to obtain a detail-enhanced infrared image. Subjective evaluation and objective data calculation show that the infrared image detail enhancement algorithm proposed in this paper realizes adaptation to various scenes without manual parameter adjustment, and can effectively enhance the image details and improve the overall contrast level of the image under the premise of suppressing noise. Embedded transplantation of the algorithm was performed, and the display effect and resource occupation show that the algorithm has strong engineering application prospects.
-
0. 引言
红外成像技术在武器制导、工业检测、辅助驾驶等军事、民用领域应用广泛[1-3]。受探测器成像机理和制造工艺限制，相对于可见光图像，红外图像对比度偏低，噪声较大，且灰度范围较窄[4]。此外，红外探测器输出图像一般为14 bit，需要转换为8 bit便于显示器显示及人眼观察。因此，红外图像增强是红外图像可视化过程中不可避免的关键预处理步骤[5]。红外图像增强主要针对数字图像进行处理，从原理上可以大致归纳为两个主要方向，即基于直方图增强的数字细节增强方法，以及基于非锐化掩模的数字细节增强方法。
在图像增强领域，直方图均衡（Histogram Equalization, HE）是最为经典的算法之一，应用广泛。但是，传统的HE处理后的红外图像背景区域被过放大而细节区域则被抑制，无法得到理想的增强效果。为了克服HE的缺陷，众多的改进型和衍生算法被陆续提出。Vickers[6]、Kun Liang[7]分别提出了直方图平台均衡化方法（Plateau Histogram Equalization, PHE）和双平台直方图均衡（Double Plateaus Histogram Equalization, DPHE）方法，通过设置平台阈值，在有效抑制红外图像背景过增强的同时有效保留了图像细节成分，Liu Chengwei[8]提出了一种邻域条件直方图算法（Neighborhood Conditional Histogram Equalization, NCHE），基于邻域像素灰度变化特征进行直方图统计，避免背景噪声的过放大。为了充分利用图像的局部区域特征，凸显细节信息，人们提出了局部直方图均衡化算法。对比度受限自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization, CLAHE）[9]和部分重叠子块直方图均衡化（Partially Overlapped Sub-block Histogram Equalization, POSHE）[10]是其典型代表，CLAHE算法将图像分为多个不重叠的子块，每个子块设置灰度级概率分布阈值，将超过该阈值的直方图部分裁下并在整个灰度级上均匀分布，在降低高直方图灰度级的同时，提高低直方图灰度级比重，从而凸显细节纹理，通过在子块间进行双线性插值避免整体图像出现“块状”分割；POSHE算法将图像分为若干个相互重叠的子块，每个子块分别进行直方图均衡，通过给相邻子块添加权重值实现处理图像整体的视觉连续性。
直方图均衡相关方法虽然能增强红外图像整体对比度，但是无法有效凸显图像边缘特征，因此，基于图像分层思想的非锐化掩模（Unsharp Mask, UM）方法在红外图像增强方向得到了大量应用。Barash等[11]提出了双边滤波器（Bilateral Filter, BF），在有效提取图像细节的前提下可以有效防止边缘过度增强，但算法耗时严重，不利于实时实现；Francesco等[12]提出了双边滤波结合动态范围划分（Bilateral Filter and Dynamic Range Partitioning, BF&DRP）方法，对动态范围较大的图像基频分量进行压缩，但图像细节部分噪声过放大的问题仍然存在；左超等[13]提出了基于BF&DRP的改进方法，通过对双边滤波后的基频图像分量增加一级自适应高斯滤波，有效抑制图像强边缘经双边滤波器后产生的梯度翻转效应，但仍然没有完全消除图像边缘的梯度翻转现象，且双边滤波器计算量较大，对嵌入式移植造成了较大的限制；Frederic等[14]采用引导滤波器结合分段直方图增强的方式进行图像增强，取得了较好的处理效果，但是仍缺少有效的背景噪声抑制机制，导致图像底噪较大。汪子君[15]等利用自适应门限方法对引导滤波后的基础层进行灰度压缩，但存在部分场景自适应阈值选择不当导致的过曝现象。胡家珲[16]等采用多尺度加权引导滤波进行图像分层，将图像分为背景层和多个细节层，再分别进行灰度变换，有效解决了图像细节模糊、边缘纹理不清晰问题，但是计算量复杂，较难进行嵌入式移植。
针对上述各类算法的不足，本文将非锐化掩模和直方图增强方式进行综合，提出一种基于自适应条件直方图均衡的红外图像细节增强算法，利用引导滤波将图像分离为背景层和细节层；针对背景层图像，采用自适应阈值邻域条件直方图结合对比度受限直方图均衡方式增强，有效提升图像对比度水平；针对细节层图像，利用引导滤波中间结果生成滤噪掩模，在有效抑制背景噪声的同时对图像边缘和细节部分进行增强；最后将细节层和背景层图像加权融合，生成细节增强图像。
1. 算法流程
本文算法以非锐化掩模图像分层处理为基础，结合改进的直方图增强方式实现红外图像细节增强，具体算法流程如图 1所示。对于输入的原始14 bit图像IIN，将其分别送入两个并行的引导滤波得到14 bit背景层图像IB和14 bit滤噪图像IF，而细节层图像ID由IB和IF相减得到，即：
$$ I_{\mathrm{D}}=I_{\mathrm{B}}-I_{\mathrm{F}} $$ (1) 对背景层图像IB，分别经限制对比度直方图均衡处理和邻域条件直方图处理，得到直方图均衡化8 bit图像IBCLAHE和INCHE，将两个直方图均衡通道输出的图像通过自适应背景层权重WB加权叠加得到8 bit背景层图像IBO。用引导滤波1和引导滤波2的中间计算结果得到滤噪掩模p，对细节层图像ID进行带掩模放大处理得到细节放大图像IDP，再经过自适应增益控制得到8 bit细节层图像IDO。将IBO和IDO进行加权叠加得到融合图像IC，后将IC通过线性拉伸和亮度调整，得到最终的红外细节增强图像IOUT。
2. 基于引导滤波的图像分层和掩模滤噪
2.1 引导滤波图像分层
引导滤波（Guided Filter, GF）[17]是一种基于局部线性模型的平滑滤波器，可以在保持图像边缘的条件下进行图像平滑，且避免出现梯度反转现象，其计算公式如下：
$$ {B_i} = {\bar a_i}{I_i} + {\bar b_i},\forall i \in {w_k} $$ (2) $$ {\bar a_i} = \frac{1}{{\left| w \right|}}\sum\limits_{k \in {w_i}} {{a_k}} \text{，}{a_k} = \frac{{\frac{1}{{\left| w \right|}}\sum\limits_{i \in {w_k}} {I_i^{\text{2}} - \bar I_k^2} }}{{\sigma _k^{\text{2}} + \varepsilon }} $$ (3) $$ {\bar b_i} = \frac{1}{{\left| w \right|}}\sum\limits_{k \in {w_i}} {{{\bar I}_k} - {a_k}{{\bar I}_k}} $$ (4) 式中：wk代表图像I中以k为中心点的某一窗口区域；$ {\bar a_i} $和$ {\bar b_i} $为wk区域内的线性系数；σk2是wk区域内的图像方差；ε是正则化因子，决定了图像的平滑程度，wk代表的窗口选择大小影响着细节保留的程度。考虑到嵌入式移植资源，论文中窗口选择为3×3。ε的取值对于图像的滤波效果具有显著的影响，如图 2所示。
![]()
图 2 不同ε组合提取的背景层（上）和细节层（下）Figure 2. Background layer (up) and detail layer (down) extracted by different ε combinations图 2为不同的ε选择下，背景层和细节层划分效果，在尽可能保留原图像细节成分，并避免细节层边缘过放大的前提下，ε1和ε2选择25和500可以得到理想的细节图像输出。
2.2 掩模滤噪
由式(2)可知，引导滤波器的输出图B和引导图I满足局部线性关系，对式(1)求导有：
$$ \nabla {B_i} = {\bar a_i}\nabla {I_i} $$ (5) 由式(5)可知，引导滤波增益系数$ {\bar a_i} $表征着引导滤波前后图像的灰度梯度比值，图像的边缘等高频信息部分对应的增益系数较大，对两个引导滤波线性系数$ {\bar a_1} $和$ {\bar a_2} $进行乘性叠加，并归一化处理，构造一个新的掩模p，作用于细节层图像，可以在保留图像边缘细节的同时有效滤除噪声。如式(6)所示：
$$ p = {\text{Norm}}({\bar a_1} \cdot {\bar a_2}) $$ (6) 增益系数$ {\bar a_1} $、$ {\bar a_2} $和掩模p灰度显示如图 3所示。
![]()
图 3 引导滤波增益系数$ {\bar a_1} $、$ {\bar a_2} $和掩模p输出结果Figure 3. Output of guided filter gain coefficient $ {\bar a_1} $, $ {\bar a_2} $ and mask p从图 3可以看出，归一化后的掩模相较于图 3(a)滤除了大量的背景噪声，相较于图 3(b)很好地保留了图像的边缘细节成分。将掩模p作用于细节图像ID，并与14 bit细节层放大增益系数λ相乘，得到14 bit细节增强图像IDP，如式(7)所示：
$$ I_{\mathrm{DP}}=\lambda \cdot p \cdot I_{\mathrm{D}} $$ (7) 至此，经过导向滤波和掩模处理，得到了红外图像14 bit背景层IB和细节层IDP，需要将两层图像进行灰度压缩，分别生成可观察的8 bit图像。
3. 背景层灰度压缩方法
3.1 自适应条件直方图均衡
本文借鉴文献[8]的处理方法对背景层进行灰度压缩，采用邻域条件直方图增强方法对图像进行处理，在统计某个灰度级像素直方图计算中增加了中心像素和邻域像素差值的权重信息，使得图像边缘等灰度梯度较大的细节部分获得较大的统计权重，而图像背景等灰度平坦区域获得较小的统计权重，如式(8)所示：
$$ H(l) = \sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {\left[ {\frac{1}{{{\omega _{\text{r}}} - 1}}\sum\limits_{k = - r}^r {\sum\limits_{l = - r}^r {{\varphi _{\text{l}}}(x(m,n),x(m + k,n + l),t)} } } \right]} } $$ (8) 式中：r代表中心像素的方形邻域半径；ωr＝(2r+1)2为方形邻域内的总像素数；t为阈值常数；φ1(u, v, t)为二值函数，定义为：
$$ {\varphi _{\text{l}}}(u,v,t) = \left\{ {\begin{array}{*{20}{l}} {1,\quad u = l\quad {\text{and}}\quad \left| {u - v} \right| \geqslant t} \\ {0,\quad {\text{otherwise}}} \end{array}} \right. $$ (9) 邻域条件直方图增强效果如图 4所示。
![]()
图 4 普通直方图增强(a)和邻域条件直方图增强(b)效果对比Figure 4. Comparison between ordinary HE (a) and NCHE (b)从图 4所示的直方图增强对比效果看，采用邻域条件直方图增强的图像整体对比度更强，图像层次感更好。然而邻域条件直方图对条件阈值t的选择具有较强的依赖性，如图 5所示。
![]()
图 5 不同阈值t选择和背景层图像输出关系Figure 5. Relationship between different threshold t selection and background layer image output从图 5可以看到，对于场景较丰富的图像，设置较高的阈值t可以表现出更好的对比度层次；但是对于场景较单一的图像（如地下车库），导向滤波后背景层存在大量平坦区域，若t设置过高，经过直方图统计后，大量灰度概率密度被压缩为0，从而丢失大量的图像信息。
从式(9)可知，阈值t的选择和像素邻域的差值的L1范数相关，而在ω区域内，图像的局部方差σω可表示为：
$$ {\sigma _\omega } = \frac{1}{{{\omega _r}}}{\sum\limits_{u \in \omega } {\left( {u - {\mu _\omega }} \right)} ^2} $$ (10) 式中：μω为ω区域内像素均值；u为ω区域内像素。而对于红外图像，若以ω区域中心像素v近似替代μω，则有：
$$ {\sigma _\omega } \approx \frac{1}{{{\omega _r}}}{\sum\limits_{u \in \omega } {\left( {u - v} \right)} ^2} $$ (11) 结合式(9)和(11)，可知阈值t像素邻域的差值的L2范数相关。根据参考文献[18]，当ω区域包含的像素足够大（ωr≥9），可以用全局方差近似局部方差，因此，可以根据输入图像的方差σI自适应调整t的取值。
利用红外热像仪采集各类典型14 bit红外图像100幅，包含复杂场景，明暗交界场景，均匀场景等，如图 6所示。
![]()
图 6 用于阈值t分析的不同场景，图(a)~(g)分别为地下车库、地下车库出口、逆光建筑、夜晚行人、夜晚建筑、测试用四杆靶标、室内近景、室内人物场景Figure 6. Different scene for threshold t analysis, figures (a) to (g) show the underground garage, underground garage exit, backlit buildings, night pedestrians, night buildings, four pole targets for testing, indoor close-up, and indoor character scenes, respectively根据不同场景的输入图像方差，采用分段线性的方式建立其与邻域条件直方图阈值t的关系，如式(12)所示：
$$ t = \left\{ {\begin{array}{*{20}{c}} {1 + {k_1} \cdot {\sigma _{\text{I}}}} \\ {3 + {k_2} \cdot \left( {{\sigma _{\text{I}}} - {T_1}} \right)} \\ {6 + {k_3} \cdot \left( {{\sigma _{\text{I}}} - {T_2}} \right)} \\ {10} \end{array}} \right.\begin{array}{*{20}{c}} {} \\ {} \\ {} \\ {} \end{array}\begin{array}{*{20}{c}} {} \\ {} \\ {} \\ {} \end{array}\begin{array}{*{20}{c}} {{\sigma _{\text{I}}} < {T_1}} \\ {{T_1} \leqslant {\sigma _{\text{I}}} < {T_2}} \\ {{T_2} \leqslant {\sigma _{\text{I}}} < {T_3}} \\ {{\sigma _{\text{I}}} \geqslant {T_3}} \end{array} $$ (12) 式中：T1、T2和T3是根据图像方差设置的分段划分阈值，分别设置为20、100和200；k1、k2和k3为根据划分阈值设置的斜率，确保分段曲线连续，分别为0.1、0.0375和0.04，t最大上限设置为10，避免过大造成灰度消失。
对不同场景红外图像背景图邻域条件直方图增强后输出IBNCHE如图 7所示。
![]()
图 7 不同场景背景图邻域条件直方图输出结果Figure 7. Output results of background neighborhood conditional histograms of different scene3.2 限制对比度自适应直方图均衡化叠加
从图 7可以看出，对于复杂场景图像，阈值t较高，背景图像的增强效果较好，图像轮廓较分明，而低对比度图像，阈值t相对较低，灰度压缩效果更接近普通直方图增强效果，导致背景噪声出现了放大。论文采用限制对比度自适应直方图均衡化（CLAHE）算法，与邻域条件直方图处理背景图结果叠加，可以有效解决低对比度场景的背景图噪声放大问题。
CLAHE算法采用分块方式对每块区域单独进行直方图均衡，同时对对比度进行限制，有效避免背景过增强，其机理如图 8所示。
原始直方图H为坐标系中绿色和白色围成的部分，CLAHE将超过直方图分布门限clip的直方图（绿色部分）在该门限下重新调整分布，形成新的直方图$ \tilde H $（重新分配的蓝色部分和原直方图H的白色部分），再重新映射得到增强图像。而各个增强后的子图像块中的像素进行线性插值，避免“图像分块”现象出现。
利用CLAHE对背景层图像IB进行调整，得到限制对比度自适应直方图增强背景图像IBCLAHE。最终将背景层图像输出IBNCHE和IBCLAHE进行加权平均，权重系数WB为邻域条件直方图阈值t归一化至[0, 0.5]区间的数值，即：
$$ I_{\mathrm{BO}}=W_{\mathrm{B}} \cdot I_{\mathrm{BNCHE}}+\left(1-W_{\mathrm{B}}\right) \cdot I_{\mathrm{BCLAHE}} $$ (13) 图 7所示的原始红外图像，经过式(13)处理的效果如图 9所示。
从图 9可以看出，结合邻域条件直方图和限制对比度自适应直方图增强后，对各类不同场景，红外图像背景层保持了较好的对比度增强效果，层次分明，同时避免了背景噪声放大。
4. 细节层对比度调整及图像融合
对2.2节得到的细节图像IDP，采用自适应增益控制方式进行转化，首先将细节层图像拉伸至[0, 255]灰度范围，如式(14)所示：
$$ {I_{{\text{DC}}}} = \frac{{{I_{{\text{DP}}}} - {I_{{\text{DP_min}}}}}}{{{I_{{\text{DP_max}}}} - {I_{{\text{DP_min}}}}}}.(R - 1) $$ (14) 式中：IDP_min、IDP_max分别是细节图像IDP的最小和最大灰度值，对于8 bit图像转换，R为256，再通过线性拉伸，对细节层图像做进一步地增益和亮度控制，有：
$$ {I_{{\text{DO}}}} = {G_{\text{D}}} \cdot \left( {{I_{{\text{DC}}}} - {\mu _{{I_{{\text{DC}}}}}}} \right) + {O_{\text{D}}} $$ (15) 式中：GDetail为细节层线性拉伸增益系数；OD为亮度控制系数；$ {\mu _{{I_{{\text{DC}}}}}} $为的IDC平均值，通过式(15)计算，得到细节层增强图像IDO。将细节层图像和背景层图像进行加权叠加，得到加权后的图像输出，如式(16)所示：
$$ I_{\mathrm{C}}=\left(1-W_{\mathrm{L}}\right) \cdot I_{\mathrm{BO}}+W_{\mathrm{L}} \cdot I_{\mathrm{DO}} $$ (16) WL的取值可根据细节层增强的效果调整，一般取值为[0.3, 0.5]。对输出图像亮度进行最终调节，减去叠加图像灰度均值和细节层亮度系数的差值，得到最终增强图像输出，如式(17)所示：
$$ {I_{{\text{OUT}}}} = {I_{\text{C}}} + ({O_{\text{D}}} - {\mu _{{I_{\text{C}}}}}) $$ (17) 5. 实验结果与分析
将论文算法和自适应增益控制算法（Adaptive Gain Control, AGC）、双平台直方图算法（DPHE）、双边滤波器图像增强算法（BF & DPR）[11]、引导滤波结合分段直方图拉伸算法（Guided Filtering and Adaptive Histogram Projection, GF & AHP）[19]进行对比，针对不同场景红外图像进行处理。
选择了3个不同场景进行对比，场景1、2为制冷型红外成像系统采集到的图像，图像分辨率为640×512，场景3为非制冷红外成像系统采集的图像，分辨率为384×288。AGC算法采用[1%, 99%]范围的概率密度直方图灰度级进行线性灰度压缩；DPHE算法设置的平台直方图高低阈值P1、P2分别为800和3；BF&DRP算法参数σs、σr分别为25和100，背景图像和细节图像的伽马变换取值为0.9和1.2；对于GF&AHP算法，选择的引导滤波参数ε为2000，细节层滤波掩模引导滤波参数ε′为500，掩模线性拉伸参数a和b分别为2.5和0.2；本文算法两级导向滤波参数ε1和ε2分别为25和500，14 bit细节层放大增益λ取5，8 bit细节层线性拉伸增益GD和亮度OD分别取2.0和100，背景层CLAHE图像分块为[8,8]，灰度门限设置为1%，细节层和背景层叠加权重WL取0.3。成像效果如图 10~12所示。
![]()
图 10 场景1：制冷型热像仪室内高对比度场景各算法处理结果：图(a)~(e)分别代表AGC、DPHE、BF&DRP、GF&AHP和本文算法处理结果Figure 10. Scenario 1: Processing results of algorithms for high contrast indoor scene of the cooled imager: Figures (a)-(e) represent the processing results of AGC, DPHE, BF&DRP, GF&AHP and the proposed algorithm![]()
图 11 场景2：制冷型热像仪室外场景各算法处理结果：图(a)~(e)分别代表AGC、DPHE、BF&DRP、GF&AHP和本文算法处理结果Figure 11. Scenario 2: Processing results of algorithms for outdoor scene of the cooled imager: Figures (a)-(e) represent the processing results of AGC, DPHE, BF&DRP, GF&AHP and the proposed algorithm![]()
图 12 场景3：非制冷型热像仪夜间场景各算法处理结果：图(a)~(e)分别代表AGC、DPHE、BF&DRP、GF&AHP和本文算法处理结果Figure 12. Scenario 3: Processing results of algorithms for nighttime scene of the uncooled imager: Figures (a)-(e) represent the processing results of AGC, DPHE, BF&DRP, GF&AHP and the proposed algorithm场景1中，高温目标和低温背景同时出现，图 10中AGC算法对灰度级进行了线性压缩，对于灰度值较低的背景，灰度压缩损失了大量的细节，导致背景图像无法显示；DPHE算法有效解决了背景丢失的问题，但烙铁附近的灰度级出现了过饱和现象，手部的细节信息出现丢失；BF&DRP算法过增强现象比较明显，且边缘轮廓梯度反转现象较明显；GF&AHP算法很好地对灰度级进行了拉伸，保留了一定的细节成分，但是细节增强效果较弱；本文算法取得了较好的效果，高亮目标和背景图像都得到了充分的呈现，图像细节成分，如手部关节、直流电源标签、散热窗口等信息体现得较为清楚，图像整体对比度明显。
图 11所示的场景2中，AGC算法较好地保持了原始图像的对比度信息，但对于远处建筑物细节凸显不足，近处阳光照射下的平台出现了饱和；DPHE算法出现了明显的过曝近况，图像整体灰度偏亮；BF&DRP算法表现相对较好，但是对于远处建筑物上的字体增强效果不佳，出现了一定的模糊；GF&AHP算法对于远处建筑物上的字体和近处树木的细节表现较好，但是阳光照射下的平台仍然存在饱和情况；本文算法对于远处建筑物及上面的字体，近处阳光照射下的平台，以及树木细节均做到了较好的呈现，整体视觉效果最佳。
非制冷夜间场景红外图像对比度较低，受限于非制冷红外探测器的成像机制，图像背景会出现较多的噪声，因此，噪声水平的控制也是评价算法效果的重要因素，图 12中，AGC算法、DPHE算法和BF&DRP算法的图像输出均包含了较多的噪声；GF&AHP和本文算法对于图像输出噪声控制较好，而本文算法在行人目标的细节呈现方面效果更优。
本文使用边缘强度、无参考结构清晰度和亮度次序误差3种客观定量评价标准对比上述不同算法的性能。
边缘强度（Counter-Volume, CV）能够反映图像灰度出现阶跃变化部分的幅值，表征了图像的清晰程度，如式(18)、(19)所示，M和N为图像尺寸。
$$ G = {\nabla ^2}I(x,y) $$ (18) $$ {\text{CV}} = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\left| {G(i,j)} \right|} } $$ (19) 无参考结构清晰度（No Reference Structural Sharpness, NRSS）通过结构相似性测量指标（Structural Similarity Index, SSIM）获取，定义为：
$$ {\text{NRSS}}(I) = 1 - \frac{1}{K}\sum\limits_{i = 1}^K {{\text{SSIM}}(B_i^{{G_I}},B_i^{{G_{F(I)}}})} $$ (20) 式中：F(I)为图像I的高斯模糊图像；GI和GF(I)为Sobel算子分别作用于I和F(I)的边缘图像；$B_i^{{G_{\text{I}}}}$和$B_i^{{G_{F{\text{(}}I{\text{)}}}}}$分别为GI和GF(I)中的部分重叠图像块。K代表选取的总图像块数中梯度信息最丰富的前K个图像块。在本文计算过程中，图像块大小设定为32×32，滑动步长设置为图像块大小的1/2，K取值为总图像块数的1/2。
亮度顺序误差（Lightness Order Error, LOE）主要用来衡量图像的自然程度。LOE值越小，代表处理后的图像与原图像的明暗特征更为接近，对于图像中的每个像素(i, j)，其亮度顺序误差定义为：
$$ {\text{LOE}} = \frac{1}{{m \times n}}\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {{\text{RD}}(i,j)} } $$ (21) $$ {\text{RD}}(i,j) = \sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {\left[ {U(X_{i,j}^{D} ,X_{m,n}^{\text{D}}) \oplus U(Y_{i,j}^{\text{D}},Y_{m,n}^{\text{D}})} \right]} } $$ (22) $$ U(x,y) = \left\{ {\begin{array}{*{20}{c}} 1 \\ 0 \end{array}} \right.\quad \begin{array}{*{20}{c}} {{\text{for}}} \\ {{\text{else}}} \end{array}\begin{array}{*{20}{c}} {x \geqslant y} \\ {} \end{array} $$ (23) 式中：X和Y分别代表输入图像和增强后图像，为了减小计算量，对原图像X和Y进行下采样得到XD和YD，M×N为下采样后图像尺寸，论文中将M和N设置为原图像行和列数值的1/16，U(x, y)为二值化函数；⊕为异或操作符。
利用上述3个指标对3个不同场景不同算法的增强效果进行计算，结果汇总如表 1所示。
表 1 不同算法图像增强效果定量评价表Table 1. Quantitative evaluation table of image enhancement effects of different algorithmsEvaluating indicator Algorithm Scene Average 1 2 3 CV AGC 6.025 39.467 41.508 29.000 DPHE 16.803 64.338 60.360 47.167 BF&DRP 33.371 52.047 39.832 41.750 GF&AHP 9.819 83.645 28.308 40.591 Proposed algorithm 21.022 109.106 21.580 50.569 NRSS AGC 0.643 0.595 0.507 0.582 DPHE 0.608 0.710 0.580 0.633 BF&DRP 0.846 0.699 0.518 0.688 GF&AHP 0.620 0.783 0.554 0.652 Proposed algorithm 0.811 0.883 0.550 0.748 LOE AGC 3.203 3.127 1.292 2.541 DPHE 33.186 47.044 15.046 31.759 BF&DRP 70.573 19.119 3.444 31.045 GF&AHP 26.410 32.494 11.435 23.445 Proposed algorithm 19.580 30.461 6.972 19.004 表 1汇总了不同场景的各算法处理结果，用加粗字体标注了CV、NRSS的最大值和LOE的最小值，可以看到，在CV和NRSS指标中，本文算法均优于其他各类算法。LOE指标中，最低的数值是AGC算法结果，但考虑到AGC算法属于线性灰度压缩，边缘增强效果较弱，因此相较于表中其他图像增强方式会出现较好的亮度一致性，而其余4种算法均为非线性灰度压缩，本文算法在非线性灰度压缩中仍然保持着最好的亮度一致性。对比上述算法评价结果，本文算法不仅可以取得较好的增强效果，同时可以较好地保留待增强图像的明暗特性。
将算法在某款非制冷成像系统上进行FPGA移植，FPGA型号为Altera公司的CycloneV：5CEFA5U19I7，输入图像方差需要缓存红外原始图像，具体实现利用前一帧图像方差作为当前帧图像方差参与后续计算；针对引导滤波，根据输入的正则化因子ε在内存中预先生成查找表，计算过程采用流水线处理，选择的窗口大小为3×3，利用3组FIFO缓存行数据，在当前帧完成处理。利用外部DDR芯片缓存引导滤波后14 bit细节层和背景层图像，直方图统计部分按照图像分块输入，统计14 bit背景层图像每块像素点数量，完成统计后分别送邻域条件判断直方图模块和限制对比度直方图模块，完成块直方图的整合和直方图调整，并根据图像方差结果加权叠加生成8 bit背景层图像；最后14 bit细节层图像进行线性灰度拉伸，转换成8 bit图像，和8 bit背景层图像加权叠加得到最终图像。实现数字细节增强共消耗可编程逻辑单元6538个，M10K使用135块，DSP Blocks使用41个，资源消耗情况如表 2所示。
表 2 数字细节增强模块FPGA资源消耗Table 2. FPGA resource usage of DDE moduleResource type Used Total resources Resource occupancy rate Configurable Logic Block 6538 29080 22.5% Block RAM 135 4460 3.0% DSP Blocks 41 150 27.3% 图 13为嵌入式移植后采集的8 bit细节增强室内外图像显示效果。
从图 13可以看到，经过FPGA移植后，非制冷热像仪室内外场景细节纹理过渡自然，图像对比度较好，进一步证明了算法在实际工程化应用的有效性。
6. 结论
本文分析了红外图像增强领域各类主要算法的优缺点，提出了一种基于自适应条件直方图均衡的红外图像细节增强算法。算法利用两个不同参数引导滤波，将红外图像分解为背景层和细节层，利用引导滤波中间计算结果生成滤噪掩模，在有效提升边缘细节的同时抑制细节层噪声放大；背景层则通过自适应邻域条件直方图均衡结合限制对比度直方图均衡方式进行灰度压缩，在有效提升图像对比度水平的同时抑制背景噪声；将细节层图像和背景层图像加权叠加得到增强后图像。增强后的红外图像细节清晰、层次分明、噪声抑制效果好，实验结果表明，本文算法从主观视觉效果和客观指标评价两方面均得到令人满意的增强效果。最后对算法进行了FPGA嵌入式移植，验证了算法的工程化应用效果。
-
![]()
图 2 不同ε组合提取的背景层（上）和细节层（下）
Figure 2. Background layer (up) and detail layer (down) extracted by different ε combinations
![]()
图 3 引导滤波增益系数$ {\bar a_1} $、$ {\bar a_2} $和掩模p输出结果
Figure 3. Output of guided filter gain coefficient $ {\bar a_1} $, $ {\bar a_2} $ and mask p
![]()
图 4 普通直方图增强(a)和邻域条件直方图增强(b)效果对比
Figure 4. Comparison between ordinary HE (a) and NCHE (b)
![]()
图 5 不同阈值t选择和背景层图像输出关系
Figure 5. Relationship between different threshold t selection and background layer image output
![]()
图 6 用于阈值t分析的不同场景，图(a)~(g)分别为地下车库、地下车库出口、逆光建筑、夜晚行人、夜晚建筑、测试用四杆靶标、室内近景、室内人物场景
Figure 6. Different scene for threshold t analysis, figures (a) to (g) show the underground garage, underground garage exit, backlit buildings, night pedestrians, night buildings, four pole targets for testing, indoor close-up, and indoor character scenes, respectively
![]()
图 7 不同场景背景图邻域条件直方图输出结果
Figure 7. Output results of background neighborhood conditional histograms of different scene
![]()
图 10 场景1：制冷型热像仪室内高对比度场景各算法处理结果：图(a)~(e)分别代表AGC、DPHE、BF&DRP、GF&AHP和本文算法处理结果
Figure 10. Scenario 1: Processing results of algorithms for high contrast indoor scene of the cooled imager: Figures (a)-(e) represent the processing results of AGC, DPHE, BF&DRP, GF&AHP and the proposed algorithm
![]()
图 11 场景2：制冷型热像仪室外场景各算法处理结果：图(a)~(e)分别代表AGC、DPHE、BF&DRP、GF&AHP和本文算法处理结果
Figure 11. Scenario 2: Processing results of algorithms for outdoor scene of the cooled imager: Figures (a)-(e) represent the processing results of AGC, DPHE, BF&DRP, GF&AHP and the proposed algorithm
![]()
图 12 场景3：非制冷型热像仪夜间场景各算法处理结果：图(a)~(e)分别代表AGC、DPHE、BF&DRP、GF&AHP和本文算法处理结果
Figure 12. Scenario 3: Processing results of algorithms for nighttime scene of the uncooled imager: Figures (a)-(e) represent the processing results of AGC, DPHE, BF&DRP, GF&AHP and the proposed algorithm
表 1 不同算法图像增强效果定量评价表
Table 1 Quantitative evaluation table of image enhancement effects of different algorithms
Evaluating indicator Algorithm Scene Average 1 2 3 CV AGC 6.025 39.467 41.508 29.000 DPHE 16.803 64.338 60.360 47.167 BF&DRP 33.371 52.047 39.832 41.750 GF&AHP 9.819 83.645 28.308 40.591 Proposed algorithm 21.022 109.106 21.580 50.569 NRSS AGC 0.643 0.595 0.507 0.582 DPHE 0.608 0.710 0.580 0.633 BF&DRP 0.846 0.699 0.518 0.688 GF&AHP 0.620 0.783 0.554 0.652 Proposed algorithm 0.811 0.883 0.550 0.748 LOE AGC 3.203 3.127 1.292 2.541 DPHE 33.186 47.044 15.046 31.759 BF&DRP 70.573 19.119 3.444 31.045 GF&AHP 26.410 32.494 11.435 23.445 Proposed algorithm 19.580 30.461 6.972 19.004 
下载: 导出CSV
表 2 数字细节增强模块FPGA资源消耗
Table 2 FPGA resource usage of DDE module
Resource type Used Total resources Resource occupancy rate Configurable Logic Block 6538 29080 22.5% Block RAM 135 4460 3.0% DSP Blocks 41 150 27.3%
下载: 导出CSV
-
[1] 刘珂, 王炜强, 李丽娟. 红外成像制导技术在反隐身空空导弹上的应用展望[J]. 航空兵器, 2022, 29(2): 60-65. LIU Ke, WANG Weiqiang, LI Lijuan. Application and prospect of infrared imaging guidance technology in anti-stealth air-to-air missiles [J]. Aero Weaponry, 2022, 29(2): 60-65.
[2] 袁盼, 谭竹嫣, 张旭, 等. 工业气体泄漏红外成像检测及差分光谱滤波检测方法研究[J]. 红外与激光工程, 2022, 51(8): 20210714. YUAN Pan, TAN Zhuyan, ZHANG Xu, et al. Research on infrared imaging detection and differential spectrum filtering detection methods for industrial gas leakage[J]. Infrared and Laser Engineering, 2022, 51(8): 20210714.
[3] 曹志伟. 车载图像行人检测关键技术研究[D]. 北京: 北京邮电大学, 2021. CAO Zhiwei. Research on Key Technologies of Pedestrian Detection in Vehicle-Borne Image[D]. Beijing: Beijing University of Posts and Telecommunications, 2021.
[4] 陈钱. 红外图像处理技术现状及发展趋势[J]. 红外技术, 2013, 35(6): 311-318. http://hwjs.nvir.cn/article/id/hwjs201306001 CHEN Qian. The status and development trend of infrared image processing technology[J]. Infrared Technology, 2013, 35(6): 311-318. http://hwjs.nvir.cn/article/id/hwjs201306001
[5] HUANG Jun, MA Yong, ZHANG Ying, et al. Infrared image enhancement algorithm based on adaptive histogram segmentation[J]. Appl. Opt, 2017, 56(35): 9686-9697. DOI: 10.1364/AO.56.009686
[6] Vickers V E. Plateau Equalization algorithm for realtime display of high-quality infrared imagery [J]. Opt Eng, 1996, 35(7): 1921-1926. DOI: 10.1117/1.601006
[7] LIANG Kun, MA Yong, XIE Yue, et al. A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J]. Infrared Phys. Technol, 2012, 55(4): 309-315. DOI: 10.1016/j.infrared.2012.03.004
[8] LIU Chengwei, SUI Xiubao, KUANG Xiaodong, et al. Adaptive contrast enhancement for infrared images based on the neighborhood conditional histogram[J]. Remote Sensing, 2019, 11: 1381. Doi: 10.3390/rs11111381.
[9] Zuiderveld K. Contrast limited adaptive histogram equalization[J/OL]. Graphics Gems IV, August, 1994: 474-485. https://dl.acm.org/doi/10.5555/180895.180940
[10] Joung Youn K, Lee Sup K, Seung Ho H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2001, 11(4): 475-484. DOI: 10.1109/76.915354
[11] Barash D. A fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24: 844-848. DOI: 10.1109/TPAMI.2002.1008390
[12] Francesco B, Marco D and Giovanni C. New technique for the visualization of high dynamic range infrared images[J]. Optical Engineering, 2009, 48(9): 096401. DOI: 10.1117/1.3216575
[13] ZUO C, CHEN Q, LIU N, et al. Display and detail enhancement for high-dynamic-range infrared images[J]. Optical Engineering, 2011, 50(12): 127401.
[14] Frederic G, Cedric S, Bruno M. Real-time visualization of high-dynamic-range infrared images based on human perception characteristics - noise removal, image detail enhancement and time consistency[C]//VISAPP, 2015: 144-152.
[15] 汪子君, 罗渊贻, 蒋尚志, 等. 基于引导滤波的自适应红外图像增强改进算法[J]. 光谱学与光谱分析, 2020, 40(11): 3463-3467. WANG Zijun, LUO Yuanyi, JIANG Shangzhi, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering[J]. Spectroscopy and Spectral Analysis, 2020, 40(11): 3463-3467.
[16] 胡家珲, 詹伟达, 桂婷婷, 等. 基于多尺度加权引导滤波的红外图像增强方法[J]. 红外技术, 2022, 44(10): 1082-1088. http://hwjs.nvir.cn/article/id/be19ce07-80c0-43ee-85ef-7f82fc8988d9 HU Jiahui, ZHAN Weida, GUI Tingting, et al. Infrared image enhancement method based on multiscale weighted guided filtering[J]. Infrared Technology, 2022, 44(10): 1082-1088. http://hwjs.nvir.cn/article/id/be19ce07-80c0-43ee-85ef-7f82fc8988d9
[17] HE Kaiming, SUN Jian, TANG Xiao. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(6): 1397-1409.
[18] 汪伟, 许德海, 任明艺. 一种改进的红外图像自适应增强方法[J]. 红外与激光工程, 2021, 50(11): 20210086. WANG Wei, XU Dehai, REN Mingyi. An improved infrared image adaptive enhancement method[J]. Infrared and Laser Engineering, 2021, 50(11): 20210086.
[19] LIU Ning, ZHAO Dongxue. Detail enhancement for high-dynamic-range infrared images based on guided image filter[J]. Infrared Physics & Technology, 2014, 67: 138-147.
-
期刊类型引用(1)
1. 范锦珑，王高，李建民. 温敏荧光材料YAG:Tm在高温系统中的发光特性. 电子制作. 2024(24): 87-89+10 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 214
- HTML全文浏览量: 91
- PDF下载量: 81
- 被引次数: 1
