红外图像动态范围压缩算法研究综述

欧阳慧明, 李泽民, 周永康, 王世锦, 朱晓杰, 曾邦泽, 赵德利, 胡建钏

欧阳慧明, 李泽民, 周永康, 王世锦, 朱晓杰, 曾邦泽, 赵德利, 胡建钏. 红外图像动态范围压缩算法研究综述[J]. 红外技术, 2021, 43(3): 208-217.
引用本文: 欧阳慧明, 李泽民, 周永康, 王世锦, 朱晓杰, 曾邦泽, 赵德利, 胡建钏. 红外图像动态范围压缩算法研究综述[J]. 红外技术, 2021, 43(3): 208-217.
OUYANG Huiming, LI Zemin, ZHOU Yongkang, WANG Shijin, ZHU Xiaojie, ZENG Bangze, ZHAO Deli, HU Jianchuan. Review of Dynamic Range Compression Algorithms for Infrared Images[J]. Infrared Technology , 2021, 43(3): 208-217.
Citation: OUYANG Huiming, LI Zemin, ZHOU Yongkang, WANG Shijin, ZHU Xiaojie, ZENG Bangze, ZHAO Deli, HU Jianchuan. Review of Dynamic Range Compression Algorithms for Infrared Images[J]. Infrared Technology , 2021, 43(3): 208-217.

红外图像动态范围压缩算法研究综述

详细信息
    作者简介:

    欧阳慧明(1991-),男,白族,硕士,工程师,主要研究方向:红外成像系统设计及相关技术。E-mail: 799049681@qq.com

  • 中图分类号: TP751.1

Review of Dynamic Range Compression Algorithms for Infrared Images

  • 摘要: 红外图像的动态范围压缩是红外图像可视化研究领域的重要研究方向。红外图像的动态范围压缩算法将直接决定原始红外图像的细节保留、整体观感等重要可视化指标,某种意义上也可以说是细节增强的基础及保障。基于此,本文调研了当前主流的宽动态红外图像的动态范围压缩算法,将其分为基于全局压缩算法和基于局部压缩算法两大类,并对这两类算法的核心思想、发展过程及优缺点分别进行研究分析并提出了改进方向及发展趋势,为相关研究者提供参考。
    Abstract: Dynamic range compression of infrared images is an important research direction in the field of infrared image visualization. The dynamic range compression algorithm directly determines the important visualization indexes of the original infrared image, such as detail retention and overall perception; in a sense, it is the basis and guarantee of detail enhancement. This study investigates a wide dynamic range compression algorithm and a local compression algorithm based on a global compression algorithm. Based on the two algorithms, we study and analyze the development process and the advantages and disadvantages to improve the research direction and development trend, which will provide a reference for researchers.
  • 红外辐射反映了物体的温度信息,而物体的实际温度变化范围很广,为了获得丰富的红外图像细节信息,红外系统中的红外辐射采集电路的电压信号的模数转换精度一般高达12~16 bit[1-2]。然而人眼对于灰度图像的分辨力只有128的动态范围[3],标准显示设备一般也只有256的显示灰度级[4]。所以要对探测器端输出的原始红外图像进行动态范围压缩才能在设备上正常显示以进行人眼观察。而红外图像动态范围压缩算法也将直接决定处理前后红外图像的细节保持、对比度等重要可视化指标。所以如何在有效压缩原始红外图像的动态范围以符合人类视觉系统的感知,同时尽可能多地保持原始红外图像的信息,已成为红外图像可视化研究领域的重要方向之一。

    基于学者们在红外图像动态范围压缩领域做的大量工作,以及取得的相应进展,对已有的红外图像动态范围的压缩方法的研究总结可大致分为两大类:①全局压缩算法,也称为空间一致性算法;②局部压缩算法,也称为空间变化算法。

    全局压缩方法是对空间中的每个像素点使用相同的变换算法,针对单个像素进行,不考虑空间邻域关系,算法相对成熟且复杂度较低。但要找到全动态范围内的像素值可以进行统一的合理映射,不致损失过多图像细节特征,且能保持图像亮度及对比度感观符合人眼视觉要求的全局映射算法存在较大难度。常见的典型红外图像动态范围全局压缩算法包括:线性压缩、对数压缩、Gamma压缩、直方图均衡压缩等方法。

    而局部压缩算法,在处理的过程中除了考虑像素自身值以外,还考虑了其邻域像素值,通常在图像不同的区域采用不同的函数进行动态范围压缩处理,而且由于局部映射的方法相当于扩大了各像素点的映射范围,所以与全局色调映射算法相比,能更好提升图像细节、对比度等重要图像特征。常见的典型的红外图像动态范围局部压缩算法包括:基于局部直方图压缩、全局压缩和局部压缩相结合、以及基于分层思想的动态范围压缩等方法。

    基于分层思想的红外图像色调映射算法[5-15]是目前红外图像压缩及增强研究领域的热点方向并在学术研究和工程应用中都取得了很好的成果。其主要思想是用低通滤波器将红外图像高频细节和低频大动态范围的纹理信息进行分离,然后对细节层做适当的拉伸或者压缩,对包含低频大动态范围纹理信息的基本层用上述红外图像动态范围压缩方法进行处理以达到动态范围压缩的目的,最后再将其细节层和基本层按一定比例相加得到映射后的红外图像。由于基于分层思想的红外图像映射算法在动态范围压缩部分的处理方法都是基于上述全局或局部动态范围压缩的方法,故本文对基于分层思想的红外图像映射算法不再进行详细介绍。

    全局类的红外图像动态范围压缩算法是最先被提出来的红外图像动态范围压缩方法。现阶段比较成熟的全局红外图像动态范围压缩算法可以分为线性、非线性及直方图调整3类。

    常用的线性压缩是自动增益控制[16](Automatic gain control, AGC),自动增益控制也称为直接线性压缩方法,该算法是最早被提出来也是最为基础和常用的红外图像动态范围压缩算法,其算法模型最简单执行速度最快,处理效率较好。但是该算法也存在图像细节信息丢失明显的缺点,特别是原始图像中当场景主要分布在某个灰度范围附近时,动态范围压缩后整体的对比度会偏低,图像质量较差。

    自动增益控制算法是对原始图像中的像素进行统一的线性压缩,没有区分目标与背景,所以在很多时候导致细节损失的比较严重。基于此,为了突出图像中某一灰度段的图像,可以通过提高该段的增益值以拉伸其映射后的灰度范围,按照不同的灰度段以不同的增益值进行压缩映射,即分段线性压缩[17](piecewise automatic gain control,PAGC)。但是由于固定的分段方法难以对不同场景下的高动态范围红外图像都能得到较好的映射压缩效果,在红外实时系统中应用比较少。

    针对分段线性压缩算法中不同场景下分段参数难以选择的问题,文献[18]首先提出了基于信息熵分段的方法,但是效果提高不明显。基于此,文献[19]提出了基于最优化映射曲线压缩(optimized mapping curve compression,OMCP)方法。该方法首先对输入的高动态范围红外图像进行修正;然后用自适应高斯核函数对原始红外图像的直方图进行平滑,并根据平滑后直方图的波峰和波谷进行直方图分割(求得各分段区间);最后通过计算均方误差度量,使得处理前后图像信息丢失最小,从而求得最优的非线性映射曲线参数(各分段区间的线性映射斜率),以得到处理后的低动态范围图像。这样的分段一次函数的数目越多则越接近理想的映射结果。最终各分段的斜率表达式如式(1)所示:

    $$ {s_k} = \frac{{p_k^{1/3}}}{{{d_k}^{1/3}\sum\nolimits_{i = 0}^{N - 1} {{{\left( {{d_i}^2 \cdot {p_i}} \right)}^{1/3}}} }} \cdot \left( {{v_{\max }} - {v_{\min }}} \right) $$ (1)

    式中:N表示分段总数;${P_k} = \sum\limits_{l = {l_k}}^{{l_{k + 1}}} {P\left( l \right)} $表示第k个分段中所有灰度概率的累加(k=0, 1, …, N-1),vmaxvmin表示第k个段中的最大和最小灰度值。

    图 1(a)为线性压缩处理后的图片,图 1(b)为三段式线性压缩处理后图片,图 1(c)为基于最优化曲线压缩结果。从图 1可以看出,普通线性压缩后图像整体可视化质量较差;当分段线性压缩选择适当的映射参数,能更好地突出目标细节以及提升图像的整体对比度;而最优化曲线压缩方法能自适应调整映射分段区间,图像整体压缩效果较好。

    图  1  线性压缩和三段式线性压缩及最优化曲线压缩处理对比
    Figure  1.  Comparison between linear compression and three-stage linear compression and optimal curve compression processing

    非线性压缩主要是通过各种类型的非线性函数对高动态红外图像的像素进行处理,简单理解就是其压缩映射曲线为非线性的,非线性压缩算法模型相对于线性压缩要更繁杂同时还可以引入一些映射控制参数,此外还可以利用映射函数的特点对原图像中不同灰度段的像素采取不同程度的动态范围压缩,从而在压缩映射后突出图像中感兴趣的特征参量或对图像中的特定目标区域进行增强,所以进行图像动态范围压缩后的细节保留及整体可视化效果一般都要比线性压缩好。目前常见的非线性压缩方法包括指数、对数、三角函数、S曲线压缩、Gamma校正、自适应Gamma等动态范围压缩算法。

    传统的指数压缩[17]算法模型如式(2)所示:

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = {g^{a\left( {{I_{{\rm{in}}}}\left( {i,j} \right) - b} \right)}} $$ (2)

    式中:g用来控制压缩映射范围;参数a可以控制映射曲线的斜率,参数b可控制映射曲线的零点位置。如图 2(a),指数压缩方法扩大了原始高动态范围红外图像中高亮度灰度级区间的映射范围,从而提高了该灰度区间的对比度。但是却严重压缩了低亮度和中间亮度灰度区间像素的映射范围,导致中低亮度的目标场景的细节损失过大,对比度偏低。

    图  2  指数压缩、三角函数压缩及S型曲线压缩处理结果对比
    Figure  2.  Comparison of index compression, trigonometric function compression and S-curve compression

    三角函数压缩方法[17]一般基于正弦、余弦和正切等变换函数。正弦函数压缩方法如式(3),如图 2(b)其主要是增加了原始高动态范围红外图像的中间灰度级区间像素的映射范围,进而增强了图像中处于中间灰度级区间的目标场景的对比度以及细节保留程度。

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = \frac{b}{2}\left\{ {\left. {1 + \frac{1}{{\sin \left( {\frac{{\rm{ \mathsf{ π} }}}{2} \cdot \alpha } \right)}} \cdot \sin \left[ {{\rm{ \mathsf{ π} }} \cdot \alpha \left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{\min }}}} - \frac{1}{2}} \right)} \right]} \right\}} \right. $$ (3)

    式中:Iin(i, j)为输入图像;Imin表示输入图像最小值;参数b为图像压缩后的映射范围,映射到8位,则b为256;α参数可控制映射曲线斜率,α值一般取1,α越大映射曲线斜率越大;α越小映射曲线斜率越小,越接近于线性压缩。

    S曲线基本方程如式(4):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = \frac{a}{{b + d \cdot \exp \left( { - c \cdot {I_{{\rm{in}}}}\left( {i,j} \right)} \right)}} $$ (4)

    式中:Iin(i, j)为输入图像;通常参数abcd所取的值为1。

    文献[20]在式(5)的基础上,提出了不像三角函数压缩那样对称的映射曲线,而是采用不以拐点为对称的S曲线,因而具有较好的灵活性,如图 2(c)能够通过调整参数对原始红外图像的不同灰度区间的像素点进行特定的压缩映射,其映射函数满足公式(5):

    $${I_{{\rm{out}}}}\left( {i,j} \right) = \frac{{c \cdot {I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}\left( {i,j} \right) + \exp \left( {b - a \cdot {I_{{\rm{in}}}}\left( {i,j} \right)} \right)}} $$ (5)

    式中:Iin(i, j)为输入图像,参数a控制S曲线的斜率,参数b控制映射曲线增长区域的位置,参数c为图像压缩后的映射范围。所以选择不同的参数ab将得到不同形状的S映射曲线,从而直接影响图像最后的压缩映射效果。

    传统的对数压缩方法如式(6):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot {\log _b}\left( {{I_{{\rm{in}}}}\left( {i,j} \right) + c} \right) $$ (6)

    式中:a用来控制压缩后的映射范围;b为对数的底数(通常取值2、e和10),参数c(一般取1)主要是为了避免对数函数中出现负无穷的情况。该算法增加了原始高动态范围红外图像的低端灰度级区间像素的对比度,但压缩了中、高灰度级区间像素的映射范围,所以压缩映射后图像中、高亮度目标场景对比度较差。由于对数映射更符合人眼系统对于亮度变化的感知,文献[21]提出了一种基于对数函数的图像动态范围压缩算法,但该算法在处理目标场景动态范围较大的图像时,同样不能很好地兼顾中、高亮度区域像素的映射范围。文献[22]提出一种基于平均亮度的对数压缩算法(mean luminance and logarithmic compression, ML & LC),该算法引入图像的平均对数亮度值来调整图像的映射曲线,以兼顾所有亮度区间像素的映射范围。该算法基本公式如式(7):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot \frac{{\ln \left( {{I_{{\rm{in}}}}\left( {i,j} \right)/{{\bar I}_{{\rm{in}}}} + 1} \right)}}{{\ln \left( {{I_{\max }}/{{\bar I}_{{\rm{in}}}} + 1} \right)}} $$ (7)

    式中:Iin (i, j)和Imax分别表示输入图像和输入图像灰度最大值;${\bar I_{{\rm{in}}}}$为输入图像的平均对数亮度值,其计算公式如式(8):

    $$ {\bar I_{{\rm{in}}}}{\rm{ = }}\exp \left\{ {\frac{{\rm{1}}}{N}\sum\nolimits_{i,j} {\ln \left[ {\delta + {I_{{\rm{in}}}}\left( {i,j} \right)} \right]} } \right\} $$ (8)

    式中:N为图像总像素个数;δ为一个较小的值,主要是为了防止当输入像素灰度值为0时,求出的平均亮度值趋向于负无穷的情况的出现。

    文献[23]也做出了改进,提出了一种底数自适应变化的对数压缩算法(base adaptive change based on logarithmic compression,BAC & LC)。该算法根据图像中各像素点的亮度值来设置相应的对数映射基底,从而通过图像的亮度分量对像素点进行底数自适应对数映射,从而实现图像动态范围压缩的目的。变换公式如式(9):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = \frac{{0.01 \cdot {I_{\rm{d}}}}}{{{{\log }_b}\left( {{I_{\max }} + 1} \right)}} \cdot \frac{{{{\log }_b}\left( {{I_{{\rm{in}}}}\left( {i,j} \right) + 1} \right)}}{{{{\log }_b}\left\{ {\left. {2 + 8 \cdot \left[ {{{\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{\max }}}}} \right)}^{\frac{{\ln \left( a \right)}}{{\ln \left( {0.5} \right)}}}}} \right]} \right\}} \right.}} $$ (9)

    式中:Iin(i, j)为输入图像;a为映射曲线斜率调整参量;b为对数的底数(通常取值2、e和10);Imax为输入图像像素点的最大亮度值;Id为显示设备能够显示的最大亮度值(红外图像一般取255),对于红外图像中的应用Id前一般不乘系数0.01。

    图 3为对数压缩及其两种改进的对数压缩方法处理效果图片。可以直观地看出普通的对数压缩只提高了如空中白云等这些中、低亮度区间内像素的对比度和细节丰富程度,但是其余大部分目标场景的对比度小且细节损失严重。而上述两种改进后的对数压缩方法比较好地兼顾了图像整体对比度和细节保留程度。

    图  3  对数压缩及其两种改进的对数压缩方法处理后图片
    Figure  3.  Logarithmic compression and two improved methods of logarithmic compression after image processing

    γ压缩也是一种非常常用的红外图像动态范围压缩算法,其基本公式如(10):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{\min }}}}{{{I_{\max }} - {I_{\min }}}}} \right)^\gamma } $$ (10)

    式中:a用来控制压缩后的映射范围(一般取值255);γ的作用是控制映射曲线的形状,当γ>1时,压缩后将扩展亮度值较高的灰度区间内像素的映射范围,反之如果γ<1,将扩展灰度值较低的灰度区间内像素的映射范围,如果γ=1,则变为普通的线性压缩形式。

    为解决图像进行全局处理时,不能很好地保留图像的局部对比度,使得压缩后的图像局部对比度差的问题,文献[24]提出了一种局部对比度保持的图像压缩算法,其算法模型如(11)所示:

    $$ \frac{{{I_{{\rm{out}}}}\left( {i,j} \right)}}{{{I_{{\rm{out}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}} = \frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}} $$ (11)

    式中:Iin_arg(i, j)和Iout_arg(i, j)分别表示输入图像和输出图像像素点的局部邻域均值。在文献[24]的基础上,文献[25]进一步提出了基于局部均值的γ自适应压缩(Gamma Adaptive Compression Based on Local Mean,LM & AC)方法,该方法如式(12)所示:

    $$ {I_{{\rm{out}}}}\left( {i,j} \right){\rm{ = }}t\left[ {{I_{{\rm{in}}}}\left( {i,j} \right)} \right] \cdot {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}}} \right)^\beta } $$ (12)

    式中:t[Iin(i, j)]表示的是输入图像与输出图像的灰度级映射关系,其可以根据像素值与领域均值的关系自适应改变伽玛映射值,具体如式(13)和(14)所示:

    $$ t\left[ {{I_{{\rm{in}}}}\left( {i,j} \right)} \right] = {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{\min }}}}{{{I_{\max }} - {I_{\min }}}}} \right)^{\gamma (i,j)}} $$ (13)
    $$ \gamma \left( {i,j} \right) = \exp \left( { - \frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}}} \right) $$ (14)

    该算法可以根据图像的局部特征自适应地调整图像亮度,即压缩变换后,原图中的亮点仍然为亮点,而暗点仍然为暗点,从而很好地保持了图像的对比度,同时也有效避免全局映射带来的灰度值相近的邻近像素值在压缩后其亮度值的合并导致的图像细节丢失问题。

    此外文献[26]提出了将原图像中像素的灰度值与其滤波平滑后对应灰度值的比值引入到图像动态范围压缩中,以达到增强映射后图像的低亮度灰度区域内图像细节的目的。基于此,文献[27]提出了基于双边滤波的自适应γ压缩(bilateral filtering andadaptive gamma compression,BF & AGC)来对图像的动态范围进行压缩,该算法如式(15)、(16)所示:

    $$ {I_{\rm{b}}}\left( {i,j} \right) = \exp \left( { - \frac{1}{\sigma } \cdot \frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{\rm{l}}}\left( {i,j} \right)}}} \right) $$ (15)
    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{\min }}}}{{{I_{\max }} - {I_{\min }}}}} \right)^{\left( {r \cdot {I_{\rm{b}}}\left( {i,j} \right)} \right)}} $$ (16)

    式中:Ib(x, y)作为每个像素点的局部对比度[28],通过指数函数归一化为[0, 1];σ为尺度参数;Il(x, y)是原图像经过双边滤波后的值。r是伽玛校正的调整参数,由于当r接近文献[29]中的平均亮度因子时,压缩后的图像更自然,r的表达式如式(17)所示:

    $$ r = \frac{{{{\log }_2}{{\bar I}_{{\rm{in}}}} - {{\log }_2}{I_{\min }}}}{{{{\log }_2}{I_{\max }} - {{\log }_2}{I_{\min }}}} $$ (17)

    式中:${\bar I_{{\rm{in}}}}$为式(8)表示的输入图像的平均对数亮度值。

    图 4γ函数压缩及其两种改进的自适应γ压缩方法处理效果图。可以直观地看出两种改进的自适应γ函数压缩方法在细节保持和对比度拉伸方面都要比传统的γ函数压缩方法效果更好。

    图  4  γ函数压缩及其两种改进的自适应γ压缩方法处理后图片
    Figure  4.  Gamma compression and two improved adaptive gamma compression methods for post-processing images

    直方图类压缩也是常用的红外图像动态范围压缩方法之一。该类方法也是全局压缩算法,简单易实现,在工程应用及学术研究中都有广泛的应用。

    直方图均衡化(histogram equalization,HE)[30]是红外图像动态范围压缩及对比度拉伸领域具有代表性的方法之一。HE的基本原理是根据图像的累积直方图分布求出归一化的累积直方图,然后根据累积直方图曲线将像素灰度级重新进行分布,使得图像在一定灰度范围内像素数量大致相同。直方图均衡化压缩方法基本公式如式(18)所示:

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot \frac{{\sum\nolimits_{n = 0}^{{I_{in}}\left( {i,j} \right)} {H\left( n \right)} }}{{\sum\nolimits_{n = 0}^{{I_{\max }}} {H\left( n \right)} }} $$ (18)

    式中:Iin (i, j)和Imax分别表示输入图像和输入图像灰度最大值;参数a用来控制压缩后的映射范围(一般取值255);H(n)为图像统计直方图。

    原始的直方图均匀化压缩方法存在的主要缺陷是容易造成对比度过度增强以及图像细节丢失。针对此问题,文献[31]提出了一种基于线性映射和直方图均衡化的色调映射算法(Hue mapping algorithm based on linear mapping and histogram equalization, HALEQ)。该算法将线性映射和直方图均衡化相结合,通过引进权重因子,来平衡线性压缩与直方图均衡化压缩的比重,从而在充分利用映射灰度级的同时又不会导致图像过度的增强或压缩。

    图 5,线性压缩后图像对比度低,相比而言直方图均衡化压缩方法图像对比度较高但细节丢失相对又比较明显。而HALEQ算法为两种算法的互补结合,对比原来的两种算法,该方法压缩后的图像在对比度和细节保留程度上都要表现得更好。

    图  5  线性压缩、直方图均衡化与HALEQ算法处理效果对比
    Figure  5.  Comparison of linear compression, histogram equalization and HALEQ algorithm

    在直方图均衡压缩过程中,往往少量的“极值”灰度级会影响统计特性从而降低压缩后图像的整体可视化质量。直方图修正[32](Histogram modification,HM)一般指的是将原图像直方图中某些“极值”灰度级去除后对直方图的剩余灰度级进行调整然后再压缩的方法。这种去极值的方法一般是去除原始红外图像中的无效灰度级(像素占比为0的灰度级),这样可以大大减少灰度级中的冗余,整体提高映射曲线斜率,扩大有效灰度级压缩后的映射范围,从而可以有效减少压缩后图像细节的损失以及显著提升图像对比度。此外,对原始红外图像的统计直方图研究中发现,有大量的灰度级像素占比很低,这些灰度级在压缩映射后也会占据一定的灰度范围,但是这样反而压缩了其余像素占比较多的灰度级的映射范围,同样也会造成压缩后图像整体细节损失过大,图像对比度较低的问题,所以有些红外图像压缩方法中也会设定一个阈值,然后将像素占比低于阈值的灰度级当无效灰度级去掉。所以这种去极值的思想在红外图像的动态范围压缩算法中有着广泛的应用。

    图 6为线性压缩及两种直方图修正算法处理结果对比。可以看出先通过直方图修正处理然后再进行线性压缩的图像比直接线性压缩图像在细节保留程度和对比度拉伸方面都有着明显的改善。此外对比图 6(c)图 6(b)可以发现,只要阈值设置恰当,剔除低于像素占比阈值灰度级的直方图修正方法相比直接剔除无效灰度级的直方图修正方法,由于进一步扩大了有效灰度级的映射范围,反而图像在细节和对比度等方面的可视化效果要更好。可见直方图修正是红外图像动态范围压缩处理方法当中的一种非常重要的思想。

    图  6  直方图修正算法处理结果
    Figure  6.  Histogram modification algorithm processing results

    局部类的红外图像动态范围压缩算法是以全局类的红外图像动态范围压缩算法为基础进一步提出来的。由于全局压缩方法处理的图像难以避免都存在细节损失明显以及局部对比度较低的问题,学者们进一步提出了局部类压缩算法,该类算法将原始图像分成多个子块分别进行压缩之后再用双线性插值等方法重新生成新的完整图像,很好地解决了全局类算法的缺点,对压缩后图像的细节丰富程度以及局部对比度方面都有着显著的提升。但是相比于全局压缩算法,该类算法存在分块效应、噪声容易被放大、图像过增强、全局对比度较差、以及算法复杂度和计算开销过大等问题。

    文献[33]首先提出了基于子块划分的自适应直方图均衡(adaptive HE,AHE)映射算法,认为不同区域内的局部映射应当和当前位置的局部直方图统计信息相关,该算法将原始图像分割成矩形子块并且将边缘像素进行复制扩充,分别在各个子块内部进行直方图均衡以增强图像的局部对比度,但该算法容易出现对比度过增强的问题。文献[34]进一步提出了著名的对比度受限的直方图均衡化算法(contrast limited adaptive histogram equalization,CLAHE),如图 7(a),该方法在工程开发和学术研究当中都得到了广泛的应用。该算法在AHE(adaptive histogram equalization)的基础上,通过对各个子块局部区域直方图在映射时进行限幅来避免局部区域内的噪声放大,并将限幅截掉的部分均匀地加在直方图的底部,最后使用双线性差值方法来计算非中心区域的直方图映射值解决子块图像的分块效应问题。然而,CLAHE算法在动态场景时,有时会出现子块间的边际效应而引入鬼影。为了更好地处理子块边缘,文献[35]提出了局部交叠子块直方图均衡算法(Partially overlapped sub-block Histogram-equalization,POAHE),将子块窗口以窗口边长的一半为步长移动,而不是逐个像素移动,以此形成局部交叠子块以减少计算量;然后通过不同的权重系数来处理交叠处的像素得到最终的映射图像。

    图  7  局部直方图类算法处理结果对比
    Figure  7.  Comparison of processing results of local histogram algorithms

    此外,文献[31]提出了将高斯函数作为计算权重的分布函数来代替CLAHE算法中的双线性差值方法来消除分块效应,如图 7(b)。文献[36]做了进一步改进,首先计算每一个图像块的增益系数和偏置系数,然后用高斯函数求取该像素点所对应的加权系数,最后再根据所述增益系数、所述偏置系数、所述加权系数,计算原始红外图像中每一个像素点所对应的压缩后像素值。

    针对局部直方图压缩方法图像过增强及局部对比度过拉伸的问题,文献[37]通过将原始图像分别进行全局压缩和局部直方图压缩,然后根据灰度级的预设比例抛点分别对压缩后的图像进行对比度和亮度调整,最后再将其线性相加达到全局对比度调整的目的,如图 7(c)既保持了较好的对比度和亮度,又凸显了局部的细节信息,有利于人眼对局部图像信息的进一步感知。

    总体而言,局部压缩算法的主要思想是以全局类算法作为基础来进行分块压缩,最后再进行图像平滑的统一映射。而局部压缩算法的重点方向发展,将是针对分块效应的解决、噪声的抑制以及整体对比度的调整等突出问题。

    表 1列出了各类算法及其典型算法的优缺点,由表可知,全局压缩算法的优点在于相对比较成熟且复杂度较低,能有效保持像素亮度值序列关系,不易产生光晕、梯度翻转等现象。但要找到一个对全动态范围内像素值能进行统一的合理映射,不致过多损失图像细节特征,且能保持对比度观感自然等符合人眼视觉要求的全局映射算法比较困难。

    表  1  红外图像动态范围压缩方法
    Table  1.  Infrared image dynamic range compression methods
    Classification Typical method Advantage Disadvantage
    Global compression method Linear compression AGC Segmented AGC The method is simple and the processing speed is fast Need to adjust the gain coefficient manually, the detail loss is obvious, the contrast is poor
    Nonlinear compression Exponential compression, S-curve compression Trigonometric function Compression, OMCP, ML & LC, BAC & LC LM & AC, BF & AGC The amplification of noise is suppressed, the relative change of brightness is retained, and the computational complexity is relatively low Without considering the local features of the image, the image details are obviously lost after processing, the local contrast is low, and the scene adaptability of some algorithms is poor
    Histogram class compression HE, PHE, HALEQ The method is simple, the processing speed is fast, and the image contrast is relatively good The algorithm is relatively limited and the image details are obviously lost after processing
    Local histogram compression method AHE, CLAHE, POAHE Clahe algorithm based on Gaussian weight, Combine global compression with local compression Considering the local features of the image, the details and local contrast of the processed image are greatly improved Because the partitioning effect is easy to introduce artifacts in the area of the image gray scale, the noise cannot be effectively suppressed, and the overall image contrast is relatively poor
    下载: 导出CSV 
    | 显示表格

    局部类压缩算法以全局压缩算法为基础,但是由于其分块压缩映射的方式极大地提升了各像素点的有效映射范围,所以能更好地提升图像细节、对比度等重要视觉特征。可以说局部类压缩算法能极大改善图像压缩后的可视化水平,将会是未来红外图像动态范围压缩算法的重要发展方向。但是其缺点也相对明显,首先局部映射算法需要较多参数调控压缩效果,而这些参数又通常从图像自身信息或通过先验知识得来。此外分块压缩的方式极大地增加了算法的复杂度和计算开销。最后局部压缩算法存在图像噪声放大,局部对比度过度拉升导致图像整体对比度降低,以及分块效应引入的伪影等问题。

    本文对当前主流的宽动态红外图像动态范围压缩算法进行了深入地调研,并根据算法的特点将其分为全局类压缩算法和局部类压缩算法。其中,全局类压缩算法具有速度快、计算复杂度低、能保持原始图像整体亮度关系的优点,但也存在处理后的图像局部对比度差、细节损失严重的问题。该类算法主要应用在两个方面,一方面为实时性要求高、场景较为简单的红外系统中;另一方面为要求保持原始亮度关系的应用场景中,如测温热像仪等。而局部类算法处理后的图像对比度强、细节丰富,但该类算法存在计算复杂度较高、容易产生块效应等问题;更多地适用于要求图像细节丰富和对比度较高的可视化应用场景下,如小目标观察、复杂环境观察等场景中。如何在现有的全局类压缩算法和局部类压缩算法的基础上进一步改善和解决两类算法存在的问题,将是今后红外图像动态范围压缩算法的发展方向。

  • 图  1   线性压缩和三段式线性压缩及最优化曲线压缩处理对比

    Figure  1.   Comparison between linear compression and three-stage linear compression and optimal curve compression processing

    图  2   指数压缩、三角函数压缩及S型曲线压缩处理结果对比

    Figure  2.   Comparison of index compression, trigonometric function compression and S-curve compression

    图  3   对数压缩及其两种改进的对数压缩方法处理后图片

    Figure  3.   Logarithmic compression and two improved methods of logarithmic compression after image processing

    图  4   γ函数压缩及其两种改进的自适应γ压缩方法处理后图片

    Figure  4.   Gamma compression and two improved adaptive gamma compression methods for post-processing images

    图  5   线性压缩、直方图均衡化与HALEQ算法处理效果对比

    Figure  5.   Comparison of linear compression, histogram equalization and HALEQ algorithm

    图  6   直方图修正算法处理结果

    Figure  6.   Histogram modification algorithm processing results

    图  7   局部直方图类算法处理结果对比

    Figure  7.   Comparison of processing results of local histogram algorithms

    表  1   红外图像动态范围压缩方法

    Table  1   Infrared image dynamic range compression methods

    Classification Typical method Advantage Disadvantage
    Global compression method Linear compression AGC Segmented AGC The method is simple and the processing speed is fast Need to adjust the gain coefficient manually, the detail loss is obvious, the contrast is poor
    Nonlinear compression Exponential compression, S-curve compression Trigonometric function Compression, OMCP, ML & LC, BAC & LC LM & AC, BF & AGC The amplification of noise is suppressed, the relative change of brightness is retained, and the computational complexity is relatively low Without considering the local features of the image, the image details are obviously lost after processing, the local contrast is low, and the scene adaptability of some algorithms is poor
    Histogram class compression HE, PHE, HALEQ The method is simple, the processing speed is fast, and the image contrast is relatively good The algorithm is relatively limited and the image details are obviously lost after processing
    Local histogram compression method AHE, CLAHE, POAHE Clahe algorithm based on Gaussian weight, Combine global compression with local compression Considering the local features of the image, the details and local contrast of the processed image are greatly improved Because the partitioning effect is easy to introduce artifacts in the area of the image gray scale, the noise cannot be effectively suppressed, and the overall image contrast is relatively poor
    下载: 导出CSV
  • [1] 任其干, 谭钦红, 万志卫. 红外热成像系统的采集与驱动电路设计[J]. 红外, 2011, 32(2): 13-17. DOI: 10.3969/j.issn.1672-8785.2011.02.004

    REN Qigan, TAN Qinhong, WAN Zhiwei. Design of acquisition and driving circuit of infrared thermal imaging system[J]. Infrared, 2011, 32(2): 13-17. DOI: 10.3969/j.issn.1672-8785.2011.02.004

    [2] 祝红彬, 李伟, 刘子骥, 等. 一种低噪声红外焦平面器件采集电路的设计[J]. 红外技术, 2010, 32(3): 165-168, 172. DOI: 10.3969/j.issn.1001-8891.2010.03.011

    ZHU Hongbin, LI Wei, LIU Ziji, et al. Design of a Low Noise Infrared Focal Plane Device Acquisition Circuit[J]. Infrared Technology, 2010, 32(3): 165-168, 172. DOI: 10.3969/j.issn.1001-8891.2010.03.011

    [3]

    SILVERMAN J. Display and enhancement of infrared images[C]// International Conference on Image Processing and Its Applications, 2002: 345-348.

    [4] 谈卫星. 全彩色LED显示屏系统的设计与实现[D]. 杭州: 杭州电子科技大学, 2010.

    TAN Weixing. Design and Implementation of Full Color LED Display System[D]. Hangzhou: Hangzhou Dianzi University, 2010.

    [5]

    Branchitta F, Diani M, Romagnoli M. New technique for the visualization of high dynamic range infrared images[J]. Optical Engineering, 2009, 48(9): 6401. DOI: 10.1117/1.3216575

    [6]

    Durand F, Dorsey J. Fast bilateral filtering for the display of high- dynamic-range images[C]//Conference on Computer Graphics and Interactive Techniques. ACM, 2002: 257-266.

    [7]

    Bae S, Paris S. Two-scale tone management for photographic look[C]//ACM, 2006: 637-645.

    [8]

    ZUO C, CHEN Q, REN J. Display and detail enhancement for high-dynamic-range infrared images[J]. Optical Engineering, 2011, 50(12): 895-900. DOI: 10.1117/1.3659698

    [9]

    Anderson G L, Netravali A N. Image restoration based on a subjective criterion[J]. IEEE Trans. Syst. Man Cybern. , 1976, 6(12): 845-853. http://ieeexplore.ieee.org/document/4309481

    [10]

    Katsaggelos A K, Biemond J, Schafer R W, et al. A regularized iterative image restoration algorithm[J]. IEEE Transactions on Signal Processing, 1991, 39(39): 914-929. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=80914

    [11]

    HE K, SUN J, TANG X. Guided Image Filtering[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2013, 35(6): 1397-1409.

    [12]

    LIU N, ZHAO D. Detail enhancement for high-dynamic-range infrared images based on guided image filter[J]. Infrared Physics & Technology, 2014, 67: 138-147. http://www.sciencedirect.com/science/article/pii/s1350449514001376

    [13]

    SONG Q, WANG Y, BAI K. High dynamic range infrared images detail enhancement based on local edge preserving filter[J]. Infrared Physics & Technology, 2016, 77: 464-473. http://www.sciencedirect.com/science/article/pii/S135044951530058X

    [14]

    Farbman Z, Fattal R, Lischinski D, et al. Edge-preserving decompo- sitions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics, 2008, 27(3): 1-10. DOI: 10.1145/1399504.1360666

    [15] 葛朋, 杨波. 一种基于引导滤波图像分层的红外图像细节增强算法[J]. 红外技术, 2018, 40(12): 1161-1196. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201812008.htm

    GE Peng, YANG Bo. A detailed enhancement algorithm for infrared images based on hierarchical guided filtering[J]. Infrared Technology, 2018, 40(12): 1161-1196. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201812008.htm

    [16] 金伟其, 刘斌, 范永杰, 等. 红外图像细节增强技术研究进展[J]. 红外与激光工程, 2011, 40(12): 2521-2527. DOI: 10.3969/j.issn.1007-2276.2011.12.040

    JIN Weiqi, LIU Bin, FAN Yongjie, et al. Research progress of infrared image detail enhancement technology[J]. Infrared and Laser Engineering, 2011, 40(12): 2521-2527. DOI: 10.3969/j.issn.1007-2276.2011.12.040

    [17] 张鹏. 基于FPGA的红外数字图像细节增强技术[D]. 西安: 西安电子科技大学, 2015.

    ZHANG Peng. Infrared digital image detail enhancement technology based on FPGA[D]. Xi 'an: Xidian University, 2015.

    [18]

    A Pardo, G Sapiro. Visualization of high dynamic range images[J]. IEEE Trans Image Processing, 2003, 12(6): 639-647. DOI: 10.1109/TIP.2003.812373

    [19] 吴泽鹏, 宣明, 贾宏光, 等. 基于最优映射曲线的红外图像动态范围压缩和对比度增强方法[J]. 中国激光, 2013, 40(12): 211-218. https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ201312036.htm

    WU Zepeng, XUAN Ming, JIA Hongguang, et al. Dynamic Range Compression and Contrast Enhancement Method for Infrared Image Based on Optimal Mapping Curve[J]. China Laser, 2013, 40(12): 211-218. https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ201312036.htm

    [20] 王雷雷, 金学波. 基于S曲线多尺度Retinex红外图像增强算法[J]. 浙江理工大学学报, 2011, 28(5): 763-766. DOI: 10.3969/j.issn.1673-3851.2011.05.023

    WANG Leilei, JIN Xuebo. Infrared image enhancement algorithm based on S-curve multi-scale Retinex[J]. Journal of Zhejiang Sci-Tech University, 2011, 28(5): 763-766. DOI: 10.3969/j.issn.1673-3851.2011.05.023

    [21]

    Stockham T G. Image processing in the context of a visual model[C]// Proc. IEEE, 1972, 60(7): 828-842.

    [22]

    Reinhard E, Stark M, Shirley P, et al. Photographic tone reproduction for digital images[J]. ACM Transactions on Graphics, 2002, 21(3): 267-276. DOI: 10.1145/566654.566575

    [23]

    Drago F, Myszkowski K, Annen T, et al. Adaptive Logarithmic Mapping For Displaying High Contrast Scenes[J]. Computer Graphics Forum, 2003, 22(3): 419-426. DOI: 10.1111/1467-8659.00689

    [24]

    Monobe Y, Yamashita H, Kurosawa T, et al. Dynamic range compression preserving local image contrast for digital video camera[J]. IEEE Transactions on Consumer Electronics, 2005, 51(1): 1-10. http://ieeexplore.ieee.org/document/1405691

    [25] 唐嫣秋. 非制冷型红外成像系统关键技术研究[D]. 长春: 中国科学院研究生院(长春光学精密机械与物理研究所), 2016.

    TANG Yanqiu. Research on key technologies of uncooled infrared imaging system[D]. Changchun: Graduate University of Chinese Academy of Sciences (Changchun Institute of Optics, Fine Mechanics and Physics), 2016.

    [26]

    KAO W C, WANG H C. Tone mapping operator for high dynamic range imaging[C]//Consumer Electronics (ISCE), 2013 IEEE 17th International Symposium on. IEEE, 2013: 267-268.

    [27]

    JUNG C, WANG X. Detail-preserving tone mapping for low dynamic range displays with adaptive gamma correction[J/OL]. IEEE Visual Communications & Image Processing, 2015: 1-5. DOI: 10.1109/VCIP.2015.7457796.

    [28]

    Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[C]//ACM Transactions on Graphics (TOG). ACM, 2002, 21(3): 257-266.

    [29]

    KUANG J, Yamaguchi H, Johnson G M, et al. Testing HDR image rendering algorithms[C]//Color and Imaging Conference, Society for Imaging Science and Technology, 2004, 2004(1): 315-320.

    [30]

    Gonzalez, Rafael C, Woods, Richard E. Digital Image Processing[M]. Beijing: Publishing house of electronics industry, 2010.

    [31]

    DUAN J, Bressan M, Dance C, et al. Tone-mapping high dynamic range images by novel histogram adjustment[J]. Pattern Recognition, 2010, 43(5): 1847-1862. DOI: 10.1016/j.patcog.2009.12.006

    [32]

    CHEN Z Y, Abidi B R, Page D L, et al. Gray-level grouping (GLG): an automatic method for optimized image contrast enhancement. Part I: the basic method[J]. IEEE Trans Image Processing, 2006, 15(8): 2290-2302. DOI: 10.1109/TIP.2006.875204

    [33]

    Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations[J]. Computer Vis. Graph. Image Process, 1987, 39(3): 355-368. DOI: 10.1016/S0734-189X(87)80186-X

    [34]

    Zuiderveld K. Contrast Limited Adaptive Histogram Equalization[M]. San Diego: Academic Press Professional, Inc. 1994.

    [35]

    KIM J Y, KIM L S, HUANG S H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]. IEEE Transactions on Circuits And Systems for Video Technology, 2001, 11(4): 475-484. DOI: 10.1109/76.915354

    [36] 崔昌浩, 林道庆, 田鹏, 等. 红外图像处理方法、装置及计算机存储介质[P]. [2019-11-19]. CN110473209A.

    CUI Changhao, LIN Daoqing, TIAN Peng, et al. Infrared image processing method, device and computer storage medium[P].[2019-11-19], CN110473209A.

    [37] 林道庆, 田鹏, 崔昌浩, 等. 全图与局部相结合的图像线性动态范围压缩方法及系统[P]. [2019-05-31],CN109829860A.

    LIN Daoqing, TIAN Peng, CUI Changhao, et al. An image linear dynamic range compression method and system combining whole image and local image[P].[2019-05-31], CN109829860A.

  • 期刊类型引用(1)

    1. 朱文轩. 多尺度目标检测算法在复杂场景下的性能评估与改进. 信息与电脑. 2025(06): 5-7 . 百度学术

    其他类型引用(1)

图(7)  /  表(1)
计量
  • 文章访问数:  1028
  • HTML全文浏览量:  325
  • PDF下载量:  264
  • 被引次数: 2
出版历程
  • 收稿日期:  2020-07-29
  • 修回日期:  2020-10-13
  • 刊出日期:  2021-04-01

目录

/

返回文章
返回