640×512帧转移EMCCD相机时序设计

沈吉, 那启跃, 徐建东, 常维静, 张伟, 简云飞

沈吉, 那启跃, 徐建东, 常维静, 张伟, 简云飞. 640×512帧转移EMCCD相机时序设计[J]. 红外技术, 2023, 45(5): 548-552.
引用本文: 沈吉, 那启跃, 徐建东, 常维静, 张伟, 简云飞. 640×512帧转移EMCCD相机时序设计[J]. 红外技术, 2023, 45(5): 548-552.
SHEN Ji, NA Qiyue, XU Jiandong, CHANG Weijing, ZHANG Wei, JIAN Yunfei. 640×512 Frame Transfer EMCCD Camera Timing Sequence Design[J]. Infrared Technology , 2023, 45(5): 548-552.
Citation: SHEN Ji, NA Qiyue, XU Jiandong, CHANG Weijing, ZHANG Wei, JIAN Yunfei. 640×512 Frame Transfer EMCCD Camera Timing Sequence Design[J]. Infrared Technology , 2023, 45(5): 548-552.

640×512帧转移EMCCD相机时序设计

基金项目: 

科技创新2030-“新一代人工智能”重大项目 2018AAA0103100

详细信息
    作者简介:

    沈吉(1988-),男,江苏海门人,硕士,高级工程师,从事光电器件与组件科研开发。E-mail:njustshenji@126.com

  • 中图分类号: TN223

640×512 Frame Transfer EMCCD Camera Timing Sequence Design

  • 摘要: 为了实现640×512分辨率的EMCCD(Electron-Multiplying CCD)在1×10-3 lx照度条件下25 fps连续动态成像,设计了对应的相机。搭建了相机硬件平台,分析了EMCCD工作时序、AFE工作时序、BT.656编码和Camera Link编码时序。利用硬件描述语言在FPGA中产生了相应的驱动时序。实现了EMCCD曝光和读出控制,AFE相关双采样和光学暗电平钳位,模拟视频信号逐行变隔行和插值拉伸以及Camera Link协议的并串转换。通过实际测量和分析,相机在模拟夜天光1×10-3 lx照度,EMCCD增益1000倍,镜头焦距25 mm,F1.4的条件下,能同时输出模拟视频和数字视频,成像帧率25 fps,信噪比21.8 dB。
    Abstract: An EMCCD camera was introduced to realize 25 fps continuous dynamic imaging with 640×512 resolution under 1×10-3 lx illuminance. Through the construction of the camera hardware platform, as well as the analysis of the EMCCD working timing, AFE working timing, BT.656 encoding, and Camera Link encoding timing, the camera uses FPGA and HDL to generate the corresponding driver timing. This includes EMCCD exposure and readout, AFE-correlated double sampling and optical dark clamping, analog video progressive to interlacing and stretching, and Camera Link parallel to serial conversion. The camera operates under the following conditions: 1×10-3 lx simulated night sky illuminance, 1000× EMCCD gain, 25 mm lens focus, and F1.4; the experimental results demonstrate the imaging frame rate of 25 fps and SNR of 21.8 dB.
  • 红外辐射反映了物体的温度信息,而物体的实际温度变化范围很广,为了获得丰富的红外图像细节信息,红外系统中的红外辐射采集电路的电压信号的模数转换精度一般高达12~16 bit[1-2]。然而人眼对于灰度图像的分辨力只有128的动态范围[3],标准显示设备一般也只有256的显示灰度级[4]。所以要对探测器端输出的原始红外图像进行动态范围压缩才能在设备上正常显示以进行人眼观察。而红外图像动态范围压缩算法也将直接决定处理前后红外图像的细节保持、对比度等重要可视化指标。所以如何在有效压缩原始红外图像的动态范围以符合人类视觉系统的感知,同时尽可能多地保持原始红外图像的信息,已成为红外图像可视化研究领域的重要方向之一。

    基于学者们在红外图像动态范围压缩领域做的大量工作,以及取得的相应进展,对已有的红外图像动态范围的压缩方法的研究总结可大致分为两大类:①全局压缩算法,也称为空间一致性算法;②局部压缩算法,也称为空间变化算法。

    全局压缩方法是对空间中的每个像素点使用相同的变换算法,针对单个像素进行,不考虑空间邻域关系,算法相对成熟且复杂度较低。但要找到全动态范围内的像素值可以进行统一的合理映射,不致损失过多图像细节特征,且能保持图像亮度及对比度感观符合人眼视觉要求的全局映射算法存在较大难度。常见的典型红外图像动态范围全局压缩算法包括:线性压缩、对数压缩、Gamma压缩、直方图均衡压缩等方法。

    而局部压缩算法,在处理的过程中除了考虑像素自身值以外,还考虑了其邻域像素值,通常在图像不同的区域采用不同的函数进行动态范围压缩处理,而且由于局部映射的方法相当于扩大了各像素点的映射范围,所以与全局色调映射算法相比,能更好提升图像细节、对比度等重要图像特征。常见的典型的红外图像动态范围局部压缩算法包括:基于局部直方图压缩、全局压缩和局部压缩相结合、以及基于分层思想的动态范围压缩等方法。

    基于分层思想的红外图像色调映射算法[5-15]是目前红外图像压缩及增强研究领域的热点方向并在学术研究和工程应用中都取得了很好的成果。其主要思想是用低通滤波器将红外图像高频细节和低频大动态范围的纹理信息进行分离,然后对细节层做适当的拉伸或者压缩,对包含低频大动态范围纹理信息的基本层用上述红外图像动态范围压缩方法进行处理以达到动态范围压缩的目的,最后再将其细节层和基本层按一定比例相加得到映射后的红外图像。由于基于分层思想的红外图像映射算法在动态范围压缩部分的处理方法都是基于上述全局或局部动态范围压缩的方法,故本文对基于分层思想的红外图像映射算法不再进行详细介绍。

    全局类的红外图像动态范围压缩算法是最先被提出来的红外图像动态范围压缩方法。现阶段比较成熟的全局红外图像动态范围压缩算法可以分为线性、非线性及直方图调整3类。

    常用的线性压缩是自动增益控制[16](Automatic gain control, AGC),自动增益控制也称为直接线性压缩方法,该算法是最早被提出来也是最为基础和常用的红外图像动态范围压缩算法,其算法模型最简单执行速度最快,处理效率较好。但是该算法也存在图像细节信息丢失明显的缺点,特别是原始图像中当场景主要分布在某个灰度范围附近时,动态范围压缩后整体的对比度会偏低,图像质量较差。

    自动增益控制算法是对原始图像中的像素进行统一的线性压缩,没有区分目标与背景,所以在很多时候导致细节损失的比较严重。基于此,为了突出图像中某一灰度段的图像,可以通过提高该段的增益值以拉伸其映射后的灰度范围,按照不同的灰度段以不同的增益值进行压缩映射,即分段线性压缩[17](piecewise automatic gain control,PAGC)。但是由于固定的分段方法难以对不同场景下的高动态范围红外图像都能得到较好的映射压缩效果,在红外实时系统中应用比较少。

    针对分段线性压缩算法中不同场景下分段参数难以选择的问题,文献[18]首先提出了基于信息熵分段的方法,但是效果提高不明显。基于此,文献[19]提出了基于最优化映射曲线压缩(optimized mapping curve compression,OMCP)方法。该方法首先对输入的高动态范围红外图像进行修正;然后用自适应高斯核函数对原始红外图像的直方图进行平滑,并根据平滑后直方图的波峰和波谷进行直方图分割(求得各分段区间);最后通过计算均方误差度量,使得处理前后图像信息丢失最小,从而求得最优的非线性映射曲线参数(各分段区间的线性映射斜率),以得到处理后的低动态范围图像。这样的分段一次函数的数目越多则越接近理想的映射结果。最终各分段的斜率表达式如式(1)所示:

    $$ {s_k} = \frac{{p_k^{1/3}}}{{{d_k}^{1/3}\sum\nolimits_{i = 0}^{N - 1} {{{\left( {{d_i}^2 \cdot {p_i}} \right)}^{1/3}}} }} \cdot \left( {{v_{\max }} - {v_{\min }}} \right) $$ (1)

    式中:N表示分段总数;${P_k} = \sum\limits_{l = {l_k}}^{{l_{k + 1}}} {P\left( l \right)} $表示第k个分段中所有灰度概率的累加(k=0, 1, …, N-1),vmaxvmin表示第k个段中的最大和最小灰度值。

    图 1(a)为线性压缩处理后的图片,图 1(b)为三段式线性压缩处理后图片,图 1(c)为基于最优化曲线压缩结果。从图 1可以看出,普通线性压缩后图像整体可视化质量较差;当分段线性压缩选择适当的映射参数,能更好地突出目标细节以及提升图像的整体对比度;而最优化曲线压缩方法能自适应调整映射分段区间,图像整体压缩效果较好。

    图  1  线性压缩和三段式线性压缩及最优化曲线压缩处理对比
    Figure  1.  Comparison between linear compression and three-stage linear compression and optimal curve compression processing

    非线性压缩主要是通过各种类型的非线性函数对高动态红外图像的像素进行处理,简单理解就是其压缩映射曲线为非线性的,非线性压缩算法模型相对于线性压缩要更繁杂同时还可以引入一些映射控制参数,此外还可以利用映射函数的特点对原图像中不同灰度段的像素采取不同程度的动态范围压缩,从而在压缩映射后突出图像中感兴趣的特征参量或对图像中的特定目标区域进行增强,所以进行图像动态范围压缩后的细节保留及整体可视化效果一般都要比线性压缩好。目前常见的非线性压缩方法包括指数、对数、三角函数、S曲线压缩、Gamma校正、自适应Gamma等动态范围压缩算法。

    传统的指数压缩[17]算法模型如式(2)所示:

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = {g^{a\left( {{I_{{\rm{in}}}}\left( {i,j} \right) - b} \right)}} $$ (2)

    式中:g用来控制压缩映射范围;参数a可以控制映射曲线的斜率,参数b可控制映射曲线的零点位置。如图 2(a),指数压缩方法扩大了原始高动态范围红外图像中高亮度灰度级区间的映射范围,从而提高了该灰度区间的对比度。但是却严重压缩了低亮度和中间亮度灰度区间像素的映射范围,导致中低亮度的目标场景的细节损失过大,对比度偏低。

    图  2  指数压缩、三角函数压缩及S型曲线压缩处理结果对比
    Figure  2.  Comparison of index compression, trigonometric function compression and S-curve compression

    三角函数压缩方法[17]一般基于正弦、余弦和正切等变换函数。正弦函数压缩方法如式(3),如图 2(b)其主要是增加了原始高动态范围红外图像的中间灰度级区间像素的映射范围,进而增强了图像中处于中间灰度级区间的目标场景的对比度以及细节保留程度。

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = \frac{b}{2}\left\{ {\left. {1 + \frac{1}{{\sin \left( {\frac{{\rm{ \mathsf{ π} }}}{2} \cdot \alpha } \right)}} \cdot \sin \left[ {{\rm{ \mathsf{ π} }} \cdot \alpha \left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{\min }}}} - \frac{1}{2}} \right)} \right]} \right\}} \right. $$ (3)

    式中:Iin(i, j)为输入图像;Imin表示输入图像最小值;参数b为图像压缩后的映射范围,映射到8位,则b为256;α参数可控制映射曲线斜率,α值一般取1,α越大映射曲线斜率越大;α越小映射曲线斜率越小,越接近于线性压缩。

    S曲线基本方程如式(4):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = \frac{a}{{b + d \cdot \exp \left( { - c \cdot {I_{{\rm{in}}}}\left( {i,j} \right)} \right)}} $$ (4)

    式中:Iin(i, j)为输入图像;通常参数abcd所取的值为1。

    文献[20]在式(5)的基础上,提出了不像三角函数压缩那样对称的映射曲线,而是采用不以拐点为对称的S曲线,因而具有较好的灵活性,如图 2(c)能够通过调整参数对原始红外图像的不同灰度区间的像素点进行特定的压缩映射,其映射函数满足公式(5):

    $${I_{{\rm{out}}}}\left( {i,j} \right) = \frac{{c \cdot {I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}\left( {i,j} \right) + \exp \left( {b - a \cdot {I_{{\rm{in}}}}\left( {i,j} \right)} \right)}} $$ (5)

    式中:Iin(i, j)为输入图像,参数a控制S曲线的斜率,参数b控制映射曲线增长区域的位置,参数c为图像压缩后的映射范围。所以选择不同的参数ab将得到不同形状的S映射曲线,从而直接影响图像最后的压缩映射效果。

    传统的对数压缩方法如式(6):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot {\log _b}\left( {{I_{{\rm{in}}}}\left( {i,j} \right) + c} \right) $$ (6)

    式中:a用来控制压缩后的映射范围;b为对数的底数(通常取值2、e和10),参数c(一般取1)主要是为了避免对数函数中出现负无穷的情况。该算法增加了原始高动态范围红外图像的低端灰度级区间像素的对比度,但压缩了中、高灰度级区间像素的映射范围,所以压缩映射后图像中、高亮度目标场景对比度较差。由于对数映射更符合人眼系统对于亮度变化的感知,文献[21]提出了一种基于对数函数的图像动态范围压缩算法,但该算法在处理目标场景动态范围较大的图像时,同样不能很好地兼顾中、高亮度区域像素的映射范围。文献[22]提出一种基于平均亮度的对数压缩算法(mean luminance and logarithmic compression, ML & LC),该算法引入图像的平均对数亮度值来调整图像的映射曲线,以兼顾所有亮度区间像素的映射范围。该算法基本公式如式(7):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot \frac{{\ln \left( {{I_{{\rm{in}}}}\left( {i,j} \right)/{{\bar I}_{{\rm{in}}}} + 1} \right)}}{{\ln \left( {{I_{\max }}/{{\bar I}_{{\rm{in}}}} + 1} \right)}} $$ (7)

    式中:Iin (i, j)和Imax分别表示输入图像和输入图像灰度最大值;${\bar I_{{\rm{in}}}}$为输入图像的平均对数亮度值,其计算公式如式(8):

    $$ {\bar I_{{\rm{in}}}}{\rm{ = }}\exp \left\{ {\frac{{\rm{1}}}{N}\sum\nolimits_{i,j} {\ln \left[ {\delta + {I_{{\rm{in}}}}\left( {i,j} \right)} \right]} } \right\} $$ (8)

    式中:N为图像总像素个数;δ为一个较小的值,主要是为了防止当输入像素灰度值为0时,求出的平均亮度值趋向于负无穷的情况的出现。

    文献[23]也做出了改进,提出了一种底数自适应变化的对数压缩算法(base adaptive change based on logarithmic compression,BAC & LC)。该算法根据图像中各像素点的亮度值来设置相应的对数映射基底,从而通过图像的亮度分量对像素点进行底数自适应对数映射,从而实现图像动态范围压缩的目的。变换公式如式(9):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = \frac{{0.01 \cdot {I_{\rm{d}}}}}{{{{\log }_b}\left( {{I_{\max }} + 1} \right)}} \cdot \frac{{{{\log }_b}\left( {{I_{{\rm{in}}}}\left( {i,j} \right) + 1} \right)}}{{{{\log }_b}\left\{ {\left. {2 + 8 \cdot \left[ {{{\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{\max }}}}} \right)}^{\frac{{\ln \left( a \right)}}{{\ln \left( {0.5} \right)}}}}} \right]} \right\}} \right.}} $$ (9)

    式中:Iin(i, j)为输入图像;a为映射曲线斜率调整参量;b为对数的底数(通常取值2、e和10);Imax为输入图像像素点的最大亮度值;Id为显示设备能够显示的最大亮度值(红外图像一般取255),对于红外图像中的应用Id前一般不乘系数0.01。

    图 3为对数压缩及其两种改进的对数压缩方法处理效果图片。可以直观地看出普通的对数压缩只提高了如空中白云等这些中、低亮度区间内像素的对比度和细节丰富程度,但是其余大部分目标场景的对比度小且细节损失严重。而上述两种改进后的对数压缩方法比较好地兼顾了图像整体对比度和细节保留程度。

    图  3  对数压缩及其两种改进的对数压缩方法处理后图片
    Figure  3.  Logarithmic compression and two improved methods of logarithmic compression after image processing

    γ压缩也是一种非常常用的红外图像动态范围压缩算法,其基本公式如(10):

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{\min }}}}{{{I_{\max }} - {I_{\min }}}}} \right)^\gamma } $$ (10)

    式中:a用来控制压缩后的映射范围(一般取值255);γ的作用是控制映射曲线的形状,当γ>1时,压缩后将扩展亮度值较高的灰度区间内像素的映射范围,反之如果γ<1,将扩展灰度值较低的灰度区间内像素的映射范围,如果γ=1,则变为普通的线性压缩形式。

    为解决图像进行全局处理时,不能很好地保留图像的局部对比度,使得压缩后的图像局部对比度差的问题,文献[24]提出了一种局部对比度保持的图像压缩算法,其算法模型如(11)所示:

    $$ \frac{{{I_{{\rm{out}}}}\left( {i,j} \right)}}{{{I_{{\rm{out}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}} = \frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}} $$ (11)

    式中:Iin_arg(i, j)和Iout_arg(i, j)分别表示输入图像和输出图像像素点的局部邻域均值。在文献[24]的基础上,文献[25]进一步提出了基于局部均值的γ自适应压缩(Gamma Adaptive Compression Based on Local Mean,LM & AC)方法,该方法如式(12)所示:

    $$ {I_{{\rm{out}}}}\left( {i,j} \right){\rm{ = }}t\left[ {{I_{{\rm{in}}}}\left( {i,j} \right)} \right] \cdot {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}}} \right)^\beta } $$ (12)

    式中:t[Iin(i, j)]表示的是输入图像与输出图像的灰度级映射关系,其可以根据像素值与领域均值的关系自适应改变伽玛映射值,具体如式(13)和(14)所示:

    $$ t\left[ {{I_{{\rm{in}}}}\left( {i,j} \right)} \right] = {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{\min }}}}{{{I_{\max }} - {I_{\min }}}}} \right)^{\gamma (i,j)}} $$ (13)
    $$ \gamma \left( {i,j} \right) = \exp \left( { - \frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}}{{{I_{{\rm{in}}}}_{{\rm{\_avg}}}\left( {i,j} \right)}}} \right) $$ (14)

    该算法可以根据图像的局部特征自适应地调整图像亮度,即压缩变换后,原图中的亮点仍然为亮点,而暗点仍然为暗点,从而很好地保持了图像的对比度,同时也有效避免全局映射带来的灰度值相近的邻近像素值在压缩后其亮度值的合并导致的图像细节丢失问题。

    此外文献[26]提出了将原图像中像素的灰度值与其滤波平滑后对应灰度值的比值引入到图像动态范围压缩中,以达到增强映射后图像的低亮度灰度区域内图像细节的目的。基于此,文献[27]提出了基于双边滤波的自适应γ压缩(bilateral filtering andadaptive gamma compression,BF & AGC)来对图像的动态范围进行压缩,该算法如式(15)、(16)所示:

    $$ {I_{\rm{b}}}\left( {i,j} \right) = \exp \left( { - \frac{1}{\sigma } \cdot \frac{{{I_{{\rm{in}}}}\left( {i,j} \right)}}{{{I_{\rm{l}}}\left( {i,j} \right)}}} \right) $$ (15)
    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot {\left( {\frac{{{I_{{\rm{in}}}}\left( {i,j} \right) - {I_{\min }}}}{{{I_{\max }} - {I_{\min }}}}} \right)^{\left( {r \cdot {I_{\rm{b}}}\left( {i,j} \right)} \right)}} $$ (16)

    式中:Ib(x, y)作为每个像素点的局部对比度[28],通过指数函数归一化为[0, 1];σ为尺度参数;Il(x, y)是原图像经过双边滤波后的值。r是伽玛校正的调整参数,由于当r接近文献[29]中的平均亮度因子时,压缩后的图像更自然,r的表达式如式(17)所示:

    $$ r = \frac{{{{\log }_2}{{\bar I}_{{\rm{in}}}} - {{\log }_2}{I_{\min }}}}{{{{\log }_2}{I_{\max }} - {{\log }_2}{I_{\min }}}} $$ (17)

    式中:${\bar I_{{\rm{in}}}}$为式(8)表示的输入图像的平均对数亮度值。

    图 4γ函数压缩及其两种改进的自适应γ压缩方法处理效果图。可以直观地看出两种改进的自适应γ函数压缩方法在细节保持和对比度拉伸方面都要比传统的γ函数压缩方法效果更好。

    图  4  γ函数压缩及其两种改进的自适应γ压缩方法处理后图片
    Figure  4.  Gamma compression and two improved adaptive gamma compression methods for post-processing images

    直方图类压缩也是常用的红外图像动态范围压缩方法之一。该类方法也是全局压缩算法,简单易实现,在工程应用及学术研究中都有广泛的应用。

    直方图均衡化(histogram equalization,HE)[30]是红外图像动态范围压缩及对比度拉伸领域具有代表性的方法之一。HE的基本原理是根据图像的累积直方图分布求出归一化的累积直方图,然后根据累积直方图曲线将像素灰度级重新进行分布,使得图像在一定灰度范围内像素数量大致相同。直方图均衡化压缩方法基本公式如式(18)所示:

    $$ {I_{{\rm{out}}}}\left( {i,j} \right) = a \cdot \frac{{\sum\nolimits_{n = 0}^{{I_{in}}\left( {i,j} \right)} {H\left( n \right)} }}{{\sum\nolimits_{n = 0}^{{I_{\max }}} {H\left( n \right)} }} $$ (18)

    式中:Iin (i, j)和Imax分别表示输入图像和输入图像灰度最大值;参数a用来控制压缩后的映射范围(一般取值255);H(n)为图像统计直方图。

    原始的直方图均匀化压缩方法存在的主要缺陷是容易造成对比度过度增强以及图像细节丢失。针对此问题,文献[31]提出了一种基于线性映射和直方图均衡化的色调映射算法(Hue mapping algorithm based on linear mapping and histogram equalization, HALEQ)。该算法将线性映射和直方图均衡化相结合,通过引进权重因子,来平衡线性压缩与直方图均衡化压缩的比重,从而在充分利用映射灰度级的同时又不会导致图像过度的增强或压缩。

    图 5,线性压缩后图像对比度低,相比而言直方图均衡化压缩方法图像对比度较高但细节丢失相对又比较明显。而HALEQ算法为两种算法的互补结合,对比原来的两种算法,该方法压缩后的图像在对比度和细节保留程度上都要表现得更好。

    图  5  线性压缩、直方图均衡化与HALEQ算法处理效果对比
    Figure  5.  Comparison of linear compression, histogram equalization and HALEQ algorithm

    在直方图均衡压缩过程中,往往少量的“极值”灰度级会影响统计特性从而降低压缩后图像的整体可视化质量。直方图修正[32](Histogram modification,HM)一般指的是将原图像直方图中某些“极值”灰度级去除后对直方图的剩余灰度级进行调整然后再压缩的方法。这种去极值的方法一般是去除原始红外图像中的无效灰度级(像素占比为0的灰度级),这样可以大大减少灰度级中的冗余,整体提高映射曲线斜率,扩大有效灰度级压缩后的映射范围,从而可以有效减少压缩后图像细节的损失以及显著提升图像对比度。此外,对原始红外图像的统计直方图研究中发现,有大量的灰度级像素占比很低,这些灰度级在压缩映射后也会占据一定的灰度范围,但是这样反而压缩了其余像素占比较多的灰度级的映射范围,同样也会造成压缩后图像整体细节损失过大,图像对比度较低的问题,所以有些红外图像压缩方法中也会设定一个阈值,然后将像素占比低于阈值的灰度级当无效灰度级去掉。所以这种去极值的思想在红外图像的动态范围压缩算法中有着广泛的应用。

    图 6为线性压缩及两种直方图修正算法处理结果对比。可以看出先通过直方图修正处理然后再进行线性压缩的图像比直接线性压缩图像在细节保留程度和对比度拉伸方面都有着明显的改善。此外对比图 6(c)图 6(b)可以发现,只要阈值设置恰当,剔除低于像素占比阈值灰度级的直方图修正方法相比直接剔除无效灰度级的直方图修正方法,由于进一步扩大了有效灰度级的映射范围,反而图像在细节和对比度等方面的可视化效果要更好。可见直方图修正是红外图像动态范围压缩处理方法当中的一种非常重要的思想。

    图  6  直方图修正算法处理结果
    Figure  6.  Histogram modification algorithm processing results

    局部类的红外图像动态范围压缩算法是以全局类的红外图像动态范围压缩算法为基础进一步提出来的。由于全局压缩方法处理的图像难以避免都存在细节损失明显以及局部对比度较低的问题,学者们进一步提出了局部类压缩算法,该类算法将原始图像分成多个子块分别进行压缩之后再用双线性插值等方法重新生成新的完整图像,很好地解决了全局类算法的缺点,对压缩后图像的细节丰富程度以及局部对比度方面都有着显著的提升。但是相比于全局压缩算法,该类算法存在分块效应、噪声容易被放大、图像过增强、全局对比度较差、以及算法复杂度和计算开销过大等问题。

    文献[33]首先提出了基于子块划分的自适应直方图均衡(adaptive HE,AHE)映射算法,认为不同区域内的局部映射应当和当前位置的局部直方图统计信息相关,该算法将原始图像分割成矩形子块并且将边缘像素进行复制扩充,分别在各个子块内部进行直方图均衡以增强图像的局部对比度,但该算法容易出现对比度过增强的问题。文献[34]进一步提出了著名的对比度受限的直方图均衡化算法(contrast limited adaptive histogram equalization,CLAHE),如图 7(a),该方法在工程开发和学术研究当中都得到了广泛的应用。该算法在AHE(adaptive histogram equalization)的基础上,通过对各个子块局部区域直方图在映射时进行限幅来避免局部区域内的噪声放大,并将限幅截掉的部分均匀地加在直方图的底部,最后使用双线性差值方法来计算非中心区域的直方图映射值解决子块图像的分块效应问题。然而,CLAHE算法在动态场景时,有时会出现子块间的边际效应而引入鬼影。为了更好地处理子块边缘,文献[35]提出了局部交叠子块直方图均衡算法(Partially overlapped sub-block Histogram-equalization,POAHE),将子块窗口以窗口边长的一半为步长移动,而不是逐个像素移动,以此形成局部交叠子块以减少计算量;然后通过不同的权重系数来处理交叠处的像素得到最终的映射图像。

    图  7  局部直方图类算法处理结果对比
    Figure  7.  Comparison of processing results of local histogram algorithms

    此外,文献[31]提出了将高斯函数作为计算权重的分布函数来代替CLAHE算法中的双线性差值方法来消除分块效应,如图 7(b)。文献[36]做了进一步改进,首先计算每一个图像块的增益系数和偏置系数,然后用高斯函数求取该像素点所对应的加权系数,最后再根据所述增益系数、所述偏置系数、所述加权系数,计算原始红外图像中每一个像素点所对应的压缩后像素值。

    针对局部直方图压缩方法图像过增强及局部对比度过拉伸的问题,文献[37]通过将原始图像分别进行全局压缩和局部直方图压缩,然后根据灰度级的预设比例抛点分别对压缩后的图像进行对比度和亮度调整,最后再将其线性相加达到全局对比度调整的目的,如图 7(c)既保持了较好的对比度和亮度,又凸显了局部的细节信息,有利于人眼对局部图像信息的进一步感知。

    总体而言,局部压缩算法的主要思想是以全局类算法作为基础来进行分块压缩,最后再进行图像平滑的统一映射。而局部压缩算法的重点方向发展,将是针对分块效应的解决、噪声的抑制以及整体对比度的调整等突出问题。

    表 1列出了各类算法及其典型算法的优缺点,由表可知,全局压缩算法的优点在于相对比较成熟且复杂度较低,能有效保持像素亮度值序列关系,不易产生光晕、梯度翻转等现象。但要找到一个对全动态范围内像素值能进行统一的合理映射,不致过多损失图像细节特征,且能保持对比度观感自然等符合人眼视觉要求的全局映射算法比较困难。

    表  1  红外图像动态范围压缩方法
    Table  1.  Infrared image dynamic range compression methods
    Classification Typical method Advantage Disadvantage
    Global compression method Linear compression AGC Segmented AGC The method is simple and the processing speed is fast Need to adjust the gain coefficient manually, the detail loss is obvious, the contrast is poor
    Nonlinear compression Exponential compression, S-curve compression Trigonometric function Compression, OMCP, ML & LC, BAC & LC LM & AC, BF & AGC The amplification of noise is suppressed, the relative change of brightness is retained, and the computational complexity is relatively low Without considering the local features of the image, the image details are obviously lost after processing, the local contrast is low, and the scene adaptability of some algorithms is poor
    Histogram class compression HE, PHE, HALEQ The method is simple, the processing speed is fast, and the image contrast is relatively good The algorithm is relatively limited and the image details are obviously lost after processing
    Local histogram compression method AHE, CLAHE, POAHE Clahe algorithm based on Gaussian weight, Combine global compression with local compression Considering the local features of the image, the details and local contrast of the processed image are greatly improved Because the partitioning effect is easy to introduce artifacts in the area of the image gray scale, the noise cannot be effectively suppressed, and the overall image contrast is relatively poor
    下载: 导出CSV 
    | 显示表格

    局部类压缩算法以全局压缩算法为基础,但是由于其分块压缩映射的方式极大地提升了各像素点的有效映射范围,所以能更好地提升图像细节、对比度等重要视觉特征。可以说局部类压缩算法能极大改善图像压缩后的可视化水平,将会是未来红外图像动态范围压缩算法的重要发展方向。但是其缺点也相对明显,首先局部映射算法需要较多参数调控压缩效果,而这些参数又通常从图像自身信息或通过先验知识得来。此外分块压缩的方式极大地增加了算法的复杂度和计算开销。最后局部压缩算法存在图像噪声放大,局部对比度过度拉升导致图像整体对比度降低,以及分块效应引入的伪影等问题。

    本文对当前主流的宽动态红外图像动态范围压缩算法进行了深入地调研,并根据算法的特点将其分为全局类压缩算法和局部类压缩算法。其中,全局类压缩算法具有速度快、计算复杂度低、能保持原始图像整体亮度关系的优点,但也存在处理后的图像局部对比度差、细节损失严重的问题。该类算法主要应用在两个方面,一方面为实时性要求高、场景较为简单的红外系统中;另一方面为要求保持原始亮度关系的应用场景中,如测温热像仪等。而局部类算法处理后的图像对比度强、细节丰富,但该类算法存在计算复杂度较高、容易产生块效应等问题;更多地适用于要求图像细节丰富和对比度较高的可视化应用场景下,如小目标观察、复杂环境观察等场景中。如何在现有的全局类压缩算法和局部类压缩算法的基础上进一步改善和解决两类算法存在的问题,将是今后红外图像动态范围压缩算法的发展方向。

  • 图  1   EMCCD器件结构

    Figure  1.   EMCCD device structure

    图  2   EMCCD工作时序

    Figure  2.   EMCCD work timing

    图  3   SHP、SHD信号以及数字信号的流水线输出延迟

    Figure  3.   SHP、SHD signal and data bus pipeline delay

    图  4   相机实物与模拟、数字视频输出

    Figure  4.   Camera analog and digital output video

    图  5   成像选定区域的信噪比

    Figure  5.   Selected region mean SD and SNR value

    表  1   PAL视频帧的格式定义

    Table  1   PAL frame definition

    Lines Line Description
    1~22 Field1-First Vertical Blanking(Top)
    23~310 Field1-Active Video
    311~312 Field1-Second Vertical Blanking(Bottom)
    313~335 Field2-First Vertical Blanking(Top)
    336~623 Field2-Active Video
    624~625 Field2-Second Vertical Blanking(Bottom)
    下载: 导出CSV

    表  2   每行的数据结构

    Table  2   Line data structure

    EAV code Blanking Video SAV code Active Video
    FF 0 0 EAV Cb Y Cr Y 255 0 0 SAV Cb Y Cr Y
    4 bytes 280 bytes 4 bytes 1440 bytes
    下载: 导出CSV

    表  3   Camera Link位分配

    Table  3   Camera Link Bit Assignment

    Tx Input Signal Name Pin Name
    LVAL TX/RX 24
    FVAL TX/RX 25
    DVAL TX/RX 26
    Spare TX/RX 23
    Port A0 TX/RX 0
    Port A1 TX/RX 1
    Port A2 TX/RX 2
    Port A3 TX/RX 3
    Port A4 TX/RX 4
    Port A5 TX/RX 6
    Port A6 TX/RX 27
    Port A7 TX/RX 5
    Port B0 TX/RX 7
    Port B1 TX/RX 8
    Port B2 TX/RX 9
    Port B3 TX/RX 12
    下载: 导出CSV
  • [1]

    Hynecek J. Impactron-a new solid state image intensifier[J]. IEEE Transactions on Electron Devices, 2001, 48(10): 2238-2241. DOI: 10.1109/16.954460

    [2]

    Jerram P. The LLCCD: low-light imaging without the need for an intensifier[C]//Proc SPIE, 2001, 4306: 178-186.

    [3]

    Hainsworth A H, Lee S, Foot P, et al. Super‐resolution imaging of subcortical white matter using stochastic optical reconstruction microscopy (STORM) and super‐resolution optical fluctuation imaging (SOFI)[J]. Neuropathology and Applied Neurobiology, 2018, 44(4): 417-426. DOI: 10.1111/nan.12426

    [4]

    WANG Z, LU Y, LI W, et al. Single image super-resolution with attention-based densely connected module[J]. Neurocomputing, 2021, 453: 876-884. DOI: 10.1016/j.neucom.2020.08.070

    [5]

    QIU D, ZHENG L, ZHU J, et al. Multiple improved residual networks for medical image super-resolution[J]. Future Generation Computer Systems, 2021, 116: 200-208. DOI: 10.1016/j.future.2020.11.001

    [6]

    Chaurasiya K R, Dame R T. Single Molecule FRET Analysis of DNA Binding Proteins[M]//Single Molecule Analysis. Humana Press, New York, NY, 2018: 217-239.

    [7]

    WANG R, ZHANG G, LIU H. DNA-templated nanofabrication[J]. Current Opinion in Colloid & Interface Science, 2018, 38: 88-99.

    [8]

    Shriver R, Veatch S. A Hands-on freshman seminar course in DNA origami[J]. Biophysical Journal, 2017, 112(3): 464a. http://www.onacademic.com/detail/journal_1000039866432810_11e3.html

    [9]

    Chakraborty S, Hasan G. Spontaneous Ca2+ influx in drosophila pupal neurons is modulated by IP3-receptor function and influences maturation of the flight circuit[J]. Frontiers in Molecular Neuroscience, 2017, 10: 111. DOI: 10.3389/fnmol.2017.00111

    [10]

    Montecchi R, Schwob E. Long-term imaging of DNA damage and cell cycle progression in budding yeast using spinning disk confocal microscopy[M]//New York: Genome Instability. Humana Press, 2018: 527-536.

    [11]

    Schubeis T, Le Marchand T, Andreas L B, et al. 1H magic-angle spinning NMR evolves as a powerful new tool for membrane proteins[J]. Journal of Magnetic Resonance, 2018, 287: 140-152. DOI: 10.1016/j.jmr.2017.11.014

    [12]

    LEE J, FENG X, CHEN O, et al. Stable, small, specific, low-valency quantum dots for single-molecule imaging[J]. Nanoscale, 2018, 10(9): 4406-4414. DOI: 10.1039/C7NR08673C

    [13]

    Enomoto T, Kubota H, Mori K, et al. Absolute bioluminescence imaging at the single-cell level with a light signal at the Attowatt level[J]. BioTechniques, 2018, 64(6): 270-274. DOI: 10.2144/btn-2018-0043

    [14]

    Feinendegen L E, Cuttler J M. Biological effects from low doses and dose rates of ionizing radiation: science in the service of protecting humans, a synopsis[J]. Health Physics, 2018, 114(6): 623-626. DOI: 10.1097/HP.0000000000000833

    [15] 刘智超, 樊桂花, 郭惠超, 等. 基于EMCCD的激光主动成像参数分析[J]. 激光与红外, 2016, 46(3): 271-274. DOI: 10.3969/j.issn.1001-5078.2016.03.005

    Liu Zhichao, Fan Guihua, Guo Huichao et al. Analysis of laser active imaging parameters based on EMCCD[J]. Laser & Infrared, 2016, 46(3): 271-274. DOI: 10.3969/j.issn.1001-5078.2016.03.005

    [16] 龚德铸, 王立, 卢欣. 微光探测EMCCD在高灵敏度星敏感器中的应用研究[J]. 红外与激光工程, 2007(z2): 534-539. DOI: 10.3969/j.issn.1007-2276.2007.z2.139

    Gong Dezhu, Wang Li, Lu Xin. Detection of faint light EMCCD based on star sensor[J]. Infrared and Laser Engineering, 2007(z2): 534-539. DOI: 10.3969/j.issn.1007-2276.2007.z2.139

    [17] 米本和也, 陈榕庭, 彭美桂. CCD/CMOS图像传感器基础与应用[M]. 北京: 科学出版社, 2006: 98-100.

    Mibenheye, Chen Rongting, Peng Meigui. Fundamentals and Applications of CCD/CMOS image sensor[M].Beijing: Science Press, 2006: 98-100.

    [18]

    Automated Imaging Association. Specifications of the Camera Link Interface Standard for Digital Cameras and Frame Grabbers, Version 1.1[Z/OL]. Automated Imaging Association, 2000, http://edge.rit.edu/content/P10662/public/old/Specs/CameraLink%20Specs.pdf.

  • 期刊类型引用(1)

    1. 朱文轩. 多尺度目标检测算法在复杂场景下的性能评估与改进. 信息与电脑. 2025(06): 5-7 . 百度学术

    其他类型引用(1)

图(5)  /  表(3)
计量
  • 文章访问数:  163
  • HTML全文浏览量:  129
  • PDF下载量:  41
  • 被引次数: 2
出版历程
  • 收稿日期:  2021-10-26
  • 修回日期:  2022-06-22
  • 刊出日期:  2023-05-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日