基于时域偏移量的红外非均匀校正算法

杨晓博, 董建婷, 张永强, 武永见, 聂云松

杨晓博, 董建婷, 张永强, 武永见, 聂云松. 基于时域偏移量的红外非均匀校正算法[J]. 红外技术, 2025, 47(5): 635-639.
引用本文: 杨晓博, 董建婷, 张永强, 武永见, 聂云松. 基于时域偏移量的红外非均匀校正算法[J]. 红外技术, 2025, 47(5): 635-639.
YANG Xiaobo, DONG Jianting, ZHANG Yongqiang, WU Yongjian, NIE Yunsong. Infrared Non-Uniformity Correction Algorithm Based on Time-Domain Offset[J]. Infrared Technology , 2025, 47(5): 635-639.
Citation: YANG Xiaobo, DONG Jianting, ZHANG Yongqiang, WU Yongjian, NIE Yunsong. Infrared Non-Uniformity Correction Algorithm Based on Time-Domain Offset[J]. Infrared Technology , 2025, 47(5): 635-639.

基于时域偏移量的红外非均匀校正算法

详细信息
    作者简介:

    杨晓博(1991-),男,硕士,主要从事红外遥感相机设计与应用方面的研究。E-mail: 596240121@qq.com

  • 中图分类号: TN215

Infrared Non-Uniformity Correction Algorithm Based on Time-Domain Offset

  • 摘要:

    受限于制冷型红外探测器的材料特性以及制作工艺,红外图像普遍存在像元间的不一致性,红外图像的非均匀性会严重影响在轨成像效果。尤其在均匀背景下的点目标探测,会提高在轨探测的虚警率。两点法校正是一种典型的红外遥感器在轨图像非均匀性处理手段,从一定程度上抑制了图像的非均匀性。两点法的图像处理机理就决定了这种图像处理方法的校正效果不仅与相机的成像参数相关,在时域上还与探测器的工作温度相关。因此制冷型红外探测器的光学遥感器在每次成像任务中成像参数即使固定不变,仍然需要通过获取星上定标器的内定标图像实时计算校正系数,从而保证红外图像的非均性得到抑制。以线阵推扫中波红外遥感器为实验对象,提出一种时域自适应校正算法,在两点法校正的基础上引入时域上的响应修正量,纠正工作温度变化对非均匀校正系数时效性的影响。目前此算法已应用于在轨光学遥感器,该算法的引入有效减小了在轨定标的频次,增强了红外通道应急成像任务的处理能力。

    Abstract:

    Given the material characteristics and manufacturing process of refrigerated infrared detectors, pixel inconsistency is common in infrared images. This non-uniformity of infrared images can significantly degrade the quality of on-orbit imaging. In particular, detecting point targets against a uniform background becomes more challenging, often increasing the false alarm rate during on-orbit detection. The two-point correction method is a typical processing method for addressing image in-homogeneity in infrared remote senor data in orbit. This method can effectively restrain image in-homogeneity to a certain extent. However, the correction effect of this image processing method only depends on imaging parameters of the camera but also on the working temperature of the detector in the time domain. Therefore, even if the imaging parameters of the optical remote sensor of the refrigerated infrared detector are fixed in each imaging mission, the correction coefficients must still be calculated in real time. This is achieved by obtaining internal calibration images of the on-board calibrator, thereby ensuring that the heterogeneity of the infrared image is suppressed. Based on a linear push-sweep mid-wave infrared remote sensing camera, an adaptive time-domain correction algorithm in is proposed. Currently, the algorithm has already been deployed in on-orbit optical remote sensors, where it effectively reduces the frequency of in-orbit calibrations and enhances the processing capability of emergency imaging in the infrared exterior passage way.

  • 随着红外探测技术的不断发展及其在空间探测领域逐步拓展的在轨应用情景,对红外图像的成像质量及成像时效要求也越来越高。目前在轨服役的红外光学遥感器使用的探测器以制冷型红外探测器为主。受限于制冷型红外探测器的材料特性以及制作工艺,红外图像普遍存在像元间的不一致性。以线阵推扫型红外遥感器为例,红外探测器的像元间不一致性具体表现为红外图像在探测器推扫方向上深浅不一的竖向条纹噪声[1-5]

    目前对探测器的非均匀性研究方向主要分为基于定标和基于场景的两大类校正方法。为了有效抑制红外图像中的条纹非均匀性,国内外学者从多个维度进行了大量研究。2012年,Tendero等提出运用直方图匹配来抑制条纹非均匀性的方法[6],通过调整一列像素值中灰度值的分布,在不破坏图像细节的情况下抑制部分条纹非均匀性,但该方法需在特定条件下使用,否则会出现明显的“鬼影”现象。2015年,J. H. Wang等提出一种基于单帧图像的矩匹配和直方图结合的算法[7],该方法采用矩匹配算法对图像校正,然后根据相邻列的直方图映射目标列中的像元,这种算法在处理细节丰富的图像时,会出现有条纹残留的问题。2016年,Y. Cao等人提出了一种基于引导滤波分层校正条纹噪声的方法[8],首先利用一维行引导滤波对图像进行边缘保护,将输出图像作为引导图像,原始图像和引导图像之差作为下一步一维引导滤波的输入,对图像中的条纹进行处理,这种方法同样无法处理不同强度的条纹非均匀性,出现明显的条纹时该方法会造成图像细节的模糊。2022年张海斌等提出了基于多个定标温度的二阶校正算法[9],通过二阶段模型拟合获得图像非均匀性的校正方程。此方法拓展了校正系数试用的动态范围,仍然没有脱离像元的时域噪声对校正系数时效性的影响[10]

    综上所述,基于场景的校正方法计算量复杂、鲁棒性差,在处理效果以及时效性方面仍不理想,无法满足在轨红外图像快速处理的使用要求[11]。两点法定标的方法简单、计算量低,是目前在轨常用方法。但在轨成像期间,探测器都会有时漂效应,使得原有的校正系数失效,最终影响非均匀校正效果。本文为解决两点法对时域稳定性的要求,提出一种基于时域的自适应校正算法,修正红外图像在时域上的漂移量。

    在理想情况下,均匀入射光源经过光学系统、探测器以及后面的电子电路量化,最终获得红外遥感图像,灰度分布应该是均匀的。由于工艺水平、材料特性以及成像光学系统等因素造成探测器各像元本身响应特性有所差异。目前比较主流的模型是线性模型:

    $$ y_i={k_i}^* x_i+b_i $$ (1)

    式中:xi为探测器某一像元的等效入瞳辐亮度;yi为该像元的响应输出,kibi分别为增益系数和偏置系数。受限于线阵红外探测器的工艺限制,目前线阵探测器的读出电路一般是分多通道并行对多组感光器件的信号进行采集、存储、延时积分,并通过后端的数字电路完成图像数据的编排。每个通道对应的像元共同使用同一个输出缓冲放大器。各通道的增益和偏置存在一定差异,这种差异可以细分为直流分量和交流分量。其中直流分量是读出电路本身的固有属性,可以通过定标校正反算出逐元对应的增益和偏置。交流分量受到探测器工作温度的影响,会在时域上产生漂移量。

    因此在红外成像过程中,常规的标定方式只是消除各通道像元间的固有差异,无法有效抑制时域上随探测器工作温度变化产生的像元响应变化。

    两点法校正算法是工程实践中简单可行且校正效果良好的算法。该算法基于两个假设:一是探测器对应动态范围的线性响应区间;二是探测器工作温度相对稳定,不会产生较大波动。在上述前提下,探测器的输出响应可以通过线性方程拟合获得校正系数。具体方法是通过实时采集在轨定标器不同辐亮度的图像,获得探测器各像元的二维矩阵方程,推算出探测器的增益和偏置矩阵。通过线性方程获得均匀图像,公式如下:

    $$ {\bar Y_{\text{H}}} = {K_i}^*{y_{i{\text{H}}}} + {B_i} $$ (2)
    $$ {\bar Y_{\text{L}}} = {K_i}^*{y_{i{\text{L}}}} + {B_i} $$ (3)

    式中:yi为图像未校正前探测器逐元的输出响应;$ {\bar Y_{\text{H}}} $、$ {\bar Y_{\text{L}}} $为单帧图像均值;KiBi分别为像元通过两点法反算的增益系数和偏置系数。

    该方法在探测器工作温度相对稳定的情况下,校正效果良好。该方法由于模型简单、运算量小,对在轨资源占用率低,因此成为高性能红外相机的主流校正方案。但对焦面的工作温度要求较高,因此以往红外相机在轨都要求成像前或成像后通过星上定标器完成内定标成像,实时计算校正系数。在轨定标的初始化时间通常需要几十秒才能完成,无法适应用户对在轨应急成像任务的需求。

    根据不同用户需求,红外相机的响应谱段有所区分。本文中的中波红外遥感器一般都是采用光子探测器,为了减少探测器的热激发,通常在低温条件下工作。以HgCdTe型中波红外线阵探测器为例,其在轨工作温度一般控制在80~100 K。

    红外遥感相机的响应输出包括暗电平和响应电平。其中响应电平是对目标的响应电平与背景响应电平加成获得的有效响应电平。而从背景电平的来源细分,可分为光机内部温度场的辐射、探测器冷屏变化带来的内部辐射响应。暗电平则是通过探测器自身的暗电流积分得到的。可以用公式表达红外遥感相机的有效输出响应,如下所示:

    $$ {V}_{相机}={V}_{目标}+{V}_{探测器}+{V}_{光机}+{V}_{暗电流} $$ (4)

    式中:V相机就是相机的有效输出响应;V目标是星下点目标辐射在相机探测器上的响应电平;V探测器是探测器冷屏温度场变化在探测器上的响应电平;V光机是相机内部温度场辐射在探测器上的响应电平;V暗电流是探测器自身的暗电流经过积分得到的响应电平。

    为了保证相机在轨成像稳定性,相机光机内部的温度场都控制在一个相对稳定的温度区间,因此V光机可以作为固定的直流分量进行考虑。而对于80~100 K的探测器工作区间,探测器内部温度场带来的响应电平对相机响应输出的贡献几乎可以忽略。探测器工作温度波动带来的暗电流水平波动量几乎可以忽略。因此,相机在轨的有效响应模型可以进一步简化:

    $$ V_{\text {相机 }}=V_{\text {目标 }}+V_{\text {光机 }}+V_{\text {暗电流 }} $$ (5)

    其中暗电平则可作为固定的直流分量进行考虑。因此在相机光机温度场相对稳定的前提下,相机在不同的探测器工作温度下对同一个目标的响应输出的差异主要来自探测器自身响应率的变化。

    禁带宽度是影响探测器响应率的一个重要指标,本文中的探测器响应波段为3~5 μm。禁带宽度Eg与探测器像元的组成成分x及工作温度T之间的关系如下:

    $$ \begin{aligned} E_{\mathrm{g}}(x, T)= & -0.302+1.93 {^{*}} x+5.35 {^{*}} 10^{-4 }{^{*}}(1-2 x) {^{*}} T \\ & -0.810 {^{*}} x^2+0.832 {^{*}} x^3 \end{aligned} $$ (6)

    另外,截止波长λc与禁带宽度Eg之间的关系为:

    $$ \lambda_{\mathrm{c}}=1.24 / E_{\mathrm{g}}\; {\rm{ \mathsf{μ}}}\mathrm{m} $$ (7)

    从公式(6)、(7)可以看出,在探测器像元的组成成分x固定的情况下,探测器的截止波长与焦面工作温度强相关。此处可以得出一个结论,探测器的光谱响应范围会由于工作温度的改变而发生改变。因此相机在不同的探测器工作温度下对同一个目标的响应输出会存在差异,而输出差异与焦面温度强相关。

    为了解决应急成像任务中探测器像元输出在时域上由焦面工作温度波动带来的漂移量,本文基于两点法校正的理论基础做进一步延伸,引入时域上的交流分量来表征相机在不同焦面温度下的输出差异。两点法校正的基础公式见公式(2)、(3)。该公式只体现了探测器不同像元差异中的直流分量。如果想表征探测器像元输出响应的交流分量特性,则需要引入与探测器工作温度相关的表达式,此处以F(ΔT)表征。

    $$ {Y_{\left( {{T_1}} \right)}} = {K_1}^*x + {B_1} $$ (8)
    $$ {Y_{\left( {{T_2}} \right)}} = {K_1}^*x + {B_1} + {F_{\left( {\Delta T} \right)}} $$ (9)

    假设相机在焦面温度T1下获得了两点法校正系数,那么在焦面温度T2下的相机输出响应就可以用公式(9)进行表征,两个工作温度差值用ΔT表征。其中,K1B1为探测器温度T1下计算的校正系数,FT)为探测器工作温度差异产生的漂移量。那么理论上只要探测器的工作温度波动范围在探测器响应的线性区间,都可以通过温度修正将探测器响应输出校正为探测器工作温度在T1下的输出响应,从而剔除交流分量对红外图像均匀性的影响。详见如下公式:

    $$ {Y_{\left( {{T_1}} \right)}} = {Y_{\left( {{T_2}} \right)}} - {F_{\left( {\Delta T} \right)}} = {K_1}^*x + {B_1} $$ (10)

    红外遥感相机在研制阶段都会进行辐射定标测试,在探测器焦面温度变化的专项测试中,可以获得焦面温度变化与探测器输出响应的响应曲线。通过统计像元输出灰度值与焦面温度的变化规律,发现像元灰度与焦面温度变化量呈现单调线性关系。具体变化趋势如表 1所示。

    表  1  探测器响应与探测器工作温度关系
    Table  1.  Relationship between detector response and detector operating temperature
    Detector operating temperature /K Gray value
    85 1797.02
    90 1778.13
    91 1775.06
    92 1772.50
    93 1768.97
    94 1764.96
    95 1761.07
    96 1758.11
    下载: 导出CSV 
    | 显示表格

    对探测器工作温度85 K以及95 K条件下的内黑体定标数据进行两点法校正系数的计算。在此基础上,通过耦合85 K对应的两点法校正系数获取基于焦面温度变化的自适应校正方程。将上述过程中获得的两点法校正系数以及自适应算法依次引入辐射定标测试的原始图像数据中进行仿真验证。仿真验证结果如图 1所示。可以明显看出,85 K探测器工作温度下获得的两点法校正系数无法兼顾85 K到95 K的探测器温度波动区间。分别在85 K和95 K原始图像数据中引入85 K焦面温度下的两点法校正系数获得85 K/95 K无补偿的灰度值响应曲线。在此基础上引入自适应算法方程,对无补偿的图像数据进行二次修正,获得85 K/95 K有温度补偿的灰度值响应曲线。而直接在原始图像数据中引入各自焦面温度下获取的内定标校正系数,则获得了85 K/95 K理想化灰度值响应曲线。通过对比可以发现本文的自适应校正方法可以显著抑制图像的非均匀性,并且近乎接近于理想化模型。

    图  1  红外相机在85 K/95 K的试验室数据仿真验证结果比对
    Figure  1.  Comparison of simulation verification results of infrared camera data in the laboratory at 85 K/95 K

    表 2的统计结果来看,实测结果和仿真分析结果基本吻合。在仅使用两点法校正系数进行图像实时校正的情况下,焦面温度从85 K升至95 K的过程中,图像非均匀性从0.23%升至7.08%,图像非均匀性明显。

    表  2  85 K/95 K探测器工作温度下自适应校正前后非均匀性对比
    Table  2.  Comparison of non-uniformity before and after adaptive correction of 85 K/95 K detector operating temperature
    Detector operating
    temperature /K
    Uncorrected /% Corrected/%
    85 0.23 0.25
    95 7.08 1.07
    下载: 导出CSV 
    | 显示表格

    探测器工作温度稳定在85K附近的条件下,基于两点法获取探测器逐元的非均匀校正系数,并将该组系数引入到星上图像算法模块的前端。在地面获得经两点法校正后的图像数据。由于非均匀校正系数是在探测器工作温度处于85K附近时获取的,因此当探测器工作温度稳定在85 K附近时,经过一次非均匀校正后的图像非均匀性得到了有效抑制。并且在引入自适应校正算法后,图像非均匀性并没有明显的提升。

    通过调节红外探测器的制冷机功率输出,使探测器工作温度逐渐从85 K升至95 K。在此期间,通过星上控制器实时将采集到的探测器工作温度打入图像辅助数据中。星上图像算法模块的后端通过读取图像辅助数据的固定位置获取探测器工作温度变化量,并基于自适应非均匀校正算法实时对经两点法校正后的图像数据进行温度补偿修正。

    在探测器工作温度上升温期间,地面实时采集星上算法模块后端处理后的图像。经统计可以发现经过自适应非均匀校正算法修正后的图像非均匀性仅抬高了0.82%,完全能够满足在轨使用要求。在引入自适应校正算法之后,红外图像非均匀性随探测器工作温度产生的变化得到有效抑制。

    对探测器逐元在时域上的DN值变化趋势进行统计,发现经过自适应非均匀校正算法修正后的图像数据在波动量约0.1%左右。如图 2所示,探测器在工作温度上升期间,某像元响应输出的DN值始终在2169到2171之间波动。

    图  2  红外相机在85 K到95 K升温期间某像元灰度变化趋势
    Figure  2.  The trend of pixel gray level fluctuations of the infrared camera during the temperature rise from 85 K to 95 K

    本文从探测器的响应模型出发,阐述了像元间响应输出不一致性的机理。目前在轨的红外光学遥感器星上定标算法普遍是两点法定标校正。为了消除探测器时漂效应影响,需要对相机分系统进行周期性重复标定。本文分析了这种算法对相机在轨的使用约束,以两点校正法理论为基础,通过分析相机响应输出的组成成分,推导出了红外相机在轨成像期间的响应输出在时域的交流分量模型。提出了基于焦面温度变化对图像进行校正的方法。该方法对星上资源的占用率较低,且模型相对简单,可靠度较高,适用于红外遥感器在轨实时图像处理。该方法的引入放宽了红外遥感相机的在轨使用约束。引入该算法之后,红外遥感相机的轨内定标频次已经从一天多轨定标降为一天一轨定标,显著提升了整星的好用性、易用性。

  • 图  1   红外相机在85 K/95 K的试验室数据仿真验证结果比对

    Figure  1.   Comparison of simulation verification results of infrared camera data in the laboratory at 85 K/95 K

    图  2   红外相机在85 K到95 K升温期间某像元灰度变化趋势

    Figure  2.   The trend of pixel gray level fluctuations of the infrared camera during the temperature rise from 85 K to 95 K

    表  1   探测器响应与探测器工作温度关系

    Table  1   Relationship between detector response and detector operating temperature

    Detector operating temperature /K Gray value
    85 1797.02
    90 1778.13
    91 1775.06
    92 1772.50
    93 1768.97
    94 1764.96
    95 1761.07
    96 1758.11
    下载: 导出CSV

    表  2   85 K/95 K探测器工作温度下自适应校正前后非均匀性对比

    Table  2   Comparison of non-uniformity before and after adaptive correction of 85 K/95 K detector operating temperature

    Detector operating
    temperature /K
    Uncorrected /% Corrected/%
    85 0.23 0.25
    95 7.08 1.07
    下载: 导出CSV
  • [1] 张智杰, 洪普. 288×4红外传感器像元空间位置同步及空间匹配技术的研究[C]//2003年十一省(市)光学学术会议论文集, 2003: 173-174.

    ZHANG Zhijie, HONG Pu. The Research of 288×4 IR sensor's pixel space matching and synchronization[C]// 2003 Proceedings of the 11th Provincial (City) Conference on Optics, 2003: 173-174.

    [2]

    SOFRADIR. PLUTON LW K508 288×4 LWIRCMOS Integrated Detector Dewar Cooler Assembly(IDDCA) with Microcooler Type K508 Technical Specification[Z]. France: Sofradir, 2005.

    [3] 宋立国, 陈凌军, 王哲. TDI型红外探测器空间校正方法的设计与实现[J]. 半导体光电, 2015, 36(3): 500-508.

    SONG Liguo, CHEN Lingjun, WANG Zhe. Design and implementation of spatial correction method for TDI infrared[J]. Semiconductor Optoelectronics, 2015, 36(3): 500-508.

    [4] 王华, 魏志勇, 张文昱, 等. 480×6红外探测器信号处理电路设计[J]. 红外技术, 2009, 31(9): 504-512. DOI: 10.3969/j.issn.1001-8891.2009.09.002

    WANG Hua, WEI Zhiyong, ZHANG Wenyu. Design of 480×6 infrared focal plane array signal processing circuit[J]. Infrared Technology, 2009, 31(9): 504-512. DOI: 10.3969/j.issn.1001-8891.2009.09.002

    [5] 倪云芝, 丁瑞军, 唐红兰, 等. 具有时间延迟积分功能的288×4元CMOS红外焦平面读出电路[C]//全国红外科学交流会议论文集, 2003: 22-25.

    NI Yunzhi, DING Ruijun, TANG Honglan. A CMOS ROIC for 288x4 IRFPA with TDI[C]//Proceedings of the National Infrared Science Exchange Conference, 2003: 22-25.

    [6]

    Tendero Y, Stéphane Landeau, Jérôme Gilles. Non-uniformity correction of infrared images by midway equalization[J]. Image Processing on Line, 2012(2): 134-146.

    [7]

    WANG J, ZHOU Z, LENG H, et al. A non-uniformity correction algorithm based on single infrared image[J]. Journal of Information & Computational Science, 2015, 12(1): 101-110.

    [8]

    CAO Y, YANG M Y, Tisse C-L. Effective strip noise removal for low-textured infrared images based on 1-D guided filtering[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 26(12): 2176-2188.

    [9] 张海斌, 邓剑, 王煜东. 基于黑体的红外图像非均匀性校正算法研究及改进[J]. 光电技术应用, 2022, 37(3): 36-42.

    ZHANG Haibin, DENG Jian, WANG Yudong. Research and improvement of non-uniformity correction algorithm of infrared image based on blackbody[J]. Electro-Optic Technology Application, 2022, 37(3) : 36-42.

    [10] 满益云, 陈世平. 光学遥感卫星在轨星上绝对辐射定标的研究进展[J]. 中国空间科学技术, 2022, 42(6): 12-22.

    MAN Yiyun, CHEN Shiping. Research progress of on-board absolute radiometric calibration for optical remote sensing satellitelJ]. Chinese Space Science and Technology, 2022, 42(6): 12-22.

    [11] 李岩. 红外影像奇偶元条纹噪声自适应去除算法[J]. 航天返回与遥感, 2023, 44(3): 79-84.

    Ll Yan. An adaptive algorithm for eliminating odd-even stripe noise in infrared image[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(3): 79-84.

图(2)  /  表(2)
计量
  • 文章访问数:  48
  • HTML全文浏览量:  7
  • PDF下载量:  18
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-07-10
  • 修回日期:  2024-08-13
  • 网络出版日期:  2025-05-27
  • 刊出日期:  2025-05-19

目录

/

返回文章
返回