0.   引言

为解决红外成像系统存在的非均匀性问题，研究者们已经提出了很多的非均匀性校正方法，例如两点校正^[1]、基于神经网络的方法和基于时域滤波的方法等^[2-3]。然而其中绝大多数方法在设计时并未考虑积分时间这一因素，这些方法通常只适用于积分时间固定的应用。针对红外大动态范围成像^[4]等任务对改变积分时间的需要，一些可变积分时间的非均匀性校正方法被提出。这类算法主要可分为两种：一种通过建立精确的含积分时间等变量的红外成像物理模型并求解模型参数实现^[5-7]，比如Chen等人^[5]建立了含有入射照度、积分时间、探测器暗电流和偏置电压等变量的响应模型，提出了可变积分时间的二维定标非均匀性校正方法。另一种则不需要建立精确的解析模型，而是利用机器视觉中的辐射校准方法来实现，例如Ochs等人^[8]提出了基于像素级辐射自校准的非均匀性校正方法，首先通过辐射自校准来估计场景的辐射通量图，再对辐射通量图进行非均匀性校正。

本文在Ochs等人提出的校正方法的基础上，对该方法中的两个关键的步骤进行了改进，主要体现在使用多组不同积分时间的黑体图像序列进行辐射自校准以获得更准确的辐射响应方程，以及利用进行辐射自校准过程所使用的多组图像序列来计算非均匀性校正参数。

1.   响应模型

对于典型红外成像系统，来自场景的红外辐射被光学系统汇聚在红外焦平面阵列上，经过有效的积分（曝光），焦平面的像元中红外光子经由光电转换及一系列电信号处理后被转化为相应的灰度值^[9]。假设这些过程均为线性变换，且不考虑暗电流和噪声等影响时，则对于红外成像系统中的像元p，输出的灰度值Y_p与到达成像系统的红外光的辐射通量F_p和积分时间t_int的关系可以表示为：

式中：a_p为光学系统、光电转换和电信号处理等引起的增益；b_p为电信号处理带来的偏移。

如公式(1)所示，成像系统输出的灰度值与积分时间的关系通常被认为是线性的，因此能够以较方便的方法估计出场景的辐射通量，通过对辐射通量进行非均匀性校正处理来降低积分时间变化带来的影响。这也是绝大多数积分时间可变的非均匀性校正方法^[5-8]实现的基础。虽然实际上在红外探测器的整个动态范围内，探测器输出信号与积分时间是非线性的，如图 1所示。但是在探测器的某段动态范围内，输出信号与积分时间之间具有很高的线性度。对于本文所使用的红外中波碲镉汞探测器，在其15%~85%的动态范围内，大多数像素关于积分时间的响应非线性度^[10]小于0.2%，可认为在此范围内该探测器为线性响应。

图  1  恒定辐照度时某像素输出信号与积分时间的关系

Figure  1.  The relationship between the output signal of a pixel and the integration time under constant irradiance

下载: 全尺寸图片 幻灯片

2.   基于像素级辐射自校准的校正方法

辐射自校准是一种估计场景辐射能量Q与场景图像（归一化）灰度Y之间映射关系Q＝f(Y)的方法，它假设可以通过N阶多项式建立的响应方程f来描述这种关系^[11]。Ochs等人针对红外成像系统的非均匀性的特点，提出了一种基于像素级辐射自校准的非均匀性校正方法（以下简称Ochs方法）。该方法为探测器的每一个像元建立这种映射关系，考虑到辐射能量与辐射通量的关系Q＝F·t，像素p的响应方程f_p可以表示为：

通常红外成像系统使用固定的F数，对某一固定温度的面源黑体采集J种不同积分时间的图像序列，可以得到不同图像所对应的辐射能量与积分时间比值R之间的关系：

式中：j和j+i是图像序列的编号，将公式(2)代入，得到：

根据公式(4)，可以得到像元p的误差方程，如公式(5)。结合约束f_p(1)＝1，通过最小化ε_p可以计算出响应方程f_p的N+1个多项式系数a_{p, n}。

在获得每个像素的响应方程后，可以估计出场景的辐射能量图，除以积分时间便能够得到场景辐射通量图的估计。由于光学系统的影响^[8]，以及辐射自校准方法计算出响应方程所固有的不确定性^[11]，还需要对获得的辐射通量图进行校正。对辐射通量图中像素p的校正使用公式(6)所示的线性校正模型完成，并使用两点校正方法计算出校正参数g_p和o_p，式中F_p^*是校正后的辐射通量。

3.   本文方法

3.1   像素级辐射自校准方法

上文介绍的Ochs方法，采集固定在某一温度点的面源黑体的图像序列来计算出响应方程的多项式系数。然而经过实验发现Ochs方法中使用不同温度的黑体的图像序列计算出的响应方程和对应的误差ε有所差异，而差异大小与黑体温度之间并未呈现出明显的关联。例如黑体温度分为15℃、35℃和55℃时，Ochs方法计算出的2阶响应方程的平均误差$\bar \varepsilon $分别为4.57×10^－5、3.74×10^－5和3.93×10^－5。

为了能够获得更准确且更稳定的结果，本文提出利用多个温度点的黑体图像序列来求解每个像素的响应方程的多项式系数。该方法对K种温度的面源黑体分别采集J_k种积分时间的图像（k＝1, …, K），在误差方程(5)的基础之上，可以得到新的误差方程：

结合约束f_p(1)＝1，令误差方程最小化可求出响应方程的系数a_{p, n}。需要注意的是，选取黑体的温度点时，其范围最好能够覆盖实际观测场景的温度范围。

对于本文的方法，当采用黑体的温度点的数量K分别为2个、4个和9个时，得到的2阶响应方程通过公式(5)计算出的平均误差$\bar \varepsilon $分别为3.61×10^－5、3.53×10^－5和3.52×10^－5，不难看出通过这种方法获得的结果相对更稳定。

3.2   校正参数计算方法

通过每个像素的响应方程估计出场景的辐射通量图后，还需要利用公式(6)进行非均匀性校正来得到校正图像。计算校正参数g_p和o_p最常见的方法是两点校正，即使用两幅不同温度的面源黑体的图像来计算^[1]。为了能够充分利用辐射自校准过程中所用到的不同温度黑体的图像序列，而不是仅使用其中的两幅图像，本文通过公式(8)求解校正参数，即最小化所有图像中像素p的校正后的辐射通量F_{l, p}^*与其期望数值${\bar F_l}$的相对偏差的平方和。公式(8)中，L是用于计算校正参数的黑体图像的总数量；${\bar F_l}$为图像校正后的期望值，通常希望经过非均匀性校正后的黑体图像的所有像素具有相同的输出，且校正前后图像的空域均值保持不变，因此这里${\bar F_l}$为辐射通量图像F_l的均值。

校正参数的期望值${\hat g_p}$和${\hat o_p}$可以通过最小二乘法等优化算法计算得到。当输入图像只有两幅时，该方法得到的结果与两点校正方法的一样。

3.3   处理流程

本文提出的方法的处理流程如下：

1）分别对K种温度面源黑体采集J_k种积分时间的图像，得到序列{Y_{k, j}}并做归一化处理；

2）使用{Y_{k, j}}和积分时间{t_{k, j}}利用公式(7)计算出每个像元的响应方程f_p；

3）使用响应方程计算{Y_{k, j}}对应的辐射通量图序列{F_{k, j}}，并通过公式(8)获得校正参数{g_p, o_p}；

4）对于待校正图像，先计算出待校正的辐射通量图，再使用公式(6)得到校正后的辐射通量图；

5）若仅需输出图像，将校正后的辐射通量图乘以积分时间得到校正的图像。

4.   实验结果与分析

4.1   实验设置及评价方式

实验采集图像使用640×512中波红外碲镉汞焦平面阵列探测器组件和焦距30 mm的F/4镜头，探测器工作在ITR模式，采样ADC精度为14bit；高精度面源黑体使用HGH公司的DCN1000 N4，靶面尺寸为100 mm×100 mm。采集黑体图像时，调整镜头与黑体靶面间的距离确保靶面能够覆盖镜头视场。

实验中以5℃为步长，分别采集15℃~100℃共18个温度点的黑体的图像。在确定至少能够覆盖探测器15%~85%的动态范围时任意挑选积分时间，每个温度点下分别采集8~15种积分时间的图像各1张，一共产生198张黑体图像。

本文中，针对面源黑体的图像使用的偏移不均匀性NU^{[9, 12]}进行评价，针对实际场景的图像使用粗糙度ρ^[13]进行评价。

另外，实验采集到的图像均会预先进行无效像元替换处理，所展示的红外图像均经过了非线性的自动增强处理。

4.2   实验结果与分析

实验分别使用两点校正方法、Ochs方法和本文提出的方法处理图像数据。光子型红外探测器的响应线性度较好，2阶多项式模型足以拟合探测器的非线性性，因此Ochs方法和本文方法均使用2阶多项式模型建立响应方程。这3种方法中，两点校正使用积分时间为3 ms的20℃和75℃的图像计算校正参数；Ochs方法使用35℃的图像序列计算响应方程，使用20℃和90℃的图像来获取校正参数；本文方法使用15℃、30℃、50℃和90℃的图像数据计算响应方程和校正参数。

这3种方法对198张黑体图像进行非均匀性校正处理后，校正后图像的偏移不均匀性NU的统计数据如表 1所示。表 1中可以看出，本文方法校正后的黑体图像的偏移不均匀性NU的均值，比未校正降低了98.3%，比两点校正降低了93.5%，比Ochs方法降低了24.1%，校正后图像NU的中值、最小值和最大值也均低于其他两种方法。

表  1  3种方法处理前后的黑体图像的NU的统计数据

Table  1.  NU statistics of the black body image before and after process of the three methods

Method	Mean NU	Median NU	Min NU	Max NU
Un-corrected	6.041%	6.489%	3.025%	8.583%
Two-point	1.562%	1.081%	0.088%	6.024%
Ochs	0.133%	0.128%	0.073%	0.281%
Proposed	0.101%	0.098%	0.050%	0.205%

下载: 导出CSV 

| 显示表格

另外，实验还使用该热像仪对一场景采集了4 ms、9 ms和12 ms三种积分时间的图像，两点校正、Ochs方法和本文方法校正后的图像如图 2所示。图 2中可以看出两点校正后的图像中存在亮点和暗点，且图像的积分时间偏离标定使用的积分时间（3ms）越多时亮点和暗点的数量越多；另外图像的四周还存在过补偿的情况，导致图像四周偏亮、中心偏暗，背景因对比度不足也难以辨别。相对于两点校正，Ochs方法和本文方法校正后的图像的效果均有较明显的提升，图像中均没有明显的固定图案噪声，比如暗角、四周过补偿、竖条纹、亮点和暗点等，图像经过增强后的对比度也更高。

图  2  三种方法校正后的场景图像

Figure  2.  Corrected scene images of three methods

下载: 全尺寸图片 幻灯片

为了能够更客观地评价3种方法的校正效果，分别计算了9幅图像（增强之前）的粗糙度ρ，如表 2所示。3种方法中，本文方法校正后图像的粗糙度数值也最小。

表  2  三种方法处理前后的场景图像的粗糙度ρ

Table  2.  Roughness ρ of the scene images before and after theprocess of the three method

Integration Time/ms	Un-corrected	Two-point	Ochs	Proposed
4	0.11816	0.01032	0.00924	0.00904
9	0.07297	0.00998	0.00900	0.00890
12	0.06285	0.00989	0.00888	0.00876

下载: 导出CSV 

| 显示表格

5.   总结

本文提出了一种基于像素级辐射自校准的红外图像非均匀性校正改进方法。该方法通过对估计出的场景的辐射通量图进行校正，实现了可变积分时间的非均匀性校正。该方法在辐射自校准的基础上，利用多个温度点下采集的面源黑体的不同积分时间的图像，获得了更准确且更稳定的像素级响应方程的估计，可以得到更准确的场景辐射通量的估计。该方法还将非均匀性校正参数的求解转化为了线性最小二乘问题，从而能够充分利用采集到的多温度点、多积分时间的图像，实现更好的非均匀性校正效果。实验表明，本文方法能够将线性响应范围内的任意积分时间下的红外图像的非均匀性降低至较低的水平。