0.   引言

红外成像技术已经广泛运用于军事、民用等领域。由于红外焦平面探测器制造工艺精度、材料等方面的原因，使外界红外能量场均匀输入至红外焦平面的每一个探测器单元时，呈现出的响应输出不一致，从而不可避免会存在图像数据的非均匀性问题，表现为空域固定图案噪声。非均匀性极大程度地影响了图像的质量，严重减低了系统的探测性能^[1]。

目前，红外焦平面探测器非均匀性校正方法分为基于离线标定的校正和基于实时场景的校正^[2]。离线标定的校正方法主要有：一点校正、两点校正、分段多点校正法等。主要通过在出厂前采集探测器对黑体的响应从而获得非均匀性校正的定标系数，并在需要时调用存储的系数^[3]。然而存储两点系数需要占用部分资源，并且定标类方法难以应对红外焦平面探测器响应随时间偏移的问题^[4]，因此需要定期标定，带来复杂的人工操作^[5]。

基于实时场景非均匀性校正的方法有：时域高通滤波^[6]、恒定统计^[7]、图像配准^[8-9]、神经网络等算法^[10]。此类算法利用对场景信息的估计来实现对校正系数的实时在线学习更新^[11]，此类算法无需重复标定，但精度不如标定类算法。目前基于场景的非均匀性校正方法需要场景和探测器间的相对运动，易产生“鬼影”，即缓慢运动目标在快速移开后原像位置出现反像^[12]，且滤波会模糊图像边缘、非均匀性抑制不彻底，容易干扰系统对目标的截获、跟踪^[13]。

基于以上红外焦平面探测器非均匀性校正方法存在的问题，在传统神经网络算法的基础上，设计了一种时空域自适应滤波的非均匀性校正算法。

1.   本文算法设计思路

根据人眼的视觉特性，Scribner等^[14]提出了一种基于人工神经网络的非均匀性校正算法。区别于深度学习法，可以将这种方法理解成迭代滤波算法。通过设定适当的滤波模板作为非均匀性校正环节的期望值，将当前像素点的值与期望值相减得到误差函数，然后设定合适的学习率逐帧迭代，利用实时场景信息不断地更新校正系数从而修正图像的非均匀性^[15]。算法的主要流程如图 1所示。

图  1  神经网络法原理

Figure  1.  Neural network method

下载: 全尺寸图片 幻灯片

传统算法中，若当场景长时间静止或缓慢运动，则会被认为是固定图案噪声，从而被滤除，当场景突然运动时，会在原位留下反转图像，即“鬼影”。

本文基于传统神经网络法，利用引导滤波优化期望图像，设计空域可调阈值的局部方差和时域场景变化相结合的学习率，在边缘细节处和当场景缓慢运动时，可自适应调整校正系数的更新步长。经测试，本算法可以在抑制“鬼影”的同时获得较好的非均匀性校正效果。

1.1   非均匀性校正模型

红外焦平面阵列中非均匀性的主要来源包括：期间自身缺陷引起的非均匀性、放大电路引入非均匀性，器件的工作状态带来的非均匀性等。本文重点考虑由像元自身工艺缺陷和温度漂移产生的非均匀性，建立简化的线性模型。其公式为：

式中：(i, j)为待校正像元所在的位置；n为视频的帧数；g_n(i, j)和o_n(i, j)分别为实际的增益和偏置系数；Y_n(i, j)为探测器的实际输出；X_n(i, j)为探测器的实际输入。

通过逆变换来获得需要校正的系数，有公式：

其中：

式(2)中：a_n(i, j)和b_n(i, j)是需要迭代求解的校正系数。利用滤波模板来设计期望函数，有公式：

式中：f_{i, j}(n)为校正后的输出；x_{i, j}(n)代表了各个像元的原始输出。通过与期望函数作差即可得到误差矩阵：

式中：y_{i, j}(n)为校正输出结果，误差函数的构造通常采用均方误差的形式建立：

通过梯度下降法对欧式距离的代价函数进行求解，得到公式：

式中：μ为学习率因子。

1.2   引导滤波模板设计

公式(4)为传统的神经网络法所采用的四邻域均值滤波模板。虽然该模板可以取得很好的实时性，但是由于参考的有用信息过少，往往会带来不利的影响。由于引导滤波器相对于双边滤波器拥有更好的边缘保持效果，且不会出现梯度反转现象，因此本文参考引导滤波器设计了5×5的滤波模板。引导滤波假设：滤波输出是引导图像的线性变换^[6]，公式如下：

式中：q是引导图像I在像元k处大小为w_k的窗口下的线性变换，对上式求导∇q＝a∇I，引导图像I出现边缘时，输出的结果也出现边缘，即引导滤波具有边缘保持能力。

a_k和b_k为线性系数，输出q和输入待校正图像p之间差值最小，利用最小二乘法可求出表达式如下：

式中：μ_k和σ_k²分别表示引导图像I在窗口w_k中的均值和方差；$ {\bar p_k} $是p在窗口w_k内的均值；|w|是窗口内像素的个数；ε为正则化系数，很大程度上影响了滤波效果。本文采用待校正图像作为引导图，上式可简化为：

当ε很小时，滤波器输出结果与原图近似；当ε很大时，在低方差区，相当于做加权均值滤波，在高方差区，对图像的滤波效果变弱，有助于边缘保持。在计算每个窗口的线性系数时，一个像素被多个窗口包含。因此，具体求某一点的输出，将所有包含该点的线性函数值平均即可，公式如下：

1.3   局部方差自适应学习率

鬼影的产生往往出现在图像的边缘区域，对于该区域，需要设计很小的学习率以提高算法的稳定性。本文基于空域局部方差设计自使用学习率因子^[16]，公式如下：

式中：var_{i, j}(n)为当前像素点的邻域方差；Th_var为设定的初始阈值，大于该值时空域学习率变为0，即该点的参数不更新。

1.4   收敛判断阈值调整

当算法刚开始学习非均匀性时，图像中的非均匀较强，空域局部方差初始阈值较大，随着算法学习到的非均匀性越来越多，校正后图像中的非均匀性逐渐变弱，此时用初始阈值可能会产生鬼影，本文基于此问题，设计自适应调整阈值的算法，公式如下：

式中：b_new为当前帧校正矩阵绝对值的均值；b_old为上一帧校正矩阵绝对值的均值。用两者的差值代表校正矩阵的变化率，当变化率小于一定值时，认为非均匀性变弱，方差阈值降低。经测试，8 bit的图像数据的变化率阈值为0.05。

1.5   场景运动自适应学习率

当场景运动过慢或静止时，由于算法的持续更新学习到了场景的信息，此时校正图像上会产生大量的鬼影。因此计算两帧视频序列间的运动信息，由此设定基于场景运动的自适应学习率，公式如下：

式中：a, b, c为常数系数；a, b分别控制了变化率很小和正常时的学习率。c表示变化率的阈值。其中：

式中：z代表了场景的变化信息；l调整滤波器大小；I_n为当前帧校正图像；I_n－1为上一帧校正图像；(i₀, j₀)为像元所在位置。因此设置初始学习率μ₀，整体的自适应学习率可表示为：

2.   实验与仿真

为了验证本文改进算法的效果，在公开的红外数据集上进行校正过程的定量分析。

为了客观评价校正性能，采用均方根误差（Root Mean Squared Error, RMSE）和粗糙度ρ作为评价指标^[17]，对测试图进行定性分析。

RMSE的定义表达式为：

式中：$ {\hat I_{(i, j)}} $和I_{(i, j)}分别表示不含非均匀性的理想红外图像和经过非均匀性校正后的图像，RMSE可以度量两种算法的校正图像和无噪声图像的差异。RMSE越小，表示于无非均匀性图像越相似，校正效果越好。

ρ的定义表达式为：

式中：h₁和h₂分别表示水平和竖直方向的差分滤波器；I表示待测试图像；‖I‖₁代表I的1范数；*表示离散卷积。校正后的ρ越小，则表示图像粗糙程度越弱。

2.1   室内场景非均匀性校正测试图

视频源采用红外焦平面探测器采集的室内场景。由于工作电流等的原因，采集图像时会产生时域噪声，在图中表示为单帧随机的暗点，故本校正过程图组中加入原图作为参照，左列是原图，中间列是传统神经网络算法，右列是本文改进算法；由上至下(a)~(d)分别表示第0帧、25帧、100帧、200帧。初始学习率统一设置为0.05。

由图 2可看出，传统神经网络和本文改进算法都可以较好地抑制非均匀性。当图像中存在时域噪声时，传统神经网络算法在学习非均匀性的同时，也会学习到部分的之前帧的时域噪声信息，在当前帧留下“亮点”，产生“鬼影”，而本文的改进算法不会出现此问题。

图  2  室内场景校正过程图

Figure  2.  Indoor scene correction process diagram

下载: 全尺寸图片 幻灯片

图 3为用两种方式进行校正后的图像粗糙度与帧数的关系，可以看出，在200帧时本文提出的改进算法校正图像的粗糙度略低于步长为0.05的传统神经网络算法，相比于传统神经网络算法下降了10.5%，相比于未校正图像下降了70.2%。结合图 2，神经网络算法并不能完全抑制非均匀性，且会产生鬼影，而本文改进算法在抑制“鬼影”的同时，兼顾非均匀性的抑制效果。

图  3  室内场景校正前后的图像粗糙度对比

Figure  3.  Roughness comparison of indoor scene before and after correction

下载: 全尺寸图片 幻灯片

由图 4可看出，改进算法存在空域自适应学习率、自适应滤波模板、时域调整学习率等条件约束，因而相对于传统算法收敛变慢，在50帧左右收敛，满足实时性指标。传统神经网络算法会学习到时域噪声信息，导致算法稳定性变差，第200帧均方根误差为0.0293，本文改进算法收敛后曲线几乎无波动，效果更稳定，第200帧均方根误差收敛于0.0187，相比传统算法下降了37.18%，与无非均匀性图像更近似，残余的非均匀性更小，且无“鬼影”现象出现。

图  4  室内场景校正后均方根误差对比

Figure  4.  RMSE comparison of indoor scenes after correction

下载: 全尺寸图片 幻灯片

2.2   室外场景非均匀性校正测试图

视频源采用公开的红外数据集。左边列是传统神经网络算法，右边列是本文改进算法；由上至下(a)到(d)分别表示第0帧、25帧、100帧、200帧。学习率统一设置为0.2。

由图 5可看出，传统算法在第100帧左上角的树和第200帧的交通灯处，产生了大量“鬼影”，而本文改进算法对非均匀性的校正和“鬼影”的抑制效果更好。

图  5  室外场景校正过程图（每组图中左侧为传统神经网络算法，右侧是本文改进算法）

Figure  5.  Outdoor scene correction process diagram(In each set of figures, the left is the traditional neural network algorithm, and the right is the improved algorithm in this paper)

下载: 全尺寸图片 幻灯片

如图 6所示，在200帧时，改进算法校正后图像粗糙度略低于步长为0.2的传统神经网络算法，相比于传统算法下降了4.7%，相比于未校正图像下降了67.2%。结合图 5，传统算法虽然可以获得更快的收敛速度，但却是以产生“鬼影”为代价，而本文改进算法可以在校正非均匀性的同时较好地抑制“鬼影”。

图  6  室外场景校正前后的图像粗糙度对比

Figure  6.  Roughness comparison of outdoor scene before and after correction

下载: 全尺寸图片 幻灯片

由图 7可看出，传统神经网络算法收敛较快，但本文改进算法在100帧左右也可收敛，满足实时性指标。传统神经网络算法波动较大，第200帧均方根误差收敛于0.0198；改进算法收敛后曲线波动小、较稳定，且均方根误差更小，收敛于0.0108，相比传统算法下降了45.45%，非均匀性校正效果更好。

图  7  室外场景校正后均方根误差对比

Figure  7.  RMSE comparison of outdoor scenes after correction

下载: 全尺寸图片 幻灯片

3.   总结

本文针对红外焦平面探测器，对传统的神经网络算法会产生“鬼影”现象进行了改进，并于真实的红外数据上进行仿真。通过定性和定量的分析可以看出本文改进后的算法相比传统神经网络算法虽然收敛速度略慢于传统算法，但仍能在100帧左右收敛，满足实时校正的要求。校正效果更加稳定，几乎无“鬼影”现象产生，均方根误差相比于传统算法可下降45.45%左右，残余的非均匀性更小，有着较好的性能，进一步提高了红外焦平面探测器的在线校正能力，为工程实践提供了重要的参考价值。