Infrared Small Target Tracking Based on Super-resolution and Online Detection DSST
-
摘要: 红外小目标的相关研究在军事领域的制导、预警和边防间谍无人机检测中极其重要。针对红外小目标的跟踪研究，本文提出了一种基于超分辨率增强与在线检测DSST（Discriminative Scale Space Tracker）的小目标跟踪算法。首先，基于融入红外图像特征的超分辨率重建算法对原始图像进行更新，增强了弱小目标，然后，增强的图像被用作基于在线检测DSST算法的输入，得到响应映射，估计目标位置。实验结果表明，与几种最新算法相比，该算法在准确性方面表现出色。Abstract: Research on infrared small targets is crucial in the areas of military guidance and early warning and detection of border spy UAVs. In this paper, a small target tracking algorithm based on super-resolution enhancement and online detection DSST is proposed for small target tracking research. First, the original image is updated based on the integrated infrared image features of the super-resolution reconstruction algorithm to enhance the dim target. In addition, the enhanced image is used as the input for the online detection DSST algorithm to perform response mapping and estimate the target position. The experimental results show that the accuracy of the proposed algorithm is high compared with those of several new algorithms.
-
Keywords:
- small target tracking /
- super resolution /
- DSST /
- on-line inspection
-
0. 引言
红外复杂场景下的小目标跟踪研究的意义极其重要。首先，在军事领域的导弹防空预警、导弹精准制导和海上漂浮地雷侦查中发挥了非常重要的作用[1]。其次，现如今由于轻量化的小型无人机的普遍使用，导致存在边防间谍无人机的威胁与在敏感设施中未经授权的无人机侦查偷拍的威胁，所以远距离跟踪非法无人机至关重要。
传统的红外小目标跟踪方法主要可以分为3类：①基于模板匹配。此类算法通过框架之间的设计模板来测量相似度，以找到最相似的目标。文献[2]提出了联合概率数据关联法，通过使用联合关联概率估计目标的状态而获得的显著跟踪改进。文献[3]提出了基于贝叶斯滤波的跟踪算法，不受高斯或者线性相关的背景噪声的限制，可以用于多种状态的转换与模型测量。②基于均值漂移。此类算法利用核加权灰度直方图来表示目标并通过均值平移法找到其位置。文献[4]开发了一种在混乱环境中跟踪多个目标的算法，能够启动跟踪，解决虚假或丢失的报告以及处理相关报告集。文献[5]同时收集包含目标特征和背景噪声的帧，以一种动态编程算法最佳地检测穿过传感器视场的昏暗移动目标。③基于粒子滤波器。此类算法通过基于一组粒子计算后验概率密度来估计目标状态。文献[6]提出了一种权重选择方法，结合灰度特征和梯度特征建立了基于红外图像特征的观测模型。文献[7]提出的粒子滤波跟踪算法使用了均值漂移方法使粒子向目标区域移动，但是在稍微复杂一点的场景中就不稳定。
本文提出了一种基于超分辨率增强与在线检测DSST的小目标跟踪算法。首先，基于融入红外图像特征的超分辨率重建算法对原始图像进行更新，增强了弱小目标，随后，增强的图像被用作基于在线检测DSST算法的输入，得到响应映射，估计目标位置。
1. 所提跟踪方案
本文所提出的红外小目标跟踪方案流程如图 1所示。
1.1 基于SIFT特征的图像超分辨率处理
常用的红外图像超分辨率处理可分为单帧与多帧。单帧处理的过程不需要多帧图像，使用的场景比较多[8]。线性插值法常用于单帧处理中，可在短时间内完成超分辨率处理，但是也会遗失图像高频信号[9]。不同于单一处理图像若干特征的稀疏光流，稠密光流可以对图像的像素点进行逐一匹配，图像的稠密计算可以使得图像中的像素点的偏移量得以计算而累积为稠密光流场[10-11]。
局部特征描述子（Scale Invariant Feature Transform，SIFT）是一种稳定的局部特征[12]，其对于尺度的缩放、图像的旋转以及图像亮度的转变等可以维持特征不变。可以通过计算稠密度，对全局的像素点进行SIFT特征的提取，计算其稠密度。计算全局像素点的SIFT特征而得到目标轨迹流场W＝(x, y)。
设连续的前后两帧的像素坐标为P，则连续的前后两帧的特征可以表示为s1(p)与s2(p)，则位于坐标P点的流可以表示为w(p)＝(x(p), y(p))。其中x(p)表示为水平流场，y(p)表示为垂直流场。
在特征匹配过程中，邻域像素P计算相似度匹配，需按局部特征向量s1(p)与s2(p)进行，即需满足：
$$ M_{w}=\min \sum\limits_{P}\left(\left\|S_{1}(P)-S_{2}(P+w)\right\|\right)$$ (1) 而在实际情况中，流速x2(p)+y2(p)为相邻帧像素速率，值不应太大，即需要满足：
$$ N_{w}=\sum\limits_{P} \gamma(|x(P)|+|y(P)|) $$ (2) 此外，像素点的邻近区域ε内的像素具有类似的流向量，即满足：
$$ R_{w}=\min (\alpha|x(p)-x(q)|, d)$$ (3) $$ S_{w}=\min (\alpha|y(p)-y(q)|, d) $$ (4) $$ P_{w}=\sum\limits_{(p, q) \in N}\left(R_{w}+S_{w}\right) $$ (5) 式中：α、d、γ为参数。综上所述，特征流场的计算可以总结为：
$$ F(w)=M(w)+N(w)+P(w) $$ (6) 根据以上公式计算，得到对应图像之间的水平和垂直流场分别定义为FH, FV。
对红外图像进行稠密计算，其水平流场与垂直流场可以表示相邻图像的局部特征的变化，对比邻接的图像帧，进行高质量、高精确度的匹配。融合图像帧后可增强红外图像的分辨率。图像融合步骤如下：
1）将连续3帧序列通过双立方插值放大m倍后输出：BIR1、BIR2、BIR3；
2）计算BIR1、BIR2、BIR3的特征流场，输出对应序列间的水平和垂直流场：FH21、FV21、FH23、FV23
3）将BIR1、BIR3的像素坐标映射在BIR2上对应位置，输出：BIRs1、BIRs3。
4）设(x, y)为BIR上的像素坐标；(X, Y)为FH21, FV2上的矩阵数值的坐标；
计算：(X, Y)＝(X+x, Y+y)
输出BIR1的像素映射到BIR2时对应的新坐标(X, Y)。
5）用双线性插值法，将BIR1像素灰度值映射到新坐标(X, Y)上，输出BIRs3，同理输出BIRs3。
6）融合BIR2与其相似图像BIRs1和BIRs3，输出BIRs2。
7）利用中值法融合BIRs2、BIRs3和BIRs2：对比BIRs2、BIRs3和BIRs2的每个像素灰度数值，取中值输出为融合结果图像。
8）循环操作：计算流场、映射与融合，直至图像收敛：
$$ \sum {\sum {{{\left( {{\text{BIR}}{s_2}\left( {x,y} \right) - {\text{BI}}{{\text{R}}_2}\left( {x,y} \right)} \right)}^2} \leqslant \delta } } $$ 式中：BIRs2(x, y)表示BIR2的新的像素灰度数值；BIR2(x, y)表示上一次迭代生成的BIR2的像素灰度数值；δ（δ＞0）表示最大误差值。
图 2(a1)与图 2(b1)为红外原始数据图像，图 2(a2)与图 2(b2)为本文的超分辨率方案处理后的效果图，可以很直观地看出效果比较好。
1.2 DSST与PN学习
DSST是在MOSSE（Minimum Output Sum of Squared Error filter）[13]的基础上衍生而来的，基于学习获得位置的相关滤波，然后用此滤波器估计在下一帧图像中目标的坐标。DSST可以分为两个滤波器，第一个是位置滤波器，第二个是尺度滤波器。DSST利用判别相关滤波来估计坐标。
由于相似性和相关性之间的正相关关系，相关滤波是用于测量两个信号的相似性的模式。将相关滤波应用于跟踪问题是基于这样的思想，即当将手工特征过滤到高维空间中时，两个连续帧之间的两个相似对象可以高度相关。在第一帧中给出感兴趣区域作为输入，并对其进行训练以获得相应的相关滤波。余弦窗函数和快速傅里叶变换（Fast Fourier transform，FFT）通过输入信号执行，然后乘以相关滤波以定位最大响应点。最大响应点的获取过程表示如下：
$$ g_{\mathrm{i}}=f_{\mathrm{i}} \otimes h $$ (7) 式中：gi是响应输出值；fi是输入图像；⊗表示卷积操作；h是过滤器模板。
公式(7)是一个费时的卷积过程。因此，采用FFT将卷积操作更改为点乘法运算，可以将其描述为：
$$ F(g)＝F(f⊗g)＝F(g)⋅F(h)^{*} $$ (8) 式中：F是傅里叶变换，“⋅”表示点乘法。公式可简单表述为：
$$ G＝F⋅H^{*} $$ (9) 然后转移视觉跟踪任务以寻找最佳过滤器H*：
$$ H^{*}＝G/F $$ (10) 对于原始DSST，从给定的感兴趣区域（Region of interest，ROI）中提取要跟踪的特征，并对其进行训练以获得第一个输入帧的相关滤波。然后，将FFT变换的输出乘以相关滤波，以找到最大响应点。DSST的最大瓶颈在于，应不断正确更新滤波器模板，以获取每帧的最大输出响应。在没有遮挡的情况下，最大化地将位置指向正确的目标，但是当发生遮挡时，跟踪结果通常不理想，因为响应图被困在局部极值中。
文献[14]提出了PN（P-expert & N-expert）学习，通过一对“专家”来估计错误：①P专家估计错过的检测，②N专家估计错误警报。PN学习分为4个模块：P-N experts、训练样本、学习前分类器与监督学习。PN学习在红外图像的每一帧中都会对检测器进行评估。估计的误差增加了检测器的训练集，并且对检测器进行重新训练以避免将来出现这些误差。PN专家也自己犯错，但如果专家错误的可能性在一定范围内，则错误会相互补偿，从而达到学习稳定。PN学习利用有监督训练进行初始化，对每一帧红外图像都进行以下操作：①对当前帧评估检测器；②使用PN专家估计检测器错误；③通过专家输出的带标签示例更新检测器。在学习结束时获得的检测器称为最终检测器。
图 3(a)所示为红外视频序列的3个帧，其被扫描网格覆盖。网格中的每个边界框都定义了一个图像块，其标签在图 3(b)和图 3(c)中用实心圆点表示。每个基于扫描窗口的检测器都将补丁视为独立补丁。因此，有2N单个框架中可能的标签组合，其中N是网格中边界框的数量。图 3(b)所示为这样的标记。标签表明对象出现在单个帧中的多个位置，并且运动中没有时间上的连续性。这样的标签不太可能是正确的。另一方面，如果检测器输出图 3(c)所示的结果，则标记是合理的，因为对象出现在每一帧的一个位置，并且检测到的位置会及时建立轨迹。换句话说，补丁的标签是相关的，这种属性称为结构。本文采用思想为利用数据中的结构来识别检测器错误。
PN学习中的P专家使用红外图像序列中的时间信息结构，并且假定目标沿着轨迹进行运动，且会记录目标在上一帧中的坐标，使用图像帧之间的跟踪器预测当前图像帧中小目标的位置。如果检测结果否定了当前坐标，即产生错误的否定错误，则P专家会生成肯定的示例。
PN学习中的N专家使用红外图像序列中的空间信息结构，并且估计目标大概率能出现的单个坐标位置。N专家通过计算将当前帧中检测器产生的响应与跟踪器产生的响应进行对比分析，得出最佳的响应。然后与最大置信度色标不重叠的色标被标记为负色。最可能的像素补丁区域会重新初始化为跟踪器的位置。
尽管快速DSST可以成功解决视觉跟踪问题，但在红外小目标图像中在空间上跟踪隐蔽目标的性能仍然不令人满意，当发生遮挡时，快速DSST将无法连续跟踪。这是用于估计二维图像空间中的三维位置的病态问题。物体外观的遮挡和变形通常在动态背景下发生，在动态背景下，运动目标和相机之间存在相对运动，DSST的跟踪效果在没有遮挡的情况下令人满意，而在发生遮挡时完全失去了跟踪目标。
鲁棒的跟踪方案需要在跟踪过程中发生丢失目标的现象时进行重新检测，不同于一些公开成型的跟踪器，在每一帧上进行重新检测，本文使用一个阈值Tr激活检测器，如果max(ys)＜Tr则激活。为了提高计算效率，本文采用PN学习作为检测器。
采用短期反遮挡策略来确定目标是否通过高斯响应图被遮挡。最大值对应的位置y最大限度响应图的目标是目标的新位置。当被遮挡的目标出现时，响应图会剧烈振荡。当前帧的响应输出与响应图的最大值之间的差异可以用作标准。
$$ \left\|y-\frac{1}{2} y_{\max }\right\|>T_{\mathrm{r}} $$ (11) 式中：Tr是一个阈值，阈值Tr的标准通过反复试验的经验来定义。如果值$\left\|y-\frac{1}{2} y_{\max }\right\| $超过一定数量，本文可以得出结论发生了咬合。然后，将停止更新CF模型，以避免模型漂移和不必要的FFT转换计算以及其他耗时的操作。
1.3 在线检测DSST
本文提出的红外小目标跟踪算法改进的地方为：在DSST跟踪算法的框架加上在线检测机制，SVM（Support Vector Machine）分类器计算出置信度（响应值）最高的图，SVM可看为阈值组件。然后导入在线PN学习进行在线训练与学习，进行重检测。图 4所示即为融合在线学习的DSST的框架。
相关跟踪：平移跟踪（HOG（Histogram of Oriented Gradient）特征）→尺度跟踪（21个尺度HOG特征），对于尺度跟踪的响应，如果最大响应值小于重检测阈值，跟踪失败，调用detector全图重检测。
重检测阈值THre_dector从前3帧的目标响应值中计算，如式(12)所示：
$$ \mathrm{Th}_{\mathrm{re}_{-} \text {dector }}=\left|\frac{\left(\mathrm{IR}_{t-1}+\mathrm{IR}_{t-2}+\mathrm{IR}_{t-3}\right) \times \frac{1}{3}-\mathrm{IR}_{t} \mid}{\lambda \mathrm{IR}_{t}}\right| $$ (12) 式中：IRt表示第t帧所有候选样本中的最大响应值，λIRt表示相邻的前3帧最大的目标响应值的标准差。
在线检测：将历次检测到的结果resize到15×15，特征：gray特征成功跟踪到的样本为正样本，跟踪失败为负样本。全局检测，当最大响应值大于重跟踪阈值，检测成功，重新跟踪。
2. 实验分析
2.1 数据集与评估指标
本文所有实验均通过Python3.5在配备Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz CPU，NVIDIA GeForce GT 730和16 GB内存的计算机上执行。
本文实验采用数据集为收集于网络的视频进行标注而获得，如表 1所示。在Seq.1中，云的边缘非常强，以至于昏暗目标的SNR（Signal-Noise Ratio）低于1.5。此外，目标会在背景边缘移动数十幅图像，序列长度为429帧。在Seq.2中，目标运动相对来说是不稳定的，是由固定相机拍摄的。它的大小从5×5像素到6×6像素变化。在Seq.4中，手动添加了一个小的目标，其大小设置为2×2像素。此外，目标经历杂乱的背景，并以较大的瞬时速度（即每帧8个像素）以曲线形式移动。序列包含300帧。在Seq.5中，空间背景下的暗淡目标出现在开始时的右上角，并遵循向下的对角线路径。此外，图像序列中还会出现一些假物体。该序列总长349帧。在Seq.6中，昏暗目标的性质与在Seq.5中相同。唯一的区别是Seq.4包含移动的云，其移动速度比Seq.3中的移动速度快。
表 1 实验数据集Table 1. Experimental data setSequence name Seq.1 Seq.2 Seq.3 Seq.4 Seq.5 Seq.6 Image size/pixel 256×256 256×256 256×256 256×256 256×256 256×256 Sequence length/frame 429 341 463 30 349 302 Target size/pixel 5×5 6×6 5×6 2×2 6×6 2×2 Noise scale Large Larger Small Large Larger Large Object speed/(pixel/frame) 6 115 9 12 15 12 Target type Airplane Military drone Civilian drone Pixel point Civilian drone Pixel point 为了评估本文所提出的跟踪算法的性能，使用单次通过评估（One-Pass Evaluation，OPE）作为评估协议。OPE有两个部分，分别称为精确率图和成功率图。成功率图（success plot）是标注的跟踪框和跟踪的跟踪框之间的重叠程度，如式(13)，其中Rt和R0分别为标注的目标框和跟踪的目标框的矩阵框。
$$ \text { success plot }=\left|\frac{\boldsymbol{R}_{\mathrm{t}} \cap \boldsymbol{R}_{0}}{\boldsymbol{R}_{\mathrm{t}} \cup \boldsymbol{R}_{0}}\right| $$ (13) 2.2 对比实验
本文对比实验是在公开评测框架Visual Tracker Benchmark下完成的，本文算法与几种比较常见的算法进行比较：CT（Compressive Tracking）、IVT（Incremental Visual Tracking）、DFT（Distribution Fields for Tracking）、ASLA（Adaptive Structural Local sparse Appearance model tracking）、L1APG（L1 tracker using Accelerated Proximal Gradient approach）、ORIA（Online Robust Image Alignment）、DSST（Discriminative Scale Space Tracking）、CSK（Circulant Structure Kernel）、LOT（Locally Orderless Tracking）。本文算法在对比实验中标注为SRDSST（Super-Resolution DSST）。
图 5分别显示了不同算法在红外小目标数据集上检测的实时结果，其中正红色框（箭头所指示）为本文算法的跟踪效果。图 6显示了本文整理的红外小目标运动数据集中所有图像序列的精确率图和成功率图。
可以直观地从图 5中看出本文所提出的基于超分辨率与在线检测DSST的红外小目标跟踪方案对于红外图像下小目标的有效跟踪，一些常见的算法都表现出目标跟踪丢失的现象。图 5(a)系列与图 5(c)系列直观看出CSK算法在Seq.1与Seq.6数据集中，一开始就表现出尺度估计错误且目标丢失的情况。
从图 5(a)与图 6(a)、图 5(e)与图 6(c)中可以看出，当背景出现复杂的情况，云层边缘比较强的时候，其他算法都出现了检测性能下降的情况，而红色框（SRDSST）仍然可以准确地跟踪到小目标，且成功率表现良好。从图 5(c)与图 6(c)可以看出DSST在简单背景或无遮挡的情况下表现比较出色，而在图 5(a)与图 5(e)中出现略微遮挡情况时，其跟踪性能就表现得差强人意，而SRDSST则弥补了这一不足。
图 6所示为红外图像序列下跟踪小目标的精度图和成功图，可以直观地看出本文所提出的基于超分辨率与在线检测DSST的红外小目标跟踪方案在这几个红外序列中都表现良好，采用超分辨率图像增强技术对红外图像的增强，使得改进版DSST能够更加有效快速地跟踪到红外小目标。
3. 结语
本文主要研究解决复杂红外背景下的小目标跟踪，通过超分辨率算法获得了增强的图像序列，作为改进的DSST算法的输入，并加入遮挡丢失重检测机制，并且通过上一步所获得的响应值来计算出目标位置。经过实验与分析，该算法在实现高精度和高速度方面均表现出很不错性能。即本文所提出的方案可以有效地跟踪红外小目标，有较好的跟踪精度，而且对目标外观变化，杂波干扰和噪声干扰具有鲁棒性。今后的研究，将基于本文方案再提升跟踪速度。
-
表 1 实验数据集
Table 1 Experimental data set
Sequence name Seq.1 Seq.2 Seq.3 Seq.4 Seq.5 Seq.6 Image size/pixel 256×256 256×256 256×256 256×256 256×256 256×256 Sequence length/frame 429 341 463 30 349 302 Target size/pixel 5×5 6×6 5×6 2×2 6×6 2×2 Noise scale Large Larger Small Large Larger Large Object speed/(pixel/frame) 6 115 9 12 15 12 Target type Airplane Military drone Civilian drone Pixel point Civilian drone Pixel point 
下载: 导出CSV
-
[1] 武文成, 艾斯卡尔·艾木都拉. 基于在线集成学习的红外点目标跟踪研究[J]. 山西大学学报: 自然科学版, 2019, 42(4): 755-761. https://www.cnki.com.cn/Article/CJFDTOTAL-SXDR201904006.htm WU Wencheng, ASKAR Hamdulla. Infrared small target tracking algorithm based on online ensemble learning[J]. Journal of Shanxi University: Natural Science Edition, 2019, 42(4): 755-761. https://www.cnki.com.cn/Article/CJFDTOTAL-SXDR201904006.htm
[2] Fortmann T, Bar-Shalom Y, Scheffe M. Sonar tracking of multiple targets using joint probabilistic data association[J]. IEEE Journal of Oceanic Engineering, 1983, 8(3): 173-184. DOI: 10.1109/JOE.1983.1145560
[3] Gordon N J, Salmond D J, Smith A F. Novel approach to nonlinear/non-Gaussian Bayesian state estimation[C]//IEEE Proceedings F, 1993, 140(2): 107-113.
[4] Reid D. An algorithm for tracking multiple targets[J]. IEEE Transactions on Automatic Control, 1979, 24(6): 843-854. DOI: 10.1109/TAC.1979.1102177
[5] Barniv Y, Kella O. Dynamic programming solution for detecting dim moving targets part II: analysis[J]. IEEE Transactions on Aerospace and Electronic Systems, 1987(6): 776-788.
[6] WEI L I, HUI L I. Infrared target tracking based on multiple features fusion and weight selected particle filter[J]. Laser and Infrared, 2014, 44(1): 35-40.
[7] YE Y S, LIU S F, SUN Q, et al. Application of improved particle filter algorithm in deep space infrared small target tracking[J]. Acta Electronica Sinica, 2015, 43(8): 1506-1512.
[8] Peleg T, Elad M. A statistical prediction model based on sparse representations for single image super-resolution[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2569-2582. DOI: 10.1109/TIP.2014.2305844
[9] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]// IEEE 12th International Conference on Computer Vision, 2009: 349-356.
[10] Alvarez L, Weickert J, Sánchez J. Reliable estimation of dense optical flow fields with large displacements[J]. International Journal of Computer Vision, 2000, 39(1): 41-56. DOI: 10.1023/A:1008170101536
[11] Walker J, Gupta A, Hebert M. Dense optical flow prediction from a static image[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 2443-2451.
[12] KE Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004, 2: 506-513.
[13] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010: 2544-2550.
[14] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422. DOI: 10.1109/TPAMI.2011.239
-
期刊类型引用(3)
1. 关晓丹，郑东平，肖成. 基于全卷积网络的复杂背景红外弱小目标检测研究. 激光杂志. 2024(04): 254-258 . 
百度学术
2. 余云霞，李毅鹏，陈姝敏. 基于锚框的远距离多尺度红外目标跟踪技术. 激光与红外. 2024(10): 1594-1599 . 百度学术
3. 孟祥瑞，李成良，文继权. 基于局部梯度的红外线列扫描图像小目标检测. 激光杂志. 2023(10): 52-56 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 266
- HTML全文浏览量: 195
- PDF下载量: 80
- 被引次数: 4
