0.   引言

红外小目标检测是空中目标检测与跟踪系统的关键技术，广泛应用于红外搜索跟踪系统^[1]、红外预警^[2]和红外监控等系统中。早期预测小目标的位置是至关重要的。然而，红外图像受到周围环境变化的影响很大，同时，红外图像中的目标成像距离较长，通常以点状的形式出现。它不能很好地表达目标的纹理、形状等各种信息。准确定位目标位置比较困难。因此，红外小目标检测受到了广大研究者的青睐。

传统的红外小目标检测算法主要通过以下几步实现检测：区域选择、特征提取和分类。这类算法通常有支持向量机^[3]、视觉显著性检测^[4]、图像分割^[5]等方法。研究发现，红外小目标检测方法主要分为两大类：单帧检测^[6]和多帧检测^[7]。单帧检测主要是利用图像的空间信息来检测目标。如LCM（lowest common multiple）、数学形态学、中值滤波和小波变换滤波等。多帧检测主要是利用图像的空间信息和序列图像之间的差异来检测目标。如粒子滤波、匹配滤波和投影变换等。

传统的红外小目标检测方法对目标区域选择策略没有针对性，时间复杂度高，人工特征提取不能满足场景变化的多样化要求，鲁棒性也不是很好。由于检测精度低、复杂度高的缺点，与其他算法相比，我们发现卷积神经网络^[8]（Convolutional Neural Networks，CNNs）具有效率高、实时性好等优点得到了广泛的应用，该方法简单有效。因此，CNNs在特征提取方面有很大的优势。基于CNNs的这些优点，人们开始利用CNNs来研究红外小目标的检测。

当提到CNNs时，首先想到的就是AlexNet算法，它在2012年的ImageNet数据集分类任务^[8]中取得了很大的成功。在接下来的几年里，CNNs迅速兴起。利用CNNs进行目标检测成为主流，随后出现了一些经典的网络结构，如VGG^[9]、ResNet^[10]、Google^[11]等。

从目前CNNs的发展来看，目标检测主要分为两大类：One-stage目标检测算法和Two-stage目标检测算法。其中经典的Two-stage目标检测算法主要有：R-CNN^[12]、Fast-RCNN^[13]和Faster-RCNN^[14]。这些算法首先使用传统的选择性搜索方法提取候选框，然后将候选框固定为统一大小输入CNNs进行特征提取，然后使用分类器进行分类和定位。该方法虽然提高了检测能力，但由于在训练网络时区域选择和特征提取分离，导致训练复杂，也存在一定的局限性。

针对两阶段目标检测算法的不足，提出了One-stage目标检测算法，如YOLO（You only look once）^[15]、SSD（single shot multibox detector）^[16]等。One-stage目标检测算法主要利用了卷积神经网络的特点，直接输入图像，通过卷积和池化提取特征，再通过回归方法对特征进行分类和定位，大大提高了检测速度。此外，这些算法对小目标的检测能力不足。SSD算法结合了Faster-RCNN和YOLO，利用不同尺度特征图同时预测目标的类别和位置，更适合于不同大小目标的检测。由于SSD算法的优点，研究人员更倾向于将SSD算法与红外小目标相结合来实现红外小目标检测。

李慕锴^[17]等人利用CNNs学习红外图像的特征，抑制背景噪声，实现目标检测。于周吉^[18]等人提出了一种基于深度CNNs的单红外图像小目标检测方法，采用卷积和池化提取特征。Wang^[19]等人提出将目标视为噪声，采用上采样和下采样的方法来实现小目标的检测。Redmon和Farhad^[20]使用YOLOv2进行红外小目标检测，Jun^[21]等提出了一种基于深度学习的非均匀灰度温度融合红外小目标检测方法。

通过以上分析，提出了一种多尺度特征融合的红外小目标检测方法。本文的研究重点总结如下：

1）提出了一种基于CNNs和多尺度特征融合的端到端红外小目标检测模型。该模型由3个部分组成：SP模块、FFM模块和特征提取。在特征提取部分，我们采用了SSD算法的主干网络，FFM模块部分主要由pathway layer和sub-pixel convolution layer组成。SP模块主要通过梯度更新来学习不同通道之间的相关性。

2）我们提出了一种有效的FFM模块，通过融合浅层和深层网络的特征图提取纹理信息和语义信息，并在每个融合的特征图后添加SP模块。通过学习各个特征图通道的权重，可以自动对特征图通道进行权重分配，更准确地提取出目标的详细信息。

3）由于检测到的目标较小，经过多次下采样后，小目标可能会被噪声淹没。为了区分目标与噪音，并确保目标没有被淹没，我们使用sub-pixel convolutional layer和pathway layer来调整不同特征图之间的映射关系，而不是采用上采样和下采样的方法。

1.   方法论

本文设计了MFSSD算法，它是一种多尺度特征融合的红外小目标检测方法。首先将红外图像输入到VGG16网络中，生成6个不同尺度的特征图，通过对这6个特征图进行特征融合，提出了FFM模块和SP模块，利用生成新的6个特征图进行目标的识别与定位。如图 1所示。该模型结构具有精度高、速度快的特点。首先介绍subpixel convolution layer和pathway layer，我们使用sub-pixel convolution layer和pathway layer代替上采样和下采样。然后详细介绍了FFM模块和SP模块。最后，将其与SSD算法相结合形成了一种多尺度红外小目标检测方法。

图  1  MFSSD算法网络结构图框架

Figure  1.  MFSSD network structure diagram

下载: 全尺寸图片 幻灯片

1.1   特征图调整方法

当主干网络生成不同大小的特征图之后，可能需要使用上采样或下采样来调整特征图的大小进行融合。一般情况下，通常采用上采样放大特征图，常用的插值方法有最近邻法、均值插值法、双线性插值法、中位数插值法等。通常采用下采样法进行图像缩放，主要以池化法为主，其中包括最大池化法和平均池化法。插值方法不能很好地表达图像的细节信息，采样效果也不理想。在下采样或上采样过程中，该方法不能通过梯度更新自动学习不同特征图的映射关系。

受文献[22-23]的启发，采用pathway layer和sub-pixel convolution layer来代替上采样和下采样。与之前的插值和池化方法相比，该方法主要通过重新排列像素来完成相应的过程。sub-pixel convolution layer是将低分辨率特征图作为输入，通过卷积核的多通道像素重组，得到高分辨率的特征图。它可以将低分辨率的特征图N*(C*r*r)*W*H转换成高分辨率的特征图N*C*(H*r)*(W*r)。在pathway layer中，两个相邻的像素被放置在不同的通道中以实现下采样操作。可以将高分辨率的特征图N*C*(r*W)*(r*H)转化为低分辨率的特征图N*(C*r*r)*H*W，其中，N、C、W、H、r分别表示图像的个数、通道、宽度、高度以及上采样或下采样的倍数。该方法如图 2所示。

图  2  特征图调整过程

Figure  2.  Feature map adjustment process

下载: 全尺寸图片 幻灯片

1.2   FFM模块

传统的SSD算法通过卷积和池化生成不同大小的特征图，然后利用这些特征图直接对目标进行分类和定位。该方法通过检测多个不同大小的特征图像来提高检测的准确性，但检测的每个特征图像是相互独立的。由于每个特征图都包含独特的特征信息，因此没有很好地利用浅层语义信息和深层纹理信息。因此，设计了特征融合模块，提高了模型表达语义和纹理信息的能力，实现了不同特征图之间的融合。

SSD算法采用多个特征图进行目标检测，每个特征图包含唯一的特征信息。高分辨率特征图清晰显示了大型目标的特征，适合于目标定位。低分辨率特征图包含更多的纹理信息，适合于目标分类。如图 3所示，详细介绍了特征融合模块的结构，S1、S2、S3为骨干网直接输出的低分辨率到高分辨率的原始特征图，P2为特征融合后的特征图。为了提高不同尺寸特征图对红外小目标的检测能力，首先，S1使用sub-pixel convolution layer通过像素重排从而获得S1_up，然后S3使用pathway layer通过像素重排从而获得S3_down，其中S1_up，S3_down和S2的大小是相同的，然后拼接S1_up、S3_down和S2的通道得到特征图C2；然后，利用1*1卷积核，将特征图C2中的通道数量缩减为与特征图S2相同的一组通道，得到用于目标分类和定位的P2特征图。该过程可以有效地在特征图中融合更多的语义和纹理信息。在整个过程中，sub-pixel convolutional layer和pathway layer可以通过梯度更新自动学习映射关系。然后使用卷积层对用于检测的特征图的通道进行调整，保持与融合前的特征图相同的通道数量。因此，该特征融合模块在检测红外小目标方面具有更强的优势。

图  3  FFM模块的网络结构图

Figure  3.  FFM module network structure diagram

下载: 全尺寸图片 幻灯片

1.3   SP模块

经过特征融合后，模型结构可以将图像的语义信息和纹理信息融合到相应的特征图中。为了更好地增加模型对通道信息的关注。首先，通过卷积运算得到各个特征图通道的权值信息，自动提高有用信息的表达能力，抑制无用信息的表达能力。在特征融合后加入SP模块，该模型结构可以通过特征图各通道的权值自动获取更适合红外小目标检测的特征信息。因此，整个SP模块的详细情况如图 4所示。计算过程如下：

图  4  SP模块网络结构图

Figure  4.  SP module network structure diagram

下载: 全尺寸图片 幻灯片

式中：Y₀为特征融合模块后的特征图；A₁是1*1*C/16的卷积核；X是全局平均池化层；δ为激活函数；A₂是1*1*C的卷积核，N为上采样过程。

我们将SP模块添加到每一个需要进行特征融合分类定位的特征图中。通过特征融合后的特征图定位目标时，不考虑各通道的特征信息。在SP模块中，该模块的输入尺寸为W*H*C。输入特征映射首先进行平均池化，并压缩为1*1*C。然后，模型可以通过两个连接层（首先通过1*1*(C/16)的卷积核降维，然后反过来通过1*1*C的卷积核增加维数）。为每个特征通道生成一个权值，以提高特征图的每个通道之间的相关性。然后，为了保持与输入特征映射相同的大小，然后通过上采样操作获得特征图Y₁。然后将Y₁添加到Y₀以改进原有特征图中的有用特征信息。最后，利用最终的输出结果对目标进行分类和定位。

2.   数据集和实验设置

2.1   图像数据集

本实验采用了3组红外图像序列，其中图像大小为256×256，每个序列的图像拍摄频率为100Hz。数据集图像信息汇总如表 1所示。包括单一背景、多目标和复杂背景的红外图像。总共选取了1497幅图像。随机选取1297幅图像作为训练集，另外选取200幅图像作为测试集。

表  1  红外小目标数据集描述

Table  1.  Details of the infrared small target dataset

Name	Total number	Image resolution	Detail
Data1	399	256×256	The background is a sky back-ground with varying degrees of thermal noise and a single target
Data2	100	256×256	Background is the intersection of sky and ground background, a single target
Data3	998	256×256	The background is a sky back-ground with two targets and cross flying

下载: 导出CSV 

| 显示表格

2.2   硬件配置

实验中使用了Intel Xeon E3-1220 V6 @3.00 GHz四核处理器，32G RAM和Nvidia GTX2080 Ti。所有实验都是在PyTorch1.5.1、Python 3.7和Window 7平台上使用CUDA 10.2进行的。MFSSD算法是在Windows 7环境下使用PyTorch框架编写的。

2.3   训练参数

通过设置以下参数来训练MFSSD算法，我们的输入图像大小统一固定为256×256，使用上述红外小目标数据集进行训练和测试。将batch设为32，初始学习率设为0.0005，每次迭代50次学习率减少10，迭代次数为200次。然后，对原有的SSD算法进行训练和测试，以渐进的方式进行训练和测试，最终得到MFSSD算法的结果。所有算法的训练参数相同。

2.4   评价指标

我们主要通过精度、召回率、Map和Fps等参数对MFSSD算法模型进行评价。目标检测算法中，当模型预测阳性样本为阳性样本时，我们通常称之为TP，FP表示模型预测负样本为正样本时，TN表示当模型预测负样本为负样本，FN表示模型预测的负样本为负样本。因此，我们可以将precision和recall定义为：

式中：P被定义为所有检测结果实际预测阳性样本的百分比。

式中：R被定义为所有正样本中实际预测到的正样本的百分比。

3.   结果分析

在本研究中，我们使用红外小目标数据集来评估算法。首先这5个算法属于递进关系，我们在模型一SSD算法上面进行改进，通过不断改进优化，最终发现模型五最好。这5个模型的描述在表 2中有介绍。体现了所提出的MFSSD算法的优点。

表  2  实验中的比较算法

Table  2.  The comparison algorithms in the experiment

Model	Model description
1	SSD
2	SSD+FFM(FFM module adopts up-sampling and down-sampling methods for fusion)
3	SSD +FFM(FFM module adopts subpixel convolutional layer and path layer methods for fusion)
4	SSD + FFM(FFM module adopts up-sampling and down-sampling methods for fusion) + SP module
5(ours)	SSD+FFM(FFM module adopts subpixel convolutional layer and path layer methods for fusion)+ SP module

下载: 导出CSV 

| 显示表格

3.1   训练结果分析

在训练中，我们采用了上面介绍的数据集，并且所有模型的训练参数保持一致，5种模型的总损失变化如图 5所示。我们发现随着迭代次数的增加，总损失值不断减小，显示了红外小目标模型的识别精度是在不断提高的。

图  5  模型-1、2、3、4、5网络的损耗函数曲线

Figure  5.  Loss functions curves of Model-1, 2, 3, 4, 5 networks

下载: 全尺寸图片 幻灯片

3.2   测试结果分析

通过比较不同的模型结构，发现MFSSD算法在红外小目标检测方面具有很大的优势。如图 6所示，我们从所有测试结果中选取了15幅具有代表性的图像。

图  6  模型-1、2、3、4、5的测试结果

Figure  6.  Test results for Model-1, 2, 3, 4, 5

下载: 全尺寸图片 幻灯片

目前端到端目标检测算法主要有YOLO、SSD等算法。该方法大大提高了目标检测的时间和精度。本文提出的MFSSD算法主要利用SSD算法的多尺度检测思想进行检测。因此，我们使用行序渐进法与模型1进行比较。表 3为不同模型结构试验的参数比较结果。结果表明，模型5的平均检测精度可以达到87.5%。与模式1相比，模式5具有明显的优势。

表  3  不同网络算法的性能比较

Table  3.  Comparison of algorithm performance of different networks

Model	Input	Train	Test	Map	Fps
1	256	1297	200	82.5	29
2	256	1297	200	85.5	23
3	256	1297	200	86.2	25
4	256	1297	200	86.1	15
5	256	1297	200	87.8	17

下载: 导出CSV 

| 显示表格

比较采用不同方式来调整特征图大小对模型检测精度的影响，我们首先使用插值法和最大池化法构建特征融合模块。我们发现，与模型1相比，检测精度提高了3%。然后，在特征融合模块中调整特征地图的大小时，使用sub-pixel convolution layer和pathway layer。我们发现，与模型1相比，检测精度提高了3.6%。对比模型2和模型3，我们发现sub-pixel convolution layer和pathway layer的检测精度比插值方法和最大平均池化方法提高了0.7%。

通过对模型3和模型5的比较，我们可以清楚地看到SP模块的有效性。SP模块通过增加少量的计算量，自动提高有用信息的表达能力，抑制无用信息的表达能力。将SP模块添加到现有的模型结构中会使平均检测精度增加1.6%。这一发现表明，SP模块对于学习不同通道之间的特征信息是有用的。

最后，图 7是模型1和模型5的准确率和召回率的折线图。如图 7所示，当召回率低于0.2时，两种算法的差异并不显著。然而，当查全率在0.2~1之间时，模型5在查准率和查全率上都有明显提高。

图  7  红外小目标测试中的Recall与precision折线图

Figure  7.  Recall versus precision graph in infrared small target test

下载: 全尺寸图片 幻灯片

4.   结论

本文提出了一种基于多尺度特征融合的红外小目标端到端检测模型（MFSSD）。该算法的主要网络来源于分类网络。由于检测的目标都是红外小目标，且目标检测与目标分类不同。我们首先将浅层和深层纹理信息整合到需要用于检测的特征图中，提高小目标检测的准确性。其次，使用sub-pixel convolution layer和pathway layer而不是用于上采样和下采样的网络来调整特征图的大小。最后，为了更有效地学习不同通道的特征信息，在融合后的特征图中加入SP模块，它可以为具有不同特征信息的特征图的每个通道分配相应大小的权值。实验结果表明，MFSSD算法在红外小目标检测中的准确率高达87.8%。此外，MFSSD算法对不同背景的目标具有很强的适应性，MFSSD算法在准确率和召回率方面都远远优于SSD算法。