0.   引言

在目标检测领域中，红外弱小目标检测一直都是一个重要的研究热点。红外探测系统具有隐蔽性能好、灵敏度高、探测作用距离远、穿透大气能力强、工作环境适应性强等优点。红外弱小目标的检测作为红外探测系统的一项关键技术在军事预警、红外制导、航空航天、海事搜救以及民用安全等领域均具有重要的研究价值^[1-4]。目前针对红外弱小目标检测的方法大致分为3类：空间域的方法、变换域的方法、神经网络或深度学习的方法^[5]。

基于空间域的方法通过对图像进行滤波处理，实现背景噪声的抑制。常见的算法有最大均值滤波、最大中值滤波、形态学滤波^[6]、匹配滤波等。汪列兵等在2020年提出一种基于最大中值滤波与Hough变换的检测方法^[7]；韩金辉等在2021年提出一种基于局部对比度机制的匹配滤波方法^[8]。此类基于空间域的方法工程实现简单，但是在复杂背景下难以达到检测目标的需求。基于变换域的方法可以提高目标信噪比，有效保留目标图像中的边缘等信息。常见的算法有高通滤波、小波变换^[9]等。冯祥等在2020年提出一种基于小波包变换的检测方法^[10]；李德新等在2021年提出一种利用DFT(Discrete Fourier Transform)变换并联合高斯滤波计算红外图像差异直方图的方法^[11]。此类基于变换域的方法在平缓背景下目标检测效果较好，但在背景起伏比较大的复杂背景下检测目标效果差，难以达到检测实际需求。

然而，以上基于空间域和变换域的目标检测方法往往通过人工设计提取特征，需要结合大量的专业知识和经验，难以一次做到全面考虑。其次，不同的特征提取算法往往只注重某一方面的信息，同时缺乏高层语义信息，这对简单背景目标场景下的目标检测能发挥一定的作用，但当红外弱小目标处于复杂背景下时，以上检测方法效果并不理想。尽管可以通过不同的特征提取算法进行约束构建组合特征，一定程度上能够提升对目标特征的表达能力，但这会导致系统的计算量增大。

而基于神经网络或深度学习的方法拥有强大特征提取能力，且无需大量的人为特征提取的设计，能有效解决人工设计提取特征带来的局限性，提高目标检测性能，达到较高的检测准确率。当前主流用在复杂背景下红外弱小目标检测的神经网络方法分为两类。一类是双阶段目标检测算法：主要包括由Girshick等人在2014年提出的R-CNN（Region-CNN）算法^[12]；Girshick R在2015年提出的Fast R-CNN算法^[13]；以及2016年由Ren S提出的Faster R-CNN算法^[14]。双阶段目标检测算法是基于区域候选的目标检测方法，分为候选区域预测和候选区域鉴别两个部分，这大大增加了目标检测的准确率，但带来的问题是计算量过大，导致其实时性差。另一类是单阶段目标检测算法：主要包括由Redmon等在2016年提出的YOLO算法，能够将目标检测的分类和定位用一个神经网络实现^[15]。Liu W等在2016年提出的SSD算法^[16]，其增加的多尺度特征提取一定程度上解决了YOLO算法对小目标检测不敏感的问题。而经过不断的发展与改进，2020年YOLOv5算法被提出，该算法不仅继承以前系列算法的优势，同时极大简化了模型，在保证高准确率的同时提高检测速度，引领着目标检测领域潮流。针对红外弱小目标的检测需要较高检测准确率和检测速度的实际情况，本文在YOLOv5算法上改进，并最终从模型训练结果和目标检测结果的角度评估算法和模型的正确性。

1.   YOLOv5网络模型介绍

YOLOv5网络模型主要分为以下4个模块：输入端Input、主干网络Backbone、Neck网络和预测端Prediction^[17]。输入端Input包括Mosaic数据增强、图片尺寸缩放和自适应锚框计算^[17]。主干网络Backbone包括Focus处理、CBL处理、CSP结构和SPP空间金字塔池化等。具体如图 1所示。

图  1  YOLOv5网络模型

Figure  1.  YOLOv5 network model

下载: 全尺寸图片 幻灯片

1.1   输入端

1）Mosaic数据增强

Mosaic数据增强针对训练集的数据进行处理，随机选取4张训练集的图片进行随机缩放、随机排布以及随机裁剪，最后进行图像的拼接^[16]。以此丰富训练集数据，加强算法泛化能力，适用于本文红外弱小目标的检测。

2）图片尺寸缩放

YOLO算法都需要将输入图像尺寸变换成固定大小。而YOLOv5算法自适应地对图像两端添加最少的黑边，以此将输入图像的尺寸变换成固定的大小，再送入神经网络模型中训练。这种处理方法能有效解决填充过多导致图像信息冗余，影响推理速度的问题。

3）自适应锚框计算

在神经网络开始训练前，需要设定初始的锚框。YOLOv5算法自适应地设定初始锚框，在此基础上输出预测框，并与真实框进行比较，根据两者差值进行反向更新，进而调整网络参数，降低损失函数。

1.2   主干网络Backbone

1）Focus处理

Focus处理为切片操作，目的是为了使特征图在每一个特征信息没有变化的前提下增加图像的特征数。假设原始输入图像为608×608×3。通过切片操作，变成304×304×12的特征图。最后经过一次32个卷积核的卷积操作，变成304×304×32的特征图。

2）CBL层

Focus处理后的图像经过CBL层，即先经过卷积层得到输入的不同特征。然后经过BN层，对所有的批处理数据进行规范化，实现结果的归一化。最后使用激活函数leaky_relu^[18]处理结果到下一层的卷积中。

3）CSP结构

在YOLOv5中使用了两种CSP结构。主干网络Backbone使用CSP1_X结构，Neck网络使用CSP2_X结构^[19]。其中的X表示残差组件个数。以此使得算法轻量化，在减少计算量的同时又能够提高模型的学习能力^[19]。

4）SPP空间金字塔池化

空间金字塔池化操作由3部分组成：conv、maxpooling和concat。首先进行卷积操作提取特征输出，然后经过3个不同核大小的最大池化层进行下采样，之后将各自输出结果进行拼接融合并将其与初始特征相加，最后经过卷积操作将输出恢复到同初始输入一致^[17]。SPP层不仅大大增加了感受野，可以分离出上下文的重要特征，而且对推理速度又几乎无影响^[20]。

1.3   Neck网络结构

Neck网络采用FPN（Feature Pyramid Networks）结合PAN（Path Aggregation Network）的结构，作为网络的融合部分。采用自顶向下的FPN结构，以及自底向上的两个PAN结构的特征金字塔^[21]。其主要用来将提取出特征进行混合组合，并传递到预测层，加强网络特征融合的能力。Neck网络结构如图 2所示。

图  2  Neck网络结构

Figure  2.  Neck network structure

下载: 全尺寸图片 幻灯片

1.4   预测端Prediction

YOLOv5采用GIOU_Loss作为损失函数，同时通过非极大值抑制NMS来筛选目标框^[22]。

如图 3所示，实线框A表示目标真实框，虚线框B表示预测框，M表示两个框之间的交集，N表示两个框之间的并集，而交并比IOU为交集与并集之比。则IOU计算公式如下：

图  3  IOU示意图

Figure  3.  IOU schematic diagram

下载: 全尺寸图片 幻灯片

如图 4所示，设A目标真实框、B预测框的最小外接矩形为C；D为C与并集N的差集，则GIOU（Generalized Intersection Over Union）计算公式如下：

图  4  GIOU示意图

Figure  4.  GIOU schematic diagram

下载: 全尺寸图片 幻灯片

而作为损失函数即：

2.   改进YOLOv5目标检测算法

如图 5所示，针对红外弱小目标的检测需要较高检测准确率和检测速度的实际情况，本文以YOLOv5算法为基础，在此基础上进行改进，在构建的YOLOv5神经网络模型主干网络Backbone中添加注意力机制提高模型的特征提取能力和检测效率。改进预测端Prediction中的损失函数和预测框筛选方法，提高红外弱小目标检测准确率。

图  5  改进YOLOv5目标检测算法

Figure  5.  Improved YOLOv5 target detection algorithm

下载: 全尺寸图片 幻灯片

2.1   改进注意力机制SE模块

在YOLOv5目标检测网络模型中添加注意力机制是为了提高模型的特征提取能力和检测精度，根据红外弱小目标较小的特点，进一步的优化特征融合层以及多尺度检测层的特征尺度，使得训练出来的检测模型能够更好地适应小目标的检测，同时提高模型的检测速度。

本改进算法添加注意力机制SE模块，该模块操作分为3个阶段：首先对输入特征图(h, w, c)进行全局池化，池化的尺寸为(h, w)，输出(1×1×c)大小的特征图；随后经过两个全连接层，分别为c/12个神经元以及c个神经元以增加非线性因子；最后经过Sigmoid激活函数输出(1×1×c)大小的权重因子，利用该权重因子对原始特征图(h, w, c)各通道进行乘积，最终能够输出不同比重通道的特征图。具体如图 6所示。

图  6  注意力机制SE模块

Figure  6.  Attention mechanism SE module

下载: 全尺寸图片 幻灯片

2.2   改进的损失函数CIOU_Loss

如图 7所示，GIOU_Loss算法虽然解决了两个框没有交集的情况下无法反应两个框距离的远近的问题，但当预测框在目标真实框内时，无法判别预测框的位置^[23]。其中实线框A表示目标真实框，虚线框B表示预测框。

图  7  GIOU无法识别预测框位置图

Figure  7.  GIOU cannot identify the prediction box location map

下载: 全尺寸图片 幻灯片

因此本文改用CIOU_Loss（Complete Intersection Over Union_Loss）算法。该损失函数不仅考虑两个框距离远近的问题，而且考虑框的宽高比信息，可以有效解决GIOU_Loss算法存在的问题。具体计算方法如下。

如图 8所示，设最小外接矩形C的对角线为R，A目标真实框和B预测框中心点距离为r，则CIOU-Loss计算公式如下：

图  8  CIOU示意图

Figure  8.  CIOU schematic diagram

下载: 全尺寸图片 幻灯片

式中：v是表征目标预测框长宽比一致性的参数，计算公式如下：

式中：w^gt、h^gt表示目标真实框的宽和高；w^p、h^p表示预测框的宽和高^[24]。

2.3   改进的预测框筛选方式DIOU_NMS

在YOLOv5算法中采用普通的NMS的方式，该方式利用交并比IOU抑制冗余的预测框。重叠区域为唯一判断因素，导致遮挡情况下会存在错误抑制。而在本文中所采用的DIOU_NMS（Distance Intersection Over Union_Non Maximum Suppression）非极大值抑制，将DIOU作为抑制的准则，不仅考虑重叠区域的影响，而且考虑两个框的中心距离信息，可以提高重叠和被遮挡目标检测精度，使得预测结果更加合理和准确。

3.   实验与分析

3.1   数据集准备

训练集图像采用labelimg工具进行标注，共使用7组不同复杂背景下的数据进行实验，训练集、验证集、测试集划分比例为7:2:1。具体实验数据集划分如表 1所示。

表  1  红外图像数据划分

Table  1.  Infrared image data segmentation

Dataset	Total	Training set	Validation set	Test set
data1	400	280	80	40
data2	400	280	80	40
data3	500	350	100	50
data4	500	350	100	50
data5	600	420	120	60
data6	600	420	120	60
data7	600	420	120	60

下载: 导出CSV 

| 显示表格

训练集数据标注如图 9所示。

图  9  训练数据集标注

Figure  9.  Training data set annotation

下载: 全尺寸图片 幻灯片

为了能够验证算法的有效性，采用红外弱小目标数据集7组分辨率为256×256像素的红外弱小目标图像。data1是近距离，单个目标，空地交界背景下目标图像数据集。data2是近距离，两个目标，天空背景下，交叉飞行的目标图像数据集。data3是目标由远及近，单个目标，地面背景为林地的目标图像数据集。data4是目标由近及远，单个目标，地面背景为林地的目标图像数据集。data5是单个目标，目标机动，地面背景为森林的目标图像数据集。data6是目标由远及近，单个目标，目标机动，地面背景为森林的目标图像数据集。data7是单个目标，目标机动，地面背景为山丘的目标图像数据集。

3.2   训练环境及参数配置

本实验在深度学习框架Pytorch上搭载，在ubuntu16.04上运行，具体配置如表 2所示。

表  2  训练环境配置

Table  2.  Training environment configuration

Parameters	Configuration
Operating system	ubuntu16.04
Video memory	8G
RAM	8G
GPU	NVIDIA GeForce GTX 1050 Ti
GPU acceleration environment Training framework	CUDA10.1 Pytorch

下载: 导出CSV 

| 显示表格

本实验采用YOLOv5s模型进行训练，训练批次batch size设置为8，训练权重采用Yolov5s.pt，训练轮次为50，具体配置如表 3所示。

表  3  训练参数配置

Table  3.  Training parameters configuration

Parameters	Configuration
Model	YOLOv5s
Training rounds	50
Batch size	8
Weights	Yolov5s.pt

下载: 导出CSV 

| 显示表格

3.3   实验结果与分析

本实验评价指标采用准确率、召回率和平均精度均值来衡量，即分别为Precision、Recall、mAP（mean average precision）。其中Precision和Recall计算公式如(7)和(8)所示：

式中：TP表示目标为真实目标，检测结果为真实目标；FP表示目标不是真实目标，检测结果不是真实目标；FN表示目标为真实目标，检测结果为不是真实目标。则本文的Precision表示在检测出为红外弱小目标的样本中有多少是真正的红外弱小目标，反映了检测结果是否准确的问题。Recall表示在全部的红外弱小目标图像样本中，有多少红外弱小目标被正确检测出，反映了红外弱小目标是否齐全的问题。精度均值AP为以准确率Precision和召回率Recall所围成的曲线面积值。mAP为学习的所有类别精度均值的平均值。mAP@0.5表示将交并比IOU设为0.5时，计算每一类的所有图像数据集的AP，然后所有类别求平均的值。

训练出模型准确率、召回率和平均精度均值如图 10、图 11和图 12所示。从图 10和图 11可以看出，在训练大约20个epoch之后，目标检测准确率和召回率趋于稳定。而此时从图 12可以看出，由目标检测准确率和召回率决定的平均精度均值也趋于稳定，验证了算法模型的准确性。同时训练过程中的损失函数迭代过程如图 13所示。可以看到在大约25个epoch之后，损失函数CIOU_Loss降低到0.05以下，验证了算法模型收敛的快速性。

图  10  目标检测准确率

Figure  10.  Target detection accuracy

下载: 全尺寸图片 幻灯片

图  11  目标检测召回率

Figure  11.  Target detection recall

下载: 全尺寸图片 幻灯片

图  12  平均精度均值（mAP@0.5）

Figure  12.  Mean average precision (mAP@0.5)

下载: 全尺寸图片 幻灯片

图  13  损失函数CIOU_Loss

Figure  13.  The loss function CIOU_Loss

下载: 全尺寸图片 幻灯片

同时为了检验训练出目标检测模型的性能，实验对比了SSD（Single Shot MultiBox Detector，SSD）、Faster R-CNN、YOLOv3和YOLOv5等算法，采用mAP作为评价指标，同时记录目标检测模型的检测速度，对比结果如表 4所示。

表  4  算法模型结果对比

Table  4.  Comparison of 5 model results

Parameters	mAP	Time/s
SSD	78.88%	5.80
Faster R-CNN	90.33%	4.89
YOLOv3	97.55%	2.47
YOLOv5 Improved YOLOv5	98.76% 99.65%	1.25 0.82

下载: 导出CSV 

| 显示表格

由表 4可以看出，本文改进YOLOv5算法的mAP值达到了99.65%，相较于SSD、Faster R-CNN、YOLOv3、YOLOv5算法分别提高了20.77%、9.32%、2.1%、0.89%。SSD由于利用多层的特征图作为结果输出，导致网络层数加深，弱小目标特征弱化，不利于弱小目标的检测。Faster R-CNN由于进行多次下采样操作，导致无法对小目标进行有效的特征提取。YOLOv3和YOLOv5相较于前两种方法，mAP有了明显的提升，改进YOLOv5则在YOLOv3和YOLOv5的基础上mAP值仍有提高，且目标检测模型检测每帧图片时间更短，相对于YOLOv3和YOLOv5检测准确率有明显提升，检测时间明显缩短。

为测试本文改进YOLOv5算法检测弱小目标的性能，实验对比了本文改进YOLOv5算法和SSD、Faster R-CNN、YOLOv3、YOLOv5算法训练出模型在7组数据集测试中的结果，具体如图 14所示。

图  14  测试集检测结果

Figure  14.  Test set detection results

下载: 全尺寸图片 幻灯片

从图 14检测结果可以看到，SSD算法训练出来模型存在较大的漏警率，能够检测出空地交接背景和天空背景等背景较为单一场景下的红外弱小目标，但对森林和山丘等较为复杂背景下的红外弱小目标并不能检测出来。Faster R-CNN算法因为采用多次下采样的操作的原因，导致对小目标特征无法进行有效提取，训练出来模型存在虚警和漏警情况，且检测出虚警目标置信度较高。而YOLOv3和YOLOv5算法训练出来模型性能相较于SSD和Faster R-CNN算法有所改进，但同样存在虚警和漏警情况。而本文改进YOLOv5算法训练出来模型在7组复杂背景下的红外弱小目标均能被有效识别出来，且准确率高，虚警率低，训练出模型检测判定为红外弱小目标的置信度在0.8左右。性能远远高于对比算法训练出模型。验证了算法和训练出模型的正确性和有效性。

本文改进YOLOv5算法之所以能实现以上效果，首先在于给Backbone主干网络中添加了注意力机制SE模块，使得提取的红外弱小目标特征被赋予了不同的权重，获得不同比重通道的特征图，从而使得神经网络能够有针对性的进行训练。从图 13训练过程中损失函数迭代过程可以看出，大约训练25个epoch后，神经网络趋于收敛，这大大节省了网络训练时间。其次，添加注意力机制SE模块能够提高训练出模型的针对性，并且轻量化模型，这不仅能降低虚警情况的出现，同时从表 4可以看出，改进YOLOv5算法训练出模型检测每帧图片速度大约为0.82 s，相较于实验对比SSD、Faster R-CNN、YOLOv3、YOLOv5算法，检测速度分别提高了85.86%、83.23%、66.80%、34.40%，明显提高了训练出模型检测红外弱小目标的实时速度。最后，从图 14检测结果分析出，改进的损失函数，考虑了红外弱小目标检测时预测框在目标真实框内导致无法判别预测框位置的问题，相对于实验对比算法，降低了漏警情况的出现。而改进的预测框筛选方式则可以有效避免当出现两个目标重叠情况时漏警现象的出现。

4.   结论

综上所述，为了解决复杂背景下传统红外弱小目标检测过分依赖于对红外目标与环境背景的精确分离和信息提取的问题，本文提出了一种基于改进YOLOv5的复杂背景红外弱小目标检测算法。该算法训练出目标检测模型经过验证，在保证较高准确率的同时能达到实时检测的要求。训练出模型针对7种不同复杂背景，红外弱小目标均能有效检测出来，且不存在漏检和虚警的现象出现，平均精度均值达到99.6%以上，验证了算法和模型的正确性。下一步拟在不影响算法和模型性能的前提下继续提高检测速度。