0.   引言

目标检测是计算机视觉领域中一项极具挑战性且热门的工作，深度学习和人工智能的出现，为目标检测提供了更加强大的计算和更加丰富研究方法。当前，基于深度学习的目标检测算法主要还是基于锚框训练为主，主流的目标检测算法有：Faster R-CNN^[1]、YOLO^[2]、Mask R-CNN^[3]、RetinaNet^[4]等。

虽然基于锚框的目标检测模型在红外目标检测领域取得了较好的检测性能，在伪装防护^[5]、目标检测^[6]以及高光谱图像分类^[7]等领域取得了广泛应用。但是仍存在一些不足，如[1-4]的检测模型严重依赖于边界框的大小、尺寸比例及数量。因此，基于锚框的检测模型在训练中往往需要精心调整锚框的超参数从而获得较好的检测性能。同时，在高空视角下地面目标以任意角度的形式呈现，与常规目标相比成旋转的方式出现在图像中。此外，在检测中，仍使用常规矩形框表征被检测图像的大小和位置，不能很好地拟合物体，增加了目标检测的难度，导致误检和漏检等问题。为此，CornerNet^[8]提出了一种无锚框的目标检测模型。它通过检测一个边界框的对角，以分组的形式生成最终的检测框，实现对目标的感知。但是基于一对关键点进行检测，无法感知整个目标。Unitbox^[9]则基于DenseBox的密集预测原理进行目标检测，由于难以处理重叠的边界框和低召回率的问题，该检测器被认为只适用于检测特定形状的物体。

FCOS^[10]则借鉴了实例分割^[11-12]的思想，通过判断像素点是否在标注框中，从而判定该点所属类别。FCOS的工作原理为：在主干网络提取得到多尺度特征图的基础上，继续进行两次下采样，对特征图进行更高维的特征提取。同时，通过目标中心点和边界框的距离回归，抑制低质量预测边界框，实现了保证模型精度的同时，减少了与锚框相关的计算，将有限的计算资源聚焦到目标特征提取上。

随着目标检测在各领域研究的不断深入，研究方向从寻找到目标转变为在图像中寻找到目标的精确位置，因此针对多角度目标的检测成为了一项重要任务。吴洛冰^[13]等人通过多尺度空洞卷积扩展模型的感受野等方法，提出了基于多尺度特征提取进行遥感旋转目标检测。张聪^[14]等通过使用通道与空间注意力模块、制定双向融合等策略进行了遥感图像下的旋转目标检测。孙先涛^[15]等通过Faster-RCNN进行了可见光领域中的旋转目标的检测，并结合机械臂实现了工具的抓取位姿估计。在针对地面红外目标检测的研究中，发现基于空中获取的红外图像，因红外相机及其搭载平台在空中运动及滞留方式等原因，获得图像中的目标通常以随机的角度呈现，影响了地面红外目标检测的精度和准确率。

为了解决在地面红外旋转目标的检测过程中关于锚框计算开销大、旋转目标检测效果差的问题，本文构建了基于空洞卷积为特征提取方式的主干网络，提升模型对地面旋转目标的感知范围与特征提取能力；同时，通过EA注意力机制对基于空洞卷积进行提取后的特征增加维度的关注，从而更好利用被提取特征的高维信息，实现了对目标更高维度信息的关注。最终构建了基于无锚框的地面旋转目标检测模型（ReNet，ground rotating target detection method based on anchor-free frame），并通过与其他模型的对比实验，对构建的ReNet目标检测模型进行了验证与分析。

1.   基于Anchor-Free的目标检测模型

1.1   FCOS目标检测模型

FCOS目标检测模型具有主干网络、特征融合网络和目标检测3部分组成。为了得到更加精细的特征信息，FCOS选择在以特征融合层的P5尺度特征为基础，再进行两次下采样，进而得到P6、P7两个尺度的特征，增加了尺度的多样性。在目标检测网络中，为了使回归更加精准，增加了一个与分类分支并行的中心度检测分支，在不增加计算量的前提下提升模型的检测精度。其次，FCOS直接将输入图像中的像素点位置作为训练样本。即就是将一个像素点的位置(x, y)看成是一个样本，如果这个点落入了标注框之中，则将这个标注框的类别标签赋予这个点。若这个点在标注框之外，则为背景，那么将其类别标签视为0。除了用于分类的标签外，还设置了一个四维的向量T^∗＝(l^∗, t^∗, r^∗, b^∗)作为该位置的回归目标。这里l^∗，t^∗，r^∗，b^∗分别是中心点距边界框四边的位置。如果一个点落入了多个标注框中，则选择最小的框作为回归目标。

在进行检测的过程中，首先计算l^∗，t^∗，r^∗和b^∗所属的特征水平，再计算每个目标中心点距离回归框的远近，若一个目标满足max(l^∗, t^∗, r^∗, b^∗)＞m_i，或者max(l^∗, t^∗, r^∗, b^∗)＜m_i－1，那么其他特征尺度上将不再进行这个目标的边界框的回归。这里m_i代表需要回归的最大特征尺度。如果这个位置既落在一个较大特征尺度，也落在另一个较小的特征尺度上，则按照较小的特征区域进行边界框回归。

此外，在进行训练时，FCOS将焦点损失函数用于目标的分类，将CIOU损失函数用于边界框的回归，从而进行模型梯度的回传和参数更新。总的损失函数定义方式为：

式中：L_cls是焦点损失函数；L_reg是CIOU损失函数；N_pos是正样本的数量；$ {\eta _{\{ c_{x, y}^* > 0\} }} $是具有指示功能的函数，当c_i^*＞0时，其值为1，否则值为0。

1.2   基于空洞卷积的主干网络

FCOS目标检测模型通过像素级的精确检测确定目标位置，但其主干网络是以固定尺寸的矩形卷积核对图像进行遍历完成特征的提取，再使用步长变换实现图像分辨率的变化。在特征提取的过程中，模型以固定尺度的感受域提取目标相关特征，影响了模型的泛化能力。同时，高维的卷积层在进行特征提取时，需要在不同的位置对应不同的尺寸，以便得到具有精细定位的感知信息。

为了优化这一问题，将卷积核进行特定比率的扩张，使固定的矩形卷积出现一定的空洞率，形成空洞卷积^[16]。再以具有空洞率的卷积核对目标特征进行提取，实现了在减少特征重复提取的同时扩大感受域的目的，提升了主干网络的特征提取能力。图 1是空洞卷积的特征提取过程。

图  1  基于空洞卷积的特征提取

Figure  1.  Feature extraction based on atrous convolution

下载: 全尺寸图片 幻灯片

1.3   EA注意力机制

基于Anchor-Free的检测模型在对目标进行特征提取时，因没有锚框的辅助，会受到图像背景与目标相似信息的干扰。为了改善检测模型的抗干扰性能，在模型的检测端添加注意力机制成为了主要研究方向。压缩和激励注意力机制（squeeze-and-excitation attention module，SE）^[17]，主要在通道维度上实现对目标的注意力聚焦，已经得到了较多的应用^[18-19]，但SE注意力机制缺少对空间信息的关注。自注意力机制（self-attention module，SA注意力机制）则是通过计算同一个样本所位置间的相关性，来捕获特征间的相关性。但是神经网络中的目标信息是以三维张量的形式进行流动的，这种注意力的关注方式对于基于锚框的视觉任务是有较好效果的，但容易忽略样本间的潜在联系。针对基于图像分割的无锚框目标检测来说，更需要关注分布在不同样本中的同类物体间相似的表征。

为了优化基于无锚框目标检测模型对特征的关注能力，充分利用特征的维度信息，本文通过external attention（EA）注意力机制^[20]对主干网络提取的特征进行了多尺度的聚焦，从而避免仅从通道聚焦，对目标特征关注不够的现象。EA注意力机制定义方式为：

式(2)中：F是输入特征，形式为F∈N×d。M是一个可以共享的矩阵，形式为M∈S×d，其中S的值是可以设定的，通过设定S的值可以增强EA注意力机制的灵活性，M通过随机初始化进行定义，在训练的过程之中通过前向传播迭代更新，与SA注意力机制相比，EA注意力机制使用一个外部矩阵M来建模第i个像素和第j行之间的相似性，且因M的共享特性，它是可学习、大小可变的，并随着训练的进行增加不同样本间的联系，优化了SA较多关注自身特征的不足。图 2是EA注意力机制的特征关注过程。

图  2  EA注意力机制

Figure  2.  External attention mechanism

下载: 全尺寸图片 幻灯片

1.4   ReNet目标检测模型

通过空洞卷积和EA注意力机制改进后的ReNet目标检测模型如图 4所示。在改进后的目标检测模型中，使用空洞卷积更新主干网络中的常规卷积，对输入的图片进行下采样和特征提取操作，实现降低特征图大小、提取不同层次特征的目的。在特征融合网络输出后的Head层结合EA注意力机制对提取的特征进行聚焦与关注，最后将经过注意力聚焦的特征信息作为预测网络的输入，完成对目标的检测。图 3是ReNet目标检测模型架构。

图  3  ReNet目标检测模型

Figure  3.  ReNet target detection model

下载: 全尺寸图片 幻灯片

2.   实验结果与分析

2.1   评价指标与训练参数

无人机高海拔红外热成像目标检测数据集（HIT-UAV: A high-altitude infrared thermal dataset for Unmanned Aerial Vehicle-based object detection，HIT-UAV）^[21]是一个基于无人机（UAV）采集的高空红外热数据集。该数据集包含2898幅红外热图像，这些图像是从无人飞行器在学校、停车场、道路和操场等各种场景中拍摄的数百个视频，共43470个帧中提取的。HIT-UAV数据集是首个公开可用的基于无人机的高空人员和车辆红外热成像数据集，本文使用HIT-UAV数据集对各目标检测模型进行训练和测试，并进行对比实验和消融实验。为了能够评价本文所设计模型的性能，本文从模型权重（model weights）、每秒检测帧数（frames per second, FPS）和平均精度均值（mean average precision, mAP）等指标出发，对提出的ReNet和几种主流目标检测模型进行了对比实验。

基于HIT-UAV数据集对ReNet模型进行训练时，权重衰减系数设置为0.0001，动量系数设置为0.9，初始学习率为0.01，并在第10000次迭代和第16000次迭代处，分别缩小10倍，Batch size设为48，共迭代18000次完成对模型的训练。实验平台使用系统为Centos7.0，CPU为Inter Xeon Scalable Platinum8222CL @3.50 GHz，GPU为三块专业高性能计算显卡Quadro GV100（32 GB）。在pytorch1.7.1框架下，采用CUDA11.0和cudnn 8.0.4.30进行加速训练。

2.2   基于HIT-UAV数据集的对比实验

表 1是基于HIT-UAV数据集的不同目标检测算法实验结果，可以看出ReNet目标检测模型针对红外目标检测的mAP达到了90.6%，比基于锚框的目标检测算法YOLOv5-L高出13.8%，比基于关键点的目标检测模型CenterNet^[22]高出16.7%，比FCOS高出5.4%，在检测精度方面达到了比较优异的效果。同时检测速度达到37 FPS，能够满足实时检测的需求。上述对比实验证明改进后的ReNet针对地面红外目标具有较好的检测效果。

表  1  基于HIT-UAV数据集的不同目标检测方法实验结果

Table  1.  Experimental results of different target detection methods based on the HIT-UAV dataset

Model	Model weights/MB	FPS/(frame·s−1)	mAP@0.5/(%)
YOLO v5-L	121.8	47	76.8
CenterNet[22]	129.1	42	73.9
FCOS	244.7	43	85.2
ReNet	246.3	37	90.6

下载: 导出CSV 

| 显示表格

2.3   基于HIT-UAV数据集的消融试验

为了更好地了解ReNet模型中各个改进模块对检测效果的影响，本节将研究各个模块对模型的具体贡献。表 2是基于HIT-UAV数据集以FCOS为基准模型逐步增加EA注意力机制、空洞卷积进行的消融实验。

表  2  基于HIT-UAV数据集的消融实验

Table  2.  Ablation experiment based on HIT-UAV dataset

FCOS	External attention	Atrous convolution	mAP@0.5/%
√			85.2
√	√		86.9
√		√	87.4
√	√	√	90.6

下载: 导出CSV 

| 显示表格

由表 2可以看到，结合EA注意力机制的基准模型mAP值比FCOS提升了1.7%；结合空洞卷积后，通过增大模型的感受野，mAP值较FCOS提升了2.2%。表明EA注意力机制和空洞卷积均有利于目标检测模型的性能提升。最后构造的ReNet目标检测模型mAP值达90.6%，比基准模型FCOS高出5.4%，表明注意力机制和网络结构的共同优化可以有效提升目标检测模型的检测精度。

2.4   地面旋转目标检测结果

图 4是ReNet和FCOS基于HIT-UAV测试集对目标检测的测试结果。在第1行图像中存在多目标的检测结果对比中，改进前任意角度的地面车辆目标仅检测出来一个目标，而ReNet能够检测到全部目标，同时，其检测框能够与目标贴合，实现精确定位。对于第2行检测结果对比中，对背景干扰较严重场景下的目标进行检测时，ReNet依旧表现出了较好的检测效果，但基准模型则出现了漏检的情况。通过检测结果的对比表明，改进后的ReNet目标检测模型能够有效提升红外目标的检测精度、提升目标检测模型的性能。

图  4  HIT-UAV测试集上对目标的检测结果对比

Figure  4.  Comparison of target detection results on the HIT-UAV test dataset

下载: 全尺寸图片 幻灯片

3.   结论

本文提出了一种用于地面旋转目标的检测模型ReNet，在HIT-UAV数据集上与其他目标检测模型进行了对比试验，mAP达到了90.6%，相比于YOLOv5-L、CenterNet和FCOS分别提高了13.8%、16.7%和5.4%，并满足实时检测的需求。通过对比实验和消融实验表明ReNet目标检测模型在具有较高实时检测精度的同时对地面旋转目标实现了较好的检测性能，对地面背景的红外目标进行智能感知、侦察打击等研究具有借鉴意义。