Infrared Object Detection Algorithm Based on Feature Enhancement and Fusion
-
摘要:
针对红外图像中目标对比度、信噪比以及分辨率都较低等特点，将传统图像处理方法与深度学习技术结合，提出了一种基于特征增强与融合的红外目标检测网络。网络首先利用图像滤波、锐化以及均衡化等方法突出红外图像中的目标特征，丰富网络输入信息；其次，针对单个维度以及不同维度间的特征，设计多层次信息聚合的特征提取结构，充分提取并融合目标空间语义信息；同时，为提升特征提取结构中关键特征权重，引入混合注意力机制，以多种方式捕获目标全局上下文信息后增强对应空间及通道信息；最后，针对不同尺度目标，采用自适应加权方式来综合相邻维度特征，实现各尺度红外目标准确高效的检测。通过在KAIST、FLIR以及RGBT数据集上的实验结果表明，所提方法与现有基于神经网络的红外目标检测方法相比有效提升了红外目标检测性能，并且在复杂场景下，该方法也比其他同类算法具有更高的适应性。
Abstract:To address the challenges of low contrast, low signal-to-noise ratio, and low resolution in infrared images, this study proposes an infrared object detection network that combines traditional image processing methods with deep learning technology for feature enhancement and fusion. The main steps in this approach are as follows. 1) Preprocessing: The network employs image filtering, sharpening, and equalization methods to highlight object features in the infrared image and enrich the input information. 2) Feature Extraction: A multi-level information aggregation feature extraction structure has been designed to fully extract and integrate the spatial and semantic information of objects, addressing both single-dimension and multi-dimension features. 3) Attention mechanism: To improve the weighting of key features in the extraction structure, a hybrid attention mechanism is introduced. This captures global context information in multiple ways, enhancing both spatial and channel information. 4) Feature fusion: An adaptive weighting method is applied to fuse features from adjacent dimensions, ensuring accurate and efficient detection of infrared objects. Experimental results on the KAIST, FLIR, and RGBT datasets show that the proposed method significantly improves the performance of infrared object detection compared to existing neural network-based methods. Additionally, this method demonstrates higher adaptability in complex scenes compared to other similar algorithms.
-
Keywords:
- infrared image /
- object detection /
- feature enhancement /
- information fusion /
- multiscale detection
-
0. 引言
目标检测作为计算机视觉领域关键技术之一，旨在模拟人类视觉和认知，探索统一框架实现不同类型目标的识别和定位[1]，在无人驾驶、智能家居、智能电网、智慧医疗等诸多领域发挥着重要作用[2]。现阶段目标检测技术大多基于可见光图像，虽然检测效果较优，但容易受到天气、光照强度等环境因素影响[3]。而红外图像主要根据物体散发的热辐射强度成像，有效避免了可见光成像的局限，可以全天候进行目标检测任务[4]。但相较于可见光图像，红外图像存在纹理细节信息较少、对比度和信噪比较低、目标模糊等问题，使得目前的红外检测方法对目标深层次语义信息提取困难，检测效果也较差[5]。因此，研究一种结合红外图像特点的目标检测方法，不仅可以丰富相关理论，也能进一步推动红外目标检测技术实际落地应用。
红外目标检测技术的发展主要分为传统方法以及深度学习两个阶段[6]，传统检测主要基于手工构建目标特征结合分类算法实现红外目标检测，如Viola Jones[7]、HOG（Histograms of Oriented Gradients）[8]、DPM（Discriminatively Trained Part-Based Models）[9]等检测器。虽然效率较高，但检测效果较差且特征设计复杂。而深度学习方法通过训练的方式获取目标特征，可有效避免传统特征设计的局限。虽然计算量较大，但随着计算机性能的突破，基于深度学习的检测方法逐渐成为了当下红外目标检测研究热点[10]，如蔡杰等人[11]针对红外电力设备的检测，提出了一种基于双重注意力机制的目标检测网络，通过引入CBAM（Convolutional Block Attention Module）注意力结构来增强显著特征，并利用局部池化来丰富空间纹理特征的获取，该方法虽提升了网络性能，但仅使用池化操作无法充分获取图像标全局上下文信息，且注意力机制中的全连接结构也引入了较多计算量。李向荣等人[12]基于YOLO（You Only Look Once）目标检测架构提出了一种多尺度红外目标检测方法，利用不同维度特征加权融合方式来补充浅层高分辨率特征信息，进而提升检测效果，但该方法仅在检测部分引入了多尺度结构，未充分考虑特征提取过程中的多尺度信息，且融合方式也容易导致不同目标信息相关干扰。Banuls等人[13]针对红外图像细节特征缺失等问题，利用多源信息融合技术，提出了一种双支路特征融合的目标检测网络，将可见光与红外图像相融合实现特征互补，虽检测效果提升较大，但双支路结构也使网络检测时间翻倍，无法较好应用于实际场景。可见，现有红外目标检测方法虽从不同角度提升了检测效果，但都存在一定局限，检测性能仍有较大的提升空间。
针对上述检测方法存在的局限和不足，本文在总结现有算法结构的基础上，从信息增强和特征融合的角度，提出了一种基于轻量级卷积神经网络的红外目标检测方法。所提方法主要贡献如下：
1）利用直方图均衡化、滤波、锐化等传统图像处理方法来增强红外目标显著信息以及边缘细节信息，提升输入数据多样性；
2）设计了一种多层次特征聚合的提取结构，从局部和全局的角度提升网络对目标空间及语义信息的提取；
3）引入了一种混合注意力结构，利用多种方式从通道和空间位置角度获取图像上下文信息，增强有效特征权重；
4）设计了多尺度检测结构，以自适应融合相邻维度特征的方式来综合目标多尺度信息，降低特征间干扰，并提升网络检测效率。
1. 网络结构设计
1.1 整体框架
本文所设计的基于特征增强和融合的红外目标检测网络整体架构如图 1所示，主要分为红外图像信息增强、多层次特征提取、混合注意力机制、多尺度检测结构几个部分。红外图像增强主要利用直方图均衡化、滤波、锐化等传统图像处理算法来提升目标显著特征以及边缘细节特征，丰富输入图像信息；多层次特征提取结构由不同卷积模块以多层次连接方式充分提取目标全局以及局部信息；混合注意力机制从特征通道以及空间位置角度综合利用均值、极值、标准差等计算方式来提升建模能力，使网络聚焦目标相关特征；而多尺度结构则将每个尺度特征结合相邻尺度信息，以自适应加权的方式融合目标关联特征，提升各尺度目标检测效果。最后，利用单阶段检测器并结合非极大值抑制算法实现红外目标识别与定位。
1.2 图像增强
目前，大多数目标检测网络主要基于原始图像直接进行特征提取，该方式对于信息丰富的可见光图像效果较优，但对于信息相对单一的红外图像，仅依靠原图作为输入无法较好地突出目标，且噪声也较多，容易增加后续特征提取难度[14]。因此，为丰富红外图像信息，设计了如图 2所示的信息增强模块。
所提图像增强模块主要利用直方图均衡化、中值滤波以及基于Sobel算子的图像锐化3种方法对所有图像信息进行增强。直方图均衡化主要是增强图像对比度，提升目标显著性；中值滤波则是为了降低高频噪声干扰的同时尽可能保留目标细节信息；而Sobel图像锐化则为了增强图像局部信息，突出目标边缘特征。同时，图像增强过程中间接增加了输入图像数量，也使网络具备数据扩增的效果。将增强后的图像与原图进行通道拼接，作为特征提取结构的输入数据。
1.3 多层次特征提取
特征提取是目标检测任务中最重要的一环，所提特征的有效性直接决定了最终的检测效果。现阶段的特征提取结构主要以逐步降维方式由浅到深地提取特征，而每个维度的特征又由多个卷积操作以串联方式反复提取该层次目标信息，如YOLO[15]、RetinaNet[16]、TridentNet[17]等网络。该方式虽然可以较好地获取每个维度在一定感受野下的目标特征，但所提特征信息存在一定局限，即未能有效捕获该层次特征在不同感受野下的信息。基于此，本文设计了多层次特征提取结构（Multilevel Feature Extraction，MFE），分别从特征层面以及网络层面对目标信息进行深入挖掘，结构如图 3所示。
图 3(a)为基于特征层面的多层次提取结构，该模块主要针对同一维度的特征，通过串联不同空洞率的卷积单元来逐步扩大所提特征提取的感受野，再将不同感受野下的特征信息进行拼接，使其能充分提取该维度全局以及局部特征信息。为保障网络运行效率，采用深度可分离卷积作为基本提取单元，并利用H-Swish激活函数提升网络非线性表达能力。同时，为避免拼接时特征通道增加，利用点卷积来调整不同感受野下的特征通道，使感受野越大，特征通道越少。其中，CDH为点卷积（Conv1×1）、深度可分离卷积（DWConv3×3）和H-Swish激活函数的缩写。而网络层面的多层次特征提取则是针对不同维度特征，从网络整体的角度进一步丰富所提特征，基本结构如图 3(b)所示。该结构主要将最深层次特征通过上采样方式与最浅层次特征融合，再基于融合后的特征逐步降维卷积并依次与对应维度特征融合，如此反复提取融合目标特征，使网络充分捕获目标空间语义信息，提升不同维度特征之间的信息交互。
1.4 混合注意力机制
由于所提特征提取结构网络层数较深，网络的参数量也较大，而大量的特征信息容易造成信息过载等问题。因此，为使网络在海量信息中聚焦于当前任务相关的关键特征，降低对无效背景信息的关注度，本文设计了混合注意力结构，如图 4所示。
混合注意力结构以每个维度的输出特征作为输入，从特征通道和空间位置两个角度提升目标空间语义信息。为有效提取关键特征信息，注意力结构首先通过最大值、平均值以及标准差分别获取对应特征的全局上下文信息，并利用加权叠加方式综合全局信息（通道特征采用3×1卷积核；空间特征采用1×1卷积核），提升注意力机制建模能力；其次，为保障不同通道之间以及不同空间位置之间的信息交互，采用了卷积操作来融合不同位置的关键特征（通道特征采用1×K卷积核；空间特征采用K×K卷积核），相比传统注意力机制中的全连接方式，该方式有效降低了网络参数以及计算量；最后，将权值计算结果与对应的通道/空间位置特征相乘，根据各特征重要程度为对应特征赋予不同的权重，进而达到提升目标关键特征信息的效果。其中K的取值根据输入数据维度自动调整，计算方式如式(1)所示：
$$ K = \frac{1}{2}{\left( {{{\log }_2}d + 1} \right)_{{\text{odd}}}} $$ (1) 式中：d为输入数据维度；odd指计算结果取奇数。可见，当特征通道数或特征图尺寸较大时，对应的卷积核K值越大。
1.5 多尺度检测
多尺度检测主要解决目标尺度变化范围过大等问题。由于早期的目标检测方法通常只利用特征提取结构的最后一层输出进行物体的识别和定位。而在深层网络中，网络层数越深，特征下采样率也越大，这就造成了越深层特征中所包含的小目标信息越少，无法有效检测出小目标。因此，针对目标多尺度问题，本文设计了如图 5所示的自适应多尺度结构来融合不同维度特征信息，保障网络对不同大小目标的检测。
多尺度模块以各维度融合层特征作为输入，由于同一目标信息大多存在多个维度的特征中，而不同大小目标所关联的特征维度也不同，通常深层特征主要决定了大目标信息，浅层则决定小目标信息。可见，若只利用单个维度的特征进行目标预测，则会丢失部分目标特征；而若融合所有维度特征信息也会引入过多参数，会造成特征冗余。因此，所提多尺度结构针对每个维度特征先利用点卷积减少特征通道，降低冗余信息；再将相邻维度特征通过采样与当前维度特征进行融合。同时，为避免不同目标在特征融合时导致信息相互干扰，引入了自适应参数，通过训练的方式自主调节各特征融合权重，计算如式(2)~(3)所示：
$$y^i=\alpha^i x^{\text {low} \rightarrow i}+\beta^i x^i+\delta^i x^{\text {high} \rightarrow i}$$ (2) $$ {\alpha ^i} = \frac{{{{\text{e}}^{\lambda _\alpha ^i}}}}{{{{\text{e}}^{\lambda _\alpha ^i}}{\text{ + }}{{\text{e}}^{\lambda _\beta ^i}} + {{\text{e}}^{\lambda _\delta ^i}}}} $$ (3) $$ \lambda _\alpha ^i, \lambda _\beta ^i, \lambda _\delta ^i = {\text{Softmax}}({\text{Con}}{{\text{v}}_{1 \times 1}}(x_{}^{{\text{low}} \to i}, x_{}^i, x_{}^{{\text{high}} \to i})) $$ (4) $$ \begin{gathered} \alpha _{}^i, \beta _{}^i, \delta _{}^i \in [0, 1] \hfill \\ \alpha _{}^i + \beta _{}^i + \delta _{}^i = 1 \hfill \\ \end{gathered} $$ (5) 式中：xi表示维度为i的特征；xlow→i表示将i相邻低维特征降采样至i维度；同理，xhigh→i表示将i相邻高维特征采样至i维度；αi, βi, δi为自适应参数，通过代入λ参数指数函数来计算，使其满足公式(5)的条件约束；而λ参数通过对输入特征1×1点卷积再利用Softmax函数归一化来计算。根据公式可见，当自适应参数等于0时，忽略对应维度特征，反之等于1时则融合该维度特征。
2. 实验与结果分析
2.1 实验环境
为验证所提红外目标检测方法的可行性和鲁棒性，实验利用了KAIST、FLIR、RGBT三个公开红外图像数据集[18-19]进行训练测试。KAIST数据集主要是针对行人检测任务，包含3类目标（清晰行人、模糊行人、骑行的人）在不同时间段（白天和夜晚），多个交通场景下（街道、校园、乡下等）的图像。FLIR数据集主要是用于高级辅助驾驶开发和无人驾驶汽车系统，由搭载于汽车顶部的热成像仪对街道以及高速路上的场景采集构成，主要标注了行人、汽车、自行车等5类目标。而RGBT数据集主要用于目标跟踪任务，涵盖了十多类目标，且大多数目标存在遮挡、尺度变化大以及光照强度不一等情况。由于上述数据集中的图像主要来源于连续的视频帧，且部分目标过于模糊，故实际实验时，剔除了数据集中高重复度的图像（如连续视频中提取的同一场景）以及无法有效区分的目标（如KAIST中模糊行人目标），将图像归一化后进行训练测试，实验数据集如表 1所示。
表 1 数据集构建Table 1. Dataset constructionKAIST FLIR RGBT Number of images 3613 14452 5105 Image size 640×480 512×512 640×480 Number of categories 2 5 7 Training validation test Ratio 7:1:2 实验时硬件设备采用CPU型号为Intel Core i7 7700 K@4.2 GHz，GPU型号NVIDIA RTX 2080Ti的台式电脑进行训练测试，目标检测结构采用PyTorch神经网络框架进行构建，训练时超参数设置如表 2所示。
表 2 实验环境及超参数设置Table 2. Experimental environment and hyperparameter settingHyperparameter Values Batch size 4 Learning rate 0.01 Momentum 0.95 Weight attenuation 0.0005 Weight strategy Gaussian Learning strategy SequentialLR Optimization strategy Adam Position loss CIou Loss Category loss Cross Entropy Loss 对于网络性能，采用mAP（均值平均精度）和FPS（网络每秒检测图像数量）作为评价指标。同时，为更好地评估所提方法对不同尺度目标的识别效果，将目标根据标注框像素面积分为大、中、小3种尺度，并分别利用mAPl、mAPm、mAPs表示检测精度。其中，目标尺度划分参考文献[20]：[大目标>962>中目标>322>小目标]。
2.2 网络可行性实验
对于所提网络的可行性验证主要利用KAIST数据集，该数据集中的图像数量以及目标种类都相对较少，可以快速验证各模块性能。为有效验证所提图像增强、特征提取、注意力机制以及多尺度检测等模块，实验以YOLO神经网络[16]为基础结构，通过逐步引入所提各个子模块来验证对应结构的可行性。首先，针对图像增强结构，实验通过在YOLO网络基础上依次采用不同的图像增强方法来测试其对目标检测精度的影响，测试结果如表 3所示。其中，origin表示原图；HE表示直方图均衡化；MF表示中值滤波；AF表示均值滤波；Canny表示Canny边缘检测；Sobel表示基于Sobel算子锐化。
表 3 图像增强结构测试结果Table 3. Image enhancement structure test resultsOrigin HE MF AF Canny Sobel FPS mAP √ 58 82.3 √ √ 57 82.6 √ √ 57 82.5 √ √ 57 82.3 √ √ 56 82.2 √ √ 57 82.5 √ √ √ √ 56 83.0 根据表 3中网络精度变化可以看出，不同处理方法对红外目标信息的增强效果不尽相同。其中，直方图均衡化、中值滤波以及Sobel锐化较好地增强了目标全局和细节特征，并过滤了部分噪声干扰，使得检测效果提升相对明显。而均值滤波虽降低了噪声，但也破坏了目标局部特征；Canny算法相对于边缘模糊的红外图像，所提取细节信息也包含较多噪声，故无法有效增强红外目标信息。为进一步验证所提图像增强结构，将其与传统数据扩增方法进行了对比，结果如表 4所示。其中，传统方法即利用裁剪、镜像、旋转等操作将训练图像数量扩增一倍。
表 4 不同图像增强方法对比Table 4. Comparison of different image enhancement methodsNetwork FPS Precision /(%) mAP mAPs mAPm mAPl Traditional 58 82.5 60.4 79.4 90.2 Ours 56 83.0 61.3 80.1 91.4 Traditional+Ours 56 83.1 61.1 80.6 91.7 通过与传统方法对比可见，所提方法针对图像目标特点进行信息增强可以更好地保留目标特征，并且在测试阶段也使用了该增强结构，故在检测精度上的提升相对较大。传统方法虽然也提升了网络性能，但也使网络过度依赖训练数据集，且过多的非正常目标也引入了较多噪声，容易误导网络对目标特征的学习，特别是对小目标的影响较大。而将本文方法与传统方法结合进一步扩大了传统方法的局限，使小目标检测效果较差。对于所提多层次征提取结构的验证，实验分别从特征、网络以及两者结合的角度进行了测试，结果如表 5所示。
表 5 特征提取结构测试结果Table 5. Feature extraction structure test resultsNetwork FPS Precision /(%) mAP mAPs mAPm mAPl YOLO 56 83.0 61.3 80.1 91.4 Multi-level features 61 83.1 61.5 80.2 91.3 Multi-layered network 52 83.6 61.8 80.9 91.8 Features+Network 57 83.9 62.1 81.3 92.1 根据不同特征提取结构的测试结果可以看出，原始YOLO特征结构主要采用标准卷积来提取信息，而所提特征多层次提取结构采用深度可分离卷积作为基本单元，有效提升了网络效率，且多层次连接方式也丰富了每个维度特征局部细节信息，使网络对小目标识别效果有较大提升。网络多层次结构主要是在YOLO网络基础上将深层特征与浅层特征融合后进一步提炼目标特征，从全局角度丰富每个维度空间语义信息，进而整体提升检测效果，但由于新增了特征提取支路，故网络效率有所降低。而将所提特征及网络多层次结构相结合可以使网络在保证计算效率的同时充分提取不同尺度目标特征，进而大幅提升检测效果。对于所提注意力结构的有效性验证，实验与当前主流的SE（Squeeze-and-Excitation）和CBAM（Convolutional Block Attention Module）注意力机制进行了对比，并展示了特征层2在不同注意力机制下的可视化效果，结果如表 6和图 6所示。
表 6 注意力机制对比Table 6. Comparison of attention mechanismNetwork FPS Precision /(%) mAP mAPs mAPm mAPl No attention 57 83.9 62.1 81.3 92.1 SE 56 84.2 62.2 81.5 92.5 CBAM 54 84.6 62.6 82.0 92.9 Ours 56 84.5 62.5 81.9 92.8 根据上述结果可以看出，由于SE结构仅针对通道特征进行加权，虽增强了语义信息，但目标在空间位置上的特征相对模糊；CBAM结构同时考虑了空间和通道特征，使目标信息显著得到较大提升，但该结构在全局信息获取上相对单一，并且全连接的信息交互方式也引入了较多的计算量；而所提注意力机制在CBAM基础上丰富了全局信息获取，并利用局部连接替代全连接来降低网络参数，虽缺失了部分信息交互，但有效平衡了注意力机制的整体性能。对于所提多尺度融合检测结构，实验分别与FPN特征金字塔以及ASFF（Adaptively Spatial Feature Fusion）自适应空间特征融合多尺度结构进行了对比，并展示了融合层2对应维度的多尺度特征可视化效果，结果如表 7和图 7所示。
表 7 多尺度结构对比Table 7. Multiscale structure comparisonNetwork FPS Precision /(%) mAP mAPs mAPm mAPl FPN 56 84.5 62.5 81.9 92.8 ASFF 53 84.9 62.9 82.5 93.2 Ours 55 84.8 62.8 82.4 93.2 根据不同多尺度结构的测试结果可以看出，FPN结构采用逐层上采样叠加的方式可以较好地将全局信息融入局部特征中，但对浅层特征的利用不够充分，且直接叠加的方式也产生了较多噪声，对小目标的检测影响较大。ASFF结构针对每个尺度的特征以自适应加权方式融合其他尺度特征，虽然综合了所有尺度特征信息，但也引入了较多冗余计算，对网络检测效率有较大影响。而所提结构充分考虑了目标尺度与特征尺度的关联性，将特征提炼后结合相邻尺度特征实现多尺度目标检测，使网络在保障精度的前提下有效提升了检测效率。对于整个网络的可行性验证，实验与其他红外目标检测方法进行了对比，结果如表 8和图 8所示。
表 8 同类型网络测试对比Table 8. Comparison of network tests of the same type通过与其他方法的对比结果可以看出，文献[12]主要基于YOLO-tiny结构进行改进，虽检测效率较高，但网络对目标特征提取相对有限，且未充分融合全局和局部信息，使网络存在较多误检目标。文献[15]通过改进的多尺度结构来提升红外小目标检测，但该方法目标尺度针对性较强，对大尺度目标以及存在遮挡的目标检测效果较差。所提网络在全局以及局部特征的提取融合上进行了深入研究，并充分结合目标多尺度信息，使网络检测效果得到了相对较大的提升。
2.3 网络鲁棒性实验
由于KAIST数据集相对简单，为进一步验证所提方法在复杂场景下的鲁棒性以及泛化能力，实验分别测试了该方法在FLIR和RGBT数据集下的检测效果，并与文献[12]、[15]进行了对比，结果如表 9、表 10和图 9所示。
表 9 FLIR数据集测试对比Table 9. FLIR dataset testing comparison表 10 RGBT数据集测试对比Table 10. RGBT dataset testing comparison![]()
图 9 在FLIR和RGBT数据集上各方法的检测效果对比（前两排：FLIR；后两排：RGBT）Figure 9. Comparison of detection performance of various methods on FLIR and RGBT datasets (The first two rows: FLIR; the last two rows: RGB)根据上述实验结果可以看出，在复杂场景下，各方法的检测精度都有所降低，但所提方法仍保持最优的检测效果，有效验证了本文方法的鲁棒性。同时，通过对比不同方法的精度变化可见，随着环境复杂度升高，文献[12]所提方法检测精度下降较快，文献[15]次之，而本文所提方法精度下降相对较少。由此可以看出，本文方法具有更高的泛化能力，且检测效率也达到了相对较高的水平。
3. 结语
本文针对现阶段红外目标检测方法存在的局限与不足，提出了一种基于深层卷积神经网络的目标检测算法。算法从输入信息、特征提取、特征融合以及多尺度检测等几个方面进行深入研究，利用传统图像增强技术丰富输入信息，并分别从特征层面以及网络层面提升网络对目标局部和全局信息的提取。同时，为突出各层次特征中的有效信息，设计了混合通道空间注意力机制，降低背景信息干扰。最后，针对不同大小目标，通过压缩提炼各维度特征后结合相邻维度特征信息实现各尺度目标的检测。通过在多个数据集上的测试结果有效验证了所提网络的可行性以及鲁棒性，并且目标检测性能也更优于其他同类方法。尽管本文方法有效提升了红外目标的检测效果，但由于红外图像自身的局限性，对于热辐射较弱的目标识别较差，后续将考虑结合多源信息来进一步探索目标检测技术。
-
![]()
图 9 在FLIR和RGBT数据集上各方法的检测效果对比（前两排：FLIR；后两排：RGBT）
Figure 9. Comparison of detection performance of various methods on FLIR and RGBT datasets (The first two rows: FLIR; the last two rows: RGB)
表 1 数据集构建
Table 1 Dataset construction
KAIST FLIR RGBT Number of images 3613 14452 5105 Image size 640×480 512×512 640×480 Number of categories 2 5 7 Training validation test Ratio 7:1:2 
下载: 导出CSV
表 2 实验环境及超参数设置
Table 2 Experimental environment and hyperparameter setting
Hyperparameter Values Batch size 4 Learning rate 0.01 Momentum 0.95 Weight attenuation 0.0005 Weight strategy Gaussian Learning strategy SequentialLR Optimization strategy Adam Position loss CIou Loss Category loss Cross Entropy Loss
下载: 导出CSV
表 3 图像增强结构测试结果
Table 3 Image enhancement structure test results
Origin HE MF AF Canny Sobel FPS mAP √ 58 82.3 √ √ 57 82.6 √ √ 57 82.5 √ √ 57 82.3 √ √ 56 82.2 √ √ 57 82.5 √ √ √ √ 56 83.0
下载: 导出CSV
表 4 不同图像增强方法对比
Table 4 Comparison of different image enhancement methods
Network FPS Precision /(%) mAP mAPs mAPm mAPl Traditional 58 82.5 60.4 79.4 90.2 Ours 56 83.0 61.3 80.1 91.4 Traditional+Ours 56 83.1 61.1 80.6 91.7
下载: 导出CSV
表 5 特征提取结构测试结果
Table 5 Feature extraction structure test results
Network FPS Precision /(%) mAP mAPs mAPm mAPl YOLO 56 83.0 61.3 80.1 91.4 Multi-level features 61 83.1 61.5 80.2 91.3 Multi-layered network 52 83.6 61.8 80.9 91.8 Features+Network 57 83.9 62.1 81.3 92.1
下载: 导出CSV
表 6 注意力机制对比
Table 6 Comparison of attention mechanism
Network FPS Precision /(%) mAP mAPs mAPm mAPl No attention 57 83.9 62.1 81.3 92.1 SE 56 84.2 62.2 81.5 92.5 CBAM 54 84.6 62.6 82.0 92.9 Ours 56 84.5 62.5 81.9 92.8
下载: 导出CSV
表 7 多尺度结构对比
Table 7 Multiscale structure comparison
Network FPS Precision /(%) mAP mAPs mAPm mAPl FPN 56 84.5 62.5 81.9 92.8 ASFF 53 84.9 62.9 82.5 93.2 Ours 55 84.8 62.8 82.4 93.2
下载: 导出CSV
-
[1] 邵延华, 张铎, 楚红雨, 等. 基于深度学习的YOLO目标检测综述[J]. 电子与信息学报, 2022, 44(10): 3697-3708. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202310003.htm SHAO Yanhua, ZHANG Duo, CHU Hongyu, et al. A review of YOLO object detection based on deep learning[J]. Journal of Electronics and Information Science, 2022, 44(10): 3697-3708. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202310003.htm
[2] 刘洪江, 王懋, 刘丽华, 等. 基于深度学习的小目标检测综述[J]. 计算机工程与科学, 2021, 43(8): 1429-1442. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK202108014.htm LIU Hongjiang, WANG Mao, LIU Lihua, et al. A review of small object detection based on deep learning[J]. Computer Engineering and Science, 2021, 43(8): 1429-1442. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK202108014.htm
[3] LIU Y, SUN P, Wergeles N, et al. A survey and performance evaluation of deep learning methods for small object detection[J]. Expert Systems with Applications, 2021, 172(4): 114602.1-114602.14.
[4] ZUO Z, TONG X, WEI J, et al. AFFPN: attention fusion feature pyramid network for small infrared target detection[J]. Remote Sensing, 2022, 14(14): 3412. DOI: 10.3390/rs14143412
[5] 张传聪, 李范鸣, 饶俊民. 基于特征显著性融合的红外小目标检测[J]. 半导体光电, 2022, 43(4): 828-834. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202204029.htm ZHANG Chuancong, LI Fanming, RAO Junmin. Infrared small target detection based on feature saliency fusion[J]. Semiconductor Optoelectronics, 2022, 43(4): 828-834. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202204029.htm
[6] 韩金辉, 魏艳涛, 彭真明, 等. 红外弱小目标检测方法综述[J]. 红外与激光工程, 2022, 51(4): 428-451. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202204050.htm HAN Jinhui, WEI Yantao, PENG Zhenming, et al. Overview of infrared weak target detection methods[J]. Infrared and Laser Engineering, 2022, 51(4): 428-451. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202204050.htm
[7] Viola P, Jones M. Robust real-time face detection[J]. International Journal of Computer Vision, 2004, 57(2): 137-154. DOI: 10.1023/B:VISI.0000013087.49260.fb
[8] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). IEEE, 2005, 1: 886-893.
[9] Felzenszwalb P, Mcallester D, Ramanan D. A discriminatively trained, multiscale, deformable part model[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2008: 1-8.
[10] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444. DOI: 10.1038/nature14539
[11] 蔡杰, 张华驿, 毋靖轩, 等. 基于YOLOv4-tiny的轻量级电力设备红外目标检测网络研究[J]. 中国科技信息, 2022, 11(14): 111-114. https://www.cnki.com.cn/Article/CJFDTOTAL-XXJK202214031.htm CAI Jie, ZHANG Huayi, WU Jingxuan, et al. Research on a lightweight infrared target detection network for power equipment based on YOLOv4 tin[J]. China Science and Technology Information, 2022, 11(14): 111-114. https://www.cnki.com.cn/Article/CJFDTOTAL-XXJK202214031.htm
[12] 李向荣, 孙立辉. 融合注意力机制的多尺度红外目标检测[J]. 红外技术, 2022, 21(4): 4-13. http://hwjs.nvir.cn/cn/article/id/2e1d129d-a77a-4dba-8de5-135fb8b75ee7 LI Xiangrong, SUN Lihui. Multi scale infrared target detection using fusion attention mechanism[J]. Infrared Technology, 2022, 21(4): 4-13. http://hwjs.nvir.cn/cn/article/id/2e1d129d-a77a-4dba-8de5-135fb8b75ee7
[13] Banuls A, Mandow A, Vazquez R, et al. Object detection from thermal infrared and visible light cameras in search and rescue scenes[C]// 2020 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). IEEE, 2020: 380-386.
[14] 鞠默然, 罗海波, 刘广琦, 等. 采用空间注意力机制的红外弱小目标检测网络[J]. 光学精密工程, 2021, 29(4): 843-853. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202104021.htm JU Moran, LUO Haibo, LIU Guangqi, et al. Infrared weak target detection network using spatial attention mechanism[J]. Optical Precision Engineering, 2021, 29(4): 843-853. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202104021.htm
[15] LI C, LI L, JIANG H, et al. YOLOv6: A single-stage object detection framework for industrial applications[J]. arXiv preprint arXiv, 2022: 2209.02976.
[16] LIN T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 2980-2988.
[17] LI Y, CHEN Y, WANG N, et al. Scale-aware trident networks for object detection[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 6054-6063.
[18] HWANG S, PARK J, KIM N, et al. Multispectral pedestrian detection: Benchmark dataset and baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1037-1045.
[19] LI C, LIANG X, LU Y, et al. RGB-T object tracking: Benchmark and baseline[J]. Pattern Recognition, 2019, 96: 106977. DOI: 10.1016/j.patcog.2019.106977
[20] LIN T Y, Maire M, Belongie S, et al. Microsoft coco: Common objects in context[C]//European Conference on Computer Vision, 2014: 740-755.
计量
- 文章访问数: 108
- HTML全文浏览量: 31
- PDF下载量: 41
