0.   引言

目标检测作为机器视觉的核心问题之一，旨在利用特征提取、分析等手段识别出感兴趣物体，并标注其所在图像中的位置^[1-2]。近年来，随着计算机视觉技术与人工智能算法的不断突破，目标检测技术也取得了长足的进步，被广泛应用于交通、医疗、安防、物流、家居等行业^[3-4]。然而，随着检测环境以及目标数据愈发复杂、多样化，基于单模态的目标检测方法已难以满足实际需求^[5-6]。因此，为解决单一传感器信息量少、鲁棒性差等局限，提升目标检测方法在实际应用中的泛化性及鲁棒性，融合目标多模态特征检测技术逐渐成为当前研究热点。

目前，多模态目标检测主要基于红外和可见光图像信息，通过红外相机和可见光相机分别捕获目标后，利用不同的融合策略实现多模态信息互补，再基于融合后的信息对目标进行预测^[7-8]。而对于融合检测策略，现有研究可大致分为像素级、特征级以及决策级三个方向^[9]，像素级融合主要是在输入数据层处理，如Wu等人^[10]利用基于梯度的残差密集块来分别强化红外和可见光图像细节特征后进行拼接融合，再利用深度神经网络模型进行检测。特征级融合则是在目标特征提取过程中进行融合，如解宇敏等人^[11]以YOLOv5为基本框架分别提取红外和可见光目标特征后，再将特征进行卷积融合后进行检测。而决策级融合则是对检测结果的合并，如宁大海等人^[12]利用红外模型与可见光模型对目标分别检测后，根据目标预测框不同模态下的重叠程度进行融合。综上可见，现有的多模态检测方法虽取得了一定的进展^[13-14]，但在目标多模态信息互补、多尺度融合、特征增强等方面仍然存在一定的局限。

针对上述问题，本文在总结前人多模态目标检测工作前提下，提出了一种新的基于特征级融合的多模态目标检测网络。网络以双支路结构分别提取红外和可见光图像特征，并通过交叉融合结构实现多模态特征交互；根据融合特征，设计二值化分组注意力结构来分别提升各组特征中的目标信息，再基于同类特征组进行多尺度融合后对目标类别及位置进行预测。模型针对各个目标特征分别增强，并配合自适应多模态、多尺度融合的方式使其可以在复杂场景中表现出更优的检测性能。

1.   多模态目标检测模型

1.1   整体结构

为充分利用红外和可见光图像中的目标特征信息，模型以双支路PP-LCNet特征提取结构结合YOLOV4多尺度检测头为基础骨干结构，结合特征交互、分组、融合等策略实现多模态目标检测，如图 1所示。模型首先利用PP-LCNet高效率卷积神经网络分别提取红外和可见光图像特征，同时针对网络降维处特征引入了交叉融合模块，保证多模态信息提取时相互补充；其次，将所提各维度多模态特征通过全局池化、二值激活、二值卷积等操作将特征进行类别分组，并结合空间注意力机制对各组目标空间位置信息进行增强；然后，根据分组特征提取同类目标对应的多尺度特征，并将深层特征逐步上采样后与相应浅层特征进行自适应融合；最后，基于多尺度融合后的特征对目标进行预测，再利用soft NMS算法筛选出最优目标。

图  1  多模态目标检测整体结构

Figure  1.  Multimodal object detection of overall structure

下载: 全尺寸图片 幻灯片

1.2   多模态特征交叉融合提取

为保证多模态目标信息间的交互，设计了如图 2所示的双支路特征交叉融合结构。

图  2  特征交叉融合结构

Figure  2.  Feature cross fusion structure

下载: 全尺寸图片 幻灯片

所提多模态特征提取结构主要分为基础特征提取和多模态特征交互两部分。基础特征提取针对红外和可见光的输入图像，采用高效卷积神经网络PP-LCNet^[15]的骨干结构，分别对两个模态下的目标边缘细节以及抽象语义特征进行逐步提取，图中i取值[1, 5]。而特征交互部分则针对基础特征提取结构在不同阶段下提取的特征，引入自适应加权参数，将目标在不同模态下的特征进行交叉融合互补。特征交叉融合具体计算过程如式(1)所示，通过训练的方式不断调整加权参数，进而保证交互特征的有效性，同时丰富后续特征提取的多样性。

训练时权重优化过程如式(2)(3)所示：

式中：x_Iⁱ、x_Vⁱ分别指输入的红外和可见光在i通道上的特征；α_II, α_IV, α_VI, α_VV为特征交叉融合的权重参数，各参数取值[0, 1]区间，且满足α_II+α_IV＝1，α_VI+α_VV＝1；y_Iⁱ、y_Vⁱ为交叉融合后的红外和可见光特征，∂表示求导数操作。由上式可见，若α_II＝α_VV＝1，α_IV＝α_VI＝0，则表示对应i通道特征不进行交叉融合，通过训练调节交互参数，进而达到最优的融合结果。

1.3   二值化分组注意力模块

二值化分组注意力模块主要作用在于提升目标所关联特征的权重，基本结构如图 3所示。

图  3  二值化分组注意力结构

Figure  3.  Binary grouping attention structure

下载: 全尺寸图片 幻灯片

所提注意力结构以特征交叉后的红外和可见光特征作为输入，将两个模态特征拼接后通过点卷积进行融合，再利用全局平均池化将每个通道特征转换为一个具有全局感受野的实数；然后，采用N组全连接操作将池化后的一维特征扩增成N组，N为目标类别数；其次，利用如式(4)所示的Sign二值函数将每组特征转化为0和1后与输入特征相乘，进而实现对每类目标对应的特征通道进行分组；最后，将每个特征组中的特征归一化至相同维度后，利用最值、均值配置卷积、Sigmoid函数构建空间位置注意力机制来分别对每组特征进行增强，进而实现更有针对性的目标特征增强。同时，在实际训练过程中，为更好地指导特征分组，将0-1分组后特征结合辅助损失来分别预测目标类别。并且，由于Sign函数梯度为零，故训练时的误差反向传播采用Htanh进行替代，计算方式如式(5)所示。

式中：x为全局平均池化后的特征信息；Sign为前向传播函数，取值为1时则表示提取对应通道特征，反之则舍弃；Htanh为反向传播函数，取值区间[－1, 1]，有效避免了Sign倒数为0的限制。

1.4   自适应多尺度分组融合

多尺度结构主要是综合目标在不同维度下的特征，使浅层细节信息与深层语义信息充分融合，提升模型对不同大小目标的识别效果。为降低特征融合时不同目标间的相互干扰，所提多尺度结构在注意力模块基础上，采用了分组策略来对同类多尺度特征进行自适应融合，结构如图 4所示。

图  4  类别C特征组自适应多尺度融合

Figure  4.  Class C feature group adaptive multi-scale fusion

下载: 全尺寸图片 幻灯片

该结构以注意力模块增强后的特征组作为输入，根据特征对应的目标类别，提取同类目标在不同尺度下的特征组，将其由深层到浅层逐步上采样与对应尺度特征进行自适应加权融合，融合计算方式如(6)所示。以此类推，将每个类别目标对应的特征组进行多尺度融合。最后，基于融合后的特征，借鉴YOLOV4检测头结构实现对各目标类别及位置的预测，并结合softNMS算法提取最优检测结果。

误差反向传播时如式(7)所示：

式中：i表示类别；c表示特征通道；s表示浅层特征；d表示深层特征；x_ic表示属于的浅层c通道输入特征；x_ic^d→s表示将类别i的深层c通道特征上采样至浅层尺度；α_ic和β_ic为对应的自适应参数，且参数满足α_ic, β_ic∈[0, 1]，α_ic+β_ic＝1；y_ic^s表示类别i在s层自适应融合后的特征。

2.   实验结果与分析

为验证所提方法的有效性，实验采用Ubuntu18.04.3操作系统，NVIDIA GeForce RTX 2070显卡以及Intel Core i7-10750H的CPU作为测试平台。模型基于Pytorch深度学习框架进行搭建，训练测试时采用KAIST、RGBT、FLIR公开标准红外-可见光数据集，各数据集详细信息如表 1所示。

表  1  数据集具体信息

Table  1.  Dataset details information

	KAIST	FLIR	RGBT
Quantity	3600	14000	5000
Size	640×480	512×512	640×480
Categories	6	5	11

下载: 导出CSV 

| 显示表格

实验将数据集中图像以7:1:2构建训练验证测试集，训练时超参数设置如表 2所示，并通过目标检测精度（mAP、mAP_s、mAP_m、mAP_l）和每秒处理图像数（fps）等指标对模型的精度与效率进行评估。

表  2  超参数设置

Table  2.  Hyperparameter setting

Hyperparameters	Value
Batch size	4
Initial learning rate	0.01
Momentum parameter	0.95
Weight attenuation coefficient	0.0005
Initialization strategy	Gaussian
Adjustment of learning rate	Sequential LR
Optimization	Adam
Position loss	CIou loss
Category loss	Cross Entropy

下载: 导出CSV 

| 显示表格

2.1   可行性实验

对于所提结构的可行性及有效性验证，实验以双支路PP-LCNet特征提取结构结合YOLOV4多尺度检测头作为基础结构，利用KAIST数据集来依次对交叉模块、分组注意力模块以及多尺度融合模块进行训练测试。针对特征交叉模块，实验主要考虑了多模态特征叠加融合（Add）、拼接融合（Concat）以及交叉融合（Cross）3种策略，并分别进行了对比测试，结果如表 3所示。

表  3  多模态特征融合策略对比

Table  3.  Comparison of multimodal feature fusion strategies

Network	Efficiency/(fps)	Accuracy/(%)
		mAP	mAPs	mAPm	mAPl
Add	38	76.8	57.1	77.2	86.1
Concat	36	77.5	58.3	77.8	86.9
Cross	38	77.3	58.2	77.7	86.7

下载: 导出CSV 

| 显示表格

根据不同策略的对比结果可见，叠加融合的方式虽然丰富了目标特征，但也引入了不同模态下的噪声信息，故检测精度相对较低；拼接融合采用点卷积操作来融合所有通道特征，虽充分利用了全局信息，但也引入了较多冗余计算。而交叉融合方式较好地综合了叠加与拼接融合的优势，通过可训练加权参数来自适应融合不同模态下的目标特征，使得检测精度与效率都达到相对较优的结果。对于所提二值化分组注意力模块，实验分别与传统ECA^[16]、CBAM^[17]等结构进行了对比，并可视化展示了Block3特征层增强效果，结果如表 4和图 5所示。

表  4  注意力机制对比

Table  4.  Comparison of attention mechanisms

Network	Efficiency/(fps)	Accuracy/(%)
		mAP	mAPs	mAPm	mAPl
Lack attention	38	77.3	58.2	77.7	86.7
ECA[16]	37	78.2	58.9	78.6	87.8
CBAM[17]	36	78.4	59.3	78.8	88.1
Group attention	35	79.3	60.2	79.6	89.0

下载: 导出CSV 

| 显示表格

图  5  Block3层特征增强效果对比

Figure  5.  Comparison of Block3 layer feature enhancement effects

下载: 全尺寸图片 幻灯片

通过不同注意力机制的对比结果可见，传统注意力结构基于所有特征信息进行建模，虽能提升目标相关特征权重，但其针对性相对较弱，无法聚焦目标关键特征。而所提分组注意力结构以可训练的二值卷积来区分不同目标特征，虽引入了一定计算量，但却可以更精确地针对目标特征进行增强。对于多尺度结构，实验分别对比测试了分组与不分组情况下多尺度融合效果，结果如表 5所示。其中，不分组即每个维度不区分特征组所属类别，将该维度所有特征组与其他维度自适应融合。

表  5  多尺度分组融合结构对比

Table  5.  Comparison of multi-scale grouping fusion structures

Network	Efficiency/(fps)	Accuracy/(%)
		mAP	mAPs	mAPm	mAPl
Non grouped	35	79.3	60.2	79.6	89.0
Group	35	79.8	60.8	80.2	89.4

下载: 导出CSV 

| 显示表格

根据表 5对比结果可以看出，分组与不分组对于特征自适应融合时的计算量基本相同，但分组后的特征在自适应融合时避免了不同目标间的相互干扰。同时，在目标预测时基于分组特征的结构将多目标检测转变成了单目标检测，有效降低了模型的复杂度，进而检测效果更佳。而对于整体模型的有效性验证，实验分别与当前基于像素级（LAINet^[10]）、特征级（CSPNet^[11]）以及决策级（DFNet^[12]）的多模态目标检测进行对比，结果见表 6和图 6所示。

表  6  多模态目标检测模型对比

Table  6.  Comparison of multimodal object detection models

Network	Efficiency/(fps)	Accuracy/(%)
		mAP	mAPs	mAPm	mAPl
LAINet[10]	41	77.7	58.6	78.3	88.2
CSPNet[11]	37	78.9	59.7	79.6	89.7
DFNet[12]	33	78.4	59.3	79.0	88.6
Ours	35	79.8	60.8	80.2	89.4

下载: 导出CSV 

| 显示表格

图  6  KAIST数据集检测结果对比

Figure  6.  Comparison of detection results in KAIST dataset

下载: 全尺寸图片 幻灯片

根据上述结果可以看出，由于像素级方式在不同模态图像融合时，噪声干扰相对严重，故容易造成小目标漏检。而决策级方式由于综合了所有模态下的预测结果，使得预测框成倍增加，进而导致误检率较高。相比之下，基于特征级融合的目标检测方法较好地协调了两者劣势，可以更好地利用不同模态下的目标特征，使得检测精度相对更高。而所提方法在特征级融合检测的基础上考虑了对不同目标分组融合的策略，较好地降低了目标间相互影响以及噪声信息的干扰，进而进一步提升了目标检测效果。

2.2   鲁棒性实验

为进一步验证本文算法在不同场景下的鲁棒性，实验分别利用了相对复杂的RGBT和FLIR数据集对各个多模态目标检测模型进行了对比测试，结果如表 7、表 8和图 7所示。其中，表 7和表 8中dr指标表示各个方法mAP精度相对于KAIST数据集下的mAP精度差距。

表  7  RGBT数据集测试结果对比

Table  7.  Comparison of RGBT dataset test results

Network	dr	Efficiency/(fps)	Accuracy/(%)
			mAP	mAPs	mAPm	mAPl
LAINet[10]	2.4	40	75.3	56.5	76.0	86.1
CSPNet[11]	1.9	36	77.0	57.9	77.8	87.8
DFNet[12]	2.1	32	76.3	57.2	77.2	86.9
Ours	1.3	33	78.5	59.3	78.7	88.5

下载: 导出CSV 

| 显示表格

表  8  FLIR数据集测试结果

Table  8.  Comparison of FLIR dataset test results

Network	dr	Efficiency/(fps)	Accuracy/(%)
			mAP	mAPs	mAPm	mAPl
LAINet[10]	3.5	38	74.2	54.9	75.1	84.8
CSPNet[11]	3.1	34	75.8	56.4	76.7	86.6
DFNet[12]	3.0	29	75.4	56.2	76.3	85.9
Ours	2.4	30	77.4	58.1	77.6	87.1

下载: 导出CSV 

| 显示表格

图  7  RGBT和FLIR数据集检测结果（前两行：RGBT；后两行：FLIR）

Figure  7.  RGBT and FLIR dataset detection results(first two rows: RGBT; second two rows: FLIR)

下载: 全尺寸图片 幻灯片

根据上述测试结果可见，由于数据集对应的场景复杂度较高，且待检测目标类别增多，使得各模型的检测精度都有一定的下降。而通过对比各模型的精度变化可以看出，所提模型在两个数据集下的精度下降率都最低。由此可见，模型具有更高的鲁棒性及稳定性，可以更好地适用于复杂场景多模态目标检测任务中。

3.   结束语

本文针对现阶段基于红外及可见光图像的多模态目标检测方法存在的不足，从特征交互以及特征分组融合两个角度展开深入研究，提出了一种基于特征级融合的多模态目标检测模型。模型利用PP-LCNet网络作为特征提取骨干结构，以并列交互的方式逐步提取红外和可见光目标信息；同时，针对多模态交互特征引入了分组策略，根据特征关联目标类别对其进行分组，并利用注意力机制对每组特征中目标空间位置信息进行增强；最后，将不同尺度下的同类特征组以逐层采样和自适应加权的方式实现多尺度特征融合，并基于融合后的特征来对对应类别目标进行预测。通过在KAIST、FLIR、RGBT公开标准数据集上的实验结果有效验证了所提多模态目标检测方法的有效性和鲁棒性，可以准确高效地实现全天候目标检测。尽管所提方法取得了较好的效果，但网络对特征分组的操作较为繁琐，下一步工作将针对特征分组问题进行持续优化，同时进一步探索所提检测方法在多源异构数据下的可行性。