0.   引言

红外目标检测作为计算机视觉领域的重要任务，经过多年的发展，出现了大量的优秀技术，在远程预警、搜索救援、安防监控、森林防火等领域中发挥出了不可替代的作用。

红外目标检测算法需要定位目标在图像中的像素位置。根据特征提取器的设计过程可以将检测算法划分为传统算法和深度学习算法^[1]。传统算法需要手工设计特征提取算子，依赖于人的经验，对开发人员要求较高，且在目标尺度和背景多样性上的鲁棒性较差。深度学习算法是一种基于数据驱动的方法，以大量的box级标注数据作为输入，在反向传播算法的作用下，得到用于提取特征的模型参数。

红外目标检测的传统算法可以分为先检测后跟踪（detect before track, DBT）和先跟踪后检测（track before detect, TBD）两类。DBT先根据目标像素强度检测出目标，然后通过序列图像投影得到目标的运动轨迹，如基于数学形态学的红外图像小目标检测^[2]；一种基于形态学Top-Hat算子的小目标检测算法^[3]；一种基于膨胀累加的检测方法^[4]等。TBD在每一次扫描后将结果存储起来，然后对假设航迹包含的点作没有信息损失的相关处理，经过若干帧累积后，同时得到检测结果与目标航迹，如一种基于线性变系数差分方程的运动目标检测算法^[5]；一种基于动态规划的算法^[6]；一种高阶时空相关方法等。

深度学习以大量的标注数据集作为输入，通过不断地迭代优化，拟合训练集中包含的特征信息，得到数据依赖的模型参数。与传统算法相比，深度学习算法对开发人员的设计经验依赖小，通过学习得到的特征提取器鲁棒性好。在可见光图像的分类、检测、分割等任务上达到了最先进水平（state of the art, SOTA）。借鉴于深度学习在可见光图像上的成功，红外目标检测引入了基于深度学习的方法，如一种基于生成对抗网络的红外小目标检测（infrared small target detection with generative adversarial network, IRSTD-GAN）新模式^[7]、基于去噪自编码器的红外弱小目标检测网络、注意力局部对比度网络（attentional local contrast network, ALCNet）^[8]等。

上述的红外目标检测算法主要考虑单波段图像的处理。目标的温度越高辐射的波长越短。在目标检测的实际应用场景中，目标的温度会有所不同，辐射的红外线集中在不同的波长范围。因此，可以通过融合多波段的检测结果来提高目标检测率。白玉等人提出了一种基于可见光图像和红外图像决策级融合的目标检测算法^[9]，为了对不同数据源检测出的目标进行融合，需要输入图像的帧频相同和像素级对齐，无法直接应用于不同帧频和分辨率的双波段红外图像的检测结果的融合。

为了实现对具有不同帧频和分辨率的双波段红外图像的检测结果的融合，首先对中长波红外图像序进行时间对齐，然后采用基于传统算法和深度学习算法相结合的红外目标检测算法分别对不同波段的图像进行处理，最后以双波段的目标检测信息作为多特征融合网络的输入，进行目标检测结果的决策级融合。

1.   目标检测

目标检测是决策级融合算法的基础。目标检测算法根据特征提取算子的获取方式可以划分为传统算法和深度学习算法。传统算法依靠人工设计特征提取器，对场景变化和目标尺度变化的适应性较差。深度学习算法在大规模的标注数据集上进行训练，不断迭代优化模型参数，得到输入依赖的特征提取器。考虑到目标检测算法的运行平台为FPGA+DSP架构，硬件资源有限，本文使用的目标检测算法将传统DBT算法和深度学习算法结合，形成检测性能强、鲁棒性好的实时红外目标检测算法。检测算法的架构如图 1所示。

图  1  目标检测算法架构

Figure  1.  The target detection algorithm architecture

下载: 全尺寸图片 幻灯片

背景抑制模块在对图像中的干扰信息进行削弱的同时，增强感兴趣的目标区域。从性能、计算复杂度、可工程化等方面综合考虑，背景抑制模块采用有利于红外弱小目标检测的Top-Hat算子。在背景抑制完成后，被增强的图像区域中存在很多与目标区域分布差异较大的干扰，为了有效地区分目标与干扰，降低虚警率，引入基于卷积神经网络的分类算法，网络结构如图 2所示。在视频序列中，目标具有时域和空域信息，背景抑制模块和目标分类模块主要挖掘空域信息，为了进一步抑制虚警，使用航迹管理模块获取疑似目标的时域信息，根据疑似目标的航迹属性区分真实目标与干扰。航迹管理模块采用联合概率数据关联技术（joint probability data association，JPDA）对不同时刻检测出的目标进行重识别，统计出目标的生命周期和灰度、尺度等特征在时域的变化。

图  2  目标分类模型

Figure  2.  The target classification model

下载: 全尺寸图片 幻灯片

2.   基于多特征的决策级融合算法

决策级融合算法以中波、长波的检测结果作为输入。同一目标在双波段图像中的成像会存在以下特点：①目标只在长波图像中出现；②目标只在中波图像中出现；③目标同时在中、长波图像中出现。当目标只在单波段图像中出现时，只需要选择单波段的检测结果作为融合结果即可；当同一目标在双波段图像中都能准确检出时，目标在不同波段图像中的像素位置虽然存在一定的映射关系，但是中长波图像的帧频存在差异，若直接将中、长波分别检测出的目标位置进行融合，可能会使得融合后的目标位置不能准确反映目标的实时位置；当同一目标在双波段图像中都能检出，但是有一个波段的检测结果存在偏差时，直接对双波段的检测结果进行融合，会造成目标位置检测不准确。

为了对双波段的检测结果进行有效的融合，本文提出基于深度学习的决策级融合网络WSNet，对目标的多维特征进行处理，充分挖掘目标的属性信息，进而准确地从双波段检测信息中选择出最终的目标检测结果。本文提出的决策级融合网络WSNet的网络结构如图 3所示。

图  3  WSNet网络结构

Figure  3.  Network structure of the WSNet

下载: 全尺寸图片 幻灯片

单波段检测算法可以输出目标patch（目标局部区域）和目标的属性信息（灰度值、置信度、对比度、生命周期、历史出现时间）。目标patch是以单波段检测算法输出的目标位置为中心扣取的局部区域，可以用来描述检测结果的定位准确性。目标属性信息中的灰度值、置信度、对比度可以反映目标的信号强度，生命周期、历史出现时间能够描述目标的出现频率，反映目标的稳定性。因此，目标patch和目标属性信息可以为双波段检测结果的选择提供依据。为了充分利用不同类型的特征信息，WSNet首先利用patch特征分支和目标属性特征分支分别对目标patch和检测信息进行处理，然后将两个分支提取的特征拼接，得到包含时域信息和空域信息的特征向量，接着利用两层全连接对特征向量进行处理，得到分类层的输入特征，最后分类层输出波段类型选择结果，并根据式(1)进行检测结果决策级融合。

式中：y_m表示中波检测结果；y_c表示长波检测结果；x表示WSNet的分类输出结果。

2.1   目标patch特征分支

单波段目标检测算法以中/长波图像作为输入，输出目标的定位信息。在实际应用场景中，由于噪声干扰、相机抖动模糊、目标姿态变化等原因，可能会使得算法定位的位置与目标的实际位置存在偏差。算法定位的准确性可以从图像上直观地反应出来。

为了从中、长波图像的检测结果中选取具有较高定位精度的检测结果，提高融合结果的定位准确性，以单波段检测算法输出的目标位置为中心，截取大小为W的目标patch，并使用中、长波的目标patch作为目标patch特征分支的输入。在目标patch特征分支中（如图 4所示），从中、长波图像中提取的目标patch在拼接后，首先利用3层卷积（卷积核大小为5×5，输入通道数分别为2、8、32，输出通道数分别为8、32、64）进行处理，提取出能够反映目标辐射特性和定位精度的多波段空间特征，然后利用全局平均池化（global average poling）计算目标区域的上下文信息。

图  4  目标patch特征分支

Figure  4.  The target patch feature branch

下载: 全尺寸图片 幻灯片

2.2   目标属性特征分支

在红外图像中存在大量的干扰和噪声，单波段的检测结果可能是目标或虚警，因此会出现被判定为同一目标的双波段检测信息中有一个波段的检测信息为虚警的情况。为了有效地选择出真实目标信息，减小融合过程选取虚假目标的风险，利用单波段检测算法输出的目标的灰度值、置信度、对比度、生命周期、历史出现时间等信息综合判断出每个波段输出信息的置信度，从而得到可靠的融合结果。

在目标属性特征分支中（如图 5所示），从中、长波单波段检测算法获取的目标检测信息在拼接成为一个多维特征向量后，利用全连接层（输入通道数为10，输出通道数为32）进行处理，从而提取出可以更好地描述双波段目标检测可靠性的特征，为后续融合结果的选择提供依据。

图  5  目标属性特征分支

Figure  5.  The target attribute feature branch

下载: 全尺寸图片 幻灯片

3.   实验结果与分析

3.1   模型训练细节与样本集

为了对WSNet进行训练，利用搭载有双波段探测器的红外探测设备从实际应用场景中采集图像数据，并利用单波段检测算法分别对中、长波图像进行处理，将检测出的目标区域（15×15）和目标属性信息保存出来，构建训练集和验证集。其中，训练集包括3000个样本对，验证集包括1000个样本对。

WSNet模型中输出波段选择结果前的3个全连接层的输入通道数分别为96、128、64，输出通道数分别为128、64、1。在模型训练过程中，采用Focal loss作为损失函数，初始学习率为0.01，共迭代了1200个epoch。为了加快训练过程，提高模型训练的稳定性，分别在600，800个epoch处对学习率以0.1的比例进行衰减。训练完成的模型在验证集上的分类精度可以达到0.825。

3.2   实验结果

为了评估本文提出的决策级融合算法的性能，从实验数据中选取了3组起始时间对齐的中、长波红外图像序列构建测试数据集对算法进行测试，每组序列包含4t帧长波图像和t帧中波图像，同一目标在双波段探测器上的成像情况与数据序列编号的对应关系为：①中波出现，长波未出现；②中波未出现，长波出现；③中波和长波均出现。在实验中，为了有效地评估本文提出的决策级融合算法对检测率和虚警率的影响，使用召回率（Recall）和精确率（Precision）作为评价指标对不同算法的性能进行对比。中、长波的数据信息如表 1所示。基于多波段图像的检测效果如图 6~9所示，召回率和精确率的统计结果如表 2所示。

表  1  红外图像序列信息

Table  1.  Infrared image sequence information

Band type	Resolution	Frame rate/fps	Number of frames	Scene type
Medium wave	640$ \times $512	75	30000	1
			30000	2
			6000	3
Long wave	320$ \times $256	300	120000	1
			120000	2
			24000	3

下载: 导出CSV 

| 显示表格

图  6  序列1检测效果

Figure  6.  Detection results of the first sequence

下载: 全尺寸图片 幻灯片

图  7  序列2检测效果

Figure  7.  Detection results of the second sequence

下载: 全尺寸图片 幻灯片

图  8  序列3检测效果（输出中波信息）

Figure  8.  Detection results of the third sequence (output medium wave information)

下载: 全尺寸图片 幻灯片

图  9  序列3检测效果（输出长波信息）

Figure  9.  Detection results of the third sequence (output long wave information)

下载: 全尺寸图片 幻灯片

表  2  不同波段的检测结果

Table  2.  Detection results of different wavebands

Scene type	Number of targets			Long wave			Medium wave			Fusion
	Long wave	Medium wave		Recall	Precision		Recall	Precision		Recall	Precision
1	0	29885		-	-		0.923	1.0		0.923	1.0
2	119865	0		0.886	0.95		-	0		0.886	0.94
3	18444	4334		0.9773	1.0		0.9949	1.0		0.9949	1.0

下载: 导出CSV 

| 显示表格

目标在不同场景中的辐射特性存在差异，进而导致其在中、长波探测器上的成像也存在差异。从图 6~9可以看出，会出现只有单波段可以发现目标的情况，若只使用单波段红外探测器进行目标检测，可能会造成目标漏检，降低目标的检测概率，使得红外目标探测设备的使用范围受到约束。在图 8中，融合算法选择对比度更强的中波检测结果作为输出，而在图 9中选择未产生拖影的长波检测结果作为输出，从中可以看出，当双波段图像中都存在目标时，本文提出的决策级融合算法可以从双波段检测结果中选择出置信度更高的结果作为输出，有效提高红外目标检测结果的可靠性。从表 2中可以看出，使用双波段信息可以提高目标的检测率，但是会有增加虚警率的风险。

为了更加充分地说明本文提出的融合算法可以对帧频存在差异的双波段图像的检测结果进行准确融合，并能够保持以两者中的较高帧频输出融合结果，采用同一目标在双波段图像中都存在的连续多帧图像对本文提出的融合算法和基于或运算的决策级融合算法进行测试，与长波第t~t+3帧对应的处理结果如图 10~13所示。

图  10  第t帧的融合结果

Figure  10.  Fusion results of the the t-th frame

下载: 全尺寸图片 幻灯片

图  11  第t+1帧的融合结果

Figure  11.  Fusion results of the t+1-th frame

下载: 全尺寸图片 幻灯片

图  12  第t+2帧的融合结果

Figure  12.  Fusion results of the t+2-th frame

下载: 全尺寸图片 幻灯片

图  13  第t+3帧的融合结果

Figure  13.  Fusion results of the t+3-th frame

下载: 全尺寸图片 幻灯片

从图 10~13中可以看出，由于帧频存在差异，每帧中波图像对应4帧长波图像，同一目标在长波第t+1~t+3帧中的位置无法与中波第t帧中的位置完全对齐，若采用或运算对不同波段的检测结果进行融合，会导致融合后的结果与目标的真实位置存在差异，而本文提出的融合算法利用神经网路自适应地从双波段检测结果中进行选择，得到最终的检测结果，可以有效避免基于或运算的融合算法输出的融合后目标位置与目标真实位置存在偏差的问题。

4.   结语

本文提出的基于多特征的决策级融合算法，以中、长波的单波段检测信息作为输入，利用目标的灰度、置信度、特征强度、局部区域等信息对检测结果进行决策级融合，可以实现不同帧频、分辨率图像的检测结果的融合。从实验结果可以看出，基于多特征的决策级融合算法不仅可以有效地提高红外目标检测算法的场景适应性，还可以提高目标检测结果的可靠性。但是，在实际应用场景中，虚警率也是红外目标检测算法性能的重要评价指标，决策级融合算法可能会增加检测算法的虚警率，对操作人员的响应造成误导，未来会将充分利用中、长波信息进行高检测率、低虚警率的红外目标检测作为研究目标。