Infrared Dual-band Target Detecting Fusion Algorithm Based on Multiple Features
-
摘要:
红外目标检测在军事领域和民用领域发挥着重要的作用，得到了广泛的研究，但对于利用双波段图像对目标进行检测的研究较少。为了充分发挥双波段图像在目标检测性能上的优势，对红外双波段图像的检测结果进行深入分析，提出了一种基于多特征的红外双波段目标检测融合算法。本文提出的融合算法，利用基于深度学习的多特征融合网络对双波段图像的检测结果进行处理，充分挖掘目标的特征信息，自适应地选择单波段的检测结果作为输出，得到最终的决策级融合检测结果。实验结果表明：与使用单波段图像进行目标检测相比，本文提出的基于多特征的红外双波段融合算法，可以有效利用不同波段的信息，提高检测性能，充分发挥红外目标探测设备的优势。
Abstract:Infrared target detection algorithms play important roles in the military and civilian fields and have been widely studied. However, relatively few studies have been conducted on the use of dual-band images for targeted detection. To fully utilize the advantages of dual-band images in target detection, a fusion algorithm based on multiple features of infrared dual-band images was proposed through an in-depth analysis of the detection results. The proposed fusion algorithm utilizes a deep learning-based multi-feature fusion network to process the detection results of dual-band images, fully mine the feature information of the target, adaptively select the detection results of a single band as the output, and obtain the final decision-level fusion detection results. The experimental results show that, compared with using single-band images for object detection, the proposed infrared dual-band fusion algorithm based on multiple features can effectively utilize information from different bands, improve the detection performance, and fully leverage the advantages of infrared object detection equipment.
-
Keywords:
- target detection /
- dual band /
- decision level fusion /
- convolutional neural network
-
0. 引言
红外目标检测作为计算机视觉领域的重要任务，经过多年的发展，出现了大量的优秀技术，在远程预警、搜索救援、安防监控、森林防火等领域中发挥出了不可替代的作用。
红外目标检测算法需要定位目标在图像中的像素位置。根据特征提取器的设计过程可以将检测算法划分为传统算法和深度学习算法[1]。传统算法需要手工设计特征提取算子，依赖于人的经验，对开发人员要求较高，且在目标尺度和背景多样性上的鲁棒性较差。深度学习算法是一种基于数据驱动的方法，以大量的box级标注数据作为输入，在反向传播算法的作用下，得到用于提取特征的模型参数。
红外目标检测的传统算法可以分为先检测后跟踪（detect before track, DBT）和先跟踪后检测（track before detect, TBD）两类。DBT先根据目标像素强度检测出目标，然后通过序列图像投影得到目标的运动轨迹，如基于数学形态学的红外图像小目标检测[2]；一种基于形态学Top-Hat算子的小目标检测算法[3]；一种基于膨胀累加的检测方法[4]等。TBD在每一次扫描后将结果存储起来，然后对假设航迹包含的点作没有信息损失的相关处理，经过若干帧累积后，同时得到检测结果与目标航迹，如一种基于线性变系数差分方程的运动目标检测算法[5]；一种基于动态规划的算法[6]；一种高阶时空相关方法等。
深度学习以大量的标注数据集作为输入，通过不断地迭代优化，拟合训练集中包含的特征信息，得到数据依赖的模型参数。与传统算法相比，深度学习算法对开发人员的设计经验依赖小，通过学习得到的特征提取器鲁棒性好。在可见光图像的分类、检测、分割等任务上达到了最先进水平（state of the art, SOTA）。借鉴于深度学习在可见光图像上的成功，红外目标检测引入了基于深度学习的方法，如一种基于生成对抗网络的红外小目标检测（infrared small target detection with generative adversarial network, IRSTD-GAN）新模式[7]、基于去噪自编码器的红外弱小目标检测网络、注意力局部对比度网络（attentional local contrast network, ALCNet）[8]等。
上述的红外目标检测算法主要考虑单波段图像的处理。目标的温度越高辐射的波长越短。在目标检测的实际应用场景中，目标的温度会有所不同，辐射的红外线集中在不同的波长范围。因此，可以通过融合多波段的检测结果来提高目标检测率。白玉等人提出了一种基于可见光图像和红外图像决策级融合的目标检测算法[9]，为了对不同数据源检测出的目标进行融合，需要输入图像的帧频相同和像素级对齐，无法直接应用于不同帧频和分辨率的双波段红外图像的检测结果的融合。
为了实现对具有不同帧频和分辨率的双波段红外图像的检测结果的融合，首先对中长波红外图像序进行时间对齐，然后采用基于传统算法和深度学习算法相结合的红外目标检测算法分别对不同波段的图像进行处理，最后以双波段的目标检测信息作为多特征融合网络的输入，进行目标检测结果的决策级融合。
1. 目标检测
目标检测是决策级融合算法的基础。目标检测算法根据特征提取算子的获取方式可以划分为传统算法和深度学习算法。传统算法依靠人工设计特征提取器，对场景变化和目标尺度变化的适应性较差。深度学习算法在大规模的标注数据集上进行训练，不断迭代优化模型参数，得到输入依赖的特征提取器。考虑到目标检测算法的运行平台为FPGA+DSP架构，硬件资源有限，本文使用的目标检测算法将传统DBT算法和深度学习算法结合，形成检测性能强、鲁棒性好的实时红外目标检测算法。检测算法的架构如图 1所示。
背景抑制模块在对图像中的干扰信息进行削弱的同时，增强感兴趣的目标区域。从性能、计算复杂度、可工程化等方面综合考虑，背景抑制模块采用有利于红外弱小目标检测的Top-Hat算子。在背景抑制完成后，被增强的图像区域中存在很多与目标区域分布差异较大的干扰，为了有效地区分目标与干扰，降低虚警率，引入基于卷积神经网络的分类算法，网络结构如图 2所示。在视频序列中，目标具有时域和空域信息，背景抑制模块和目标分类模块主要挖掘空域信息，为了进一步抑制虚警，使用航迹管理模块获取疑似目标的时域信息，根据疑似目标的航迹属性区分真实目标与干扰。航迹管理模块采用联合概率数据关联技术（joint probability data association，JPDA）对不同时刻检测出的目标进行重识别，统计出目标的生命周期和灰度、尺度等特征在时域的变化。
2. 基于多特征的决策级融合算法
决策级融合算法以中波、长波的检测结果作为输入。同一目标在双波段图像中的成像会存在以下特点：①目标只在长波图像中出现；②目标只在中波图像中出现；③目标同时在中、长波图像中出现。当目标只在单波段图像中出现时，只需要选择单波段的检测结果作为融合结果即可；当同一目标在双波段图像中都能准确检出时，目标在不同波段图像中的像素位置虽然存在一定的映射关系，但是中长波图像的帧频存在差异，若直接将中、长波分别检测出的目标位置进行融合，可能会使得融合后的目标位置不能准确反映目标的实时位置；当同一目标在双波段图像中都能检出，但是有一个波段的检测结果存在偏差时，直接对双波段的检测结果进行融合，会造成目标位置检测不准确。
为了对双波段的检测结果进行有效的融合，本文提出基于深度学习的决策级融合网络WSNet，对目标的多维特征进行处理，充分挖掘目标的属性信息，进而准确地从双波段检测信息中选择出最终的目标检测结果。本文提出的决策级融合网络WSNet的网络结构如图 3所示。
单波段检测算法可以输出目标patch（目标局部区域）和目标的属性信息（灰度值、置信度、对比度、生命周期、历史出现时间）。目标patch是以单波段检测算法输出的目标位置为中心扣取的局部区域，可以用来描述检测结果的定位准确性。目标属性信息中的灰度值、置信度、对比度可以反映目标的信号强度，生命周期、历史出现时间能够描述目标的出现频率，反映目标的稳定性。因此，目标patch和目标属性信息可以为双波段检测结果的选择提供依据。为了充分利用不同类型的特征信息，WSNet首先利用patch特征分支和目标属性特征分支分别对目标patch和检测信息进行处理，然后将两个分支提取的特征拼接，得到包含时域信息和空域信息的特征向量，接着利用两层全连接对特征向量进行处理，得到分类层的输入特征，最后分类层输出波段类型选择结果，并根据式(1)进行检测结果决策级融合。
$$ Y=\left\{\begin{array}{cc} y_{\mathrm{m}} & x<0.5 \\ y_{\mathrm{c}} & \text { other } \end{array}\right. $$ (1) 式中：ym表示中波检测结果；yc表示长波检测结果；x表示WSNet的分类输出结果。
2.1 目标patch特征分支
单波段目标检测算法以中/长波图像作为输入，输出目标的定位信息。在实际应用场景中，由于噪声干扰、相机抖动模糊、目标姿态变化等原因，可能会使得算法定位的位置与目标的实际位置存在偏差。算法定位的准确性可以从图像上直观地反应出来。
为了从中、长波图像的检测结果中选取具有较高定位精度的检测结果，提高融合结果的定位准确性，以单波段检测算法输出的目标位置为中心，截取大小为W的目标patch，并使用中、长波的目标patch作为目标patch特征分支的输入。在目标patch特征分支中（如图 4所示），从中、长波图像中提取的目标patch在拼接后，首先利用3层卷积（卷积核大小为5×5，输入通道数分别为2、8、32，输出通道数分别为8、32、64）进行处理，提取出能够反映目标辐射特性和定位精度的多波段空间特征，然后利用全局平均池化（global average poling）计算目标区域的上下文信息。
2.2 目标属性特征分支
在红外图像中存在大量的干扰和噪声，单波段的检测结果可能是目标或虚警，因此会出现被判定为同一目标的双波段检测信息中有一个波段的检测信息为虚警的情况。为了有效地选择出真实目标信息，减小融合过程选取虚假目标的风险，利用单波段检测算法输出的目标的灰度值、置信度、对比度、生命周期、历史出现时间等信息综合判断出每个波段输出信息的置信度，从而得到可靠的融合结果。
在目标属性特征分支中（如图 5所示），从中、长波单波段检测算法获取的目标检测信息在拼接成为一个多维特征向量后，利用全连接层（输入通道数为10，输出通道数为32）进行处理，从而提取出可以更好地描述双波段目标检测可靠性的特征，为后续融合结果的选择提供依据。
3. 实验结果与分析
3.1 模型训练细节与样本集
为了对WSNet进行训练，利用搭载有双波段探测器的红外探测设备从实际应用场景中采集图像数据，并利用单波段检测算法分别对中、长波图像进行处理，将检测出的目标区域（15×15）和目标属性信息保存出来，构建训练集和验证集。其中，训练集包括3000个样本对，验证集包括1000个样本对。
WSNet模型中输出波段选择结果前的3个全连接层的输入通道数分别为96、128、64，输出通道数分别为128、64、1。在模型训练过程中，采用Focal loss作为损失函数，初始学习率为0.01，共迭代了1200个epoch。为了加快训练过程，提高模型训练的稳定性，分别在600，800个epoch处对学习率以0.1的比例进行衰减。训练完成的模型在验证集上的分类精度可以达到0.825。
3.2 实验结果
为了评估本文提出的决策级融合算法的性能，从实验数据中选取了3组起始时间对齐的中、长波红外图像序列构建测试数据集对算法进行测试，每组序列包含4t帧长波图像和t帧中波图像，同一目标在双波段探测器上的成像情况与数据序列编号的对应关系为：①中波出现，长波未出现；②中波未出现，长波出现；③中波和长波均出现。在实验中，为了有效地评估本文提出的决策级融合算法对检测率和虚警率的影响，使用召回率（Recall）和精确率（Precision）作为评价指标对不同算法的性能进行对比。中、长波的数据信息如表 1所示。基于多波段图像的检测效果如图 6~9所示，召回率和精确率的统计结果如表 2所示。
表 1 红外图像序列信息Table 1. Infrared image sequence informationBand type Resolution Frame rate/fps Number of frames Scene type Medium wave 640$ \times $512 75 30000 1 30000 2 6000 3 Long wave 320$ \times $256 300 120000 1 120000 2 24000 3 ![]()
图 8 序列3检测效果（输出中波信息）Figure 8. Detection results of the third sequence (output medium wave information)![]()
图 9 序列3检测效果（输出长波信息）Figure 9. Detection results of the third sequence (output long wave information)表 2 不同波段的检测结果Table 2. Detection results of different wavebandsScene type Number of targets Long wave Medium wave Fusion Long wave Medium wave Recall Precision Recall Precision Recall Precision 1 0 29885 - - 0.923 1.0 0.923 1.0 2 119865 0 0.886 0.95 - 0 0.886 0.94 3 18444 4334 0.9773 1.0 0.9949 1.0 0.9949 1.0 目标在不同场景中的辐射特性存在差异，进而导致其在中、长波探测器上的成像也存在差异。从图 6~9可以看出，会出现只有单波段可以发现目标的情况，若只使用单波段红外探测器进行目标检测，可能会造成目标漏检，降低目标的检测概率，使得红外目标探测设备的使用范围受到约束。在图 8中，融合算法选择对比度更强的中波检测结果作为输出，而在图 9中选择未产生拖影的长波检测结果作为输出，从中可以看出，当双波段图像中都存在目标时，本文提出的决策级融合算法可以从双波段检测结果中选择出置信度更高的结果作为输出，有效提高红外目标检测结果的可靠性。从表 2中可以看出，使用双波段信息可以提高目标的检测率，但是会有增加虚警率的风险。
为了更加充分地说明本文提出的融合算法可以对帧频存在差异的双波段图像的检测结果进行准确融合，并能够保持以两者中的较高帧频输出融合结果，采用同一目标在双波段图像中都存在的连续多帧图像对本文提出的融合算法和基于或运算的决策级融合算法进行测试，与长波第t~t+3帧对应的处理结果如图 10~13所示。
从图 10~13中可以看出，由于帧频存在差异，每帧中波图像对应4帧长波图像，同一目标在长波第t+1~t+3帧中的位置无法与中波第t帧中的位置完全对齐，若采用或运算对不同波段的检测结果进行融合，会导致融合后的结果与目标的真实位置存在差异，而本文提出的融合算法利用神经网路自适应地从双波段检测结果中进行选择，得到最终的检测结果，可以有效避免基于或运算的融合算法输出的融合后目标位置与目标真实位置存在偏差的问题。
4. 结语
本文提出的基于多特征的决策级融合算法，以中、长波的单波段检测信息作为输入，利用目标的灰度、置信度、特征强度、局部区域等信息对检测结果进行决策级融合，可以实现不同帧频、分辨率图像的检测结果的融合。从实验结果可以看出，基于多特征的决策级融合算法不仅可以有效地提高红外目标检测算法的场景适应性，还可以提高目标检测结果的可靠性。但是，在实际应用场景中，虚警率也是红外目标检测算法性能的重要评价指标，决策级融合算法可能会增加检测算法的虚警率，对操作人员的响应造成误导，未来会将充分利用中、长波信息进行高检测率、低虚警率的红外目标检测作为研究目标。
-
![]()
图 8 序列3检测效果（输出中波信息）
Figure 8. Detection results of the third sequence (output medium wave information)
![]()
图 9 序列3检测效果（输出长波信息）
Figure 9. Detection results of the third sequence (output long wave information)
表 1 红外图像序列信息
Table 1 Infrared image sequence information
Band type Resolution Frame rate/fps Number of frames Scene type Medium wave 640$ \times $512 75 30000 1 30000 2 6000 3 Long wave 320$ \times $256 300 120000 1 120000 2 24000 3 
下载: 导出CSV
表 2 不同波段的检测结果
Table 2 Detection results of different wavebands
Scene type Number of targets Long wave Medium wave Fusion Long wave Medium wave Recall Precision Recall Precision Recall Precision 1 0 29885 - - 0.923 1.0 0.923 1.0 2 119865 0 0.886 0.95 - 0 0.886 0.94 3 18444 4334 0.9773 1.0 0.9949 1.0 0.9949 1.0
下载: 导出CSV
-
[1] 吴双忱, 左峥嵘. 基于深度卷积神经网络的红外小目标检测[J]. 红外与毫米波学报, 2019, 38(3): 371-380. WU Shuangchen, ZUO Zhengrong. Small target detection in infrared images using deep convolutional neural networks[J]. Journal of Infrared and Millimeter Waves, 2019, 38(3): 371-380.
[2] 汪洋, 郑亲波, 张钧屏. 基于数学形态学的红外图像小目标检测[J]. 红外与激光工程, 2003, 32(1): 28-31. WANG Yang, ZHENG Qinbo, ZHANG Junping. Real-time detection of small target in IR grey image based on mathematical morphology[J]. Infrared and Laser Engineering, 2003, 32(1): 28-31.
[3] 张毅刚, 曹阳, 项学智. 基于形态学Top-hat滤波的红外小目标检测[J]. 计算机测量与控制, 2011, 19(6): 1269-1272. ZHANG Yigang, CAO Yang, XIANG Xuezhi. Infrared small target detection based on morphological top-hat filtering[J]. Computer Measurement & Control, 2011, 19(6): 1269-1272.
[4] 熊辉, 沈振康, 魏急波, 等. 低信噪比运动红外点目标的检测[J]. 电子学报, 1999(12): 26-29. DOI: 10.3321/j.issn:0372-2112.1999.12.008 XIONG Hui, SHEN Zhenkang, WEI Jibo, et al. Moving infrared low SNR target detection algorithm[J]. Chinese Journal of Electronics, 1999(12): 26-29. DOI: 10.3321/j.issn:0372-2112.1999.12.008
[5] 熊艳, 彭嘉雄, 丁明跃, 等. 基于线性变系数差分方程的运动目标检测方法[J]. 自动化学报, 1996, 22(4): 485-488. XIONG Yan, PENG Jiaxiong, DING Mingyue, et al. A method based on linear-variant-coefficient-difference-equation for moving target identi-fication[J]. Acta Automatica Sinica, 1996, 22(4): 485-488.
[6] 王春歆, 张玉叶, 王学伟, 等. 空间小目标动态规划检测[J]. 光学精密工程, 2010, 18(2): 477-484. WANG Chunxin, ZHANG Yuye, WANG Xuewei, et al. Study on dynamic programming algorithm for space small targets detection[J]. Optics and Precision Engineering, 2010, 18(2): 477-484.
[7] ZHAO B, WANG C, FU Q, et al. A novel pattern for infrared small target detection with generative adversarial network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(5): 4481-4492.
[8] DAI Y, WU Y, ZHOU F, et al. Attentional local contrast networks for infrared small target detection[C]//IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11): 9813-9824.
[9] 白玉, 侯志强, 刘晓义, 等. 基于可见光图像和红外图像决策级融合的目标检测算法[J]. 空军工程大学学报, 2020, 21(6): 53-59. BAI Yu, HOU Zhiqiang, LIU Xiaoyi, et al. An object detection algorithm based on decision level fusion of visible light image and infrared image[J]. Journal of Air Force Engineering University, 2020, 21(6): 53-59.
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 94
- HTML全文浏览量: 15
- PDF下载量: 53
- 被引次数: 1
