Object Detection in Visible Light and Infrared Images Based on Adaptive Attention Mechanism
-
摘要: 针对红外和可见光目标检测方法存在的不足，将深度学习技术与多源目标检测相结合，提出了一种基于自适应注意力机制的目标检测方法。该方法首先以深度可分离卷积为核心构建双源特征提取结构，分别提取红外和可见光目标特征。其次，为充分互补目标多模态信息，设计了自适应注意力机制，以数据驱动的方式加权融合红外和可见光特征，保证特征充分融合的同时降低噪声干扰。最后，针对多尺度目标检测，将自适应注意力机制结合多尺度参数来提取并融合目标全局和局部特征，提升尺度不变性。通过实验表明，所提方法相较于同类型目标检测算法能够准确高效地在复杂场景下实现目标识别和定位，并且在实际变电站设备检测中，该方法也体现出更高的泛化性和鲁棒性，可以有效辅助机器人完成目标检测任务。Abstract: To address the shortcomings of infrared and visible light object detection methods, a detection method based on an adaptive attention mechanism that combines deep learning technology with multi-source object detection is proposed. First, a dual-source feature extraction structure is constructed based on deep separable convolution to extract the features of infrared and visible objects. Second, an adaptive attention mechanism is designed to fully complement the multimodal information of the object, and the infrared and visible features are weighted and fused using a data-driven method to ensure the full fusion of features and reduce noise interference. Finally, for multiscale object detection, the adaptive attention mechanism is combined with multiscale parameters to extract and fuse the global and local features of the object to improve the scale invariance. Experiments show that the proposed method can accurately and efficiently achieve target recognition and localization in complex scenarios compared to similar object detection algorithms. Moreover, in actual substation equipment detection, this method also demonstrates higher generalization and robustness, which can effectively assist robots in completing object detection tasks.
-
0. 引言
微型J-T效应制冷器（焦耳-汤姆逊制冷器）[1]的研究始于20世纪50年代，这种制冷器是利用高压高纯的氮气、氩气或空气，通过节流小孔，产生节流制冷效应[2]。该制冷器无运动的机械机构，尺寸小，启动快，非常适合各型红外制导武器系统[3]。红外制导导弹在迅速发展的红外探测器件的牵引下，其抗干扰性已得到不断的改进和提高[4]。
红外导引头的探测器作用距离除与目标的红外辐射强度及辐射光谱特性有关外，也与其自身的灵敏度及外在环境的气象条件有关，因此，红外导引头在生产调试过程中，需使用专用测试系统完成高低温环境下探测器的制冷时间测试，以确定制冷量需求。
在此背景下，结合某型武器系统红外导引头制冷用气和测试需要，本文介绍了一种红外导引头制冷供气测试系统的设计方法，该系统可以满足导引头批量生产用气和测试需要。
1. 制冷供气测试系统设计
红外导引头制冷供气测试系统主要用于为某型红外导弹提供满足要求的制冷气体，并对导引头探测器制冷启动时间和制冷量进行测试和采集。
系统采用高压气驱增压泵对低压氩气进行增压，可实现到压自动停机；配置有高压电磁阀，通过工控机自动进行供气控制；配备有高低温试验系统和数据采集模块，可模拟导引头探测器实际工作温度，进行压力、温度、制冷量、成像数据的自动采集。
制冷供气测试系统从结构上主要由供气系统、高低温试验系统和数据采集系统组成（如图 1所示）。
1.1 供气系统设计
供气系统主要由气驱增压泵、纯化器、过滤器、高压缓冲罐、减压器、阀门、高压管路和智能压力控制器组成，用于对氩气进行增压、干燥、储存、过滤和减压输出。其气路原理图如图 2所示。
供气系统气路分为3路：
驱动气路：0.8~1 MPa的压缩空气分两路输入，一路经减压器（JY1）减压后为气驱增压泵提供驱动力，通过调节减压器压力可控制增压速率，另一路驱动气驱增压泵进行换向；
预增压气路：5~15 MPa的高纯氩气经纯化器（CHQ1）干燥净化后进入气驱增压泵，通过减压器（JY2）可调节进气压力大小，进而控制增压效率；
高压气路：气驱增压泵增压至100 MPa后，通过智能压力控制器控制气驱增压泵自动停止，增压后的高压氩气存入高压缓冲罐（HCG1）备用，并通过过滤器（G4）再次过滤，通过减压器（JY3）可控制输出压力。
本供气系统可实现的技术指标如下：
① 气体介质：高纯氩（5~15 MPa）；
② 增压压力：≤100 MPa；
③ 露点控制：≤－65℃（常压）；
④ 减压输出压力：0~55 MPa。
1.2 高低温试验系统设计
高低温试验系统由环境试验箱、模拟气瓶[5]、高压电磁阀、高压针阀、红外导引头、红外玻璃等组成，如图 3所示。
![]()
图 3 高低温试验系统外形组成图Figure 3. Outline composition diagram of high and low temperature test system其中，试验箱用于控制高压氩气、探测器等的温度，模拟探测器实际工作环境温度；高压储气瓶采用嵌入式安装框架集成在环境试验箱，可通过供气系统和安装框架上的针阀充入指定压力的高压氩气，进行制冷耗气量的测试，针阀用于高压储气瓶的开闭控制；高压电磁阀通过数据采集系统上位机控制，实现高压储气瓶中高压氩气向导引头输送，通过毛细管节流实现制冷效果；红外玻璃用于红外光透入对接模拟目标源。
高低温试验系统试验的技术指标如下：
① 测试温度：－50℃~+200℃；
② 储气压力：0~55 MPa。
1.3 数据采集系统设计
数据采集系统主要由测试柜体、工控机、显示屏、CAN盒、LVDS板卡、视频采集卡、直流电源等组成，可实现系统压力、温度、制冷启动时间、成像图片、视频等数据的采集。系统结构图如图 4所示。
测试软件实现的功能包括：
① 实时接收并显示LVDS卡图像、视频、CAN卡数据状态等；
② 温度和压力数据曲线实时显示；
③ 实时保存温度和压力数据；
④ 实时保存LVDS卡接收数据、视频卡接收视频、CAN卡接收数据；
⑤ 解析CAN卡和LVDS卡接收数据。
操作人员与设备间通过人机交互界面完成测试控制，该功能由主控模块负责，主控模块的基本操作流程如图 5所示。
① 主测试界面：用于实现测试过程控制和参数监控，能够实时显示压力、温度、图像等数据信息；
② LVDS解析界面：用于对CAN卡和LVDS卡接收数据进行分析、处理和转换，以便于后期数据处理；
③ AD校准界面：用于测试前对压力、温度等采集信号进行自校准，保证数据采集的准确性。
2. 系统结构的优化与改进
结合系统在工程实践中遇到的问题，对系统的结构进行优化改进，主要体现在以下几个方面：
2.1 模块化设计
系统采用模块化的设计思想，供气系统、高低温试验系统、数据采集系统采用分体设计，每个分系统按其功能设计为独立模块，互不干涉，其气路和电气接口采用通用接口，使得系统各独立模块可单独使用，提高了系统的适用范围。
2.2 高低温试验系统的优化设计
导弹在飞行过程中，其周围的气候条件差异性很大，有可能经历极端的高温或低温环境。为了模拟高低温条件对导弹捕获目标性能的影响，在高低温试验系统中需要用到高低温箱，同时，不同环境下导引头工作所需的制冷量不同，节流制冷器耗气量的大小决定了弹上气瓶的体积、重量、工作时间等[5]，这就要求为导引头提供不同容积的模拟气瓶以验证其在不同温度下对氩气的需求。
首先，模拟气瓶必须置于高低温箱内部以保证氩气能够达到设定的环境温度，同时模拟气瓶的充气控制阀门和供气控制阀门需设置在高低温箱外部以方便操作。
其次，模拟气瓶与阀门的连接管路尽量固定，以避免在反复测试过程中可能造成的漏气问题。
基于以上分析，在本项目设计时，模拟气瓶与阀门的设计和连接形式仍采用模块化的设计思想（如图 9所示），其设计思路如下：
① 模拟气瓶设置3种容积，气瓶直径相同，长度不同，可根据不同的制冷量组合选择所需容积；
② 模拟气瓶、电磁阀、压力传感器固定于气瓶架上，气瓶架和充气、供气针阀固定于面板上，所有器件采用不锈钢管连接，其充气口采用穿板接头固定于高低温箱侧板，有效保证了结构的整体性和稳定性，避免了频繁拆装；
③ 面板与高低温箱侧板嵌入式连接，其接触面填充宽温橡胶材料，以保证温箱的保温和密封性能；
④ 温箱侧壁设置过线孔并加橡胶塞。
通过以上设计，主要解决了以下问题：
① 高压供气管路一体化铺设，外部接口少，连接操作减少，避免了频繁拆装和漏气，提高了可靠性；
② 阀门操作时无需打开高低温箱门，避免了高低温箱内部温度变化，减少对试验的影响；
③ 模拟气瓶为同直径设计，简化了生产工艺，提高了互换性。
2.3 高低温箱防结霜设计及验证
高低温箱在进行环境温度模拟时，内部放置有导引头和红外滤光玻璃，目标源红外光经高低温箱门上的双层保温玻璃（光入口，见图 10）进入箱内，经红外滤光玻璃被导引头识别，但在实际工作过程中，因高低温箱内外部温度的差异，温箱门外层玻璃因与大气接触，不可避免会产生水汽进而结霜，由此造成接收光源强度减弱，影响导引头对光波的采集。
在本设计中，为防止温箱玻璃窗口在低温下结霜，影响光波照入强度，我们将高低温试验箱压缩机热风出口通过软管引至双层玻璃夹层内，通过预先试验识别结霜温度，借助温度传感器和PLC控制模块，当温度临近结霜温度时，热风自动吹出，使双层玻璃时刻保持加热状态，经实测验证达到了良好的除霜效果。
3. 结论
通过本设计系统的实施，提供了一套完整的红外导引头制冷供气测试解决方案，通过近3年的测试应用，表明本系统可以满足批量红外型武器系统测试需求；系统输出压力高，同时内部集成了3组不同容积的模拟气瓶，可以满足多种导引头的测试需求；通过设计优化和改进，系统在可靠性、人机工程等方面有很大改善；系统软件和板卡预留有升级接口，便于后期对系统的更新和完善。
-
![]()
图 1 红外-可见光目标检测整体架构
Figure 1. Overall framework of infrared-visible light object detection
![]()
图 5 单源与双源网络检测结果对比
Figure 5. Comparison of single source and dual source network detection results
![]()
图 8 红外-可见光网络检测效果对比（前三排：RGBT210；后两排：KAIST）
Figure 8. Comparison of infrared-visible network detection effects(The first three rows: RGBT210; The last two rows: KAIST)
表 1 特征提取支路
Table 1 Feature extraction branch
Module Layer Repetitions Output Input RGB, 3 1 512×448 Init Conv 3×3, 10
DWconv 3×3, 31 256×224 Max pooling 2×2, 3 Block 1 DWconv 3×3, 32
Residual1 128×112 Block 2 DWconv 3×3, 64
Residual2 64×56 Block 3 DWconv 3×3, 128
Residual3 32×28 Block 4 DWconv 3×3, 256
Residual3 16×14 Block 5 DWconv 3×3, 512
Residual2 8×7 
下载: 导出CSV
表 2 网络训练超参及策略
Table 2 Network training hyperparameter and strategy
Parameter Value Batch_Size 4 Base_Lr 0.01 Momentum 0.95 Weight_Decay 0.0005 Learning step Optimization Adam Loss function Cross Entropy
下载: 导出CSV
表 4 双源特征融合测试对比
Table 4 Comparison of dual source feature fusion
Network FPS Accuracy/(%) mAP mAPs mAPm mAPl Infrared branch 120 62.1 43.8 65.9 72.8 Visible branch 121 69.3 48.1 71.9 79.3 SE fusion 89 71.2 51.5 74.7 82.4 CBAM fusion 87 72.0 52.4 75.2 83.1 AAM fusion 86 72.6 53.8 75.9 83.6
下载: 导出CSV
表 5 多尺度结构对比
Table 5 Multiscale structure comparison
Network FPS Accuracy /(%) mAP mAPs mAPm mAPl Pyramid multiscale 86 72.6 53.8 75.9 83.6 AAM multiscale 84 73.5 54.9 76.4 84.0
下载: 导出CSV
-
[1] 王灿, 卜乐平. 基于卷积神经网络的目标检测算法综述[J]. 舰船电子工程, 2021, 41(9): 161-169. https://www.cnki.com.cn/Article/CJFDTOTAL-JCGC202109036.htm WANG Can, BU Leping. Overview of target detection algorithms based on convolutional neural networks[J]. Naval Electronic Engineering, 2021, 41(9): 161-169. https://www.cnki.com.cn/Article/CJFDTOTAL-JCGC202109036.htm
[2] 郝永平, 曹昭睿, 白帆, 等. 基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究[J]. 光子学报, 2021, 50(2): 84-98. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202102010.htm HAO Yongping, CAO Zhaorui, BAI Fan, et al Research on infrared visible image fusion and target recognition algorithm based on region of interest mask convolution neural network[J]. Acta PHOTONICA Sinica, 2021, 50 (2): 84-98 https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202102010.htm
[3] 刘齐, 王茂军, 高强, 等. 基于红外成像技术的电气设备故障检测[J]. 电测与仪表, 2019, 56(10): 122-126. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201910020.htm LIU Qi, WANG Maojun, GAO Qiang, et al Electrical equipment fault detection based on infrared imaging technology[J]. Electric Measurement and Instrumentation, 2019, 56(10): 122-126. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201910020.htm
[4] XIA J, LU Y, TAN L, et al. Intelligent fusion of infrared and visible image data based on convolutional sparse representation and improved pulse-coupled neural network[J]. Computers, Materials and Continua, 2021, 67(1): 613-624. DOI: 10.32604/cmc.2021.013457
[5] 汪勇, 张英, 廖如超, 等. 基于可见光、热红外及激光雷达传感的无人机图像融合方法[J]. 激光杂志, 2020, 41(2): 141-145. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202002029.htm WANG Yong, ZHANG Ying, LIAO Ruchao, et al. UAV image fusion method based on visible light, thermal infrared and lidar sensing[J]. Laser Journal, 2020, 41(2): 141-145. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202002029.htm
[6] ZHANG S, LI X, ZHANG X, et al. Infrared and visible image fusion based on saliency detection and two-scale transform decomposition[J]. Infrared Physics & Technology, 2021, 114(3): 103626.
[7] 王传洋. 基于红外与可见光图像的电力设备识别的研究[D]. 北京: 华北电力大学, 2017. WANG Chuanyang. Research on Power Equipment Recognition Based on Infrared and Visible Images[D]. Beijing: North China Electric Power University, 2017.
[8] LI H, WU X J. Infrared and visible image fusion using Latent low-rank representation[J]. Arxiv Preprint Arxiv, 2018: 1804.08992.
[9] HUI L, WU X J. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623.
[10] 唐聪, 凌永顺, 杨华, 等. 基于深度学习的红外与可见光决策级融合跟踪[J]. 激光与光电子学进展, 2019, 56(7): 209-216. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201907023.htm TANG Cong, LING Yongshun, YANG Hua, et al. Decision-level fusion tracking of infrared and visible light based on deep learning[J]. Advances in Lasers and Optoelectronics, 2019, 56(7): 209-216. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201907023.htm
[11] MA J, TANG L, XU M, et al. STDFusionNet: an infrared and visible image fusion network based on salient object detection[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-13.
[12] 杨雪鹤, 刘欢喜, 肖建力. 多模态生物特征提取及相关性评价综述[J]. 中国图象图形学报, 2020, 25(8): 1529-1538. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202008002.htm YANG Xuehe, LIU Huanxi, XIAO Jianli. A review of multimodal biometric feature extraction and correlation evaluation[J]. Chinese Journal of Image and Graphics, 2020, 25(8): 1529-1538. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202008002.htm
[13] WANG Z, XIN Z, HUANG X, et al. Overview of SAR image feature extraction and object recognition[J]. Springer, 2021, 234(4): 69-75.
[14] WEI Z. A summary of research and application of deep learning[J]. International Core Journal of Engineering, 2019, 5(9): 167-169.
[15] Bochkovskiy A, WANG C Y, LIAO H. YOLOv4: Optimal speed and accuracy of object detection[J]. Arxiv Preprint Arxiv, 2020: 2004.10934.
[16] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770-778.
[17] Howard A, Sandler M, Chen B, et al. Searching for MobileNetV3 [C]//IEEE International Conference on Computer Vision (ICCV), 2020: 1314-1324.
[18] CHEN H, WANG Y, XU C, et al. AdderNet: Do we really need multiplications in deep learning?[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020: 1465-1474.
[19] 宋鹏汉, 辛怀声, 刘楠楠. 基于深度学习的海上舰船目标多源特征融合识别[J]. 中国电子科学研究院学报, 2021, 16(2): 127-133. https://www.cnki.com.cn/Article/CJFDTOTAL-KJPL202102004.htm SONG Penghan, XIN Huaisheng, LIU Nannan. Multi-source feature fusion recognition of marine ship targets based on deep learning[J]. Journal of the Chinese Academy of Electronic Sciences, 2021, 16(2): 127-133. https://www.cnki.com.cn/Article/CJFDTOTAL-KJPL202102004.htm
[20] Hassan E. Multiple object tracking using feature fusion in hierarchical LSTMs[J]. The Journal of Engineering, 2020(10): 893-899.
[21] LIN T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 936-944.
[22] LIU S, HUANG D, WANG Y. Learning spatial fusion for single-shot object detection[J]. Arxiv Preprint Arxiv, 2019: 1911.09516v1.
[23] LI C, ZHAO N, LU Y, et al. Weighted sparse representation regularized graph learning for RGB-T object tracking[C]// Acm on Multimedia Conference, ACM, 2017: 1856-1864.
[24] XIAO X, WANG B, MIAO L, et al. Infrared and visible image object detection via focused feature enhancement and cascaded semantic extension[J]. Remote Sensing, 2021, 13(13): 2538. DOI: 10.3390/rs13132538
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
