Vehicle-based Thermal Imaging Target Detection Method Based on Enhanced Lightweight Network
-
摘要: 车载热成像系统不依赖光源,对天气状况不敏感,探测距离远,对夜间行车有很大辅助作用,热成像自动目标检测对夜间智能驾驶具有重要意义。车载热成像系统所采集的红外图像相比可见光图像具有分辨率低,远距离小目标细节模糊的特点,且热成像目标检测方法需考虑车辆移动速度所要求的算法实时性以及车载嵌入式平台的计算能力。针对以上问题,本文提出了一种针对热成像系统的增强型轻量级红外目标检测网络(Infrared YOLO,I-YOLO),该网络采用(Tiny you only look once,Tiny-YOLO V3)的基础结构,根据红外图像特点,提取浅层卷积层特征,提高红外小目标检测能力,使用单通道卷积核,降低运算量,检测部分使用基于CenterNet结构的检测方式以降低误检测率,提高检测速度。经实际测试,Enhanced Tiny-YOLO目标检测网络在热成像目标检测方面,平均检测率可达91%,检测平均速度达到81Fps,训练模型权重96MB,适宜于车载嵌入式系统上部署。
-
关键词:
- 车载热成像系统 /
- 夜间智能驾驶 /
- I-YOLO红外目标检测网络 /
- CenterNet结构 /
- 车载嵌入式平台
Abstract: A vehicle-based thermal imaging system does not depend on a light source, is insensitive to weather, and has a long detection distance. Automatic target detection using vehicle-based thermal imaging is of great significance for intelligent night driving. Compared with visible images, the infrared images acquired by a vehicle-based thermal imaging system based on existing algorithms have low resolution, and the details of small long-range targets are blurred. Moreover, the real-time algorithm performance required to address the vehicle speed and computing ability of the vehicle-embedded platform should be considered in the vehicle-based thermal imaging target detection method. To solve these problems, an enhanced lightweight infrared target detection network (I-YOLO) for a vehicle-based thermal imaging system is proposed in this study. The network uses a tiny you only look once(Tiny-YOLOV3) infrastructure to extract shallow convolution-layer features according to the characteristics of infrared images to improve the detection of small infrared targets. A single-channel convolutional core was used to reduce the amount of computation. A detection method based on a CenterNet structure is used to reduce the false detection rate and improve the detection speed. The actual test shows that the average detection rate of the I-YOLO target detection network in vehicle-based thermal imaging target detection reached 91%, while the average detection speed was81 fps, and the weight of the training model was96MB, which is suitable for deployment on a vehicle-based embedded system. -
0. 引言
二氧化碳作为温室气体的主要成分之一,长期大量排放会导致冰川融化、海平面上升、粮食产量下降等自然灾害频发。高精度二氧化碳浓度检测系统为监测点的碳排放情况提供可靠数据,帮助决策者制定合理的城市发展规划及减排政策、评估政策实施效果、完善碳循环平衡体系。
二氧化碳浓度检测方法有很多,如电化学法[1]、气相色谱法[2-3]、光谱检测法[4-7]等。其中,市场应用最为广泛的检测方法是非分散红外检测法(non-dispersive infrared, NDIR),具有测量范围广、灵敏度高、响应速度快、低功耗等特点[8]。然而,非分散红外气体检测装置容易受到环境温度影响,导致测量结果存在偏差[9-10]。2015年至2019年期间,陆松团队[11-12]研究用于飞机火灾防治的红外吸收检测浓度装置,先后提出了两种温度补偿方法:气体恒温补偿和斜率偏差补偿,通过控制气体进入吸收腔时的温度或对采集数据进行算法修正。2019年,Chih-Hsiung Shen等人[13]建立了基于NDIR技术的Δ-Σ温度补偿模型,通过设计闭环反馈系统,稳定输出信号而不产生温度漂移。
本文基于非分散红外检测大气二氧化碳浓度提出了一种温度修正方法,为研制出高精度检测装置提供了有效手段。
1. 检测原理
1.1 吸收光谱理论
当一束光穿过待测气体时,特定的气体分子会对特定波段的光产生吸收[14]。为了获得特定气体浓度信息,通常采用如图 1所示的基本原理来实现,主要结构包括光源、样本气体、探测器。理想条件下,光强与气体浓度之间满足朗伯-比尔定律[15]:
$$ I=I_{0}\exp(-KCL) $$ (1) 式中:I0、I分别为光束经气体分子吸收前的光强与吸收后的光强;K为气体分子对光的吸收系数;C为气体浓度;L为光学吸收程长。
1.2 非分散红外检测技术
非分散红外检测是基于红外光对气体吸收的选择特性,通过检测红外光吸收率,反演出气体浓度信息[16]。本文是基于非分散红外检测二氧化碳气体浓度研究,为排除其他气体干扰,保证CO2吸收谱线强度,综合数据库和资料分析,选取了4.26 μm波长处的吸收谱线作为中心波长。图 2是根据HITRAN2016数据库[17]查阅得到的部分气体在2347 cm-1(4.26 μm)附近的红外吸收谱线强度。
调查显示,滤光片和探测器会受温度影响,导致中心波长发生偏移,光敏性发生变化,降低检测灵敏度以及实验结果的真实性。如图 3所示,当温度从-40℃升至80℃时,滤光片的中心波长逐渐从4.2 μm偏移至4.28 μm附近。因此,为保证检测灵敏度及实验结果的稳定,对探测器前滤光片进行温度控制尤为重要。根据实验测试及资料分析,使工作温度稳定在40℃。
根据HITRAN数据库[18]显示,CO2吸收谱线强度也会受环境温度变化影响。如图 4所示,4.26 μm波长处CO2吸收谱线强度在260~330 K温度范围内的变化情况。数据表明,CO2吸收谱线强度随着温度的升高而减小,呈近似线性变化。
综上分析,为了解决非分散红外吸收检测受环境温度变化影响,本文主要从两个方面开展温度补偿实验验证:探测器恒温控制和算法修正吸收谱线影响。
2. 实验装置及方案
本文的检测系统涉及了光学、机械、电子、算法和软件五大技术。如图 5所示,光学系统主要包括IR黑体光源、InAsSb光伏探测器、短焦透镜;机械结构包括待测气室和探测器温度控制结构;电路包括恒流源驱动电路、探测器信号放大电路、滤波电路、温度控制电路、AD数据采集等;算法部分实现数据处理分析和实时显示。
2.1 探测器恒温控制结构
选取带有滤光片的探测器,对探测器整体进行恒温控制,既能保证滤光片中心波长不产生温度漂移,也能使探测器本身输出信号稳定。探测器恒温控制结构主要包括短焦透镜、热沉、温度传感器、红外探测器、半导体制冷片(thermo electric cooler, TEC)、底座、电路板、调整架,如图 6所示。
实现探测器恒温控制主要是通过控制热沉的温度,为探测器提供稳定的温度环境。由温度传感器测量热沉的温度,反馈至MCU比较温度测量值与设定值,进而控制流经TEC的电流大小,形成闭环式温度比例-积分-微分(proportion-integral-derivative,PID)控制系统。该系统的部分电路设计如图 7所示,(a)模块包括温度传感器及模数转换电路;(b)模块是H桥驱动TEC电路。
2.2 算法修正吸收谱线影响
向气体吸收池内通入501 μmol·mol-1浓度的CO2标准气体后密封,将系统置于高低温试验箱,箱内温度设定为40℃,待稳定后,关闭试验箱。通过自然降温方式,开展温度梯度实验。通过上位机软件,记录过程温度Tmeasure和未修正浓度Cmeasure,经过平滑滤波和多次测量取平均,绘制如图 8(a)所示的浓度y随温度x变化的曲线图,通过线性拟合,得出关系式:
$$ y=570.5-1.77312x $$ (2) 根据图 8(a)和式(2),提出温度偏置Tbias和温度影响因子α补偿方式,得出温度校正浓度Ccorrect,公式如下:
$$ C_{\rm correct}=C_{\rm measure}-(T_{\rm bias}-T_{\rm measure})×α $$ (3) 式中:α=1.77312。
由修正公式(3),计算出修正后的CO2浓度,如图 8(b)所示。通过拟合分析得出,修正后的CO2浓度为501.35±1 μmol·mol-1,标准误差σ=0.4293。
2.3 浓度标定方法
在浓度标定实验中,首先利用多成分气体混合系统配置0~1000 μmol·mol-1浓度范围内以100 μmol·mol-1为浓度梯度的标准气体,共11组。其次,将系统置于恒温试验箱中,控制箱内温度保持在室温23℃。向气体吸收池内通入高纯度氮气,等待稳定后,读取电压信号Vbase,对系统进行校零。以100 μmol·mol-1浓度对标修正系数β100后,每组标准气体依次通入气体吸收池,等待稳定后,记录每组5 min的电压信号Vmeasure,如图 9(a)所示。对每组数据取平均,得到如图 9(b)所示的实测浓度值与标准气体浓度之间的关系。通过非线性曲线拟合,计算出浓度标定函数:
$$ y = 429.343{e^{\frac{x}{{480.696}}}} - 429.113 $$ (4) 式中:
$$ x = \left( {{V_{\rm base}} - {V_{\rm measure}}} \right) \times {\beta _{100}} $$ (5) 3. 实验测试及分析
3.1 恒温控制测试
探测器恒温控制稳定性测试结果分析如图 10所示。测试表明,该温度控制系统设计精确度高达0.1%,响应速度快。相比文献[19]中对系统进行恒温控制的精度为±0.1℃,本研究设计具有更好的恒温控制效果,满足高精度实验要求。
为观察探测器恒温控制前后测量浓度变化情况,向气体吸收池内通入CO2标准气体后密封,将系统置于室内进行连续夜间观测。通过上位机软件,每分钟记录一次环境温度和CO2浓度,经平滑滤波后,绘制出如图 11(a)和(b)所示的浓度随温度变化情况。
探测器恒温控制实验结果表明,滤光片的中心波长和探测器参数受温度影响较大,且存在其他因素影响测量结果。结合图 3和图 11(a)分析,当温度降低时,滤光片的中心波长发生偏移,4.26 μm波长处的光敏性增强,电压信号增大,CO2浓度减小。结合图 4和图 11(b)分析,当探测器恒温控制时,由于CO2吸收线强度随温度降低而增大,电压信号减小,CO2浓度增大。
3.2 算法修正测试
综合公式(2)(3)(4)(5),计算得到:
$$ y = 429.343{e^{\frac{{\left( {{V_{\rm base}} - {V_{\rm measure}}} \right) \times \beta - ({T_{\rm bias}} - {T_{\rm measure}}) \times \alpha }}{{480.696}}}} - 429.113 $$ (6) 式中:Vbase=1.55 V,β=2105,Tbias=25.8℃,α=1.773。
向气体吸收池内通入1000 μmol·mol-1 CO2标准气体后密封,置于室内进行夜间观测,通过上位机软件,每分钟记录一次环境温度和CO2浓度,测量结果如图 12所示。
标准差是反映一组数据离散程度最常用的一种量化形式,是表示精确度的重要指标。计算公式如下:
$$ {\rm SD} = \sqrt {\frac{{\sum\nolimits_{i = 1}^n {{{\left( {{C_{\rm mi}} - \overline {{C_{\rm m}}} } \right)}^2}} }}{{n - 1}}} $$ (7) 式中:Cmi为温度修正后的浓度测量结果;$ \overline {{C_{\rm m}}} $为测量浓度的平均值;n为测量数据总数。
本研究是基于已知标准气体浓度开展实测浓度实验,目的是为验证实测浓度值与实际标准气体浓度值的偏差情况。采用均方根误差(root mean squared error,RMSE)分析法,将标准气体浓度值Cstandard取代公式(7)中的测量浓度平均值$ \overline {{C_{\rm m}}} $,可以直观反映观测值与真值的偏差大小,计算公式如下:
$$ {\rm Re} = \sqrt {\frac{{\sum\nolimits_{i = 1}^n {{{\left( {{C_{\rm mi}} - {C_{\rm standard}}} \right)}^2}} }}{{n - 1}}} $$ (8) 如图 12所示,通过线性拟合分析得出,实测浓度的平均值$ \overline {{C_{\rm m}}} = 1000.15$ μmol·mol-1 ,标准差为SD=1.3774,均方根误差为Re=1.385,测量精度为0.422%,相对标准偏差为0.138%。通过分析得出实验数据结果整体稳定性好、能够真实反映出气体浓度信息。文献[20]中提出的温度补偿模型和卡尔曼滤波算法,实现了1000±150 μmol·mol-1的精度范围,测量精度较低。本文提出的温度补偿方法应用于分析仪后测量精度高、稳定性好、适用于多场合实时监测领域。
3.3 标定实验测试
根据浓度标定函数(4)和(5),开展0~1000 μmol·mol-1浓度梯度测试实验。通过计算每组5 min的浓度测试数据的平均值,得出如图 13所示的实验结果。
实验结果表明,每组浓度测量的相对误差δ<2.5%,且具有很好的线性度,反映了真实的浓度信息。通过高精度温度控制结构和经验公式(温度、浓度)修正,解决了温度漂移、非线性误差等问题,实现了在0~1000 μmol·mol-1浓度范围内的准确测量,可以精准检测室内外CO2浓度变化情况。
4. 结论
文中研究了用于大气二氧化碳浓度红外检测的温度补偿方法,采用恒温控制结构和算法修正,实现精确补偿。从检测原理进行详细分析,讨论了非制冷型中红外铟砷锑探测器响应效率随温度的变化情况,阐述了CO2谱线吸收线强随温度的变化情况。首先通过探测器恒温控制结构和温度控制电路,排除滤光片及探测器存在的温度漂移影响;其次,利用温度偏置算法修正浓度测量结果,消除温度对吸收线强的影响;最后,结合浓度梯度实验对CO2测量结果进行标定,提高测量结果的准确性。
经过实验测量分析,文中提出的温度补偿方法对CO2浓度检测结果的修正具有重大意义,适用性强,应用范围广,能够为陆地生态系统碳收支监测等领域提供可靠数据支撑。
-
表 1 4类检测目标统计数据分析
Table 1 Statistical analysis of four kinds of detection targets
Detection model Mp(%) Mf(%) Mm(%) Person Car Bus Truck Person Car Bus Truck Person Car Bus Truck SSD300×300 66 71 73 68 12 13 14 11 21 12 21 20 RetinaNet-50-500 90 89 88 92 15 17 18 14 6 4 6 14 Tiny-YOLOV3 65 70 75 69 15 10 15 10 20 15 23 21 YOLOV3 95 90 90 95 20 18 20 15 5 3 5 15 I-YOLO 91 88 89 93 3 5 3 5 9 8 6 18 表 2 综合性能测试对比分析
Table 2 Comparison and analysis of comprehensive performance tests
Detection model Mp/% Mf/% Mm/% Mo/FPS Mw/MB SSD300×300 67 11 31 13 196 RetinaNet-50-500 90 15 13 7 246 Tiny-YOLOV3 66 12 32 62 34 YOLOV3 95 16 6 21 234 I-YOLO 91 6 12 81 96 -
[1] 崔美玉. 论红外热像仪的应用领域及技术特点[J]. 中国安防, 2014(12): 90-93. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF201412044.htm CUI Meiyu. On the Application Field and Technical Characteristics of Infrared Thermal Imager[J]. China Security, 2014(12): 90-93. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF201412044.htm
[2] 范延军. 基于机器视觉的先进辅助驾驶系统关键技术研究[D]. 南京: 东南大学, 2016. FAN Yanjun. Research on Key Technologies of Advanced Auxiliary Driving System Based on Machine Vision[D]. Nanjing: Southeast University, 2016.
[3] 杨阳, 杨静宇. 基于显著性分割的红外行人检测[J]. 南京理工大学学报: 自然科学版, 2013, 37(2): 251-256. DOI: 10.3969/j.issn.1005-9830.2013.02.009 YANG Yang, YANG Jingyu. Infrared Pedestrian Detection Based on Significance Segmentation[J]. Journal of Nanjing University of Technology: Natural Science Edition, 2013, 37(2): 251-256. DOI: 10.3969/j.issn.1005-9830.2013.02.009
[4] LE Cun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278- 2324. DOI: 10.1109/5.726791
[5] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference onComputer Vision and Pattern Recognition, 2014: 580-587.
[6] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. DOI: 10.1109/TPAMI.2015.2389824
[7] Girshick R. Fast R-CNN[C]//IEEEInternational Conference on Computer Vision, 2015: 1440-1448.
[8] REN S Q, HE K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10.1109/TPAMI.2016.2577031
[9] LI Y, HE K, SUN J. R-FCN: Object detection via region-based fully convolutional networks[C]//Advances in Neural Information Processing Systems, 2016: 379-387.
[10] LIU W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, 2016: 21-37.
[11] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6517- 6525.
[12] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. (2018-04-08)[2018-09-07]. https://arxiv.org/abs/1804.02767
[13] ZHANG Y, SHEN Y L, ZHANG J. An improved Tiny-YOLOv3 pedestrian detection algorithm[J]. Optik, 2019(183): 17–23. http://ieeexplore.ieee.org/document/8868839
[14] DUAN Kaiwen, BAI Song, XIE Lingxi, et al. CenterNet: Keypoint triplets for object detection[C]//Proceedings of the 2019 IEEE International Conference on Computer Vision. NJ: IEEE, 2019: 6569-6578.
[15] 吴天舒, 张志佳, 刘云鹏, 等. 基于改进SSD的轻量化小目标检测算法[J]. 红外与激光工程, 2018, 47(7): 703005-0703005(7). https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201807007.htm WU Tianshu, ZHANG Zhijia, LIU Yunpeng, et al. A lightweight small object detection algorithm based on improved SSD[J]. Infrared and Laser Engineering, 2018, 47(7): 703005-0703011. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201807007.htm
[16] 唐聪, 凌永顺, 郑科栋, 等. 基于深度学习的多视窗SSD目标检测方法[J]. 红外与激光工程, 2018, 47(1): 126003-126011. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201801042.htm TANG Cong, LING Yongshun, ZHENG Kedong, et al. Object detection method of multi-view SSD based on deep learning[J]. Infrared and Laser Engineering, 2018, 47(1): 126003-0126011. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201801042.htm
[17] 张祥越, 丁庆海, 罗海波, 等. 基于改进LCM的红外小目标检测算法[J]. 红外与激光工程, 2017, 46(7): 726002-0726008. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201707040.htm ZHANG Xiangyue, DING Qinghai, LUO Haibo, et al. Infrared dim target detection algorithm based on improved LCM[J]. Infrared and Laser Engineering, 2017, 46(7): 726002-0726008. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201707040.htm
[18] 张小荣, 胡炳梁, 潘志斌, 等. 基于张量表示的高光谱图像目标检测算法[J]. 光学精密工程, 2019, 27(2): 488-498. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201902025.htm ZHANG Xiaorong, HU Bingliang, PAN Zhibin, et al. Tensor Representation Based Target Detection for Hyperspectral Imagery[J]. Editorial Office of Optics and Precision Engineering, 2019, 27(2): 488-498. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201902025.htm
[19] 王洪庆, 许廷发, 孙兴龙, 等. 目标运动轨迹匹配式的红外-可见光视频自动配准[J]. 光学精密工程, 2018, 26(6): 1533-1541. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201806028.htm WANG Hongqing, XU Tingfa, SUN Xinglong, et al. Infrared-visible video registration with matching motion trajectories of targets[J]. Editorial Office of Optics and Precision Engineering, 2018, 26(6): 1533-1541. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201806028.htm
-
期刊类型引用(16)
1. 刘传洋,吴一全. 基于红外图像的电力设备识别及发热故障诊断方法研究进展. 中国电机工程学报. 2025(06): 2171-2196 . 百度学术
2. 郭语. 电力设备故障智能识别技术研究. 机电产品开发与创新. 2024(03): 153-155+168 . 百度学术
3. 杨嘉妮,杨利波,何婕,刘昊. 基于北斗星基增强技术的无人机电网全域覆盖巡检方法. 微型电脑应用. 2023(01): 114-117 . 百度学术
4. 黄志鸿,肖剑,徐先勇,张辉. 基于谱残差变换的电力设备热缺陷识别技术. 红外技术. 2023(08): 884-889 . 本站查看
5. 黄志鸿,洪峰,黄伟. 形状自适应低秩表示的电力设备热故障诊断方法研究. 红外技术. 2022(08): 870-874 . 本站查看
6. 柏帆,葛志峰,郭鹏程,裘森强,吴军法. 一种电力巡检终端设备的低功耗数据传输策略设计. 电子设计工程. 2022(24): 139-143 . 百度学术
7. 梁剑,黄志鸿,张可人. 基于多尺度引导滤波和决策融合的电力设备热故障诊断方法研究. 红外技术. 2022(12): 1344-1350 . 本站查看
8. 芦佳硕,王光华,曹磊,张彪. 基于VR技术的电力系统异常情况巡检系统设计. 计算技术与自动化. 2021(01): 169-173 . 百度学术
9. 杨孝华,杨霁,胡兵,李曦伟,蒯雷,万俊. 基于激光投射和图像识别的电力设备智能监测方法. 激光杂志. 2021(07): 95-99 . 百度学术
10. 黄志鸿,吴晟,肖剑,张可人,黄伟. 基于引导滤波的电力设备热故障诊断方法研究. 红外技术. 2021(09): 910-915 . 本站查看
11. 王磊. 基于报文识别的变电站安全多方式深度监测技术. 电子设计工程. 2021(20): 15-18+23 . 百度学术
12. 蒲天骄,乔骥,韩笑,张国宾,王新迎. 人工智能技术在电力设备运维检修中的研究及应用. 高电压技术. 2020(02): 369-383 . 百度学术
13. 裴璐,杜浩,黄照贺,黄焕强,吴钊铭. 基于红外检测的电力设备运行风险智能诊断. 电力设备管理. 2020(09): 121-122+132 . 百度学术
14. 缪希仁,刘志颖,鄢齐晨. 无人机输电线路智能巡检技术综述. 福州大学学报(自然科学版). 2020(02): 198-209 . 百度学术
15. 刘云鹏,许自强,李刚,夏彦卫,高树国. 人工智能驱动的数据分析技术在电力变压器状态检修中的应用综述. 高电压技术. 2019(02): 337-348 . 百度学术
16. 佟岗. 探讨铁路电力线路应用GIS技术实现智能维护管理方案. 电子元器件与信息技术. 2019(05): 88-91 . 百度学术
其他类型引用(4)