A Lightweight Infrared Target Detection Algorithm for Multi-scale Targets
-
摘要: 针对现有基于深度学习的红外目标检测算法参数量大、复杂度较高、对多尺度目标检测性能较差等问题，提出了一种针对多尺度目标的轻量级红外目标检测算法。算法以YOLOv3为基础，采用MobileNet V2轻量级骨干网络、设计改进的简化空间金字塔结构（simSPP）、Anchor Free机制、解耦头和简化正负样本分配策略（SimOTA）分别对Backbone、Neck和Head进行优化，最终得到模型大小为6.25 M，浮点运算量2.14 GFLOPs的LMD-YOLOv3轻量级检测算法。在构建的MTS-UAV数据集上mAP达到90.5%，在RTX2080Ti显卡上FPS达到99，与YOLOv3相比mAP提升了2.60%，模型大小为YOLOv3的1/10。Abstract: To solve the problems of large parameters, high complexity, and poor detection performance of multiscale targets in the existing infrared target detection algorithms based on deep learning, a lightweight infrared target detection algorithm for multiscale targets is proposed. Based on YOLOv3, the algorithm uses the MobileNet V2 backbone network, simplified spatial pyramid structure (simSPP), anchor-free mechanism, decoupling head, and simplified positive and negative sample allocation strategies (SimOTA) to optimize the backbone, neck, and head, respectively. Finally, LMD-YOLOv3 with the model size of 6.25 M and floating-point computation of 2.14 GFLOPs was obtained. Based on the MTS-UAV data set, the mAP reached 90.5%, and on the RTX2080Ti dataset, the FPS reached 99. Compared with YOLOv3, mAP increased by 11.7%, and the model size was only 1/10 of YOLOv3.
-
Keywords:
- object detection /
- multi-scale /
- lightweight algorithm
-
0. 引言
热像仪是一种利用热成像技术，将物体温度分布图像转换为可视图像的仪器，因其具有隐蔽性、探测能力强、探测距离远、全天候监控等特点而广泛应用于军用和民用领域。热像仪出厂前必须进行严格的测试，在热像仪的多项测试指标中，最小可分辨温差（minimum resolvable temperature difference，MRTD）既反映了系统的温度灵敏度，又反映了系统的空间分辨率，因此成为综合评价红外成像系统性能的最主要参数。
目前在国内，对热像仪MRTD的测试主要在实验室内进行。然而在野外环境中，对于承受振动、冲击后的热像仪经常需要对其性能进行快速检测；另外，对于光电吊舱、车载和舰载等光电系统中嵌入式安装的热像仪也经常需要检测，但它们不便于拆卸和安装。实验室里的测试装置体积庞大且不适应外场的环境，所以急需一种便携式外场使用的MRTD测试仪[1-3]。
1. 工作原理
MRTD测试仪是一种无穷远温差目标模拟器，主要由准直光学系统、黑体和电控靶标等组成。准直光学系统的作用是提供无穷远的目标，主要有透射式、反射式两种。透射式系统虽易于实现变焦，从而改变空间频率，但装调不方便。而采用离轴抛物镜的反射式系统具有中心无遮拦、不存在任何色差的优点，可用于宽光谱成像；通光口径可以很大，易于解决由材料引起的应力问题等优点。反射式系统虽然轻便性稍有降低，但能够保证光学系统成像质量的核心指标，经济性好。因此，我们选择离轴抛物镜反射式准直光学系统[4-5]。
采用反射式准直系统的MRTD测试仪原理如图 1所示，面源黑体温度与环境温度产生的温差辐射从四杆靶的镂空部分射出，分别经过反射镜折光和抛物镜准直后，出射为平行光束。平行光束从红外窗口射出进入热像仪，人眼通过能否识别热像仪输出的四杆靶图像，从而完成一次MRTD的测试。面源黑体的温度控制和靶标选取均由嵌入式计算机控制。
![]()
图 1 MRTD测试仪原理图Figure 1. Schematic diagram of MRTD tester1 Off axis parabolic mirror; 2 Infrared window; 3 Secondary mirror; 4 Four bar target; 5 Electric switching target wheel; 6 Blackbody; 7 Thermal imager to be tested2. 光学系统优化设计
为了满足某热像仪（焦距100 mm，通光孔径40 mm）的野外测试要求，依据上述原理，我们研制了一台便携式MRTD测试仪，波长范围：3~5 μm，通光口径：70 mm，准直系统焦距：400 mm，使用环境：－10℃~50℃。
2.1 光学系统
利用光学设计软件CODE V对整个光学系统进行优化，生成不同视场点列图和调制传递函数（modulation transfer funtion, MTF）曲线图分别如图 2和图 3所示，从图上分别可以看出：系统轴上像差为零，轴外视场的弥散圆直径均方根（root mean square，RMS）值达到7.5 μm；光学系统传递函数在截止频率18 lp/mm处达到0.42，大于靶标尺寸对应的空间频率。由点列图和MTF曲线分析结果可知，理论上该光学系统接近衍射极限，成像质量良好能满足使用要求。
2.2 抛物镜和反射镜
一般常用于反射镜制造的玻璃有：冕牌玻璃、低膨胀硼硅酸盐玻璃、熔融石英和微晶玻璃。为了测试仪满足温度变化大的外场环境，选用了ULE玻璃（Ultra Low Expansion微晶玻璃，热膨胀系数仅为0.03×10－6/K）作为离轴抛物镜和次镜的材料。虽然这样的光学元件本身对温度变化不敏感，但是光学元件是通过光机结构的承载而实现的，光机结构因温度变化导致的热胀冷缩，影响光学系统的镜间距，即因结构热变形导致的光学元件刚体位移。光学系统参数的改变，使得系统焦面位置与传函发生变化。因此，离轴抛物镜框的材料选择超因瓦合金4J32，尽量减少温度变化对系统的影响。对于离轴抛物镜的面形精度要求PV≤λ/4（λ＝632.8 nm）。
该测试仪的光谱范围取决于反射镜的膜层和红外窗口的透过光谱波段。依据表 1的经验数据，我们选择了离轴抛物镜和反射次镜表面均镀银膜，既可工作于3~5 μm，也可以用于8~15 μm，系统平均反射率可以达到0.93。
表 1 离轴抛物镜（主镜）和反射镜（次镜）镀不同膜层的系统反射率Table 1. Reflectivity of off axis parabolic mirror and secondary mirror coated with different materialsCoating 0.4-0.76 μm 1-2.5 μm 3-5 μm 8-15 μm Both mirrors-protected aluminum 0.77 0.86 0.92 0.93 Primary mirror-protected aluminum；
secondary mirror--protected silver0.84 0.9 0.93 0.93 Both mirrors-protected silver 0.93 0.93 0.93 0.93 Primary mirror--protected aluminum；
secondary mirror--protected gold0.53 0.92 0.95 0.95 Both mirrors-protected gold 0.36 0.96 0.96 0.96 3. 结构及环境适应性设计
为了满足体积小、重量轻、便于维修等要求，采用模块化设计思路：设计了一个铸造主壳体如图 4所示，其余抛物镜组、黑体组等设计为各自独立的组件，可以方便地从主壳体上安装和拆卸，便于维修和检测。
为了减轻重量、缩短周期，主壳体采用铝合金熔模铸造。熔模铸造一般采用3D打印石蜡模，然后利用石蜡模做出型腔，加热后石蜡融化从而制造出型腔，然后向型腔浇铸完成铸造。具有周期短、精度高等优点。为了尽量消除杂散光的影响，如图 5所示在主壳体内部设计三处消杂光光阑，光阑上双面喷涂极低反射率的无光黑色涂层；壳体内部喷砂后黑色阳极氧化，消除杂散光影响。主壳体铸造完成后必须按相关要求进行浸润处理和荧光检测，其精密加工前必须进行人工时效处理。
![]()
图 5 主壳体内部消杂光光阑示意图Figure 5. Schematic diagram of stay light diaphragm in main shell1 Off axis parabolic mirros: 2 Stray aperture; 3 Focal plane; 4 Mirror离轴抛物镜的固定，对于必须承受高低温、冲击振动的光学镜组，采用室温RTV（room temperature vulcanized）胶将反射镜与镜框进行粘接是一种行之有效的方法。首先将反射镜的中心与镜框的中心调节重合，再将黑色硅橡胶从径向均布的孔挤进镜框与镜子的径向间隙，待硅橡胶完全固化后完成装配。反射镜与镜框之间的胶层要足够厚，以承受膨胀系数之差。采用上述方法将离轴抛物镜与镜框固定，将离轴抛物镜在固定前、后分别利用焦距1600 mm平行光管、分辨率靶标组和4×显微目镜组合测试其光学分辨率，其光学分辨率几乎无变化，可以满足设计要求。
机械接口设计，采用三维设计软件NX对每一个零件精确建模并赋予密度后，将零件装配为装配体后，用NX计算出重心位置；然后将螺纹接口的位置设计在仪器的重心。本仪器外场测试时采用三脚架支撑，所以在仪器底部重心位置设计1/4″-20UNC螺纹接口，用于安装三脚架快装板底板，以便将其方便地固定到三脚架上。
为了防止潮湿的空气和灰尘进入，外场用光学仪器必须具有良好的密封。如果潮湿的空气进入到产品中，遇到较高温度时空气中的霉菌孢子就会在玻璃表面迅速地生长，从而导致光学玻璃生霉生雾而影响产品的正常使用。为了防止上述现象的发生，在该测试仪上使用橡胶绳和O型密封圈对整个光学舱进行整体密封。还给光学舱内部充入干燥氮气。从而保证了水汽和尘埃都无法进入光学舱内部，既延长了测试仪的使用寿命，也使其适用于极端恶劣的环境。在测试仪上设置了充气阀和放气阀，充、放气阀的接口螺纹采用锥管螺纹，因锥管螺纹自身具有密封性，在不使用填料而依靠螺纹牙变形就可以保证连接的密封性[6-7]。
4. 关键部件设计
4.1 黑体
半导体制冷器（thermo electric cooler，TEC）是一种通过直流电制冷或加热的元件，其具有控温精密、制冷快速、结构简单、尺寸小、重量轻等特点[8]。本黑体拟采用TEC进行温度控制，TEC工作表面温度不均匀，所以需将紫铜加工的辐射板紧贴在TEC工作表面，从而得到一个表面温度均匀的辐射面。当TEC用于制冷的时候，其背面会散发出大热量，一般需在其背面安装散热器。因为散热量大，需要增加风扇进行主动散热。TEC和辐射体周围用一个聚四氟乙烯壳体进行包裹并保温。将Pt100头部涂抹导热硅脂插入到辐射体上的测温孔，可以准确测量其温度，从而反馈给精密温度控制系统，黑体工作原理如图 6所示。
![]()
图 6 黑体原理图Figure 6. Blackbody schematic diagram1 Pt100;2 Teflon shell; 3 Radiating body; 4 TEC; 5 Radiator; 6 AC fan辐射体要求辐射面的温度梯度小，所以要求加工辐射体的材料导热系数高；同时对辐射体还要求其能快速升、降温，因此要求其具有较小的比热容；对比了常用金属的导热系数和比热容，综合考虑，选择了紫铜加工辐射体。辐射体上设置测温铂电阻安装孔，测温铂电阻将温度反馈给温度控制系统；辐射体后表面为了达到良好的热传导，安装TEC的散热器零件表面平面度要优于0.03 mm，且在其前后接触面之间涂抹优质导热硅脂。经过计算，选择了尺寸规格为40 mm×40 mm×7 mm的TEC，具体参数如下：工作电压为12 V，电流为3 A。研制的黑体参数如表 2所示。
表 2 黑体参数Table 2. Blackbody parametersOperating temperature range 20~50℃ Effective area 40 mm×40 mm Resolution 0.01℃ Stability ±0.05℃/3 min Uniformity ±0.1℃ Emissivity ≥0.97 4.2 靶标及靶标转轮
四杆靶标为4个镂空的长方形，其水平均布，镂空长方形的纵横比为7:1，靶杆之间的间距与镂空的宽度相等，如图 7所示。一般需要选择4个空间频率，空间频率可取0.2f0，0.5f0，1.0f0，1.2f0。其中f0为热像仪的特征空间频率1/(2DAS)，其中DAS（detector angular subtense）是热像仪探测器的像元对其物镜的张角。首先在0.5 mm厚的紫铜板上利用特殊激光加工出所需的精密镂空四杆靶标，然后使用测量投影仪测试其尺寸及其精度，在满足精度的靶标正面喷涂高发射率黑色涂料Nextel 811-21，喷涂后其发射率可以达到0.98；靶标反面镀金或镀光亮铬来提高其在中波红外波段的反射率。同时，为了消除外界环境对目标靶及旋转靶轮温度的影响，应采取隔热措施，所以其靶标框采用隔热性能好且硬度高的黑色聚甲醛（polyformaldehyde，POM）加工而成[9-10]。
靶标转轮采用步距角1.8°的二相步进电机驱动小齿轮，小齿轮带动大齿轮，大齿轮带动靶标轮转动。靶标轮的转轴后面安装光电式增量编码器，形成闭环控制，优于0.1 mm的定位精度可满足要求。
4.3 光学窗口
红外窗口起到既不降低光学透过率又能将光学系统加以密封、与外部隔离的作用。光学窗口采用单晶锗玻璃，其一面镀高效增透膜，另一面镀高效增透膜加类金刚石保护膜，以提高膜层强度和环境适应性，在3~5 μm透过率大于98%。窗口安装时，其光轴倾斜系统主光轴安装，可消除妨碍观察的二次成像[11]。
由于光学舱内部充入超压5 kPa的氮气，会对光学窗口产生应力，严重时会导致窗口破裂，因此需要对窗口玻璃进行强度校核。简单支撑的圆形光学玻璃在压力条件下产生的应力计算公式为[12]：
$$ \sigma = \frac{{3\Delta p\left( {3 + \mu } \right)}}{{32}} \cdot {\left( {\frac{d}{h}} \right)^2} \cdot {F_{\text{S}}} \leqslant {\sigma _{\text{F}}} $$ (1) 式中：Δp为光学玻璃承受的压力差；μ为光学玻璃的泊松比（锗的泊松比为2.8）；d为光学玻璃的直径；h为光学玻璃的厚度。σF是光学材料的屈服强度（锗的屈服强度为75 MPa）；FS为安全系数（光学机械中通常取4）。利用公式(1)计算，当光窗承受的压力差为5 kPa时，其产生的应力为0.4 MPa，远小于锗玻璃的屈服强度75 MPa，所以光学窗口设计安全可靠。
5. 仪器的装调
当一个光学系统完成光学设计和光学加工后，其成像质量主要取决于各光学元件之间的中心偏和光学元件之间的空气间隔。这两个因素一般由结构零件来保证。当结构零件加工精度低或零件装配后误差累积不能满足要求时，常常需要在装配时进行调试从而使其满足使用[13]。本仪器将靶标放置在抛物镜的焦点处，使其出射光束平行。调节思路为：考虑到离轴抛物镜焦距长400 mm，它的微调会引起焦点位置变动比较大。因此以离轴抛物镜为基准，对反射镜和靶标调节比较方便。分别对反射镜和靶标进行俯仰、方位和高低精密调节，从而达到设计精度要求[6]。
利用图 8所示五棱镜法将靶标调节到焦点位置。首先，在T3经纬仪的望远镜中找到五棱镜出射面上的靶标像，将经纬仪的中心十字分划与靶标上的“十字丝”中心重合。然后将五棱镜从B沿着直线导轨移动到A（即从抛物镜出射光的一端移动到另一端），以中心分划为基准，如果“十字丝”没有发生左右移动，则此时靶标正在焦平面上。如果将五棱镜从B移动到A过程中，靶标向左偏移，则需要将靶标远离平行光管；反之，则将靶标靠近平行光管。利用此方法反复调节，最终使出射光束的平行性小于15″。
![]()
图 8 离轴反射系统装调示意图Figure 8. Installation and adjustment diagram of off-axis reflection system1 Pentaprism; 2 Theodolite; 3 Mirror; 4 Cross target; 5 Lamp; 6 Off axis parabolic mirror6. 结论
该仪器不但具有体积小、重量轻（约6 kg），可以快速收纳和展开使用。而且还可以承受冲击、随机振动。在－10℃~50℃的野外环境，能够准确测量热像仪的MRTD。
在实验中发现仪器靶标面的上下位置温度有轻微的差异，在后续的改进中，将黑体辐射表面水平放置或可以改善此问题；目前的MRTD多采用人眼主观测量，其会降低测量结果的重复性和准确性。所以采用MTF法、图像识别法等的客观测量是进一步研究的方向[14-15]。
-
表 1 SimSPP模块在YOLOv3算法上实验结果对比
Table 1 Comparison of experimental results of SimSPP module on YOLOv3 algorithm
Model Recall mAP FPS FLOPs Params YOLOV3 90.70% 87.90% 74 12.41G 61.52M YOLOV3+
SPP90.90% 88.60% 71 12.57G 64.15M YOLOV3+
SPPA90.20% 88.00% 73 12.51G 63.10M YOLOV3+
SPPB90.60% 88.50% 72 12.51G 63.10M YOLOV3+
SPPC90.90% 88.30% 72 12.51G 63.10M 
下载: 导出CSV
表 2 SimSPP模块在YOLOX-s算法上实验结果对比
Table 2 Comparison of experimental results of SimSPP module on YOLOX-s algorithm
YOLOX-S YOLOX-SA YOLOX-SB YOLOX-SC mAP 80.90% 80.70% 80.90% 80.60% FPS 84 90 91 91
下载: 导出CSV
表 3 LMD-YOLOv3消融实验结果对比
Table 3 LMD-YOLOv3 comparison of ablation experiment results
Recall mAP FPS FLOPs Params Experiment 1 90.70% 87.90% 74 12.41G 61.52M Experiment 2 90.60% 88.50% 72 12.51G 63.10M Experiment 3 91.20% 90.40% 74 11.19G 46.20M Experiment 4 91.20% 90.50% 99 2.14G 6.25M
下载: 导出CSV
表 4 横向实验结果对比
Table 4 Comparison of horizontal experimental results
Recall/% mAP/% FPS FLOPs/G Params/M YOLOv3 90.70 87.90 74 12.41 61.52 YOLOv4 85.57 86.99 70 11.30 63.9 YOLOX-s 88.20 80.90 84 2.13 8.94 Faster-RCNN 81.60 81.30 49 26.24 41.12 LMD-YOLOv3 (Ours) 91.20 90.50 99 2.14 6.25
下载: 导出CSV
-
[1] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.
[2] Girshick R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 1440-1448.
[3] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. Advances in neural Information Processing Systems, 2015, 28: 91-99.
[4] LIU W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European conference on computer vision., 2016: 21-37.
[5] Bochkovskiy A, WANG C Y, LIAO H Y M. Yolov4: Optimal speed and accuracy of object detection[J/OL]. arXiv preprint arXiv, 2020, https://arxiv.org/abs/2004.10934
[6] WANG C Y, Yeh I H, LIAO H Y M. You Only Learn One Representation: Unified Network for Multiple Tasks[J/OL]. arXiv pre-print arXiv, 2021, https://arxiv.org/abs/2105.04206.
[7] GE Z, LIU S, WANG F, et al. Yolox: Exceeding yolo series in 2021[J/OL]. arXiv preprint arXiv, 2021, https://arxiv.org/abs/2107.08430.
[8] LIU M, DU H, ZHAO Y, et al. Image small target detection based on deep learning with SNR controlled sample generation[M]//Current Trends in Computer Science and Mechanical Automation, 2018: 211-220.
[9] LIN Liangkui, WANG Shaoyou, TANG Zhongxing. Using deep learning to detect small targets in infrared oversampling images[J]. Journal of Systems Engineering and Electronics, 2018, 29(5): 947-952. DOI: 10.21629/JSEE.2018.05.07
[10] ZHAO D, ZHOU H, RANG S, et al. An adaptation of CNN for small target detection in the infrared[C]//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium, 2018: 669-672.
[11] 谢江荣. 基于深度学习的空中红外目标检测关键技术研究[D]. 上海: 中国科学院大学(中国科学院上海技术物理研究所), 2019. XIE Jiangrong. Research on Key Technologies of Air Infrared Target Detection Based on Deep Learning[D] Shanghai: University of Chinese Academy of Sciences (Shanghai Institute of Technical Physics, Chinese Academy of Sciences), 2019.
[12] FAN M, TIAN S, LIU K, et al. Infrared small target detection based on region proposal and CNN classifier[J]. Signal, Image and Video Processing, 2021, 15: 1927-1936. DOI: 10.1007/s11760-021-01936-z
[13] 张凯, 刘昊, 杨曦, 等. 基于关键点检测网络的空中红外目标要害部位识别算法[J]. 西北工业大学学报, 2020, 38(6): 1154-1162. DOI: 10.3969/j.issn.1000-2758.2020.06.003 ZHANG K, LIU H, YANG X, et al. Key position recognition algorithm of aerial infrared target based on key point detection net-work [J]. Journal of Northwest University of Technology, 2020, 38(6): 1154-1162 DOI: 10.3969/j.issn.1000-2758.2020.06.003
[14] Redmon J, Farhadi A. Yolov3: An incremental improvement[J/OL]. arXiv preprint arXiv, 2018, https://arxiv.org/abs/1804.02767.
[15] Howard A, Zhmoginov A, CHEN L C, et al. Inverted residuals and linear bottlenecks: Mobile networks for classification, detection and segmentation[J/OL]. Computer Science, 2018, https://arxiv.org/abs/1801.04381v2.
[16] Howard A G, ZHU M, CHEN B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J/OL]. arXiv preprint arXiv, 2017, https://arxiv.org/abs/1704.04861.
[17] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(9): 1904-1916. DOI: 10.1109/TPAMI.2015.2389824
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数: 172
- HTML全文浏览量: 53
- PDF下载量: 44
- 被引次数: 2
