Anti-occlusion Process of Infrared Target Tracking Based on Correlation Filters
-
摘要: 针对传统的相关滤波算法在红外目标跟踪过程中，目标被完全遮挡后跟踪失效的问题，提出一种结合了多尺度滤波跟踪器和基于深度学习检测器的目标实时跟踪抗遮挡算法。首先使用跟踪器跟踪目标，计算目标的峰值响应强度并比较峰值响应强度与经验阈值的大小以判断目标是否被遮挡或跟踪丢失。然后当目标被遮挡或跟踪丢失时，停止更新跟踪器，由于目标被遮挡后再次进入画面的位置可能会发生巨大变化，并且跟踪器在整个图像中搜索目标的速度特别慢，因此在不降低跟踪精度和速度的情况下，后续帧中采用了检测器检测目标并得到多个目标框。利用检测器得到的目标框，分别利用跟踪器进行相关滤波，针对每个目标框得到一个峰值响应强度，其中峰值响应强度最大且超过经验阈值的目标框即为重新进入画面的目标。通过与多尺度相关滤波算法比较，所提算法在满足实时跟踪的情况下，能有效地解决红外目标被遮挡的问题，具有更高的鲁棒性和精确度。Abstract: Focusing on the issue that traditional correlation filters have poor performance in infrared target tracking with occlusion, an anti-occlusion and real-time target-tracking algorithm based on a multi-scale filter tracker and a deep learning detector is proposed. First, the peak response value is calculated using the tracker; if the peak value is less than the threshold, the target is occluded or tracking is lost. Second, the detector stops updating when the target is occluded or tracking is lost. The position of the target changes significantly when it comes in frame again after occlusion, and the speed of target searching with the tracker will be very slow. At this time, a detector is employed to detect the targets in the subsequent frames without loss of tracking accuracy and speed. The peak values are calculated for each target box that is detected by the detector, and the target with a maximum peak value larger than the threshold is tracked. The results of the experiment compared with the multi-scale correlation filter show that the proposed real-time tracking algorithm can not only effectively solve infrared target occlusion, but also has higher tracking robustness and accuracy.
-
0. 引言
热像仪是一种利用热成像技术，将物体温度分布图像转换为可视图像的仪器，因其具有隐蔽性、探测能力强、探测距离远、全天候监控等特点而广泛应用于军用和民用领域。热像仪出厂前必须进行严格的测试，在热像仪的多项测试指标中，最小可分辨温差（minimum resolvable temperature difference，MRTD）既反映了系统的温度灵敏度，又反映了系统的空间分辨率，因此成为综合评价红外成像系统性能的最主要参数。
目前在国内，对热像仪MRTD的测试主要在实验室内进行。然而在野外环境中，对于承受振动、冲击后的热像仪经常需要对其性能进行快速检测；另外，对于光电吊舱、车载和舰载等光电系统中嵌入式安装的热像仪也经常需要检测，但它们不便于拆卸和安装。实验室里的测试装置体积庞大且不适应外场的环境，所以急需一种便携式外场使用的MRTD测试仪[1-3]。
1. 工作原理
MRTD测试仪是一种无穷远温差目标模拟器，主要由准直光学系统、黑体和电控靶标等组成。准直光学系统的作用是提供无穷远的目标，主要有透射式、反射式两种。透射式系统虽易于实现变焦，从而改变空间频率，但装调不方便。而采用离轴抛物镜的反射式系统具有中心无遮拦、不存在任何色差的优点，可用于宽光谱成像；通光口径可以很大，易于解决由材料引起的应力问题等优点。反射式系统虽然轻便性稍有降低，但能够保证光学系统成像质量的核心指标，经济性好。因此，我们选择离轴抛物镜反射式准直光学系统[4-5]。
采用反射式准直系统的MRTD测试仪原理如图 1所示，面源黑体温度与环境温度产生的温差辐射从四杆靶的镂空部分射出，分别经过反射镜折光和抛物镜准直后，出射为平行光束。平行光束从红外窗口射出进入热像仪，人眼通过能否识别热像仪输出的四杆靶图像，从而完成一次MRTD的测试。面源黑体的温度控制和靶标选取均由嵌入式计算机控制。
![]()
图 1 MRTD测试仪原理图Figure 1. Schematic diagram of MRTD tester1 Off axis parabolic mirror; 2 Infrared window; 3 Secondary mirror; 4 Four bar target; 5 Electric switching target wheel; 6 Blackbody; 7 Thermal imager to be tested2. 光学系统优化设计
为了满足某热像仪（焦距100 mm，通光孔径40 mm）的野外测试要求，依据上述原理，我们研制了一台便携式MRTD测试仪，波长范围：3~5 μm，通光口径：70 mm，准直系统焦距：400 mm，使用环境：－10℃~50℃。
2.1 光学系统
利用光学设计软件CODE V对整个光学系统进行优化，生成不同视场点列图和调制传递函数（modulation transfer funtion, MTF）曲线图分别如图 2和图 3所示，从图上分别可以看出：系统轴上像差为零，轴外视场的弥散圆直径均方根（root mean square，RMS）值达到7.5 μm；光学系统传递函数在截止频率18 lp/mm处达到0.42，大于靶标尺寸对应的空间频率。由点列图和MTF曲线分析结果可知，理论上该光学系统接近衍射极限，成像质量良好能满足使用要求。
2.2 抛物镜和反射镜
一般常用于反射镜制造的玻璃有：冕牌玻璃、低膨胀硼硅酸盐玻璃、熔融石英和微晶玻璃。为了测试仪满足温度变化大的外场环境，选用了ULE玻璃（Ultra Low Expansion微晶玻璃，热膨胀系数仅为0.03×10－6/K）作为离轴抛物镜和次镜的材料。虽然这样的光学元件本身对温度变化不敏感，但是光学元件是通过光机结构的承载而实现的，光机结构因温度变化导致的热胀冷缩，影响光学系统的镜间距，即因结构热变形导致的光学元件刚体位移。光学系统参数的改变，使得系统焦面位置与传函发生变化。因此，离轴抛物镜框的材料选择超因瓦合金4J32，尽量减少温度变化对系统的影响。对于离轴抛物镜的面形精度要求PV≤λ/4（λ＝632.8 nm）。
该测试仪的光谱范围取决于反射镜的膜层和红外窗口的透过光谱波段。依据表 1的经验数据，我们选择了离轴抛物镜和反射次镜表面均镀银膜，既可工作于3~5 μm，也可以用于8~15 μm，系统平均反射率可以达到0.93。
表 1 离轴抛物镜（主镜）和反射镜（次镜）镀不同膜层的系统反射率Table 1. Reflectivity of off axis parabolic mirror and secondary mirror coated with different materialsCoating 0.4-0.76 μm 1-2.5 μm 3-5 μm 8-15 μm Both mirrors-protected aluminum 0.77 0.86 0.92 0.93 Primary mirror-protected aluminum；
secondary mirror--protected silver0.84 0.9 0.93 0.93 Both mirrors-protected silver 0.93 0.93 0.93 0.93 Primary mirror--protected aluminum；
secondary mirror--protected gold0.53 0.92 0.95 0.95 Both mirrors-protected gold 0.36 0.96 0.96 0.96 3. 结构及环境适应性设计
为了满足体积小、重量轻、便于维修等要求，采用模块化设计思路：设计了一个铸造主壳体如图 4所示，其余抛物镜组、黑体组等设计为各自独立的组件，可以方便地从主壳体上安装和拆卸，便于维修和检测。
为了减轻重量、缩短周期，主壳体采用铝合金熔模铸造。熔模铸造一般采用3D打印石蜡模，然后利用石蜡模做出型腔，加热后石蜡融化从而制造出型腔，然后向型腔浇铸完成铸造。具有周期短、精度高等优点。为了尽量消除杂散光的影响，如图 5所示在主壳体内部设计三处消杂光光阑，光阑上双面喷涂极低反射率的无光黑色涂层；壳体内部喷砂后黑色阳极氧化，消除杂散光影响。主壳体铸造完成后必须按相关要求进行浸润处理和荧光检测，其精密加工前必须进行人工时效处理。
![]()
图 5 主壳体内部消杂光光阑示意图Figure 5. Schematic diagram of stay light diaphragm in main shell1 Off axis parabolic mirros: 2 Stray aperture; 3 Focal plane; 4 Mirror离轴抛物镜的固定，对于必须承受高低温、冲击振动的光学镜组，采用室温RTV（room temperature vulcanized）胶将反射镜与镜框进行粘接是一种行之有效的方法。首先将反射镜的中心与镜框的中心调节重合，再将黑色硅橡胶从径向均布的孔挤进镜框与镜子的径向间隙，待硅橡胶完全固化后完成装配。反射镜与镜框之间的胶层要足够厚，以承受膨胀系数之差。采用上述方法将离轴抛物镜与镜框固定，将离轴抛物镜在固定前、后分别利用焦距1600 mm平行光管、分辨率靶标组和4×显微目镜组合测试其光学分辨率，其光学分辨率几乎无变化，可以满足设计要求。
机械接口设计，采用三维设计软件NX对每一个零件精确建模并赋予密度后，将零件装配为装配体后，用NX计算出重心位置；然后将螺纹接口的位置设计在仪器的重心。本仪器外场测试时采用三脚架支撑，所以在仪器底部重心位置设计1/4″-20UNC螺纹接口，用于安装三脚架快装板底板，以便将其方便地固定到三脚架上。
为了防止潮湿的空气和灰尘进入，外场用光学仪器必须具有良好的密封。如果潮湿的空气进入到产品中，遇到较高温度时空气中的霉菌孢子就会在玻璃表面迅速地生长，从而导致光学玻璃生霉生雾而影响产品的正常使用。为了防止上述现象的发生，在该测试仪上使用橡胶绳和O型密封圈对整个光学舱进行整体密封。还给光学舱内部充入干燥氮气。从而保证了水汽和尘埃都无法进入光学舱内部，既延长了测试仪的使用寿命，也使其适用于极端恶劣的环境。在测试仪上设置了充气阀和放气阀，充、放气阀的接口螺纹采用锥管螺纹，因锥管螺纹自身具有密封性，在不使用填料而依靠螺纹牙变形就可以保证连接的密封性[6-7]。
4. 关键部件设计
4.1 黑体
半导体制冷器（thermo electric cooler，TEC）是一种通过直流电制冷或加热的元件，其具有控温精密、制冷快速、结构简单、尺寸小、重量轻等特点[8]。本黑体拟采用TEC进行温度控制，TEC工作表面温度不均匀，所以需将紫铜加工的辐射板紧贴在TEC工作表面，从而得到一个表面温度均匀的辐射面。当TEC用于制冷的时候，其背面会散发出大热量，一般需在其背面安装散热器。因为散热量大，需要增加风扇进行主动散热。TEC和辐射体周围用一个聚四氟乙烯壳体进行包裹并保温。将Pt100头部涂抹导热硅脂插入到辐射体上的测温孔，可以准确测量其温度，从而反馈给精密温度控制系统，黑体工作原理如图 6所示。
![]()
图 6 黑体原理图Figure 6. Blackbody schematic diagram1 Pt100;2 Teflon shell; 3 Radiating body; 4 TEC; 5 Radiator; 6 AC fan辐射体要求辐射面的温度梯度小，所以要求加工辐射体的材料导热系数高；同时对辐射体还要求其能快速升、降温，因此要求其具有较小的比热容；对比了常用金属的导热系数和比热容，综合考虑，选择了紫铜加工辐射体。辐射体上设置测温铂电阻安装孔，测温铂电阻将温度反馈给温度控制系统；辐射体后表面为了达到良好的热传导，安装TEC的散热器零件表面平面度要优于0.03 mm，且在其前后接触面之间涂抹优质导热硅脂。经过计算，选择了尺寸规格为40 mm×40 mm×7 mm的TEC，具体参数如下：工作电压为12 V，电流为3 A。研制的黑体参数如表 2所示。
表 2 黑体参数Table 2. Blackbody parametersOperating temperature range 20~50℃ Effective area 40 mm×40 mm Resolution 0.01℃ Stability ±0.05℃/3 min Uniformity ±0.1℃ Emissivity ≥0.97 4.2 靶标及靶标转轮
四杆靶标为4个镂空的长方形，其水平均布，镂空长方形的纵横比为7:1，靶杆之间的间距与镂空的宽度相等，如图 7所示。一般需要选择4个空间频率，空间频率可取0.2f0，0.5f0，1.0f0，1.2f0。其中f0为热像仪的特征空间频率1/(2DAS)，其中DAS（detector angular subtense）是热像仪探测器的像元对其物镜的张角。首先在0.5 mm厚的紫铜板上利用特殊激光加工出所需的精密镂空四杆靶标，然后使用测量投影仪测试其尺寸及其精度，在满足精度的靶标正面喷涂高发射率黑色涂料Nextel 811-21，喷涂后其发射率可以达到0.98；靶标反面镀金或镀光亮铬来提高其在中波红外波段的反射率。同时，为了消除外界环境对目标靶及旋转靶轮温度的影响，应采取隔热措施，所以其靶标框采用隔热性能好且硬度高的黑色聚甲醛（polyformaldehyde，POM）加工而成[9-10]。
靶标转轮采用步距角1.8°的二相步进电机驱动小齿轮，小齿轮带动大齿轮，大齿轮带动靶标轮转动。靶标轮的转轴后面安装光电式增量编码器，形成闭环控制，优于0.1 mm的定位精度可满足要求。
4.3 光学窗口
红外窗口起到既不降低光学透过率又能将光学系统加以密封、与外部隔离的作用。光学窗口采用单晶锗玻璃，其一面镀高效增透膜，另一面镀高效增透膜加类金刚石保护膜，以提高膜层强度和环境适应性，在3~5 μm透过率大于98%。窗口安装时，其光轴倾斜系统主光轴安装，可消除妨碍观察的二次成像[11]。
由于光学舱内部充入超压5 kPa的氮气，会对光学窗口产生应力，严重时会导致窗口破裂，因此需要对窗口玻璃进行强度校核。简单支撑的圆形光学玻璃在压力条件下产生的应力计算公式为[12]：
$$ \sigma = \frac{{3\Delta p\left( {3 + \mu } \right)}}{{32}} \cdot {\left( {\frac{d}{h}} \right)^2} \cdot {F_{\text{S}}} \leqslant {\sigma _{\text{F}}} $$ (1) 式中：Δp为光学玻璃承受的压力差；μ为光学玻璃的泊松比（锗的泊松比为2.8）；d为光学玻璃的直径；h为光学玻璃的厚度。σF是光学材料的屈服强度（锗的屈服强度为75 MPa）；FS为安全系数（光学机械中通常取4）。利用公式(1)计算，当光窗承受的压力差为5 kPa时，其产生的应力为0.4 MPa，远小于锗玻璃的屈服强度75 MPa，所以光学窗口设计安全可靠。
5. 仪器的装调
当一个光学系统完成光学设计和光学加工后，其成像质量主要取决于各光学元件之间的中心偏和光学元件之间的空气间隔。这两个因素一般由结构零件来保证。当结构零件加工精度低或零件装配后误差累积不能满足要求时，常常需要在装配时进行调试从而使其满足使用[13]。本仪器将靶标放置在抛物镜的焦点处，使其出射光束平行。调节思路为：考虑到离轴抛物镜焦距长400 mm，它的微调会引起焦点位置变动比较大。因此以离轴抛物镜为基准，对反射镜和靶标调节比较方便。分别对反射镜和靶标进行俯仰、方位和高低精密调节，从而达到设计精度要求[6]。
利用图 8所示五棱镜法将靶标调节到焦点位置。首先，在T3经纬仪的望远镜中找到五棱镜出射面上的靶标像，将经纬仪的中心十字分划与靶标上的“十字丝”中心重合。然后将五棱镜从B沿着直线导轨移动到A（即从抛物镜出射光的一端移动到另一端），以中心分划为基准，如果“十字丝”没有发生左右移动，则此时靶标正在焦平面上。如果将五棱镜从B移动到A过程中，靶标向左偏移，则需要将靶标远离平行光管；反之，则将靶标靠近平行光管。利用此方法反复调节，最终使出射光束的平行性小于15″。
![]()
图 8 离轴反射系统装调示意图Figure 8. Installation and adjustment diagram of off-axis reflection system1 Pentaprism; 2 Theodolite; 3 Mirror; 4 Cross target; 5 Lamp; 6 Off axis parabolic mirror6. 结论
该仪器不但具有体积小、重量轻（约6 kg），可以快速收纳和展开使用。而且还可以承受冲击、随机振动。在－10℃~50℃的野外环境，能够准确测量热像仪的MRTD。
在实验中发现仪器靶标面的上下位置温度有轻微的差异，在后续的改进中，将黑体辐射表面水平放置或可以改善此问题；目前的MRTD多采用人眼主观测量，其会降低测量结果的重复性和准确性。所以采用MTF法、图像识别法等的客观测量是进一步研究的方向[14-15]。
-
![]()
图 1 基于相关滤波的目标跟踪抗遮挡处理流程图
Figure 1. The schematic illustration of anti-occlusion process of target tracking based on correlation filters
![]()
图 2 中波红外下目标跟踪结果（实线：本文算法，虚线：fDSST）
Figure 2. The target tracking results of middle-wave infrared images (solid line: proposed algorithm, dotted line: fDSST)
![]()
图 3 长波红外下目标跟踪结果（实线：本文算法，虚线：fDSST）
Figure 3. The target tracking results of long-wave infrared images(solid line: proposed algorithm, dotted line: fDSST)
![]()
图 4 中波和长波红外下的平均距离精度
Figure 4. The average distance precision of middle-wave and long-wave infrared images
![]()
图 5 中波和长波红外下的平均成功率
Figure 5. The average success rate of middle-wave and long-wave infrared images
![]()
图 6 在线测试场景一跟踪结果（从左至右、从上至下分别为第39、41、42、43、44、45帧）
Figure 6. The tracking result of online test in the first scene(the frame index are 39、41、42、43、44、45 respectively from left to right and from top to bottom)
![]()
图 7 在线测试场景二跟踪结果（从左至右、从上至下分别为第69、74、76、79、81、92帧）
Figure 7. The tracking result of online test in the second scene(the frame index are 69、74、76、79、81、92 respectively from left to right and from top to bottom)
表 1 检测器测试结果
Table 1 The test results of detector
Target Image number Precision/% Recall/% Fighter 864 100 99.3 Helicopter 864 99.5 99.7 Patrol 864 100 99.8 Freighter 864 99.6 100 Bus 560 99.4 98.7 Hummer 560 99.3 98.7 Tank 560 97.7 97.3 Truck 560 99.6 98.7 
下载: 导出CSV
表 2 跟踪算法运行速度对比
Table 2 Running speed comparison of tracking algorithms
Algorithm Frames Per Second fDSST 105 Ours 94
下载: 导出CSV
-
[1] 蔡毅. 红外系统中的扫描型和凝视型FPA[J]. 红外技术, 2001, 23(1): 1-5, 18. DOI: 10.3969/j.issn.1001-8891.2001.01.002 CAI Yi. The scanning and starring FPA in infrared systems[J]. Infrared Technology, 2001, 23(1): 1-5, 18. DOI: 10.3969/j.issn.1001-8891.2001.01.002
[2] 范晋祥, 杨建宇. 军用红外成像探测跟踪技术发展趋势与新技术研究进展[C]//第十届全国光电技术学术交流会论文集, 2012: 125-134. FAN Jinxiang, YANG Jianyu. Development trend and research progress of military infrared imaging detection and tracking technology[C]//Proceedings of the 10th National Symposium on Optoelectronic Technology, 2012: 125-134.
[3] 王云萍. 美国天基红外导弹预警技术分析[J]. 光电技术应用, 2019, 34(3): 1-7. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYG201903001.htm WANG Yunping. Analysis of space-based infrared missile warning system in America[J]. Electro-Optic Technology Application, 2019, 34(3): 1-7. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYG201903001.htm
[4] FU Z, CHANG Z, YONG H, et al. Foreground gated network for surveillance object detection[C]//2018 IEEE Fourth International Conference on Multimedia Big Data (BigMM), 2018: 1-7.
[5] Danelljan M, Hager G, Khan F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//IEEE International Conference on Computer Vision, 2015: 4310-4318.
[6] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[C]//The Twenty-Third IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2010: 13-18.
[7] Henriques J F, Rui C, Martins P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//Proceedings of the 12th European Conference on Computer Vision, 2012: 702-715.
[8] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[C]//IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37: 583-596.
[9] Danelljan M, Häger G, Khan F S, et al. Accurate scale estimation for robust visual tracking[C]//British Machine Vision Conference, 2014(65): 1-11.
[10] Danelljan M, Häger G, Khan F S, et al. Discriminative scale space tracking[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561-1575.
[11] Bochkovskiy A, WANG C Y, LIAO H. YOLOv4: optimal speed and accuracy of object detection[J/OL]. Computer Vision and Pattern Recognition, arXiv: 2004.10934. https://arxiv.org/abs/2004.10934.
[12] Felzenszwalb P F, Girshick R B, Mc Allester D, et al. Object detection with discriminatively trained part-based models[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32: 1627-1645.
[13] WU Y, LIM J, YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37: 1834-1848.
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数: 233
- HTML全文浏览量: 67
- PDF下载量: 64
- 被引次数: 2
