基于KL散度与通道选择的热红外目标跟踪算法

吴捷, 段艳艳, 马小虎

吴捷, 段艳艳, 马小虎. 基于KL散度与通道选择的热红外目标跟踪算法[J]. 红外技术, 2023, 45(1): 33-39.
引用本文: 吴捷, 段艳艳, 马小虎. 基于KL散度与通道选择的热红外目标跟踪算法[J]. 红外技术, 2023, 45(1): 33-39.
WU Jie, DUAN Yanyan, MA Xiaohu. Thermal Infrared Target Tracking Algorithm Based on KL Divergence and Channel Selection[J]. Infrared Technology , 2023, 45(1): 33-39.
Citation: WU Jie, DUAN Yanyan, MA Xiaohu. Thermal Infrared Target Tracking Algorithm Based on KL Divergence and Channel Selection[J]. Infrared Technology , 2023, 45(1): 33-39.

基于KL散度与通道选择的热红外目标跟踪算法

基金项目: 

国家自然科学基金 61402310

江苏省自然科学基金 BK20141195

泰州职业技术学院重点科研项目 1821819039

详细信息
    作者简介:

    吴捷(1982-),男,副教授,主要研究方向:视觉目标跟踪。E-mail: 37323736@qq.com

  • 中图分类号: TP391.41

Thermal Infrared Target Tracking Algorithm Based on KL Divergence and Channel Selection

  • 摘要: 为了解决单一跟踪器无法有效应对复杂背景及目标外观的显著变化,对于热红外目标跟踪准确度不高的问题,基于全卷积孪生网络提出了一种多响应图集成的跟踪算法用于热红外跟踪。首先,使用预训练的卷积神经网络来提取热红外目标的多个卷积层的特征并进行通道选择,在此基础上分别构建3个对应的跟踪器,每个跟踪器独立执行跟踪并返回一个响应图。然后,利用Kullback–Leibler(KL)散度对多个响应图进行优化集成,得到一个更强的响应图。最后利用集成后的响应图来确定目标位置。为了评估所提算法的性能,在当前最全面的热红外跟踪基准LSOTB-TIR(Large-Scale Thermal Infrared Object Tracking Benchmark)上进行了实验。实验结果表明,所提算法能够适应复杂多样的红外跟踪场景,综合性能超过了现有的红外跟踪算法。
    Abstract: To solve the problem that a single tracker cannot effectively deal with the complex background and significant changes in target appearance, leading to the problem of low accuracy of thermal infrared target tracking, a tracking algorithm based on a fully-convolutional Siamese network is proposed for thermal infrared tracking. First, a pre-trained convolution neural network is used to extract the features of multiple convolution layers of thermal infrared targets and select channels. On this basis, three corresponding trackers are constructed, and each tracker performs tracking independently and returns a response map. Then, the Kullback Leibler (KL) divergence is used to optimize and integrate multiple response maps to obtain a stronger response map. Finally, the integrated response map is used to determine the target location. To evaluate the performance of the proposed algorithm, experiments were conducted using the most comprehensive thermal infrared tracking benchmark, LSOTB-TIR. The experimental results show that the proposed algorithm can adapt to complex and diverse infrared tracking scenes, and its comprehensive performance is better than that of existing infrared tracking algorithms.
  • 线路绝缘子主要承担着连接导体和电气绝缘的功能,是整个电力系统的重要的组成部分[1-3]。由于绝缘子在生产过程中会造成一定的缺陷,以及受到自然环境的影响,绝缘子会自然劣化,绝缘性能不断减弱,绝缘子串的闪络概率将增大,最终造成电网运行的不稳定,而电力事故发生的概率也将增大,给生产生活带来不利的影响。因此绝缘子的定期检测与及时维修对于维护保障电网的安全至关重要[4-5]

    目前主流的低零值(根据DL/T596-1996《电力设备预防性试验规程》中的要求,每片悬式绝缘子的绝缘电阻不应低于300 MΩ,500 kV悬式绝缘子不低于500 MΩ。低于上述水平的,一般就认为是低值或零值绝缘子。)绝缘子检测方法有:光谱法、紫外脉冲法、径向温度法、超声波检测法等。但分析文献,发现不少方法存在危险性高、算法复杂等问题,均需进一步深入研究。由于低零值绝缘子在线路中温度变化明显,目前许多电力公司逐步采用红外成像技术对低零值绝缘子进行检测。然而目前图像处理技术对电力设备进行在线检测的研究面临着图像特征提取的困难,现有算法无法有效解决绝缘子状态检测的多分类问题,且面临处理海量数据检测耗时,检测正确率低的问题。因此,面向大数据的低零值绝缘子检测方法是今后研究的重点。

    随着神经网络算法的不断改进,以深度学习为代表的人工智能理论与应用研究越来越多的被应用到故障检测识别中。目前BP(back propagation)神经网络、遗传算法[6]、Petri网络及决策树等不少数据挖掘的方法被成功应用到劣化绝缘子的诊断识别中。支持向量机同样被应用在电力系统的故障诊断领域,然而,直接采用支持向量机模型对绝缘子样本进行检测效果不尽理想。如何优化原有的支持向量机模型,解决大数据环境下绝缘子检测问题,是当下需要着重研究的方向。目前网格搜索法[7]、布谷鸟搜索算法[8]、粒子群算法[9]等等都成功被应用到优化向量机的参数寻优中。灰狼算法与支持向量机相结合应用在诸多领域中,如医学信号识别、植物种类识别、医学图像识别,其实验结果都有所改善,但很少被应用到电气设备故障诊断。本文提出的灰狼优化算法与支持向量机结合针对低零值绝缘子检测识别的应用尚属空白。

    本文通过对绝缘子红外图像进行处理,对绝缘子红外图像样本进行多层次深度特征提取用于支持向量机分类识别,并采用灰狼算法实现对支持向量机参数的优化,实现对低零值绝缘子检测识别。

    灰度变换增强可以增强红外图像中的目标与背景的对比度,提高图像的质量。灰度变换作为一种应用广泛的图像增强技术可使图像清晰、特征明显[10-12]

    设原图像为f(x, y),其灰度范围为[a, b];变换后的图像g(x, y),其灰度范围线性的扩展至[c, d]。

    $$g\left( {x, y} \right) = \frac{{d - c}}{{b - a}}\left[ {f\left( {x, y} \right) - a} \right] + c$$ (1)

    图像中大部分灰度级分布在区间[a, b]内,有少许部分在此区间之外,为了改善增强效果,可以令:

    $$g\left( {x, y} \right) = \left\{ \begin{array}{l} c \\ \frac{{d - c}}{{b - a}}\left[ {f\left( {x, y} \right) - a} \right] + c \\ d \\ \end{array} \right.$$ (2)

    直方图均衡化作为一种应用广泛的图像增强方法,可使绝缘子串同背景对比度增大,方便后期提取绝缘子串。

    图 1所示,直方图均衡化增大了绝缘子串与背景的灰度级,图像的对比度也增强了,这样有利于后期正确分割出绝缘子串和背景。

    图  1  红外图像增强
    Figure  1.  Infrared image enhancement

    首先利用最大类间方差法(Ostu)对增强后的绝缘子红外图像进行分割[13],如图 2所示。该方法可自动选取阈值,分割效果好、速度快。

    图  2  分割效果图
    Figure  2.  The result after segmentation

    对Ostu分割得到的二值图像进行切割,提取图像中完整的绝缘子串,如图 3所示,为绝缘子缺陷检测智能认知工作做好准备。

    图  3  绝缘子串提取
    Figure  3.  Insulator string extraction

    运用Ostu算法将绝缘子串的候选区域分割提取后,用Randon变换[14]的图像倾斜校正算法进行绝缘子角度校正,如图 4所示。

    图  4  绝缘子串倾斜矫正
    Figure  4.  Insulator string tilt correction

    支持向量机(support vector machine, SVM)是Bell实验室以V. Vapnik教授为首的研究小组针对小样本机器学习方法提出的一种新型模式识别方法[15]

    对于线性不可分的特征向量,需采用核函数将向量投放到高维空间中达到可以分类的效果。高斯径向基核函数作为应用最广泛的核函数,在缺乏样本数据的先验知识时,可通过调整参数取得较好的学习效果。本文采用高斯径向基核函数:

    $$K\left( {{x_i}, {x_j}} \right) = {\rm{exp}}\left( { - \frac{{\left\| {{x_i} - {x_j}} \right\|}}{{2{\delta ^2}}}} \right)$$ (3)

    式中:δ>0为高斯核的带宽。

    h维的空间上,针对线性可分问题,所有样本均满足约束件:

    $${y_i}\left( {{\mathit{\boldsymbol{\omega }}^{\rm{T}}}{X_i} + {\omega _0}} \right) - 1≥0, i = 1, 2, {\rm{L}} $$ (4)

    求解支持向量机可转化为分类间隔问题:

    $$\mathop {{\rm{min}}}\limits_{\omega , b} \frac{1}{2}{\left\| \mathit{\boldsymbol{\omega }} \right\|^2}$$ (5)

    在实际机器学习时,为了允许机器出现一些错分的点,通常在约束条件中加入松弛变量ζ>0,增加一个常数C作为惩罚因子:

    $$\mathop {{\rm{min}}}\limits_{\omega , b, \zeta } \left( {\frac{1}{2}{{\left\| \mathit{\boldsymbol{\omega }} \right\|}^2} + C\sum\limits_{i = 1}^h {{\zeta _i}} } \right)$$ (6)

    以上问题的求解,可以得到SVM回归表达式:

    $$y\left( x \right) = {\rm{sgn}}\left( {\sum\limits_{j = 1}^h {{\alpha _j}{y_j}K\left( {{x_j}, x} \right) - b} } \right)$$ (7)

    式中:αj为拉格朗日乘积因子。

    灰狼优化算法(grey wolf optimizer,GWO),是一种通过模拟灰狼捕猎过程中的狩猎和搜索行为建立的全局随机搜索算法。由澳大利亚学者Seyedali. Mirjalili等人在2014年提出的新型算法[16]。GWO算法与粒子群优化算法(particle swarm optimization,PSO)类似,是一个从随机解出最优解的过程。该方法相较于PSO、网格搜索算法(GS)等算法参数少,结构简单,同时又有较强的收敛性,已成功应用于图像处理等领域中。

    将最优解设为α,第二个和第三个最佳解分别命名为βδ,而其余的解均设为ω。狼群通过3只个体狼αβδ为初始解带领狼群ω在空间中向猎物(最优解)逼近,经过图 5所示的狼群移动方式,不断迭代,引导狼群不断靠近全局最优解。搜索过程狼群捕食位置更新:

    图  5  GWO中的位置更新
    Figure  5.  Position updating in GWO
    $$D = \left| {C \cdot {X_{\rm{p}}}\left( t \right) - X\left( t \right)} \right|$$ (8)
    $$X\left( {t + 1} \right) = {X_{\rm{p}}}\left( t \right) - A \cdot D$$ (9)

    式中:D为当前灰狼距猎物距离;AC为系数向量;Xp是猎物的位置向量。

    $$A = 2 \cdot a \cdot {r_1} - a$$ (10)
    $$C = 2 \cdot {r_2}$$ (11)

    式中:a随迭代次数从2~0递减;r1r2是[0, 1]内的随机向量。

    为了模拟狩猎行为,假设αβδ对猎物的潜在位置有更好的了解,在每次迭代过程中,保留当前最优的αβδ解。

    $$\left\{ \begin{array}{l} {D_\alpha } = \left| {{C_1} \cdot {X_\alpha }\left( t \right) - X\left( t \right)} \right| \\ {D_\beta } = \left| {{C_2} \cdot {X_\beta }\left( t \right) - X\left( t \right)} \right| \\ {D_\delta } = \left| {{C_3} \cdot {X_\delta }\left( t \right) - X\left( t \right)} \right| \\ \end{array} \right.$$ (12)
    $$\left\{ \begin{array}{l} {X_1} = {X_\alpha } - {A_1} \cdot {D_\alpha } \\ {X_2} = {X_\beta } - {A_2} \cdot {D_\beta } \\ {X_3} = {X_\delta } - {A_3} \cdot {D_\delta } \\ \end{array} \right.$$ (13)
    $${X_{\rm{p}}}\left( {t + 1} \right) = \frac{{{X_1} + {X_2} + {X_3}}}{3}$$ (14)

    式中:XαXβXδ分别代表α狼,β狼和δ狼当前位置;DαDβDδ分别代表当前狼位置和3只头狼的位置间的距离;A1A2A3为随机系数向量;t表示迭代次数。

    采用GWO优化算法对绝缘子红外图谱识别的SVM网络核参数惩罚因子C与核宽度δ进行参数优化,以达到图谱分类识别的准确性和泛化能力。

    ① 输入绝缘子图谱的特征量,选取部分作为SVM的训练集,并将剩余的特征向量集作为测试集,以验证SVM识别的准确率。

    ② 初始化狼群数量、迭代次数,设置惩罚因子C与核宽度δ的范围。

    ③ SVM根据初始参数Cδ进行训练和测试,并以错误率最小化为目标。

    ④ GWO以Cδ为猎物进行优化,达到最大迭代次数时输出GWO全局最优值。

    ⑤ 将处理后的绝缘子图谱样本分别作为SVM的训练集与测试集。采用最佳参数Cδ建立识别模型,并对测试样本进行预测、分析。

    为了验证所提出的基于GWO-SVM劣化绝缘子状态检测的可行性,由于目前未建立绝缘子红外图像数据库,我们选取200幅绝缘子图像作为绝缘子样本库。采取随机抽样的方法选取两类样本,其中训练样本120幅,测试样本80幅。所有样本由多位人工分拣专家投票分为完好和低零值两类(如图 6所示)。

    图  6  部分绝缘子红外图像样本
    Figure  6.  Partial insulator infrared image samples

    本文利用灰狼优化算法、粒子群优化算法(random-search)和网格搜索算法(grid-search)对支持向量机参数进行优化。我们对比了3种算法的寻优时间、寻参效率和训练准确率。如表 1所示,灰狼优化算法的各项性能都要比另外两种算法好,其准确率及寻参效率都高于其余两种优化算法。

    表  1  参数寻优方法对比
    Table  1.  Comparison of parameter optimization methods
    Parameter optimization method Accuracy/% Optimization time/s Seeking efficiency/(s/time)
    Grid-search 91.523 12.693 0.2487
    Random-search 92.267 8.159 0.3156
    Grey wolf optimizer 95.246 6.251 0.1145
    下载: 导出CSV 
    | 显示表格

    从3种算法优化支持向量机的结果看,网格搜索耗时长且识别准确率低,且寻优时存在复杂度高,运算量大等不足。粒子群优化算法收敛速度快,算法简单,但也存在很明显的缺点,它对于有多个局部极值点的函数,容易陷入到局部极值点中,得不到正确的结果,因此其优化向量机识别的正确率不高。而灰狼优化算法识别准确率可达到95.246%,寻优时间最少且寻参效率高。灰狼算法充分利用先验知识,避免由于惩罚参数过大而导致算法陷入局部最优的风险。因此灰狼优化相比于粒子群搜索算法和网格搜索算法能高效的对低零值绝缘子进行识别。图 7为SVM参数寻优过程。

    图  7  SVM参数寻优过程
    Figure  7.  SVM parameter optimization process

    本文通过网格优化、粒子群优化和灰狼优化这3种优化算法对支持向量机的参数Cδ进行优化。图 8为不同优化算法的故障识别对比。

    图  8  不同优化算法故障识别对比
    Figure  8.  Comparison of fault identification of different optimization algorithms

    通过图 8不同优化算法的识别对比,可以看出GWO-SVM诊断方式相比于GS-SVM和PSO-SVM识别正确率更高。对于图 8分类的结果,结合表 1,GWO-SVM错误识别的绝缘子仅有一个,且GWO寻优时间及寻参效率明显优于GS与PSO,满足预设要求。整个绝缘子串检测系统可以实现有效地对低零值绝缘子进行故障诊断,具有工程实际意义。

    1)本文绝缘子红外图像样本进行了多层次深度特征提取,相比于现有的深度模型提取的特征具有更强的鉴别能力。

    2)本文提出红外图像和灰狼算法优化支持向量机相结合的方法实现对低零值绝缘子的检测识别,能够在大数据层面准确地识别低零值绝缘子,减少人力,物力以及财力。

    3)本文采用灰狼算法优化支持向量机参数,并采用高斯径向基核函数,得到的识别模型识别效果好。

  • 图  1   SiamFC网络结构

    Figure  1.   SiamFC network structure

    图  2   10种算法在LSOTB-TIR的距离精度曲线图和成功率曲线

    Figure  2.   Distance accuracy curves and success rate curves of ten algorithms in LSOTB-TIR

    图  3   10种算法在LSOTB-TIR上4种挑战性场景下精确度曲线图

    Figure  3.   Accuracy curves of ten algorithms in four challenging scenarios of LSOTB-TIR

    图  4   本文算法与另外三种算法跟踪结果比较

    Figure  4.   Comparison of tracking results with other three algorithms

    图  5   消融实验

    Figure  5.   Ablation experiment

    表  1   LSOTB-TIR定义的的4种热红外挑战属性

    Table  1   Four thermal infrared challenge attributes defined by LSOTB-TIR

    Infrared challenge attributes Specific definitions
    Aspect Ratio
    Variation(ARV)
    The aspect ratio of the target exceeds [0.5, 2] during tracking
    Intensity Variation
    (Ⅳ)
    The intensity of the target changes during tracking
    Thermal Crossover
    (TC)
    Two targets of the same intensity cross each other
    Distractor(DIS) There are interfering objects similar to the target around the target
    下载: 导出CSV
  • [1]

    LIU Q, LU X H, HE Z Y, et al. Deep convolutional neural networks for thermal infrared object tracking[J]. Knowledge-Based Systems, 2017, 134: 189-198.

    [2]

    LI X, LIU Q, FAN Nana, et al. Hierarchical spatial-aware Siamese network for thermal infrared object tracking[J]. Knowledge-Based Systems, 2019, 166: 71-81. DOI: 10.1016/j.knosys.2018.12.011

    [3]

    LIU Q, LI X, HE Z Y, et al. Learning deep multi-level similarity for thermal infrared object tracking[J]. IEEE Transaction on Multimedia, 2021, 23: 2124-2126.

    [4]

    LIU Q, LI X, HE Z Y, et al. Multi-task driven feature models for thermal infrared tracking[C]//Proceedings of the 34th AAAI Conference on Artificial Intelligence, 2020: 11604-11611.

    [5] 张晋, 王元余, 林丹丹, 等. 基于相关滤波的红外目标跟踪抗遮挡处理[J]. 红外技术, 2022, 44(3): 277-285. http://hwjs.nvir.cn/article/id/98939f6c-0de2-4692-9c34-9eabbb68205e

    ZHANG Jin, WANG Yuanyu, LIN Dandan, et al. Anti-occlusion process of infrared target tracking based on correlation filters[J]. Infrared Technology, 2022, 44(3): 277-285. http://hwjs.nvir.cn/article/id/98939f6c-0de2-4692-9c34-9eabbb68205e

    [6] 李畅, 杨德东, 宋鹏, 等. 基于全局感知孪生网络的红外目标跟踪[J]. 光学学报, 2021, 41(6): 0615002-1-0615002-11. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202106019.htm

    LI Chang, YANG Dedong, SONG Pen, et al. Global-Aware siamese network for thermal infrared object tracking[J]. Acta Optica Sinica, 2021, 41(6): 0615002-1-0615002-11. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202106019.htm

    [7]

    MA C, HUANG J B, YANG X, et al. Hierarchical convolutional features for visual racking[C]//IEEE International Conference on Computer Vision, 2015: 3074-3082.

    [8]

    LI X, MA C, WU B Y, et al. Target-aware deep tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019: 1369-1378.

    [9]

    Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking[C]//European Conference on Computer Vision, 2016: 850-865.

    [10]

    Selvaraju R, Cogswell M, Das A, et al. Grad-cam: visual explanations from deep networks via gradient based localization[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 618-626.

    [11]

    Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2016: 4293-4302.

    [12]

    Danelljan M, Bhat G, Khan F S, et al. Atom: Accurate tracking by overlap max-imization[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2019: 4660-4669.

    [13]

    Felsberg M, Kristan M, others. The thermal infrared visual object tracking VOT-TIR2016 challenge results[C]//European Conference on Computer Vision Workshops, 2016: 824-849.

    [14]

    LIU Q, HE Z, LI X, et al. PTB-TIR: A thermal infrared pedestrian tracking bench-mark[J]. IEEE Transactions on Multimedia, 2019, 22(3): 666-675.

    [15]

    LIU Q, LI X, LI C L. LSOTB-TIR: A large-scale high-diversity thermal infrared object tracking benchmark[C/OL]//Proceedings of the 28th ACM International Conference on Multimedia, 2020, https://arxiv.org/abs/2008.00836.

  • 期刊类型引用(2)

    1. 付沛,崔岚,李硕. 基于高光谱成像的光敏印油种类区分实验. 中国无机分析化学. 2024(06): 836-841 . 百度学术
    2. 李硕,崔岚,付沛. 基于高光谱成像结合分光光度技术的喷墨打印墨水种类鉴别方法. 中国无机分析化学. 2024(06): 826-835 . 百度学术

    其他类型引用(0)

图(5)  /  表(1)
计量
  • 文章访问数:  159
  • HTML全文浏览量:  41
  • PDF下载量:  42
  • 被引次数: 2
出版历程
  • 收稿日期:  2022-07-24
  • 修回日期:  2022-08-22
  • 刊出日期:  2023-01-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日