Application of UAV Environmental Thermography Monitoring Based on Agisoft Metashape Image Mosaic
-
摘要: 为实现大面积区域的环境热像监测,本文以重庆某高校训练场为例,研究了一种无人机区域环境热像监测技术。通过无人机采集环境热像,使用Agisoft Metashape软件进行无人机热红外影像拼接处理,并利用处理后的热红外影像进行环境热像监测与目标分析。研究表明,利用该技术可实现区域热红外影像的快速处理,并且处理成果可以为环境热像监测与目标热像分析提供有效参考与基础资料。
-
关键词:
- Agisoft Metashape /
- 影像拼接 /
- 环境监测 /
- 热像分析
Abstract: To realize environmental thermal image monitoring in a large area, this study took a university training field in Chongqing as an example to investigate UAV regional environmental thermal image monitoring technology. First, the UAV was used for environmental thermal image acquisition, and the Agisoft Metashape software was used for UAV thermal infrared mosaic thermal image processing. The processed thermal infrared images were used for environmental thermal image monitoring and target analysis. Experiments showed that the technology can realize fast processing of regional thermal infrared images, and the processing results can provide an effective reference and basic data for environmental thermal image monitoring and target thermal image analysis. -
0. 引言
线路绝缘子主要承担着连接导体和电气绝缘的功能,是整个电力系统的重要的组成部分[1-3]。由于绝缘子在生产过程中会造成一定的缺陷,以及受到自然环境的影响,绝缘子会自然劣化,绝缘性能不断减弱,绝缘子串的闪络概率将增大,最终造成电网运行的不稳定,而电力事故发生的概率也将增大,给生产生活带来不利的影响。因此绝缘子的定期检测与及时维修对于维护保障电网的安全至关重要[4-5]。
目前主流的低零值(根据DL/T596-1996《电力设备预防性试验规程》中的要求,每片悬式绝缘子的绝缘电阻不应低于300 MΩ,500 kV悬式绝缘子不低于500 MΩ。低于上述水平的,一般就认为是低值或零值绝缘子。)绝缘子检测方法有:光谱法、紫外脉冲法、径向温度法、超声波检测法等。但分析文献,发现不少方法存在危险性高、算法复杂等问题,均需进一步深入研究。由于低零值绝缘子在线路中温度变化明显,目前许多电力公司逐步采用红外成像技术对低零值绝缘子进行检测。然而目前图像处理技术对电力设备进行在线检测的研究面临着图像特征提取的困难,现有算法无法有效解决绝缘子状态检测的多分类问题,且面临处理海量数据检测耗时,检测正确率低的问题。因此,面向大数据的低零值绝缘子检测方法是今后研究的重点。
随着神经网络算法的不断改进,以深度学习为代表的人工智能理论与应用研究越来越多的被应用到故障检测识别中。目前BP(back propagation)神经网络、遗传算法[6]、Petri网络及决策树等不少数据挖掘的方法被成功应用到劣化绝缘子的诊断识别中。支持向量机同样被应用在电力系统的故障诊断领域,然而,直接采用支持向量机模型对绝缘子样本进行检测效果不尽理想。如何优化原有的支持向量机模型,解决大数据环境下绝缘子检测问题,是当下需要着重研究的方向。目前网格搜索法[7]、布谷鸟搜索算法[8]、粒子群算法[9]等等都成功被应用到优化向量机的参数寻优中。灰狼算法与支持向量机相结合应用在诸多领域中,如医学信号识别、植物种类识别、医学图像识别,其实验结果都有所改善,但很少被应用到电气设备故障诊断。本文提出的灰狼优化算法与支持向量机结合针对低零值绝缘子检测识别的应用尚属空白。
本文通过对绝缘子红外图像进行处理,对绝缘子红外图像样本进行多层次深度特征提取用于支持向量机分类识别,并采用灰狼算法实现对支持向量机参数的优化,实现对低零值绝缘子检测识别。
1. 绝缘子串红外图像预处理
1.1 信号绝缘子串红外图像增强
灰度变换增强可以增强红外图像中的目标与背景的对比度,提高图像的质量。灰度变换作为一种应用广泛的图像增强技术可使图像清晰、特征明显[10-12]。
设原图像为f(x, y),其灰度范围为[a, b];变换后的图像g(x, y),其灰度范围线性的扩展至[c, d]。
$$g\left( {x, y} \right) = \frac{{d - c}}{{b - a}}\left[ {f\left( {x, y} \right) - a} \right] + c$$ (1) 图像中大部分灰度级分布在区间[a, b]内,有少许部分在此区间之外,为了改善增强效果,可以令:
$$g\left( {x, y} \right) = \left\{ \begin{array}{l} c \\ \frac{{d - c}}{{b - a}}\left[ {f\left( {x, y} \right) - a} \right] + c \\ d \\ \end{array} \right.$$ (2) 直方图均衡化作为一种应用广泛的图像增强方法,可使绝缘子串同背景对比度增大,方便后期提取绝缘子串。
如图 1所示,直方图均衡化增大了绝缘子串与背景的灰度级,图像的对比度也增强了,这样有利于后期正确分割出绝缘子串和背景。
1.2 基于Ostu算法的图像自适应阈值分割
首先利用最大类间方差法(Ostu)对增强后的绝缘子红外图像进行分割[13],如图 2所示。该方法可自动选取阈值,分割效果好、速度快。
1.3 绝缘子分割
对Ostu分割得到的二值图像进行切割,提取图像中完整的绝缘子串,如图 3所示,为绝缘子缺陷检测智能认知工作做好准备。
1.4 基于Randon变换的图像倾斜校正
运用Ostu算法将绝缘子串的候选区域分割提取后,用Randon变换[14]的图像倾斜校正算法进行绝缘子角度校正,如图 4所示。
2. 灰狼算法支持向量机模型
2.1 支持向量机模型
支持向量机(support vector machine, SVM)是Bell实验室以V. Vapnik教授为首的研究小组针对小样本机器学习方法提出的一种新型模式识别方法[15]。
对于线性不可分的特征向量,需采用核函数将向量投放到高维空间中达到可以分类的效果。高斯径向基核函数作为应用最广泛的核函数,在缺乏样本数据的先验知识时,可通过调整参数取得较好的学习效果。本文采用高斯径向基核函数:
$$K\left( {{x_i}, {x_j}} \right) = {\rm{exp}}\left( { - \frac{{\left\| {{x_i} - {x_j}} \right\|}}{{2{\delta ^2}}}} \right)$$ (3) 式中:δ>0为高斯核的带宽。
设h维的空间上,针对线性可分问题,所有样本均满足约束件:
$${y_i}\left( {{\mathit{\boldsymbol{\omega }}^{\rm{T}}}{X_i} + {\omega _0}} \right) - 1≥0, i = 1, 2, {\rm{L}} $$ (4) 求解支持向量机可转化为分类间隔问题:
$$\mathop {{\rm{min}}}\limits_{\omega , b} \frac{1}{2}{\left\| \mathit{\boldsymbol{\omega }} \right\|^2}$$ (5) 在实际机器学习时,为了允许机器出现一些错分的点,通常在约束条件中加入松弛变量ζ>0,增加一个常数C作为惩罚因子:
$$\mathop {{\rm{min}}}\limits_{\omega , b, \zeta } \left( {\frac{1}{2}{{\left\| \mathit{\boldsymbol{\omega }} \right\|}^2} + C\sum\limits_{i = 1}^h {{\zeta _i}} } \right)$$ (6) 以上问题的求解,可以得到SVM回归表达式:
$$y\left( x \right) = {\rm{sgn}}\left( {\sum\limits_{j = 1}^h {{\alpha _j}{y_j}K\left( {{x_j}, x} \right) - b} } \right)$$ (7) 式中:αj为拉格朗日乘积因子。
2.2 灰狼优化算法
灰狼优化算法(grey wolf optimizer,GWO),是一种通过模拟灰狼捕猎过程中的狩猎和搜索行为建立的全局随机搜索算法。由澳大利亚学者Seyedali. Mirjalili等人在2014年提出的新型算法[16]。GWO算法与粒子群优化算法(particle swarm optimization,PSO)类似,是一个从随机解出最优解的过程。该方法相较于PSO、网格搜索算法(GS)等算法参数少,结构简单,同时又有较强的收敛性,已成功应用于图像处理等领域中。
将最优解设为α,第二个和第三个最佳解分别命名为β和δ,而其余的解均设为ω。狼群通过3只个体狼α、β和δ为初始解带领狼群ω在空间中向猎物(最优解)逼近,经过图 5所示的狼群移动方式,不断迭代,引导狼群不断靠近全局最优解。搜索过程狼群捕食位置更新:
$$D = \left| {C \cdot {X_{\rm{p}}}\left( t \right) - X\left( t \right)} \right|$$ (8) $$X\left( {t + 1} \right) = {X_{\rm{p}}}\left( t \right) - A \cdot D$$ (9) 式中:D为当前灰狼距猎物距离;A和C为系数向量;Xp是猎物的位置向量。
$$A = 2 \cdot a \cdot {r_1} - a$$ (10) $$C = 2 \cdot {r_2}$$ (11) 式中:a随迭代次数从2~0递减;r1,r2是[0, 1]内的随机向量。
为了模拟狩猎行为,假设α,β和δ对猎物的潜在位置有更好的了解,在每次迭代过程中,保留当前最优的α,β和δ解。
$$\left\{ \begin{array}{l} {D_\alpha } = \left| {{C_1} \cdot {X_\alpha }\left( t \right) - X\left( t \right)} \right| \\ {D_\beta } = \left| {{C_2} \cdot {X_\beta }\left( t \right) - X\left( t \right)} \right| \\ {D_\delta } = \left| {{C_3} \cdot {X_\delta }\left( t \right) - X\left( t \right)} \right| \\ \end{array} \right.$$ (12) $$\left\{ \begin{array}{l} {X_1} = {X_\alpha } - {A_1} \cdot {D_\alpha } \\ {X_2} = {X_\beta } - {A_2} \cdot {D_\beta } \\ {X_3} = {X_\delta } - {A_3} \cdot {D_\delta } \\ \end{array} \right.$$ (13) $${X_{\rm{p}}}\left( {t + 1} \right) = \frac{{{X_1} + {X_2} + {X_3}}}{3}$$ (14) 式中:Xα,Xβ和Xδ分别代表α狼,β狼和δ狼当前位置;Dα,Dβ和Dδ分别代表当前狼位置和3只头狼的位置间的距离;A1,A2和A3为随机系数向量;t表示迭代次数。
2.3 GWO-SVM
采用GWO优化算法对绝缘子红外图谱识别的SVM网络核参数惩罚因子C与核宽度δ进行参数优化,以达到图谱分类识别的准确性和泛化能力。
① 输入绝缘子图谱的特征量,选取部分作为SVM的训练集,并将剩余的特征向量集作为测试集,以验证SVM识别的准确率。
② 初始化狼群数量、迭代次数,设置惩罚因子C与核宽度δ的范围。
③ SVM根据初始参数C与δ进行训练和测试,并以错误率最小化为目标。
④ GWO以C与δ为猎物进行优化,达到最大迭代次数时输出GWO全局最优值。
⑤ 将处理后的绝缘子图谱样本分别作为SVM的训练集与测试集。采用最佳参数C与δ建立识别模型,并对测试样本进行预测、分析。
3. 实验结果与分析
3.1 数据描述
为了验证所提出的基于GWO-SVM劣化绝缘子状态检测的可行性,由于目前未建立绝缘子红外图像数据库,我们选取200幅绝缘子图像作为绝缘子样本库。采取随机抽样的方法选取两类样本,其中训练样本120幅,测试样本80幅。所有样本由多位人工分拣专家投票分为完好和低零值两类(如图 6所示)。
3.2 绝缘子检测结果
本文利用灰狼优化算法、粒子群优化算法(random-search)和网格搜索算法(grid-search)对支持向量机参数进行优化。我们对比了3种算法的寻优时间、寻参效率和训练准确率。如表 1所示,灰狼优化算法的各项性能都要比另外两种算法好,其准确率及寻参效率都高于其余两种优化算法。
表 1 参数寻优方法对比Table 1. Comparison of parameter optimization methodsParameter optimization method Accuracy/% Optimization time/s Seeking efficiency/(s/time) Grid-search 91.523 12.693 0.2487 Random-search 92.267 8.159 0.3156 Grey wolf optimizer 95.246 6.251 0.1145 从3种算法优化支持向量机的结果看,网格搜索耗时长且识别准确率低,且寻优时存在复杂度高,运算量大等不足。粒子群优化算法收敛速度快,算法简单,但也存在很明显的缺点,它对于有多个局部极值点的函数,容易陷入到局部极值点中,得不到正确的结果,因此其优化向量机识别的正确率不高。而灰狼优化算法识别准确率可达到95.246%,寻优时间最少且寻参效率高。灰狼算法充分利用先验知识,避免由于惩罚参数过大而导致算法陷入局部最优的风险。因此灰狼优化相比于粒子群搜索算法和网格搜索算法能高效的对低零值绝缘子进行识别。图 7为SVM参数寻优过程。
本文通过网格优化、粒子群优化和灰狼优化这3种优化算法对支持向量机的参数C和δ进行优化。图 8为不同优化算法的故障识别对比。
通过图 8不同优化算法的识别对比,可以看出GWO-SVM诊断方式相比于GS-SVM和PSO-SVM识别正确率更高。对于图 8分类的结果,结合表 1,GWO-SVM错误识别的绝缘子仅有一个,且GWO寻优时间及寻参效率明显优于GS与PSO,满足预设要求。整个绝缘子串检测系统可以实现有效地对低零值绝缘子进行故障诊断,具有工程实际意义。
4. 结束语
1)本文绝缘子红外图像样本进行了多层次深度特征提取,相比于现有的深度模型提取的特征具有更强的鉴别能力。
2)本文提出红外图像和灰狼算法优化支持向量机相结合的方法实现对低零值绝缘子的检测识别,能够在大数据层面准确地识别低零值绝缘子,减少人力,物力以及财力。
3)本文采用灰狼算法优化支持向量机参数,并采用高斯径向基核函数,得到的识别模型识别效果好。
-
表 1 禅思XT2技术参数
Table 1 Technical parameters of XT2
Thermal imaging camera vision camera Resolution 640×512 4K: 3840×2160 FHD: 1920×1080 Focal Length
(mm)19 8 Active Picture Elements — 12 million Wavelength coverage(μm) 7.5-13.5 — Sensitivity
(mk@f/1.0)< 50 — 表 2 测温区内各测温点温度信息
Table 2 Temperature information of temperature measuring points
Numbering Object category Temperature sensing point Temperature point display temperature/℃ 1 Gravel soil road SP1 9.3 SP2 9.8 SP3 9.5 2 Bagged domestic waste SP4 10.2 SP5 11.5 SP6 12.2 3 Plant SP7 8.5 SP8 8.8 SP9 8.9 4 White wastes SP10 8.2 SP11 8.0 SP12 8.0 5 Waste roofs SP13 8.1 6 Engineering dustproof net SP14 8.7 SP15 8.3 7 Climax temperature Red temperature point 15.3 8 Lowest temperature point Blue temperature point 5.8 -
[1] 孙新博, 孙芹芹, 李英成, 等. 无人机红外影像拼接方法研究[J]. 测绘科学, 2021, 46(6): 109-113, 120. https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD202106016.htm SUN Xinbo, SUN Qinqin, LI Yingcheng, et al. Research on UAV infrared image mosaic method [J]. Surveying and Mapping Science, 2021, 46(6): 109-113, 120. https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD202106016.htm
[2] 赵国顺. 浅析红外热成像技术的发展与应用[J]. 中国安防, 2016(4): 38-40. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF201604013.htm ZHAO Guoshun. Analyze the development and application of infrared thermal imaging technology[J]. China Security, 2016(4): 38-40. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF201604013.htm
[3] 杜静涵. 红外热图像拼接技术的研究与应用[D]. 南京: 南京理工大学, 2017. DU Jinghan. Research and application of infrared thermal image stitching technology[D]. Nanjing: Nanjing University of Science and Technology, 2017.
[4] Jebur A, Abed F, Mohammed M. Assessing the performance of commercial Agisoft PhotoScan software to deliver reliable data for accurate3D modelling[J]. MATEC Web of Conferences, 2018, 162: 03022. DOI: 10.1051/matecconf/201816203022
[5] Barbasiewicz A, Widerski T, Daliga K. The analysis of the accuracy of spatial models using photogrammetric software: Agisoft Photoscan and Pix4D[J]. E3S Web of Conferences, 2018, 26: 12. DOI: 10.1051/e3sconf/20182600012
[6] 代婷婷, 马骏, 徐雁南. 基于Agisoft PhotoScan的无人机影像自动拼接在风景园林规划中的应用[J]. 南京林业大学学报: 自然科学版, 2018, 42(4): 165-170. https://www.cnki.com.cn/Article/CJFDTOTAL-NJLY201804024.htm DAI Tingting, MA Jun, XU Yannan. Application of UAV image automatic stitching based on Agisoft PhotoScan in landscape architecture planning[J]. Journal of Nanjing Forestry University: Natural Science Edition, 2018, 42(4): 165-170. https://www.cnki.com.cn/Article/CJFDTOTAL-NJLY201804024.htm
[7] 李秀全, 陈竹安, 张立亭. 基于Agisoft PhotoScan的无人机影像快速拼接在新农村规划中的应用[J]. 湖北农业科学, 2016, 55(3): 743-745. https://www.cnki.com.cn/Article/CJFDTOTAL-HBNY201603051.htm LI Xiuquan, CHEN Zhuan, ZHANG Liting. Application of UAV image rapid stitching based on Agisoft PhotoScan in new rural planning [J]. Hubei Agricultural Science, 2016, 55(3): 743-745. https://www.cnki.com.cn/Article/CJFDTOTAL-HBNY201603051.htm
[8] 马代健. 无人机热红外图像采集系统开发与应用[D]. 杨凌: 西北农林科技大学, 2018. MA Daijian. Development and Application of UAV Thermal Infrared Image Acquisition System[D]. Yangling: Northwest A & F University, 2018.
[9] 姚俐. 红外全景图像拼接方法的研究[D]. 重庆: 重庆邮电大学, 2020. YAO Li. Research on Infrared Panoramic Image Stitching Method[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2020.
[10] LIU Jinsong, DAI Shaosheng, GUO Zhongyuan, et al. An improved POCS super-resolution infrared image reconstruction algorithm based on visual mechanism[J]. Infrared Physics and Technology, 2016, 78: 92-98 DOI: 10.1016/j.infrared.2016.07.010
[11] 张晓宇. 基于特征的图像拼接技术研究[D]. 西安: 西安理工大学, 2010. ZHANG Xiaoyu. Research on Feature-Based Image Mosaic Technology [D]. Xi 'an : Xi 'an Polytechnic University, 2010.
[12] 邵万里. Agisoft PhotoScan在立面测量中的应用[J]. 城市勘测, 2019(2): 74-76. https://www.cnki.com.cn/Article/CJFDTOTAL-CSKC201902022.htm SHAO Wanli. Application of Agisoft PhotoScan in facade measurement [J]. Urban Survey, 2019(2): 74-76. https://www.cnki.com.cn/Article/CJFDTOTAL-CSKC201902022.htm
[13] 李德仁, 李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报: 信息科学版, 2014, 39(5): 505-513, 540. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201405001.htm LI Deren, LI Ming. Research progress and application prospect of UAV remote sensing system[J]. Journal of Wuhan University: Information Science Edition, 2014, 39(5) : 505-513, 540. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201405001.htm
[14] 张继贤, 刘飞, 王坚. 轻小型无人机测绘遥感系统研究进展[J]. 遥感学报, 2021, 25(3): 708-724. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202103002.htm ZHANG Jixian, LIU Fei, WANG Jian. Research progress of light and small UAV surveying and mapping remote sensing system[J]. Journal of Remote Sensing, 2021, 25(3) : 708-724. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202103002.htm
[15] 李英成, 薛艳丽, 丁晓波. 低空数字航摄与数据处理规范[S]. GB/T 39612-2020, 2022: 2-4. LI Yingcheng, XUE Yanli, DING Xiaobo. Low altitude digital aerial photography and data processing specification[S]. GB/T 39612-2020, 2022: 2-4.
[16] 周若冲, 康青, 沈志强, 等. 工程装备停车场热图像特征及防护研究[J]. 重庆建筑, 2019(6): 22-24. https://www.cnki.com.cn/Article/CJFDTOTAL-CQJZ201906010.htm ZHOU Ruochong, KANG Qing, SHEN Zhiqiang, et al. Study on thermal image characteristics and protection of engineering equipment parking lot[J]. Chongqing Architecture, 2019(6): 22-24. https://www.cnki.com.cn/Article/CJFDTOTAL-CQJZ201906010.htm
-
期刊类型引用(2)
1. 付沛,崔岚,李硕. 基于高光谱成像的光敏印油种类区分实验. 中国无机分析化学. 2024(06): 836-841 . 百度学术
2. 李硕,崔岚,付沛. 基于高光谱成像结合分光光度技术的喷墨打印墨水种类鉴别方法. 中国无机分析化学. 2024(06): 826-835 . 百度学术
其他类型引用(0)