Study on Damage Detection of Bolt Holes in CFRP Plate by Ultrasonic Infrared Thermal Wave Imaging
-
摘要: 螺栓连接由于可靠性高、承载能力强等优势广泛应用于复合材料连接,但螺栓孔处的应力集中作用使其易产生损伤破坏,且工程应用中很多复合材料螺栓连接件无法卸载,传统检测方法较难对螺栓孔损伤进行识别.本文使用超声红外热波检测的方法对复合材料螺栓连接件进行损伤识别,通过仿真研究复合材料螺栓孔裂纹和分层损伤的生热特征,分析了螺栓以及螺栓预紧力对螺栓孔损伤生热特征的影响,并设计实验对仿真结论进行了较好的验证.研究显示当螺栓孔损伤区域超出螺帽覆盖的范围,超声红外热波检测法能快速有效检测螺栓紧固件损伤,结合图像识别方法可以有效提取损伤信息,而且该方法对不同大小的螺栓预紧力以及螺栓与被连接件之间的摩擦生热影响有着良好的适应性.
-
0. 引言
太阳能作为一种来源广泛的清洁能源,近年来在国内得到了充分的重视,光伏发电产业已经达到了一定的规模[1-2]。巨大的光伏发电面积对光伏面板的日常巡检工作提出了很大的挑战。光伏面板作为光伏发电系统的核心组成部分,在日常的运行中长期暴露在自然环境下,不可避免会产生各种缺陷,如隐裂、遮挡、碎裂等等,及时发现面板缺陷并进行人工干预对保障电站的发电效率有重要意义[3]。
传统的方法主要是对面板的发电电流进行监测[4],当发电功率异常则可能存在面板缺陷。由于成本的限制,这种方法只能将故障限定在一定范围内,准确的故障定位还需要依赖人工排查,检测效率低,劳动量大。尤其针对渔光互补光伏电站,电站和鱼塘的结合有效提高了空间的利用率,但同时也对光伏面板的巡检造成了更大的困难。
为了解决上述问题,国内外学者进行了广泛研究。陆成龙[5]等进行无人机智能巡检系统硬件以及软件平台设计,根据损伤尺寸理论实现了对风电光伏的检测;王栓虎[6]等分析了无人机相对于传统光伏电站运维模式的优势;但他们仅仅提供了关于应用研究,并未给出具体缺陷检测方法。赵玲玲[7]等提出了一种基于HSV空间模型的图像分割及检测的光伏面板缺陷检测技术,能有效地对复杂背景下的光伏图像进行区域分割与检测;李香凡[8]等提出了一种基于金字塔图像序列的数据增强方法,该方法可以在不增加噪声的情况下最大程度地增加小目标的训练样本;Gabriele Roggi[9]等提出了一种基于视觉的引导光伏电站分析测试自动检测方法,并通过测验证明了其有效性;但他们所提出的方法存在对光照变化鲁棒性不强,检测效率低,不能满足实时性要求的问题。
本文提出一种基于无人机的光伏电站智能巡检方法,巡检方法首先利用无人机搭载多光谱相机进行高效的数据采集,然后对采集到的红外图像数据进行自动化分析处理,快速检出并定位缺陷,再结合可见光图像对缺陷类型进行判别,指导电站运维人员对缺陷面板采取适当的手段进行修复。
1. 无人机智能巡检技术路线
基于无人机的光伏面板智能巡检系统包含软、硬件模块,其中,由无人机飞行平台及云台相机共同构成了数据采集硬件平台,结合航线自动规划技术组成了数据采集子系统;缺陷识别与缺陷定位模块组成了数据分析子系统。
如图 1,使用大疆经纬M300RTK作为无人机飞行平台,该飞行平台基于实时动态测量(Real Time Kinematic,RTK)技术可实现厘米级精确定位,单架次续航时间超过45 min,为任务高效可靠执行提供了有效保障。平台搭载大疆禅思H20T云台相机,该云台相机由一个广角相机、一个变焦相机、一个红外相机和一个激光测距传感器组成,其中可见光变焦相机有效分辨率为2000万像素,可实现23倍光学混合变焦,红外成像相机分辨率640×512像素,热灵敏度<50 mK,可以较好满足任务对图像质量的要求。利用该云台相机可同时获取视场相似的红外和可见光图像,为缺陷检测与缺陷类型判别提供了很大的便利。
如图 2(a)所示为无人机执行自动化数据采集任务,图 2(b)、(c)分别为采集到的红外和可见光正射图像。
智能巡检流程如图 3所示:首先划定光伏面板区域,根据镜头参数、设定的飞行高度、画面重叠率等参数,由算法自动生成任务航线,然后由无人机搭载红外热成像相机和可见光相机进行自主数据采集;对采集到的图像数据进行分析处理,基于红外图像进行面板热斑的检测与分割,然后结合可见光图像对造成热斑区域进行缺陷判别,最后根据照片位置与姿态系统(position and orientation system,POS)数据与相机成像模型实现缺陷定位。
2. 缺陷检测与定位
2.1 缺陷检测
从红外图像中识别出热斑区域可以划归为计算机视觉中的目标检测任务。近年来随着人工智能的快速发展,基于深度学习的目标检测已经在各行业领域得到广泛的应用[10]。但是基于深度学习的方法依赖于大量人工标注的数据,数据准备工作量大,且算法执行效率较低。因此,本文提出一种自适应动态阈值分割的方法进行缺陷检测。算法主要分为3步,分别是预处理、热斑分割提取以及异常原因判断。算法流程如图 4。
由于基于无人机的缺陷采集单元是无人机在航线飞行过程中等时间或者等间距进行拍照,采集到的数据会存在较多的背景,背景的存在会对缺陷检测的效率和识别率带来一定的影响,因此,首先通过大津法[11]对图像进行前景分割提取。如图 5,可以看出光伏面板的灰度值与水面等背景的灰度值相差较大,按照大津法求得的分割阈值可以使前景与背景图像的类间方差最大,类间方差g可表示为:
$$ g=ω_{0}(μ_{0}-μ)^{2}+ω_{1}(μ_{1}-μ)^{2}$$ (1) 式中:ω0,ω1分别为前景像素点数和背景像素点数占整幅图像的比例;μ0和μ1分别为前景像素和背景像素的平均灰度;μ为整幅图像的平均灰度,可表示为:
$$ μ=ω_{0}μ_{0}+ω_{1}μ_{1} $$ (2) 将式(2)代入式(1)可得:
$$ g=ω_{0}ω_{1}(μ_{0}-μ_{1})^{2} $$ (3) 采用遍历的方法得到使g最大的阈值即为所求。大津法分割结果如图 6(b),图 6(a)是其对应的红外图像。
通过图 6(b)可以看出,分割后的二值图像存在斑点噪声、边界不平滑等问题,因此需要进一步地开运算、闭运算处理[12]得到完整的前景和背景区域。开运算是先腐蚀后膨胀的操作,可以平滑边界,去除背景区域的噪声;闭运算可以填补前景区域的孔洞,如图 6(c)所示。
在前处理结束后,为了提高缺陷识别率,需要对原图像进行图像增强,达到凸显缺陷并抑制噪声的目的,具体地,包括以下步骤:
1)选用3像素×3像素的结构元作为计算增强系数的局部窗口F。
2)计算窗口内中心点周围8个像素点的均值(mean)和标准差(dev),如下式:
$$ {\text{mea}}{{\text{n}}_{\text{F}}} = \frac{1}{8}\sum\limits_{i = 1}^8 {{X_i}} $$ (4) $$ {\text{de}}{{\text{v}}_{\text{F}}} = \sqrt {\frac{1}{8}\sum\limits_{i = 1}^8 {{{({X_i} - {\text{mea}}{{\text{n}}_{\text{F}}})}^2}} } $$ (5) 式中:Xi代表中心像素点的8邻域。
3)计算窗口增强系数XF。作为中心像素点的新像素。
$$ {X_{\text{F}}} = \frac{{{\text{de}}{{\text{v}}_{\text{F}}}}}{{{\text{mea}}{{\text{n}}_{\text{F}}}}} $$ (6) 图像增强处理后,采用一种自适应动态阈值的方法完成红外图像热斑的分割提取。该方法为每个像素点计算一个阈值,首先在15×15的局部窗口进行运算,计算每个窗口中像素的高斯加权和,然后减去动态阈值即得到该点的阈值。动态阈值T(i, j)确定方法如下:
$$ T_{(i,j)}=\max(λ_{\rm{dev}}d_{(i,j)}, C) $$ (7) 式中:λdev为标准差因子用于调整标准差对局部噪声的灵敏度,不能较高或较低,否则会导致不能提取缺陷或提取整张图片为缺陷,一般取-1至1;C为绝对动态阈值,在灰度值均匀区域,局部标准差较低,为了降低单个灰度值影响,可调整C的值从而忽略均匀环境的灰度值。则缺陷区域分割可表示为:
$$ {F_{\left( {i,j} \right)}} = \left\{ {\begin{array}{*{20}{l}} {0,{F_{(i,j)}} \leqslant {G_{(i,j)}} - {T_{(i,j)}}} \\ {1,{F_{(i,j)}} > {G_{(i,j)}} - {T_{(i,j)}}} \end{array}} \right. $$ (8) 式中:G(i, j)为该像素点的高斯加权和,自适应动态阈值分割效果如图 6(d),进行闭运算处理得到如图 6(e)。将图 6(c)与图 6(e)进行数学运算,计算方式为将图 6(c)中像素为0的区域赋值为1,像素为1的区域与图 6(e)相乘。得到结果如图 6(f),检测黑色像素标出并映射到原图上,效果如图 6(g),即为识别的热斑位置。
与前景提取所采用的大津法关注全局灰度值不同,自适应动态阈值分割只关注局部灰度差异,为每个像素点计算单独的阈值,可以降低光强随天气变化导致成像差异带来的影响,提高缺陷识别率。
在红外图像中检测出热斑区域后,根据红外图像和可见光图像的对应关系,结合可见光图像对热斑区域的缺陷类型进行判别,包括内部缺陷、碎裂或者异物遮挡,帮助运维人员快速确定维修方案,包括清洗、维修和更换。
2.2 缺陷定位
为了将图像中检出的缺陷定位到真实地理坐标系中,需要实现缺陷区域从图像坐标系到地理坐标系的映射。如图 7所示,缺陷在图像坐标系中的坐标为p(u, v),在地心地固坐标系OECEF中的坐标为PE(XE, YE, ZE),存在如下变换关系:
$$ \begin{array}{l} {Z_{\text{C}}}\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{f_x}}&0&{{u_0}} \\ 0&{{f_y}}&{{v_0}} \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} R&t \\ 0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_{\text{E}}}} \\ {{Y_{\text{E}}}} \\ {{Z_{\text{E}}}} \\ 1 \end{array}} \right] = \hfill \\ {\mathit{\boldsymbol{K}}}\left( {R \times {P_{\text{E}}} + t} \right) \hfill \\ \end{array} $$ (9) 式中:R和t分别是地心地固坐标系坐标系OECEF到相机坐标系OC的旋转和平移,可将PE(XE, YE, ZE)从OECEF坐标系转换到相机坐标系OC,R和t可由拍摄照片时相机的POS数据求解得到;矩阵K为相机的内参矩阵,通过矩阵K可将相机坐标系下的空间点投影到像素坐标系上,可以通过相机标定得到。因此通过公式(3)~(11)逆映射即可将图像中检测出的缺陷转换到地理坐标系下,实现缺陷定位。
3. 试验结果
本文提出的智能巡检技术路线试验在建湖渔光互补光伏电站进行。渔光互补光伏发电技术作为一种把光伏面板建在池塘上的技术手段[13],通过池塘养鱼、光伏面板发电达到资源的更充分利用,但同时也对传统运维手段提出了很大的挑战,因此基于无人机的智能巡检技术具有很大的发展空间。
如图 8为部分航线示意图,其中划定的巡检区域面积接近200000 m2,规划航线总长度超过10000 m,预计任务总时长约1 h,可在两个架次内完成数据采集任务。
使用所提出的方法可在3 min内完成对采集到的1200余张照片进行分析处理,如图 9为部分处理结果。
对检测结果进行统计,如表 1所示。可以看出,本文方法对热斑区域的检出率高于95%,满足实际工程应用需求,且效率远远超过传统巡检方式。
表 1 缺陷检测统计结果Table 1. Statistical results of defect detectionHot spots Detections Missed detections False detections 102 113 5 16 4. 结论
本文提出了一种完整的基于无人机的光伏电站智能巡检技术路线,所述方法是完整地,可直接用于光伏电站运维管理;搭建了无人机图像数据采集平台,利用机器视觉技术实现光伏面板缺陷检测与定位。文章将基于图像处理的方法应用到光伏面板缺陷检测中,能够有效检出、定位和分类缺陷,相比深度学习的方法更加高效、贴合实际运维场景要求。并在实践中从巡检效率和精度方面对所提出的技术路线及方法进行了试验,验证了方法在实际应用场景中的有效性。
-
期刊类型引用(25)
1. 李阳,丘建培,宋坤. 基于音视频多模态数据感知的智能巡检系统设计与应用. 现代信息科技. 2025(03): 189-193 . 百度学术
2. 周亚男. 光伏电站运维现状分析. 太阳能. 2024(01): 12-19 . 百度学术
3. 兰金江,曾学仁,方亮,田楠,王志强,刘继江. 基于无人机巡检的光伏缺陷检测与定位. 科技创新与应用. 2024(18): 14-19 . 百度学术
4. 任鹏,张哲,于洋. 基于边缘计算的县域分布式光伏智能巡检方法. 吉林电力. 2024(03): 28-31 . 百度学术
5. 温建国. 智能无人机红外巡检技术在光伏电站故障诊断中的应用. 中国战略新兴产业. 2024(26): 23-25 . 百度学术
6. 侯伟,陈雅,宋承继,刘强锋. 基于改进YOLOv5算法的无人机巡检图像智能识别方法. 微型电脑应用. 2024(09): 26-30+36 . 百度学术
7. 杨梅,马建新,陈炳森,赵泽政. 光伏电站无人机自动巡检及故障诊断技术应用. 计量与测试技术. 2024(09): 89-92 . 百度学术
8. 吴张宇,吴池莉,于慧铭,政幸男,张啸宇. 面向大规模光伏电站的无人机巡检路径规划策略. 综合智慧能源. 2024(11): 46-53 . 百度学术
9. 李峰,林维修,乐锋,许育燕,张斌. 一种基于无人机的光伏异常检测方法研究. 人工智能科学与工程. 2024(04): 86-92 . 百度学术
10. 陈大涛,高伟新,宇文磊县,赵良成,高永鑫,吴良,回峰. 基于无人机巡查的光伏电站检查系统设计. 集成电路应用. 2024(12): 72-75 . 百度学术
11. 曹瑞安. 基于AI机器视觉技术的新能源无人值守场站自动巡检方法. 电力大数据. 2024(11): 48-56 . 百度学术
12. 吕德利,王旋. 一种基于GPS定位技术的无人机智能光伏巡检系统. 科技创新与应用. 2023(06): 37-40 . 百度学术
13. 李德维. 光伏电站组件诊断中无人机智能巡检的应用. 光源与照明. 2023(01): 102-105 . 百度学术
14. 潘巧波,李昂,何梓瑜,唐梓彭. 数字化电厂智慧平台在光伏电站的应用. 黑龙江电力. 2023(02): 137-142 . 百度学术
15. 张永伟,李贵,马玉权,汪海波. 基于高精度快速故障识别的智能光伏视频巡检系统研究. 电力信息与通信技术. 2023(06): 73-78 . 百度学术
16. 范群. 智能集控平台在光伏发电站生产中的应用策略. 光源与照明. 2023(06): 142-144 . 百度学术
17. 白玉龙,孙茹洁,哈永华. 光伏电站自主巡检中的无人机视觉定位算法研究. 电子元器件与信息技术. 2023(05): 72-75 . 百度学术
18. 邓拥正,杨健. 浅谈无人机在光伏电站巡检中的应用. 红水河. 2023(04): 69-72 . 百度学术
19. 王佳文,朱永灿,王帅,李科锋. 航拍光伏组件图像的畸变校正方法研究. 湖南电力. 2023(04): 74-79 . 百度学术
20. 周登科,郭星辰,史凯特,汤鹏,郑开元,马鹏阁. 风电场无人机巡检红外叶片图像拼接算法. 红外技术. 2023(12): 1161-1168 . 本站查看
21. 李智强. 基于无人机航拍摄影的变电站运行环境智能巡检方法. 电气技术与经济. 2023(10): 146-148 . 百度学术
22. 艾上美,周剑峰,张必朝,张涛,王红斌. 基于改进SSD算法的光伏组件缺陷检测研究. 智慧电力. 2023(12): 53-58 . 百度学术
23. 周登科,郭星辰,史凯特,汤鹏,郑开元,马鹏阁. 风电场无人机巡检红外叶片图像拼接算法. 红外技术. 2023(11): 1161-1168 . 本站查看
24. 孙霞,张洁,赵厚群,张坤乾,缪玉婷. Petri网在架空电缆无人机巡检方面的研究. 绥化学院学报. 2022(12): 139-142 . 百度学术
25. 李垚,魏文震,杨增健,赵鑫,吕健. 基于大数据的变电站在线智能巡视系统的研究. 电力大数据. 2022(11): 47-55 . 百度学术
其他类型引用(10)
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 35