Defect Detection System Based on UAV Images for Wind Turbine Blades
-
摘要: 本文针对目前风机叶片人工检测工作量大、效率低、缺陷检测准确率不高的问题，提出并设计了一种基于无人机图像的缺陷自动化检测系统。本文介绍了系统的图像采集系统、采集方法、缺陷检测原理及检测效果：系统以无人机为飞行载体实现了（风机叶片的）自动巡检，从而提高了巡检效率，降低了人工的工作量；通过图像分割及缺陷检测算法设计实现了缺陷可疑区域的自动检测；可见光加红外光双光融合提高了叶片缺陷自动识别的准确性。经过多次现场测试验证，本系统可以精确、快速地实现鼓包，裂纹和褶皱等缺陷的自动识别与检测。Abstract: This study proposes and designs an automatic defect detection system based on UAV images for wind turbine blades, aimed at alleviating problems with manual detection methods, such as low efficiency and inaccurate defect detection. This paper introduces the system's image acquisition system, acquisition method, defect detection principle, and detection result. This system uses a UAV as the flying carrier to realize automatic inspection of wind turbine blades, thereby improving the inspection efficiency and reducing the manual workload. Through image segmentation and defect detection algorithm design, automatic detection of suspicious defect areas is achieved. Double light fusion of visible and infrared light improves the accuracy of automatic blade defect recognition. After multiple field tests and verification, the system is shown to accurately and quickly realize the automatic identification and detection of defects, such as bulges, cracks, and wrinkles.
-
Keywords:
- UAV /
- wind turbine blade /
- defect defection /
- image processing
-
0. 引言
随着科技的发展，激光技术不仅在测距、遥感、通信等方面得到广泛的应用，而且在军事领域得到各国的重视，各类激光武器相继推出，例如激光制导武器、激光雷达等。激光近感探测根据激光束来感知目标，通过目标的回波信号来确定目标的距离和方位，其特点是方向性强、探测精度高、抗电磁干扰能力突出。战场环境中，烟雾对激光有散射和吸收的作用，从而引起能量的衰减，出现虚警和漏警的问题[1]。因此，对于激光在烟雾环境下后向散射特性的研究十分重要。
针对该问题，国内外科研人员进行了大量的研究。冯继青等[2]利用比尔朗伯定律和经典扩散方程建立烟雾环境下激光透过率模型，分析不同激光波长的透过率，但是该方法只考虑了单次散射，具有局限性。王红霞等[3]建立模型计算1.06 μm脉冲激光在烟雾中的传输，分析得到透过率与粒子粒径、烟雾厚度的关系，并且数值仿真脉冲激光在烟雾中的时间展宽特性。类成新等[4]研究激光在随机分布的烟尘团簇粒子的衰减特性，分析激光波长、入射角和粒子密度等参数对在烟尘中激光衰减的影响。李晓峰等[5]模拟研究在烟雾环境下不同波长激光在各个复折射率条件下的吸收、衰减和散射效应。Mori等[6]分析了非对称因子和Mie散射系数在烟雾中单次散射的变化特点。孟祥盛[7]利用偏振特性设计一种激光引信，该系统可以降低引信对烟雾后向散射信号的接收能力。陈慧敏等[8]建立烟雾后向散射模型，分析回波特性，将仿真结果与实测数值进行对比，验证模型的准确性。
本文根据Mie散射理论，运用Monte Carlo方法建立脉冲激光近感探测模型，设置不同距离的大小目标，在无干扰和烟雾干扰条件下仿真905 nm脉冲激光，分析回波波形特征。从而为激光近感探测抗烟雾干扰提供理论基础和新的思路。
1. 理论分析
1.1 烟雾的物理特性
战场上环境十分复杂，爆炸产生的烟雾粒子的主要成分是硫、碳、磷及其混合物。粒子的直径大小与爆炸强度、爆炸物成分和气候条件有关，爆炸产生的烟雾是瞬时的。烟雾也可以看作是气溶胶微粒，不仅爆炸会产生烟雾颗粒，人为释放烟雾气溶胶颗粒对制导武器系统是一种干扰[9]。本文选取发烟材料粒子的粒径大致分布在3~21 μm之间，烟雾粒子粒径分布如图 1所示。
1.2 Mie散射理论
Mie散射理论可用于各个方向同性的球体，但是对于形状不规则的粒子同样适用。Mie散射理论是研究大气中的气溶胶微粒与辐射光发生散射的经典理论，其散射的强度与频率二次方成正比，方向性较明显。假设入射光的强度为I0，散射距离为l，则散射光强I为[10]：
$$ I{\text{ = }}\frac{{{\lambda ^2}}}{{8{\pi ^2}}}\frac{{{i_1} + {i_2}}}{{{l^2}}}{I_0} $$ (1) 式中：i1、i2为强度函数，表达式为：
$$ \left\{ \begin{array}{l} {i_1} = {s_1}(m, \theta , \alpha ) \times {s_1}^ * (m, \theta , \alpha ) \hfill \\ {i_2} = {s_2}(m, \theta , \alpha ) \times {s_2}^ * (m, \theta , \alpha ) \hfill \\ \end{array} \right. $$ (2) 式中：m为散射体相对折射率；θ为散射角；s1、s2为散射光振幅函数，s1∗、s2∗分别为s1、s2的共轭函数，散射体尺度参数α的表达式为[11]：
$$ \alpha {\text{ = }}\frac{{2\pi r}}{\lambda } $$ (3) 式中：r是散射体的半径；λ为入射光波长。散射光振幅函数是无穷级数，可以取表达式的前10项来推演结果。因此，s1、s2具体展开式为：
$$ \left\{ \begin{array}{l} {s_1} = \sum\limits_{k = 1}^\infty {\frac{{2k + 1}}{{k(k + 1)}}[{a_k}{\pi _k} + {b_k}{\tau _k}]} \hfill \\ {s_2} = \sum\limits_{k = 1}^\infty {\frac{{2k + 1}}{{k(k + 1)}}[{a_k}{\tau _k} + {b_k}{\pi _k}]} \hfill \\ \end{array} \right. $$ (4) 式中：ak、bk表示为Mie散射系数，该系数和散射体相对折射率m及散射体尺度参数α相关。
烟雾粒子的散射系数Qsca和消光系数Qext的表达式分别为：
$$ \left\{ \begin{array}{l} {Q_{{\rm{sca}}}} = \frac{2}{{{\alpha ^2}}}\sum\limits_{k = 1}^\infty {(2k + 1)({{\left| {{a_k}} \right|}^2} + {{\left| {{b_k}} \right|}^2})} \hfill \\ {Q_{{\rm{ext}}}} = \frac{2}{{{\alpha ^2}}}\sum\limits_{k = 1}^\infty {(2k + 1){{\rm{Re}}} ({a_k} + {b_k})} \hfill \\ \end{array} \right. $$ (5) 不同相对折射率消光系数随尺度参数分布如图 2所示。
![]()
图 2 不同相对折射率消光系数随尺度参数分布Figure 2. Distribution of extinction coefficient of different relative refractive indices with scale parameter如图 2所示，在选取的3种相对折射率下，消光系数随尺度参数的增加呈振荡衰减分布，最终趋于稳定值。相对折射率越大，震荡幅度越大。
光子与烟雾粒子发生碰撞后各个方向的散射强度用散射相函数来表示，该函数表达式为：
$$ P(\theta )=\frac{{\left|{S}_{1}(\theta )\right|}^{2}+{\left|{S}_{2}(\theta ）\right|}^{2}}{{\displaystyle \sum _{k=1}^{\infty }(2k+1)({\left|{a}_{k}\right|}^{2}+{\left|{b}_{k}\right|}^{2})}} $$ (6) 式中：S1(θ)、S2(θ)为散射光振幅函数。单个粒子散射相位函数与散射角关系如图 3所示。
![]()
图 3 粒子散射相位函数与散射角关系Figure 3. Relationship between scattering phase function and scattering angle of particles2. 脉冲激光近感探测模型
构建本模型的主要思路是将发射的脉冲激光分解成大量光子，根据Mie散射理论和Monte Carlo方法模拟光子在烟雾中的运动轨迹，统计出发生散射后的抵达光电探测器的光子。脉冲激光近感探测模型分为3部分：激光发射模型、激光在烟雾中的传输模型、激光接收模型。
2.1 激光发射模型
激光器发出的脉冲激光为高斯脉冲，功率表达式为：
$$ P(t) = {P_0}\exp [ - \frac{{{{(t - \tau /2)}^2}}}{{{\tau ^2}/4\ln 2}}] $$ (7) 式中：P0为峰值功率；τ为高斯脉冲持续的时间。光子的发射点选择在激光的束腰处，该位置的光子服从高斯分布，因此可得光子的位置为：
$$ \left\{ \begin{array}{l} {x_t} = {\omega _0}{\xi _1} \hfill \\ {y_t} = {\omega _0}{\xi _2} \hfill \\ {z_t} = 0 \hfill \\ \end{array} \right. $$ (8) 式中：$ {\omega _0} = {\left( {\lambda {z_0}/\pi } \right)^{{1 \mathord{\left/ {\vphantom {1 2}} \right. } 2}}} $为束腰半径；z0为瑞利长度；ξ1、ξ2为标准正态分布随机数。光子起始发射方向为：
$$ \left\{ \begin{array}{l} {u_{xt}} = \sin {\theta _t}\cos {\varphi _t} \hfill \\ {u_{yt}} = \sin {\theta _t}\sin {\varphi _t} \hfill \\ {u_{zt}} = \cos {\theta _t} \hfill \\ \end{array} \right. $$ (9) 式中：${\theta _t} = \left| {\left( {{\theta _0}/2} \right) \cdot {\zeta _3}} \right|$为光子发射方向的天顶角；θ0为光束发散角；ξ3为标准正态分布随机数；ϕt＝2π⋅ξ4为光子发射方向的方位角；ξ4为[0, 1]区间上的均匀分布随机数。
2.2 激光在烟雾中的传输模型
光子在烟雾环境中会与烟雾粒子发生碰撞，碰撞后光子的能量会发生变化，其变化为[12]：
$$ {E_1}{\text{ = }}\frac{{{Q_{{\rm{sca}}}}}}{{{Q_{{\rm{ext}}}}}}{E_0} $$ (10) 式中：E0为散射前光子能量；E1为散射后光子能量；Qsca和Qext分别为烟雾粒子的散射系数和消光系数，具体表达式参考1.2节。碰撞后，光子的方向也发生变化，其变化为：
$$ \left\{\begin{array}{l} u_{x s}^{\prime}=\frac{\sin \theta_{\text {sca }}}{\sqrt{1-u_{z s}^2}}\left(u_{x s} u_{z s} \cos \varphi_{\text {sca }}-u_{y s} \sin \varphi_{\text {sca }}\right)+u_{x s} \cos \theta_{\text {sca }} \\ u_{y s}^{\prime}=\frac{\sin \theta_{\text {sca }}}{\sqrt{1-u_{z s}^2}}\left(u_{y s} u_{z s} \cos \varphi_{\text {sca }}+u_{x s} \sin \varphi_{\text {sca }}\right)+u_{y s} \cos \theta_{\text {sca }} \\ u_{z s}^{\prime}=-\sin \theta_{\text {sca }} \cos \varphi_{\text {sca }} \sqrt{1-u_{z s}^2}+u_{z s} \cos \theta_{\text {sca }} \end{array}\right. $$ (11) 式中：(uxs, uys, uzs)为散射前的光子移动方向；(uxs′, uys′, uzs′)为散射后的光子移动方向；ϕsca为[0, 2π]均匀分布的散射方位角；θsca为散射天顶角。光子与烟雾粒子发生碰撞后，如果没有消亡（能量小于阈值），则继续朝新的方向移动，移动的距离为：
$$ \Delta s = - \frac{{\ln \varepsilon }}{{{\mu _t}}} $$ (12) 式中：ε为[0, 1]区间上均匀分布的随机数；μt为烟雾衰减系数。
2.3 激光接收模型
光子离开烟雾环境后，朝接收端光学系统移动，有一定的比例被光电探测器接收。若光子进入接收窗口，则有[13]：
$$ {({x_{\rm{f}}} - {d_{{\rm{tr}}}})^2} + y_{\rm{f}}^2 \leqslant R_{\rm{r}}^2 $$ (13) 式中：xf、yf为光子最后一次散射的位置；dtr为收发光轴间距；Rr为接收端镜头半径。同时，光子在进入接收端光学系统时，入射角需要满足接收视场角要求：
$$ {\theta _{{\rm{in}}}} \leqslant \frac{{{\theta _{{\rm{view}}}}}}{2} $$ (14) 式中：θin为光子入射角；θview为接收视场角。若满足上式，光子可看作是被光电探测器成功接收，成为回波光子。
3. 仿真结果与分析
3.1 仿真流程
烟雾环境下脉冲激光近感探测模型仿真流程图如图 4所示。大致流程如下：输入相关参数，对脉冲激光收发系统及烟雾模型初始化，光子与粒子发生碰撞后计算出光子的能量和位置，若光子在烟雾边界内且光子存活，重复碰撞直到光子进入光电探测器或者消失。当最后一个光子完成循环流程，计算出激光回波幅值。
3.2 仿真参数
选取大小两种目标，大目标为武装直升机和小型固定翼飞机。武装直升机机体长12.5 m，宽3.4 m，高3.94 m，主旋翼直径16.35 m；小型固定翼飞机长3.3 m，机身直径0.28 m，机翼长1.56 m，高为0.7 m。激光经过该目标的回波在一个周期内距离变化量大，实验中用反射率为0.9的白板代替；小目标为小尺寸靶弹，长为2 m，直径约为12 cm，激光经过该目标的回波在一个周期内距离变化量小，实验中用反射率为0.3的灰板代替。环境选取无干扰和烟雾干扰两种环境，仿真参数如表 1所示。
表 1 仿真参数Table 1. Simulation parametersSimulation parameters Value Laser wavelength/nm 905 Emission pulse width/ns 30 Emission beam divergence angle/mrad 5 Receiving field of view angle/mrad 21 Launching system diameter/mm 10 Receiving lens diameter/mm 30 Transmit-receive spacing/mm 35 Simulated photon number 106 Smoke particle size range/μm 3-18 Smoke complex index 1.75-0.43i Target surface Bloom Target reflectance 0.3(small target)
0.9(big target)Target distance/m 3(small target)
7(big target)3.3 结果分析
由图 5可知，取小目标和大目标的距离分别为3 m和7 m，比较小目标和大目标，作用距离增大，探测信号回波的幅值减小，即发射接收系统与目标之间的距离和探测信号回波幅值呈负相关。两者探测回波的前沿上升速率呈递增趋势。
由图 6可知，在烟雾干扰的环境下，对小目标和大目标取相同质量浓度的烟雾，探测回波信号和图 5相比有了明显的变化。脉冲激光会先探测到烟雾，因为烟雾对激光的反射率低，所以接收信号的幅值相对较小；当脉冲激光穿过烟雾到达目标表面，探测回波幅值相对较大，但是由于烟雾环境中粒子对激光的散射和吸收作用，引起能量的衰减，相比较于无干扰条件下，大小目标回波幅值有所降低。烟雾回波和目标回波的脉冲宽度相对于发射激光波形均有一定的展宽，但是前者的展宽程度大于后者。烟雾回波波形呈现前沿陡峭，后沿平缓的非对称特征，对于大目标而言，作用距离的增加，该特征变化得更加明显。因此激光近感探测系统在探测目标时，如果不加入任何抑制后向散射信号方法，烟雾后向散射信号和目标反射信号将会混合在一起，导致探测系统信噪比降低，进而造成系统虚警、漏警等一系列问题。
4. 结论
本文根据Mie散射理论，运用Monte Carlo方法建立脉冲激光近感探测模型，设置参数，仿真得到大小目标在有无烟雾干扰条件下的回波，分析回波的波形特征，得到如下结论：
① 无干扰情况下，发射接收系统与目标之间的距离和探测信号回波幅值呈负相关，目标回波前沿的上升速率均呈递增趋势。
② 烟雾干扰情况下，脉冲激光会先探测到烟雾回波后探测到目标回波且烟雾回波幅值小于目标回波幅值。烟雾回波和目标回波的脉冲宽度相对于发射激光波形均有一定的展宽，但前者的展宽程度要大于后者，烟雾回波波形呈现前沿陡峭，后沿平缓的非对称特征，对于大目标而言，作用距离的增加，该特征变化得更加明显。
-
表 1 可见光机芯参数表
Table 1 Parameters of visible light module
Parameters Value Pixels 5280×3956 CMOS 4"/3" Frame ratio 16:9 
下载: 导出CSV
表 2 红外光机芯参数表
Table 2 Parameters of infrared light module
Parameters Value Wavelength range 7.5-14 μm Pixels 640×480 Temperature range 0℃-150℃ Measurement accuracy 2℃
下载: 导出CSV
-
[1] 贺斌, 贾建华, 赵峰, 等.无人机在风机叶片检测中的应用[J]. 电工技术, 2019(13): 64-65. DOI: 10.3969/j.issn.1002-1388.2019.13.023 HE Bin, JIA Jianhua, ZHAO Feng, et al. Application of UAV in detection of wind turbine blade[J]. Electric Engineering, 2019(13): 64-65. DOI: 10.3969/j.issn.1002-1388.2019.13.023
[2] Menon S, Schoess J N, Hamza R, et al. Wavelet-based acoustic emission detection method with adaptive thresholding[C]//Proc. of SPIE, 2000, 3986: 71-78.
[3] CUI Hongyu, DING Ning, HONG Ming. Crack diagnosis of wind turbine blades based on MD method[J]. IOP Conference Series: Materials Science and Engineering, 2016, 157(1): 012003. http://adsabs.harvard.edu/abs/2016MS&E..157a2003H
[4] WANG Long, ZHANG Zijun. Automatic detection of wind turbine blade surface cracks based on UAV-taken images[J]. IEEE Transactions on Industrial Electronics, 2017, 64(9): 7293-7303. DOI: 10.1109/TIE.2017.2682037
[5] 王凯, 韦宏利, 陈超波, 等.基于红外和可见光融合的目标跟踪[J]. 计算机系统应用, 2018, 27(1): 149-153. http://d.old.wanfangdata.com.cn/Periodical/gxsfdxxb201804007 WANG Kai, WEI Hongli, CHEN Chaobo, et al. Target tracking based on infrared and visible light fusion[J]. Computer Systems & Applications, 2018, 27(1): 149-153. http://d.old.wanfangdata.com.cn/Periodical/gxsfdxxb201804007
[6] 翟永杰, 刘金龙, 程海燕.基于机器视觉的汽车工件抓取定位系统设计与开发[J]. 现代电子技术, 2018, 41(20): 6-9. http://www.cqvip.com/main/zcps.aspx?c=1&id=7000859221 ZHAI Yongjie, LIU Jinlong, CHENG Haiyan. Design and development of automobile workpiece grasping and positioning system based on machine vision[J]. Modern Electronics Technique, 2018, 41(20): 6-9. http://www.cqvip.com/main/zcps.aspx?c=1&id=7000859221
-
期刊类型引用(4)
1. 李星军，邵志伟，梁嘉怡. 基于Roberts算子的激光夜视图像自动分割方法. 激光杂志. 2024(05): 110-114 . 
百度学术
2. 杨锋，赵维骏，顾燕，董隽媛，吕扬，李海生，郭一亮，朱波. 基于细节显著性估计的低照度图像增强方法. 红外技术. 2024(10): 1145-1153 . 本站查看
3. 唐冬来，李玉，杨梅，付世峻，杨俏，叶鸿飞. 基于卷积神经网络的电缆接头缺陷识别方法. 电子设计工程. 2023(12): 33-37 . 百度学术
4. 杨锋，赵维骏，顾燕，朱波，吕扬，焦国力，闵超波. 基于正则化高斯场模型的低光图像增强. 激光与红外. 2023(10): 1586-1592 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 675
- HTML全文浏览量: 165
- PDF下载量: 119
- 被引次数: 4
