Defect Detection System Based on UAV Images for Wind Turbine Blades
-
摘要: 本文针对目前风机叶片人工检测工作量大、效率低、缺陷检测准确率不高的问题，提出并设计了一种基于无人机图像的缺陷自动化检测系统。本文介绍了系统的图像采集系统、采集方法、缺陷检测原理及检测效果：系统以无人机为飞行载体实现了（风机叶片的）自动巡检，从而提高了巡检效率，降低了人工的工作量；通过图像分割及缺陷检测算法设计实现了缺陷可疑区域的自动检测；可见光加红外光双光融合提高了叶片缺陷自动识别的准确性。经过多次现场测试验证，本系统可以精确、快速地实现鼓包，裂纹和褶皱等缺陷的自动识别与检测。Abstract: This study proposes and designs an automatic defect detection system based on UAV images for wind turbine blades, aimed at alleviating problems with manual detection methods, such as low efficiency and inaccurate defect detection. This paper introduces the system's image acquisition system, acquisition method, defect detection principle, and detection result. This system uses a UAV as the flying carrier to realize automatic inspection of wind turbine blades, thereby improving the inspection efficiency and reducing the manual workload. Through image segmentation and defect detection algorithm design, automatic detection of suspicious defect areas is achieved. Double light fusion of visible and infrared light improves the accuracy of automatic blade defect recognition. After multiple field tests and verification, the system is shown to accurately and quickly realize the automatic identification and detection of defects, such as bulges, cracks, and wrinkles.
-
Keywords:
- UAV /
- wind turbine blade /
- defect defection /
- image processing
-
0. 引言
随着红外焦平面探测器制备技术的发展及对高分辨红外图像的需求，红外焦平面芯片的像元尺寸从30 μm减小至几微米，中波红外波段的最小像元尺寸可达3 μm，长波红外波段的最小像元尺寸可达5 μm[1-3]。减小探测器像元尺寸能显著提升系统观测距离和降低系统重量的优点驱动着焦平面器件向更小像元中心距方向的发展[4]。
评价红外系统探测距离的一个关键参数是调制传递函数（modulation transfer function，MTF），反映了系统对不同空间频率信息的分辨能力，常用于系统分辨能力的量化评估。红外焦平面芯片的MTF主要由3部分决定：像元光敏面尺寸、像元中心距和载流子扩散长度[5]。像元的有效光敏面尺寸由注入区的面积和载流子扩散长度决定，随着像元尺寸的减小，横向扩散对MTF的衰减作用将会明显，此时进一步减小像元尺寸对提升焦平面芯片的空间分辨率并无意义。在焦平面芯片的制备过程中，需要根据像元的MTF测试结果对注入区面积、吸收区厚度及载流子浓度等关键参数进行设计权衡，使焦平面芯片的空间分辨率和像元的有效光敏面尺寸同时达到最优。
为准确表征红外焦平面芯片的MTF，国内外红外焦平面组件制备企业均开展了相应研究工作，法国HGH公司开发的BIRD红外焦平面测试系统可同时实现焦平面芯片的基本性能、串音、MTF等参数的测试[6]；法国Sofradir公司基于刀口法搭建了焦平面芯片的MTF测试系统，用于开展不同像元尺寸、不同注入区面积的焦平面芯片的MTF测试分析[7]；以色列SCD公司采用小光点法开展了InSb焦平面芯片的空间分辨率特性研究，完成了对芯片制备优化工艺的验证[8]。国内华南理工大学、电子科技大学、上海技物所等单位均开展了焦平面芯片的MTF测试技术研究，完成了焦平面芯片MTF测试系统搭建及其MTF信息的提取[9]。
本文基于刀口法提出了一种倒装互联结构红外焦平面芯片的MTF测试方法，通过在焦平面芯片表面制备特殊的微结构代替倾斜刀口，采用通用的红外焦平面阵列参数测试系统获取芯片的响应信号，提取微结构处像元响应信号进行差分、拟合、傅里叶变换等处理获得了焦平面芯片的MTF。采用本文提出的方法分别对面阵规模为320×256，像元中心距为30 μm的中波焦平面芯片和规模为640×512，像元中心距为15 μm的中波焦平面芯片进行了MTF测试，测试结果显示该方法能准确、快捷地获取焦平面芯片的MTF，采用该方法能有效地降低芯片的MTF测试难度及对测试系统的要求，便于焦平面芯片生产和研制单位快速地实现倒装互联芯片的MTF测试评价及工艺设计验证。
1. 测试原理
由系统MTF的定义可知，若焦平面系统的输入为一冲击函数δ(x)，输出的像函数为线扩展函数LSF(x)，对像函数进行傅里叶变换即可得到系统的MTF。刀口测试法采用刀口靶标，刀口靶标的亮度分布可看作阶跃函数E(x)，其像函数为阶跃响应函数ESF(x)。红外焦平面系统为线性时不变系统，阶跃函数E(x)的导数为冲击函数δ(x)，因此其阶跃响应的导数为冲击函数的响应，即线扩展函数LSF(x)：
$$ \operatorname{LSF}(x)=\frac{\operatorname{dESF}(x)}{d x} $$ (1) 对线拓展函数LSF(x)进行傅里叶变换可获得焦平面芯片的MTF：
$$ \operatorname{MTF}(f)=\left|\frac{\operatorname{FFT}\left[\frac{\mathrm{d} R(x)}{\mathrm{d} x}\right](f)}{\operatorname{FFT}[\operatorname{LSF}(x)](f)}\right| $$ (2) 式中：LSF(x)为刀口自身的线扩展函数，可通过对刀口定标测试得到；R(x)为探测器对刀口的响应分布函数，刀口法测试的原理如图 1所示。刀口目标辐射产生的红外辐射经红外光学系统后照射在焦平面芯片上，获得响应ESF(x)，对响应函数求差分获得LSF(x)，对差分结果进行傅里叶变换获得焦平面芯片的MTF[10-11]。
2. 微结构制备
传统的刀口法MTF测试系统由高温黑体、光学系统、斩波器、刀口及位移台等组成，为保证测量结果的准确性，要求刀口平直没有缺陷，且在扫描成像时刀口直边垂直于扫描方向，操作较复杂。为简化倒装互联结构焦平面芯片的MTF测试方法，本文针对倒装互联的碲镉汞焦平面芯片的MTF测试需求，通过在芯片表面制备刀口状微结构代替倾斜刀口，采用焦平面参数测试系统获取芯片响应信号后进行差分、拟合、傅里叶变换等处理提取芯片的MTF。
用于焦平面芯片MTF测试的微结构制备流程如图 2所示。选择基本性能测试合格的焦平面芯片，在其表面沉积20 nm厚的金属铬和50 nm厚的金，并在金属层上旋涂光刻胶；根据待测焦平面芯片的像元间距、注入区面积等选择合适尺寸的光刻板在芯片上光刻倾斜刀口图案；采用离子束刻蚀去掉芯片表面第一层金属Au；再采用Cr腐蚀液腐蚀残余的金属Cr，去胶清洗后即可获得用于MTF测试的微结构，如图 3所示。
![]()
图 2 焦平面芯片MTF测试的微结构制备流程。(a)碲镉汞混成芯片；(b)沉积Cr和Au；(c)离子束刻蚀去除Au层；(d)Cr腐蚀液腐蚀残余的金属CrFigure 2. The microstructure fabrication process for the MTF test of chip. (a) HgCdTe FPA; (b) Depositing Cr and Au; (c) Removing the Au by ion beam etching; (d)Removing Cr by chemical corrosion为代替刀口法MTF测试中的倾斜刀口，光刻得到的刀口状图案与焦平面芯片需形成一定夹角，如图 4所示。
若焦平面相邻像元的中心距为d，图案与焦平面y轴夹角为θ，相邻像元被金属覆盖部分的面积之差为：
$$ Δs＝d^{2}\tanθ $$ (3) 由于外界的红外辐射无法透过沉积的金属层，倾斜刀口图案实现了刀口的步进扫描，步长为dtanθ，为获得完整的刀口扩展函数ESF(x)，刀口的倾斜角θ需要根据像元尺寸、测试精度等要求进行调整。
3. 结果分析及讨论
将制备得到的带有微结构的焦平面芯片封装于测试杜瓦，测试方法采用国标[12]中对器件响应测试的相应规定，分别对20℃和35℃黑体目标，调节积分时间使得器件输出达到半阱状态，获取15℃温差下器件的响应输出。
首先采用本文提出的方法开展中波红外320×256（30 μm）焦平面芯片的MTF测试。刀口倾斜量tanθ＝0.0202，等效扫描步长为0.606 μm，获得的带微结构焦平面芯片的响应图如图 5所示。选取明暗相间部分某一行下的所有像元（该行应包含全部被金属覆盖和完全未被金属覆盖的像元）进行MTF提取，获得的线扩展函数如图 6所示，图 7为焦平面芯片的MTF测试结果与宽度为30 μm的方波的MTF对比，其中参考方波的截止频率为33 cyc/mm，被测中波320×256（30 μm）焦平面芯片的截止频率为36 cyc/mm，奈奎斯特频率处的MTF值为0.59，从图 7中可以看出宽度为30 μm方波的MTF与被测芯片的MTF接近，说明该芯片的占空比已处于较优的水平，芯片的占空比接近100%，但被测芯片在奈奎斯特频率处的MTF值小于理想值0.64，说明载流子的横向扩散已经对该焦平面的MTF产生衰减作用。
![]()
图 5 带微结构的中波320×256（30 μm）焦平面芯片响应图Figure 5. Response grayscale of a MWIR 320×256 (30 μm) FPA with microstructures![]()
图 6 带微结构的中波320×256（30 μm）焦平面芯片LSFFigure 6. LSF of a MWIR 320×256 (30 μm) FPA with microstructures![]()
图 7 带微结构的中波320×256（30 μm）焦平面芯片MTF测试结果Figure 7. MTF of a MWIR 320×256 (30 μm) FPA with microstructures为进一步验证本文提出的方法对小像元间距的焦平面芯片的MTF测试效果，选取面阵规模为640×512（15 μm像元间距）的中波红外焦平面芯片开展MTF测试（编号分别为M110和M17），根据文中方法在选定的芯片表面制备微结构，得到焦平面芯片的响应如图 8所示，焦平面芯片M17和M110具有相同的像元中心距和注入区面积，但吸收区的p型载流子浓度不同，其中芯片M17吸收区的载流子浓度小于芯片M110吸收区的载流子浓度。
![]()
图 8 带微结构的中波640×512（15 μm）焦平面芯片响应图Figure 8. Response grayscale of a MWIR 640×512 (15 μm) FPA with microstructures根据刀口法MTF测试的原理，从图 8中选取明暗相间部分某一列下的所有像元（该列应包含全部被金属覆盖和完全未被金属覆盖的像元）求取相邻像元间响应信号的差值，获得线扩展函数LSF(x)，如图 9所示，其中刀口倾斜角为θ（tanθ＝0.0147），等效扫描步长为0.22 μm。对差分获得的焦平面芯片的LSF函数进行拟合得到线扩展函数后进行傅里叶变换得到如图 10所示的焦平面芯片MTF。与中波320×256（30 μm）芯片相比（图 6），中波640×512（15 μm）焦平面芯片（图 9）的线扩展函数LSF的毛刺明显增多，这是由于该方法属于倾斜刀口法测量焦平面芯片MTF的变形，测试结果受系统噪声、像元响应非均匀性的影响，随着像元间距及等效扫描步长的减小，测试系统噪声、像元响应非均匀性对测试结果的影响将会越发明显。
![]()
图 9 带微结构的中波640×512（15 μm）焦平面芯片LSFFigure 9. LSF of a MWIR 640×512 (15 μm) FPA with microstructures![]()
图 10 不同p型载流子浓度640×512中波红外焦平面芯片MTF测试结果Figure 10. MTF of MWIR 640×512 FPA with different p-type carrier concentrations图 11为获取的两个不同p型载流子浓度的中波640×512（15 μm）焦平面芯片的LSF，芯片M110的LSF函数半峰宽小于芯片M17的LSF函数半峰宽，其中芯片M17的截止频率为71 cyc/mm，芯片M110的截止频率为81 cyc/mm，这与少子在芯片M17吸收区的扩散长度长于在芯片M110吸收区的扩散长度相对应（芯片M17吸收区的载流子浓度低于芯片M110吸收区的载流子浓度）。因此，对于像元中心距较大的平面型焦平面芯片，可通过增大注入区面积或者降低吸收区载流子浓度等方式提升焦平面芯片的占空比；对于小像元焦平面芯片，可采取优化注入区面积、吸收区载流子浓度等方式降低串音带来的不利影响。随着像元中心距的进一步减小，扩散长度对焦平面芯片的MTF的影响将会更加明显，在进行小像元焦平面芯片制备工艺设计时，需要对吸收区载流子浓度、注入区面积、像元有效光敏面进行权衡，以达到通过减小像元中心距、提升焦平面芯片MTF的同时，降低串音等对成像质量影响的目的。
![]()
图 11 中波640×512（15 μm）焦平面芯片LSF比较Figure 11. Comparison of LSF for MWIR 640×512 (15um) FPA本文提出的基于微结构的红外焦平面芯片的MTF测试技术属于倾斜刀口法测量焦平面芯片MTF的变形，制备的微结构紧贴在芯片背面，避免了刀口衍射对测量结果的影响，同时省略了光学系统调节、刀口扫描等步骤，降低了焦平面芯片的MTF测试难度；通过对15 μm和30 μm像元中心距焦平面芯片的MTF测试，验证了该方法能够满足不同像元尺寸芯片的MTF测试分析。值得注意的是，微结构一经制备就无法更改，图案设计不合理（扫描步长过大或过小）将无法提取得到焦平面芯片的MTF，同时微结构需要根据不同芯片的特点单独设计。
4. 结论
MTF是评价焦平面芯片在不同空间频率下成像能力的重要参数，本文针对焦平面芯片MTF的测试需求提出了一种简单方便的MTF测试方法，通过在芯片表面制备微结构代替倾斜刀口，采用通用的红外焦平面阵列参数测试系统获取芯片响应，提取微结构处像元响应进行差分、拟合、傅里叶变换等处理获取焦平面芯片的MTF。该方法属于倾斜刀口法测试焦平面芯片MTF的变形，便于焦平面芯片生产和研制单位快速地实现倒装互联芯片的MTF测试评价及工艺设计验证。
-
表 1 可见光机芯参数表
Table 1 Parameters of visible light module
Parameters Value Pixels 5280×3956 CMOS 4"/3" Frame ratio 16:9 
下载: 导出CSV
表 2 红外光机芯参数表
Table 2 Parameters of infrared light module
Parameters Value Wavelength range 7.5-14 μm Pixels 640×480 Temperature range 0℃-150℃ Measurement accuracy 2℃
下载: 导出CSV
-
[1] 贺斌, 贾建华, 赵峰, 等.无人机在风机叶片检测中的应用[J]. 电工技术, 2019(13): 64-65. DOI: 10.3969/j.issn.1002-1388.2019.13.023 HE Bin, JIA Jianhua, ZHAO Feng, et al. Application of UAV in detection of wind turbine blade[J]. Electric Engineering, 2019(13): 64-65. DOI: 10.3969/j.issn.1002-1388.2019.13.023
[2] Menon S, Schoess J N, Hamza R, et al. Wavelet-based acoustic emission detection method with adaptive thresholding[C]//Proc. of SPIE, 2000, 3986: 71-78.
[3] CUI Hongyu, DING Ning, HONG Ming. Crack diagnosis of wind turbine blades based on MD method[J]. IOP Conference Series: Materials Science and Engineering, 2016, 157(1): 012003. http://adsabs.harvard.edu/abs/2016MS&E..157a2003H
[4] WANG Long, ZHANG Zijun. Automatic detection of wind turbine blade surface cracks based on UAV-taken images[J]. IEEE Transactions on Industrial Electronics, 2017, 64(9): 7293-7303. DOI: 10.1109/TIE.2017.2682037
[5] 王凯, 韦宏利, 陈超波, 等.基于红外和可见光融合的目标跟踪[J]. 计算机系统应用, 2018, 27(1): 149-153. http://d.old.wanfangdata.com.cn/Periodical/gxsfdxxb201804007 WANG Kai, WEI Hongli, CHEN Chaobo, et al. Target tracking based on infrared and visible light fusion[J]. Computer Systems & Applications, 2018, 27(1): 149-153. http://d.old.wanfangdata.com.cn/Periodical/gxsfdxxb201804007
[6] 翟永杰, 刘金龙, 程海燕.基于机器视觉的汽车工件抓取定位系统设计与开发[J]. 现代电子技术, 2018, 41(20): 6-9. http://www.cqvip.com/main/zcps.aspx?c=1&id=7000859221 ZHAI Yongjie, LIU Jinlong, CHENG Haiyan. Design and development of automobile workpiece grasping and positioning system based on machine vision[J]. Modern Electronics Technique, 2018, 41(20): 6-9. http://www.cqvip.com/main/zcps.aspx?c=1&id=7000859221
-
期刊类型引用(9)
1. 周坤，彭雄，钟新谷，张文辉，李千禧，赵超. 基于高光谱成像的桥梁混凝土表面露筋病害识别. 红外技术. 2024(02): 216-224 . 
本站查看
2. 魏丞耀，王雪梅，倪文波，陈果，钟昊. 衬胶管道脱粘缺陷超声检测与识别方法研究. 电子测量技术. 2024(01): 23-30 . 百度学术
3. 王滢，樊辉. 寒冷地区绿色建筑结构散热过程仿真. 计算机仿真. 2024(03): 287-291 . 百度学术
4. 吴杭姿，韩立芳，杨燕，黄青隆. 基于数字图像处理技术的建筑预埋件无人化识别技术. 施工技术(中英文). 2024(06): 117-121 . 百度学术
5. 王彬，陈刚，赵矗，师凡伟，刘伟，马艺铭. 基于无人机技术的建筑围护结构热工缺陷测试方法研究. 建筑节能(中英文). 2024(07): 37-44 . 百度学术
6. 江宜瑞，李宇，薛强，周红，张辉，从万林. 人工智能无人机在输电线路故障检测中的应用. 工业控制计算机. 2024(08): 163-164 . 百度学术
7. 彭方圆. 建筑预制梁下外墙板拼缝渗水状态红外图像识别方法. 粉煤灰综合利用. 2024(04): 111-116 . 百度学术
8. 师建平. 红外热像技术在建筑中的应用与分析. 建筑与预算. 2023(02): 73-75 . 百度学术
9. 吴杭姿，韩立芳，杨燕，黄青隆. 基于卷积神经网络的建筑表面裂纹识别技术. 施工技术(中英文). 2023(24): 72-75 . 百度学术
其他类型引用(8)
计量
- 文章访问数: 671
- HTML全文浏览量: 164
- PDF下载量: 117
- 被引次数: 17
