Photovoltaic Module Fault Detection Based on Improved YOLOv5s Algorithm
-
摘要: 针对无人机在光伏组件巡检任务中红外故障图像识别准确率低、检测速度慢的问题，提出一种特征增强的YOLO v5s故障检测算法。首先对损失函数进行优化，将原有的回归损失计算方法由GIOU（generalized intersection over union）改为功能更加强大的EIOU（efficient intersection over union）损失函数，并自适应调节置信度损失平衡系数，提升模型训练效果；随后，在每个检测层前分别添加InRe特征增强模块，通过丰富特征表达增强目标特征提取能力。最后，用创建的红外光伏数据集进行对比验证。实验结果表明：本文方法均值平均精度（mean average precision, mAP）为92.76%，检测速度（frame per second，FPS）达到42.37 FPS，其中热斑、组件脱落两种故障类型平均精度分别为94.85%、90.67%，完全能够满足无人机自动巡检的需求。Abstract: Infrared fault images have the limitations of a low recognition accuracy and low detection rate in a PV module inspection task using a UAV. To address these issues, a feature enhanced YOLO v5s fault detection algorithm is proposed. First, the loss function is optimized, the original regression loss calculation method is changed from GIOU to EIOU, and the confidence loss balance coefficient is adjusted adaptively to improve the model training. The InRe feature enhancement module is then added before each detection layer to enhance the ability of the target feature extraction by enriching the feature expression. Finally, comparative experiments are conducted using the infrared photovoltaic dataset created in this study. The experimental results show that the detection mAP of our method is 92.76%, whereas the detection speed is 42.37 FPS. The mean average precisions of the hot spot and component falling off were 94.85% and 90.67%, respectively, which can fully meet the requirements of the automatic inspection of the UAV.
-
Keywords:
- fault detection /
- YOLOv5s /
- EIOU /
- feature enhancement module
-
0. 引言
ICCD/ICMOS（intensified CCD/CMOS）是由像增强器与CCD/CMOS耦合组成的，集成了微光直视成像器件的高灵敏度和电视成像器件的摄像功能的微光夜视摄像器件，具有体积小、重量轻、成像速度快等特点[1]。根据Liouville理论，任何缩小的光学系统在从大端面向小端面传输的过程中都会伴随着能量的损失[2]，通过将像增强器与大尺寸CCD/CMOS耦合获得的ICCD/ICMOS可以获取更多的能量。
CCD/CMOS虽然在读取信号的方式上有所不同，但是两者在像敏元阵列结构上比较接近，文中仅涉及像元排列方式，因此ICMOS制作工艺及流程同样适用于ICCD，文中将40 mm口径高清晰度的像增强器与大尺寸CMOS直接耦合，研究了实现系统的工艺流程，制作并完成了大尺寸微光摄像系统。
1. 像增强器与CMOS耦合方式
随着模拟/数字视频CCD和CMOS成像技术的发展，像增强器与CCD/CMOS结合的ICCD/ICMOS是目前发展迅速、应用广泛、工作照度最低的微光视频器件模式，是当前微光视频器件的主流模式，特别是高速电子快门选通成像模式更是目前固体微光视频器件难以匹敌的领域[3]。像增强器与CCD/CMOS耦合通常有两种形式：①采用中继透镜将像增强器输出画面成像到CCD/CMOS上，这种方法的优点是容易对焦，但光能利用率一般小于10%，且仪器体积大，成像质量不佳[4]；②通过光纤光锥或者光纤面板将像增强器输出窗与CCD/CMOS感光面连接，将像增强器的信号无畸变的传输至CCD/CMOS感光面，其光能传输效率达到70%，且图像信噪比高，形成的设备集成度高、体积小、重量轻[5]，是目前最常见的耦合方式。
像增强器输出窗的尺寸往往大于普通的CCD/CMOS芯片的感光面，故而光锥耦合过程中，使用光锥的小端与CCD/CMOS芯片除窗后的感光面贴合，大端则贴合像增强器的输出窗，这种耦合方式是3个分布频率不同的离散型器件直接贴合，每一个贴合面，在一定频率下均会导致莫尔条纹的产生，形成固定的图像纹理，同时在器件贴合时也容易产生干涉条纹，这些都会影响画面成像质量[6]（如图 1所示）。目前CCD/CMOS向着大面阵的方向发展，使得直接耦合成为了可能。本文所用的方法为舍去光锥或光纤面板，将像增强器的输出窗直接与CMOS芯片的感光面耦合。目前，国外仅有德国的ProxVision GmbH公司宣布可以提供像增强器直耦CCD/CMOS芯片的感光面的ICCD/ICMOS技术[7]，而事实上目前在国内外市场上仍无法得到直耦的ICCD/ICMOS实际产品和相关技术。图 2为3种耦合方式示意图。
![]()
图 1 光锥耦合ICCD/ICMOS成像系统中的莫尔条纹以及干涉条纹Figure 1. Moire fringes and interference fringes in ICCD/ICMOS fiber optic taper coupling imaging systems![]()
图 2 像增强器与CCD/CMOS耦合方式示意图Figure 2. Schematic diagram of coupling mode between image intensifier and CCD/CMOS直接耦合作为一种新的耦合方式，直耦工艺因减少了光纤面板（或光锥）的使用，相当于减少了一次光能的损耗，并且减少了一个耦合面，因此，直耦可以减少莫尔条纹的出现。同时，直接耦合可以获得更高的增益，也减轻了系统的体积与质量，使其携带更加轻便。
但直接耦合目前没有成熟的工艺，相比于光锥耦合时可通过观察光锥大端的传光结果，来调整光锥落在芯片上的位置，直接耦合时，由于像增强器是非透明器件，无法直接观察是否与CMOS芯片对正，需要在CCD/CMOS开机的状态下通过摄像画面的显示来判断像增强器是否对正，这种不直观的观察不易判断耦合面之间是否对正，因此操作难度更大，应用尚不广泛。
2. 直接耦合工艺流程
2.1 耦合器件的主要参数
为实现大尺寸直耦，文中设计的微光成像系统所使用的相机为LUMIX S1，其芯片尺寸为全画幅；为覆盖整个感光面，像增强器选用北方夜视公司生产的40 mm像增强器，表 1为耦合器件的主要参数。
表 1 耦合器件的主要参数Table 1. The main parameters of the couplerMain parameters of CMOS Chip size Silent frame
(35.6 mm×23.8 mm)Effective pixels 24 million Video-capture 4K/60P, 50P Main parameters of image intensifier Screen diameter 40 mm Radiation sensitivity(2856K) 790 mA/W Signal noise ratio 23 Central resolution 60 lp/mm Luminance gain 9782 cd/m2/lx Maximum output brightness 6.4 cd/m2 Equivalent background brightness 1.4×10-9 lx 2.2 CMOS保护窗的去除
CMOS是一个精密的器件，为保护感光面以及边缘引线，CMOS表面会有一层保护玻璃。但是在耦合时，像增强器需要与像面紧密接触，如果存在保护玻璃会导致荧光屏输出光线在CMOS与保护玻璃之间来回反射，严重影响成像质量[8]，因此需要拆除保护玻璃。
目前较为常用的拆除保护玻璃的方法有以下几种：①加热法，通过热吹风加热光学胶使其融化以取下保护玻璃，这种方法不易产生细小碎屑而损伤像面，但是有时光学胶融化需要较高的温度，不可避免地会同时加热CMOS其他部分，而高温可能导致CMOS的损坏；②机械切除法，即采用工具将保护玻璃拆除，这种方法虽然不会由于温度过高而损坏CMOS，但是在切割过程中产生的碎屑很容易落在感光面上造成划伤。本文利用激光高功率的特性，仅照射保护玻璃与CMOS连接部分的光学胶，使光学胶碳化失去粘性，从而取下光学玻璃，图 3为激光拆除保护玻璃的过程图，这种方法可以避免温度过高损坏CMOS，在拆除的过程中也不易产生碎屑。但要注意的是，在激光照射时需要保护好像面以及CMOS边缘电路，只照射胶体；在照射过程中要保证由外向内进行，因为照射过程会导致胶体汽化，汽化胶如果附着在像面上会导致清洁像面时风险变大。
2.3 像增强器处理
由于像增强器的输出窗是圆形，无法与CMOS表面紧密贴合，因此像增强器的输出窗需要打磨至合适的尺寸。打磨时应注意荧光屏输出窗光纤面板中光纤的排列方向，在耦合角度为15°、45°、75°的时候，莫尔条纹对图像质量影响最小[9]。因为CMOS的像素是矩形排列，而像增强器则是由多个六边形的单元组合而成，因此在打磨像增强器时可通过控制打磨方向来控制像增强器与CMOS之间的角度。通过在显微镜下观察像增强器的单元排列方式，45°相较于其他角度更容易控制，因此可在像增强器荧光屏表面做一条辅助线，在后期可沿这条线进行打磨，如图 4所示。将圆形的荧光屏打磨成方形，打磨后的大小应保证大于CMOS实际感光面积，但小于CMOS整个感光面，这样可以保证CMOS感光面被充满，同时保证CMOS边缘引线不受像增强器的挤压而损坏。图 5为像增强器实物图以及打磨过程图。
2.4 像增强器与CMOS耦合
耦合环境要求清洁度优于万级，无灰尘，防止耦合面进入细小杂物，影响像质。耦合前需要清理CMOS像面与像增强器荧光屏，用脱脂棉蘸取少量酒精轻轻擦拭，防止损伤。因像增强器是非透明器件，因此需要CMOS相机处在开机状态下耦合，通过观察输出视频画面调整像增强器的位置。图 6为直耦器件实物图。
耦合时采用盲贴合对准的方式，耦合角度为45°，确保耦合的准确性。在耦合面之间添加耦合液可以进一步提高成像质量。
3. 微光夜视相机
由于增加了像增强器，因此需要对相机结构进行改动。考虑相机的法兰距等因素重新设计镜头卡口截圈，该截圈同时可以支撑像增强器，防止耦合面开裂。截圈如图 7所示，整机如图 8所示，如图可见，直耦工艺极大地减小了整机的体积。
3.1 微光夜视系统的性能测试与分析
分辨力是成像器件的重要参数之一，指成像器件或系统对物像中明暗细节的分辨能力。像增强器的分辨力用每毫米内可分辨的最多线对数表示，ICMOS成像系统的分辨力用电视线（TV line，TVL）表示，电视线通常用每帧图像高度内的电视线数表示[10]。TVL可由线宽每图像高度（LW/PH）表征。实验在暗室中进行，在10－3 lx的环境中，通过拍摄ISO 12233分辨率测试标准板测试ICMOS整机的分辨力，如图 9所示。图 10为帧图像平均后所得，减小了随机噪声的干扰，图中刻线的空间分辨率分别是1500，1600，1700，1800，1900，2000LW/PH，可以观察出1900LW/PH刻线的方向，因此整机分辨率为3800×1900LW/PH。图 10(b)为图 10(a)的平均灰度曲线。
3.2 直耦微光摄像系统的优势
通过直耦全画幅尺寸CMOS与大尺寸像增强器，摄像系统具有更大的视场以及更高的清晰度。在同样的条件下，本文制作的微光夜视设备可获取更多的图像信息，如图 11所示，由图可见，画面清晰，莫尔条纹少。
4. 结论
本文通过直接耦合像增强器与全画幅尺寸CMOS，获得了大尺寸的微光摄像系统，实验结果表明：
1）通过运用直接耦合的方式可以有效减少莫尔条纹以及干涉条纹对图像质量的影响；
2）采用全画幅尺寸CMOS与40 mm像增强器研制的ICMOS相比于小画幅尺寸制成的器件具有更大视场，可获取更多信息；
3）文中研制的微光夜视系统分辨率可达3800×1900 LW/HP，可以在复杂环境中更准确地获取信息。
进一步可在本系统中增加5 ns门控电源，实现手持选通相机，在水下探测、透窗透雾识别等领域有着更多应用。直接耦合不同的像增强器所获得的ICCD/ICMOS可以应用在不同场所，例如通过耦合X射线像增强器可以应用于医学成像和无损鉴定等领域，耦合紫外像增强器则可用于高压电路检测以及雪地伪装识别等。直接耦合可以耦合不同的器件以实现不同的功能，例如将偏振片阵列与CCD/CMOS实现像素级对准从而获取像素偏振CCD/CMOS，将微透镜与CCD/CMOS实现像素级对准则可获得光场相机等。
-
表 1 消融实验
Table 1 Ablation experiment
Experiment EIOU Balance parameter InRe mAP% FPS Experiment 1 - - - 85.57 44.62 Experiment 2 √ - - 88.67 46.91 Experiment 3 - √ - 85.97 46.93 Experiment 4 √ √ - 88.54 47.50 Experiment 5 - - √ 89.81 40.82 Experiment 6 √ √ √ 92.76 42.37 
下载: 导出CSV
表 2 对比实验
Table 2 Comparative experiment
Algorithm AP/% Parameter quantity (M) mAP/% FPS Damage Hot spot Model size/MB Faster-RCNN 92.45 87.95 522.91 137.08 90.20 16.33 SSD 90.95 78.37 90.58 23.75 84.66 36.50 YOLOv3 92.31 88.05 236.32 61.95 90.18 41.31 YOLOv4 91.08 85.76 243.92 63.94 88.42 25.87 YOLOv5s 90.36 78.06 26.96 7.07 84.21 44.56 YOLOv4-mobileNetv2 92.24 87.62 46.11 12.15 89.93 38.26 YOLOv4-tiny 76.19 54.89 22.42 5.88 65.54 56.18 YOLOv5-mobileNet 77.44 60.21 7.42 2.82 68.83 43.58 Proposed 94.85 90.67 30.52 7.41 92.76 42.37
下载: 导出CSV
-
[1] 杨店飞, 郭宇杰, 沈桂鹏. 基于BP神经网络的光伏组件故障类型诊断[J]. 智慧电力, 2016, 44(2): 15-21. https://www.cnki.com.cn/Article/CJFDTOTAL-XBDJ201602006.htm YANG Dianfei, GUO Yujie, SHEN Guipeng. Fault type diagnosis of photovoltaic module based on BP neural network[J]. Smart Power, 2016, 44(2): 15-21. https://www.cnki.com.cn/Article/CJFDTOTAL-XBDJ201602006.htm
[2] 李大勇, 陈如亮, 崔岩, 等. 基于Pspice的光伏组件热斑现象仿真[J]. 哈尔滨工业大学学报, 2006, 38(11): 1888-1892, 1897. https://www.cnki.com.cn/Article/CJFDTOTAL-HEBX200611018.htm LI Dayong, CHEN Ruliang, CUI Yan, et al. A research of hot spot on PV module with Pspice[J]. Journal of Harbin Institute of Technology, 2006, 38(11): 1888-1892, 1897. https://www.cnki.com.cn/Article/CJFDTOTAL-HEBX200611018.htm
[3] YU Ruei Tzeng, Chia che Ho, Ming Hwa Sheu, et al. Application of thermal camera in PV plants shelter detection[C]//2017 IEEE International Conference on Consumer Electronics, 2017: 411-412.
[4] 时亚涛, 戴芳, 杨畅民. 太阳能光伏电池缺陷检测[J]. 电子测量与仪器学报, 2020, 34(4): 157-164. https://cdmd.cnki.com.cn/Article/CDMD-10561-1019621693.htm SHI Yatao, DAI Fang, YANG Changming. Defect detection of solar photovoltaic cell[J]. Journal of Electronic Measurement and Instrument, 2020, 34(4): 157-164. https://cdmd.cnki.com.cn/Article/CDMD-10561-1019621693.htm
[5] 毛峡, 石天朋. 光伏热斑图像有效区域分割算法研究[J]. 太阳能学报, 2018, 39(5): 1270-1276. https://www.cnki.com.cn/Article/CJFDTOTAL-TYLX201805014.htm MAO Xia, SHI Tianming. Research on effective region segmentation algorithm of photovoltaic hot spot image[J]. Acta Energiae Solaris Sinica, 2018, 39(5): 1270-1276. https://www.cnki.com.cn/Article/CJFDTOTAL-TYLX201805014.htm
[6] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//European Conference on Computer Vision, 2016: 21-37.
[7] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[8] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.
[9] REN S, HE K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[10] CAI Z, Vasconcelos N. Cascade R-CNN: delving into high quality object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 6154-6162.
[11] WEI S, LI X, DING S, et al. Hotspots infrared detection of photovoltaic modules based on Hough line transformation and faster-RCNN approach[C]//2019 6th International Conference on Control, Decision and Information Technologies, 2019: 1266-1271.
[12] Bartler A, Mauch L, Yang B, et al. Automated detection of solar cell defects with deep learning[C]//2018 26th European Signal Processing Conference, 2018: 2035-2039.
[13] 程起泽, 陈泽华, 张雲钦, 等. 基于CNN-LSTM的太阳能光伏组件故障诊断研究[J]. 电子技术应用, 2020, 46(4): 66-70. CHENG Qize, CHEN Zehua, ZHANG Yunqin, et al. Research on fault diagnosis of solar photovoltaic module based on CNN-LSTM[J]. Application of Electronic Technology, 2020, 46(4): 66-70.
[14] ZHANG Y F, REN W, ZHANG Z, et al. Focal and efficient IOU loss for accurate bounding box regression[EB/OL]. [2021-01-20]. https://doi.org/10.48550/arXiv.2101.08158.
[15] Cipolla R, Gal Y, Kendall A. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 7482-7491.
[16] Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, et al. Inception-v4, Inception-ResNet and the impact of residual connections on learning[EB/OL]. [2016-08-23]. https://doi.org/10.48550/arXiv.1602.07261.
-
期刊类型引用(4)
1. 李亚情，李晗艳，张立昀，陈旭华，李晓露，邱永生，何俊，高天礼，杜培德，周盛涛. 直耦增强型CMOS相机技术研究. 红外技术. 2024(06): 699-706+721 . 
本站查看
2. 任宇航，李斌康，周二瑞，杨少华，严明，郭明安，李刚，刘璐，王晶，时明月. 基于视场分割模型的闪光照相系统图像畸变校正. 激光与光电子学进展. 2024(24): 45-52 . 百度学术
3. 王霞，张鑫，焦岗成，杨晔，程宏昌，延波. 基于双残差注意力网络的ICMOS图像去噪算法. 光子学报. 2022(06): 374-383 . 百度学术
4. 张宇，崔皓东，张曦，高彩霞，钱永刚，马灵玲，邱实. 夜间遥感场地替代定标的微光光谱仪设计与试验分析. 半导体光电. 2022(06): 1155-1161 . 百度学术
其他类型引用(5)
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 9
