基于YOLOv7-EPAN的光伏板红外图像缺陷检测

李冰, 赵宽, 白云山, 郭聪彬, 徐蔚, 徐大伟, 翟永杰

李冰, 赵宽, 白云山, 郭聪彬, 徐蔚, 徐大伟, 翟永杰. 基于YOLOv7-EPAN的光伏板红外图像缺陷检测[J]. 红外技术, 2024, 46(11): 1315-1324.
引用本文: 李冰, 赵宽, 白云山, 郭聪彬, 徐蔚, 徐大伟, 翟永杰. 基于YOLOv7-EPAN的光伏板红外图像缺陷检测[J]. 红外技术, 2024, 46(11): 1315-1324.
LI Bing, ZHAO Kuan, BAI Yunshan, GUO Congbin, XU Wei, XU Dawei, ZHAI Yongjie. Defect Detection of Photovoltaic Panel Infrared Image Based on YOLOv7-EPAN[J]. Infrared Technology , 2024, 46(11): 1315-1324.
Citation: LI Bing, ZHAO Kuan, BAI Yunshan, GUO Congbin, XU Wei, XU Dawei, ZHAI Yongjie. Defect Detection of Photovoltaic Panel Infrared Image Based on YOLOv7-EPAN[J]. Infrared Technology , 2024, 46(11): 1315-1324.

基于YOLOv7-EPAN的光伏板红外图像缺陷检测

基金项目: 

国家自然科学基金项目 U21A20486

中央高校基本科研业务费专项资金资助 2022MS100

详细信息
    作者简介:

    李冰(1977-),男,副教授,硕士生导师,主要研究方向为模式识别与电力视觉。E-mail: li_bing_hb@126.com

    通讯作者:

    翟永杰(1972-),男,教授,博士生导师,主要研究方向为电力视觉。E-mail: zhaiyongjie@ncepu.edu.cn

  • 中图分类号: TP391.41

Defect Detection of Photovoltaic Panel Infrared Image Based on YOLOv7-EPAN

  • 摘要:

    光伏板是光伏电站重要组成部件,需定期对其进行检测,保证光伏电站安全运行。针对航拍光伏图像复杂背景下小目标难检测的问题,提出一种基于YOLOv7-EPAN的光伏板红外图像缺陷检测方法。首先提出融合CSWin Transformer的扩展高效网络CS-ELAN模块,捕获全局有效信息抑制背景信息;其次以CS-ELAN为基础构建高效路径特征聚合网络EPAN(Efficient path aggregation characteristic pyramid network),加强不同特征层的信息交互,丰富语义特征信息,提高特征表达能力;最后优化损失函数,使模型关注高质量先验框,提高小目标定位精度。在航拍光伏红外数据集上进行实验,结果表明:相比于原YOLOv7模型,所提方法的mAP50、mAP50:95分别提高了6.4%、3.3%,表明所提方法能较好地解决航拍光伏图像复杂背景下小目标缺陷漏检的问题。

    Abstract:

    Photovoltaic (PV) panels are an important component of photovoltaic power stations. They must be tested regularly to ensure a safe operation of the photovoltaic power station. To address the problem of small targets being difficult to detect among the complex background of aerial photovoltaic images, a defect detection method based on YOLOv7-EPAN for infrared photovoltaic panel images is proposed. First, an extended efficient network CS-ELAN module integrated with a CSWin Transformer is proposed for capturing global information effectively and suppressing background information. Second, an efficient path aggregation characteristic pyramid network (EPAN) is constructed based on CS-ELAN to enhance the information interaction between different feature layers, enrich the semantic feature information, and improve the feature expression ability. Finally, the loss function is optimized to focus the model on a prior high-quality frame and improve the positioning accuracy of small targets. The experimental results show that compared with the original YOLOv7 model, the mAP50 and mAP50:95 of the proposed method show an improvement of 6.4% and 3.3%, respectively, indicating that the proposed method can better solve the problem of missing small target defects among the complex background of aerial photovoltaic images.

  • 长期工作在恶劣环境下的起重机械,由于服役时间长且长期承受交变载荷,其金属构件极有可能会产生不同程度的损伤[1]。因此,为了确保起重机械服役过程的实用性和安全性,对金属结构早期裂纹的判断和识别是非常必要的。但是在复杂又多变的环境中对金属构件裂纹缺陷接触检测难以实现且检测结果并不准确,而常规无损检测技术检测又存在速度慢、便携度差和检测精度差的缺点,已经无法满足常规试件便携、快速、准确的检测需求,因此对具有非接触、检测速度快的红外热成像检测技术[2]的应用和研究具有重大意义。

    关于红外热成像检测技术,Avdelidis N P[3-4]等采用红外热成像技术实现了对航空设备涡轮叶片缺陷的检测,并取得了不错的检测效果。Zou H[5]等将红外热成像检测技术应用于检测电气设备故障,检测结果显示该检测方法的准确率达到了97%以上。哈尔滨工业大学的秦雷等人[6]运用超声热成像检测技术和锁相热成像检测技术,对金属材料表面缺陷进行检测,实现了金属材料试件表面缺陷的检测。沈阳理工大学的胡海林等人[7]基于红外热成像无损检测技术,对金属构件内部缺陷进行检测,结果表明红外热成像无损检测实现了金属构件内部缺陷的定量识别。

    脉冲红外热成像技术相比于红外热成像技术具有检测过程不易受噪声干扰的优点[8]。本文结合脉冲红外热成像技术的检测原理,选择了合适的热激励源设备,设计了脉冲红外热成像检测系统并搭建了实验平台;对定制的含有裂纹缺陷的金属试件进行实验,完成了红外图像的采集,对采集的红外图像进行图像处理,并针对传统图像处理算法处理后的图像存在缺陷轮廓边缘模糊的问题,提出一种基于巴特沃斯低通滤波算法的改进算法,即巴特沃斯带通滤波算法,有效地滤除了图像噪声;然后通过阈值分割和边缘检测算子等图像处理算法,实现了金属裂纹缺陷的快速、准确地识别;最后根据平板试件的实际尺寸和轮廓特征图像像素之间的换算关系,得到缺陷面积、长度和宽度的计算数值,实现了裂纹缺陷的定量识别。

    脉冲红外热成像检测是通过施加方波形式的热流主动加热被检试件[9],由传热学理论可知,当被检试件内部或表面存在不连续缺陷时,热量在被检试件内部传递受到阻碍,在缺陷区域产生热量堆积,形成“热区”和“冷区”造成被检试件表面温度分布差异,利用红外热像仪实时捕捉并采集该温度场分布差异[10-11],通过图像预处理、图像滤波、阈值分割和边缘检测等图像处理算法,对采集的红外图像进行处理,实现被检试件内部缺陷可视化。脉冲红外热成像的检测原理如图 1所示。

    图  1  脉冲红外热成像检测原理图
    Figure  1.  The principle of pulsed infrared thermal imaging detection

    根据脉冲红外热成像检测原理可知,脉冲红外热成像检测系统应含热源系统、热成像系统和图像采集分析系统。搭建了脉冲红外热成像检测系统如图 2所示。计算机通过数据端口连接热源系统和红外热像仪,控制整个试验进程。热源系统由两个高能卤素灯、时间继电器、可控电源及灯罩组成,其中时间继电器和可控电源用于控制检测系统的加热时间和脉冲能量;灯罩的作用是使高能卤素灯聚光,保护检测人员的眼睛。热成像系统主要由红外热像仪组成,它的作用是实时观测并采集红外图像[12],为后续图像处理算法的研究提供数据。图像采集分析系统主要包括图像预处理,缺陷边缘轮廓提取算法。红外图像的处理是实现缺陷定性分析和定量识别的前提。

    图  2  脉冲红外热成像硬件系统框图
    Figure  2.  The diagram of pulsed infrared thermal testing hardware system

    根据图 2脉冲红外热成像检测系统的设计思路,选取检测系统中所需要的关键设备搭建了如图 3所示的脉冲红外热成像检测系统的实验平台。

    图  3  脉冲红外热成像检测系统实验平台
    Figure  3.  Experimental platform of pulsed infrared thermal testing system

    式(1)为任意时刻材料表面的温度表达式:

    $$ T\left( {0,\tau } \right) = \frac{q}{{\sqrt {\pi \rho c\mu \tau } }} $$ (1)

    式中:T为物体表面温度,℃;q为脉冲强度,W/m2τ为时间,s;ρ为材料密度,kg/m3c为比热容,J/(kg⋅℃);μ为导热系数。

    分别采用脉冲能量为q=105 W⋅m-2q=205 W⋅m-2q=305 W⋅m-2q=405 W⋅m-2加热被检试件,通过式(1)得出的被检试件表面温度的变化情况如图 4所示。由图 4可知:室温下加热被检试件,当加热时间相同时,脉冲强度越大,被检试件表面温度增加的幅度也越高。因此脉冲能量越高,脉冲热成像检测的成像效果越好。但是考虑到实验室的试验条件,以及随着脉冲能量的增加会导致被检试件表面被烧伤的危险,需根据材料属性选择合适的脉冲能量,达到最佳的检测效果,同时不烧伤被检试件的表面。

    图  4  不同脉冲强度下被检试件表面温度变化情况
    Figure  4.  Temperature field of the specimen surface after different pulsed intensities

    根据图 4所示的不同脉冲强度下被检试件表面温度变化情况,在该脉冲红外热成像检测系统实验平台中,热激励源选择了额定电压为220 V、最大额定功率为2000 W的红外镀金管,时间控制器选择了型号为JSS48A、额定电压为220~380 V的正泰数显时间继电器并设置通电时间为60 s,红外热像仪选择了Fluke Ti480型号,该款热像仪具有MultiSharpTM多点对焦功能,可以实现自动对焦,降低错误识温的概率,它的工作波段从7.5~14 μm,图像捕捉频率为60 Hz,生成的红外图像像素为640×480。

    本文选择材料被广泛应用于工程机械领域的Q235钢材作为红外热成像检测试验的试验对象,设计试件的尺寸为100 mm×50 mm×5 mm,预制长宽为20 mm×1 mm的微小裂纹,在试验开始前,对被检试件进行表面清洁和喷漆处理来提高被检试件表面的光谱吸收率以及红外发射率。图 5所示为含有裂纹缺陷的Q235钢板试件。

    图  5  金属裂纹试件
    Figure  5.  Metal crack specimen

    图 6为脉冲红外热成像试验采集的红外图像及三维显示图。由图 6可知,采集的红外图像存在裂纹缺陷边缘轮廓模糊、无端噪点多、灰度范围窄且集中、明暗对比度低、图像分辨率低的问题。为了改善图像的显示效果,需要采用合适的图像处理算法对采集的红外图像进行处理,便于后续裂纹缺陷轮廓的提取和缺陷特征的定量识别[13]

    图  6  采集的某帧红外图像
    Figure  6.  One of collected infrared thermal image

    为了在高噪声的图像中辨别出裂纹缺陷微弱的温度变化信息,需要对采集的红外图像进行图像处理,降低图像噪声,增大图像的明暗对比度,达到改善红外图像视觉效果的目的[14]。因此采用了巴特沃斯带通滤波算法,并和中值滤波、巴特沃斯低通滤波算法对比分析,发现巴特沃斯带通滤波算法的滤波处理效果较好。

    对采集的原始红外图像进行灰度转换,可以有效地减小红外图像占用的内存,进而加快图像的处理速度。如图 7所示为经过灰度变化后的灰度图像、图像直方图,其中灰度直方图表示某一灰度级在整幅图像像素中出现的频率,代表某一灰度级占总像素的比例。由图 7(a)可知经过灰度转换后,裂纹缺陷的形状更清晰和直观,一些无关的噪声信息被弱化了。由图 7(b)可知,灰度图像的灰度级[15]分布在中段,灰度范围窄。灰度变换虽然可以提高图像处理速度,但是裂纹缺陷边缘轮廓模糊的现象依然存在,不利于后续裂纹缺陷边缘轮廓的提取,因此需要引入直方图均衡化使得灰度图像的灰度范围分布均匀。

    图  7  灰度变换后的图像
    Figure  7.  Infrared image after grayscale transforming

    图 8所示为直方图均衡化后的图像和图像直方图,由图 8(a)所示,均衡化后,图像的背景区域与裂纹区域的对比度被强化,突出了缺陷的边缘轮廓。对比灰度直方图 8(b)图 7(b)可知,经过直方图均衡化处理后的灰度图像,灰度范围扩展至整个灰度级,有较大的灰度范围。显示效果得到了优化。

    图  8  直方图均衡化
    Figure  8.  Histogram equalized image

    为了能够有效提取裂纹缺陷的轮廓特征和温度信息,需要对图像进行滤波降噪处理。图 9所示为经过中值滤波处理后的图像和图像直方图。由图 9可知,中值滤波不仅扩展了原始灰度图像的灰度级分布范围,解决了图像边缘轮廓模糊的问题;而且还对原始的图像数据进行了压缩,提高了计算机运算处理图像的速度。

    图  9  中值滤波后图像
    Figure  9.  Median filtered image

    巴特沃斯低通滤波[16]是一种基于频率域的图像处理算法。其实现过程如图 10所示。

    图  10  频率域图像处理
    Figure  10.  Image processing algorithm based on frequency domain

    图 10可知,实现频率域处理的第一步是读取外部输入图像f(x, y),将原始红外图像f(x, y)通过傅里叶变换为F(u, v);第二步将F(u, v)与传递函数H(u, v)卷积,其卷积表达式如式(2)所示;最后通过傅里叶反变换,将频率域的图像变换为空间域的图像即可得到滤波处理之后的图像g(x, y)。

    $$ G(u, v)=F(u, v)^{*} H(u, v) $$ (2)

    式中:G(u, v)为卷积结果;F(u, v)为输入图像傅里叶变换后的频率谱;H(u, v)为滤波器的传递函数。

    由式(2)可知,滤波器传递函数的选择,关乎基于频率域图像滤波算法图像降噪的效果,巴特沃斯低通滤波的传递函数如式(3)所示:

    $$ H\left( {u,v} \right) = \frac{1}{{1 + {{\left[ {\frac{{D\left( {u,v} \right)}}{{{D_0}}}} \right]}^{2n}}}} $$ (3)

    式中:$ D\left( {u,v} \right) = \sqrt {{u^2} + {v^2}} $;H(u, v)为滤波器的传递函数;D0为截止频率;2n为阶数。

    图 11所示为经过巴特沃斯低通滤波处理后的图像、图像直方图及三维显图。由图 11(a)图 11(b)可知,巴特沃斯低通滤波可以有效滤除高频噪声,降噪效果较好。由图 11(c)可知,虽然巴特沃斯低通滤波可以有效滤除图像噪声点,但是也造成了缺陷边缘轮廓模糊,不利于后续裂纹缺陷边缘轮廓的提取。针对巴特沃斯低通滤波处理后缺陷边缘轮廓模糊的问题,本文提出一种改进的算法——巴特沃斯带通滤波算法。

    图  11  巴特沃斯低通滤波
    Figure  11.  Butterworth low-pass filtered image

    巴特沃斯带通滤波算法是通过将不同截止频率的巴特沃兹低通滤波和巴特沃兹高通滤波进行串联,综合低通滤波有效滤除图像噪声,高通滤波强化图像边缘轮廓的优点[17],保证有用信号通过,同时滤除图像噪声及其他干扰信息的一种改进算法。巴特沃斯带通滤波算法的实现过程与巴特沃斯低通滤波相似,它们的主要区别在于传递函数的选择不同,巴特沃兹带通滤波算法传递函数的表达式如式(4)所示:

    $$ H\left( {u,v} \right) = \frac{1}{{1\left| { + \frac{{D\left( {u,v} \right)}}{{{D_{\text{H}}}}} \wedge \left( {2*n} \right)} \right.}} \times \frac{1}{{1\left| { + \frac{{{D_{\text{L}}}}}{{D\left( {u,v} \right)}} \wedge \left( {2*n} \right)} \right.}} $$ (4)

    式中:$ D\left( {u,v} \right) = \sqrt {{u^2} + {v^2}} $;H(u, v)为传递函数;DL为低通滤波的截至频率;DH为高通滤波的截止频率,其中(DLDH);n为阶数;*为卷积符号。

    图 12所示为经过巴特沃斯带通滤波后的图像、图像直方图及三维显示图。由图 12(a)可知,经过改进过巴特沃兹带通滤波算法处理的图像实现了缺陷区域和背景区域的有效分离。由图 12(b)12(c)可知,改进的巴特沃兹带通滤波算法可以有效地滤除图像噪声,同时完整保留了裂纹缺陷的边缘轮廓。由以上分析可知,改进的巴特沃兹带通滤波算法可以有效滤除图像噪声、同时增强图像亮区和暗区的对比度,实现了金属裂纹缺陷的快速、准确识别,为后续裂纹缺陷边缘轮廓的提取和缺陷定量识别奠定基础。

    图  12  改进的巴特沃兹带通滤波算法处理后的图像
    Figure  12.  Infrared images aftert the improved Butterworth bandpass filtering algorithm

    通过图片判断缺陷特征,属于定性分析;为了客观评价图像预处理算法的处理效果,可以采用峰值信噪比进行比较。峰值信噪比是基于对应像素点间的误差,峰值信噪比越大表示失真越小。峰值信噪比(Peak Signal-To-Noise Ratio,PSNR)的定义如式(5)所示:

    $$ {\text{PSNR}} = 10 \times \lg \frac{{255 \times 255}}{{{\text{RMS}}{{\text{E}}^2}}} $$ (5)

    式中:RMSE为均方根误差:

    $$ {\text{RMSE}} = \sqrt {\frac{{\sum\limits_{i = 1}^N {\sum\limits_{j = 2}^M {{{\left[ {R\left( {i,j} \right) - F\left( {i,j} \right)} \right]}^2}} } }}{{M \times N}}} $$

    表 1为4种滤波器的峰值信噪比,由表 1可知,巴特沃斯带通滤波算法的PSNR最大,与定性分析基本吻合。试验结果表明:采用巴特沃斯带通滤波算法对红外图像进行滤波处理,在突出高频分量的同时,仍能保留低频部分,对比度得到明显增强,峰值信噪比变大,图像缺陷判断变得更加容易。

    表  1  各种滤波后图像的峰值信噪比
    Table  1.  Peak signal-to-noise ratio of various filtered images
    Test subject Median Filter SNR Butterworth Low Pass Filtering Algorithm SNR Butterworth Bandpass Filtering Algorithm SNR
    Metal specimens with crack defects 43.3848 38.9708 68.9181
    下载: 导出CSV 
    | 显示表格

    采用最大类间方差法(Otsu)[18]求取的最优阈值,可以减少缺陷区域和背景区域像素点的模糊的现象。如图 13所示为最大类间方差处理的二值图。由图 13可知,裂纹缺陷位于试件正中,形状为细长的矩形条。由此可知最大类间方差法,可以有效地分离图像的缺陷区域和背景区域,实现了快速判断缺陷形状、大小、位置的目的,完成了裂纹缺陷的定性分析,为后续裂纹缺陷边缘轮廓的提取提供奠定基础。

    图  13  改进巴特沃斯带通滤波算法处理后
    Figure  13.  The binary image after the improved Butterworth band pass filtering algorithm

    图像边缘检测为裂纹缺陷轮廓的提取和定位做准备,是实现边缘信息可视化最重要的一步[19]图 14为裂纹缺陷边缘轮廓特征提取的效果图。由图 14可知经过边缘检测算子Canny算子[20]处理后的裂纹缺陷边缘连续且清晰,得到了完整裂纹缺陷的边缘轮廓。

    图  14  Canny算子边缘检测效果
    Figure  14.  Canny operator edge detection result

    采用像素法计算裂纹缺陷特征,像素法的公式为:

    $$ {S_{\text{d}}}{\text{ = }}\frac{{{S_{\text{a}}}}}{{{S_i}}} \cdot {\text{PI}}{{\text{X}}_{\text{S}}} $$ (6)
    $$ {L_{\text{d}}}{\text{ = }}\frac{{{L_{\text{a}}}}}{{{L_{\text{i}}}}} \cdot {\text{PI}}{{\text{X}}_{\text{L}}} $$ (7)
    $$ {D_{\text{d}}}{\text{ = }}\frac{{{D_{\text{a}}}}}{{{D_{\text{i}}}}} \cdot {\text{PI}}{{\text{X}}_{\text{D}}} $$ (8)

    式中:SaLaDa分别为实际试件的面积、长和宽;SdLdDd分别为预埋裂纹缺陷轮廓的面积、长和宽的计算值;SiLiDi分别为对应行、列像素求出的相应像素面积、实际试件的长和宽在红外热图像对应的行、列最大像素值;PIXS、PIXL、PIXD分别为预埋裂纹缺陷轮廓特征图像的像素面积、长和宽。

    本节选取的红外热图像的图像像素(长×宽)为640 pixel×480 pixel,对应上表面尺寸(长×宽)为55 mm×41.25 mm的Q235钢板试件,预埋长度为20 mm,宽度为1 mm的裂纹缺陷。根据式(6)、(7)和(8),计算得到Q235钢板试件中裂纹缺陷的特征识别参数及其精度计算结果,如表 2所示。

    表  2  裂纹缺陷的特征识别参数及其精度
    Table  2.  Identification parameters and accuracy of rack defects features
    Parameter category Parameters Parameter value
    Attributes PIXS/pixel 2692
    PIXL/pixel 192
    PIXD/pixel 18
    Actual parameters of crack defect Actual area/mm2 20
    Actual length/mm 20
    Actual width/mm 1
    Crack defect calculation parameters Area-calculation/mm2 19.88
    Length-calculation/mm 16.50
    Width-calculation/mm 1.55
    Crack defect calculation error Area-calculation error/% 0.60 %
    Length-calculation error/% 17.50 %
    Width-calculation error/% 55.00 %
    下载: 导出CSV 
    | 显示表格

    表 2可知,裂纹缺陷的长度计算误差为17.50%,宽度计算误差为55.00%,而面积测量误差仅为0.6%。其中,裂纹缺陷的长度和宽度误差较大,但裂纹缺陷整体的识别结果较好,与采用中值滤波处理,缺陷面积误差为9.85%相比[21],本文计算缺陷的面积误差为0.6%,表明本文采用的算法处理效果较好,可以实现对大型起重机械结构裂纹的检测需求。

    通过搭建的脉冲红外热成像检测系统的试验平台,完成了对定制的含有裂纹缺陷的金属试件的红外图像的采集。针对采集的红外图像含有图像噪声以及其他干扰信息的特点,采用灰度转换和直方图均衡化对试验采集的红外图像进行预处理,使用了中值滤波和巴特沃斯低通滤波算法进行降噪,并提出了一种基于巴特沃斯低通滤波的改进算法——巴特沃斯带通滤波算法,对比发现巴特沃斯带通滤波算法使图像对比度得到明显增强,峰值信噪比变大,图像缺陷判断变得更加容易;采用最大类间方差阈值分割,实现了裂纹缺陷区域和背景区域的分离;采用Canny算子对裂纹缺陷边缘轮廓进行提取,得到了完整的裂纹缺陷的边缘轮廓;最后采用像素法求解裂纹缺陷面积、长度和宽度的数值。计算结果显示,计算面积与实际裂纹缺陷的面积误差仅为0.6%,证明本文采用的算法,实现了对大型起重机械结构裂纹的定性分析和定量检测。

  • 图  1   YOLOv7-EPAN结构

    Figure  1.   YOLOv7-EPAN structure diagram

    图  2   CSWinT原理

    Figure  2.   CSWinT schematic diagram

    图  3   CS-ELAN结构图

    Figure  3.   CS-ELAN structure diagram

    图  4   光伏组件缺陷

    Figure  4.   Photovoltaic module defects

    图  5   标注实例框(GT)大、中、小目标的内部情况

    Figure  5.   Annotate the inside of large, medium, and small targets in the instance box (GT)

    图  6   不同改进策略的loss曲线

    Figure  6.   Loss curves for different improvement strategies

    图  7   热力图对比结果

    Figure  7.   Thermal image comparison results

    图  8   不同算法的检测结果

    Figure  8.   Detection results of different algorithms

    表  1   实验平台参数

    Table  1   Experimental platform parameters

    Parameters Configuration
    Operating system Ubuntu18.04
    Framework Pytorch 1.11.0
    CPU Intel(R) Core(TM) i9-12900
    GPU NVIDIA GeForce RTX 3090 Ti
    Memory 24G
    Programming language Python
    下载: 导出CSV

    表  2   数据集样本统计

    Table  2   Data set sample statistics

    Data set Number Category Number of boxes
    Image Box
    Train 2553 7668 Cell failure 5894
    Dioda failure 1367
    Occlude 407
    Test 460 1566 Cell failure 1382
    Dioda failure 119
    Occlude 65
    下载: 导出CSV

    表  3   消融实验结果

    Table  3   Ablation results %

    Groups Modules mAP50 mAP50:95 APS APM params/M FPS/(f/s)
    1 Baseline 75.1 38.8 32.4 36.4 37.2 120
    2 Baseline+A 80.3 40.9 35.5 36.5 35.3 83
    3 Baseline+A+B 80.9 40.6 35.8 36.2 35.3 83
    4 Baseline+A+C 80.6 40.3 35.6 35.2 35.3 83
    5 Baseline+A+D 81.5 42.1 37.4 37.9 35.3 83
    6 Baseline+A+E 79.9 40.5 36.1 35.7 35.3 83
    7 Baseline+A+F 77.3 39.7 34.1 36.4 35.3 83
    下载: 导出CSV

    表  4   不同模型的性能对比

    Table  4   Performance comparison of different models %

    Modules AP50 mAP50 APS APM Params/M FPS/(f/s)
    Cell failure Diode failure Occlude
    SSD 35.1 87.5 36.2 52.9 19.6 25.6 23.75 16
    RetinaNet 57.6 93.4 59.3 70.1 24.3 34.1 32.24 40
    YOLOv3 74.7 90.2 64.2 76.3 33.1 31.8 62.6 92
    YOLOv4 77.5 92.9 47.6 72.7 30.4 35.2 63.9 97
    YOLOv5s 77.2 94.0 58.9 76.7 33.6 30.8 7.02 101
    YOLOv5l 77.1 91.8 65.1 78.0 34.7 37.6 46.1 62
    YOLOX 79.4 93.7 63.4 78.9 - - 8.94 89
    TPH-YOLOv5 76.7 93.3 62.9 77.6 37.1 36.3 45.4 60
    YOLOv7 78.7 93.9 52.6 75.1 32.4 36.4 37.2 120
    YOLOv8 77.7 93.7 68.3 79.9 33.8 36.7 3.0 200
    Ours 79.2 94.9 70.8 81.5 37.4 37.9 35.3 83
    下载: 导出CSV
  • [1]

    MA Q, Murshed M, Khan Z. The nexuses between energy investments, technological innovations, emission taxes, and carbon emissions in China[J]. Energy Policy, 2021, 155: 112345. DOI: 10.1016/j.enpol.2021.112345

    [2] 李松浓, 晏尧, 向菲, 等. 光伏直流系统故障电弧检测方法研究综述[J/OL]. 电测与仪表: 1-9. [2023-06-04]. http://kns.cnki.net/kcms/detail/23.1202.TH.20230216.1525.010.html.

    LI Songnong, YAN Yao, XIANG Fei, et al. A comprehensive review on detection method for DC fault arc in photovoltaic system[J/OL]. Electrical Measurement & Instrumentation: 1-9. [2023-06-04]. http://kns.cnki.net/kcms/detail/23.1202.TH.20230216.1525.010.html.

    [3] 孙建波, 王丽杰, 麻吉辉, 等. 基于改进YOLO v5s算法的光伏组件故障检测[J]. 红外技术, 2023, 45(2): 202-208. http://hwjs.nvir.cn/cn/article/id/78e76f62-17bc-444b-bac5-c2bffbef819f

    SUN Jianbo, WANG Lijie, MA Jihui, et al. Photovoltaic module fault detection based on improved YOLOv5s algorithm[J]. Infrared Technology, 2023, 45(2): 202-208. http://hwjs.nvir.cn/cn/article/id/78e76f62-17bc-444b-bac5-c2bffbef819f

    [4] 蒋琳, 苏建徽, 施永, 等. 基于红外热图像处理的光伏阵列热斑检测方法[J]. 太阳能学报, 2020, 41(8): 180-184. DOI: 10.19912/j.0254-0096.2020.08.025.

    JIANG Lin, SU Jianhui, SHI Yong, et al. Hot apots detection of operating PV arrays through IR thermal image[J]. Acta Energiae Solaris Sinica, 2020, 41(8): 180-184. DOI: 10.19912/J.0254-0096.2020.08.025.

    [5] 孙海蓉, 周映杰, 张镇韬, 等. 基于改进自私羊群算法的光伏红外热图像热斑识别方法[J]. 中国电机工程学报, 2022, 42(24): 8942-8951. DOI: 10.13334/j.0258-8013.pcsee.212050.

    SUN Hairong, ZHOU Yingjie, ZHANG Zhentao, et al. Hot spot recognition method of photovoltaic infrared thermal image based on improved selfish herd algorithm[J]. Proceedings of the CSEE, 2022, 42(24): 8942-8951. DOI:10.13334/J.0258-8013.pcse.212050.

    [6] 蒋琳, 苏建徽, 李欣, 等. 基于可见光和红外热图像融合的光伏阵列热斑检测方法[J]. 太阳能学报, 2022, 43(1): 393-397. DOI: 10.19912/j.0254-0096.tynxb.2020-0142.

    JIANG Lin, SU Jianhui, LI Xin, et al. Hot spot detection of photovoltaic array based on fusion of visible and infrared thermal images[J]. Acta Energiae Solaris Sinica, 2022, 43(1): 393-397. DOI:10.19912/J.0254-0096.tynxb.2020-0142.

    [7] 王道累, 姚勇, 张世恒, 等. 基于红外热图像的光伏组件热斑深度学习检测方法[J/OL]. 中国电机工程学报: 1-9. [2023-06-04]. https://doi.org/10.13334/j.0258-8013.pcsee.221519.

    WANG Daolei, YAO Yong, ZHANG Shiheng, et al. Deep learning detection method of photovoltaic module hot spot based on infrared thermal image[J/OL]. Proceedings of the CSEE: 1-9. [2023-06-04]. https://doi.org/10.13334/j.02588013.pcsee.221519.

    [8]

    ZHAO S, CHEN H, WANG C, et al. SNCF-Net: Scale-aware neighborhood correlation feature network for hotspot defect detection of photovoltaic farms[J]. Measurement, 2023, 206: 112342. DOI: 10.1016/j.measurement.2022.112342

    [9] 刘宇宸, 李浩. 显著性特征融合的热红外图像光伏组件热斑检测[J]. 水力发电, 2023, 49(4): 96-101, 112.

    LIU Yuchen, LI Hao. Thermal infrared image photovoltaic hot spot detection based on saliency feature fusion[J]. Water Power, 2023, 49(4): 96-101, 112.

    [10]

    SU B, CHEN H, LIU K, et al. RCAG-Net: Residual channelwise attention gate network for hot spot defect detection of photovoltaic farms[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-14.

    [11]

    WANG C Y, Bochkovskiy A, Liao H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J]. arXiv preprint arXiv: 2207. 02696, 2022.

    [12] 宋智伟, 黄新波, 纪超, 等. 基于Flexible YOLOv7的输电线路绝缘子缺陷检测和故障预警方法[J/OL]. 高电压技术: 1-16. [2023-06-04]. https://doi.org/10.13336/j.1003-6520.hve.20221693.

    SONG Zhiwei, HUANG Xinbo, JI Chao, et al. Insulator defect detection and fault warning method for transmission line based on flexible YOLOV7[J/OL]. High Voltage Engineering: 1-16. [2023-06-04]. https://doi.org/10.13336/j.1003-6520.hve.20221693.

    [13]

    Mahrishi M, Morwal S, Muzaffar A W, et al. Video index point detection and extraction framework using custom YoloV4 Darknet object detection model[J]. IEEE Access, 2021, 9: 143378-143391. DOI: 10.1109/ACCESS.2021.3118048

    [14]

    DING X, ZHANG X, MA N, et al. Repvgg: Making vgg-style convnets great again[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 13733-13742.

    [15]

    Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 5998-6008.

    [16]

    Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16×16 words: transformers for image recognition at scale[J]. arXiv preprint arXiv: 2010. 11929, 2020.

    [17]

    DONG X, BAO J, CHEN D, et al. Cswin transformer: a general vision transformer backbone with cross-shaped windows[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 12124-12134.

    [18]

    LIU Z, LIN Y, CAO Y, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 10012-10022.

    [19]

    WANG J, XU C, YANG W, et al. A normalized Gaussian Wasserstein distance for tiny object detection[J]. arXiv preprint arXiv: 2110.13389, 2021.

    [20]

    Selvaraju R R, Cogswell M, Das A, et al. Grad-cam: visual explanations from deep networks via gradient-based localization[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 618-626.

    [21]

    LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//Computer Vision–ECCV 2016: 14th European Conference, 2016: 21-37.

    [22]

    LIN T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 2980-2988.

    [23]

    Redmon J, Farhadi A. Yolov3: an incremental improvement[J]. arXiv preprint arXiv: 1804. 02767, 2018.

    [24]

    Bochkovskiy A, WANG C Y, LIAO H Y M. Yolov4: Optimal speed and accuracy of object detection[J]. arXiv preprint arXiv: 2004.10934, 2020.

    [25]

    ZHU X, LYU S, WANG X, et al. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 2778-2788.

    [26]

    GE Z, LIU S, WANG F, et al. Yolox: Exceeding yolo series in 2021[J]. arXiv preprint arXiv: 2107.08430, 2021.

  • 期刊类型引用(3)

    1. 张靖,单长吉,周丽,李鑫,朱豪. 基于图像融合的高压隔离开关分合闸状态识别. 红外技术. 2024(05): 539-547 . 本站查看
    2. 王林. 特征标记下的蓄热式连续加热炉炉管安全VR检测技术. 工业加热. 2024(07): 76-80 . 百度学术
    3. 张强,陈串,付怀智. 起重机械金属结构振动与故障诊断思考. 中国设备工程. 2023(19): 155-157 . 百度学术

    其他类型引用(1)

图(8)  /  表(4)
计量
  • 文章访问数:  42
  • HTML全文浏览量:  4
  • PDF下载量:  13
  • 被引次数: 4
出版历程
  • 收稿日期:  2023-06-30
  • 修回日期:  2023-08-24
  • 刊出日期:  2024-11-19

目录

/

返回文章
返回