0.   引言

在推进实施“双碳”目标的背景下，光伏发电产业得到了快速发展，光伏架设面积迅速增长，随之而来的是日益严峻的光伏电站维护压力。一方面，受自然环境和人为因素的影响，光伏面板在使用过程中不可避免地会受到损伤，从而导致如碎裂、异物遮挡和气泡等^[1]缺陷的产生，进而影响发电效率，甚至引发火灾。因此运维人员需及时发现缺陷并施行相应的维护措施；另一方面，光伏电站复杂的地形和日益增长的装机规模使得传统的人工目视检查方式变得越来越困难，运维人员开始寻求光伏面板自动化检测方法。一部分研究者利用电流监测器^[2]或电致成像设备^[3]实现光伏面板缺陷的自动化检测，但是电流监测不能判断缺陷具体位置，而电致成像需要将光伏面板拆卸后进行，所以这些方法在光伏电站日常运维过程中并未得到普及。

同时，国内外研究者对基于机器视觉的光伏面板缺陷检测方法进行了广泛研究。Li等^[4]提出一种基于深度学习的缺陷检测方法，该方法利用Kirsch算子识别缺陷区域，然后利用卷积神经网络和支持向量机进行缺陷分类。Espinosa等^[5]提出一种利用卷积神经网络对RGB图像进行语义分割和分类的光伏物理故障自动分类方法。虽然这些方法对外部缺陷的检测效果明显，但并不能检测出内部缺陷。邓堡元等^[6]提出一种基于光流法的光伏面板红外图像处理方法，通过深度卷积神经网络实现缺陷的有效识别。孙智权等^[7]提出一种基于改进的形态学凸性分析与相对灰度差动态阈值分割的缺陷特征提取方法，实现太阳能电池自动检测。但这些方法只能应用于光伏面板制造过程中，不能应用在光伏面板使用维护过程中。He等^[8]提出一种针对光伏电池和组件的主动电磁感应红外热斑缺陷检测方法，通过快速傅里叶变换等图像处理方法实现对光伏电池和组件中的缺陷检出任务。郭梦浩等^[9]运用改进的Faster RCNN方法对红外图像进行分析，实现97.34%的热斑检测准确率。但是由于红外图像没有丰富的纹理信息，这些方法不能实现缺陷分类。

综上所述，使用单一种类的图像难以满足光伏面板的缺陷检测需求，基于多源图像融合的检测方法在一定程度上能够弥补基于单一图像的方法难以解决的技术难题，但也存在一些其他问题。基于深度学习的图像融合检测技术多使用两个分支分别对两种图像进行处理，此时两个分支相互独立，参数不共享。然后在某一阶段将两个分支的输出采取特定融合策略进行融合，并对融合层的输出进一步处理获取最终检测结果。已有的图像融合检测方法对融合的最佳时机进行了探索。像素级融合检测方法^[10-12]是在图像输入特征提取模块前获取融合图像，这类方法的融合对象是两幅图像中的对应像素，要求图像严格对齐，对本文获取的数据集来说很难实现。像素级融合检测融合时保留融合图像的全部信息，这将保留较多的干扰信息并造成信息冗余。特征级融合检测方法^[13-15]是当下比较流行的方法，首先使用两个独立的特征提取模块分别对两种图像进行特征提取，并在特征提取的过程中融合某一层特征图或对某几层特征图分别进行融合。与像素级融合检测方法相比，特征级融合检测方法不要求图像严格对齐，融合更多高层语义信息，能够降低多源图像融合的信息冗余。决策级融合检测方法^[16-18]的融合对象是两个网络分支的决策。该方法利用两个相互独立的网络分别对两种图像检测，再通过对两个检测结果综合分析获取最终的缺陷位置和缺陷类别。决策级融合检测方法虽然对硬件系统的计算能力要求较低，但在融合过程中丢失了较多的细节信息，检测效果相对前两种方式较差。

本文对基于图像融合的光伏面板缺陷检测方法进行研究，结合光伏面板可见光图像和红外图像的互补信息，提出特征融合检测网络，完成鲁棒的光伏面板缺陷检测任务。

1.   多源图像融合检测网络框架

1.1   基于特征融合的检测网络结构

红外图像是一种红外遥感器接收地物反射或自身发射的红外线而形成的图像，异常的光伏面板与其周围完好的光伏面板在发热性能上差异较大，使成像结果中出现明显热斑，如图 1所示。然而由于红外图像缺少丰富的纹理信息，仅使用红外图像难以识别光伏面板的缺陷类别，这使其在缺陷检测任务中依然存在局限性。而可见光图像依靠光反射成像，具有丰富的纹理细节，但仅利用可见光图像难以发现光伏面板内部缺陷。本文利用红外图像和可见光图像信息互补的原理，提出基于深度学习的光伏面板缺陷检测方法，利用卷积神经网络同时提取两种图像特征，设计图像融合检测网络的融合模块，对光伏面板的不同种类缺陷进行有效检测。缺陷类型包括碎裂、阴影、异物遮挡、气泡和内部缺陷。各类缺陷本身以及缺陷之间的尺寸相差较大，分布在10像素×10像素~70像素×70像素之间。

图  1  红外图像热斑

Figure  1.  Hot spots on the infrared image

下载: 全尺寸图片 幻灯片

本文运用特征级融合检测的思想提出一种基于多源图像融合的光伏面板缺陷检测方法，具体公式表示为：

式中：O_V和O_I分别为输入的可见光图像和红外图像；C₁^V和C₁^I分别为可见光图像和红外图像的特征融合前的网络结构；C₂表示特征融合后直到输出结果的网络结构；output为输出结果。

所提出的光伏面板缺陷网络主要包含两个部分：MF-Net特征提取模块和基于权值自适应融合模块。两个模块生成特征图通过检测模块得到缺陷检测结果。图 2为所述融合检测网络的结构，输入为配准完成的可见光图像和红外图像，输出为图像中缺陷的类别、置信度和位置。其主干网络包含两个特征提取模块，分别把两种图像送入融合检测网络的两个特征提取模块，两个特征提取模块结构相同，参数不共享。传统的特征级融合检测方法只使用特征提取模块的最后一层输出进行融合，该方式融合的结果包含的有用信息较少，不利于光伏面板的缺陷检测。为提高检测精度和对不同尺寸待检测目标的适用度，本文在特征提取中进行多层融合。MF-Net特征提取模块增加卷积层数量和检测尺度以提高检测精度，引入密集块结构以增强参数传递和减少过拟合。并将特征提取模块的高层卷积层和密集块结构输出进行融合，其中，第9卷积层和密集块结构输出层为改进前主干网络特征图输出层，第9卷积层输出特征图进行一次上采样与第7卷积层的输出尺寸相同，因此选择第7卷积层的输出进行融合。为提高融合结果的特征显著性，引入一种权值自适应融合模块。融合完成后，在3个融合层输出阶段引入特征金字塔网络。将特征金字塔网络输出的3个特征图分别输入检测模块，检测模块输出缺陷分类结果和位置回归结果。

图  2  MF-Net框架

Figure  2.  Framework for MF-Net

下载: 全尺寸图片 幻灯片

1.2   MF-Net特征提取模块

针对光伏面板纹理特征重复度高、缺陷尺寸小、检测速度要求高的特点，MF-Net特征提取模块由YOLOv3 tiny改进后再进行融合得到。YOLOv3 tiny^[19]是一种实时性较高的目标检测网络，该网络通过将YOLOv3中的darknet-53缩减为7个卷积层和6个池化层有效降低计算量。YOLOv3 tiny精简的结构能有效提升网络检测速度，但是也一定程度地牺牲了检测精度。针对光伏面板缺陷检测任务，为提高检测精度，首先通过改进得到单主干网络，再融合其特定输出层得到MF-Net特征提取模块，具体单主干网络结构如图 3所示。

图  3  特征提取模块

Figure  3.  Feature extraction module

下载: 全尺寸图片 幻灯片

在特征提取阶段，由于可见光图像和红外图像低层视觉特征冗余，相关缺陷特征难以凸显。设计相同步长的卷积层代替原池化层进行下采样，以增加网络的卷积深度，从而获取更高层的语义特征信息。在提取高层语义特征的同时，为提高网络对不同尺度目标的适用度，采用52×52、26×26、13×13三尺度融合代替原网络的双尺度融合来完成检测任务。此外，为缓解梯度消失和加强参数传递，在特征提取的最后几层引入密集块结构。密集块结构由Huang等^[20]提出，该结构在每个3×3卷积层之前引入1×1卷积层用于特征降维，并将每个3×3卷积层的输出作为其后所有1×1卷积层的输入，具体结构如图 4所示。

图  4  密集块结构

Figure  4.  Dense block structure

下载: 全尺寸图片 幻灯片

改进的网络模型尺寸、浮点计算量与原网络以及YOLOv3的对比如表 1所示，改进后的模型相比YOLOv3 tiny模型略微增加了模型尺寸和计算量，但仍远小于YOLOv3网络。

表  1  改进前后网络模型对比

Table  1.  Comparison parameters of network model before and after improvement

Network model	Model size/Mb	FLOPS/Gb
YOLOv3	245.3	63.20
YOLOv3 tiny	33.4	5.56
MF-Net	35.6	6.02

下载: 导出CSV 

| 显示表格

1.3   基于权值自适应的融合模块

在图像融合检测网络中，融合策略对光伏面板缺陷检测至关重要。现有融合检测网络的融合策略主要包括通道拼接融合策略和通道相加融合策略等。通道拼接融合策略直接将两个待融合特征图的通道并联，以此增加特征图的数量，增大缺陷在特征图中检测的概率。然而通道并联生成了两倍通道数的特征图，这改变了特征图的通道数，导致不能通过复制单主干网络预训练模型权重获取融合网络预训练模型权重，因此不适用于本文的融合检测网络。通道相加融合策略将红外图像特征图和可见光图像特征图对应通道的像素值进行简单相加求平均值，具体公式如下所示：

式中：(x, y)表示特征图像素坐标；d表示特征图的第d个通道；D为其最大通道数，在3个融合层取值分别为128，256和256；f₁^d(x, y)和f₂^d(x, y)表示两个被融合特征图在对应通道和坐标的像素值；out^d(x, y)表示与其对应的融合结果。

两个特征提取模块的特征图对于缺陷特征所包含的信息不同，可见光图像特征提取模块的特征图主要包含缺陷的纹理信息，红外图像特征提取模块的特征图主要包含缺陷的轮廓信息，两种信息对融合结果所做的贡献不同。为降低融合特征图的冗余信息，提高融合结果的特征显著性，本文在通道相加融合策略的基础上提出一种自适应融合策略，如图 5所示，图中n为特征图尺寸，λ₁(x, y)和λ₂(x, y)为相加系数。该策略可以根据待融合像素局部特征信息自适应为该像素分配相加系数，有效降低信息冗余。

图  5  自适应融合策略

Figure  5.  Adaption fusion strategy

下载: 全尺寸图片 幻灯片

首先，将两个待融合特征图各自的所有通道相加，获得两个矩阵T₁和T₂，如式(3)所示：

式中：(x, y)表示特征图像素坐标，特征图在3个融合层的尺寸分别为52，26和13。自适应融合时，在T_i上选择以(x, y)为中心的3×3窗口内的元素分别求和获得$ {\text{su}}{{\text{m}}_{{T_1}}} $和$ {\text{su}}{{\text{m}}_{{T_2}}} $，如式(4)：

则两个特征图在坐标(x, y)处的权值λ₁和λ₂表示为式(5)：

自适应融合后的特征图表示为式(6)：

2.   实验结果分析与评估

2.1   数据采集与预处理

实验所用数据在国内某渔光互补光伏电站采集获取，数据采集硬件设备主要由无人机飞行平台、可见光相机及红外相机组成。如图 6所示，该电站面积约2 km²，硬件设备使用大疆创新公司的经纬M300RTK无人机搭配禅思H20T云台相机。H20T云台相机包含多种传感器，其中红外相机可自动将采集到的图像渲染为三通道图像。飞行平台执行提前规划完成的航线约7 h完成数据采集任务，采集对象包括固定式光伏面板和感光旋转式光伏面板。

图  6  硬件平台与数据采集

Figure  6.  Hardware platform and data collection

下载: 全尺寸图片 幻灯片

光伏面板的缺陷在获取的可见光图像和红外图像中并不能很好地相互对应，如图 7(a)和(b)所示，为了更好地检测缺陷，需对可见光图像和红外图像进行配准，使二者缺陷位置一一对应。首先采用基于拉普拉斯算子的模糊度检测算法^[21]剔除低质量图像。然后对原始图像进行图像去畸变和配准，本文采用文献[22]中基于轮廓特征的方法配合手动调整参数进行配准，随后在可见光图像中截取红外图像对应的部分（如图 7(c)所示），并将截取后的可见光图像与红外图像作为融合检测网络的输入。虽然图 7中(a)和(c)仅仅是粗略的特征对齐，但由于深度学习方法的泛化性，处理后的数据对本文检测算法的性能影响较小。

图  7  图像获取与配准

Figure  7.  Image acquisition and registration

下载: 全尺寸图片 幻灯片

数据采集实验中，无人机共获取可见光图像和红外图像各7348张。配准完成后，对图像数据进行筛选和标注，得到具有热斑的红外图像659张，共计热斑1367处。映射到对应可见光图像上，得到碎裂103处，阴影398处，异物遮挡367处，气泡96处，内部缺陷403处，其中内部缺陷表现为在红外图像上显示热斑，在可见光图像上为正常区域。由于某些类型的缺陷数据较少导致缺陷数量不均衡，本文对不同类别的缺陷数据分别进行数据增强，调整不同类别的缺陷数量使其基本一致。主要的数据增强操作包括：扰动图片亮度、对比度、饱和度和色相；复制图像缺陷区域到其他图像；对图像某区域进行擦除等。最终获得含有缺陷的图像1000对，训练集、验证集和测试集的比例为7:1:2，具体数据信息如表 2所示。

表  2  数据集分配统计

Table  2.  Distributions of our dataset

	Number of images/pairs	Crazing	Shadow	Covering	Bubble	Internal
Filtered images	659	103	398	367	96	403
Enhanced images	1000	544	552	534	537	565
Training set	700	366	363	349	356	371
Validation set	100	60	63	61	59	64
Test set	200	118	126	124	122	130

下载: 导出CSV 

| 显示表格

2.2   实验参数及评价指标

本文实验在Ubuntu16.04，64位操作系统中运行，该系统配置NVIDIA GeForce GTX 1080显卡（8 Gb显存容量），i7-8700k处理器，16 Gb运行内存。训练基于Python3.7和飞桨深度学习框架进行。本文使用ImageNet^[23]数据集训练改进后的YOLOv3 tiny网络模型获取单主干网络预训练模型参数。然后通过克隆融合层之前层的网络模型参数，获取融合检测网络的预训练模型参数。获取预训练模型参数后，使用本文数据集进行训练，如表 3，输入图像的大小为416×416，batch size设置为2，学习率设置为0.0005，采用liner-warm-up方式训练，训练过程使用GPU加速。

表  3  网络训练参数

Table  3.  Network training parameters

Parameter	Value	Parameter	Value
Input size	416×416	Epoch	200
Batch size	2	Momentum	0.9
Learning rate	0.0005	Confidence	0.65

下载: 导出CSV 

| 显示表格

对于实验结果，采用每秒处理帧数（Frame Per Second, FPS）评估网络的检测速度；使用所有类标签平均精确率（Mean Average Precision, mAP）和单类标签平均精确率（Average precision, AP）评价算法精度。精确率表示正确预测为正样本占所有预测为正样本的比例，召回率衡量正确预测为正样本占所有正样本的比例，F1 score表示二者调和平均值；并计算P-R曲线提供精确率和召回率的统计结果。

2.3   实验结果分析

实验主要包括3个部分：主干网络改进模型的消融实验、不同网络框架的对比实验和不同缺陷检测结果与分析实验。其中，消融实验表明对主干网络的改进能使其更加适用于光伏面板缺陷检测场景；对比实验表明应用多源图像融合检测的必要性、自适应融合模块的有效性以及本文方法的先进性；最后检测结果能直观地表明本文方法对光伏面板缺陷检测的有效性。

1）主干网络改进模型消融实验

本文对主干网络的改进主要为以下3点：卷积层替换、三尺度检测和密集块。首先在融合检测网络框架基础上进行了3种改进的消融实验，均使用通道相加融合策略。实验结果如表 4。使用基于YOLOv3 tiny的融合检测网络时mAP为75.93%，单独进行卷积层替换时mAP为82.02%，单独将双尺度检测改为三尺度检测时mAP为76.21%，单独在网络中加入密集块结构时mAP为80.96%，同时加入3种改进时mAP为83.34%，检测精度高于基线模型。实验结果表明，卷积层替换和密集块都明显地增加了模型的mAP，三尺度检测对模型的mAP增加幅度较小。消融实验的结果表明针对光伏面板缺陷检测任务的改进能有效提升缺陷检测的精度。

表  4  消融实验结果

Table  4.  Results of ablation experiences

S/N	Replace Conv.	Three scale detection	Dense Block	mAP	FPS
1				75.93%	11.23
2	√			82.02%(+6.09%)	8.13(-3.10)
3		√		76.21%(+0.28%)	9.43(-1.80)
4			√	80.96%(+5.03%)	11.36(+0.13)
5	√	√	√	83.34%(+7.41%)	7.41(-3.82)

下载: 导出CSV 

| 显示表格

2）不同网络框架对比实验

为了验证利用融合检测技术代替单一图像检测技术检测光伏面板缺陷的有效性，进行基于单一图像的缺陷检测和基于多源图像融合的缺陷检测对比实验。首先使用改进的YOLOv3 tiny框架分别对可见光图像和红外图像进行单一图像检测实验，然后使用MF-Net融合检测网络和通道相加融合策略对多源图像进行检测。实验测试集详细信息如表 2，各类缺陷共620处。

表 5为置信度设置为0.65时各个检测结果的正确检出数量、正确分类数量、FPS以及所有类的F1 score。对比实验1~3发现，仅使用可见光图像检测的缺陷数量为320，其中正确分类的为297，仅使用红外图像检测缺陷的数量为497，但正确分类的缺陷仅有103，红外图像中光伏面板缺陷显示为特征差别较小的热斑导致其缺陷分类效果较差。虽然单一图像能够进行缺陷检测，但是融合检测的效果在检测数量与正确分类的数量上均高于单一图像的检测结果。

表  5  不同网络框架对比评估

Table  5.  Comparative evaluation of different networks

S/N	Model	Input	Correct detection	Correct classification	FPS	F1 score
1	Improved YOLOv3 tiny	Visible image	320	297	12.61	0.53
2	Improved YOLOv3 tiny	Infrared image	497	103	12.63	0.17
3	MF-Net and channel addition strategy	Multi-source image	553	516	7.41	0.82
4	SSD	Multi-source image	512	446	1.31	0.72
5	Ours	Multi-source image	559	538	7.39	0.86

下载: 导出CSV 

| 显示表格

为验证自适应融合模块的有效性，设计不同的融合策略对比实验。使用自适应融合策略代替通道相加融合策略进行实验，其检测结果的mAP为85.48%，相比通道相加融合策略提高了2.14%。置信度阈值设置为0.65时结果如表 5实验5。通过对比实验3与实验5发现，自适应融合策略的各项指标均优于通道相加融合策略，证明提出的自适应融合策略在光伏面板缺陷检测任务中优于通道相加融合策略。实验5表明本文方法的FPS达到了7.39，满足光伏电站运维需求。

为进一步验证本文方法的先进性，选用一种检测光伏面板图像时不易发生梯度消失的网络即SSD（Single Shot MultiBox Detector）网络进行对比实验。首先将SSD网络第一卷积层由3通道改变为6通道并复制该层的预训练模型权重，然后将可见光图像和红外图像通道并联作为该网络的输入进行实验。实验结果如表 5实验4，对比实验4和实验5可知，本文方法的FPS和F1 score均优于实验4，验证了本文方法的先进性。

3）不同缺陷检测结果与分析

图 8为主干网络改进模型消融实验中5种框架以及本文方法共6种融合检测网络针对5种缺陷类型检测结果的P-R曲线。其中卷积层替换和密集块在5种缺陷上的P-R曲线均优于未改进的网络；三尺度检测对于碎裂缺陷的P-R曲线与未改进网络相差较小，这是碎裂缺陷目标尺度普遍较大导致的。对比自适应融合策略和直接相加融合策略的实验结果发现，直接相加融合策略的内部缺陷检测结果与自适应融合策略基本一致，这是内部缺陷的可见光图像在缺陷区域无明显特征变化造成的；对于其他缺陷，自适应融合策略明显优于直接相加融合策略；总体结果表明自适应融合策略能使网络有更好的检测结果。

图  8  五种缺陷在不同融合检测网络中的P-R测试曲线

Figure  8.  P-R curves of five kinds of defects in different fusion detection networks

下载: 全尺寸图片 幻灯片

最后，利用基于改进的YOLOv3 tiny网络的单一图像检测方法和本文提出的融合检测方法对数据进行测试。部分检测结果如图 9所示，其中包含5种常见缺陷类型。图中(a)为基于可见光图像的检测结果；(b)为基于红外图像的检测结果；(c)为本文方法检测结果；(d)为实际缺陷类型及位置。通过对比(a)和(c)可以看出，基于可见光图像无法检出内部缺陷，对其他缺陷分类基本正确，但置信度小于本文方法的检测结果；对比(b)和(c)发现，相较于基于红外图像的检测结果，本文方法能够更好地对缺陷进行分类；对比(c)和(d)，(c)的缺陷检测结果和(d)显示的实际缺陷一致，说明本文提出的方法能有效检测出光伏面板各类缺陷。综上所述，本文方法对于光伏面板缺陷的检测与分类精度明显优于单一图像检测方法。

图  9  基于单一图像或多源图像对不同缺陷的检测结果对比

（(a)基于可见光图像检测结果；(b)基于红外图像检测结果；(c)本文方法检测结果；(d)实际缺陷类型及位置）

Figure  9.  Comparison of detection results of different defects based on single image or multi-source image

((a) Detection results based on visible image; (b) Based on infrared image detection results; (c) Detection results of this method; (d) Actual defect type and location)

下载: 全尺寸图片 幻灯片

3.   结论

本文提出一种基于多源图像融合的光伏面板缺陷检测方法，介绍从数据采集和预处理、网络设计与训练到缺陷检测的整体流程，实现在不接触光伏面板的情况下进行光伏面板的高效率高精度的缺陷检测。通过与基于单一图像检测方法的对比，表明提出的融合检测方法的有效性，以及在缺陷检出和缺陷分类方面的优势。

提出一种基于图像融合的光伏面板缺陷检测网络，即MF-Net。该网络以YOLOv3 tiny为基础，并创新性地提出以下3点改进以提高检测精度：使用相同步长的卷积层替换池化层；将双尺度检测改为三尺度检测；在网络中引入密集块结构。消融实验表明3种方法分别使改进网络的mAP提高6.09%、0.28%和5.03%，验证了本文改进方法的有效性。此外提出自适应融合模块，该模块使得改进后的网络mAP提升2.14%。相比于直接相加融合策略，自适应融合策略能更好地完成特征融合任务，降低融合过程中的信息冗余，凸显缺陷特征，更有利于光伏面板缺陷检测任务。

本文方法的局限性在于：实验中，对于配准完成的图像网络能很好地完成缺陷检测任务，但图像数据的配准过程依然需要较多的人工干预。因此，后续的工作将聚焦于多源图像自动化配准任务，以满足光伏电站自动化运维需求。