Panchromatic and Multispectral Images Fusion Method Based on Detail Information Extraction
-
摘要: 全色（Panchromatic, Pan）图像与多光谱（Multi-spectral, MS）图像融合的目的是生成具有高空间分辨率的多光谱图像。为了进一步提升融合图像的质量，提出一种基于细节信息提取的融合方法。首先，使用滚动引导滤波器与差值运算分别获取Pan与MS的高频分量。其次，采用自适应强度-色度-饱和度（Adaptive Intensity-Hue-Saturation，AIHS）变换处理MS的高频分量与经像素显著性检测后Pan的高频分量，生成对应的强度分量（Intensity，I），再将Pan与I作差值运算获取细节图像。接着，采用引导滤波器计算Pan与MS的高频分量的差值，得到残差图像。最后，利用最速下降法将细节图像与残差图像注入到原始的MS图像中获得最终融合结果。实验结果表明，本文所提算法得到的融合图像能够取得较好的主观视觉效果，且客观定量评价指标较优。Abstract: The fusion of panchromatic images (Pan) and multi-spectral images (MS) is designed to generate multi-spectral images with high spatial resolution. A fusion method based on detailed information extraction is proposed to improve the quality of the fused images. First, the high-frequency components of Pan and MS are obtained by a rolling guidance filter and margin calculation, respectively. Second, the adaptive intensity-hue-saturation (AIHS) transform is used to process the high-frequency components of MS and Pan, determined by the pixel significance, to generate the corresponding intensity component (I, intensity). Then, the difference between Pan and I is calculated to obtain the detailed image. Then, the residual image is obtained by calculating the difference between the high-frequency components of Pan and MS with a guided filter. Finally, the detailed and residual images are integrated with the original MS image using the steepest descent method to obtain the final fusion result. The experimental results demonstrate that the fused images obtained by the proposed algorithm can achieve better subjective visual effect. Simultaneously, the objective evaluation indicators are better.
-
0. 引言
在推进实施“双碳”目标的背景下，光伏发电产业得到了快速发展，光伏架设面积迅速增长，随之而来的是日益严峻的光伏电站维护压力。一方面，受自然环境和人为因素的影响，光伏面板在使用过程中不可避免地会受到损伤，从而导致如碎裂、异物遮挡和气泡等[1]缺陷的产生，进而影响发电效率，甚至引发火灾。因此运维人员需及时发现缺陷并施行相应的维护措施；另一方面，光伏电站复杂的地形和日益增长的装机规模使得传统的人工目视检查方式变得越来越困难，运维人员开始寻求光伏面板自动化检测方法。一部分研究者利用电流监测器[2]或电致成像设备[3]实现光伏面板缺陷的自动化检测，但是电流监测不能判断缺陷具体位置，而电致成像需要将光伏面板拆卸后进行，所以这些方法在光伏电站日常运维过程中并未得到普及。
同时，国内外研究者对基于机器视觉的光伏面板缺陷检测方法进行了广泛研究。Li等[4]提出一种基于深度学习的缺陷检测方法，该方法利用Kirsch算子识别缺陷区域，然后利用卷积神经网络和支持向量机进行缺陷分类。Espinosa等[5]提出一种利用卷积神经网络对RGB图像进行语义分割和分类的光伏物理故障自动分类方法。虽然这些方法对外部缺陷的检测效果明显，但并不能检测出内部缺陷。邓堡元等[6]提出一种基于光流法的光伏面板红外图像处理方法，通过深度卷积神经网络实现缺陷的有效识别。孙智权等[7]提出一种基于改进的形态学凸性分析与相对灰度差动态阈值分割的缺陷特征提取方法，实现太阳能电池自动检测。但这些方法只能应用于光伏面板制造过程中，不能应用在光伏面板使用维护过程中。He等[8]提出一种针对光伏电池和组件的主动电磁感应红外热斑缺陷检测方法，通过快速傅里叶变换等图像处理方法实现对光伏电池和组件中的缺陷检出任务。郭梦浩等[9]运用改进的Faster RCNN方法对红外图像进行分析，实现97.34%的热斑检测准确率。但是由于红外图像没有丰富的纹理信息，这些方法不能实现缺陷分类。
综上所述，使用单一种类的图像难以满足光伏面板的缺陷检测需求，基于多源图像融合的检测方法在一定程度上能够弥补基于单一图像的方法难以解决的技术难题，但也存在一些其他问题。基于深度学习的图像融合检测技术多使用两个分支分别对两种图像进行处理，此时两个分支相互独立，参数不共享。然后在某一阶段将两个分支的输出采取特定融合策略进行融合，并对融合层的输出进一步处理获取最终检测结果。已有的图像融合检测方法对融合的最佳时机进行了探索。像素级融合检测方法[10-12]是在图像输入特征提取模块前获取融合图像，这类方法的融合对象是两幅图像中的对应像素，要求图像严格对齐，对本文获取的数据集来说很难实现。像素级融合检测融合时保留融合图像的全部信息，这将保留较多的干扰信息并造成信息冗余。特征级融合检测方法[13-15]是当下比较流行的方法，首先使用两个独立的特征提取模块分别对两种图像进行特征提取，并在特征提取的过程中融合某一层特征图或对某几层特征图分别进行融合。与像素级融合检测方法相比，特征级融合检测方法不要求图像严格对齐，融合更多高层语义信息，能够降低多源图像融合的信息冗余。决策级融合检测方法[16-18]的融合对象是两个网络分支的决策。该方法利用两个相互独立的网络分别对两种图像检测，再通过对两个检测结果综合分析获取最终的缺陷位置和缺陷类别。决策级融合检测方法虽然对硬件系统的计算能力要求较低，但在融合过程中丢失了较多的细节信息，检测效果相对前两种方式较差。
本文对基于图像融合的光伏面板缺陷检测方法进行研究，结合光伏面板可见光图像和红外图像的互补信息，提出特征融合检测网络，完成鲁棒的光伏面板缺陷检测任务。
1. 多源图像融合检测网络框架
1.1 基于特征融合的检测网络结构
红外图像是一种红外遥感器接收地物反射或自身发射的红外线而形成的图像，异常的光伏面板与其周围完好的光伏面板在发热性能上差异较大，使成像结果中出现明显热斑，如图 1所示。然而由于红外图像缺少丰富的纹理信息，仅使用红外图像难以识别光伏面板的缺陷类别，这使其在缺陷检测任务中依然存在局限性。而可见光图像依靠光反射成像，具有丰富的纹理细节，但仅利用可见光图像难以发现光伏面板内部缺陷。本文利用红外图像和可见光图像信息互补的原理，提出基于深度学习的光伏面板缺陷检测方法，利用卷积神经网络同时提取两种图像特征，设计图像融合检测网络的融合模块，对光伏面板的不同种类缺陷进行有效检测。缺陷类型包括碎裂、阴影、异物遮挡、气泡和内部缺陷。各类缺陷本身以及缺陷之间的尺寸相差较大，分布在10像素×10像素~70像素×70像素之间。
本文运用特征级融合检测的思想提出一种基于多源图像融合的光伏面板缺陷检测方法，具体公式表示为：
$$ \text { output }=C_2\left[C_1^{\mathrm{V}}\left(O_{\mathrm{V}}\right)+C_1^{\mathrm{I}}\left(O_{\mathrm{I}}\right)\right] $$ (1) 式中：OV和OI分别为输入的可见光图像和红外图像；C1V和C1I分别为可见光图像和红外图像的特征融合前的网络结构；C2表示特征融合后直到输出结果的网络结构；output为输出结果。
所提出的光伏面板缺陷网络主要包含两个部分：MF-Net特征提取模块和基于权值自适应融合模块。两个模块生成特征图通过检测模块得到缺陷检测结果。图 2为所述融合检测网络的结构，输入为配准完成的可见光图像和红外图像，输出为图像中缺陷的类别、置信度和位置。其主干网络包含两个特征提取模块，分别把两种图像送入融合检测网络的两个特征提取模块，两个特征提取模块结构相同，参数不共享。传统的特征级融合检测方法只使用特征提取模块的最后一层输出进行融合，该方式融合的结果包含的有用信息较少，不利于光伏面板的缺陷检测。为提高检测精度和对不同尺寸待检测目标的适用度，本文在特征提取中进行多层融合。MF-Net特征提取模块增加卷积层数量和检测尺度以提高检测精度，引入密集块结构以增强参数传递和减少过拟合。并将特征提取模块的高层卷积层和密集块结构输出进行融合，其中，第9卷积层和密集块结构输出层为改进前主干网络特征图输出层，第9卷积层输出特征图进行一次上采样与第7卷积层的输出尺寸相同，因此选择第7卷积层的输出进行融合。为提高融合结果的特征显著性，引入一种权值自适应融合模块。融合完成后，在3个融合层输出阶段引入特征金字塔网络。将特征金字塔网络输出的3个特征图分别输入检测模块，检测模块输出缺陷分类结果和位置回归结果。
1.2 MF-Net特征提取模块
针对光伏面板纹理特征重复度高、缺陷尺寸小、检测速度要求高的特点，MF-Net特征提取模块由YOLOv3 tiny改进后再进行融合得到。YOLOv3 tiny[19]是一种实时性较高的目标检测网络，该网络通过将YOLOv3中的darknet-53缩减为7个卷积层和6个池化层有效降低计算量。YOLOv3 tiny精简的结构能有效提升网络检测速度，但是也一定程度地牺牲了检测精度。针对光伏面板缺陷检测任务，为提高检测精度，首先通过改进得到单主干网络，再融合其特定输出层得到MF-Net特征提取模块，具体单主干网络结构如图 3所示。
在特征提取阶段，由于可见光图像和红外图像低层视觉特征冗余，相关缺陷特征难以凸显。设计相同步长的卷积层代替原池化层进行下采样，以增加网络的卷积深度，从而获取更高层的语义特征信息。在提取高层语义特征的同时，为提高网络对不同尺度目标的适用度，采用52×52、26×26、13×13三尺度融合代替原网络的双尺度融合来完成检测任务。此外，为缓解梯度消失和加强参数传递，在特征提取的最后几层引入密集块结构。密集块结构由Huang等[20]提出，该结构在每个3×3卷积层之前引入1×1卷积层用于特征降维，并将每个3×3卷积层的输出作为其后所有1×1卷积层的输入，具体结构如图 4所示。
改进的网络模型尺寸、浮点计算量与原网络以及YOLOv3的对比如表 1所示，改进后的模型相比YOLOv3 tiny模型略微增加了模型尺寸和计算量，但仍远小于YOLOv3网络。
表 1 改进前后网络模型对比Table 1. Comparison parameters of network model before and after improvementNetwork model Model size/Mb FLOPS/Gb YOLOv3 245.3 63.20 YOLOv3 tiny 33.4 5.56 MF-Net 35.6 6.02 1.3 基于权值自适应的融合模块
在图像融合检测网络中，融合策略对光伏面板缺陷检测至关重要。现有融合检测网络的融合策略主要包括通道拼接融合策略和通道相加融合策略等。通道拼接融合策略直接将两个待融合特征图的通道并联，以此增加特征图的数量，增大缺陷在特征图中检测的概率。然而通道并联生成了两倍通道数的特征图，这改变了特征图的通道数，导致不能通过复制单主干网络预训练模型权重获取融合网络预训练模型权重，因此不适用于本文的融合检测网络。通道相加融合策略将红外图像特征图和可见光图像特征图对应通道的像素值进行简单相加求平均值，具体公式如下所示：
$$ \begin{array}{c}{\text{out}}^{d}(x, y)=\frac{1}{2}({f}_{1}^{d}(x, y)+{f}_{2}^{d}(x, y)), \\ d\in \left\{1, 2, \dots \text{，}D\right\}\end{array} $$ (2) 式中：(x, y)表示特征图像素坐标；d表示特征图的第d个通道；D为其最大通道数，在3个融合层取值分别为128，256和256；f1d(x, y)和f2d(x, y)表示两个被融合特征图在对应通道和坐标的像素值；outd(x, y)表示与其对应的融合结果。
两个特征提取模块的特征图对于缺陷特征所包含的信息不同，可见光图像特征提取模块的特征图主要包含缺陷的纹理信息，红外图像特征提取模块的特征图主要包含缺陷的轮廓信息，两种信息对融合结果所做的贡献不同。为降低融合特征图的冗余信息，提高融合结果的特征显著性，本文在通道相加融合策略的基础上提出一种自适应融合策略，如图 5所示，图中n为特征图尺寸，λ1(x, y)和λ2(x, y)为相加系数。该策略可以根据待融合像素局部特征信息自适应为该像素分配相加系数，有效降低信息冗余。
首先，将两个待融合特征图各自的所有通道相加，获得两个矩阵T1和T2，如式(3)所示：
$$ {{\boldsymbol{T}}_i}{\it{(}}x, y{\it{)}} = \sum\limits_{d = 1}^D {f_i^d(x, y), i \in \left\{ {1, 2} \right\}} $$ (3) 式中：(x, y)表示特征图像素坐标，特征图在3个融合层的尺寸分别为52，26和13。自适应融合时，在Ti上选择以(x, y)为中心的3×3窗口内的元素分别求和获得$ {\text{su}}{{\text{m}}_{{T_1}}} $和$ {\text{su}}{{\text{m}}_{{T_2}}} $，如式(4)：
$$ {\text{su}}{{\text{m}}_{{T_i}}}(x, y) = \sum\limits_{p = - 1}^1 {\sum\limits_{q = - 1}^1 {{{\boldsymbol{T}}_{\boldsymbol{i}}}(x + p, y + q)} , i \in \left\{ {1, 2} \right\}} $$ (4) 则两个特征图在坐标(x, y)处的权值λ1和λ2表示为式(5)：
$$ {\lambda _i}(x, y) = \frac{{{\text{su}}{{\text{m}}_{{T_i}}}(x, y)}}{{{\text{su}}{{\text{m}}_{{T_1}}}(x, y) + {\text{su}}{{\text{m}}_{{T_2}}}(x, y)}}, i \in \left\{ {1, 2} \right\} $$ (5) 自适应融合后的特征图表示为式(6)：
$$ \begin{gathered} {\text{ou}}{{\text{t}}^d}(x, y) = {\lambda _1}(x, y)f_1^d(x, y) + {\lambda _2}(x, y)f_2^d(x, y), \\ d \in \left\{ {1, 2, \ldots , D} \right\} \\ \end{gathered} $$ (6) 2. 实验结果分析与评估
2.1 数据采集与预处理
实验所用数据在国内某渔光互补光伏电站采集获取，数据采集硬件设备主要由无人机飞行平台、可见光相机及红外相机组成。如图 6所示，该电站面积约2 km2，硬件设备使用大疆创新公司的经纬M300RTK无人机搭配禅思H20T云台相机。H20T云台相机包含多种传感器，其中红外相机可自动将采集到的图像渲染为三通道图像。飞行平台执行提前规划完成的航线约7 h完成数据采集任务，采集对象包括固定式光伏面板和感光旋转式光伏面板。
光伏面板的缺陷在获取的可见光图像和红外图像中并不能很好地相互对应，如图 7(a)和(b)所示，为了更好地检测缺陷，需对可见光图像和红外图像进行配准，使二者缺陷位置一一对应。首先采用基于拉普拉斯算子的模糊度检测算法[21]剔除低质量图像。然后对原始图像进行图像去畸变和配准，本文采用文献[22]中基于轮廓特征的方法配合手动调整参数进行配准，随后在可见光图像中截取红外图像对应的部分（如图 7(c)所示），并将截取后的可见光图像与红外图像作为融合检测网络的输入。虽然图 7中(a)和(c)仅仅是粗略的特征对齐，但由于深度学习方法的泛化性，处理后的数据对本文检测算法的性能影响较小。
数据采集实验中，无人机共获取可见光图像和红外图像各7348张。配准完成后，对图像数据进行筛选和标注，得到具有热斑的红外图像659张，共计热斑1367处。映射到对应可见光图像上，得到碎裂103处，阴影398处，异物遮挡367处，气泡96处，内部缺陷403处，其中内部缺陷表现为在红外图像上显示热斑，在可见光图像上为正常区域。由于某些类型的缺陷数据较少导致缺陷数量不均衡，本文对不同类别的缺陷数据分别进行数据增强，调整不同类别的缺陷数量使其基本一致。主要的数据增强操作包括：扰动图片亮度、对比度、饱和度和色相；复制图像缺陷区域到其他图像；对图像某区域进行擦除等。最终获得含有缺陷的图像1000对，训练集、验证集和测试集的比例为7:1:2，具体数据信息如表 2所示。
表 2 数据集分配统计Table 2. Distributions of our datasetNumber of images/pairs Crazing Shadow Covering Bubble Internal Filtered images 659 103 398 367 96 403 Enhanced images 1000 544 552 534 537 565 Training set 700 366 363 349 356 371 Validation set 100 60 63 61 59 64 Test set 200 118 126 124 122 130 2.2 实验参数及评价指标
本文实验在Ubuntu16.04，64位操作系统中运行，该系统配置NVIDIA GeForce GTX 1080显卡（8 Gb显存容量），i7-8700k处理器，16 Gb运行内存。训练基于Python3.7和飞桨深度学习框架进行。本文使用ImageNet[23]数据集训练改进后的YOLOv3 tiny网络模型获取单主干网络预训练模型参数。然后通过克隆融合层之前层的网络模型参数，获取融合检测网络的预训练模型参数。获取预训练模型参数后，使用本文数据集进行训练，如表 3，输入图像的大小为416×416，batch size设置为2，学习率设置为0.0005，采用liner-warm-up方式训练，训练过程使用GPU加速。
表 3 网络训练参数Table 3. Network training parametersParameter Value Parameter Value Input size 416×416 Epoch 200 Batch size 2 Momentum 0.9 Learning rate 0.0005 Confidence 0.65 对于实验结果，采用每秒处理帧数（Frame Per Second, FPS）评估网络的检测速度；使用所有类标签平均精确率（Mean Average Precision, mAP）和单类标签平均精确率（Average precision, AP）评价算法精度。精确率表示正确预测为正样本占所有预测为正样本的比例，召回率衡量正确预测为正样本占所有正样本的比例，F1 score表示二者调和平均值；并计算P-R曲线提供精确率和召回率的统计结果。
2.3 实验结果分析
实验主要包括3个部分：主干网络改进模型的消融实验、不同网络框架的对比实验和不同缺陷检测结果与分析实验。其中，消融实验表明对主干网络的改进能使其更加适用于光伏面板缺陷检测场景；对比实验表明应用多源图像融合检测的必要性、自适应融合模块的有效性以及本文方法的先进性；最后检测结果能直观地表明本文方法对光伏面板缺陷检测的有效性。
1）主干网络改进模型消融实验
本文对主干网络的改进主要为以下3点：卷积层替换、三尺度检测和密集块。首先在融合检测网络框架基础上进行了3种改进的消融实验，均使用通道相加融合策略。实验结果如表 4。使用基于YOLOv3 tiny的融合检测网络时mAP为75.93%，单独进行卷积层替换时mAP为82.02%，单独将双尺度检测改为三尺度检测时mAP为76.21%，单独在网络中加入密集块结构时mAP为80.96%，同时加入3种改进时mAP为83.34%，检测精度高于基线模型。实验结果表明，卷积层替换和密集块都明显地增加了模型的mAP，三尺度检测对模型的mAP增加幅度较小。消融实验的结果表明针对光伏面板缺陷检测任务的改进能有效提升缺陷检测的精度。
表 4 消融实验结果Table 4. Results of ablation experiencesS/N Replace Conv. Three scale detection Dense Block mAP FPS 1 75.93% 11.23 2 √ 82.02%(+6.09%) 8.13(-3.10) 3 √ 76.21%(+0.28%) 9.43(-1.80) 4 √ 80.96%(+5.03%) 11.36(+0.13) 5 √ √ √ 83.34%(+7.41%) 7.41(-3.82) 2）不同网络框架对比实验
为了验证利用融合检测技术代替单一图像检测技术检测光伏面板缺陷的有效性，进行基于单一图像的缺陷检测和基于多源图像融合的缺陷检测对比实验。首先使用改进的YOLOv3 tiny框架分别对可见光图像和红外图像进行单一图像检测实验，然后使用MF-Net融合检测网络和通道相加融合策略对多源图像进行检测。实验测试集详细信息如表 2，各类缺陷共620处。
表 5为置信度设置为0.65时各个检测结果的正确检出数量、正确分类数量、FPS以及所有类的F1 score。对比实验1~3发现，仅使用可见光图像检测的缺陷数量为320，其中正确分类的为297，仅使用红外图像检测缺陷的数量为497，但正确分类的缺陷仅有103，红外图像中光伏面板缺陷显示为特征差别较小的热斑导致其缺陷分类效果较差。虽然单一图像能够进行缺陷检测，但是融合检测的效果在检测数量与正确分类的数量上均高于单一图像的检测结果。
表 5 不同网络框架对比评估Table 5. Comparative evaluation of different networksS/N Model Input Correct detection Correct classification FPS F1 score 1 Improved YOLOv3 tiny Visible image 320 297 12.61 0.53 2 Improved YOLOv3 tiny Infrared image 497 103 12.63 0.17 3 MF-Net and channel addition strategy Multi-source image 553 516 7.41 0.82 4 SSD Multi-source image 512 446 1.31 0.72 5 Ours Multi-source image 559 538 7.39 0.86 为验证自适应融合模块的有效性，设计不同的融合策略对比实验。使用自适应融合策略代替通道相加融合策略进行实验，其检测结果的mAP为85.48%，相比通道相加融合策略提高了2.14%。置信度阈值设置为0.65时结果如表 5实验5。通过对比实验3与实验5发现，自适应融合策略的各项指标均优于通道相加融合策略，证明提出的自适应融合策略在光伏面板缺陷检测任务中优于通道相加融合策略。实验5表明本文方法的FPS达到了7.39，满足光伏电站运维需求。
为进一步验证本文方法的先进性，选用一种检测光伏面板图像时不易发生梯度消失的网络即SSD（Single Shot MultiBox Detector）网络进行对比实验。首先将SSD网络第一卷积层由3通道改变为6通道并复制该层的预训练模型权重，然后将可见光图像和红外图像通道并联作为该网络的输入进行实验。实验结果如表 5实验4，对比实验4和实验5可知，本文方法的FPS和F1 score均优于实验4，验证了本文方法的先进性。
3）不同缺陷检测结果与分析
图 8为主干网络改进模型消融实验中5种框架以及本文方法共6种融合检测网络针对5种缺陷类型检测结果的P-R曲线。其中卷积层替换和密集块在5种缺陷上的P-R曲线均优于未改进的网络；三尺度检测对于碎裂缺陷的P-R曲线与未改进网络相差较小，这是碎裂缺陷目标尺度普遍较大导致的。对比自适应融合策略和直接相加融合策略的实验结果发现，直接相加融合策略的内部缺陷检测结果与自适应融合策略基本一致，这是内部缺陷的可见光图像在缺陷区域无明显特征变化造成的；对于其他缺陷，自适应融合策略明显优于直接相加融合策略；总体结果表明自适应融合策略能使网络有更好的检测结果。
![]()
图 8 五种缺陷在不同融合检测网络中的P-R测试曲线Figure 8. P-R curves of five kinds of defects in different fusion detection networks最后，利用基于改进的YOLOv3 tiny网络的单一图像检测方法和本文提出的融合检测方法对数据进行测试。部分检测结果如图 9所示，其中包含5种常见缺陷类型。图中(a)为基于可见光图像的检测结果；(b)为基于红外图像的检测结果；(c)为本文方法检测结果；(d)为实际缺陷类型及位置。通过对比(a)和(c)可以看出，基于可见光图像无法检出内部缺陷，对其他缺陷分类基本正确，但置信度小于本文方法的检测结果；对比(b)和(c)发现，相较于基于红外图像的检测结果，本文方法能够更好地对缺陷进行分类；对比(c)和(d)，(c)的缺陷检测结果和(d)显示的实际缺陷一致，说明本文提出的方法能有效检测出光伏面板各类缺陷。综上所述，本文方法对于光伏面板缺陷的检测与分类精度明显优于单一图像检测方法。
![]()
图 9 基于单一图像或多源图像对不同缺陷的检测结果对比（(a)基于可见光图像检测结果；(b)基于红外图像检测结果；(c)本文方法检测结果；(d)实际缺陷类型及位置）Figure 9. Comparison of detection results of different defects based on single image or multi-source image((a) Detection results based on visible image; (b) Based on infrared image detection results; (c) Detection results of this method; (d) Actual defect type and location)3. 结论
本文提出一种基于多源图像融合的光伏面板缺陷检测方法，介绍从数据采集和预处理、网络设计与训练到缺陷检测的整体流程，实现在不接触光伏面板的情况下进行光伏面板的高效率高精度的缺陷检测。通过与基于单一图像检测方法的对比，表明提出的融合检测方法的有效性，以及在缺陷检出和缺陷分类方面的优势。
提出一种基于图像融合的光伏面板缺陷检测网络，即MF-Net。该网络以YOLOv3 tiny为基础，并创新性地提出以下3点改进以提高检测精度：使用相同步长的卷积层替换池化层；将双尺度检测改为三尺度检测；在网络中引入密集块结构。消融实验表明3种方法分别使改进网络的mAP提高6.09%、0.28%和5.03%，验证了本文改进方法的有效性。此外提出自适应融合模块，该模块使得改进后的网络mAP提升2.14%。相比于直接相加融合策略，自适应融合策略能更好地完成特征融合任务，降低融合过程中的信息冗余，凸显缺陷特征，更有利于光伏面板缺陷检测任务。
本文方法的局限性在于：实验中，对于配准完成的图像网络能很好地完成缺陷检测任务，但图像数据的配准过程依然需要较多的人工干预。因此，后续的工作将聚焦于多源图像自动化配准任务，以满足光伏电站自动化运维需求。
-
表 1 WV3-Ⅰ的定量评价结果
Table 1 Quantitative evaluation results of WV3
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.8520 0.6323 27.5009 6.9281 0.0363 0.8451 0.6267 23.9945 20.5286 IHS 0.8509 0.5093 48.6246 21.4512 0.1710 0.6957 0.6160 42.4249 15.5784 CBD 0.8801 0.6437 27.7469 7.0537 0.0523 0.8746 0.6261 24.2091 20.4512 SFIM 0.8987 0.6397 23.6789 6.0072 0.0388 0.8986 0.6121 20.6598 21.8283 BDSD 0.8907 0.6614 24.7900 6.2571 0.0466 0.8904 0.6420 21.6292 21.4300 DTCWT 0.8860 0.6449 24.2148 6.1894 0.0457 0.8825 0.6352 21.1273 21.6339 NSCT-SR 0.8560 0.6278 26.9770 6.8812 0.0527 0.8491 0.6258 23.5374 20.6956 MTF-GLP 0.8941 0.6419 25.4094 6.5111 0.0513 0.8910 0.6486 22.1696 21.2156 Proposed 0.9076 0.6566 22.5488 5.7804 0.0493 0.9073 0.6548 19.6737 22.2531 
下载: 导出CSV
表 2 WV3-Ⅱ的定量评价结果
Table 2 Quantitative evaluation results of WV3
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.9730 0.8728 20.9863 5.2562 0.0627 0.9687 0.9397 14.5573 24.8692 IHS 0.9695 0.5631 63.2636 30.8796 0.2360 0.6860 0.9360 43.8831 15.2849 CBD 0.9763 0.8891 21.6071 5.4043 0.0849 0.9727 0.9400 14.9879 24.6160 SFIM 0.9814 0.8905 17.1809 4.3441 0.0635 0.9812 0.9282 11.9176 26.6070 BDSD 0.9758 0.8791 20.6105 5.182 0.0899 0.9745 0.9413 14.2966 25.0262 DTCWT 0.9815 0.8912 17.1121 4.2963 0.0677 0.9800 0.9406 11.8699 26.6419 NSCT-SR 0.9735 0.8720 20.7693 5.2093 0.0717 0.9697 0.9367 14.4067 24.9595 MTF-GLP 0.9816 0.9014 17.8018 4.4780 0.0776 0.9802 0.9383 12.3483 26.2987 Proposed 0.9838 0.9017 16.2089 4.0441 0.0841 0.9830 0.9368 11.2434 27.1129
下载: 导出CSV
表 3 GeoEye1的定量评价结果
Table 3 Quantitative evaluation results of GeoEye1
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.7706 0.9285 9.7191 2.3714 0.0174 0.7663 0.9016 5.3156 33.6198 IHS 0.7049 0.7516 47.4709 26.5205 0.1517 0.4170 0.9170 25.9627 19.8438 CBD 0.9338 0.9128 7.1367 2.0122 0.0243 0.9220 0.8847 3.9032 36.3023 SFIM 0.9677 0.9575 4.0797 1.0938 0.0174 0.9666 0.9247 2.2312 41.1598 BDSD 0.9492 0.9631 5.3800 1.5113 0.0205 0.9479 0.9453 2.9424 38.7567 DTCWT 0.9207 0.9479 5.9575 1.5881 0.0184 0.9189 0.9246 3.2583 37.8711 NSCT-SR 0.8088 0.9349 9.0938 2.4113 0.0228 0.8041 0.9158 4.9736 34.1974 MTF-GLP 0.9750 0.9657 3.8028 1.0340 0.0155 0.9742 0.9432 2.0798 41.7704 Proposed 0.9783 0.9686 3.4253 0.9681 0.0155 0.9782 0.9466 1.8734 42.6783
下载: 导出CSV
表 4 VW2的定量评价结果
Table 4 Quantitative evaluation results of VW2
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.8979 0.6623 18.2241 4.5660 0.0564 0.8822 0.8795 61.312 12.3799 IHS 0.8978 0.5226 47.6344 24.0439 0.1574 0.6827 0.8810 160.2582 4.0344 CBD 0.9499 0.7216 13.8956 3.5849 0.0490 0.9477 0.9047 46.7494 14.7353 SFIM 0.9502 0.7207 13.2566 3.3281 0.0564 0.9479 0.8930 44.5996 15.1442 BDSD 0.9487 0.7267 13.6076 3.5028 0.0495 0.9487 0.9162 45.7805 14.9172 DTCWT 0.9392 0.6876 14.8766 3.8229 0.0573 0.9307 0.8856 50.0500 14.1427 NSCT-SR 0.9033 0.6649 18.0106 4.6550 0.0616 0.8883 0.8800 60.5936 12.4823 MTF-GLP 0.9489 0.7100 14.084 3.6470 0.0578 0.9440 0.8901 47.3833 14.6183 Proposed 0.9580 0.7395 12.2714 3.1650 0.0460 0.9557 0.9123 41.2852 15.8149
下载: 导出CSV
-
[1] 王芬, 郭擎, 葛小青. 深度递归残差网络的遥感图像空谱融合[J]. 遥感学报, 2021, 25(6): 1244-1256. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106004.htm WANG F, GUO Q, GE X Q. Pan-sharpening by deep recursive residual network[J]. National Remote Sensing Bulletin, 2021, 25(6): 1244-1256. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106004.htm
[2] 李树涛, 李聪妤, 康旭东. 多源遥感图像融合发展现状与未来展望[J]. 遥感学报, 2021, 25(1): 148-166. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202101010.htm LI S T, LI C Y, KANG X D. Development status and future prospects of multi-source remote sensing image fusion[J]. National Remote Sensing Bulletin, 2021, 25(1): 148-166. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202101010.htm
[3] MENG X, SHEN H, LI H, et al. Review of the pansharpening methods for remote sensing images based on the idea of meta-analysis: practical discussion and challenges[J]. Information Fusion, 2019, 46: 102-113. DOI: 10.1016/j.inffus.2018.05.006
[4] 陈毛毛, 郭擎, 刘明亮, 等. 密集卷积残差网络的遥感图像融合[J]. 遥感学报, 2021, 25(6): 1270-1283. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106006.htm CHEN M M, GUO Q, LIU M L, et al. Pan-sharpening by residual network with dense convolution for remote sensing images[J]. National Remote Sensing Bulletin, 2021, 25(6): 1270-1283. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106006.htm
[5] YANG Y, LU H, HUANG S, et al. Pansharpening based on joint-guided detail extraction[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 389-401. DOI: 10.1109/JSTARS.2020.3032472
[6] YANG Y, WAN C, HUANG S, et al. Pansharpening based on low-rank fuzzy fusion and detail supplement[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 5466-5479. DOI: 10.1109/JSTARS.2020.3022857
[7] TU T M, HUANG P S, HUNG C L, et al. A fast intensity–hue–saturation fusion technique with spectral adjustment for IKONOS imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2004, 1(4): 309-312. DOI: 10.1109/LGRS.2004.834804
[8] 陈应霞, 陈艳, 刘丛. 遥感影像融合AIHS转换与粒子群优化算法[J]. 测绘学报, 2019, 48(10): 1296-1304. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201910011.htm CHEN Y X, CHEN Y, LIU C. Joint AIHS and particles swarm optimization for pan-sharpening[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(10): 1296-1304. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201910011.htm
[9] Rahmani S, Strait M, Merkurjev D, et al. An adaptive IHS pan-sharpening method[J]. IEEE Geoscience & Remote Sensing Letters, 2010, 7(4): 746-750.
[10] 王威, 张佳娥. 基于引导滤波和shearlet稀疏的遥感图像融合算法[J]. 计算机工程与科学, 2018, 40(7): 1250-1255. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201808017.htm WANG W, ZHANG J E. A remote sensing image fusion algorithm based on guided filtering and shearlet sparse base[J]. Computer Engineering and Science, 2018, 40(7): 1250-1255. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201808017.htm
[11] JIAN L, YANG X, WEI W, et al. Pansharpening using a guided image filter based on dual-scale detail extraction[J/OL]. Journal of Ambient Intelligence and Humanized Computing, 2018: 1-15, https://doi.org/ 10.1007/s12652-018-0866-4.
[12] ZHANG Q, SHEN X, XU L, et al. Rolling guidance filter[C]//European Conference on Computer Vision, 2014: 815-830.
[13] 陈峰, 李敏, 马乐, 等. 基于滚动引导滤波的红外与可见光图像融合算法[J]. 红外技术, 2020, 42(1): 54-61. http://hwjs.nvir.cn/article/id/hwjs202001008 CHEN F, LI M, MA L, et al. Infrared and visible image fusion algorithm based on the rolling guidance filter[J]. Infrared Technology, 2020, 42(1): 54-61. http://hwjs.nvir.cn/article/id/hwjs202001008
[14] LI Q, YANG X, WU W, et al. Pansharpening multispectral remote‐sensing images with guided filter for monitoring impact of human behavior on environment[J]. Concurrency and Computation: Practice and Experience, 2018, 33(4): e5074.
[15] Kalpoma K A, Kawano K, Kudoh J I. IKONOS image fusion process using steepest descent method with bi-linear interpolation[J]. International Journal for Remote Sensing, 2013, 34(1-2): 505-518.
[16] Wald L, Ranchin T, Mangolini M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]. Photogrammetric Engineering and Remote Sensing, 1997, 63(6): 691-699.
-
期刊类型引用(4)
1. 党宁，李世峰，于坤義. 基于多尺度伸缩卷积与注意力机制的光伏组件缺陷分割算法. 电子技术应用. 2025(04): 66-71 . 
百度学术
2. 黄志海，邓耀华，吴光栋. IC器件表面缺陷多光谱图像特征融合检测方法. 仪器仪表学报. 2024(09): 24-33 . 百度学术
3. 韩自强，岳明凯，张骢，高棋. 基于孪生网络的无人机目标多模态融合检测. 红外技术. 2023(07): 739-745 . 本站查看
4. 骆元鹏，付江缺，李双江，李红明，张奇，张文成. 基于机器学习算法的光伏组串故障诊断技术研究. 电力大数据. 2023(10): 34-41 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 207
- HTML全文浏览量: 54
- PDF下载量: 39
- 被引次数: 6
