Vehicle-based Thermal Imaging Target Detection Method Based on Enhanced Lightweight Network
-
摘要: 车载热成像系统不依赖光源，对天气状况不敏感，探测距离远，对夜间行车有很大辅助作用，热成像自动目标检测对夜间智能驾驶具有重要意义。车载热成像系统所采集的红外图像相比可见光图像具有分辨率低，远距离小目标细节模糊的特点，且热成像目标检测方法需考虑车辆移动速度所要求的算法实时性以及车载嵌入式平台的计算能力。针对以上问题，本文提出了一种针对热成像系统的增强型轻量级红外目标检测网络（Infrared YOLO，I-YOLO），该网络采用（Tiny you only look once，Tiny-YOLO V3）的基础结构，根据红外图像特点，提取浅层卷积层特征，提高红外小目标检测能力，使用单通道卷积核，降低运算量，检测部分使用基于CenterNet结构的检测方式以降低误检测率，提高检测速度。经实际测试，Enhanced Tiny-YOLO目标检测网络在热成像目标检测方面，平均检测率可达91%，检测平均速度达到81Fps，训练模型权重96MB，适宜于车载嵌入式系统上部署。
-
关键词:
- 车载热成像系统 /
- 夜间智能驾驶 /
- I-YOLO红外目标检测网络 /
- CenterNet结构 /
- 车载嵌入式平台
Abstract: A vehicle-based thermal imaging system does not depend on a light source, is insensitive to weather, and has a long detection distance. Automatic target detection using vehicle-based thermal imaging is of great significance for intelligent night driving. Compared with visible images, the infrared images acquired by a vehicle-based thermal imaging system based on existing algorithms have low resolution, and the details of small long-range targets are blurred. Moreover, the real-time algorithm performance required to address the vehicle speed and computing ability of the vehicle-embedded platform should be considered in the vehicle-based thermal imaging target detection method. To solve these problems, an enhanced lightweight infrared target detection network (I-YOLO) for a vehicle-based thermal imaging system is proposed in this study. The network uses a tiny you only look once(Tiny-YOLOV3) infrastructure to extract shallow convolution-layer features according to the characteristics of infrared images to improve the detection of small infrared targets. A single-channel convolutional core was used to reduce the amount of computation. A detection method based on a CenterNet structure is used to reduce the false detection rate and improve the detection speed. The actual test shows that the average detection rate of the I-YOLO target detection network in vehicle-based thermal imaging target detection reached 91%, while the average detection speed was81 fps, and the weight of the training model was96MB, which is suitable for deployment on a vehicle-based embedded system. -
0. 引言
在推进实施“双碳”目标的背景下，光伏发电产业得到了快速发展，光伏架设面积迅速增长，随之而来的是日益严峻的光伏电站维护压力。一方面，受自然环境和人为因素的影响，光伏面板在使用过程中不可避免地会受到损伤，从而导致如碎裂、异物遮挡和气泡等[1]缺陷的产生，进而影响发电效率，甚至引发火灾。因此运维人员需及时发现缺陷并施行相应的维护措施；另一方面，光伏电站复杂的地形和日益增长的装机规模使得传统的人工目视检查方式变得越来越困难，运维人员开始寻求光伏面板自动化检测方法。一部分研究者利用电流监测器[2]或电致成像设备[3]实现光伏面板缺陷的自动化检测，但是电流监测不能判断缺陷具体位置，而电致成像需要将光伏面板拆卸后进行，所以这些方法在光伏电站日常运维过程中并未得到普及。
同时，国内外研究者对基于机器视觉的光伏面板缺陷检测方法进行了广泛研究。Li等[4]提出一种基于深度学习的缺陷检测方法，该方法利用Kirsch算子识别缺陷区域，然后利用卷积神经网络和支持向量机进行缺陷分类。Espinosa等[5]提出一种利用卷积神经网络对RGB图像进行语义分割和分类的光伏物理故障自动分类方法。虽然这些方法对外部缺陷的检测效果明显，但并不能检测出内部缺陷。邓堡元等[6]提出一种基于光流法的光伏面板红外图像处理方法，通过深度卷积神经网络实现缺陷的有效识别。孙智权等[7]提出一种基于改进的形态学凸性分析与相对灰度差动态阈值分割的缺陷特征提取方法，实现太阳能电池自动检测。但这些方法只能应用于光伏面板制造过程中，不能应用在光伏面板使用维护过程中。He等[8]提出一种针对光伏电池和组件的主动电磁感应红外热斑缺陷检测方法，通过快速傅里叶变换等图像处理方法实现对光伏电池和组件中的缺陷检出任务。郭梦浩等[9]运用改进的Faster RCNN方法对红外图像进行分析，实现97.34%的热斑检测准确率。但是由于红外图像没有丰富的纹理信息，这些方法不能实现缺陷分类。
综上所述，使用单一种类的图像难以满足光伏面板的缺陷检测需求，基于多源图像融合的检测方法在一定程度上能够弥补基于单一图像的方法难以解决的技术难题，但也存在一些其他问题。基于深度学习的图像融合检测技术多使用两个分支分别对两种图像进行处理，此时两个分支相互独立，参数不共享。然后在某一阶段将两个分支的输出采取特定融合策略进行融合，并对融合层的输出进一步处理获取最终检测结果。已有的图像融合检测方法对融合的最佳时机进行了探索。像素级融合检测方法[10-12]是在图像输入特征提取模块前获取融合图像，这类方法的融合对象是两幅图像中的对应像素，要求图像严格对齐，对本文获取的数据集来说很难实现。像素级融合检测融合时保留融合图像的全部信息，这将保留较多的干扰信息并造成信息冗余。特征级融合检测方法[13-15]是当下比较流行的方法，首先使用两个独立的特征提取模块分别对两种图像进行特征提取，并在特征提取的过程中融合某一层特征图或对某几层特征图分别进行融合。与像素级融合检测方法相比，特征级融合检测方法不要求图像严格对齐，融合更多高层语义信息，能够降低多源图像融合的信息冗余。决策级融合检测方法[16-18]的融合对象是两个网络分支的决策。该方法利用两个相互独立的网络分别对两种图像检测，再通过对两个检测结果综合分析获取最终的缺陷位置和缺陷类别。决策级融合检测方法虽然对硬件系统的计算能力要求较低，但在融合过程中丢失了较多的细节信息，检测效果相对前两种方式较差。
本文对基于图像融合的光伏面板缺陷检测方法进行研究，结合光伏面板可见光图像和红外图像的互补信息，提出特征融合检测网络，完成鲁棒的光伏面板缺陷检测任务。
1. 多源图像融合检测网络框架
1.1 基于特征融合的检测网络结构
红外图像是一种红外遥感器接收地物反射或自身发射的红外线而形成的图像，异常的光伏面板与其周围完好的光伏面板在发热性能上差异较大，使成像结果中出现明显热斑，如图 1所示。然而由于红外图像缺少丰富的纹理信息，仅使用红外图像难以识别光伏面板的缺陷类别，这使其在缺陷检测任务中依然存在局限性。而可见光图像依靠光反射成像，具有丰富的纹理细节，但仅利用可见光图像难以发现光伏面板内部缺陷。本文利用红外图像和可见光图像信息互补的原理，提出基于深度学习的光伏面板缺陷检测方法，利用卷积神经网络同时提取两种图像特征，设计图像融合检测网络的融合模块，对光伏面板的不同种类缺陷进行有效检测。缺陷类型包括碎裂、阴影、异物遮挡、气泡和内部缺陷。各类缺陷本身以及缺陷之间的尺寸相差较大，分布在10像素×10像素~70像素×70像素之间。
本文运用特征级融合检测的思想提出一种基于多源图像融合的光伏面板缺陷检测方法，具体公式表示为：
$$ \text { output }=C_2\left[C_1^{\mathrm{V}}\left(O_{\mathrm{V}}\right)+C_1^{\mathrm{I}}\left(O_{\mathrm{I}}\right)\right] $$ (1) 式中：OV和OI分别为输入的可见光图像和红外图像；C1V和C1I分别为可见光图像和红外图像的特征融合前的网络结构；C2表示特征融合后直到输出结果的网络结构；output为输出结果。
所提出的光伏面板缺陷网络主要包含两个部分：MF-Net特征提取模块和基于权值自适应融合模块。两个模块生成特征图通过检测模块得到缺陷检测结果。图 2为所述融合检测网络的结构，输入为配准完成的可见光图像和红外图像，输出为图像中缺陷的类别、置信度和位置。其主干网络包含两个特征提取模块，分别把两种图像送入融合检测网络的两个特征提取模块，两个特征提取模块结构相同，参数不共享。传统的特征级融合检测方法只使用特征提取模块的最后一层输出进行融合，该方式融合的结果包含的有用信息较少，不利于光伏面板的缺陷检测。为提高检测精度和对不同尺寸待检测目标的适用度，本文在特征提取中进行多层融合。MF-Net特征提取模块增加卷积层数量和检测尺度以提高检测精度，引入密集块结构以增强参数传递和减少过拟合。并将特征提取模块的高层卷积层和密集块结构输出进行融合，其中，第9卷积层和密集块结构输出层为改进前主干网络特征图输出层，第9卷积层输出特征图进行一次上采样与第7卷积层的输出尺寸相同，因此选择第7卷积层的输出进行融合。为提高融合结果的特征显著性，引入一种权值自适应融合模块。融合完成后，在3个融合层输出阶段引入特征金字塔网络。将特征金字塔网络输出的3个特征图分别输入检测模块，检测模块输出缺陷分类结果和位置回归结果。
1.2 MF-Net特征提取模块
针对光伏面板纹理特征重复度高、缺陷尺寸小、检测速度要求高的特点，MF-Net特征提取模块由YOLOv3 tiny改进后再进行融合得到。YOLOv3 tiny[19]是一种实时性较高的目标检测网络，该网络通过将YOLOv3中的darknet-53缩减为7个卷积层和6个池化层有效降低计算量。YOLOv3 tiny精简的结构能有效提升网络检测速度，但是也一定程度地牺牲了检测精度。针对光伏面板缺陷检测任务，为提高检测精度，首先通过改进得到单主干网络，再融合其特定输出层得到MF-Net特征提取模块，具体单主干网络结构如图 3所示。
在特征提取阶段，由于可见光图像和红外图像低层视觉特征冗余，相关缺陷特征难以凸显。设计相同步长的卷积层代替原池化层进行下采样，以增加网络的卷积深度，从而获取更高层的语义特征信息。在提取高层语义特征的同时，为提高网络对不同尺度目标的适用度，采用52×52、26×26、13×13三尺度融合代替原网络的双尺度融合来完成检测任务。此外，为缓解梯度消失和加强参数传递，在特征提取的最后几层引入密集块结构。密集块结构由Huang等[20]提出，该结构在每个3×3卷积层之前引入1×1卷积层用于特征降维，并将每个3×3卷积层的输出作为其后所有1×1卷积层的输入，具体结构如图 4所示。
改进的网络模型尺寸、浮点计算量与原网络以及YOLOv3的对比如表 1所示，改进后的模型相比YOLOv3 tiny模型略微增加了模型尺寸和计算量，但仍远小于YOLOv3网络。
表 1 改进前后网络模型对比Table 1. Comparison parameters of network model before and after improvementNetwork model Model size/Mb FLOPS/Gb YOLOv3 245.3 63.20 YOLOv3 tiny 33.4 5.56 MF-Net 35.6 6.02 1.3 基于权值自适应的融合模块
在图像融合检测网络中，融合策略对光伏面板缺陷检测至关重要。现有融合检测网络的融合策略主要包括通道拼接融合策略和通道相加融合策略等。通道拼接融合策略直接将两个待融合特征图的通道并联，以此增加特征图的数量，增大缺陷在特征图中检测的概率。然而通道并联生成了两倍通道数的特征图，这改变了特征图的通道数，导致不能通过复制单主干网络预训练模型权重获取融合网络预训练模型权重，因此不适用于本文的融合检测网络。通道相加融合策略将红外图像特征图和可见光图像特征图对应通道的像素值进行简单相加求平均值，具体公式如下所示：
$$ \begin{array}{c}{\text{out}}^{d}(x, y)=\frac{1}{2}({f}_{1}^{d}(x, y)+{f}_{2}^{d}(x, y)), \\ d\in \left\{1, 2, \dots \text{，}D\right\}\end{array} $$ (2) 式中：(x, y)表示特征图像素坐标；d表示特征图的第d个通道；D为其最大通道数，在3个融合层取值分别为128，256和256；f1d(x, y)和f2d(x, y)表示两个被融合特征图在对应通道和坐标的像素值；outd(x, y)表示与其对应的融合结果。
两个特征提取模块的特征图对于缺陷特征所包含的信息不同，可见光图像特征提取模块的特征图主要包含缺陷的纹理信息，红外图像特征提取模块的特征图主要包含缺陷的轮廓信息，两种信息对融合结果所做的贡献不同。为降低融合特征图的冗余信息，提高融合结果的特征显著性，本文在通道相加融合策略的基础上提出一种自适应融合策略，如图 5所示，图中n为特征图尺寸，λ1(x, y)和λ2(x, y)为相加系数。该策略可以根据待融合像素局部特征信息自适应为该像素分配相加系数，有效降低信息冗余。
首先，将两个待融合特征图各自的所有通道相加，获得两个矩阵T1和T2，如式(3)所示：
$$ {{\boldsymbol{T}}_i}{\it{(}}x, y{\it{)}} = \sum\limits_{d = 1}^D {f_i^d(x, y), i \in \left\{ {1, 2} \right\}} $$ (3) 式中：(x, y)表示特征图像素坐标，特征图在3个融合层的尺寸分别为52，26和13。自适应融合时，在Ti上选择以(x, y)为中心的3×3窗口内的元素分别求和获得$ {\text{su}}{{\text{m}}_{{T_1}}} $和$ {\text{su}}{{\text{m}}_{{T_2}}} $，如式(4)：
$$ {\text{su}}{{\text{m}}_{{T_i}}}(x, y) = \sum\limits_{p = - 1}^1 {\sum\limits_{q = - 1}^1 {{{\boldsymbol{T}}_{\boldsymbol{i}}}(x + p, y + q)} , i \in \left\{ {1, 2} \right\}} $$ (4) 则两个特征图在坐标(x, y)处的权值λ1和λ2表示为式(5)：
$$ {\lambda _i}(x, y) = \frac{{{\text{su}}{{\text{m}}_{{T_i}}}(x, y)}}{{{\text{su}}{{\text{m}}_{{T_1}}}(x, y) + {\text{su}}{{\text{m}}_{{T_2}}}(x, y)}}, i \in \left\{ {1, 2} \right\} $$ (5) 自适应融合后的特征图表示为式(6)：
$$ \begin{gathered} {\text{ou}}{{\text{t}}^d}(x, y) = {\lambda _1}(x, y)f_1^d(x, y) + {\lambda _2}(x, y)f_2^d(x, y), \\ d \in \left\{ {1, 2, \ldots , D} \right\} \\ \end{gathered} $$ (6) 2. 实验结果分析与评估
2.1 数据采集与预处理
实验所用数据在国内某渔光互补光伏电站采集获取，数据采集硬件设备主要由无人机飞行平台、可见光相机及红外相机组成。如图 6所示，该电站面积约2 km2，硬件设备使用大疆创新公司的经纬M300RTK无人机搭配禅思H20T云台相机。H20T云台相机包含多种传感器，其中红外相机可自动将采集到的图像渲染为三通道图像。飞行平台执行提前规划完成的航线约7 h完成数据采集任务，采集对象包括固定式光伏面板和感光旋转式光伏面板。
光伏面板的缺陷在获取的可见光图像和红外图像中并不能很好地相互对应，如图 7(a)和(b)所示，为了更好地检测缺陷，需对可见光图像和红外图像进行配准，使二者缺陷位置一一对应。首先采用基于拉普拉斯算子的模糊度检测算法[21]剔除低质量图像。然后对原始图像进行图像去畸变和配准，本文采用文献[22]中基于轮廓特征的方法配合手动调整参数进行配准，随后在可见光图像中截取红外图像对应的部分（如图 7(c)所示），并将截取后的可见光图像与红外图像作为融合检测网络的输入。虽然图 7中(a)和(c)仅仅是粗略的特征对齐，但由于深度学习方法的泛化性，处理后的数据对本文检测算法的性能影响较小。
数据采集实验中，无人机共获取可见光图像和红外图像各7348张。配准完成后，对图像数据进行筛选和标注，得到具有热斑的红外图像659张，共计热斑1367处。映射到对应可见光图像上，得到碎裂103处，阴影398处，异物遮挡367处，气泡96处，内部缺陷403处，其中内部缺陷表现为在红外图像上显示热斑，在可见光图像上为正常区域。由于某些类型的缺陷数据较少导致缺陷数量不均衡，本文对不同类别的缺陷数据分别进行数据增强，调整不同类别的缺陷数量使其基本一致。主要的数据增强操作包括：扰动图片亮度、对比度、饱和度和色相；复制图像缺陷区域到其他图像；对图像某区域进行擦除等。最终获得含有缺陷的图像1000对，训练集、验证集和测试集的比例为7:1:2，具体数据信息如表 2所示。
表 2 数据集分配统计Table 2. Distributions of our datasetNumber of images/pairs Crazing Shadow Covering Bubble Internal Filtered images 659 103 398 367 96 403 Enhanced images 1000 544 552 534 537 565 Training set 700 366 363 349 356 371 Validation set 100 60 63 61 59 64 Test set 200 118 126 124 122 130 2.2 实验参数及评价指标
本文实验在Ubuntu16.04，64位操作系统中运行，该系统配置NVIDIA GeForce GTX 1080显卡（8 Gb显存容量），i7-8700k处理器，16 Gb运行内存。训练基于Python3.7和飞桨深度学习框架进行。本文使用ImageNet[23]数据集训练改进后的YOLOv3 tiny网络模型获取单主干网络预训练模型参数。然后通过克隆融合层之前层的网络模型参数，获取融合检测网络的预训练模型参数。获取预训练模型参数后，使用本文数据集进行训练，如表 3，输入图像的大小为416×416，batch size设置为2，学习率设置为0.0005，采用liner-warm-up方式训练，训练过程使用GPU加速。
表 3 网络训练参数Table 3. Network training parametersParameter Value Parameter Value Input size 416×416 Epoch 200 Batch size 2 Momentum 0.9 Learning rate 0.0005 Confidence 0.65 对于实验结果，采用每秒处理帧数（Frame Per Second, FPS）评估网络的检测速度；使用所有类标签平均精确率（Mean Average Precision, mAP）和单类标签平均精确率（Average precision, AP）评价算法精度。精确率表示正确预测为正样本占所有预测为正样本的比例，召回率衡量正确预测为正样本占所有正样本的比例，F1 score表示二者调和平均值；并计算P-R曲线提供精确率和召回率的统计结果。
2.3 实验结果分析
实验主要包括3个部分：主干网络改进模型的消融实验、不同网络框架的对比实验和不同缺陷检测结果与分析实验。其中，消融实验表明对主干网络的改进能使其更加适用于光伏面板缺陷检测场景；对比实验表明应用多源图像融合检测的必要性、自适应融合模块的有效性以及本文方法的先进性；最后检测结果能直观地表明本文方法对光伏面板缺陷检测的有效性。
1）主干网络改进模型消融实验
本文对主干网络的改进主要为以下3点：卷积层替换、三尺度检测和密集块。首先在融合检测网络框架基础上进行了3种改进的消融实验，均使用通道相加融合策略。实验结果如表 4。使用基于YOLOv3 tiny的融合检测网络时mAP为75.93%，单独进行卷积层替换时mAP为82.02%，单独将双尺度检测改为三尺度检测时mAP为76.21%，单独在网络中加入密集块结构时mAP为80.96%，同时加入3种改进时mAP为83.34%，检测精度高于基线模型。实验结果表明，卷积层替换和密集块都明显地增加了模型的mAP，三尺度检测对模型的mAP增加幅度较小。消融实验的结果表明针对光伏面板缺陷检测任务的改进能有效提升缺陷检测的精度。
表 4 消融实验结果Table 4. Results of ablation experiencesS/N Replace Conv. Three scale detection Dense Block mAP FPS 1 75.93% 11.23 2 √ 82.02%(+6.09%) 8.13(-3.10) 3 √ 76.21%(+0.28%) 9.43(-1.80) 4 √ 80.96%(+5.03%) 11.36(+0.13) 5 √ √ √ 83.34%(+7.41%) 7.41(-3.82) 2）不同网络框架对比实验
为了验证利用融合检测技术代替单一图像检测技术检测光伏面板缺陷的有效性，进行基于单一图像的缺陷检测和基于多源图像融合的缺陷检测对比实验。首先使用改进的YOLOv3 tiny框架分别对可见光图像和红外图像进行单一图像检测实验，然后使用MF-Net融合检测网络和通道相加融合策略对多源图像进行检测。实验测试集详细信息如表 2，各类缺陷共620处。
表 5为置信度设置为0.65时各个检测结果的正确检出数量、正确分类数量、FPS以及所有类的F1 score。对比实验1~3发现，仅使用可见光图像检测的缺陷数量为320，其中正确分类的为297，仅使用红外图像检测缺陷的数量为497，但正确分类的缺陷仅有103，红外图像中光伏面板缺陷显示为特征差别较小的热斑导致其缺陷分类效果较差。虽然单一图像能够进行缺陷检测，但是融合检测的效果在检测数量与正确分类的数量上均高于单一图像的检测结果。
表 5 不同网络框架对比评估Table 5. Comparative evaluation of different networksS/N Model Input Correct detection Correct classification FPS F1 score 1 Improved YOLOv3 tiny Visible image 320 297 12.61 0.53 2 Improved YOLOv3 tiny Infrared image 497 103 12.63 0.17 3 MF-Net and channel addition strategy Multi-source image 553 516 7.41 0.82 4 SSD Multi-source image 512 446 1.31 0.72 5 Ours Multi-source image 559 538 7.39 0.86 为验证自适应融合模块的有效性，设计不同的融合策略对比实验。使用自适应融合策略代替通道相加融合策略进行实验，其检测结果的mAP为85.48%，相比通道相加融合策略提高了2.14%。置信度阈值设置为0.65时结果如表 5实验5。通过对比实验3与实验5发现，自适应融合策略的各项指标均优于通道相加融合策略，证明提出的自适应融合策略在光伏面板缺陷检测任务中优于通道相加融合策略。实验5表明本文方法的FPS达到了7.39，满足光伏电站运维需求。
为进一步验证本文方法的先进性，选用一种检测光伏面板图像时不易发生梯度消失的网络即SSD（Single Shot MultiBox Detector）网络进行对比实验。首先将SSD网络第一卷积层由3通道改变为6通道并复制该层的预训练模型权重，然后将可见光图像和红外图像通道并联作为该网络的输入进行实验。实验结果如表 5实验4，对比实验4和实验5可知，本文方法的FPS和F1 score均优于实验4，验证了本文方法的先进性。
3）不同缺陷检测结果与分析
图 8为主干网络改进模型消融实验中5种框架以及本文方法共6种融合检测网络针对5种缺陷类型检测结果的P-R曲线。其中卷积层替换和密集块在5种缺陷上的P-R曲线均优于未改进的网络；三尺度检测对于碎裂缺陷的P-R曲线与未改进网络相差较小，这是碎裂缺陷目标尺度普遍较大导致的。对比自适应融合策略和直接相加融合策略的实验结果发现，直接相加融合策略的内部缺陷检测结果与自适应融合策略基本一致，这是内部缺陷的可见光图像在缺陷区域无明显特征变化造成的；对于其他缺陷，自适应融合策略明显优于直接相加融合策略；总体结果表明自适应融合策略能使网络有更好的检测结果。
![]()
图 8 五种缺陷在不同融合检测网络中的P-R测试曲线Figure 8. P-R curves of five kinds of defects in different fusion detection networks最后，利用基于改进的YOLOv3 tiny网络的单一图像检测方法和本文提出的融合检测方法对数据进行测试。部分检测结果如图 9所示，其中包含5种常见缺陷类型。图中(a)为基于可见光图像的检测结果；(b)为基于红外图像的检测结果；(c)为本文方法检测结果；(d)为实际缺陷类型及位置。通过对比(a)和(c)可以看出，基于可见光图像无法检出内部缺陷，对其他缺陷分类基本正确，但置信度小于本文方法的检测结果；对比(b)和(c)发现，相较于基于红外图像的检测结果，本文方法能够更好地对缺陷进行分类；对比(c)和(d)，(c)的缺陷检测结果和(d)显示的实际缺陷一致，说明本文提出的方法能有效检测出光伏面板各类缺陷。综上所述，本文方法对于光伏面板缺陷的检测与分类精度明显优于单一图像检测方法。
![]()
图 9 基于单一图像或多源图像对不同缺陷的检测结果对比（(a)基于可见光图像检测结果；(b)基于红外图像检测结果；(c)本文方法检测结果；(d)实际缺陷类型及位置）Figure 9. Comparison of detection results of different defects based on single image or multi-source image((a) Detection results based on visible image; (b) Based on infrared image detection results; (c) Detection results of this method; (d) Actual defect type and location)3. 结论
本文提出一种基于多源图像融合的光伏面板缺陷检测方法，介绍从数据采集和预处理、网络设计与训练到缺陷检测的整体流程，实现在不接触光伏面板的情况下进行光伏面板的高效率高精度的缺陷检测。通过与基于单一图像检测方法的对比，表明提出的融合检测方法的有效性，以及在缺陷检出和缺陷分类方面的优势。
提出一种基于图像融合的光伏面板缺陷检测网络，即MF-Net。该网络以YOLOv3 tiny为基础，并创新性地提出以下3点改进以提高检测精度：使用相同步长的卷积层替换池化层；将双尺度检测改为三尺度检测；在网络中引入密集块结构。消融实验表明3种方法分别使改进网络的mAP提高6.09%、0.28%和5.03%，验证了本文改进方法的有效性。此外提出自适应融合模块，该模块使得改进后的网络mAP提升2.14%。相比于直接相加融合策略，自适应融合策略能更好地完成特征融合任务，降低融合过程中的信息冗余，凸显缺陷特征，更有利于光伏面板缺陷检测任务。
本文方法的局限性在于：实验中，对于配准完成的图像网络能很好地完成缺陷检测任务，但图像数据的配准过程依然需要较多的人工干预。因此，后续的工作将聚焦于多源图像自动化配准任务，以满足光伏电站自动化运维需求。
-
表 1 4类检测目标统计数据分析
Table 1 Statistical analysis of four kinds of detection targets
Detection model Mp(%) Mf(%) Mm(%) Person Car Bus Truck Person Car Bus Truck Person Car Bus Truck SSD300×300 66 71 73 68 12 13 14 11 21 12 21 20 RetinaNet-50-500 90 89 88 92 15 17 18 14 6 4 6 14 Tiny-YOLOV3 65 70 75 69 15 10 15 10 20 15 23 21 YOLOV3 95 90 90 95 20 18 20 15 5 3 5 15 I-YOLO 91 88 89 93 3 5 3 5 9 8 6 18 
下载: 导出CSV
表 2 综合性能测试对比分析
Table 2 Comparison and analysis of comprehensive performance tests
Detection model Mp/% Mf/% Mm/% Mo/FPS Mw/MB SSD300×300 67 11 31 13 196 RetinaNet-50-500 90 15 13 7 246 Tiny-YOLOV3 66 12 32 62 34 YOLOV3 95 16 6 21 234 I-YOLO 91 6 12 81 96
下载: 导出CSV
-
[1] 崔美玉. 论红外热像仪的应用领域及技术特点[J]. 中国安防, 2014(12): 90-93. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF201412044.htm CUI Meiyu. On the Application Field and Technical Characteristics of Infrared Thermal Imager[J]. China Security, 2014(12): 90-93. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF201412044.htm
[2] 范延军. 基于机器视觉的先进辅助驾驶系统关键技术研究[D]. 南京: 东南大学, 2016. FAN Yanjun. Research on Key Technologies of Advanced Auxiliary Driving System Based on Machine Vision[D]. Nanjing: Southeast University, 2016.
[3] 杨阳, 杨静宇. 基于显著性分割的红外行人检测[J]. 南京理工大学学报: 自然科学版, 2013, 37(2): 251-256. DOI: 10.3969/j.issn.1005-9830.2013.02.009 YANG Yang, YANG Jingyu. Infrared Pedestrian Detection Based on Significance Segmentation[J]. Journal of Nanjing University of Technology: Natural Science Edition, 2013, 37(2): 251-256. DOI: 10.3969/j.issn.1005-9830.2013.02.009
[4] LE Cun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278- 2324. DOI: 10.1109/5.726791
[5] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference onComputer Vision and Pattern Recognition, 2014: 580-587.
[6] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. DOI: 10.1109/TPAMI.2015.2389824
[7] Girshick R. Fast R-CNN[C]//IEEEInternational Conference on Computer Vision, 2015: 1440-1448.
[8] REN S Q, HE K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10.1109/TPAMI.2016.2577031
[9] LI Y, HE K, SUN J. R-FCN: Object detection via region-based fully convolutional networks[C]//Advances in Neural Information Processing Systems, 2016: 379-387.
[10] LIU W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, 2016: 21-37.
[11] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6517- 6525.
[12] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. (2018-04-08)[2018-09-07]. https://arxiv.org/abs/1804.02767
[13] ZHANG Y, SHEN Y L, ZHANG J. An improved Tiny-YOLOv3 pedestrian detection algorithm[J]. Optik, 2019(183): 17–23. http://ieeexplore.ieee.org/document/8868839
[14] DUAN Kaiwen, BAI Song, XIE Lingxi, et al. CenterNet: Keypoint triplets for object detection[C]//Proceedings of the 2019 IEEE International Conference on Computer Vision. NJ: IEEE, 2019: 6569-6578.
[15] 吴天舒, 张志佳, 刘云鹏, 等. 基于改进SSD的轻量化小目标检测算法[J]. 红外与激光工程, 2018, 47(7): 703005-0703005(7). https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201807007.htm WU Tianshu, ZHANG Zhijia, LIU Yunpeng, et al. A lightweight small object detection algorithm based on improved SSD[J]. Infrared and Laser Engineering, 2018, 47(7): 703005-0703011. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201807007.htm
[16] 唐聪, 凌永顺, 郑科栋, 等. 基于深度学习的多视窗SSD目标检测方法[J]. 红外与激光工程, 2018, 47(1): 126003-126011. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201801042.htm TANG Cong, LING Yongshun, ZHENG Kedong, et al. Object detection method of multi-view SSD based on deep learning[J]. Infrared and Laser Engineering, 2018, 47(1): 126003-0126011. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201801042.htm
[17] 张祥越, 丁庆海, 罗海波, 等. 基于改进LCM的红外小目标检测算法[J]. 红外与激光工程, 2017, 46(7): 726002-0726008. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201707040.htm ZHANG Xiangyue, DING Qinghai, LUO Haibo, et al. Infrared dim target detection algorithm based on improved LCM[J]. Infrared and Laser Engineering, 2017, 46(7): 726002-0726008. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201707040.htm
[18] 张小荣, 胡炳梁, 潘志斌, 等. 基于张量表示的高光谱图像目标检测算法[J]. 光学精密工程, 2019, 27(2): 488-498. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201902025.htm ZHANG Xiaorong, HU Bingliang, PAN Zhibin, et al. Tensor Representation Based Target Detection for Hyperspectral Imagery[J]. Editorial Office of Optics and Precision Engineering, 2019, 27(2): 488-498. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201902025.htm
[19] 王洪庆, 许廷发, 孙兴龙, 等. 目标运动轨迹匹配式的红外-可见光视频自动配准[J]. 光学精密工程, 2018, 26(6): 1533-1541. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201806028.htm WANG Hongqing, XU Tingfa, SUN Xinglong, et al. Infrared-visible video registration with matching motion trajectories of targets[J]. Editorial Office of Optics and Precision Engineering, 2018, 26(6): 1533-1541. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201806028.htm
-
期刊类型引用(1)
1. 宋加文，朱大明，左小清，付志涛，陈思静. 一种结合结构与能量信息的全色与多光谱图像融合方法. 红外技术. 2023(07): 696-704 . 
本站查看
其他类型引用(1)
计量
- 文章访问数: 741
- HTML全文浏览量: 246
- PDF下载量: 82
- 被引次数: 2
