Infrared Image Recognition Method for Power Equipment Based on Improved YOLO v5
-
摘要:
为解决电力设备红外图像有遮挡、分类不准确和特征提取不充分等问题，本文提出一种改进的YOLO v5识别方法。首先通过迁移学习的方法，将电力设备可见光图像和红外图像相融合，接着将Triplet注意力机制嵌入到特征提取网络中，对关键特征信息进行加权强化，最后通过多尺度融合的方法实现不同目标的识别。研究结果表明：相对于Faster R-CNN和SSD，本文方法的识别精度和识别效率最高，且适应于复杂背景下的多类型电力设备识别；本文方法的模型仅4.1 MB，相较于SSD缩减了80.8%，实现了网络模型的轻量化。本文方法为电力设备红外图像智能检测提供了新颖可行的方案。
Abstract:This study proposes an improved YOLO v5 method to solve the problems of inaccurate classification and insufficient feature extraction from power equipment infrared images. First, the visible light data and infrared images of the power equipment were fused using the transfer learning method. The triplet attention mechanism was then embedded into the feature extraction network for weighted intensification of key feature information. Finally, different targets were identified using multiscale fusion. The results show that compared with faster R-CNN and SSD, the proposed method has higher recognition accuracy and efficiency and is suitable for image recognition of multi-type power equipment in complex backgrounds. This method realizes a lightweight network model with a size of only 4.1 MB, which is a reduction of 80.8% compared to that of SSD, providing a novel and feasible scheme for intelligent infrared image detection of power equipment.
-
Keywords:
- power equipment /
- infrared image /
- ttransfer learning /
- YOLO v5s /
- attention mechanism /
- light-weight model
-
0. 引言
印制电路板（printed circuit board，PCB）在电子工业中有着重要地位，随着科技的进步，电子产品趋于集成化、轻量化、高智能化，而为了使产品可以符合现在的制作工艺标准，PCB裸板的布线趋于复杂化。在印制PCB时，需要经过许多复杂繁琐的工序，但即使严格把控每一道工序，也无法保证百分之百的良品率，PCB裸板表面上可能会存在诸多缺陷如缺孔、鼠咬、开路、短路、毛刺、假铜等。常见的PCB板分为裸板与组装板两类，检测方法通常采用半自动化的人工检测方法，由于PCB裸板线路复杂，人工检测极易导致漏检、错检等情况，往往需要重复工序来保证合格度，检测效率低，人工成本高[2]。因此快速精准低成本的对PCB的缺陷进行检测，依然是亟待解决的问题。
随着人工智能技术的迅速崛起，以机器视觉为主流的检测方法由于其低成本、高准确率和高效率等优势而被逐渐应用于各大工业检测工序之中。在机器学习的检测算法流行之前，在对PCB进行缺陷检测时主要以传统的图像处理方法进行。运用传统的图像处理算法，主要分为三大类：参考法、非参考法，混合法。但由于环境等外部问题，比如光照、位置等，使得检测时出现大量干扰信息，所以研究者们又进行图像增强等一系列的研究。Lu等人[3]提出了一种图像增强算法，根据缺陷图和正常图纹理不同，可以放大PCB图像和焊膏图像之间的灰度值差异，从而提高检测结果的精确度；Zhang等人[4]提出了一种基于自适应迭代阈值选择算法的有效边缘检测方法，该方法将图像预处理和图像检测相结合，得到了主观和客观结果较好的边缘信息；Wong等人[5]基于调频连续波太赫兹图像对PCB图像进行增强，采用sinc包络和盲反卷积，较好地提升了图像增强效果。郭战岭等人[6]提出了一种使用ORB算法和图像差分融合来进行PCB缺陷检测的算法。对待测图像配准后预处理以减少噪声并提高图像质量，从而提高检测率。非参考法[7]是指通过构造一定规则再进行检测，对待测图像进行各种检测后，不符合设定规则的部分即认定为缺陷部分。朱寒[8]提出了一种基于改进模板的匹配和图像差分法融合的多级检测算法，该方法提高了目前应用于PCB缺陷检测系统的模板匹配方法和缺陷检测方法的准确率。
传统PCB缺陷检测技术和基于机器学习的PCB缺陷检测技术逐渐不能满足我国PCB产业的生产需求。在近几年，卷积神经网络快速发展，特征的提取与识别变得简单，在人脸识别[9]、目标检测[10]等各个领域都展现出了优越性。卷积神经网络在缺陷检测领域有广泛的应用，常见算法有二阶段检测算法和一阶段检测算法。二阶段检测算法，如R-CNN和Faster R-CNN，通过两个阶段的流程来进行目标检测。但是由于需要两个阶段的处理，速度相对较慢。而一阶段检测算法，比如YOLO和SSD将目标检测任务直接建模为一个单一的机器学习问题。这些算法具有快速检测的优点，适用于实时应用在各种复杂场景，相对于二阶段算法，它们在检测精度上可能稍有牺牲。Ding等人[11]提出了一种TDD-Net卷积神经网络模型，避免二次损坏的同时提高了检测率。林璐颖等人[12]提出了一种融合双重神经网络的PCB缺陷检测方法，通过引入候选区域生成阶段，即使某个真实目标的置信度相对较低，也有可能被作为候选区域包括在内。该算法可以提高由于置信度低导致漏检的概率。Xia等人[13]提出了一种PCB二阶段检测算法SSIM-NET。该网络使用结构相似指数降低对输出特征产生影响。且为了降低计算成本，采用MobileNet-V3对可疑区域进行分类，大大提高了检测速度。庹冰等[14]提出一种基于YOLOX-WSC的PCB缺陷检测算法，该算法使各个类别的AP有明显提高，但在实际场景的应用效果不佳。为了提高目标检测的性能，钱万明等[15]提出了一种基于YOLOv4的PCB缺陷检测算法，该算法采用双向自适应特征融合网络AF-BiFPN取代PANet网络。针对YOLOv4算法难以在移动端部署的问题，采用GhostNet取代CSPDarknet53以轻量化整个检测网络。改进后的算法模型大小为18.64M，mAP为98.93%。Chen等人[16]提出了一种基于faster RCNN的PCB缺陷检测方法。为了使得特征表示干扰性强，所以在将注意力添加在特征提取部分和特征融合部分之间，在干扰噪声的不同程度下，对PCB缺陷数据集上进行了对比实验，平均检测精确度可达到92.4%。Kang等人[17]提出了一种基于SSD的深度学习检测网络——多层SSD（mSSD）。在该网络中加入小目标预测特征层模块，此外，使用ResNet50特征提取网络代替原来的VGG网络，扩大特征预测层，改进的mSSD检测算法大大提高了PCB缺陷检测中SSD的检测精度。Wang等人[18]提出了一种基于有序概率密度加权和注意机制相结合的PCB插件焊点缺陷改进算法。采用广义联合广义交联（GIoU）对网络损失函数进行改进以提高模型的收敛速度，提高了模型的精度。文献[19]、[20]将注意力模块和常见的卷积神经网络融合，在不同的数据集上都得了良好的识别效果。因此在PCB缺陷检测中，研究人员尝试将注意力机制加入到神经网络中，使网络能更精确地识别缺陷位置。跟传统的机器学习方法相对比，深度学习的算法网络更深，具有较强的非线性能力，在复杂场所里有着良好的应用效果，具有更高的鲁棒性。
以上算法大多通过增加网络深度提高模型准确率，但是PCB裸板有着背景复杂，被检测图像对比度不高、亮度不均匀、缺陷位置小、形状不规则等特点，在增加网络深度时会造成参数量大、出现过拟合现象、丢失部分特征信息等问题。为了解决上述问题，以YOLO v5算法为基础，将注意力机制与网络进行融合与改进，并引用了新的特征融合网络和激活函数，提出了一个新的算法模型PA-YOLO v5，该模型在一定程度上，减少了这些缺点对检测精度的影响。
1. PCB缺陷检测模型构建
1.1 YOLO v5s网络架构
YOLO网络是一种创新的对象识别和定位算法，通过引入全卷积网络和端到端的设计思想。其最大的优势就是检测速度快，可以应用于多个复杂场景之中，在实时目标检测系统中十分流行。YOLO的主要目的是在一张图片中找出物体，并给出它的类别和位置。从而完成端到端的训练，过程是将待测图片先分割成S2个grid，和传统的遍历图像的描框机制不同，YOLO网络只需要将物体的中心位于预定的候选框中，则这个grid就对该物体进行检测。与先从图片中搜索出一些可能存在对象的候选区的卷积神经网络（Region-CNN, R-CNN）这种相对传统的目标检测算法相比，YOLO网络可以同时完成两个任务：生成候选区域和目标识别，在进行非极大值抑制操作之后，多个bounding box的位置和类别概率可以一起预测，使得在检测速度与精确度并重。YOLO v5网络模型是在YOLO v3模型基础上改进而来的。主要组成部分有3个，分别是：骨干网络、Neck和Head部分组成。数据增强所采用的方法可以分为Mosaic数据增强、自定义锚框计算、缩放平移变换3部分，主要作用是增加训练集的多样性和难度，有助于提高目标检测模型的鲁棒性和泛化能力。与以往YOLO系列的网络结构不同，传统的目标检测算法中，通常需要手动设置锚框的大小和宽高比等参数。然而，这些参数的选择往往需要经验和调试，容易出现不稳定和不准确的情况。而YOLO v5采用的是ATSS（adaptive training sample selection）的自适应锚框计算方法。ATSS是一种基于Anchor-based的目标检测算法，它通过学习的方式自动计算出最适合输入图像的锚框参数，而不需要手动设置。ATSS算法的核心思想是，在训练过程中，根据样本与锚框的匹配度（即交并比IoU），自适应地选择正负样本，从而有效地降低了难样本的影响，并提高了检测精度。ATSS算法在YOLO v5中的应用，使得YOLO v5在目标检测任务中取得了较为出色的性能表现，由于组成数据集时，各个图像的尺寸存在差异，在输入特征提取的步骤之前，需要将所有图片都缩放至同一个标准尺寸，常见的尺寸比如608×608、448×448等。骨干网络包含通信顺序进程（communicating sequential process，CSP），切片结构（Focus）、卷积模块（Convs）、瓶颈层（C3）以及空间金字塔池化（SPP）模块。CSP模型是一种常用于深度神经网络中的特征融合方法，基于Darknet-53，旨在增加网络对于更多特征的学习能力。
在CSP模块中，输入被分成两个分支，每个分支都进行卷积操作，其中一个分支经过一种减少通道数的卷积结构，降低计算成本和参数后，再与cancat融合，可以学习到输入图的更多特征信息，减少计算C3时产生的不良影响。Focus结构的基本思想是将输入的高分辨率图像切成较小的块或片段，然后将这些块重新放置在低分辨率图像中。通过这种方式，可以减少计算量，但是降低分辨率和重采样可能会导致信息的丢失。SPP结构又被称为空间金字塔池化，可以在不同尺度下提取特征，并将不同尺度的信息融合起来，从而提高感受野的范围。这有助于捕捉图像中不同尺度的细节和上下文信息，提升模型在物体识别、目标检测等任务中的性能。在Neck部分，将不同层级的特征图结合起来，生成具有多尺度信息的特征图，使用FPN特征金字塔和PANet相结合的结构，增强了特征融合。研究者根据各个网络的宽度、深度不同，将网络结构变为可选择配置的形式，网络分为YOLO v5s、YOLO v5l、YOLO v5m、YOLO v5x等版本，YOLO v5s是YOLO系列目标检测模型中最小的。相对较浅且具有较小的特征图宽度。但它仍然具备较好的目标检测性能，并具有一定的灵活性。它可以通过配置不同的超参数来满足不同需求。本文主要采用YOLO v5s的网络结构。YOLO v5s的网络结构如图 1所示。
1.2 损失函数计算
损失函数的功能是计算网络模型预测值和真实值的差距，在一定程度上体现模型性能的优劣，从而影响模型的收敛速度。YOLO v5一共有3种损失函数，分别是分类损失（cls_loss），定位损失（box_loss），置信度损失（obj_loss）。其中分类损失的作用是计算锚框与给定类别是否一一对应，定位损失是测定预测框与标定框之间的误差（GIoU），置信度损失是计算网络的置信度。总损失函数的定义如下：
$$ {l_{{\rm{oss}}}} = {l_{{\rm{obj}}}} + {l_{{\rm{cls}}}} + {l_{{\rm{box}}}} $$ (1) 其中，定位损失由GIoU决定，GIoU的损失引入了一个最小包围框的概念。最小包围框如图 2所示。
将图 2中的A框和B框完全包围的这个框，称为C框。将A视为预测框，B视为真实框，GIoU的定义如公式：
$$ {\rm{GIoU}}(B, {B}_{\text{gt}})={\rm{IoU}}(B, {B}_{\text{gt}})-\frac{|C-(B\cup {B}_{\text{gt}})|}{\left|c\right|} $$ (2) $$ \begin{array}{l} {L_{{\rm{box}}}}(B, {B_{\text{gt}}}) = 1 - {\text{GIoU(}}B, {B_{\text{gt}}}{\text{)}} = \hfill \\ {\text{1}} - {\text{IoU(}}B, {B_{\text{gt}}}{\text{)}} + \frac{{\left| {C - (B \cup {B_{\text{gt}}})} \right|}}{{\left| c \right|}} \hfill \end{array} $$ (3) 式中：B和Bgt代表预测框的中心点和gt框的中心点；c代表包含这两个框的最小矩形的对角线长度。
2. 算法改进
2.1 CBAM注意力机制
计算机视觉中能够把注意力聚集在图像重要区域而丢弃掉不相关的方法被称作是注意力机制（attention mechanisms）。在现有的缺陷检测算法中，YOLO v5系列有着成熟的检测体系，已经集合了大量的trick，但是当被测物体背景复杂的时候，还是会有错检和漏检的问题发生。在网络的骨干网络中添加CBAM注意力机制，丰富待检测目标的细节特征，摒弃无关特征，提高检测精度。CBAM Attention属于混合域注意力机制，是用来提取任务相关区域的注意力机制，包含2个独立的子模块：通道注意力模块（channel attention module，CAM）和空间注意力模块（spatial attention module，SAM）。
通道注意力通过学习通道之间的关系，计算通道之间的相似度或重要性，对输入特征图的不同通道进行加权，以增强有用的通道而抑制无用的通道。这样可以使网络更加关注任务相关的特征，提高对关键目标的区分能力。空间注意力模块忽略通道域间的差异，将每个空间中的图像特征同等对待，在初始图像特征提取时可以使用空间域变换方式，在一些神经网络的其他部分运用时效果不明显。综上所述，CBAM模块结合了通道注意力机制和空间注意力机制，在深度学习模型中使用这种混合域的注意力机制，既能关注通道信息，也可以关注图像的空间信息，提高对任务相关区域和特征的关注度，改善特征表示能力，进而提高模型性能。CBAM模块可以顺着两个不同的维度对特征图像依次计算注意力，将最终输出结果和输入特征图做乘法操作以自适应优化特征。CBAM注意力机制示意图如图 3所示。
池化的目的是提取高层次特征，不同尺度的池化意味着提取的高层次特征更加丰富，平均池化可以使网络定位特征图上的每一个像素点，最大池化可以在梯度反向传播计算时，网络只关注特征图中响应最大的地方。CBAM模块通过对每个位置不同通道提取的信息进行最大池化和平均池化以得到不同维度的最大值和平均值，并将输出特征作为加权系数，与原特征进行融合。这样经过几层卷积以后，原始图像的局部区域的特征信息会体现在输出特征的任一位置，由于通过不同通道的信息进行提取并相乘，因此这种加权方式更加注重局部范围的信息。
2.2 BiFPN特征融合网络
由于PCB的背景复杂，不同输入特征具有不同的分辨率，这就意味着它们在融合后的输出特征中会有不平等的贡献。为了解决这一问题，本文采用一种加权双向特征金字塔网络（BiFPN），可以进行双向交叉尺度连接和加权特征融合。可以为每个输入特征引入可学习的权重，用来衡量其在融合过程中的重要性。图 4中蓝色部分所传递的是高层特征的语义信息，方向是自顶向下；红色部分所传递的低层特征的位置信息，方向是自底而上；紫色部分是同一层在输入节点和输入节点间新加的一条边。该网络去除了那些只有一条输入边的节点。特征融合通常是通过将多个节点的特征进行组合来实现的，而当一个节点只有一条输入边时，它无法从其他节点中获取额外的特征信息进行融合。因此，在这种情况下，该节点对于整体特征融合的贡献较小。删除它对网络影响不大的同时也简化了双向特征网络；BiFPN结构示意图如图 4所示。P7节点右边第一个节点，如果原始输入节点和输出节点位于同一层，可以在它们之间增加一条额外的边来实现特征融合。通过增加这条边，可以在不增加太多成本的情况下融合更多的特征。这种方法可以增加网络的表达能力，并且可以更好地捕捉输入特征之间的关联性。通过融合更多的特性，可以提高网络的性能和准确性。
2.3 FReLU激活函数
妨碍视觉任务精准的主要原因是激活函数对空间的敏感度不足。为了改善这一问题，将原始网络的ReLU激活函数更换为FReLU激活函数，其工作过程如图 5所示。相比于ReLU激活函数，它的空间灵敏度随着感受野的增加得到增强。FReLU激活函数的形式是y＝max(x, T(x))，式中T(x)为空间上下文特征提取器。
2.4 PA-YOLO v5网络模型
根据PCB板的图像特征，提出PA-YOLO v5网络模型。该模型以YOLO v5s网络作为主干网络，在骨干网络中加入CBAM注意力机制，将注意力映射围绕特征图的通道与空间这两个不同的维度进行输入，然后将输入特征的映射与注意力机制相乘，再将输入的特征图进行自适应特征细化。为了捕捉缺陷细节特征的效果更佳，将原有的PANet网络替换为BiFPN网络，通过逐层融合上下采样的特征图，同时引入横向连接和纵向连接，这样双向流动的特征信息，有效地解决在提取不同尺度的特征时存在信息丢失和冗余问题，从而使得不同尺度的特征能够更好地融合和利用。使用新的激活函数——FReLU激活函数，这种视觉激活函数的功能简单有效，无论是密集还是稀疏的预测均可以实现显著改善。消除了激活函数中的空间敏感度不足这一阻碍视觉任务实现的障碍。通过实验结果可以看出本文提出的算法在实际应用中具有一定的优势。PA-YOLO v5网络模型示意如图 6所示。
3. 实验准备
3.1 数据集构建
本文使用DeepPCB缺陷数据集对算法进行验证。使用的DeepPCB缺陷数据集中的所有图像都是从线性扫描CCD获得的，分辨率约为48个像素/mm，以上述方式从采样图像中手动检查，测试图像的原始大小约为16k×16k像素，然后将它们裁剪成许多大小为640×640的子图像，共1500张图片。共分为缺孔、鼠咬、开路、短路、毛刺、假铜6个类别。
3.2 实验环境搭建
实验均在Linux平台下运行，使用python语言，调用pytorch库进行网络搭建、调试、训练与测试。服务器配置为CPU: 24 vCPU AMD EPYC 7642 48-Core Processor，GPU: RTX 3060(8 GB)。
3.3 模型性能评估
为了对此PCB缺陷检测模型网络的性能进行全面且客观的评价，本文使用的评价指标为目标检测领域常用的精确率（Precision）、召回率（recall）、平均精度（mAP）来对性能衡量评估，具体公式如下所示：
精确率（查准率）是评价预测准不准的评价指标，计算方式如下：
$$ {\text{Precision}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} $$ (4) 式中：TP表示正类正样本，即样本值为A值，预测结果也为A值；FP表示负类正样本，即样本值为B值，预测结果为A值。
召回率（查全率）是评估预测查找的全不全，计算方式如下：
$$ {\rm{Recall}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} $$ (5) 式中：FN表示负类负样本，即样本值为A值，预测为B值。
mAP表示模型在所有类别上预测效果的评价指标，计算方式如下：
$$ {\rm{AP}} = \frac{{{\rm{TP}} + {\rm{TN}}}}{{{\rm{TP}} + {\rm{FN}} + {\rm{FP}}}} $$ (6) $$ {\rm{mAP}} = \frac{{\sum {\rm{AP}}}}{{{Q}}} $$ (7) 4. 实验结果及分析
首先本文针对第2章所提出的改进方案进行了消融实验并分别分析CBAM注意力机制、BiFPN网络混合架构以及FReLU激活函数对网络整体的影响。从宏观数据评价指标上进行衡量。表 1为消融实验的测试结果。
表 1 消融实验对比结果Table 1. Comparison results of ablation experimentsModel Recall Precision mAP YOLO v5s 0.971 0.951 0.977 YOLO-CBAM 0.986 0.973 0.989 YOLO-BiFPN 0.987 0.964 0.986 YOLO-FReLU 0.982 0.974 0.990 PA-YOLO v5 0.993 0.979 0.994 表 1中，对于CBAM注意力机制而言，因为从空间和通道两个不同维度所提取的特征信息，最大化地保留了细节特征，有效地提高了检测网络对被检测缺陷的感知度，在表 1中3个指标都有明显提升；其次改进后的BiFPN双向加权特征金字塔网络，丰富了深层语义信息，使得被检测目标的细节特征更加明显，那么对类别判定就更精准，有效地提高了精确率，再由于更换了激活函数，FReLU激活函数扩大的感受野，对于检测精度的提升也有所帮助。综上，通过消融实验证明可以看出本文的方法对于YOLO v5网络在PCB缺陷检测任务中的检测性能有所提升。
本文的对比实验主要由Faster-RCNN网络，SSD网络及YOLO同系列网络YOLO v3网络进行横向和纵向的对比测试。对于不同模型每个类目标的AP以及整体的mAP和F1这3个指标测试结果分别见表 2~3。
表 2 每个类目标AP测试对比结果Table 2. Comparison results of AP tests for each class target(%) Model Pin hole Mouse bite Open circuit Spurious copper Spur Short circuit Faster RCNN 76.6 72.4 84.6 77.2 70.9 74.9 SSD 90.8 85.8 86.3 84.3 82.7 78.4 YOLO v3 96.4 98.7 92.4 90.3 90.2 97.6 PA-YOLO v5 99.5 99.4 99.4 99.4 99.2 99.3 表 3 mAP及F1测试结果Table 3. mAP and F1 test resultsModel mAP(%) F1 Faster RCNN 77.2 0.58 SSD 78.9 0.62 YOLOv3 95.3 0.89 PA-YOLO v5 99.4 0.99 表 2中，Faster RCNN作为现在流行的双阶段检测网络，描框机制选用的是对特征图进行遍历，对于被检测图像中目标可以全面识别，但由于PCB板背景复杂，缺陷目标和正常目标所在的区域差异较小，当描框开始遍历时所选中目标可能含有正常区域，导致检测模型对类别精确率的影响较大。但SSD网络属于单阶段网络，检测时不受背景因素的影响，所以整体每个缺陷类别精确率比Faster-RCNN网络高。横向对比时，PA-YOLO v5各类目标的精确率均高于YOLO v3，可以宏观地评价，改进后的网络模型在该数据集上的表现得到提升，表 3中F1和mAP值反映的是各个网络模型在检测PCB时的性能，可以看出本文提出的PA-YOLO v5网络的性能最好，F1值可达0.99，mAP值可达99.4。Faster-RCNN网络在遍历目标时可以寻找到所有待检目标，但可能存在着同一目标存在多个预测框；SSD的特征提取部分采用VGG作为主体部分，由于VGG的网络复杂度不高，难以提取PCB中的关键目标特征内容，导致网络无法有效地检测出存在问题的区域。从图 7的单个图片中的检测效果示例和图 8的PR曲线可以看出，PA-YOLO v5在各种缺陷上精确率均超过99%。能够检测出所有的缺陷目标，在实际应用中具有可靠性。
5. 总结
本文中提出的基于YOLO v5s的PCB板缺陷检测方法通过加入CBAM注意力机制，采用新的激活函数并和双向多尺度融合网络相结合，以不同的维度，更高的感受野，来保证提取缺陷细节的完整性。从而有效提升了该算法对PCB的缺陷识别的精确度。优化后的模型比初始模型更适合微小缺陷的检测，在数据集上对于给定的6种缺陷上的精度均值均高于99.3%，体现了多信息融合的优势，满足工业生产的需求。经过实验检测，优于其他对比算法，提高了检测的鲁棒性，为之后进一步的研究夯实了基础。
-
表 1 环境要求
Table 1 Environment configuration
Item Configuration OS Windows 11 CPU Intel Xeon Silver 4114T 12C GPU NVIDIA GTX1080Ti RAM 64 GB Deep learning framework PyTorch 1.8 Hard disk 1T 
下载: 导出CSV
表 2 不同改进方法的识别效果
Table 2 Recognition effect of different improvement methods
Power equipment Method 1 Method 2 Ours Insulator AP 0.85 0.87 0.95 Arrester AP 0.86 0.89 0.98 CT AP 0.89 0.97 0.99 PT AP 0.87 0.96 0.98 Transformer bushing AP 0.89 0.92 0.97 mAP 0.87 0.92 0.97 recognition time /ms 27 7.8 5.6
下载: 导出CSV
表 3 不同识别算法的效果
Table 3 Effects of different recognition algorithms
Methods mAP mRC Recognition
time/msOurs 0.95 0.97 5.8 SSD 0.85 0.88 32 Faster R-CNN 0.91 0.93 78
下载: 导出CSV
表 4 不同方法的参数量与模型大小
Table 4 Number of parameters and model size of different methods
Methods mAP@0.5 mAP@0.8 Parameter quantity /M FLOPs/G size/MB Ours 0.97 0.92 0.18 4.2 4.1 YOLO v5s 0.92 0.87 1.32 30.1 29 YOLO v4 0.94 0.83 9.83 323.9 257 Faster R-CNN 0.92 0.81 5.89 145.9 113 SSD 0.86 0.82 0.99 23.8 21.4
下载: 导出CSV
-
[1] 陈俊佑, 金立军, 段绍辉, 等. 基于Hu不变矩的红外图像电力设备识别[J]. 机电工程, 2013, 30(1): 5-8. https://www.cnki.com.cn/Article/CJFDTOTAL-JDGC201301003.htm CHEN Junyou, JIN Lijun, DUAN Shaohui, et al. Power equipment identification in infrared image based on Hu invariant moments[J]. Journal of Mechanical & Electrical Engineering, 2013, 30(1): 5-8. https://www.cnki.com.cn/Article/CJFDTOTAL-JDGC201301003.htm
[2] 邹辉, 黄福珍. 基于改进Fast-Match算法的电力设备红外图像多目标定位[J]. 中国电机工程学报, 2017, 37(2): 591-598. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201702027.htm ZOU Hui, HUANG Fuzhen. Multi-target localization for infrared images of electrical equipment based on improved fast-match algorithm[J]. Proceedings of the CSEE, 2017, 37(2): 591-598. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201702027.htm
[3] 郑含博, 李金恒, 刘洋, 等. 基于改进YOLOv3的电力设备红外目标检测模型[J]. 电工技术学报, 2021, 36(7): 1389-1398. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107009.htm ZHENG Hanbo, LI Jinheng, LIU Yang, et al. Infrared target detection model for power equipment based on improved YOLO v3[J]. Electrotechnical Technology, 2021, 36(7): 1389-1398. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107009.htm
[4] 徐奇伟, 黄宏, 张雪锋, 等. 基于改进区域全卷积网络的高压引线接头红外图像特征分析的在线故障诊断方法[J]. 电工技术学报, 2021, 36(7): 1380-1388. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107008.htm XU Qiwei, HUANG Hong, ZHANG Xuefeng, et al. On-line fault diagnosis method based on infrared image feature analysis of high-voltage lead connector based on improved area full convolutional network[J]. Transactions of the Chinese Society of Electrical Engineering, 2021, 36(7): 1380-1388. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS202107008.htm
[5] 罗舜. 电力变压器套管将军帽发热故障的红外诊断分析[J]. 变压器, 2018, 55(1): 50-53. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201801018.htm LUO Shun. Infrared diagnosis analysis of power transformer bushing coupler heating[J]. Transformer, 2018, 55(1): 50-53. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201801018.htm
[6] 张杰, 付泉泳, 袁野. 变压器局部放电带电检测技术应用研究[J]. 变压器, 2018, 55(8): 66-71. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201905024.htm ZHANG Jie, FU Quanyong, YUAN Ye. Application research of electric detection technology of partial discharge for transformer[J]. Transformer, 2018, 55(8): 66-71. https://www.cnki.com.cn/Article/CJFDTOTAL-BYQZ201905024.htm
[7] 吕俊, 王福田, 汤进, 等. 基于全景温度场的电力设备在线自动识别与诊断[J]. 计算机与现代化, 2015(8): 19-23. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH201508004.htm LV Jun, WANG Futian, TANG Jin, et al. Online automatic recognition and diagnosis of electrical devices via thermal panorama[J]. Computer and Modernization, 2015(8): 19-23. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH201508004.htm
[8] 商俊平, 李储欣, 陈亮. 基于视觉的绝缘子定位与自爆缺陷检测[J]. 电子测量与仪器学报, 2017, 31(6): 844-849. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201706007.htm SHANG Junping, LI Chuxin, CHEN Liang. Location and detection for self-explode insulator based on vision[J]. Journal of Electronic Measurement and Instrumentation, 2017, 31(6): 844-849. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201706007.htm
[9] 周可慧, 廖志伟, 肖异瑶, 等. 基于改进CNN的电力设备红外图像分类模型构建研究[J]. 红外技术, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm ZHOU Kehui, LIAO Zhiwei, XIAO Yiyao, et al. Construction of infrared image classification model for power equipments based on improved CNN[J]. Infrared Technology, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm
[10] 赵乐, 王先培, 姚鸿泰, 等. 基于可见光航拍图像的电力线提取算法综述[J]. 电网技术: 2021, 45(4): 1536-1546. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202104035.htm ZHAO Le, WANG Xianpei, YAO Hongtai, et al. Summary of power line extraction algorithms based on visible light aerial images[J]. Power System Technology: 2021, 45(4): 1536-1546. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202104035.htm
[11] 史晋涛, 李喆, 顾超越, 等. 基于样本扩充的Faster R-CNN电网异物监测技术[J]. 电网技术, 2020, 44(1): 44-51. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202001005.htm SHI Jintao, LI Zhe, GU Chaoyue, et al. Faster R-CNN power grid foreign body monitoring technology based on sample expansion[J]. Power System Technology, 2020, 44(1): 44-51. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202001005.htm
[12] 乔林, 孙宝华, 徐立波, 等. 多特征联合稀疏表示的电力设备图像识别方法[J]. 自动化技术与应用, 2020, 39(11): 120-123. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ202011026.htm QIAO Lin, SUN Baohua, XU Libo, et al. Power equipment image recognition method based on multi-feature joint sparse representation[J]. Automation Technology and Application, 2020, 39(11): 120-123. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ202011026.htm
[13] 李文璞, 谢可, 廖逍, 等. 基于Faster RCNN变电设备红外图像缺陷识别方法[J]. 南方电网技术, 2019, 13(12): 79-84. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW202110012.htm LI Wenpu, XIE Ke, LIAO Xiao, et al. Based on faster RCNN substation equipment infrared image defect recognition method[J]. Southern Power Grid Technology, 2019, 13(12): 79-84. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW202110012.htm
[14] 杨光俊. 卷积神经网络在电力设备红外图像识别中的应用研究[D]. 广州: 华南理工大学, 2019. YANG Guangjun. Research on the Application of Convolutional Neural Network in Infrared Image Recognition of Power Equipment[D]. Guangzhou: South China University of Technology, 2019.
[15] 付强, 姚建刚, 李唐兵, 等. 基于红外图像的绝缘子串钢帽和盘面区域自动提取方法[J]. 红外技术, 2016, 38(11): 969-974. http://hwjs.nvir.cn/cn/article/id/hwjs201611011 FU Qiang, YAO Jiangang, LI Tangbing, et al. Automatic extraction method of steel cap and disk area of insulator string based on infrared image[J]. Infrared Technology, 2016, 38(11): 969-974. http://hwjs.nvir.cn/cn/article/id/hwjs201611011
[16] 马鹏, 樊艳芳. 基于深度迁移学习的小样本智能变电站电力设备部件检测[J]. 电网技术, 2020, 44(3): 1148-1159. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202003041.htm MA Peng, FAN Yanfang. Small sample smart substation power equipment component detection based on deep transfer learning[J]. Power System Technology, 2020, 44(3): 1148-1159. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS202003041.htm
[17] Tianchi J, LI Qiang, MAOSONG L, et al. Target detection method combining inverted residual block and YOLO v3[J]. Transducer and Microsystem Technologies, 2019, 36(11): 56-61.
[18] 王昕, 赵飞, 蒋佐富, 等. 迁移学习和卷积神经网络电力设备图像识别方法[J]. 中国测试, 2020, 46(5): 108-113. https://www.cnki.com.cn/Article/CJFDTOTAL-SYCS202005018.htm WANG Xin, ZHAO Fei, JIANG Zuofu, et al. Transfer learning and convolutional neural network power equipment image recognition method[J]. China Test, 2020, 46(5): 108-113. https://www.cnki.com.cn/Article/CJFDTOTAL-SYCS202005018.htm
[19] WU D, LV S, JIANG M, et al. Using channel pruning-based YOLOv4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments[J]. Computers and Electronics in Agriculture, 2020, 178(5): 174-178.
[20] Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: visual explanations from deep networks via gradient based localization[C]//2017 IEEE International Conference on Computer Vision, 2017: 102-105.
-
期刊类型引用(4)
1. 周运磊，董效杰，刘三军，刘承毅. 基于改进YOLOv11n的轻量级电力设备过热故障红外图像检测算法. 湖北民族大学学报(自然科学版). 2025(01): 114-118+140 . 
百度学术
2. 余明阳，金波，查志勇，余铮. 图像识别在电力信息化中的应用方法研究. 科技视界. 2024(19): 78-81 . 百度学术
3. 周坤，李鹤健，李海山. 基于改进Densenet的输电线路杆号牌识别模型. 云南电力技术. 2024(06): 50-54+70 . 百度学术
4. 张立成，范鹏，卢金宝，李振，程国然，谢涛. 基于图像特征识别和激光点云的施工机械安全距离预警方法研究. 国外电子测量技术. 2024(12): 224-230 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 117
- HTML全文浏览量: 20
- PDF下载量: 42
- 被引次数: 4
