Identification of Pipeline Thermal Image Leakage Based on Deep Learning
-
摘要:
为了降低输液管道多泄漏点微小泄漏的检测难度，提高输液管道无损检测的检测精度与检测速度，通过搭建水循环管道泄漏实验系统，改变管道泄漏点尺寸、泄漏点数量及输送介质温度，应用红外热像仪实时采集红外图像，提出基于非线性平稳小波和双边滤波算法实现图像降噪；并结合红外检测技术和YOLO（You Only Look Once）v4模型实现输液管道单、多漏点的自动化智能检测。结果表明，与传统滤波算法相比，该降噪方法的峰值信噪比、结构相似性均有所提升；该模型能够快速且准确地检测管道单、多漏点，检测精度（mAP）分别达到了0.9822及0.98，准确率分别达到了98.3%及98.36%，单帧检测时间分别达到了0.3021 s及0.3096 s，实现了在复杂背景干扰下对单、多泄漏点的识别。通过与YOLO v3、Faster R-CNN和SSD 300这3种算法比较发现，YOLO v4算法对管道单一漏点及多泄漏点检测的准确率、mAP和检测时间均更佳，具有更高的检测准确性与检测效率。
Abstract:To reduce the difficulty of detecting tiny leakages at multiple leakage points in liquid pipelines, it is necessary to improve the detection accuracy and speed of the leakage points. Bilateral filtering based on nonlinear stationary wavelets is proposed to achieve image noise reduction by building a water circulation pipeline leakage experiment system, changing the sizes and number of the leakage points, changing the temperature of the conveying medium, and applying an infrared thermal imager to monitor the small leakage of the single and complex leakage points. Combined with infrared nondestructive testing technology and a YOLO v4 network model, this study realized the automatic intelligent detection of single and multiple leakage points of liquid pipelines. The results show that compared with the traditional filtering algorithm, the peak signal to noise ratio and structural similarity evaluation indexes of the noise reduction method are improved. The model can quickly and accurately detect and locate single and multiple leakage points of pipelines. The average detection accuracy (mAP) values of the single and multiple leakage points in complex environment reach 0.9822 and 0.98, respectively. Further, the accuracy rates reach 98.3% and 98.36%, and the single frame detection times reach 0.3021 s and 0.3096 s, respectively. This helps realize the identification of leakage points under complex background interference. In comparison with YOLO v3, Faster R-CNN, and SSD 300, the YOLO v4 algorithm has better accuracy, mAP, and t for the detection of single and multiple leakage points and has a higher detection accuracy and detection efficiency.
-
0. 引言
目标检测是计算机视觉领域的一项重要研究课题[1]，其目的是要从一幅场景（图片）中找出目标并对其进行定位，包括检测和识别两个过程[2]。现如今，目标检测已经广泛地应用于我们的日常生活当中，如自动驾驶、机器人视觉、视频监控等领域[3]。
现阶段深度学习的科研进展突飞猛进，卷积神经网络在目标检测这一领域也被充分应用并获得了不小的成就。目前主流的目标检测算法划分为两大类：基于边界框回归的一阶段目标检测算法和基于候选区域的两阶段目标检测算法。一阶段目标检测算法在目标图片上做边界框且实施分类回归，如SSD（Single Shot MutiBox Detectior）算法[4]、YOLO（You only look once）系列算法[5-8]等。两阶段目标检测在图像上生成候选区的基础上，在图片候选区域中进行特征提取后进行目标分类回归，如R-CNN（Region-based Convolutional Neural Network）算法[9]、Fast R-CNN（Fast Region-based Convolutional Neural Network）算法[10]、FasterR-CNN（Faster Region-based Convolutional Neural Network）算法[11]等。目前这些经典的有监督学习目标检测算法对于目标的检测已经取得了不错的效果。
然而现如今有监督学习目标检测算法依然存在着种种挑战，例如检测物体视角的多样性问题、目标本身形变问题、检测物体受遮挡问题、光照性问题以及小目标检测问题等都会对感受野提取图片特征造成一定的麻烦。以自监督学习为主的对比学习算法（Contrastive Learning, CL）根据图像本身通过对比图片之间的相似度来进行网络训练，这和目标检测过程中判断目标和背景的差异性思想是一致的，因此，可以设想在目标检测算法中引入对比学习的思想，提取和背景差异更加明显的目标特征，将会有效地提升模型的检测效果[12-13]。图 1为将对比学习思想引入目标检测网络中的图示。
![]()
图 1 将对比学习思想引入目标检测网络中的图示Figure 1. An illustration of integrating the concept of contrastive learning into object detection networksSSD是一种基于深度神经网络的目标检测算法，它在许多实际应用中取得了成功。SSD是一种单阶段的检测器，不需要使用候选区域来生成可能包含物体的区域。这个特点使得SSD的速度非常快，可以实时地处理大量图像和视频数据[14]。SSD算法使用了多层的卷积神经网络来提取图像特征，这些特征能够准确地描述不同物体的形状和纹理。此外，SSD还采用了多个尺度的特征图来检测不同大小的物体，这也有助于提高检测精度。SSD算法使用了多尺度的卷积特征图，这使得它能够有效地检测小物体。与其他目标检测算法相比，SSD在检测小物体方面有很大的优势。另外，SSD可以通过使用多个尺度的特征图来检测不同大小和长宽比的物体，这使得它能够在不同场景下具有更好的适应性和鲁棒性。综上所述，SSD是一种速度快、精度高、对小目标检测效果好、对小物体和不同长宽比的物体具有良好检测效果的目标检测算法。因此，本文选择SSD目标检测算法作为改进算法的主体算法，用来和对比学习思想进行融合。
1. 相关工作
1.1 目标检测算法
计算机视觉中的一个基本任务是目标检测，它涉及在图像或视频中识别对象的存在和位置。目标检测算法经过多年发展，分为两类：两阶段算法，如R-CNN[9]、Fast R-CNN[10]和Faster R-CNN[11]，以及一阶段算法，如SSD[4]和YOLO系列[5-8]。虽然R-CNN相对于传统算法有了显著的改进，但在CNN中进行候选区域框计算导致计算量增加，严重影响了测试速度。Fast R-CNN减少了计算量，但仍无法实现真正的实时性或端到端的训练和测试。因此，提出了Faster R-CNN，将特征提取、候选框选择、分类和边界框回归集成到一个框架中，提高了准确性和速度，并实现了端到端的目标检测。然而，实时目标检测与Faster R-CNN之间仍存在差距，导致出现了SSD和YOLO等一阶段算法。虽然YOLO系列将目标检测作为回归问题解决，但与Faster R-CNN相比存在定位误差。YOLOv2在保持速度优势的同时改进了原始算法，而YOLOv3使用深度残差网络提取图像特征。
许多学者针对SSD算法进行了改进，以提升其检测能力。例如，Fu等人提出了DSSD（Deconvolutional Single Shot Multibox Detector）模型[15]，通过增加反卷积模块来融合上下文信息，但由于网络结构较复杂，计算量大，导致检测速度显著降低。Jeong等人提出了RSSD模型[16]，改进了特征融合方式，增加了有效的特征图用于检测，充分利用了模型特征，检测性能与DSSD持平。Li等人在SSD中引入FocalLoss损失函数[17]，降低了易分类样本的权重，使模型更关注难分类样本，提高了训练效率，但计算速度较慢。Li等提出了FSSD（Feature Fusion Single Shot Multibox Detector）模型[18]，将SSD和FPN（Feature Pyramid Network）思想结合起来，构建了一组新的有效特征层，加快了速度，但速度提高有限。
本文提出的算法相较于传统以监督学习为主的目标检测算法，引入了对比学习的思想。对比学习算法以自监督学习为主，根据图像本身通过对比图片之间的相似度来进行网络训练，这和目标检测过程中判断目标和背景的差异性思想是一致的。因此，在目标检测算法中引入对比学习的思想，提取和背景差异更加明显的目标特征，将会有效地提升模型的检测效果。
1.2 对比学习
对比学习是一种无监督学习方法，通过对比相似和不相似的示例来学习有用的特征表示。在机器学习领域，对比学习引起了广泛关注。目前，经典的对比学习算法包括SimCLR（A Simple Framework for Contrastive Learning of Visual Representations）算法[19]、MoCo（Momentum Contrast）算法[20]、BYOL（Bootstrap Your Own Latent）算法[21]、SwAV（Swapped-Asymmetric learning for Visual recognition）算法[22]和SimSiam（Exploring Simple Siamese Representation Learning）算法[23]。对于对比学习，训练数据是未标记的图像，网络模型可以从中学习图像的特征表示，以实现图像分类、检索等任务。
Chen等人提出了SimCLR算法[19]，这是一种经典的同步对称网络架构的对比学习框架。它使网络能够学习图像特征，并根据不同的数据增强模式和图像的多维特征将这些特征传输到不同的下游任务。在ImageNet数据集中，SimCLR的对比学习实验结果类似于ResNet50，并实现了top-1的无监督分类准确率。然而，在网络训练过程中可能会出现模型退化的问题。为了解决这些问题，He等人提出了MoCo算法[20]，这是一种异步对称网络架构的对比学习网络框架。它通过在内存中维护队列的方式，并使用动量更新方法来训练模型，在ImageNet数据集中，MoCo的检测性能超过了SimCLR。BYOL算法[21]和SimSiam算法[23]是异步不对称网络结构的例子。这两种方法都采用异步不对称网络结构，其中BYOL首次仅使用正样本计算对比学习损失。虽然BYOL的骨干网络架构是MoCo，但它在训练中不使用负样本。然而，如果上下网络分支相同，则可能会在训练过程中出现网络崩溃的问题。为了解决这个问题，SimSiam提出了交叉梯度更新方法，防止网络崩溃。与BYOL类似，SimSiam不需要对网络进行负样本训练。
1.3 SSD改进算法
针对目前有监督目标检测算法中，检测物体视角的多样性问题、目标本身形变问题、检测物体受遮挡问题、光照性问题以及小目标检测精度不高等问题，本文改进SSD目标检测算法引入对比学习的思想，提取和背景差异更加明显的目标特征，以提高背景和目标在特征空间中的区分度，并使用监督学习的方法对网络进行训练，提高SSD网络目标检测精度，从而有效地提升其网络模型的检测效果。
1.4 图像预处理
本文的重点内容在于使用对比学习思想来提高图片背景和目标在特征空间中的区分度。在获取正负样本的流程中，采用图片随机截块的方式分别截取样本图片中的目标图像与背景图像，其中目标图像为正样本，背景图像为负样本。首先找到图像中的目标中心点坐标，然后以目标ground truth框为基准随机截取图像块，图像块大小为64×64。当截取的图像块与ground truth框之间的IOU（Intersection over Union）大于截取图像块一半以上的目标区域，即认为截取到图像为正样本图像，如图 2中的绿色方框所示；当截取的图像包含一半以下的目标区域，即认为截图到的图像为背景图像，如图 2中的黄色方框所示。
![]()
图 2 正负样本截取及图像增强示意图Figure 2. Diagram illustrating positive and negative sample extraction and image Enhancement截取到正负样本后，将样本图片进行图像增强，图像增强即从同一张图像衍生出不同的图像，衍生出的图像和原图像内容相同，只是大小、尺度、亮度、颜色等会发生一定的变化，衍生图像和原图像认为其正负类别相同。本文采用的图像增强操作方法包括裁剪、旋转、颜色调整、尺度调整、以及光照亮度调整等操作，并对每种操作之间进行随机组合。值得注意的是，算法模型测试阶段的图像截块方式与训练阶段图像截块方式相同。
1.5 整体网络结构
本文整体网络结构一共包含两种网络结构：SSD网络结构与对比学习网络结构，SSD与对比学习网络结构编码器部分都是由若干个卷积层、池化层以及全连接层组成，整体网络结构如图 3所示。其中，SSD网络结构主要分为输入层、特征提取层、检测层、输出层、非极大值抑制层，特征提取层通常由一系列卷积层和池化层组成，用于从输入图像中提取特征，以便于后续的目标检测。
![]()
图 3 改进SSD算法的整体网络结构图Figure 3. Improved overall network architecture diagram of SSD algorithm本文采用MoCo对比学习网络结构，作为改进SSD算法的对比学习方法。MoCo网络结构由图像增强、特征提取和计算对比损失3个部分组成。图像增强部分采用随机图像增强，包括裁剪、旋转、颜色调整、尺度调整、以及光照亮度调整等操作，并执行多种增强操作的随机组合。特征提取部分采用ResNet残差网络，由多个残差块组成。
截取到图片的正负样本经过图像增强之后正样本图像生成锚点图像Xquery1与正键图像X0key，负样本图像生成若干负键图像X1key、X2key……，最终将锚点图像Xquery1输入到查询编码器中提取图像的特征，将正键图像X0key与若干负键图像X1key、X2key……输入到动量编码器中提取图像的特征。查询编码器提取的是正样本图像增强后的其中一个作为原始对比图像的特征。而动量编码器需要提取的是正样本图像增强后的另一个图像与负样本图像增强后的图像特征，从而计算正负样本的对比损失。MoCo模型使用到了维护队列来存储动量编码器提取到的图像特征，然后输出图像特征与查询编码器提取到的特征做对比的损失计算结果。维护队列的大小通常是一个超参数，它可以影响模型的性能和训练时间，队列长度小，模型的性能差，队列长度大，往往模型的性能也不会有显著的提升，模型训练时间也会变长且会占用过多的内存空间。本文MoCo模型存储样本特征所采用的维护队列大小设置为4096，即队列可存储的样本数最大为4096，在这个长度下的维护队列模型性能较高且训练时间不长、内存空间占用也不大[20]。
在网络训练过程中，计算得到对比损失后，将该值反向传播到两个编码器中，以更新优化网络参数。同时，对比学习损失和SSD损失进行加权求和，得到总损失值，并将其反向传播到SSD网络中，以更新优化SSD的网络参数。
1.6 损失函数
SSD目标检测算法的损失函数通常由分类损失Lconf和回归损失Lloc两部分组成，用于训练模型并提高目标检测的准确性。分类损失函数通常用于训练模型的目标分类任务，该损失函数计算模型预测每个预测框的类别概率与其真实标签之间的交叉熵损失。具体地，对于每个预测框，分类损失函数计算其类别预测概率与其真实类别标签的交叉熵损失，并对所有预测框的损失进行加权平均。回归损失函数通常用于训练模型的目标定位任务，该损失函数计算模型预测每个预测框的位置偏移量与其真实标签之间的损失。具体地，对于每个预测框，回归损失函数计算其位置偏移量与其真实位置标签之间的Smooth L1损失，并对所有预测框的损失进行加权平均。最终，SSD模型的总损失函数为分类损失Lconf和回归损失Lloc的加权和：
$$ \operatorname{LoSS}_{\text {SSD }}=\frac{1}{N}\left(L_{\text {conf }}+\alpha L_{\text {loc }}\right) $$ (1) 式中：α表示分类损失和回归损失之间的权重系数。在训练过程中，可以调整α的值以平衡分类损失和回归损失的权重，提高模型的准确性和检测性能。
对比损失公式定义为：
$$ L_i=-\log \frac{\exp \left(q k_{+} / \tau\right)}{\sum\limits_{i=1}^k \exp \left(q k_i / \tau\right)} $$ (2) 式中：q表示查询编码器从目标图像中提取的特征；ki表示动量编码器提取的特征；k+表示正样本的特征（假设有且只有一个），使用τ作为超参数来调整上述对比损失。
在完成了正负样本的对比损失计算后，接下来需要计算交叉熵损失函数。为了计算交叉熵损失函数，需要将正负样本的对比损失作为损失样本。交叉熵损失函数的计算公式如下：
$$ \operatorname{Loss}_{\mathrm{CL}}=\sum\limits_{i=1}^n L_i \log \hat{L}_i $$ (3) 式中：n表示正样本和负样本之间的样本数；Li表示第i次预期对比损失；$ \hat{L}_i$表示网络模型计算的第i次对比损失。$ \hat{L}_1$为正样本与样本图像之间的对比损失，而$\hat{L}_2、 \hat{L}_3 $…是负样本与样本图像之间的对比损失。然后，通过一步一步的迭代运算，$ \hat{L}_i$逐渐逼近Li。在每个epoch中，计算损失函数，使样本能够满足拉进正样本和拉出负样本的目标。从原始图像中裁剪正负区域图像，然后增强图像。得到的增强对象和背景图像被输入编码器以提取它们的特征。得到的对比损耗用于更新对比学习编码器的网络参数，也添加到SSD损耗中进行整体训练。最终整体损失定义为：
$$ \text{Loss}＝β\text{Loss}_{\rm SSD}+γ\text{Loss}_{\rm CL} $$ (4) 上式为SSD整体优化目标函数，它由两部分组成：LossSSD表示SSD目标检测训练损失；LossCL表示对比学习损失；β与γ为超参数用于调节两者的权重。
2. 实验与结果分析
实验采用Pytorch深度学习框架，CUDA为11.3版本，Pytorch为1.7.1版本。网络权值的初始学习效率为0.01，衰减系数设置为0.0005。batch-size＝16，共50批次。SSD损失函数中α的值设为1，整体损失函数中SSD损失函数权重β设为1，对比学习损失函数权重γ设为0.01。优化器使用optimizer优化器。
2.1 数据集介绍
实验使用PASCAL VOC2012数据集与LLVIP数据集作为实验数据集进行改进SSD网络结构的检测精度实验。
PASCAL VOC2012是一个常用的计算机视觉数据集，用于目标检测、图像分割、物体分类等任务。该数据集包含20个物体类别，涵盖了常见的物体类别，如人、汽车、飞机、动物等。该数据集共包含17125张图像，其中12281张图像是训练集，3388张图像是验证集，1456张图像是测试集。PASCAL VOC2012数据集是计算机视觉领域中使用最广泛的数据集之一，常用于评估目标检测、图像分割等算法的性能和表现。
LLVIP数据集包含了15488对红外图像，涵盖了26个实时场景，其中大部分使用8~14 μm波段在低光条件下拍摄。在实验中，我们选择19个实时场景作为训练与验证集，其中6009张图像作为训练集，6012张图像作为验证集，共计12021张图片，3467张图片作为测试集。
2.2 对比实验结果
本文采用AP、AP50、AP75、APS、APM、APL指标对改进SSD网络模型进行评估，AP的计算方法是在不同的置信度（confidence）阈值下计算模型的准确率（Precision）和召回率（Recall），并对准确率-召回率曲线下面积进行积分；AP50为当IOU阈值为0.5时的平均精度；AP75为当IOU阈值为0.75时的平均精度；APS为对小物体（面积小于32×32像素）检测的平均精度；APM为对中等大小物体（32×32像素到96×96像素）检测的平均精度；APL为对大物体（面积大于96×96像素）检测的平均精度。
将PASCAL VOC2012数据集分别输入进SSD网络与改进SSD网络中训练达50迭代次数时，损失函数便开始收敛。通过对改进SSD算法与原SSD算法性能指标结果比较可以看出改进SSD算法比原SSD算法有所提升，其结果如表 1所示。从表 1可以看出，改进SSD算法与原SSD算法相比较，AP值提升了0.1%，AP50值提升0.3%，APS值提升了0.3%，APM值提升了1.1%。从表 1可以看出，本文改进算法在PASCAL VOC2012数据集中表现最好。改进SSD与原SSD算法的检测结果如图 4所示。
表 1 PASCAL VOC2012数据集上改进SSD算法与原SSD算法结果比较Table 1. Comparison of the results between the improved SSD algorithm and the original SSD algorithm on the PASCAL VOC2012 datasetModels AP AP50 AP75 APS APM APL Improved SSD algorithm 0.452 0.718 0.487 0.091 0.281 0.522 Original SSD algorithm 0.451 0.715 0.491 0.088 0.270 0.524 ![]()
图 4 改进SSD与原SSD算法在PASCAL VOC2012数据集上的检测结果（上排为改进SSD算法的检测效果图，下排为原SSD算法检测效果图）Figure 4. The detection results of the improved SSD and the original SSD algorithms on the PASCAL VOC2012 dataset (The top row shows the detection results of the improved SSD algorithm, while the bottom row shows the detection results of the original SSD algorithm)基于表 1中AP75与APL值并未高出原算法的问题，我们讨论了改进SSD算法精度是否与截取图像块尺寸大小有关，于是本文分别采用了截取尺寸为32×32的图像块和截取尺寸为96×96的图像块进行实验，结果如表 2所示。可以看出，当截取图像块尺寸变大时其APL值也会相应变大，说明APS、APM、APL指标是会受截取图像块大小的影响。但图像尺寸过小所截取图像中的特征信息偏少，会影响到对比学习的精度，而图像块尺寸过大，正样本中所含概的背景元素太多也会影响到对比学习的精度，因此截取图像块的尺寸大小本文使用64×64。
表 2 在PASCAL VOC2012数据集中不同图像块截取尺寸下的算法结果比较Table 2. Comparison of algorithm results under different sizes of image cropping on the PASCAL VOC2012 datasetImage cropping size (Pixels) AP AP50 AP75 APS APM APL Improved SSD Algorithm（32×32） 0.450 0.717 0.485 0.091 0.281 0.521 Improved SSD Algorithm（64×64） 0.452 0.718 0.487 0.091 0.281 0.522 Improved SSD Algorithm（96×96） 0.449 0.713 0.485 0.085 0.279 0.524 将LLVIP数据集分别输入SSD网络与改进SSD网络中训练达50迭代次数时，损失函数便开始收敛。改进SSD算法与原SSD算法性能指标结果比较可以看出改进SSD算法比原SSD算法有所提升，其结果如表 3所示。从表 3可以看出，改进SSD算法与原SSD算法相比较，AP值提升了0.2%，AP50值提升了0.2%，AP75值提升了0.3%，APS值提升了0.2%，APL值提升了0.2%。从表 3可以看出，本文改进算法在LLVIP数据集中表现最好。改进SSD与原SSD算法的检测结果如图 5所示。
表 3 LLVIP数据集上改进SSD算法与原SSD算法结果比较Table 3. Comparison of results between the improved SSD algorithm and the original SSD algorithm on the LLVIP datasetModels AP AP50 AP75 APS APM APL Improved SSD algorithm 0.524 0.928 0.539 0.013 0.272 0.539 Original SSD algorithm 0.522 0.926 0.536 0.011 0.275 0.537 ![]()
图 5 改进SSD与原SSD算法在LLVIP数据集上的检测结果（上排为改进SSD算法的检测效果图，下排为原SSD算法检测效果图）Figure 5. The detection results of the improved SSD and the original SSD algorithms on the LLVIP dataset (The top row shows the detection results of the improved SSD algorithm, while the bottom row shows the detection results of the original SSD algorithm)2.3 其他目标检测算法精度对比
为了进一步证明改进SSD算法的有效性，本文对几种当前主流的目标检测算法进行了实验比较，包括YOLO-v2、SSD、Fast R-CNN、Faster R-CNN、ION[24]等。在所有实验中，我们统一了配置环境和初始训练参数，数据集使用MS COCO2017数据集，数据集包括118287个训练集，5000个验证集和40670个测试集。实验数据结果见表 4。
表 4 MS COCO2017数据集上改进SSD算法与其他目标检测算法结果比较Table 4. Comparison of results between the improved SSD algorithm and other object detection algorithms on the MS COCO 2017 datasetModels AP AP50 AP75 APS APM APL YOLOv2 [6] 21.6 44.0 19.2 5.0 22.4 35.5 YOLOv3 33.0 57.9 34.4 18.3 35.4 41.9 YOLOv5 36.9 58.4 - - - - SSD [4] 23.2 41.2 23.4 5.3 23.2 39.6 Fast R-CNN [10] 20.5 39.9 19.4 4.1 20.0 35.8 Faster R-CNN [11] 21.9 42.7 - - - - ION [24] 23.6 43.2 23.6 6.4 24.1 38.3 Improved SSD Algorithm 28.9 47.5 30.7 5.5 26.5 43.5 在表 4中，我们评估了改进算法的准确度，可以看出和其他主流目标检测算法相比，改进后的SSD算法的各种AP值都有所提高。验证了改进后的SSD算法在目标检测任务中的有效性。
3. 结语
本文所提出的改进算法对于其他目标检测算法的优势在于，引用了对比学习的思想进行目标和背景特征的提取，通过同时约束目标检测损失和对比损失，可使得同类目标在特征空间中分布更紧凑，目标和背景在特征空间中分布距离更远，从而提升目标和背景之间的区分度，提升SSD目标检测算法的检测精度。本文改进算法为通用型的算法，该对比学习机制不仅可以适用于SSD目标检测模型，还可适用于其他基于深度学习的目标检测方法，如RCNN系列、YOLO系列、SPP-Net、R-FCN等。
-
![]()
图 1 基于非线性平稳小波和双边滤波的降噪过程
Figure 1. Noise reduction process based on nonlinear stationary wavelets and bilateral filtering
![]()
图 2 基于YOLO v4的管道泄漏检测原理图
Figure 2. Schematic of pipeline leakage detection based on YOLO v4
![]()
图 3 水循环管道泄漏实验系统实物图
Figure 3. Photo of water circulation pipe leakage experiment system
![]()
图 4 水循环管道泄漏实验系统示意图
Figure 4. Schematic diagram of water circulation pipe leakage experiment system
![]()
图 8 不同泄漏工况下单一漏点管段红外图像
Figure 8. Infrared image of a single leakage point pipe section under different leakage conditions
![]()
图 9 不同泄漏工况下多泄漏点管段红外图像
Figure 9. Infrared image of multiple leakage points pipe section under different leakage conditions
![]()
图 10 降噪前后管道泄漏部分示例图
Figure 10. Example diagram of pipeline leakage before and after noise reduction
![]()
图 12 多泄漏点不同算法P-R曲线图
Figure 12. P-R plot of different algorithms for multiple leakage points
表 2 管道单一漏点图像不同算法评价指标结果
Table 2 Different algorithms evaluate the index results of the pipeline single leakage point images
Algorithms 40℃ image 50℃ image 60℃ image PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Mean filtering 33.1973 0.6361 32.0505 0.7035 31.8188 0.7090 Median filtering 31.7137 0.4941 31.8480 0.6074 31.8348 0.6098 Nonlinear smooth wavelet 30.6688 0.5267 30.1091 0.5329 30.0417 0.5449 Bilateral filtering 34.4566 0.7285 33.5595 0.8230 33.4039 0.8399 Nonlinear smooth wavelet + Bilateral filtering 36.9294 0.8747 34.6604 0.8631 33.9055 0.8647 
下载: 导出CSV
表 3 管道多泄漏图像不同算法评价指标结果
Table 3 Different algorithms evaluate the index results of the pipeline multi-leakage images
Algorithms 40℃ image 50℃ image 60℃ image PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Mean filtering 32.6347 0.7257 32.5378 0.7233 31.7827 0.7395 Median filtering 31.724 0.6547 31.7715 0.6338 31.6588 0.6362 Nonlinear smooth wavelet 30.3137 0.5603 30.2969 0.5515 29.9108 0.5786 Bilateral filtering 32.5065 0.8041 32.5169 0.8047 32.4259 0.8335 Nonlinear smooth wavelet + Bilateral filtering 36.6188 0.8883 36.5284 0.8921 34.5147 0.8900
下载: 导出CSV
表 4 四种算法对管道单一漏点的性能测试结果
Table 4 Performance test results of four algorithms on single leak points of pipelines
Model Train time/s mAP Precision/% Detection time/(s/f) YOLO v4 2764.5149 0.9822 98.3 0.3021 YOLO v3 4372.9816 0.9700 98.2 0.3681 SSD 300 2778.0019 0.9800 96.6 0.8946 Faster
R-CNN40383.878 0.8000 69.1 1.7956
下载: 导出CSV
表 5 四种算法对管道多泄漏点的性能测试结果
Table 5 Performance test results of four algorithms on multiple leak points of pipelines
Model Train time/s mAP Precision/% Detection time/(s/f) YOLO v4 2074.8823 0.98 98.36 0.3096 YOLO v3 3460.6947 0.97 92.80 0.4733 SSD 300 1642.4262 0.91 98.30 0.9182 Faster
R-CNN23405.0819 0.88 54.80 1.8671
下载: 导出CSV
-
[1] Adegbove M A, Fung W K, Karnik A. Recent advances in pipeline monitoring and oil leakage detection technologies: principles and approaches[J]. Sensors, 2019, 19(11): 2548. DOI: 10.3390/s19112548
[2] ZHOU S J, LIU C, ZHAO Y E, et al. Leakage diagnosis of heating pipe-network based on BP neural network[J]. Sustainable Energy, Grids and Networks, 2022, 32: 100869. DOI: 10.1016/j.segan.2022.100869
[3] 孙宗康, 饶睦敏, 曹裕灵, 等. 基于小样本不均衡数据的供水管道泄漏智能检测算法[J]. 图学学报, 2022, 43(5): 825-831. https://www.cnki.com.cn/Article/CJFDTOTAL-GCTX202205008.htm SUN Z K, RAO M M, CAO Y L, et al. Water supply pipeline leakage intelligent detection algorithm based on small and unbalanced data [J]. Journal of Graphics, 2022, 43(5): 825-831. https://www.cnki.com.cn/Article/CJFDTOTAL-GCTX202205008.htm
[4] 石光辉, 齐卫雪, 陈鹏, 等. 负压波与小波分析定位供热管道泄漏[J]. 振动与冲击, 2021, 40(14): 212-218. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202114028.htm SHI G H, QI W X, CHEN P, et al. Negative pressure wave and wavelet analysis to locate the heating pipeline leakage[J]. Journal of Vibration and Impact, 2021, 40(14): 212-218. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202114028.htm
[5] 薛田甜, 刘永莉, 陈智, 等. 基于分布式光纤测温技术的管廊管道泄漏检测设计[J]. 中国科技论文, 2023, 18(8): 867-874, 889. DOI: 10.3969/j.issn.2095-2783.2023.08.008 XUE T T, LIU Y L, CHEN Z, et al. Design of pipeline leakage detection based on distributed temperature sensing technology[J]. China Science Paper, 2023, 18(8): 867-874, 889. DOI: 10.3969/j.issn.2095-2783.2023.08.008
[6] 高琳, 曹建国. 基于输气管道泄漏声发射信号特征的小波基构造研究[J]. 振动与冲击, 2023, 42(10): 128-135. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202310016.htm GAO L, CAO J G. Research on wavelet basis construction based on the characteristics of acoustic emission signals in gas pipe leakage [J]. Journal of Vibration and Impact, 2023, 42(10): 128-135. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202310016.htm
[7] 徐志远, 肖奇. 基于脉冲远场涡流的管道缺陷外检测与定量评估[J]. 电子测量与仪器学报, 2019, 33(2): 80-87. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201902011.htm XU Z Y, XIAO Q. Outside inspection and quantitative evaluation of pipe defects based on pulsed remote field eddy currents[J]. Journal of Electronic Measurement and Instrumentation, 2019, 33(2): 80-87. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201902011.htm
[8] 李甲振, 余弘婧, 郭新蕾, 等. 管道系统泄漏的可控低强度瞬变流检测法[J]. 应用基础与工程科学学报, 2022, 30(4): 873-882. https://www.cnki.com.cn/Article/CJFDTOTAL-YJGX202204007.htm LI J Z, YU H J, GUO X L, et al. Leak detection in pipe using controllable and low-pressure transient analysis method[J]. Journal of Basic Science and Engineering, 2022, 30(4): 873-882. https://www.cnki.com.cn/Article/CJFDTOTAL-YJGX202204007.htm
[9] Fahimipirehgalin M, Trunzer E, Odenweller M, et al. Automatic visual leakage detection and localization from pipelines in chemical process plants using machine vision techniques[J]. Engineering, 2021, 7(6): 758-776. DOI: 10.1016/j.eng.2020.08.026
[10] 张丽珍, 徐长航, 陈国明. 基于红外成像技术的高温管道泄漏检测研究[C]//第二届CCPS中国过程安全会议, 2014: 389-394. ZHANG L Z, XU C H, CHEN G M. The detection of high-temperature pipe leakage by infrared thermography[C]//Proceedings of the 2nd CCPS China Process Safety Conference, 2014: 389-394.
[11] 张艳博, 任瑞峰, 梁鹏, 等. 基于热成像的埋地热力管道缺陷检测试验研究[J]. 仪器仪表学报, 2020, 41(6): 161-170. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202006019.htm ZHANG Y B, REN R F, LIANG P, et al. Experimental study on flaw detection of buried heat pipeline based by infrared thermal[J]. Chinese Journal of Scientific Instrument, 2020, 41(6): 161-170. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202006019.htm
[12] Yahia M, Gawai R, Ali T, et al. Non-destructive water leak detection using multitemporal infrared thermography[J]. IEEE Access, 2021, 9: 72556-72567. DOI: 10.1109/ACCESS.2021.3078415
[13] XIE J, ZHANG Y, HE Z, et al. Automated leakage detection method of pipeline networks under complicated backgrounds by combining infrared thermography and Faster R-CNN technique[J]. Process Safety and Environmental Protection, 2023, 174: 39-52. DOI: 10.1016/j.psep.2023.04.006
[14] ZHOU R L, WEN Z P, SU H Z. Detect submerged piping in river embankment by passive infrared thermography[J]. Measurement, 2022, 202: 111873. DOI: 10.1016/j.measurement.2022.111873
[15] 翟潘, 王平. 自适应维纳滤波在钢水红外图像去噪中的应用[J]. 红外技术, 2021, 43(7): 665-669. http://hwjs.nvir.cn/cn/article/id/0a8e3190-fcd2-405b-9b8f-0cd65fb70cd5 ZHAI P, WANG P. Application of the adaptive wiener filter in infrared image denoising for molten steel [J]. Infrared Technology, 2021, 43(7): 665-669. http://hwjs.nvir.cn/cn/article/id/0a8e3190-fcd2-405b-9b8f-0cd65fb70cd5
[16] 郭晨龙, 赵旭阳, 郑海燕, 等. 一种基于改进非局部均值滤波算法的红外图像去噪[J]. 红外技术, 2018, 40(7): 638-641. http://hwjs.nvir.cn/cn/article/id/hwjs201807003 GUO C L, ZHAO X Y, ZHENG H Y, et al. Infrared image denoising method based on improved non-local means filter[J]. Infrared Technology, 2018, 40(7): 638-641. http://hwjs.nvir.cn/cn/article/id/hwjs201807003
[17] ZHAO X H, LI M X, NIE T, et al. An innovative approach for removing stripe noise in infrared images[J]. Sensors, 2023, 23: 6786. DOI: 10.3390/s23156786
[18] ZHANG X, SANIIE J, BAKHTIARI S, et al. Unsupervised learning for detection of defects in pulsed infrared thermography of metals[C]// IEEE International Conference on Electro Information Technology (EIT), 2022: 330-334.
[19] ZHANG X, SANIIE J, BAKHTIARI S, et al. Compression of pulsed infrared thermography data with unsupervised learning for nondestructive evaluation of additively manufactured metals[J]. IEEE Access, 2022, 10: 9094-9107. DOI: 10.1109/ACCESS.2022.3141654
[20] WANG H, HOU Y, HE Y, et al. A physical-constrained decomposition method of infrared thermography: pseudo restored heat flux approach based on ensemble bayesian variance tensor fraction[J]. IEEE Transactions on Industrial Informatics, 2023, 20(3): 3413-3424.
[21] Kumar A, Tomar H, Mehla Kumar V, et al, Stationary wavelet transform based ECG signal denoising method[J]. ISA Transactions, 2021, 114: 251-262. https://www.cnki.com.cn/Article/CJFDTOTAL-NYJX202403024.htm [22] Kumar S, Alam K, Chauhan A. Fractional derivative based nonlinear diffusion model for image denoising[J]. SeMA Journal, 2022, 79: 355-364. DOI: 10.1007/s40324-021-00255-0
[23] 王玉灵. 基于双边滤波的图像处理算法研究[D]. 西安: 西安电子科技大学, 2010. WANG Y L. Study of algorithm in image processing based on the bilateral filter[D]. Xi'an: XiDian University, 2010.
[24] Bochkovskiy A, WANG C Y, LIAO H Y M. Yolov4: Optimal speed and accuracy of object detection[C]//IEEE Conference Computer Vision and Pattern Recognition, 2020: 10934-10951.
[25] 中华人民共和国住房和城乡建设部. 建筑给水排水设计标准GB50015-2019[S]. 北京: 中国计划出版社, 2019. Ministry of Housing and Urban-Rural Development of the People's Republic of China. Standard for design of building water supply and drainage[S]. Beijing: China Planning Press, 2019.
[26] LIU R C, LI Y F, WANG H D, et al. A noisy multi-objective optimization algorithm based on mean and Wiener filters[J]. Knowledge-Based Systems, 2021, 228: 107215. DOI: 10.1016/j.knosys.2021.107215
[27] Verma, K, Singh K B, Thoke A. S. An enhancement in adaptive median filter for edge preservation[J]. Procedia Computer Science, 2015, 48: 29-36. DOI: 10.1016/j.procs.2015.04.106
[28] 魏明强, 冯一箪, 王伟明, 等. 基于区间梯度的联合双边滤波图像纹理去除方法[J]. 计算机科学, 2018, 45(3): 31-36. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201803005.htm WEI M Q, FENG Y D, WANG W M, et al. Interval gradient based joint bilateral filtering for image texture removal[J]. Computer Science, 2018, 45(3): 31-36. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201803005.htm
[29] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10.1109/TPAMI.2016.2577031
[30] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multi-box detector[C]//Proceedings of the IEEE European Conference on Computer Vision, 2016: 21-37.
[31] Redmon J, Farhad A. Yolov3: an incremental improvement[C]// Computer Vision and Pattern Recognition, 2018: 1068-1076.
计量
- 文章访问数: 107
- HTML全文浏览量: 23
- PDF下载量: 29
