Identification of Pipeline Thermal Image Leakage Based on Deep Learning
-
摘要:
为了降低输液管道多泄漏点微小泄漏的检测难度，提高输液管道无损检测的检测精度与检测速度，通过搭建水循环管道泄漏实验系统，改变管道泄漏点尺寸、泄漏点数量及输送介质温度，应用红外热像仪实时采集红外图像，提出基于非线性平稳小波和双边滤波算法实现图像降噪；并结合红外检测技术和YOLO（You Only Look Once）v4模型实现输液管道单、多漏点的自动化智能检测。结果表明，与传统滤波算法相比，该降噪方法的峰值信噪比、结构相似性均有所提升；该模型能够快速且准确地检测管道单、多漏点，检测精度（mAP）分别达到了0.9822及0.98，准确率分别达到了98.3%及98.36%，单帧检测时间分别达到了0.3021 s及0.3096 s，实现了在复杂背景干扰下对单、多泄漏点的识别。通过与YOLO v3、Faster R-CNN和SSD 300这3种算法比较发现，YOLO v4算法对管道单一漏点及多泄漏点检测的准确率、mAP和检测时间均更佳，具有更高的检测准确性与检测效率。
Abstract:To reduce the difficulty of detecting tiny leakages at multiple leakage points in liquid pipelines, it is necessary to improve the detection accuracy and speed of the leakage points. Bilateral filtering based on nonlinear stationary wavelets is proposed to achieve image noise reduction by building a water circulation pipeline leakage experiment system, changing the sizes and number of the leakage points, changing the temperature of the conveying medium, and applying an infrared thermal imager to monitor the small leakage of the single and complex leakage points. Combined with infrared nondestructive testing technology and a YOLO v4 network model, this study realized the automatic intelligent detection of single and multiple leakage points of liquid pipelines. The results show that compared with the traditional filtering algorithm, the peak signal to noise ratio and structural similarity evaluation indexes of the noise reduction method are improved. The model can quickly and accurately detect and locate single and multiple leakage points of pipelines. The average detection accuracy (mAP) values of the single and multiple leakage points in complex environment reach 0.9822 and 0.98, respectively. Further, the accuracy rates reach 98.3% and 98.36%, and the single frame detection times reach 0.3021 s and 0.3096 s, respectively. This helps realize the identification of leakage points under complex background interference. In comparison with YOLO v3, Faster R-CNN, and SSD 300, the YOLO v4 algorithm has better accuracy, mAP, and t for the detection of single and multiple leakage points and has a higher detection accuracy and detection efficiency.
-
0. 引言
目前，大型化工厂热介质的运输、住宅区暖气的供应以及石油的运输大多采用管道输运的方式。输运过程中由于管道结构缺陷、环境侵蚀、输送介质冲刷、管材寿命、人为破坏等原因，输液管道常伴有发生泄漏的危险[1-3]，一旦发生泄漏，轻则造成资源浪费、环境污染，重则引起人员伤亡与重大经济损失。因此，对输液管道非正常工况的监测及管道泄漏点的快速精确检测，是指导输液管道系统应急抢修、确保管道安全运行、减少事故损失与危害的关键问题。
常用的管道泄漏检测技术主要包括负压波[4]、光纤电缆[5]、声发射[6]、涡流[7]以及瞬变流检测[8]等，这些方法大多基于管道中液体的物理特性（压力、温度、流量等），且通常需在管道的不同位置设置不同类型的感应元件，感应元件数据的同步差异将极大地影响检测精度[9]，因此很难实现微小泄漏引起的微小参数变化检测。随着红外探测器和计算机视觉技术的发展，红外无损检测技术因实时和非接触的特点被广泛应用于管道泄漏检测领域。如张丽珍[10]等使用红外检测高温介质输送管道。结果表明，红外成像技术可以检测高温管道泄漏并定量界定泄漏特征；张艳博[11]等利用红外热像仪探测不同工况的埋地管道。结果表明，漏点周围会呈现椭圆形高温区并成功计算出泄漏区域面积及确定漏点位置；Yahia[12]等采用多时相红外分析方法识别泄漏区域。结果表明，变异系数图像比对数比图像能够更准确地定位泄漏点，并根据时间变化图像直方图确定阈值准确检测和定位漏水。Xie[13]等人提出将红外热像仪和Faster R-CNN技术相结合检测复杂背景管网泄漏。结果表明，该方法具有较高的准确性及泛化能力。Zhou[14]等利用机载红外热像探测河堤淹没管道。结果表明，红外热成像在自然天气和雨天均能检测管道。此外，红外热成像具有精度高、成本低、复杂度低等优势，使用红外热成像检测管道，以二维热图像的方式将泄漏区与非泄漏区的温度差异显示出来，比可见光更直观且更容易检测管道泄漏，能够解决输液管道微小泄漏检测的问题。
外界环境的随机干扰和热成像系统的不完善，红外图像常常受到多种噪声影响，这些噪声使得红外图像的信噪比降低、清晰度降低，造成视觉效果差。由于在硬件上提高分辨率等技术目前处于瓶颈阶段，因此可借助图像处理来提高红外图像的质量。如何从带噪图像中最大程度地恢复原始图像信息具有十分重要的意义。翟潘[15]等人提出基于自适应维纳滤波的方法提高了红外图像的峰值信噪比和细节信息保真度；郭晨龙[16]等人提出使用非局部均值滤波（Non-Local Means，NLM）处理图像并提出含有梯度信息的SSIM（structural similarity）算法改进NLM算法，结果表明该方法即保持了去噪能力，又保留了图像的细节信息。Zhao[17]等人提出一种基于改进LatLRR的图像去噪方法，该方法能够很好地去除条纹噪声，且保留了图像的边缘细节信息。由于这些方法普适性弱，不同类型的图像特征不同，在管道泄漏红外图像中降噪效果不佳，因此本文提出一种基于非线性平稳小波和双边滤波的方法降低噪声对管道泄漏红外图像质量的影响，并保留了图像的边缘信息。
近年来随着人工智能的发展，深度学习在图像识别领域取得突破性进展。基于深度学习的管道泄漏检测不仅能够快速、精确地检测到故障位置，还摆脱了传统算法需要手动提取泄漏特征的局限性，并且训练后的网络模型泛化性强。根据数据集中是否有标签，深度学习可分为监督学习和无监督学习。其中的监督学习在目标检测领域应用广泛，无监督学习在故障诊断、无损评估等应用较多。如Zhang[18]等探究无监督学习算法中独立成分分析、稀疏编码、主成分分析和探索性因子分析在金属表面缺陷检测中的性能，其中探索性因子分析的F值最高；Zhang[19]等使用主成分分析、独立成分分析、探索性因子分析、稀疏字典学习和热成像压缩稀疏自编码器对脉冲红外图像进行数据压缩，其中热成像压缩稀疏自编码器具有最高压缩比46.15；Wang[20]等提出伪热流热成像与基于贝叶斯方差干扰的稳定低秩分解相结合检测热图像。结果表明，该方法可靠地检测出径深比小于0.9的缺陷。但无监督学习训练过程相对复杂，适用于更复杂的任务，且无法量化评估最终效果，准确性不稳定。因此本文基于红外热成像检测技术，提出基于非线性平稳小波和双边滤波提高图像质量并结合监督学习算法YOLO v4，通过改变输液管道泄漏点尺寸、泄漏点数量及输送介质温度，分别对管道微小泄漏工况下单一漏点和多泄漏点进行自动识别和定位，从而实现对管道泄漏点的快速精准检测，为泄漏事故的应急处置及次生事故的预防预警工作提供依据。
1. 管道泄漏红外图像降噪与检测方法
1.1 基于非线性平稳小波和双边滤波
平稳小波变换[21]（Stationary wavelet transform，SWT）类似于经典的离散小波变换，不同之处在于平稳小波滤波器在每个分解级别都进行上采样，且具有平移不变性、冗余性的特点，可以解决传统降噪方法中重构产生振荡的问题。设二维数字图像为f(x, y)，令a0＝f(x, y)，则二维图像平稳小波变换如式(1)所示。
$$ \left\{\begin{array}{l} a_{j+1}=H_r^{[j]} H_c^{[j]} a_j \\ b_{j+1}^1=H_r^{[j]} G_c^{[j]} a_j \\ b_{j+1}^2=G_r^{[j]} H_c^{[j]} a_j \\ b_{j+1}^3=G_r^{[j]} G_c^{[j]} a_j \end{array}\right. $$ (1) 式中：aj+1表示尺度系数；bj+1i(i＝1, 2, 3)表示小波系数；H[j]、G[j]分别表示低、高通滤波器；Hr和Hc分别表示矩阵H在行方向和列方向上的算子；Gr和Gc分别表示矩阵G在行方向和列方向上的算子。
平稳小波变换的重构和分解是互逆的，其逆变换公式如式(2)所示：
$$ a_j\left(\varepsilon_1, \cdots, \varepsilon_j\right)=\frac{1}{2}\left[\begin{array}{l} R_0^{[j]}\left(a_{j+1}, b_{j+1}^1, b_{j+1}^2, b_{j+1}^3\right) \\ +R_1^{[j]}\left(a_{j+1}, b_{j+1}^1, b_{j+1}^2, b_{j+1}^3\right) \end{array}\right] $$ (2) 式中：对aj依次进行$ {D_{{\varepsilon _1}}}, \cdots {D_{{\varepsilon _j}}} $共j次下抽样，会得到aj(ε1, …, εj)；Ri[j](i＝0, 1)表示重构算子。
非线性扩散（Perona-Malik, PM）通过导数描述图像的局部变化情况，不同方向采取不同程度的扩散以降低噪声，具有较强的局部化能力和方向适应性[22]。其数学模型如式(3)所示：
$$ \left\{\begin{array}{c} \phi_t(f)=\operatorname{div}\left[c\left(\left|\nabla f_t\right|\right) \nabla f\right] \\ \left.f\right|_{t=0}=f_0 \end{array}\right. $$ (3) 式中：c(|∇ft|)为扩散函数，c(|∇ft|)＝exp[－(|∇ft|/k)2]；∇ft为管道泄漏红外图像f的梯度；div和∇分别表示散度算子和梯度算子；f0为带噪图像；t为时间；k为扩散方向的梯度阈值。
本文采用平稳小波变换对管道泄漏图像进行分解得到水平高频子带CH，垂直高频子带CV，对角高频子带CD和低频子带CA；由于分解后噪声信息保留在高频子带中，因此利用非线性扩散方法对分解后的高频子带进行滤波处理。即每一层在3个高频子带中分别采用不同扩散方向的非线性滤波方法对噪声进行有效抑制。然后，利用逆向平稳小波变换得到初步降噪管道泄漏图，最后根据王玉灵[23]的研究结果，设置双边滤波器的空间邻近度因子σs的值为2，灰度相似度因子σr的值为0.2进行双边滤波降噪得到最终的降噪图。降噪过程如图 1所示。
![]()
图 1 基于非线性平稳小波和双边滤波的降噪过程Figure 1. Noise reduction process based on nonlinear stationary wavelets and bilateral filtering1.2 YOLO v4算法
在典型的深度学习目标检测算法中，YOLO系列算法是使用最为广泛的一阶段算法。其中YOLO v4[24]模型在Microsoft Common Objects in Context（COCO）数据集上性能最优，在准确性和速度上均较佳。
YOLO v4算法主要由骨干提取网络、SPP模块、颈部网络结构和头部网络组成，如图 2所示。在基于YOLO v4的管道泄漏检测模型中，实现目标检测的功能如下：
![]()
图 2 基于YOLO v4的管道泄漏检测原理图Figure 2. Schematic of pipeline leakage detection based on YOLO v41）骨干提取网络能够从输入的原始图片中获取丰富的特征信息，包括温度特征信息及形状特征信息等，增强神经网络的学习能力，保持准确性。
2）颈部网络先通过不同大小卷积核的池化增大网络的感受野，然后将不同检测层进行特征聚合，以此达到进一步提高特征信息的提取和融合的能力。
3）头部拥有3个不同尺度的预测部分，能够较好地满足红外图像中不同尺度的目标检测，直接输出含有标注特征部分及预测概率的检测结果图。
为提高边界盒回归的速度和精度，本文采用收敛速度更快、边界盒回归性能更好的损失函数CIoU，见式(4)~(6)：
$$ L_{\mathrm{CIoU}}=1-\mathrm{IoU}+\frac{\rho^2\left(b, b^{\mathrm{gt}}\right)}{c^2}+\alpha v $$ (4) $$ v=\frac{4}{\pi^2}\left(\arctan \frac{\omega^{\mathrm{gt}}}{h^{\mathrm{gt}}}-\arctan \frac{\omega}{h}\right)^2 $$ (5) $$ \alpha=\frac{v}{(1-\mathrm{IoU})+v} $$ (6) 式中：IoU表示预测边界框和真实边界框的交集与并集的比率；b，bgt分别代表预测框和真实框的中心点；c是预测框和真实框交集最小矩形的对角线距离；ω和h，ωgt和hgt分别代表预测框和真实框的宽、高。
2. 实验设置
自行搭建的水循环管道泄漏实验系统如图 3及图 4所示，主要包括红外热像仪、恒温水箱（数显恒温三用水箱）、水泵（三相直流无刷水泵）、流量计（电子数显涡轮流量计）与管道。其中，红外热像仪采用浙江大立科技公司生产的DM66非制冷焦平面微热型探测器，像素为640×480，波长范围8~14 μm，测温精度±0.02℃，热灵敏度≤0.06℃；恒温水箱温度控制范围为+5℃~100℃；水泵流量为2400 L/h；流量计流量范围为10~100 L/min，计量准度±1%；管道材质为304不锈钢，长度1 m，内径34 mm，壁厚4 mm。由于本文提出的方法不考虑泄漏介质的物理特性，因此适用于水、油等的液体泄漏，为了便于实验，设置管道内为热水介质。若为冷水管道，则泄漏处将显示为异常的低温区域，亦可用红外检测。恒温水箱内水温T范围为40℃~60℃；依据国家标准《建筑给水排水设计标准》（GB50015-2019）[25]和经济管径选取原则，管内流速0.5~1.0 m/s视为最佳；考虑相邻帧管道红外图像泄漏特征相似及电脑内存储量的问题，设置红外热像仪图像输出30帧/min，输出时长最多为5 min。实验时在管道后方放置一盆植物作为复杂背景，将红外热像仪放置在管道正前方约1 m处进行观测。
![]()
图 3 水循环管道泄漏实验系统实物图Figure 3. Photo of water circulation pipe leakage experiment system![]()
图 4 水循环管道泄漏实验系统示意图Figure 4. Schematic diagram of water circulation pipe leakage experiment system管道单一漏点采用人为打孔，孔形状为近似圆孔，泄漏点设置在管道中心轴附近，每间隔25 cm设置一个泄漏点，共设置3个泄漏点A1、B1、C1，均匀分布在管道一侧，泄漏点A1、B1、C1的直径D分别为0.5 mm、1.0 mm、1.5 mm。如图 5所示。
管道多泄漏点打孔方式和孔形状与单一漏点相同，共设置2个泄漏点D1、E1，泄漏点D1设置在管道中心轴位置附近，2个泄漏点D1、E1间隔20 mm，分布在管道一侧，泄漏点E1设置在距管道上方10 mm，且位于泄漏点D1右上方45°角。泄漏点D1、E1的直径D分别为1.0 mm、0.5 mm。如图 6所示。
本文通过实验得到单一漏点管段图片和多泄漏点管段图片，经基于非线性平稳小波和双边滤波降噪算法处理后得到实验数据集；将数据集划分为训练集、验证集和测试集，应用YOLO v4算法对训练集进行训练，经验证测试后得到一个好的模型，输出待测图片预测结果完成管道单、多漏点的检测。所提出的输液管道泄漏检测整体流程如图 7所示。
3. 实验及结果分析
3.1 构建数据集
本文共采集584张单一漏点红外图像以及324张多泄漏点红外图像，图 8是管道单一漏点红外图像部分示例，图 9是管道多泄漏点红外图像部分示例。使用Image Labeler分别读取所有单一漏点数据和多泄漏点数据并进行手动标记，按8:1:1的比例随机划分为训练集、验证集和测试集。
![]()
图 8 不同泄漏工况下单一漏点管段红外图像Figure 8. Infrared image of a single leakage point pipe section under different leakage conditions![]()
图 9 不同泄漏工况下多泄漏点管段红外图像Figure 9. Infrared image of multiple leakage points pipe section under different leakage conditions由原图可看出，当管道在正常输运过程中出现泄漏时，管道内原本恒定的温度在介质流至泄漏点时出现了变化，泄漏点的温度高于正常管段的温度，出现灰度级别高的现象。由于发射率会影响测温，而此实验中介质温度对泄漏处温度影响较大，因此图中高亮区域是由于热水管道的泄漏而非发射率的影响。由于泄漏孔径不同，显示的泄漏区域形状特征也有差别。0.5 mm孔径最小，相对应的泄漏量也是最少的，因此表现出“条形”的形状特征，随着温度的升高其形状特征大致相同。1.0 mm孔径和1.5 mm孔径由于本身孔径较大，泄漏量也相对较大，因此温度较高显示较亮的泄漏区域更大，形状特征更明显。在实际生活中管道表面会出现脏东西或油污、斑点等，使用可见光检测难以检测到温度变化及明显特征，因此使用红外检测具有明显优势。
通过多泄漏点原图可看出，由于红外热像图能够显示出物体温度分布情况，当管道出现异常时出现比正常工况更亮的区域。左边1.0 mm的孔径和右边0.5 mm的孔径表现出不同的形状特征，由于左边孔径稍大且位置靠下，泄漏区域较大且向下流动的距离较短，形状类似“椭圆形”；而右边孔径较小且位置靠上，泄漏区域向下流动距离较长，形状类似“条形”。随着温度的升高，这些特征之间出现较小差异。而多泄漏管道表面存在的油污等杂质导致发射率升高出现高温斑块，但这些斑块与泄漏区域的温度、纹理和流动轮廓是不同的。因此经YOLO模型的大量学习与调整，能够准确识别泄漏区域，将误检率降到较低的水平。
3.2 红外图像降噪结果
本文选用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structual Similarity，SSIM）作为本文的降噪评价指标。
PSNR通过均方误差（MSE）定义，给定一个无噪声的m×n单色图像f，则PSNR计算公式如式(7)~(8)：
$$ \mathrm{PSNR}=10 \cdot \lg \left(\frac{255^2}{\mathrm{MSE}}\right) $$ (7) $$ \mathrm{MSE}=\frac{1}{m \times n} \sum\limits_{x=0}^{m-1} \sum\limits_{j=0}^{n-1}\left[f(x, y)-f^{\prime}(x, y)\right]^2 $$ (8) 式中：MSE代表灰度值均方误差；f′表示完成降噪后的图像。PSNR越高，对应的MSE越小，算法的处理效果越好。
SSIM通过探测结构信息衡量两幅图像的相似度，是一种人对图像主观视觉的评价指标，如式(9)所示。
$$ Q\left( {f\prime ,f} \right) = \frac{{2{\mu _{f\prime }}{\mu _f} + {C_1}}}{{{\mu _{f\prime }}^2 + {\mu _f}^2 + {C_1}}} \cdot \frac{{2{\sigma _{f\prime f}} + {C_2}}}{{{\mu _{f\prime }}^2 + {\mu _f}^2 + {C_2}}} $$ (9) 式中：μ表示均值；σ表示标准差；C1和C2为平衡常数；SSIM值越大，代表图像失真越小，算法的处理效果越好。
本文以获得的不同液体温度下的管道泄漏图为例，为了保持数据具有一定程度的清晰度和可辨识性，加入方差为0.01的高斯噪声作为噪声图像，将本文提出的基于非线性平稳小波和双边滤波算法与均值滤波、中值滤波、非线性平稳小波和双边滤波算法进行对比以测试本文降噪方法的效果。其中，均值滤波能够去除高频信号，消除尖锐噪声，但只考虑局部邻域内的像素信息，使图像变得模糊[26]；中值滤波消除椒盐噪声和斑点噪声的效果显著，能够保留图像的边缘信息[27]；双边滤波在边缘保护和平滑图像上具有明显优势，对低频噪声处理效果较好[28]。图 10为基于非线性平稳小波和双边滤波降噪算法处理前后的部分管道泄漏图像示例，表 2和表 3列出了基于非线性平稳小波和双边滤波降噪算法及其他算法对不同泄漏工况图像进行降噪得出的PSNR、SSIM。由表可知，3种温度下的管道单漏点图像经本文降噪算法处理后得到的PSNR可达36.9294，SSIM可达0.8747；3种温度下的管道多漏点图像经本文降噪算法处理后得到的PSNR可达36.6188，SSIM可达0.8921。与其他4种算法相比，本文降噪算法处理后的管道单、多漏点图像的PSNR和SSIM均有较大提升，能够有效降低噪声对图像质量的影响，最大程度保护边缘信息。
![]()
图 10 降噪前后管道泄漏部分示例图Figure 10. Example diagram of pipeline leakage before and after noise reduction表 2 管道单一漏点图像不同算法评价指标结果Table 2. Different algorithms evaluate the index results of the pipeline single leakage point imagesAlgorithms 40℃ image 50℃ image 60℃ image PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Mean filtering 33.1973 0.6361 32.0505 0.7035 31.8188 0.7090 Median filtering 31.7137 0.4941 31.8480 0.6074 31.8348 0.6098 Nonlinear smooth wavelet 30.6688 0.5267 30.1091 0.5329 30.0417 0.5449 Bilateral filtering 34.4566 0.7285 33.5595 0.8230 33.4039 0.8399 Nonlinear smooth wavelet + Bilateral filtering 36.9294 0.8747 34.6604 0.8631 33.9055 0.8647 表 3 管道多泄漏图像不同算法评价指标结果Table 3. Different algorithms evaluate the index results of the pipeline multi-leakage imagesAlgorithms 40℃ image 50℃ image 60℃ image PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Mean filtering 32.6347 0.7257 32.5378 0.7233 31.7827 0.7395 Median filtering 31.724 0.6547 31.7715 0.6338 31.6588 0.6362 Nonlinear smooth wavelet 30.3137 0.5603 30.2969 0.5515 29.9108 0.5786 Bilateral filtering 32.5065 0.8041 32.5169 0.8047 32.4259 0.8335 Nonlinear smooth wavelet + Bilateral filtering 36.6188 0.8883 36.5284 0.8921 34.5147 0.8900 3.3 参数设置
设置YOLO v4管道单泄漏检测模型和多泄漏检测模型的训练参数一致：网络的输入尺寸为416×416×3，训练周期为100，批处理为8，学习率为0.0001。为防止训练出现过拟合现象，选用权重衰减正则化-L2正则化方法，其值设置为0.0005。本文模型硬件配置为Intel(R) Core(TM) i9-11900K CPU @3.50 GHz，显卡为NVTDIA RTX A4000，显存为16 GB。软件配置为MATLAB 2022b，编程语言为MATLAB。
为了能够充分利用目前的有限数据集，提高管道泄漏检测模型的泛化能力，需对训练集进行数据增强操作，该操作包括随机翻转、随机平移、色彩抖动等方式。单一漏点训练集和多泄漏点训练集做相同数据增强处理。
3.4 对比实验
为了验证模型的性能，本文使用准确率（precision）、召回率（recall）、多类别平均精度（mAP）、平均精度（AP）和单帧检测时间t（s）作为评价指标。其中准确率、召回率、mAP的计算公式见式(10)~(13)。AP是P-R（precision-recall）曲线所围面积，AP值越高表示检测器越好。mAP是多个类别AP的平均值，本文类别只有一个，因此mAP＝AP。
$$ P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}} \times 100 \% $$ (10) $$ R=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} \times 100 \% $$ (11) $$ \mathrm{AP}=\int_0^1 p(r) \mathrm{d} r $$ (12) $$ \mathrm{mAP}=\frac{\sum\nolimits_{c=1}^C \mathrm{AP}(c)}{C} $$ (13) 式中：P为准确率；R为召回率；C为检测类别数。由于本研究仅检测泄漏点，因此C＝1。
近年来，深度学习被广泛用于目标检测任务，现有的目标检测网络主要有一阶段和两阶段。其中，Faster R-CNN[29]在两阶段网络中最为经典，是物体检测最常用的框架之一。一阶段网络以YOLO、SSD（Single Shot Multi Box Detector）[30]系列最为经典。YOLO v3[31]自2018年提出以来成为了目标检测中非常经典且使用最多的一个网络。因此本文选取YOLO v3、Faster R-CNN和SSD 300这3种目标检测算法进行比较。
3.4.1 管道单一漏点检测结果分析
通过在同一自建管道单一漏点数据集进行检测，对比上述几种目标检测算法，最终得到P-R曲线如图 11所示，性能测试结果如表 4所示。
表 4 四种算法对管道单一漏点的性能测试结果Table 4. Performance test results of four algorithms on single leak points of pipelinesModel Train time/s mAP Precision/% Detection time/(s/f) YOLO v4 2764.5149 0.9822 98.3 0.3021 YOLO v3 4372.9816 0.9700 98.2 0.3681 SSD 300 2778.0019 0.9800 96.6 0.8946 Faster
R-CNN40383.878 0.8000 69.1 1.7956 通过图 9可以发现，YOLO v4的P-R曲线所围面积是最大的，即AP值是最高的，管道泄漏检测模型性能也最优。性能测试结果表明，与其他3种算法相比，本文检测方法在复杂环境检测管道单一漏点时具有更高的mAP和更快的速度。其中，mAP分别比其他3种算法（YOLO v3、SSD 300、Faster R-CNN）高1.22%、0.22%、18.22%；单帧检测时间t分别比其他3种算法快0.0660 s、0.5925 s、1.4935 s，本文提出的深度学习算法需要检测大量的管道泄漏图像，因此使用该目标检测方法能够为检测管道泄漏点节省大量的时间。
3.4.2 管道多泄漏点检测结果分析
通过在同一多泄漏点数据集进行对比检测，最终得到P-R曲线如图 12所示，性能测试结果见表 5。
![]()
图 12 多泄漏点不同算法P-R曲线图Figure 12. P-R plot of different algorithms for multiple leakage points表 5 四种算法对管道多泄漏点的性能测试结果Table 5. Performance test results of four algorithms on multiple leak points of pipelinesModel Train time/s mAP Precision/% Detection time/(s/f) YOLO v4 2074.8823 0.98 98.36 0.3096 YOLO v3 3460.6947 0.97 92.80 0.4733 SSD 300 1642.4262 0.91 98.30 0.9182 Faster
R-CNN23405.0819 0.88 54.80 1.8671 由图 12和表 5可知，YOLO v4在管道多泄漏点检测时P-R曲线所围面积最大，AP值最高。从训练时间上来看，SSD 300的训练时间最短，与此同时也损失了一定的精度。YOLO v4算法mAP分别比其他3种算法高1%、7%、10%；单帧检测时间t分别比其他3种算法快0.1637 s、0.6086 s、1.5575 s，因此YOLO v4算法检测大量图片时能够节约大量时间。
4. 结论
针对实际工程中红外图像质量低、噪声大及传统管道泄漏检测技术对于微小泄漏检测准确性不高，且难以实现精准快速检测多泄漏工况的问题，本文搭建了水循环管道泄漏实验系统，在不同泄漏工况下实时采集管道单一漏点和多泄漏点红外图像；提出了一种基于非线性平稳小波和双边滤波的降噪方法提升管道泄漏红外图像质量；并提出了基于红外热成像技术和YOLO v4算法在自建管道泄漏数据集中实现了对输液管道单、多漏点的自动化智能检测，且与YOLO v3、SSD 300、Faster R-CNN方法开展了对比验证实验。结果表明本文降噪方法相比其他方法效果更好，PSNR和SSIM评价指标更高；本文检测方法对管道单一漏点及多泄漏点在检测精度、检测速度和准确性上比上述3种方法均有所提升。此外，该研究为提高红外热成像作为管道泄漏检测工具的实用性及其与深度神经网络的结合提供了理论依据。
-
![]()
图 1 基于非线性平稳小波和双边滤波的降噪过程
Figure 1. Noise reduction process based on nonlinear stationary wavelets and bilateral filtering
![]()
图 2 基于YOLO v4的管道泄漏检测原理图
Figure 2. Schematic of pipeline leakage detection based on YOLO v4
![]()
图 3 水循环管道泄漏实验系统实物图
Figure 3. Photo of water circulation pipe leakage experiment system
![]()
图 4 水循环管道泄漏实验系统示意图
Figure 4. Schematic diagram of water circulation pipe leakage experiment system
![]()
图 8 不同泄漏工况下单一漏点管段红外图像
Figure 8. Infrared image of a single leakage point pipe section under different leakage conditions
![]()
图 9 不同泄漏工况下多泄漏点管段红外图像
Figure 9. Infrared image of multiple leakage points pipe section under different leakage conditions
![]()
图 10 降噪前后管道泄漏部分示例图
Figure 10. Example diagram of pipeline leakage before and after noise reduction
![]()
图 12 多泄漏点不同算法P-R曲线图
Figure 12. P-R plot of different algorithms for multiple leakage points
表 2 管道单一漏点图像不同算法评价指标结果
Table 2 Different algorithms evaluate the index results of the pipeline single leakage point images
Algorithms 40℃ image 50℃ image 60℃ image PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Mean filtering 33.1973 0.6361 32.0505 0.7035 31.8188 0.7090 Median filtering 31.7137 0.4941 31.8480 0.6074 31.8348 0.6098 Nonlinear smooth wavelet 30.6688 0.5267 30.1091 0.5329 30.0417 0.5449 Bilateral filtering 34.4566 0.7285 33.5595 0.8230 33.4039 0.8399 Nonlinear smooth wavelet + Bilateral filtering 36.9294 0.8747 34.6604 0.8631 33.9055 0.8647 
下载: 导出CSV
表 3 管道多泄漏图像不同算法评价指标结果
Table 3 Different algorithms evaluate the index results of the pipeline multi-leakage images
Algorithms 40℃ image 50℃ image 60℃ image PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Mean filtering 32.6347 0.7257 32.5378 0.7233 31.7827 0.7395 Median filtering 31.724 0.6547 31.7715 0.6338 31.6588 0.6362 Nonlinear smooth wavelet 30.3137 0.5603 30.2969 0.5515 29.9108 0.5786 Bilateral filtering 32.5065 0.8041 32.5169 0.8047 32.4259 0.8335 Nonlinear smooth wavelet + Bilateral filtering 36.6188 0.8883 36.5284 0.8921 34.5147 0.8900
下载: 导出CSV
表 4 四种算法对管道单一漏点的性能测试结果
Table 4 Performance test results of four algorithms on single leak points of pipelines
Model Train time/s mAP Precision/% Detection time/(s/f) YOLO v4 2764.5149 0.9822 98.3 0.3021 YOLO v3 4372.9816 0.9700 98.2 0.3681 SSD 300 2778.0019 0.9800 96.6 0.8946 Faster
R-CNN40383.878 0.8000 69.1 1.7956
下载: 导出CSV
表 5 四种算法对管道多泄漏点的性能测试结果
Table 5 Performance test results of four algorithms on multiple leak points of pipelines
Model Train time/s mAP Precision/% Detection time/(s/f) YOLO v4 2074.8823 0.98 98.36 0.3096 YOLO v3 3460.6947 0.97 92.80 0.4733 SSD 300 1642.4262 0.91 98.30 0.9182 Faster
R-CNN23405.0819 0.88 54.80 1.8671
下载: 导出CSV
-
[1] Adegbove M A, Fung W K, Karnik A. Recent advances in pipeline monitoring and oil leakage detection technologies: principles and approaches[J]. Sensors, 2019, 19(11): 2548. DOI: 10.3390/s19112548
[2] ZHOU S J, LIU C, ZHAO Y E, et al. Leakage diagnosis of heating pipe-network based on BP neural network[J]. Sustainable Energy, Grids and Networks, 2022, 32: 100869. DOI: 10.1016/j.segan.2022.100869
[3] 孙宗康, 饶睦敏, 曹裕灵, 等. 基于小样本不均衡数据的供水管道泄漏智能检测算法[J]. 图学学报, 2022, 43(5): 825-831. https://www.cnki.com.cn/Article/CJFDTOTAL-GCTX202205008.htm SUN Z K, RAO M M, CAO Y L, et al. Water supply pipeline leakage intelligent detection algorithm based on small and unbalanced data [J]. Journal of Graphics, 2022, 43(5): 825-831. https://www.cnki.com.cn/Article/CJFDTOTAL-GCTX202205008.htm
[4] 石光辉, 齐卫雪, 陈鹏, 等. 负压波与小波分析定位供热管道泄漏[J]. 振动与冲击, 2021, 40(14): 212-218. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202114028.htm SHI G H, QI W X, CHEN P, et al. Negative pressure wave and wavelet analysis to locate the heating pipeline leakage[J]. Journal of Vibration and Impact, 2021, 40(14): 212-218. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202114028.htm
[5] 薛田甜, 刘永莉, 陈智, 等. 基于分布式光纤测温技术的管廊管道泄漏检测设计[J]. 中国科技论文, 2023, 18(8): 867-874, 889. DOI: 10.3969/j.issn.2095-2783.2023.08.008 XUE T T, LIU Y L, CHEN Z, et al. Design of pipeline leakage detection based on distributed temperature sensing technology[J]. China Science Paper, 2023, 18(8): 867-874, 889. DOI: 10.3969/j.issn.2095-2783.2023.08.008
[6] 高琳, 曹建国. 基于输气管道泄漏声发射信号特征的小波基构造研究[J]. 振动与冲击, 2023, 42(10): 128-135. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202310016.htm GAO L, CAO J G. Research on wavelet basis construction based on the characteristics of acoustic emission signals in gas pipe leakage [J]. Journal of Vibration and Impact, 2023, 42(10): 128-135. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202310016.htm
[7] 徐志远, 肖奇. 基于脉冲远场涡流的管道缺陷外检测与定量评估[J]. 电子测量与仪器学报, 2019, 33(2): 80-87. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201902011.htm XU Z Y, XIAO Q. Outside inspection and quantitative evaluation of pipe defects based on pulsed remote field eddy currents[J]. Journal of Electronic Measurement and Instrumentation, 2019, 33(2): 80-87. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201902011.htm
[8] 李甲振, 余弘婧, 郭新蕾, 等. 管道系统泄漏的可控低强度瞬变流检测法[J]. 应用基础与工程科学学报, 2022, 30(4): 873-882. https://www.cnki.com.cn/Article/CJFDTOTAL-YJGX202204007.htm LI J Z, YU H J, GUO X L, et al. Leak detection in pipe using controllable and low-pressure transient analysis method[J]. Journal of Basic Science and Engineering, 2022, 30(4): 873-882. https://www.cnki.com.cn/Article/CJFDTOTAL-YJGX202204007.htm
[9] Fahimipirehgalin M, Trunzer E, Odenweller M, et al. Automatic visual leakage detection and localization from pipelines in chemical process plants using machine vision techniques[J]. Engineering, 2021, 7(6): 758-776. DOI: 10.1016/j.eng.2020.08.026
[10] 张丽珍, 徐长航, 陈国明. 基于红外成像技术的高温管道泄漏检测研究[C]//第二届CCPS中国过程安全会议, 2014: 389-394. ZHANG L Z, XU C H, CHEN G M. The detection of high-temperature pipe leakage by infrared thermography[C]//Proceedings of the 2nd CCPS China Process Safety Conference, 2014: 389-394.
[11] 张艳博, 任瑞峰, 梁鹏, 等. 基于热成像的埋地热力管道缺陷检测试验研究[J]. 仪器仪表学报, 2020, 41(6): 161-170. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202006019.htm ZHANG Y B, REN R F, LIANG P, et al. Experimental study on flaw detection of buried heat pipeline based by infrared thermal[J]. Chinese Journal of Scientific Instrument, 2020, 41(6): 161-170. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202006019.htm
[12] Yahia M, Gawai R, Ali T, et al. Non-destructive water leak detection using multitemporal infrared thermography[J]. IEEE Access, 2021, 9: 72556-72567. DOI: 10.1109/ACCESS.2021.3078415
[13] XIE J, ZHANG Y, HE Z, et al. Automated leakage detection method of pipeline networks under complicated backgrounds by combining infrared thermography and Faster R-CNN technique[J]. Process Safety and Environmental Protection, 2023, 174: 39-52. DOI: 10.1016/j.psep.2023.04.006
[14] ZHOU R L, WEN Z P, SU H Z. Detect submerged piping in river embankment by passive infrared thermography[J]. Measurement, 2022, 202: 111873. DOI: 10.1016/j.measurement.2022.111873
[15] 翟潘, 王平. 自适应维纳滤波在钢水红外图像去噪中的应用[J]. 红外技术, 2021, 43(7): 665-669. http://hwjs.nvir.cn/cn/article/id/0a8e3190-fcd2-405b-9b8f-0cd65fb70cd5 ZHAI P, WANG P. Application of the adaptive wiener filter in infrared image denoising for molten steel [J]. Infrared Technology, 2021, 43(7): 665-669. http://hwjs.nvir.cn/cn/article/id/0a8e3190-fcd2-405b-9b8f-0cd65fb70cd5
[16] 郭晨龙, 赵旭阳, 郑海燕, 等. 一种基于改进非局部均值滤波算法的红外图像去噪[J]. 红外技术, 2018, 40(7): 638-641. http://hwjs.nvir.cn/cn/article/id/hwjs201807003 GUO C L, ZHAO X Y, ZHENG H Y, et al. Infrared image denoising method based on improved non-local means filter[J]. Infrared Technology, 2018, 40(7): 638-641. http://hwjs.nvir.cn/cn/article/id/hwjs201807003
[17] ZHAO X H, LI M X, NIE T, et al. An innovative approach for removing stripe noise in infrared images[J]. Sensors, 2023, 23: 6786. DOI: 10.3390/s23156786
[18] ZHANG X, SANIIE J, BAKHTIARI S, et al. Unsupervised learning for detection of defects in pulsed infrared thermography of metals[C]// IEEE International Conference on Electro Information Technology (EIT), 2022: 330-334.
[19] ZHANG X, SANIIE J, BAKHTIARI S, et al. Compression of pulsed infrared thermography data with unsupervised learning for nondestructive evaluation of additively manufactured metals[J]. IEEE Access, 2022, 10: 9094-9107. DOI: 10.1109/ACCESS.2022.3141654
[20] WANG H, HOU Y, HE Y, et al. A physical-constrained decomposition method of infrared thermography: pseudo restored heat flux approach based on ensemble bayesian variance tensor fraction[J]. IEEE Transactions on Industrial Informatics, 2023, 20(3): 3413-3424.
[21] Kumar A, Tomar H, Mehla Kumar V, et al, Stationary wavelet transform based ECG signal denoising method[J]. ISA Transactions, 2021, 114: 251-262. https://www.cnki.com.cn/Article/CJFDTOTAL-NYJX202403024.htm [22] Kumar S, Alam K, Chauhan A. Fractional derivative based nonlinear diffusion model for image denoising[J]. SeMA Journal, 2022, 79: 355-364. DOI: 10.1007/s40324-021-00255-0
[23] 王玉灵. 基于双边滤波的图像处理算法研究[D]. 西安: 西安电子科技大学, 2010. WANG Y L. Study of algorithm in image processing based on the bilateral filter[D]. Xi'an: XiDian University, 2010.
[24] Bochkovskiy A, WANG C Y, LIAO H Y M. Yolov4: Optimal speed and accuracy of object detection[C]//IEEE Conference Computer Vision and Pattern Recognition, 2020: 10934-10951.
[25] 中华人民共和国住房和城乡建设部. 建筑给水排水设计标准GB50015-2019[S]. 北京: 中国计划出版社, 2019. Ministry of Housing and Urban-Rural Development of the People's Republic of China. Standard for design of building water supply and drainage[S]. Beijing: China Planning Press, 2019.
[26] LIU R C, LI Y F, WANG H D, et al. A noisy multi-objective optimization algorithm based on mean and Wiener filters[J]. Knowledge-Based Systems, 2021, 228: 107215. DOI: 10.1016/j.knosys.2021.107215
[27] Verma, K, Singh K B, Thoke A. S. An enhancement in adaptive median filter for edge preservation[J]. Procedia Computer Science, 2015, 48: 29-36. DOI: 10.1016/j.procs.2015.04.106
[28] 魏明强, 冯一箪, 王伟明, 等. 基于区间梯度的联合双边滤波图像纹理去除方法[J]. 计算机科学, 2018, 45(3): 31-36. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201803005.htm WEI M Q, FENG Y D, WANG W M, et al. Interval gradient based joint bilateral filtering for image texture removal[J]. Computer Science, 2018, 45(3): 31-36. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201803005.htm
[29] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10.1109/TPAMI.2016.2577031
[30] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multi-box detector[C]//Proceedings of the IEEE European Conference on Computer Vision, 2016: 21-37.
[31] Redmon J, Farhad A. Yolov3: an incremental improvement[C]// Computer Vision and Pattern Recognition, 2018: 1068-1076.
计量
- 文章访问数: 110
- HTML全文浏览量: 25
- PDF下载量: 30
