Infrared Gas Image Segmentation Method Based on Background Modeling and Density Clustering
-
摘要:
红外成像技术作为气体泄漏检测的有效工具，能够动态直观地观察到泄漏现象，然而背景干扰和气体非实体的特性导致红外图像中气体羽流往往轮廓模糊、对比度低。本文提出了一种基于背景建模和密度聚类的分割算法，利用红外气体图像的时空分布特征实现对低对比度红外图像中气体区域的有效分割。根据当前帧与序列帧高斯混合模型的匹配关系提取前景图像，进而利用密度聚类算法对前景图像进行分簇处理，通过空间尺寸约束过滤低密度区域，结合形态学操作最终确定气体扩散区域。实验结果表明，本文提出的算法能够实现对场景内低对比度泄漏气体的有效检测和区域分割，降低噪声和动态背景干扰，弥补气体区域空洞问题，与其他算法相比具有明显优势，可为红外成像气体泄漏检测分割研究提供有效参考。
Abstract:Infrared imaging is an effective method for detecting gas leaks, enabling dynamic and visual observation of leakage occurrences. However, background interference and the intangible nature of gases often result in infrared images with indistinct gas-plume contours and reduced contrast. This study introduces a segmentation algorithm based on background modeling and density clustering that harnesses the spatiotemporal distribution characteristics of infrared gas images to segment gas regions in low-contrast infrared imagery. The foreground image was extracted by analyzing the matching relationship between the current frame and a sequence of frames using a Gaussian mixture model. Subsequently, a density clustering algorithm was applied to cluster the foreground image with spatial size constraints to filter out low-density regions. Morphological operations were performed to identify the gas-dispersion area. The experimental results indicate that the proposed algorithm can detect and segment low-contrast gas leaks within a scene. It significantly reduces noise and dynamic background interference, addresses voids in the gas region, and demonstrates distinct advantages over other algorithms. This offers a valuable reference for research on the segmentation of infrared images for gas-leak detection.
-
Keywords:
- infrared imaging /
- gas leak detection /
- background modeling /
- density clustering
-
0. 引言
工业气体在现代社会中广泛应用于钢铁生产、商业活动、交通运输、发电以及化工[1]等领域，成为能源体系中的重要组成部分，对社会经济高质量发展具有重要的推动作用。但是由于在气体存储、使用和运输过程中，经常伴随有泄漏情况的发生，极易引起燃烧爆炸事故[2]，造成生命财产安全的重大损失，因此实现快速有效检测到气体泄漏，并准确定位气体泄漏位置和扩散区域，具有重要研究意义。
传统的接触式检测方法例如声波式[3]、电化学式[4]、半导体式[5]，能够准确定位泄漏位置，生产成本低，但是受环境干扰信号、温度变化影响大[6-7]。红外成像技术作为非接触式检测的典型方法，检测范围广、可视化直观，能够实现远距离动态检测[8-9]。然而红外探测器的噪声影响和环境干扰，以及泄漏气体非实体性质和特征不定性[10]导致气体红外图像存在轮廓模糊、对比度低的问题，难以在红外图像中有效分割出气体区域，因此如何在复杂干扰条件下分割出红外图像中的气体区域意义重大。
相关的研究人员已经针对气体目标检测进行了许多研究，现有的算法主要包括利用传统的运动目标检测算法和基于卷积神经网络的深度学习方法[11-14]。深度学习算法的性能很大程度上取决于训练数据集的全面性和多样性，对数据获取的设备要求高，并且受场景变化影响需要多次大量重复性训练，难以满足实时性要求，而传统的运动目标检测算法具有很多优势：
① 数据需求小，不需要大量地标注数据进行训练，可以基于简单的数学方法进行计算，尤其对于红外气体标注数据集难以获取的情况下优势明显；
② 计算资源消耗低，传统的检测算法通常计算量较小，不需要高性能的计算资源，而且易于在嵌入式系统上运行；
③ 模型解释性强，传统算法基于明确的物理模型或数学原理，因此从场景和实用性上更易解释和理解算法原理；
④ 泛化能力强，对于不需要训练或者训练数据需求小的算法，能够对新场景表现出更好的泛化能力。
传统的运动目标检测算法包括帧间差分法[15]、光流法[16]和背景建模方法[17-18]。帧间差分法是基于像素的时间差分和阈值分割提取图像中的运动区域，但是明显的缺点在于，空洞现象严重，不能提取出完整的气体云团目标；光流法根据像素点的速度矢量变化，对图像进行动态分析，但是目前光流法多用于刚性目标的运动检测，例如行人移动、车辆行驶，对于红外成像气体泄漏检测任务，红外图像的噪声相比可见光很大，而且泄漏区域较小，所以光流法的高计算量不利于实时处理，而且噪声影响会严重干扰检测精度。背景建模方法的原理是建立一个背景模型，通过当前帧与背景模型的关系判断所属关系，典型的背景建模方法是视觉背景提取（visual background extractor，ViBe）和混合高斯模型（Gaussian mixture model，GMM）。
ViBe是一种无参数基于样本的背景建模算法，以随机化方式使用多个像素样本进行背景建模，建模速度快，计算量相对较小，但是难以处理快速移动的目标或动态变化的前景，由于样本集的限制，准确率相对较低，而且存在动态背景下的噪声问题和鬼影问题；GMM是一种统计模型，通过大量训练帧拟合多个高斯分布的线性组合进行背景建模，为每个像素点进行高斯分布匹配和更新，计算复杂度较高，但是能够较好地适应光照变化、动态背景等场景变化，通过不断更新高斯分布参数有效分离前景和背景，而且算法的参数更新机制可以通过概率模型增强低对比度图像中的前景和背景差异，同时通过权重更新和阈值调整可以有效抑制噪声。
因此针对复杂背景干扰下，红外气体图像轮廓模糊、对比度低的问题，本文提出了一种将背景建模和密度聚类结合的方法，搭建红外成像气体泄漏检测系统对甲烷进行成像研究，实验结果表明，本文提出的算法能够实现对场景内低对比度泄漏气体的有效检测和区域分割，弥补气体区域空洞问题，与其他算法相比具有明显优势，可为红外成像气体泄漏检测分割研究提供有效参考。
1. 红外成像气体泄漏检测原理
1.1 甲烷红外吸收光谱原理
甲烷是一种无色无味、易燃易爆气体，分子由化学键联结原子组成，原子和化学键始终处于不规则运动中，包括电子运动、分子中的原子振动和分子自身转动，相应产生基频，这些运动需要物质吸收能量产生转动、振动和电子能级跃迁，运动形式共同存在，一般电子能量$ \gg $振动能量$ \gg $转动能量，如图 1所示。
当频率持续变化的红外辐射透过目标时，物质吸收一定频率的能量从基态至激发态，该运动使得光谱透射降低，从而生成红外吸收光谱[19]。一般来说，在中波波段是由分子振动产生的吸收带，是化学键和基团的特征吸收峰，长波波段的吸收峰是由单键的伸缩振动和变形振动产生。
甲烷分子在中长波段的吸收谱图如图 2所示，中波红外特征吸收峰在波数2899~3175 cm－1（对应波长为3.15~3.45 μm），长波红外特征吸收峰在波数1220~1390 cm－1（对应波长为7.2~8.2 μm），中波吸收峰高于长波，但吸收带宽小于长波。
![]()
图 2 甲烷中长波红外波段吸收谱图Figure 2. Mid-wave and long-wave infrared absorption spectra of methane1.2 红外成像检测原理
系统的红外成像信息来源是对探测器响应波段内的视场辐射进行积分，一般来说，视场内的辐射来源包括背景和目标的光谱辐射以及反射环境的光谱辐射。
根据普朗克黑体辐射定律，任意温度高于绝对零度的物体都会发射电磁辐射，辐射强度与温度成正相关，如图 3为不同温度的普朗克黑体单色辐射能力与波长曲线，显然常温下黑体辐射强度在中长波段较大，所以中长波段红外成像的辐射来源主要是背景和目标的黑体辐射。
气体泄漏红外成像检测原理如图 4所示[20]，气体泄漏检测过程可以分为两个部分理解，第一部分是来自背景辐射/反射的红外光谱到达气体云团前边界和探测器；第二部分是通过气体云团部分吸收后的背景红外辐射和气体云团自身发出的辐射通过大气到达探测器，两个部分大气都会对红外光谱产生吸收和散射。
由于气体云团的存在，导致经过气体吸收后的辐射与周围辐射差值大于探测器灵敏度，则在相应的红外吸收波段会形成辐射差，整个视场内的红外光经过光学镜头聚焦到红外探测器上成像，形成目标红外场景辐射差灰度图像，泄漏气体浓度越大，吸收辐射越强，在图像上显示的灰度差异越明显，从而实现对气体泄漏的检测。
2. 基于背景建模和密度聚类的红外气体图像分割方法
2.1 基于混合高斯模型的前景图像提取算法
GMM用于背景相对稳定情况下的运动目标检测，由单高斯模型发展而来[21]，对于多模态背景具有一定鲁棒性，如树叶晃动、水纹波动等，GMM将背景模型描述为多个高斯分布，模型示意如图 5所示，符合其中一个分布模型即为背景，不符合该分布的像素即为前景，高斯背景模型通过模型更新来适应场景的变化，以实现背景学习效果，主要步骤如下。
2.1.1 像素模型定义
每个像素由多个单模型定义，设在$ t $时刻，像素点$ (x, y) $的概率值为：
$$ P(p) = \left\{ {\left[ {{w_i}(x, y, t), {u_i}(x, y, t), {\sigma _i}{{(x, y, t)}^2}} \right]} \right\} $$ (1) $$ \sum\limits_{i = 1}^K {{w_i}(x, y, t) = 1} $$ (2) 式中：$ K $为模型中的高斯分布个数；$ w $为单高斯模型的权值；$ u $为高斯分布的数学期望；$ \sigma $为标准方差。
2.1.2 更新参数前景检测
修正与新像素匹配的单模型权值，权值增量为：
$$ \mathtt{d}w = \alpha \cdot (1 - {w_i}(x, y, t - 1)) $$ (3) 新的权值表示为：
$$\begin{aligned} & w_i(x, y, t)=w_i(x, y, t-1)+\mathrm{d} w \\ & =w_i(x, y, t-1)+\alpha \cdot\left(1-w_i(x, y, t-1)\right) \end{aligned}$$ (4) 式中：α（0＜α＜1）为人工设置的更新率，α的大小决定了背景更新速度和抗噪声性能。
2.1.3 多个单高斯模型的排序及删减
混合高斯背景模型中每个像素的模型由多个单高斯模型组合，依据重要性对单高斯模型排序，并及时删除其中的非背景模型。
假设背景模型具有以下特点：①权重大：背景出现的频率高；②方差小：像素值变化不大，设置重要性排序依据：
$$ \mathrm{sort\_key} = \frac{{{w_i}(x, y, t)}}{{{\sigma _i}(x, y, t)}} $$ (5) 排序及删减过程如下：
① 计算每个单模型的重要性值；
② 对于单模型按照重要性大小排序，重要性大的排前面；
③ 若前N个单模型权重和大于一定阈值T，则仅用这N个单模型作为背景模型，删除其他模型，一般T＝0.7~0.8；
目标检测时，当前帧的像素值与T个高斯背景模型分别进行比较，若像素值与任何一个模型匹配，该像素点为背景点，若不匹配，则为前景运动目标。
2.2 基于密度聚类的气体目标分割算法
经过对前景图像进行处理后可初步确定气体区域，但由于浓度不均匀和受环境干扰影响导致气体区域在图像上呈现出不同紧密程度的区域。密度聚类算法基于样本分布的紧密程度确定聚类结构，能够发现任意形状的聚类[22]，该算法基于以下概念：
设eps邻域半径为ε，最小邻域点数量MinPts，邻域内点数大于或等于MinPts，则为核心点；邻域内数量小于MinPts但是与核心点相邻，则为边界点；既不是核心点也不是边界点为噪声点。
直接密度可达：对于给定的点集合D，若点$ p $在$ q $的邻域内，且$ q $是核心点，则称点$ p $从点$ q $直接密度可达；
密度可达：如果存在子集p1, p2, …, pn，pi(1≤i≤n)∈D，其中每个点pi+1从pi直接密度可达，则pn从p1密度可达。
密度相连：如果存在点k∈D，点p和q均从k密度可达，那么点p和q密度相连。
密度聚类算法原理如图 6所示，核心过程主要有以下步骤：
1）对数据集D中的每个点进行邻域计算，判断是否为核心点；
2）从核心点出发，通过直接密度可达关系，计算出所有密度可达的点，形成簇；
3）当没有新的密度可达簇合并时，迭代结束。
密度聚类算法的特点在于基于密度概念发现任意形状的簇，包括形状不规则或者密度不均匀的簇，能够很好地处理红外气体前景图像，分离出气体区域。
3. 实验结果与分析
3.1 实验流程
本文提出的算法首先针对背景序列图像，利用混合高斯模型根据像素点序列灰度值的变化建立高斯分布，根据目标图像与背景模型匹配关系提取前景图像，然后通过空域滤波和孤立区域过滤，消除由于红外探测器辐射响应非均匀性和环境变化导致前景图像中产生的噪点；然后利用密度聚类算法对前景图像进行分簇处理，由核心点出发扩展合并，得到包含核心点和边界点的最大化区域，通过空间尺寸约束过滤低密度区域，进而利用形态学操作填充气体区域的空白和连接断裂的部分，最终确定气体扩散区域，算法流程如图 7所示。
3.2 评价指标
为了评价算法在红外成像气体泄漏检测中的性能，客观对比不同分割算法的检测效果，采用像素准确率（A），精确率（P），召回率（R），交并比（IoU），Dice系数，评估模型性能。
1）像素准确率是指预测正确的像素数与总像素数的比例：
$$ A = \mathrm{\frac{{TP + TN}}{{TP + TN + FP + FN}}} $$ 2）精确率是指预测正确的像素数与实际正确像素的比例：
$$ P = \mathrm{\frac{{TP}}{{TP + FP}}} $$ 3）召回率是指所有预测像素中正确预测的比例：
$$ R = \mathrm{\frac{{TP}}{{TP + FN}}} $$ 4）交并比是指分割区域与真实分割区域之间的重叠程度：
$$ \mathrm{IoU} = \mathrm{\frac{{TP}}{{TP + FN + FP}}} $$ 5）Dice系数是集合相似度度量函数，计算两个区域之间的相似度：
$$ \mathrm{Dice} = \frac{{{\text{2}} \times P \times R}}{{P + R}} $$ 式中：TP为正确检测的前景点；FP为错误检测的前景点；FN为错误检测的背景点；TN为正确检测的背景点。
3.3 实验结果
为验证算法的普适性，实验采用制冷型中波红外成像仪和非制冷宽波段红外成像仪进行气体泄漏检测，参数如表 1所示。
表 1 红外成像仪主要参数Table 1. Main specifications of infrared camerasPerformance specification Argument 1 Argument 2 Array format 320×256 640×512 Infrared detector type Cooled infrared detector Uncooled infrared detector Pixel size/μm 30 17 Noise equivalent temperature difference(NETD)/mK < 20 < 60 Spectral range/μm 3.2-3.4 3-14 Focal length/mm 100 40 Frame per second 30 50 实验使用甲烷作为样本气体，针对多处室内外场景进行数据采集，同时记录天气状况、环境温度、风速和探测距离，采集包括不同探测距离（7 m、10 m、20 m、30 m、33 m、40 m、50 m）、不同泄漏速率（0.5 L/min、1 L/min、2 L/min、5 L/min、大于5 L/min）和10种实验场景，算法处理结果如图 8所示。
3.4 对比分析
为验证本文算法的优越性及有效性，选择具有代表性的聚类算法Kmeans[23]、OPTICS[24]与本文算法进行对比实验，并计算各算法对应的评价指标数值，从表 2中可以看出，与另外两种聚类算法相比，本文提出的算法精确率略低于对比算法，其余指标均高于对比算法，IoU和Dice系数达到0.6620和0.7931，表现出较好性能。
表 2 对比实验结果（加粗数据为最优值）Table 2. Contrast experiment results(The best result is indicated in bold)Methods Accuracy Precision Recall IoU Dice coefficient Kmeans 0.9109 0.8390 0.4580 0.4072 0.5428 OPTICS 0.9589 0.8274 0.4118 0.3999 0.5319 Ours 0.9749 0.8270 0.7739 0.6620 0.7931 为直观对比本文算法分割红外气体图像的鲁棒性，将原始图像、前景图像、分割真值、对比算法和本文算法的分割结果进行可视化对比，如图 9所示。第1列为待检测气体图像，第2列为前景提取结果，第3列为分割真值，第4~6列为算法分割结果图。由可视化结果可知，本文的方法对于形状多变的气体云团轮廓更能准确分割，分割结果更接近真值，因此本文设计的算法检测分割性能更好，更适用于红外气体图像检测和分割任务。
4. 结论
本文提出了一种基于背景建模和密度聚类的红外气体图像分割方法，通过高斯混合模型对序列图像进行背景建模，利用待测图像与背景模型的匹配关系进行前景图像提取，再使用改进的密度聚类算法对前景图像进行处理，得到气体区域。实验结果表明，该算法能够实现对红外场景内低对比度泄漏气体的有效检测和区域分割，弥补气体区域空洞问题，与其他算法相比具有明显优势，而且本文算法直接针对红外图像处理，不依赖特定的红外探测器，可以应用于不同的红外成像设备，在红外成像气体泄漏检测领域具有通用性。未来的工作将结合深度学习技术改进背景建模算法，通过卷积神经网络自动从图像中学习场景特征构建能够适应场景变化的背景模型，同时探索无监督或者自监督聚类算法，继续优化和完善对红外气体图像的检测分割方法。
-
![]()
图 2 甲烷中长波红外波段吸收谱图
Figure 2. Mid-wave and long-wave infrared absorption spectra of methane
表 1 红外成像仪主要参数
Table 1 Main specifications of infrared cameras
Performance specification Argument 1 Argument 2 Array format 320×256 640×512 Infrared detector type Cooled infrared detector Uncooled infrared detector Pixel size/μm 30 17 Noise equivalent temperature difference(NETD)/mK < 20 < 60 Spectral range/μm 3.2-3.4 3-14 Focal length/mm 100 40 Frame per second 30 50 
下载: 导出CSV
表 2 对比实验结果（加粗数据为最优值）
Table 2 Contrast experiment results(The best result is indicated in bold)
Methods Accuracy Precision Recall IoU Dice coefficient Kmeans 0.9109 0.8390 0.4580 0.4072 0.5428 OPTICS 0.9589 0.8274 0.4118 0.3999 0.5319 Ours 0.9749 0.8270 0.7739 0.6620 0.7931
下载: 导出CSV
-
[1] LI H, LUO D, SUN Y, et al. Classification and identification of industrial gases based on electronic nose technology[J]. Sensors, 2019, 19(22): 5033. DOI: 10.3390/s19225033
[2] ZHU Y, QIAN X, LIU Z, et al. Analysis and assessment of the Qingdao crude oil vapor explosion accident: lessons learnt[J]. Journal of Loss Prevention in the Process Industries, 2015, 33: 289-303. DOI: 10.1016/j.jlp.2015.01.004
[3] Zipser L, Wächter F, Franke H. Acoustic gas sensors using airborne sound properties[J]. Sensors and Actuators B: Chemical, 2000, 68(1-3): 162-167. DOI: 10.1016/S0925-4005(00)00478-0
[4] Sekhar P K, Brosha E L. Trace detection of 2, 4, 6-trinitrotoluene using electrochemical gas sensor[J]. IEEE Sensors Journal, 2014, 15(3): 1624-1629.
[5] XUE F, Adedokun G, XIE D, et al. A low power four-channel metal oxide semiconductor gas sensor array with T-shaped structure[J]. Journal of Microelectromechanical Systems, 2022, 31(2): 275-282. DOI: 10.1109/JMEMS.2022.3142155
[6] Meribout M, Khezzar L, Azzi A, et al. Leak detection systems in oil and gas fields: Present trends and future prospects[J]. Flow Measurement and Instrumentation, 2020, 75: 101772. DOI: 10.1016/j.flowmeasinst.2020.1017721.007
[7] Meribout M. Gas leak-detection and measurement systems: Prospects and future trends[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-13.
[8] Usamentiaga R, Venegas P, Guerediaga J, et al. Infrared thermography for temperature measurement and non-destructive testing[J]. Sensors, 2014, 14(7): 12305-12348. DOI: 10.3390/s140712305
[9] Safitri A, Gao X, Mannan M S. Dispersion modeling approach for quantification of methane emission rates from natural gas fugitive leaks detected by infrared imaging technique[J]. Journal of Loss Prevention in the Process Industries, 2011, 24(2): 138-145. DOI: 10.1016/j.jlp.2010.11.007
[10] ZHOU K, WANG Y, LV T, et al. Explore spatio-temporal aggregation for insubstantial object detection: benchmark dataset and baseline [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 3104-3115.
[11] WANG J, Tchapmi L P, Ravikumar A P, et al. Machine vision for natural gas methane emissions detection using an infrared camera[J]. Applied Energy, 2020, 257: 113998. DOI: 10.1016/j.apenergy.2019.113998
[12] SHI J, CHANG Y, XU C, et al. Real-time leak detection using an infrared camera and faster R-CNN technique[J]. Computers & Chemical Engineering, 2020, 135: 106780.
[13] Bin J, Bahrami Z, Rahman C A, et al. Foreground fusion-based liquefied natural gas leak detection framework from surveillance thermal imaging[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2022, 7(4): 1151-1162.
[14] Park J S, SONG J K. FCN based gas leakage segmentation and improvement using transfer learning[C]//2019 IEEE Student Conference on Electric Machines and Systems (SCEMS 2019)of IEEE, 2019: 1-4.
[15] WANG Z, LIAO K, XIONG J, et al. Moving object detection based on temporal information[J]. IEEE Signal Processing Letters, 2014, 21(11): 1403-1407. DOI: 10.1109/LSP.2014.2338056
[16] Agarwal A, Gupta S, Singh D K. Review of optical flow technique for moving object detection[C]//2016 2nd International Conference on Contemporary Computing and Informatics (IC3I)of IEEE, 2016: 409-413.
[17] XUE W, JIANG T. An adaptive algorithm for target recognition using Gaussian mixture models[J]. Measurement, 2018, 124: 233-240. DOI: 10.1016/j.measurement.2018.04.019
[18] Barnich O, Van Droogenbroeck M. ViBe: a powerful random technique to estimate the background in video sequences[C]//2009 IEEE International Conference on Acoustics, Speech and Signal Processing of IEEE, 2009: 945-948.
[19] 谈和平, 夏新林, 刘林华, 等. 红外辐射特性与传输的数值计算[M]. 哈尔滨: 哈尔滨工业大学出版社, 2006. TAN Heping, XIA Xinlin, LIU Linhua, et al. Numerical Simulation for Infrared Radiation Characteristics and Transmission[M]. Harbin: Harbin Institute of Technology Press, 2006.
[20] 张旭, 金伟其, 李力, 等. 天然气泄漏被动式红外成像检测技术及系统性能评价研究进展[J]. 红外与激光工程, 2019, 48(S2): 53-65. ZHANG Xu, JIN Weiqi, LI Li, et al. Research progress on passive infrared imaging detection technology and system performance evaluation of natural gas leakage[J]. Infrared and Laser Engineering, 2019, 48(S2): 53-65.
[21] ZUO J, JIA Z, YANG J, et al. Moving target detection based on improved Gaussian mixture background subtraction in video images[J]. IEEE Access, 2019, 7: 152612-152623. DOI: 10.1109/ACCESS.2019.2946230
[22] SHEN J, HAO X, LIANG Z, et al. Real-time superpixel segmentation by DBSCAN clustering algorithm[J]. IEEE Transactions on Image Processing, 2016, 25(12): 5933-5942. DOI: 10.1109/TIP.2016.2616302
[23] Dhanachandra N, Manglem K, Chanu Y J. Image segmentation using K-means clustering algorithm and subtractive clustering algorithm[J]. Procedia Computer Science, 2015, 54: 764-771. DOI: 10.1016/j.procs.2015.06.090
[24] Ankerst M, Breunig M M, Kriegel H P, et al. OPTICS: Ordering points to identify the clustering structure[J]. ACM Sigmod Record, 1999, 28(2): 49-60. DOI: 10.1145/304181.304187
计量
- 文章访问数: 118
- HTML全文浏览量: 18
- PDF下载量: 49
