Multi-resolution Feature Extraction Algorithm for Semantic Segmentation of Infrared Images
-
摘要:
针对现有图像语义分割算法在对低分辨率红外图像进行分割时存在准确率不高的问题，提出了一种多分辨率特征提取算法。该算法以DeepLabv3+为基准网络，添加了一组对偶分辨率模块，该模块包含低分辨率分支和高分辨率分支，以进一步聚合红外图像特征。低分辨率分支采用GPU友好的注意力模块捕获高层全局上下文信息，同时引入一个多轴门控感知机模块并行提取红外图像局部信息和全局信息；高分辨率分支采用跨分辨率注意力模块将低分辨率分支上学习到的全局特征传播扩散到高分辨率分支上以获取更强的语义信息。实验结果表明，该算法在数据集DNDS和MSRS上的分割精度优于现有语义分割算法，证明了提出算法的有效性。
-
关键词:
- 对偶分辨率模块 /
- 语义分割 /
- DeepLabv3+ /
- 红外图像 /
- 注意力模块
Abstract:A multi-resolution feature extraction convolution neural network is proposed for the problem of inaccurate edge segmentation when existing image semantic segmentation algorithms process low-resolution infrared images. DeepLabv3+ is used as the baseline network and adds a multi-resolution block, which contains both high and low resolution branches, to further aggregate the features in infrared images. In the low-resolution branch, a GPU friendly attention module is used to capture high-level global context information, and a multi-axis-gated multilayer perceptron module is added in this branch to extract the local and global information of infrared images in parallel. In the high resolution branch, the cross-attention module is used to propagate the global features learned on the low resolution branch to the high resolution branch, hence the high resolution branch can obtain stronger semantic information. The experimental results indicate that the segmentation accuracy of the algorithm on the dataset DNDS is better than that of the existing semantic segmentation algorithm, demonstrating the superiority of the proposed method.
-
Keywords:
- multi resolution block /
- semantic segmentation /
- deepLabv3+ /
- infrared image /
- attention module
-
0. 引言
红外吸收光谱，其检测原理基于朗伯比尔定律分析出射光线被待测物质吸收的情况，通过解析红外吸收光谱图中吸收峰特征来定量分析待测物质的组分信息。与传统的气相色谱检测技术相比，基于光谱的录井检测技术有诸多突出的优势，如能够实现快速检测、稳定性好、检测成本低等，更重要的是光谱录井技术在检测时可以对混合组分气体检测，不需要对气体提前进行分离[1]。
由于地层流体中的烃类气体种类多、浓度范围跨度大，环境干扰等因素，致使测量的光谱数据复杂，通常包含大量的噪声信息，这些噪声导致吸收光谱数据失真，尤其是当烃类气体含量较低时，甚至会淹没有用信号，极大地影响烃类组分的定量结果[2-4]。因此，为去除噪声的影响，得到准确度较高的光谱数据，必须对测量得到的吸收光谱数据进行去噪处理。
近年来，很多学者在红外光谱去噪领域有着广泛深入的研究。1998年，Huang提出了经验模态分解方法（empirical mode decomposition, EMD），该方法依托信号本身进行分解，对于处理庞大数据量的非线性信号，可以极大地保证信号的完整性同时将信号分解成多个时频段。但是处理频率变化较快的间歇信号存在模态混叠现象[5]。为解决EMD存在的缺陷，2009年，WU等人提出了集合经验模态分解方法（ensemble empirical mode decomposition, EEMD），但是该方法在处理某些信号时又存在精确度不稳定的缺陷[6]。2015年，刘铭华分别将EMD、EEMD及小波3种方法应用于甲烷的红外光谱中，从去噪后的数据可以看出，EEMD的去噪效果最佳，但EEMD在使用中需要依靠经验来选取有效的IMF（intrinsic mode function）分量[7]；2019年，王书涛等人提出了使用小波变换优化EEMD的去噪算法，该算法克服了EEMD中IMF分量依靠经验来选取的缺点，最大地保留了高频信号中的有用信号，但未考虑脉冲噪声的影响[8]。
针对现有算法中存在的问题，包括模态混叠、IMF分量依靠经验选取、未考虑脉冲噪声等问题。本文提出了小波变换优化集合经验模态分解（EEMD）结合Savitzky-Golay（SG）滤波的红外光谱降噪算法，该算法首先利用EEMD对信号进行分解得到多个IMF分量，再利用小波变换对各IMF分量进行小波阈值去噪，最后对去噪后的各IMF分量进行重构并进行Savitzky-Golay滤波。
1. 相关工作
1.1 小波变换去噪
小波分析是在傅里叶变换的基础上发展而来的，在分析信号方面具有其他方法所不具备的优势，属于时频分析方法，是光谱去噪分析的常用方法，广泛用于与信号分析和图像处理领域[9]。小波分析去噪的基本原理是通过将原始信号分解成不同频率和方向的分量，再根据阈值对有效信息进行提取[10-11]。
小波去噪一般分为3个步骤：
① 信号分解，选择一种小波函数并对信号进行N层分解；②选择合理阈值对分解得到各层的系数进行阈值量化处理去噪；③信号重构，得到去噪后的信号。
1.2 EEMD
EEMD方法是一种通过叠加高斯白噪声的经验模式分解，其利用了高斯白噪声具有频率正态分布的统计特性，通过每次加入同幅值、频率不同的白噪声来改变信号的极值点特性，之后对多次EMD得到的相应IMF分量进行总体平均来抵消加入的白噪声，从而对模态混叠的产生进行抑制[12-15]。其具体分解实现步骤如下：
① 随机产生幅值相同，频率不同的高斯白噪声φi(t)并加入到原始信号x(t)中以产生一个新的信号：
$$ x_{i}(t)＝x(t)+y(t) $$ (1) ② 将得到的含高斯白噪声的信号xi(t)分别利用EMD方法逐一分解，得到多个不同的IMF分量，记为IMFni，i＝1, 2, 3…, M，n＝1, 2, 3…, N，其中n为分解尺度。
③ 将步骤②得到的多个IMF分量进行总体平均运算，即可得到EEMD分解的最后结果，即：
$$ \mathrm{IMF}_{n} = \frac{1}{M}\sum\limits_{i = 1}^M {\mathrm{IMF}_n^i} $$ (2) 1.3 Savitzky-Golay滤波去噪
Savitzky-Golay算法是由Savitzky A.和Golay M.提出的一种数字滤波器，在光谱数据平滑去噪上有着较好的效果。它是通过移动窗口利用线性最小二乘法进行拟合的滤波算法。S-G算法是使用最小二乘法和移动窗口的方式得到多项式系数，然后求解多项式数值来得到处理结果。此外，该方法可由卷积系数表确定多项式系数，从而达到根据多项式函数来获得去除噪声的目的[16-18]。
假设有一组数据x(i)，窗口宽度为2n+1个连续的整值i，即，i＝－n, …, 0, …, n。再构造一个m阶多项式（m≤2n+1）对该组数据进行拟合，公式如下：
$$ {f_i} = \sum\limits_{k = 0}^m {{a_{mk}}} {i^k} = {a_{m0}}{i^0} + {a_{m1}}{i^1} + {a_{m2}}{i^2} + \cdots + {a_{mm}}{i^m} $$ (3) 通过查找Savitzky A.和Golay M.提供的卷积系数表，可以快速确定系数am0, am1, …, amm的值。
S-G算法实现步骤如下：
① 选择移动窗口；②根据移动窗口和拟合阶次拟合曲线；③获取拟合曲线在窗口中心处的值；④根据计算的所有窗口中心值求解多项式系数。
2. 小波变换优化EEMD结合S-G降噪算法
在实际光谱测量中，同时存在高斯白噪声和脉冲噪声。高斯白噪声可以被EEMD有效去除，但同时对于包含有用信息的IMF高频分量也可能被EEMD去除。基于此，可以利用小波阈值法将EEMD分解的各IMF分量进行二次去噪处理，将处理后的各IMF分量进行重构，得到去除噪声后的信号[19]。经小波变换优化后的EEMD可以很好地对高斯白噪声进行去噪，并能保留住原始信号的有效信息，但对于含有脉冲噪声的，其去噪效果没有高斯噪声理想。Savitzky-Golay滤波在脉冲噪声去除上，效果优于小波变换和EEMD。
因此，本文提出一种将小波优化后的EEMD与S-G滤波相结合的红外吸收光谱的滤波方法，从而达到同时去除高斯白噪声和脉冲噪声目的，具体步骤如下：
① 使用EEMD方法对原始信号进行分解，得到多个IMF分量。②对各IMF分量使用小波阈值法进行二次去噪处理。③将去噪后的各IMF分量进行信号重构，得到去噪后信号。④使用S-G方法进行脉冲信号的去除和平滑处理。
3. 实验及仿真验证
3.1 实验设计
实验装置包括一台傅里叶红外光谱仪、一台混合配气装置、Nafion滤膜式气体干燥管以及一台工控计算机。气体检测池带有保温套及恒温装置。配气装置包含6个样品气进气口、一个氮气稀释进气口和一个出气口，带有氮气清扫功能以及真空抽气泵，实验装置如图 1所示。在实验中，我们以乙烷（C2）为例实验。浓度设置为等梯度递增，如表 1所示。
表 1 乙烷实验浓度配置数据Table 1. Ethane experimental concentration configuration dataGas High concentration/(%) Medium concentration/(%) Low concentration/(%) Minimum concentration Gradient Highest concentration Minimum concentration Gradient Highest concentration Minimum concentration Gradient Highest concentration C2 1 5 99.99 0.05 0.05 1 0.001 0.001 0.05 在实验中，我们使用高浓度样品气，按照相应的梯度对实验气体进行配置，共采集41组光谱数据，图 2是乙烷浓度为0.001%、0.05%、1%的吸收光谱图。从图 2可以看出，乙烷的光谱吸收数据含有明显的噪声干扰。本文以1%浓度的乙烷吸收光谱数据为例进行去噪处理，其吸收光谱图，如图 2中的乙烷1%浓度的吸收光谱图所示。
3.2 去噪效果对比分析
从图 2中乙烷1%浓度的吸收光谱图可以看出，该光谱数据在特征吸收峰附近含有噪声，直接使用它进行定量分析将会得到较差的结果，所以有必要对其进行去噪处理。首先对乙烷吸收光谱数据进行EEMD分解，将标准差和白噪声添加次数设置0.1和200，共得到7个经EEMD分解后的IMF分量，如图 3所示。然后，用小波阈值法对各IMF分量分解去噪，得到结果如图 4所示。将EEMD分解和小波优化后的IMF分量分别进行重构，进一步的，在重构信号的基础上进行Savitzky-Golay去噪处理，共得到3条重构后的信号，如图 5所示。从图 5中两个圈出的位置可以看出，在利用小波优化EEMD分解后的IMF分量重构曲线的基础上进一步使用Savitzky-Golay去噪处理后得到的曲线更加平滑，更可以在图中直观地看出，蓝色的曲线是对红色曲线的去噪，绿色曲线时对蓝色曲线的进一步去噪。在图 5中箭头指向的位置，我们可以知道这是连续吸收光谱不正常的地方，而经过3种去噪方法后，小波优化EEMD加Savitzky-Golay的去噪方法处理结果比其他两种方式更好。
为了更好地对3种去噪方法进行评价，本文采用均方根误差（RMSE）、归一化相关系数（NCC）、信噪比（SNR）3种不同的评价指标对3种去噪方法分别进行比较[20]。计算结果如表 2所示，可以看出，分别从3个指标上来看，都是小波优化EEMD结合SG的去噪方法优于其他两种方法。
表 2 三种去噪方法评价比较Table 2. Comparison of 3 denoising methodsDenoising
methodsEEMD Wavelet+EEMD Wavelet+EEMD
+SGSNR 24.2458 24.3612 24.8464 RMSE 0.79361 0.0448560 0.0447964 NCC 0.99812 0.99817 0.99836 3.3 不同去噪方法对定量分析的影响
为了更好地说明不同去噪方法对定量分析的影响，我们分别使用3种去噪方法对采集的光谱数据集进行处理后，使用基础的PLS算法对乙烷的浓度进行预测。从3.1节设计的实验可以看出，本实验的浓度范围跨度很大，最低浓度为0.001%，最大浓度为100%，如果在全浓度范围内进行预测的话，会导致预测结果较差。为了减少浓度范围对预测结果的准确性，只验证不同去噪方法对定量分析的影响，我们采用中浓度的数据集进行说明，即乙烷浓度为0.05%~1%，而如何在浓度范围跨度大的情况下，达到比较高的预测准确度，我们将在后续的研究中进行说明。
在实验中，我们使用高浓度样品气，按照相应的梯度对实验气体进行配置，采集中浓度样品光谱数据20。首先对采集的所有光谱数据进行不同方法的去噪处理，然后按照7:3的比例随机在中浓度采集的光谱数据中抽取其中的14组作为训练集，其余6组作为测试集对模型进行测试，最后对模型进行训练和预测。采集的原始光谱数据和经不同方法去噪处理后的光谱数据，如图 6~图 9所示。从图 6~图 9可以看出，如3.2节降噪分析所述小波优化EEMD+SG去噪方法对光谱的去噪处理效果要优于其他两种方法。下面是这4种数据集采用PLS方法的浓度预测结果，采用决定系数（R2）和均方根误差（RMSE）2种不同的评价指标对去噪方法分别进行比较，如图 10所示，表 3是这4种预测结果的对比。
![]()
图 10 不同去噪方法处理后的乙烷浓度预测结果Figure 10. Ethane concentration prediction after various denoising methods表 3 不同去噪方法预测结果比较Table 3. Comparison of prediction results from denoising methodsDenoising
methodsWithout denoising EEMD Wavelet +EEMD Wavelet +EEMD+SG R2 0.9908 0.9909 0.9972 0.9996 RMSE 0.0267 0.0265 0.0146 0.0056 从图 10中，可以看出，采用小波优化EEMD加SG的去噪方法对光谱进行处理后，采用PLS进行预测，得到了预测值与真实值最为接近的结果。从表 3中的对比结果来看，小波+EEMD+SG处理后得到预测结果的相关系数最高，为0.9996，且RMSE值最低，为0.0056。综上，无论从单独去噪结果来看，还是从去噪后的定量分析来看，小波优化EEMD+SG的去噪方法较其他方法更有优势，它能同时去除高斯白噪声和脉冲噪声。
4. 结论
针对录井烃类气体种类多，浓度范围跨度大，尤其当检测浓度范围较小（＜500 ppm）时，有效信号容易被噪声淹没，且单一滤波方式在该种情况下去噪能力较差的问题。基于此，本文将小波变换、EEMD和S-G滤波相结合用于吸收光谱数据去噪。该方法集合3者间优势进行互补，实现了能够较好去除浓度范围跨度大的光谱信息中不同噪声的目的。实验表明，通过对乙烷实测吸收光谱数据的去噪分析，该方法能够对光谱数据中的噪声有较好的去除效果，且提高了SNR值，降低了RMSE值。通过去噪结果对比分析，可以得出，该方法在录井气体上的去噪效果优于其他方法。同时，通过使用不同去噪方法处理光谱数据后进行定量分析，定量分析结果表明，使用该去噪方法处理光谱数据后，定量分析预测的结果更加接近真实值。综上，本文所提方法是对录井烃类气体光谱测量一种有效的去噪方法。
-
![]()
图 7 DNDS数据集部分图片展示。(a)为红外图像，(b)为真实语义标签
Figure 7. Some pictures of the DNDS. (a) infrared image, (b) real semantic label
![]()
图 9 训练指标比较。(a)LOSS变化曲线图，(b)MIOU变化曲线图
Figure 9. Comparison of training indicators. (a) LOSS curves graph, (b) MIOU curves graph
![]()
图 10 测试集结果比较。(a)原图；(b)DeepLabv3+；(c)MRFE-CNN；(d)真实标签
Figure 10. Comparison of results. (a) Original image, (b) DeepLabv3+, (c) MRFE-CNN, (d) Real label
![]()
图 11 训练指标比较。(a)LOSS变化曲线图，(b)MIOU变化曲线图
Figure 11. Comparison of training indicators. (a) LOSS curves graph, (b) MIOU curves graph
![]()
图 12 测试集结果比较。(a)原图；(b)DeepLabv3+；(c)MRFE-CNN；(d)真实标签
Figure 12. Comparison of results. (a) Original image, (b) DeepLabv3+, (c) MRFE-CNN, (d) Real label
表 1 实验硬件配置
Table 1 Experimental hardware configuration
CPU GPU Memory System 2.60GHz Intel Xeon Platinum 8350C CPU NVIDIA RTX 3090 24GB Linux 
下载: 导出CSV
表 2 MRBlock模块消融实验
Table 2 Ablation experiment of MRBlock
Models Residual Block Basic Block MAGBlock ASPP Input_feature MPA% MIOU% Model_1 √ - - - x_l 90.8 81.07 Model_2 √ √ - - x_l+x_h 91.13 81.7 Model_3 √ √ *1 - x_l+x_h 91.91 82.6 Model_4 √ √ *2 - x_l+x_h 92.36 83.43 Model_6 √ √ *2 √ x_l+x_h 92.72 84.1 Model_7 √ √ *2 √ x_l 92.31 82.1 Model_8 √ √ *2 √ x_h 91.1 83.7
下载: 导出CSV
表 3 流行算法性能比较
Table 3 Performance comparison of popular algorithms
Methods MPA% MIOU% FCN-8s 8.16 5.74 FCN-16s 63.32 48.3 FCN-32s 58.37 42.32 U-Net 78.12 72.35 DUC 78.35 69.61 DeepLabv3+ 90.4 82.3 MRFE-CNN 92.72(+2.32) 84.1(+1.8)
下载: 导出CSV
表 4 公共数据集MSRS性能比较
Table 4 Performance comparison of MSRS
Methods MPA% MIOU% DeepLabv3+ 68.43 56.37 MRFE-CNN 71.82(+3.39) 58.14(+1.77)
下载: 导出CSV
-
[1] 刘致驿, 孙韶媛, 任正云, 等. 基于改进DeepLabv3+的无人车夜间红外图像语义分割[J]. 应用光学, 2020, 41(1): 180-185. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202001031.htm LIU Zhiyi, SUN Shaoyuan, REN Zhengyun, et al. Semantic segmentation of nocturnal infrared images of unmanned vehicles based on improved DeepLabv3+[J]. Journal of Applied Optics, 2020, 41(1): 180-185. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202001031.htm
[2] 夏威. 基于卷积神经网络的热红外图像语义分割研究[D]. 合肥: 安徽大学, 2020. XIA Wei. Thermal Image Semantic Segmentation Based on Convolutional Neural Networks[D]. Hefei: Anhui University, 2020.
[3] 景庄伟, 管海燕, 彭代峰, 等. 基于深度神经网络的图像语义分割研究综述[J]. 计算机工程, 2020, 46(10): 1-17. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202208003.htm JING Zhuangwei, GUAN Haiyan, PENG Daifeng, et al. Survey of research in image semantic segmentation based on deep neural network[J] Computer Engineering, 2020, 46(10): 1-17. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202208003.htm
[4] ZHAO L, WANG M, YUE Y. Sem-aug: improving camera-lidar feature fusion with semantic augmentation for 3d vehicle detection[J]. IEEE Robotics and Automation Letters, 2022, 7(4): 9358-9365. DOI: 10.1109/LRA.2022.3191208
[5] WANG J, LIU L, LU M, et al. The estimation of broiler respiration rate based on the semantic segmentation and video amplification[J]. Frontiers in Physics, 2022, 10: 1-13.
[6] XUE Z, MAO W, ZHENG L. Learning to simulate complex scenes for street scene segmentation[J]. IEEE Transactions on Multimedia, 2021, 24: 1253-1265.
[7] WANG Y, TIAN S, YU L, et al. FSOU-Net: Feature supplement and optimization U-Net for 2D medical image segmentation[J]. Technology and Health Care, 2023, 31(1): 181-195. DOI: 10.3233/THC-220174
[8] 郭尹. 基于深度学习的电力设备热红外图像语义分割方法研究[D]. 合肥: 安徽大学, 2022. GUO Yin. Research on Electrical Thermal Image Semantic Segmentation Method Based on Deep Learning[D]. Hefei: Anhui University, 2022.
[9] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 3431-3440.
[10] Adrinarayanan V, Kendall A, Cipolla R. Segnet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495. DOI: 10.1109/TPAMI.2016.2644615
[11] OLAF R, PHILIPP F, THOMAS B. U-Net: Convolutional networks for biomedical image segmentation[J]. CoRR, 2015, abs/1505.04597.
[12] ZHAO H, SHI J, QI X, et al. Pyramid scene parsing network[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2017: 2881-2890.
[13] LIN G, MILAN A, SHEN C, et al. Refinenet: Multi-path refinement networks for high-resolution semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1925-1934.
[14] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFS[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 40(4): 834-848.
[15] CHEN L C, ZHU Y, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation [C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 801-818.
[16] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1251-1258.
[17] 练琤, 张宝辉, 江云峰, 等. 基于语义分割的红外图像增强方法[J]. 红外技术, 2023, 45(4): 394-401. http://hwjs.nvir.cn/cn/article/id/012a14e0-e0f5-4854-94fa-7b0392f63498?viewType=HTML LIAN Zheng, ZHANG Baohui, JIANG Yunfeng, et al. An infrared image enhancement method based on semantic segmentation[J]. Infrared Technology, 2023, 45(4): 394-401. http://hwjs.nvir.cn/cn/article/id/012a14e0-e0f5-4854-94fa-7b0392f63498?viewType=HTML
[18] WANG J, GOU C, WU Q, et al. RTFormer: efficient design for real-time semantic segmentation with transformer[J]. arXiv e-prints, 2022: arXiv: 2210.07124.
[19] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. arXiv, 2017. DOI: 10.48550/arXiv.1706.03762.
[20] TU Z, TALEBI H, ZHANG H, et al. Maxim: Multi-axis MLP for image processing[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 5769-5780.
[21] JADON S. A survey of loss functions for semantic segmentation[C]//IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology (CIBCB). IEEE, 2020: 1-7.
[22] Sandler M, Howard A, ZHU M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4510-4520.
[23] 于营, 王春平, 付强, 等. 语义分割评价指标和评价方法综述[J]. 计算机工程与应用, 2023, 59(6): 13. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202306005.htm YU Ying, WANG Chunping, FU Qiang, et al. Survey of evaluation metrics and methods for semantic segmentation[J]. Journal of Computer Engineering & Applications, 2023, 59(6): 13. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202306005.htm
[24] WANG P, CHEN P, YUAN Y, et al. Understanding convolution for semantic segmentation[C]//IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018: 1451-1460.
计量
- 文章访问数: 68
- HTML全文浏览量: 24
- PDF下载量: 41
