A Visible and Infrared Image Fusion Method based on Generative Adversarial Networks and Attention Mechanism
-
摘要: 针对低照度可见光图像中目标难以识别的问题，提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法，该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合。在生成对抗网络中，生成器采用具有编码层和解码层的U-Net结构，判别器采用马尔科夫判别器，并引入注意力机制模块，使得融合图像可以更关注红外图像上的高强度信息。实验结果表明，该方法在维持可见光图像细节纹理信息的同时，引入红外图像的主要目标信息，生成视觉效果良好、目标辨识度高的融合图像，并在信息熵、结构相似性等多项客观指标上表现良好。Abstract: A new fusion method for visible and infrared images based on generative adversarial networks is proposed to solve the problem of recognizing targets in low-light images; the method can be directly applied to the fusion of RGB three-channel visible images and infrared images. In generative adversarial networks, the generator adopts a U-Net structure with encoding and decoding layers. The discriminator adopts a Markovian discriminator, and the attention mechanism is introduced to force the fused image to pay more attention to the high-intensity information on infrared images. The experimental results show that the proposed method not only maintains the detailed texture information of visible images but also introduces the main target information of infrared images to generate fusion images with good visual effects and high target identification, and it performs well in information entropy, structural similarity, and other objective indexes.
-
0. 引言
湿法烟气脱硫利用石灰石浆液吸收烟气中的SO2，具有高效率和高可靠性等优势，已成为当前火电厂和化工厂脱硫的主力技术[1]。但是火电厂运行过程中，由于煤燃烧和SO2氧化，特别是在选择性催化还原脱销系统中催化剂作用下，SO2会更有利于氧化成生成SO3，造成烟气中SO3浓度显著增加[2-3]。烟气进入脱硫塔系统后，温度迅速冷却至酸露点以下，形成细小SO3酸雾，而单脱硫塔的SO3脱除效率仅为30%~40%[4]。
烟气中的SO3、SO2，HF及其它酸性物质会导致塔体金属发生化学腐蚀，脱硫塔内还存在电化学腐蚀、磨蚀、结晶腐蚀、垢下腐蚀和氯离子腐蚀[5]。在以上多种方式的共同作用下，受到内涂玻璃鳞片、聚烯烃共聚物、改性聚脲或纳米复合涂料等物质防护的脱硫塔仍可能发生腐蚀。
目前，对脱硫塔的检测主要有外观损伤、钢材厚度、力学性能、焊缝缺陷检测和构件变形等项目[6]。以上检测项目能够有效对停机后的脱硫塔健康状态进行评测。但是，对运行中的脱硫塔腐蚀状态进行有效检测未见文献报道。结合脱硫塔运行参数和结构参数，本文提出了采用传热学反演的方法根据表面红外热像进行运行中脱硫塔壁厚定量检测，并以某厂的烟气脱硫塔为对象进行了实验验证。
1. 脱硫塔传热模型
研究对象为图 1所示的脱硫塔，其内部环境复杂，无法布置有效的温度测量装置；脱硫过程是一个包含了传热、传质和化学反应的复杂过程，难以准确地用数学语言描述。为了建立脱硫塔的传热模型，本文进行以下简化：
1）脱硫塔为轴对称结构，内壁面热流沿周向分布均匀；
2）脱硫塔内部有玻璃鳞片防腐涂层，涂层质地均匀且热物性参数为各向同性；
3）烟气和石灰浆液对脱硫塔的传热，可等效为对脱硫塔内壁施加有沿轴向分布的加热热流；
4）忽略脱硫塔内部喷嘴和支撑结构对脱硫塔壁面温度分布的影响；
5）忽略脱硫塔内壁和防腐涂层的接触热阻；
6）忽略脱硫塔的轴向导热；
7）脱硫塔的温度场为稳态。
脱硫塔浆液区是腐蚀的重灾区，本文以浆液区段为研究对象，简化后的脱硫塔浆液区如图 2所示，具体几何参数及热物性参数见表 1。脱硫塔内壁s1存在轴向分布热流，外表面s2与环境存在对流换热，且s2面上的温度可以直接测量，其他表面s3绝热。记x＝(ϕ, θ, z)为空间坐标向量，脱硫塔温度场的控制方程为：
表 1 脱硫塔几何参数及热物性参数Table 1. Geometric parameters and thermophysical parameters ofdesulfurization towerMaterial Thickness /
mmDiameter/
mmThermal conductivity/
[W/(m·K)]Anticorrosive
coating4 5520 0.35 The tower wall 14 5528 48.85 $$\frac{1}{r}\frac{\partial }{{\partial r}}(\lambda (\mathit{\boldsymbol{x}})r\frac{{\partial T(\mathit{\boldsymbol{x}})}}{{\partial r}}) + \frac{1}{{{r^2}}}\frac{\partial }{{\partial \varphi }}(\lambda (\mathit{\boldsymbol{x}})\frac{{\partial T(\mathit{\boldsymbol{x}})}}{{\partial \varphi }}) + \frac{\partial }{{\partial z}}(\lambda (\mathit{\boldsymbol{x}})\frac{{\partial T(\mathit{\boldsymbol{x}})}}{{\partial z}}) = 0$$ (1) 边界条件为：
$$ - \lambda (\mathit{\pmb{x}})\frac{{\partial T(\mathit{\pmb{x}})}}{{\partial n}} = q(z)\;\quad \mathit{\pmb{x}} \in {s_1}$$ (2) $$ - \lambda (\mathit{\pmb{x}})\frac{{\partial T(\mathit{\pmb{x}})}}{{\partial n}} = h(T(\mathit{\pmb{x}}) - {T_f})\;\quad \mathit{\pmb{x}} \in {s_2}$$ (3) $$ - \lambda ({\mathit{\pmb{x}}})\frac{{\partial T({\mathit{\pmb{x}}})}}{{\partial n}} = 0\;\;\;\;\;{\mathit{\pmb{x}}} \in {s_3}$$ (4) 式中：q(z)为内壁沿轴向z的热流密度分布；h为表面s2的对流换热系数；Tf为环境温度；n为表面的外法线方向。
若已知脱硫塔的几何结构和热边界条件，利用有限元法（finite element method, FEM）求解公式(1)~(4)，可以确定脱硫塔的温度场T(x)，作为壁厚检测的基础。
2. 基于反问题的脱硫塔壁厚检测
运行中脱硫塔壁厚d是影响脱硫塔表面温度分布的关键因素之一，如果脱硫塔壁面腐蚀减薄，则传热热阻减小，在腐蚀部位对应的塔外表面形成局部高温区域，如图 1(b)所示。因此，可通过求解导热反问题根据脱硫塔表面红外热像进行脱硫塔壁厚检测。
2.1 壁厚检测方案
在如图 2所示的脱硫塔表面热像图中，选取高温区域的K个温度测点，依据此测量信息Tkmea（k＝1, 2, …, K）采用共轭梯度方法（conjugate gradient method，CGM）求解多变量稳态传热反问题[7-8]，进行壁厚d的反演；由于脱硫塔为薄壁结构，热扩散效应较弱，则外表面高温区域可看作与内壁腐蚀区域接近。为了便于问题讨论，在本文中，内壁腐蚀区域用圆柱近似。
然而，壁厚反演过程中正问题的计算需要已知脱硫塔内壁热边界条件如热流q(z)。而内壁热流q(z)难以直接测量。如果直接同时反演壁厚和内壁热流q(z)，可能因为测量信息不能够同时对壁厚和热流具有较大的灵敏度，造成检测系统的病态程度加剧。
因此，检测方案包括了两步：先进行内壁热流定量识别，再定量识别壁厚。内壁热流可采用CGM反演得到：在脱硫塔外表面高温区域附近同等高度的温度正常区域沿周向选取M个测点，以该测点的温度信息Tmmea（m＝1, 2, …, M）反演该位置处的脱硫塔内壁热流q；内壁热流沿高度方向变化，但是周向分布均匀，以第一步反演得到的内壁热流q作为壁厚反演中正问题的已知热边界条件，以高温区域的温度测量信息作为壁厚反演的依据，提高了测量信息对壁厚的灵敏度，有利于削弱壁厚检测问题的病态程度。
2.2 共轭梯度算法
利用共轭梯度算法求解壁厚反问题，通过迭代优化使得目标函数J(d)足够小或者达到最大迭代步imax，对应的壁厚d即为所求。目标函数J(d)可表示为：
$$J({d_i}) = \sum\limits_{k = 1}^K {{{[T_k^{{\rm{cal}}}({d_i}) - T_k^{{\rm{mea}}}]}^2}} \le \varepsilon $$ (5) 式中：Tkmea为在脱硫塔红外热像图上提取的第K个温度测量值；di为第i次迭代得到的壁厚的猜测值；Tkcal(di)是根据di进行正问题计算得到的第k个测量位置处的温度计算值。K为在红外热像图上提取的温度测量值的数目。停机标准ε可由下式表示：
$$ \varepsilon = K{\sigma ^2} $$ (6) 式中：σ为测量误差的标准差。
CGM沿着已知点处的梯度所构造出的共轭方向迭代搜索目标函数的极小点，迭代过程中对壁厚猜测值的修正可表示为：
$$ {d_i}_{ + 1} = {d_i} - {\alpha _i}{\mathit{\boldsymbol{\gamma }}_i} $$ (7) 式中：αi为搜索步长；γi为搜索方向。
搜索步长αi表示为：
$${\alpha _i}{\rm{ = }}\sum\limits_{k = 1}^K {[T_k^{{\rm{cal}}}({d_i}) - T_k^{{\rm{mea}}}]\nabla T_k^{{\rm{cal}}}({d_i}){\mathit{\boldsymbol{\gamma }}_i}} /\sum\limits_{k = 1}^K {\nabla T_k^{{\rm{cal}}}({d_i}){\mathit{\boldsymbol{\gamma }}_i}} $$ (8) 搜索方向γi可由下式表示：
$${\boldsymbol{\gamma} _i}{\rm{ = }}\nabla J({d_i}) + {\beta _i}{d_{i - 1}}$$ (9) 式中：▽J(di)为目标函数的梯度；βi为共轭系数，可根据式(10)计算：
$${\beta _i}{\rm{ = }}{\left[ {\nabla J({d_i})/\nabla J({d_{i - 1}})} \right]^2}$$ (10) 利用CGM根据红外热像图中正常区域温度反演该位置处的脱硫塔内壁热流q，其过程可参考公式(6)~(10)，在此就不一一赘述。
2.3 迭代求解流程
应用CGM根据脱硫塔红外热像图反演壁厚的计算步骤如下：
1）根据红外热像图，对异常区域进行辨识；
2）反演异常区域脱硫塔内壁热流q；
3）给出壁厚初始猜测值d0；
4）通过求解公式(1)~(4)，得到测点处的计算温度Tkmea（k＝1, 2, …, K），并代入公式(5)：
$$J({d_i}) = \sum\limits_{k = 1}^K {{{[T_k^{\rm{cal}}({d_i}) - T_k^{\rm{mea}}]}^2}} \leqslant \varepsilon $$ (11) 如果满足上述条件，di即为所求，停止迭代；否则继续；
5）按公式(8)~(10)对CGM里的参数进行更新；
6）根据公式(7)更新壁厚d的猜测值，并返回步骤4）。
3. 脱硫塔检测结果及分析
选取环境温度Tf＝20℃，对流换热系数h＝10 W/(m2·K)。异常区域温度测点数量K＝3；正常区域温度M＝2。考虑到实际测量过程中，温度测量误差是无法消除的，通过现场标定，测量误差σ＝0.055℃，ε＝0.01。
1）数值实验验证
为了验证检测系统的有效性和精确性，本文先进行脱硫塔内部缺陷检测的数值实验。在数值实验中，脱硫塔的热边界条件、几何参数和热物性参数均与实际过程相同，假设真实壁厚de＝16 mm。
数值实验中设置不同大小的测量误差，以考察测量误差对缺陷检测结果的影响。实验结果如表 2所示。
表 2 不同测量误差时的检测结果Table 2. The detection results of the different measurementerrorsMeasurement
error σDetect wall
thickness d/mmRelative
error/ %0.055 15.92 0.50 0.1 16.35 2.19 0.2 17.14 7.13 从表 2可以看出，随着测量误差的增大，壁厚检测结果的精确性下降。如σ＝0.2℃时，相对误差为7.13%，在工程上可以接受。
2）依据现场红外热像反演
① 高温区域1
如图 3所示，高温区域1的最高温度为48.2℃，区域的最大温差为1.4℃。利用基于导热反问题的脱硫塔壁厚检测方法，对高温区域1的壁厚进行计算，结果为d＝14.6 mm，即该区域玻璃鳞片厚度为0.6 mm。考虑到计算误差，可判定为防腐涂层已磨损殆尽或脱落，若不处理，塔壁金属将受到快速腐蚀。在检测后30天左右，脱硫塔停机检修，发现高温区域1的防腐涂层已脱落，证实了本方法的正确性。
![]()
图 3 高温区域1对应的红外热像图Figure 3. Infrared image of the high temperature region 1(a) Infrared image of the tower (b) Local enlargement picture② 高温区域2
如图 4所示，高温区域2的最高温度为48.3℃，区域的最大温差为1.2℃。对高温区域2的壁厚进行反演：d＝15.8 mm，即该区域防腐涂层厚度为1.8 mm，可判定为防腐涂层已减薄。
③ 高温区域3
如图 5所示，高温区域3的最高温度为48.1℃，区域的最大温差为3.7℃。对高温区域3的壁厚进行反演：d＝6.5mm。表明该区域脱硫塔金属塔壁已发生腐蚀，减薄了7.5mm，应尽快排查、检修。
4. 结论
本文采用导热反问题的方法，根据红外热像图对运行中的脱硫塔壁厚进行了检测。其中，脱硫塔壁厚和脱硫塔内壁面热流的反演均采用共轭梯度法。首先通过数值实验，验证了本方法的可行性。然后，依据红外热像进行反演，发现脱硫塔筒体腐蚀1处，防腐涂层脱落1处，防腐涂层减薄1处。在后续的停机检修时对上述部进行了复核，均验证了上述检测结果，表明了基于表面红外热像的脱硫塔壁厚定量检测方法的有效性和准确性。
防腐涂层厚度的不一致，脱硫塔内介质分布的不均匀，红外热像仪精度以及环境等因素，可能会给壁厚检测结果引入误差，造成识别精度下降。如何提高壁厚检测精度，仍是下一步研究的方向。
-
表 1 生成器网络参数
Table 1 The parameters of generator
Convolution layer Kernel size/stride Padding Input size Output size Conv1 4×4/2 (1, 1) 480×640×4 240×320×32 CBAM 4×4/2 (1, 1) 240×320×32 240×320×32 Conv2 4×4/2 (1, 1) 240×320×32 120×160×64 Conv3 4×4/2 (1, 1) 120×160×64 60×80×128 Conv4 4×4/2 (1, 1) 60×80×128 30×40×256 Conv5 4×4/2 (2, 1) 30×40×256 16×20×512 Conv6 4×4/2 (1, 1) 16×20×512 8×10×512 Conv7 4×4/2 (1, 2) 8×10×512 4×6×512 Conv8 4×4/2 (1, 1) 4×6×512 2×3×512 ConvTrans8 4×4/2 (1, 1) 2×3×512 4×6×512 ConvTrans7 4×4/2 (1, 2) 4×6×1024 8×10×512 ConvTrans6 4×4/2 (1, 1) 8×10×1024 16×20×512 ConvTrans5 4×4/2 (2, 1) 16×10×1024 30×40×256 ConvTrans4 4×4/2 (1, 1) 30×40×512 60×80×128 ConvTrans3 4×4/2 (1, 1) 60×80×256 120×160×64 ConvTrans2 4×4/2 (1, 1) 120×160×128 240×320×32 ConvTrans1 4×4/2 (1, 1) 240×320×64 480×640×3 
下载: 导出CSV
表 2 判别器参数
Table 2 The parameters of discriminator
Convolution layer Kernel size/stride Padding Output size Conv1 4×4/2 (1, 1) 240×320×64 Conv2 4×4/2 (1, 1) 120×160×128 Conv3 4×4/2 (1, 1) 60×80×256 Conv4 4×4/2 (1, 1) 30×40×512 Conv5 4×4/2 (1, 1) 15×20×512 Conv6 1×1/1 (0, 0) 15×20×1
下载: 导出CSV
表 3 融合图像客观指标值
Table 3 The quantitative comparisons of fusion images
Fusion methods EN MI FMI SSIM CC PSNR LP 5.918 11.836 0.944 0.681 0.646 68.496 LP-SR 6.393 12.785 0.945 0.823 0.566 67.801 NSCT 5.821 11.643 0.942 0.671 0.652 68.575 NSCT-SR 6.224 12.447 0.940 0.859 0.575 67.472 DTCWT 5.804 11.608 0.942 0.670 0.647 68.570 DTCWT-SR 6.455 12.910 0.945 0.782 0.525 67.338 DenseFuse 6.036 12.071 0.939 0.631 0.684 67.319 CBAM-GAN 5.918 11.836 0.928 0.796 0.649 68.751 Avarage 6.111 12.223 0.941 0.740 0.606 67.967
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] Burt P J, Adelson E H. The Laplacian pyramid as a compact image code[J]. Readings in Computer Vision, 1987, 31(4): 671-679. https://www.sciencedirect.com/science/article/pii/B9780080515816500659
[3] Selesnick I W, Baraniuk R G, Kingsbury N C. The dual-tree complex wavelet transform[J]. IEEE Signal Processing Magazine, 2005, 22(6): 123-151. DOI: 10.1109/MSP.2005.1550194
[4] A L da Cunha, J Zhou, M N Do. Nonsubsampled contourilet transform: filter design and applications in denoising[C]//IEEE International Conference on Image Processing 2005, 749: (doi: 10.1109/ICIP.2005.1529859).
[5] Hariharan H, Koschan A, Abidi M. The direct use of curvelets in multifocus fusion[C]//16th IEEE International Conference on Image Processing (ICIP), 2009: 2185-2188(doi: 10.1109/ICIP.2009.5413840).
[6] LI Hui. Dense fuse: a fusion approach to infrared and visible images[C]//IEEE Transactions on Image Processing, 2018, 28: 2614- 2623(doi: 0.1109/TIP.2018.2887342).
[7] MA J, YU W, LIANG P, et al. Fusion GAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[8] Ronneberger O, Fischer P, Brox T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention, 2015: 234-241.
[9] Hwang S, Park J, Kim N, et al. Multispectral pedestrian detection: Benchmark dataset and baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1037-1045.
[10] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems, 2014: 2672-2680.
[11] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J/OL][2015-11-07]. arXiv preprint arXiv: 1511.06434, 2015: https://arxiv.org/abs/1511.06434v1.
[12] MAO X, LI Q, XIE H, et al. Least squares generative adversarial networks[C]//2017 IEEE International Conference on Computer Vision (ICCV), 2017: 2813-2821(doi: 10.1109/ICCV.2017.304).
[13] Isola Phillip, ZHU Junyan, ZHOU Tinghui, et al. Image-to-image translation with conditional adversarial networks, 2017: 5967-5976 (doi: 10.1109/CVPR.2017.632).
[14] Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in Neural Information Processing Systems, 2015: 2017-2025.
[15] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.
[16] Woo S, Park J, Lee J Y, et al. Cbam: convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.
-
期刊类型引用(1)
1. 单幼芳. 基于深度学习算法的太赫兹人体安检图像处理技术研究. 电脑编程技巧与维护. 2024(07): 127-129 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 573
- HTML全文浏览量: 150
- PDF下载量: 129
- 被引次数: 2
