Infrared and Visible Image Fusion Based on Self-attention Learning
-
摘要: 为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。Abstract: Due to the lack of image saliency preserving in the existing fusion rules, a self-attention-guided infrared and visible light image fusion method is proposed. First, the feature map and self-attention map of the source images are learnt by the self-attention learning mechanism in the feature learning layer. Next, the self-attention map which can capture the long-distance dependent characteristics of the image is used to design average weighted fusion strategy. Finally, the fused feature maps are reconstructed to obtain the fused image, and the learning of image feature coding, self-attention mechanism, fusion rule, and fused feature decoding are realized by generative adversarial network. Experiments on TNO real-world data show that the learned self-attention unit can represent the salient region and benefit the fusion rule design, the proposed algorithm is better than SOAT infrared and visible image fusion algorithms in objective and subjective evaluation, and it retains the detailed information of visible images and infrared target information of infrared images.
-
Keywords:
- image fusion /
- self-attention /
- generative adversarial network /
- infrared images /
- deep learning
-
0. 引言
3~5 μm是光学系统中的重要研究波段,其对应红外窗口材料多以Ge或Si等高折射率材料作为基底,在其表面镀制高透过率、宽光谱覆盖增透膜层制备而成。在膜层制备过程中主要采用溅射和蒸发等工艺进行膜层沉积,但膜层的空隙结构、镀制缺陷、杂质污染、机械强度、粘接牢固度、化学稳定性、膜层兼容性、均匀性、致密性和微小外力损伤,以及高温高湿高盐雾的恶劣服役环境等众多因素都会引发膜层的损伤和失效,近而影响其环境适应性[1]。
自然环境试验是依据装备的实际服役条件,将装备或材料直接投置于类似环境或某种典型环境中进行试验研究。由于在自然环境试验过程中,样品会受环境中的多种应力和复杂环境因素共同作用,因此,与实验室试验相比,自然环境试验的结果能更加准确地反映出该材料或产品在实际环境条件下的可靠性。自然环境试验因素包括气象因素和介质因素,其中,气象因素包括温度、湿度、日照、降水、风速、气压和太阳辐射等,主要影响材料表面上水膜的形成和保持时间、去极化作用的大小以及应力作用等,对材料损伤失效的诱发性较强;介质因素主要包括大气中的各类介质污染物,如SO2、H2S、NO2、NH3、O3、海盐离子和尘埃等[2],可直接参与材料的化学反应过程,对试验样品的腐蚀速率和损伤程度有重要影响。膜层材料在热带海洋环境中发生腐蚀的主要影响因素有:温湿度大小、日照时长、太阳辐射强度,雨水pH值和各类大气介质浓度。此外,海水及其周围空气中含有NaCl、KCl、MgCl2、Na2SO4等海盐粒子,易形成较强的电解质溶液,其中,大量Cl-的存在使得海水具有较强的腐蚀性[3-5]。正是因为热带海洋环境的复杂性及恶劣性,对在此类环境中使用的各种装备及材料的耐蚀性和稳定性提出了较高的要求,同时也为各类材料的环境适应性研究提供了理想的试验平台。
本文针对锗镀红外增透膜在热带海洋环境中存在的膜层损伤和性能降低等问题,开展锗镀红外增透膜棚下自然暴露试验,共试验4个周期,对各期试验样品进行外观形貌观察、透过率检测和结构成分表征分析,结合自然环境因素作用,进行红外增透膜在热带海洋环境中的失效模式、损伤机理和透过率变化规律分析,并通过试验对比,探究防水层对膜层的保护作用。
1. 试验设计
1.1 试验样品与方法
温度、湿度和大气介质污染物等因素是引起膜层失效的重要因素,参考GB/T 9276-1996《涂层自然气候暴露试验方法》设计试验[5],选取12片尺寸为ϕ25.4 mm×3 mm,在3.7~4.8 μm波段具有较高透过率的锗镀增透膜样品进行热带海洋环镜棚下自然暴露试验,其中6片样品的膜层表面增镀有防水层,进行同步对比试验。以3个月为一个试验周期,每个试验周期按时取样,并进行形貌观察、失效模式分析、透过率检测及材料成分和结构表征分析,累计试验4个周期。
1.2 环境因素及其影响
含有气、液、固三相的大气系统,其成分包含气象因素、介质污染物及水溶性尘埃等,对装备材料的综合作用效果往往大于实验室单一变量的验证试验。例如,环境温度的高低对湿度大小有重要影响,实验室常用高温高湿条件验证装备材料的极端环境适应性,而热带海洋环境中监测数据显示,实际环境的温湿度表现出高温-低湿和低温-高湿的变化规律,具有较快的温度变化及较高的相对湿度,使得样品表面容易发生凝露现象。此外,大气介质污染物浓度受风向风速、日照、太阳辐射、降雨等因素影响,各类环境因素综合作用,又决定了样品表面水膜的形成、厚度、杂质含量、存在时间及去极化剂的作用等,近而影响大气平均腐蚀速度。例如有SO2存在时会在一定程度上消除了氧的扩散控制,同时在水膜中生成亚硫酸或被氧化成SO3而生成硫酸,这些作用会加速材料腐蚀;HCl溶于水膜会形成盐酸,加速金属的腐蚀作用;盐雾沉降在金属表面,既会破坏金属钝化膜又起到促进电化学腐蚀过程;H2S会引起Fe、Mg等材料的腐蚀;而NH3则极易溶于水膜,使得pH值增加[6-9],这些都体现出自然环境试验研究的复杂性和必要性。
海洋环境对材料的影响与其距海岸的距离密切相关,如碳钢的腐蚀率随海岸线的距离呈下降趋势,其腐蚀率和Cl—浓度随海岸线的变化规律相似,均随离海岸线距离变远而逐渐衰减,具体呈以下(1)、(2)式的幂函数关系[2]:
$$ D=41649x^{—0.9643 } $$ (1) $$ C=15.2x^{—1.162 } $$ (2) $$ D=30.50+6716C $$ (3) 式中:D为腐蚀率;x为距海岸线距离;C为Cl-浓度,mg/m3。
(3) 式表明,腐蚀率和Cl-浓度呈现线性关系,但一般在350 m以后都逐渐趋于稳定。本次投样试验棚距海岸线约350 m,其年度大气介质污染物浓度监测数据见表 1,反映出热带海洋环境高盐雾的环境特点。
表 1 大气介质污染物浓度Table 1. Concentration of pollutants in atmosphereSO2 Sea salt NO2 H2S NH3 Annual average/(mg⋅100 cm-2·d-1) 0.0509 0.0101 0.0060 0.0120 0.0122 Annual total/(mg/ cm-2·d-1) 0.6112 0.1115 0.0724 0.1443 0.1463 试验期内棚下温湿度的年度平均值及最值监测统计数据见表 2,年平均温度达25℃以上,年平均相对湿度达80%以上,体现出热带海洋环境典型的高温、高湿气候特点,且最高和最低温湿度值相差较大,对试验样品会产生较大的温湿度应力作用。
表 2 试验的自然环境温湿度Table 2. Temperature and humidity of test environmentTemperature/℃ Relative humidity/% Annual average 25.4 81 Annual maximum 38.2 98 Annual minimum 10.1 38 2. 试验结果
2.1 膜层损伤模式与变化规律
表面未镀防水层与镀防水层两类锗镀红外增透膜经4个周期的自然环境试验后样品显微图分别如图 1和图 2所示。由图片可以看出,两类增透膜的腐蚀变化规律基本相同,试验样品腐蚀模式主要为点蚀,未发现膜层大面积脱落现象,且腐蚀点主要集中在样品边缘位置,第一个试验周期,即在棚下暴露试验3个月后,样品表面基本未发生腐蚀;从第二个试验期开始,随试验周期增加,样品表面膜层的腐蚀点数量逐渐变大,但外层镀有防水层的样品腐蚀程度较小,暴露试验至第四周期时,只有样品边缘位置发生少量点蚀,其腐蚀程度与未镀膜样品的第二个试验周期结果相似,而外层未镀防水层样品试验至第三周期后,样品边缘位置点蚀已变得比较严重,第四周期时已发生明显的膜层脱落现象,样品边缘的膜层还发生变色。两类样品试验结果对比说明,在增透膜外层加镀防水层,对膜层的热带海洋环境适应性有较大改善作用。
2.2 腐蚀形貌与成分
镀防水层和未镀防水层第四周期试验样品腐蚀点SEM形貌分别如图 3中(a)和(b)所示,腐蚀点均为圆形,中心位置有腐蚀物沉积。从(b)中可以看出,腐蚀区膜层已严重脱落,距离中心点相同的位置,损伤膜层颜色相似,说明腐蚀是由中心位置向外逐渐均匀扩散,膜层出现变色、开裂及脱落现象。
试验样品膜层腐蚀点能谱如图 4所示,两类增透膜腐蚀点的能谱中均增加了Cl元素,未镀防水层膜样品的腐蚀点处能谱检测中还有K和Na,说明有盐参与了膜层腐蚀过程。
2.3 透过率变化
锗镀增透膜样品试验前(0#)及经第一(1#)第二(2#)、第三(3#)、第四(4#)周期试验后,其在3.7~4.8 μm波段的透过率变化情况图 5所示,所有膜层透过率均在98%以上,并未随着试验周期的增加而呈现出明显的降低趋势。未镀防水层增透膜在3.7~4.8 μm波段的平均透过率在98.31%~98.83%之间,波动范围较小,仅为0.52%;镀防水层增透膜的平均透过率在98.84%~98.89%之间,透过率最大变化量仅为0.05%,约为未镀防水层增透膜的1/10,基本可以忽略不计,对比说明,在增透膜表面增镀防水层可提高其性能稳定性和热带海洋环境适应性。
3. 腐蚀过程分析
不同试验周期样品的拉曼光谱如图 6所示,拉曼频移在288 cm-1的峰是氧八面体旋转/倾斜的拉曼特征峰,主要为增透膜的Si、Al、Mg的氧化物。与试验前相比,两类膜层试验样品的拉曼峰均向左偏移,主要是由于膜层与基底材料及不同膜层材料之间的热膨胀系数各不相同,而试验棚内温湿度差异较大,每天最大温度变化量可达20℃,相对湿度变化量可达70%以上,样品持续经受环境的温度和湿度等多种应力共同作用,使得膜层内部应力增加,从而引起拉曼特征峰发生红移。
海盐离子中的Cl-具有较强的结合键,是一种能破坏钝化层的活性离子,对于蒸发沉积薄膜来说,其结构相对疏松,空洞中会吸收空气中的水分子,当Cl-、空气、水分子等沿膜层缺陷进入膜层内,以该点为腐蚀电池的阳极,周围的膜为阴极发生腐蚀反应,并引起电流高度集中,在中心点附近出现鼓包,且腐蚀不断向孔内及周围发展,而在其近似等距离范围内,薄膜与基底之间产生较大的温度差异,从而导致薄膜发生热形变和热熔融[1]。此外,水分进入膜层后还会引发YbF3、MgO、Al2O3等物质发生吸潮现象,使得膜层稳定性降低,在腐蚀与应力的同时作用下,膜层最终出现点蚀和膜层脱落现象。
对未镀防水层样品的膜层表面进行XPS测试表征分析,结果如图 7所示。从图(a)XPS全谱图可以看出,与试验前相比,试验后表面膜层中多出了氯和钠等元素。对于单个元素谱图进行分析,图(b)中Si2p在103.3 eV处对应为SiO2,在原始样及前3个周期试验样品上均出现,是由于增透膜最外层即为SiO2,第四周期103.7 eV处对应为SiO2 quartz;氟化物膜层大多是多孔核状,密集度较低较软,且十分容易吸收水汽,图(c)中第二、三、四周期F1s在684.5 eV处对应为NaF,而图(d)中Yb4d在185.4 eV处对应为Yb2O3,说明从第二周期开始,增透膜内的YbF3开始吸潮后与盐等发生了化学反应;图(e)中4个试验期样品在Zn2p3/2的1021.4 eV处为ZnS、1022.1 eV处为ZnO、1022.6 eV处为ZnF2,而Zn2p1/2在1044.5 eV处为Zn4SiO7(OH)2·2H2O、1045.1 eV处为ZnO;图(f)中Al2p的74.0 eV处为Al(OH)3、74.2 eV处为Al2O3、74.6 eV处为Al2SiO5;图(g)中Ge2p1/2的1249.0 eV处为Ge,Ge2p3/2的1219.8 eV处为GeS2;图(h)中Mg1s的1302.7 eV处为Mg(OH)2、1304.0 eV处为MgAl2O4、1304.2 eV处为MgCl,说明各膜层在第二、三、四个试验周期时都发生了系列复杂的腐蚀反应。
4. 结论
本文通过锗镀红外增透膜及增镀防水层样品的棚下暴露试验,开展其热带雨林环境适应性和防水层对提高膜层环境适应性的作用研究。试验研究结果表明,锗镀红外增透膜膜层的腐蚀模式主要为点蚀,从第二个试验周期开始,膜层表面逐渐出现少量腐蚀坑、裂纹、变色和膜层脱落等宏观损伤现象,但腐蚀区域主要集中在玻璃膜层边缘;在高温高湿环境中,膜层内应力变大,其拉曼峰发生红移;在膜层的EDS和XPS中检测出氯和钠等元素及相关化学物,说明海盐粒子等大气介质污染物参与了膜层的腐蚀过程,但经4个周期的棚下暴露试验,镀防水层和未镀防水层的试验样品在3.7~4.8 μm波段的平均透过率依然在98%以上,表明该增透膜的热带海洋环境适应性较好,具有较高的使用价值。此外,试验结果显示,在增透膜表面加镀防水层后,一方面能增加膜层的透过率稳定性;另一方面,由于防水层降低了空气中的水汽和介质污染物等进入膜层内的速度和数量,减轻了膜层的腐蚀损伤程度,从而提高了锗镀红外增透膜的热带海洋环境适应能力,可为高温高湿高盐雾环境下使用的其他膜系在设计或工艺改进上提供参考。
-
表 1 不同融合方法的客观评价结果
Table 1 Objective evaluation results of different fusion methods
Method EN SD CC SF MG EI CSR 6.52 28.30 0.51 17.25 8.02 53.69 GTF 6.80 39.33 0.33 15.32 7.72 48.29 DenseFuse 6.93 37.50 0.53 16.24 8.29 53.48 IFCNN 6.84 35.65 0.48 20.38 10.43 67.09 FusionGAN 6.75 33.59 0.43 10.76 5.57 39.83 DDcGAN 7.45 51.98 0.26 17.02 8.72 62.09 SEDRFuse 6.99 42.49 0.51 14.83 7.21 56.37 Ours 7.29 45.20 0.52 25.11 13.02 93.30 -
[1] MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] YU X C, GAO G Y, XU J D, et al. Remote sensing image fusion based on sparse representation[C]//2014 IEEE Geoscience and Remote Sensing Symposium, 2014: 2858-2861.
[3] ZHAO W D, LU H C. Medical image fusion and denoising with alternating sequential filter and adaptive fractional order total variation[J]. IEEE Transactions on Instrumentation and Measurement, 2017, 66(9): 2283-2294. DOI: 10.1109/TIM.2017.2700198
[4] LI Y S, TAO C, et al. Unsupervised multilayer feature learning for satellite image scene classification[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(2): 157-161. DOI: 10.1109/LGRS.2015.2503142
[5] JIN X, JIANG Q, et al. A survey of infrared and visual image fusion methods[J]. Information Fusion, 2017, 85: 478-501.
[6] BAI X, ZHANG Y, ZHOU F, et al. Quadtree-based multi-focus image fusion using a weighted focus-measure[J]. Information Fusion, 2015, 22: 105-118. DOI: 10.1016/j.inffus.2014.05.003
[7] BAI X Z. Infrared and visual image fusion through feature extraction by morphological sequential toggle operator[J]. Information Fusion, 2015, 71: 77-86.
[8] LIU Y, CHEN X, PENG H, et al. Multi-focus image fusion with a deep convolutional neural network[J]. Information Fusion, 2017, 36: 191-207. DOI: 10.1016/j.inffus.2016.12.001
[9] MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[10] LI H, WU X J. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614-2623. DOI: 10.1109/TIP.2018.2887342
[11] WANG X, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]//Computer Vision and Pattern Recognition, 2018: 7794-7803.
[12] ZHANG H, GOODFELLOW I, Metaxas D, et al. Self-attention generative adversarial networks[C]//International Conference on Machine Learning, 2020: 7354-7363.
[13] 杨晓莉, 蔺素珍. 一种注意力机制的多波段图像特征级融合方法[J]. 西安电子科技大学学报, 2020, 47(1): 123-130. https://www.cnki.com.cn/Article/CJFDTOTAL-XDKD202001018.htm YANG X L, LIN S Z. Method for multi-band image feature-level fusion based on attention mechanism[J]. Journal of Xidian University, 2020, 47(1): 123-130. https://www.cnki.com.cn/Article/CJFDTOTAL-XDKD202001018.htm
[14] JIAN L, YANG X, LIU Z, et al. A symmetric encoder-decoder with residual block for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-15.
[15] LOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift [C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning, 2015, 37: 448-456.
[16] ZHANG Y, LIU Y, SUN P, et al. IFCNN: a general image fusion framework based on convolutional neural network [J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011
[17] YAN H, YU X, et al. Single image depth estimation with normal guided scale invariant deep convolutional fields[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 29(1): 80-92.
[18] LIU Y, CHEN X, WARD R, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886. DOI: 10.1109/LSP.2016.2618776
[19] MA J Y, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001
[20] MA J Y, XU H, JIANG J, et al. DDcGAN: a dual-discriminator conditional generative adversarial network for multi-resolution image fusion [J]. IEEE Transactions on Image Processing, 2020, 29: 4980-4995. DOI: 10.1109/TIP.2020.2977573