Infrared and Visible Image Fusion Based on CNN with NSCT
-
摘要: 传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。Abstract: Traditional infrared and visible fused images suffer from missing details and blurred targets owing to single features in complex environments. This study presents a method for fusing infrared and visible images based on a convolution neural network(CNN) combined with a non-subsampled contourlet transform (NSCT). Firstly, the infrared and visible target feature information is extracted by CNN, and the source image is decomposed by the NSCT at multiple scales to obtain its high-frequency coefficients and low-frequency coefficients. Secondly, the high-frequency sub-bands and low-frequency sub-bands of the source image are fused separately using adaptive fuzzy logic and local variance contrast in combination with the target feature image. Finally, the fused image is obtained by inverse NSCT transformation. We conducted a comparative analysis with five other traditional algorithms. The experimental results show that the proposed method performs better in several objective evaluation indicators.
-
Keywords:
- image fusion /
- convolutional neural network /
- NSCT /
- fuzzy logic
-
0. 引言
基于GaSb材料,包括InAs,GaSb,AlSb等材料可以灵活地设计成各种新型材料和器件,尤其是InAs/GaSb超晶格具有独特的Ⅱ型能带结构,可以在器件结构中很方便地加入势垒层,提高器件工作温度和减小暗电流,在制作高性能红外探测器方面具有很大的潜力[1-3]。对于Ⅱ类超晶格红外探测器,在器件制备过程中台面侧壁角度和表面粗糙度对器件的表面漏电流和噪声等有较大的影响,严重制约着器件的性能。随着InAs/GaSbⅡ类超晶格红外焦平面阵列规模的增大,光敏元的尺寸和间距越来越小,所要求的线宽越来越小,精细度越来越高,对台面侧壁角度和表面粗糙度提出了更高的要求[4-5]。然而,传统的光刻胶掩膜已经无法满足工艺要求,取而代之的是二氧化硅(SiO2)等掩膜材料,相对于光刻胶掩膜层,复合掩膜层与超晶格材料具有较高的选择比,采用复合掩膜层能够获得更好的台面角度以及更光滑的侧壁形貌[6]。同时,对干法刻蚀工艺提出了更高的要求,良好的干法刻蚀工艺可以降低台面的侧向及底部钻蚀,从而提高阵列芯片上的占空比和器件的量子效率,降低光敏元间的串扰[7]。
本文采用SiO2/SiN复合掩膜,利用感应耦合等离子体刻蚀设备(Inductively coupled plasma)在不同工艺条件下刻蚀台面,并对ICP刻蚀台面出现的不同形貌特征进行了分析研究,通过调节ICP刻蚀工艺参数,获得了表面光滑的台面,刻蚀台面角度大于80°,刻蚀选择比大于8.5:1。同时对比不同台面刻蚀条件制备的长波640×512焦平面器件测试结果,侧壁平整光滑的焦平面器件暗电流密度降低1个数量级,达到10-4 A/cm2,焦平面器件综合性能有较大提高。
1. 实验方法
通过分子束外延(molecular beam epitaxy)生长得到InAs/GaSbⅡ类超晶格材料。材料结构为PπMN结构,整体结构见表 1。
表 1 InAs /GaSbⅡ类超晶格材料结构Table 1. Structure of InAs/GaSbⅡsuperlattice materialsThe epitaxial layer structure of the detector Thickness/nm Cap InAs(Si doped) 20 N 18ML InAs((Si doped)/3ML GaSb/5MLAlSb/3ML GaSb 401.4 M 18ML InAs/3ML GaSb/5MLAlSb/3ML GaSb 356.8 π 14ML InAs/7ML GaSb 2254 P 8ML InAs/12ML GaSb(Be doped) 524.3 Buffer GaSb 500 在上述材料衬底上首先通过ICP-chemical vapor deposition(ICP-CVD)依次制备一定厚度的SiO2/SiN复合掩膜层,如图 1(a)、(b)、(c)所示。随后在复合膜层上通过光刻工艺获得台面隔离沟槽3 μm,中心距15 μm的光刻图形,如图 1(d)所示;通过反应离子刻蚀(Reactive Ion Etching),使得光刻图形转移至复合掩膜层上,即在复合掩膜层上获得间距3 μm,中心距15 μm的图形,如图 1(e)所示;随即通过ICP以Cl基气体刻蚀超晶格材料并获得间距约3 μm,深度约为3.1 μm的台面结构,如图 1(f)所示;最后去除剩余SiO2掩膜层,如图 1(g)所示。
InAs/GaSbⅡ类超晶格材料的刻蚀设备为Sentech SI500,刻蚀气体为SiCl4/Ar/H2,实验分别采用4种ICP刻蚀工艺条件,如表 2所示。通过扫描电镜表征掩膜与超晶格材料选择比和侧壁形貌,原子力显微镜表征刻蚀表面粗糙度,焦平面测试系统表征长波640×512红外焦平面器件暗电流及相关性能参数。
表 2 InAs /GaSbⅡ类超晶格材料ICP刻蚀条件Table 2. ICP etching conditions of InAs /GaSbⅡ superlattice materialsCondition The gas flow rate SiCl4: Ar: H2(sccm) The radio frequency power/W ICP power /W Working pressure/Pa Thickness of SiO2/SiN mask/(Å) 1
2
3
46:15:5
6:15:5
6:10:5
6:10:5100
100
100
150200
200
200
2000.5
0.5
0.5
0.56000 ÅSiO2+1000Å SiN
8000Å SiO2+1000Å SiN
8000 Å SiO2+1000Å SiN
8000 Å SiO2+1000Å SiN2. 结果与讨论
2.1 SiO2/SiN复合掩膜层刻蚀
以CHF3/O2为刻蚀气体通过RIE设备对二氧化硅及氮化硅掩膜进行刻蚀,结果如图 2所示。掩膜刻蚀后刻蚀区域表面光滑,与超晶格材料表层形貌一致,刻蚀区域的均一性较好,刻蚀后掩膜侧壁较为陡峭,这得益于CHF3基刻蚀气体对二氧化硅和光刻胶有较好的刻蚀选择性。
2.2 InAs/GaSbⅡ类超晶格材料刻蚀
基于2.1制备的掩膜图形,采用条件1对InAs / GaSbⅡ类超晶格材料刻蚀后的角度大于80°,刻蚀深度为3.15 μm,台面隔离槽顶部宽为3.05 μm,底部宽为2.87 μm,剩余的SiO2约为3300Å,同时侧壁及底部较为光滑、无刻蚀产物残留,如图 3(a)所示,InAs/GaSb刻蚀速率为~3940Å/min,掩膜刻蚀速率为~460Å/min,超晶格材料与掩膜的选择比大于8.5:1。同时,利用原子力显微镜(atomic force microscope,AFM)对刻蚀台面底部进行粗糙度测量,在2 μm×2 μm面积内其均方根平均粗糙度达到0.193 nm,如图 3(b)所示。
以上结果表明采用复合掩膜刻蚀能够获得理想的台面阵列,但在台面顶部出现倒角,即侧向钻蚀,如图 3(a)黑框所示。采用刻蚀条件2制备台面,对比条件1将SiO2掩膜厚度由6000Å增加到8000Å,台面刻蚀结果如图 4(a)所示,掩膜厚度增加后,台面顶部侧向钻蚀有所缓解。
采用ICP刻蚀条件3制备台面,对比条件2,将Ar气流量减小5 sccm,台面顶部侧向钻蚀现象完全消失,如图 4(b)黑框内所示。因此,结合实验结果及刻蚀参数分析台面顶部侧向钻蚀现象消失的原因主要有两个,原因①:由于沉积SiN/SiO2掩膜厚度较薄,等离子体的物理轰击作用较多地作用在超晶格材料侧壁上[8],如图 5(a),同时由于Cl基刻蚀气体的化学作用,使得超晶格材料的刻蚀速率快于SiN/SiO2掩膜,从而在顶部出现侧向钻蚀现象;因此通过增加SiN/SiO2掩膜厚度使得等离子体的物理轰击作用较多的作用在SiN/SiO2掩膜上,如图 5(b),达到改善侧向钻蚀目的;原因②:超晶格材料各向异性刻蚀主要来自于SiCl4/H2与InAs/GaSb反应形成的聚合物附着在侧壁上形成阻挡层,阻止刻蚀气体进一步对侧壁的化学作用。但由于刻蚀过程中Ar气的比例过高,物理刻蚀作用过强使得侧壁聚合物分解,侧壁上的化学作用持续进行,从而出现侧向钻蚀。
增加SiN/SiO2掩膜厚度和降低Ar气流量,虽然解决了顶部侧向钻蚀问题,但在台面底部出现了钻蚀。为了解决底部钻蚀,将RF功率增加到150 W,即ICP刻蚀条件4,结果如图 6(a)所示,台面底部钻蚀现象消失。分析其主要原因为在射频源等离子体中,偏压是由附着在衬底上的电子产生,但由于SiO2薄膜的绝缘性,电子聚集在SiO2膜层上,尤其是在SiO2膜层角落,使得膜层表面带负电[9],从而影响Ar+离子的运动轨迹,导致底部钻蚀的形成,如图 6(b)所示。因此,在增加RF功率后,提高Ar+离子的动能以保证Ar+离子刻蚀方向性,降低膜层表面电荷对Ar+离子的运动轨迹的影响。在该条件下,台面侧壁陡直且光滑,刻蚀角度约为88°,选择比大于8.5:1。同时,采用刻蚀条件4制备的台面底部在2 μm×2 μm面积内其均方根平均粗糙度约为0.2 nm,如图 6(c)所示,说明ICP刻蚀条件1和4对平面刻蚀效果基本一致。
2.3 长波640×512焦平面器件测试结果
由于采用条件1、2、3制备台面均出现侧向钻蚀或底部钻蚀现象,不是理想的台面制备条件,因此仅选取条件1和条件4进行器件结果对比。采用ICP刻蚀条件1和条件4制备长波640×512焦平面器件,77 K下器件光谱测试结果表明50%截止波长为9.26 μm,如图 7(a)所示。77 K下暗电流对比结果如图 7(b)所示,在台面刻蚀工艺改善后,即采用条件4制备的长波640×512焦平面器件暗电流密度降低约1个数量级,达到3×10-4 A/cm2,反向偏压曲线平坦区更长,说明侧壁形貌以及光滑程度对器件暗电流存在较大影响。台面侧壁粗糙一是由于刻蚀沉积物附着在侧壁,二是由于刻蚀过程中物理轰击作用过大,而沉积物在侧壁容易形成漏电通道,过强的物理轰击作用会带来额外的刻蚀损伤,同时,台面顶部侧向钻蚀以及底部钻蚀位置的钝化膜覆盖度会减小,当器件在降温过程中,钝化膜容易开裂甚至脱落,降低钝化膜对侧壁漏电的抑制作用,上述原因均会增大器件暗电流。
采用ICP刻蚀条件4制备的焦平面器件,其黑体响应非均匀性较低,信噪比高,盲元率低,具有较好的器件性能,如图 8及表 3所示,同时该器件获得了清晰的焦平面成像图,如图 9所示。
表 3 长波640×512红外焦平面相关参数对比Table 3. Comparison of performance of long-wavelength 640×512 infrared focal plane arrayCondition 1 4 The signal-to-noise ratio 170 414 Noise equivalent temperature difference/mK 84 28 Non-uniformity/(%) 5.55 4.3 Operability/(%) 97.3 99.5 3. 结论
利用一定厚度的SiO2/SiN复合掩膜层以及优化后的ICP干法刻蚀工艺,获得了光滑的刻蚀表面以及接近垂直的台面角度,台面刻蚀角度大于80°,InAs/GaSb超晶格材料与掩膜刻蚀选择比大于8.5:1。同时由分析结果可知,SiO2/SiN复合掩膜层的厚度以及Ar气流量的大小对台面顶部的侧向钻蚀程度有一定影响,而下电极射频功率(RF)会影响到台面底部的钻蚀程度,通过增加掩膜层厚度、减小Ar气流量可有效减缓侧向钻蚀程度,而减小下电极射频功率(RF)可有效减缓底部的钻蚀程度。同时对比长波640×512焦平面器件测试结果发现,采用ICP刻蚀条件4制备的器件暗电流密度较小,约3×10-4 A/cm2,响应非均匀性、信噪比以及有效像元率等相关指标均有所提高。
-
图 3 红外图像“Nato_camp”及多种方法提取显著性图像:(a) 红外图像“Nato_camp”;(b) 图像“Nato_camp”标准分割图;(c) FT方法;(d) AC方法;(e) LC方法;(f) CNN方法
Figure 3. Infrared image ''Nato_camp'' and images after saliency extraction by various methods: (a) Infrared image "Nato_camp"; (b) Standard segmentation of image "Nato_camp"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method
图 4 红外图像“Kaptein”及多种方法提取显著性图像:(a) 红外图像“Kaptein”;(b) 图像“Kaptein”标准分割图;(c) FT方法;(d) AC方法;(e) LC方法;(f) CNN方法
Figure 4. Infrared image ''Kaptein'' and images after saliency extraction by various methods: (a) Infrared image "Kaptein"; (b) Standard segmentation of image "Kaptein"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method
图 6 “Nato_camp”红外和可见光图像以及融合结果:(a) 红外图像;(b) 可见光图像;(c) LP方法;(d) DWT方法;(e) BEMD方法;(f) NSST方法;(g) NSCT方法;(h) 本文方法
Figure 6. ''Nato_camp'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method; (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
图 7 “Kaptein”红外和可见光图像以及融合结果:(a) 红外图像;(b) 可见光图像;(c) LP方法;(d) DWT方法;(e) BEMD方法;(f) NSST方法;(g) NSCT方法;(h) 本文方法
Figure 7. ''Kaptein'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
图 8 “iron”红外和可见光图像以及融合结果:(a) 红外图像;(b) 可见光图像;(c) LP方法;(d) DWT方法;(e) BEMD方法;(f) NSST方法;(g) NSCT方法;(h)本文方法
Figure 8. ''iron'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
表 1 目标显著性提取评价指标MAE
Table 1 Target significance extraction evaluation index MAE
Method AC FT LC CNN MSE1 1429.6117 1816.0338 1377.7657 9.8357 MSE2 672.0769 1379.5997 1965.2603 17.2382 表 2 红外与可见光图像融合效果评价
Table 2 Infrared and visible image fusion effect evaluation
Image Image fusion method IE AG SF MI CEN “Nato_camp” LP 6.6747 5.5365 15.9373 1.7365 1.4858 DWT 6.9908 6.6575 17.4658 1.6712 0.6218 BEMD 6.6029 6.2838 17.1804 1.3671 1.7880 NSST 6.8419 5.8138 16.7266 1.3348 1.5568 NSCT 6.6224 6.3133 17.3085 2.0859 0.3409 Ours 7.1934 4.7142 17.5647 2.0883 0.3206 “Kaptein” LP 6.7174 4.0659 12.8846 3.2774 1.3173 DWT 7.1419 6.2009 18.9346 3.8891 1.0452 BEMD 6.7497 5.9790 19.4699 3.0136 1.2275 NSST 6.8063 4.4414 15.8489 3.9370 1.1409 NSCT 6.9281 6.3012 19.2932 3.6070 1.6858 Ours 7.2729 4.5076 20.1209 3.9387 1.0457 “iron” LP 6.4638 7.1542 20.2285 3.1355 0.5064 DWT 6.6377 11.7327 33.4574 3.3785 0.6087 BEMD 6.5765 9.4525 23.3567 3.4273 0.5408 NSST 6.7624 14.7945 39.4278 3.4058 0.5075 NSCT 6.7352 15.6254 40.4253 3.1668 0.4772 Ours 6.7648 14.7857 40.8547 3.8173 0.4117 -
[1] MA J Y, MA Yong. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] 董安勇, 杜庆治. 基于卷积神经网络的红外与可见光图像融合[J]. 红外技术, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009 DONG Anyong, DU Qingzhi. Infrared and visible image fusion based on vonvolutional neural network[J]. Infrared Technology, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009
[3] 杨孙运, 奚峥皓, 汪汉东, 等. 基于NSCT和最小化-局部平均梯度的图像融合[J]. 红外技术, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6 YANG Sunyun, XI Zhenghao, WANG Handong, et al. Image fusion based on NSCT and minimum-local mean gradient[J]. Infrared Technology, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6
[4] ZHANG Shuang, LIU Feng. Infrared and visible image fusion based on non-subsampled shearlet transform, regional energy, and co-occurrence filtering[J]. Electronics Letters, 2020, 56(15): 761-764. DOI: 10.1049/el.2020.0557
[5] LIU Yu, LIU Shuping, WANG Zengfu. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[6] CUI Y, DU H, MEI W. Infrared and visible image fusion using detail enhanced channel attention network[J]. IEEE Access, 2019, 7: 182185-182197. DOI: 10.1109/ACCESS.2019.2959034
[7] XIA Jingming, YI Lu. Intelligent fusion of infrared and visible image data based on convolutional sparse representation and improved pulse-coupled neural network[J]. CMC-Computers Materials & Continua, 2021, 67(1): 613-624.
[8] 肖中杰. 基于NSCT红外与可见光图像融合算法优化研究[J]. 红外技术, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010 XIAO Zhongjie. Improved infrared and visible light image fusion algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010
[9] MA Jinlei, ZHOU Zhiqiang. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics and Technology, 2017, 82: 8-17. DOI: 10.1016/j.infrared.2017.02.005
[10] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007 FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007
[11] 闫利, 向天烛. NSCT域内结合边缘特征和自适应PCNN的红外与可见光图像融合[J]. 电子学报, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002 YAN Li, XIANG Tianzhu. Fusion of infrared and visible images based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002
[12] 陈震, 杨小平. 基于补偿机制的NSCT域红外与可见光图像融合[J]. 仪器仪表学报, 2016, 37(4): 860-870. DOI: 10.3969/j.issn.0254-3087.2016.04.019 CHEN Zhen, YANG Xiaoping. Infrared and visible image fusion based on the compensation mechanism in NSCT domain[J]. Chinese Journal of Scientific Instrument, 2016, 37(4): 860-870. DOI: 10.3969/j.issn.0254-3087.2016.04.019
[13] 周渝人, 耿爱辉, 张强. 基于压缩感知的红外与可见光图像融合[J]. 光学精密工程, 2015, 23(3): 855-863. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503032.htm ZHOU Yuren, GENG Aihui, ZHANG Qiang. Fusion of infrared and visible images based on compressive sensing[J]. Optics and Precision Engineering, 2015, 23(3): 855-863. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503032.htm
[14] REN Long, PAN Zhibin. Infrared and visible image fusion based on edge-preserving guided filter and infrared feature decomposition[J]. Signal Processing, 2021, 186: 108108.
[15] FU Zhizhong, WANG Xue. Infrared and visible images fusion based on RPCA and NSCT[J]. Infrared Physics and Technology, 2016, 77: 114-123.