Saliency-based Multiband Image Synchronization Fusion Method
-
摘要: 针对多波段融合图像存在对比度低、显著目标不突出的问题，本文提出了一种基于显著性的多波段图像同步融合方法。首先，近红外图像被用来作为数据保真项，红外图像和可见光图像分别为融合结果提供红外显著信息和细节信息；其次，基于视觉显著的红外显著区域提取方法被用来构造权重图，以克服融合结果显著区域不突出和边缘模糊问题；最后，采用交替方向乘子法（alternating direction method of multipliers, ADMM）来求解模型，得到融合结果。研究结果表明，较于代表性图像融合算法，所提算法能在保留红外图像热辐射信息的同时，保有较好的清晰细节，并在多项客观评价指标上优于代表性算法。Abstract: To address the problem of low contrast and inconspicuous salient objects in multi-band image fusion, this paper presents a saliency-based multiband image synchronous fusion method. First, a near-infrared image was used as a data fidelity item, and infrared and visible light images provided salient and detailed information on the results of fusion, respectively. Second, a visual saliency-based infrared salient region extraction method was used to construct a weight map to overcome unsalient regions and blurred edges in the results of fusion. Finally, the alternating direction method of multipliers (ADMM) was used to solve the model and obtain the results of fusion. The research results showed that, compared with a representative image fusion algorithm, the proposed algorithm retained the thermal radiation information of the infrared image while retaining clearer details, and was better in many objective evaluation indicators.
-
Keywords:
- image fusion /
- multi-band images /
- saliency /
- total variation
-
0. 引言
锑化铟（InSb）是一种窄禁带Ⅲ-Ⅴ族半导体材料，77 K时禁带宽度为0.232 eV[1]，在3~5 μm波段是本征吸收，拥有极高的电子迁移率[2]，目前是中波红外探测器的最佳材料之一。与其他半导体相比，InSb硬度较低（锑化铟的硬度为223 knoop，硅的硬度为1150 knoop）[3]，在抛光时表面极易被划伤。材料的表面状态（如划痕、粗糙度和平整度）对InSb器件的性能有很大的影响[4]。例如表面粗糙度不理想，会使表面悬挂键密度过大，吸附力增强，更容易吸附金属离子造成漏电流增大，从而影响器件性能[5]。
多数情况下，半导体材料的表面加工以机械抛光为主。机械抛光方法是通过受压的晶片表面和抛光垫之间的摩擦作用来进行抛光，这种方法简单方便，但由于晶片表面和抛光垫之间的摩擦不易被控制，会造成过多的机械作用而导致晶片表面损伤，也会使材料表面去除不均匀，表面粗糙度大[6]。近年来，通过化学氧化结合机械作用的化学机械抛光方法逐渐被科研工作者所采用，该方法是通过成膜-去膜-再成膜-再去膜的方式来进行抛光，利用化学作用先将抛光片表面氧化成膜，再结合机械作用磨削去膜[7]。其优点在于表面生成的氧化层能对晶片表面起到保护作用，减少了表面损伤。此外，氧化层相比抛光材料质地软，在抛光过程中容易去除。事实上，上述两种抛光方法各有优劣。然而，采用这两种抛光方法对InSb晶片进行表面处理的对比研究鲜有报道。
为了弄清不同抛光方法对InSb晶片表面质量的影响，本文通过开展化学机械抛光和机械抛光对InSb晶片表面质量影响的对比研究，同时对化学机械抛光晶片表面氧化层的生成机理进行分析，期望获得高表面质量InSb晶片的抛光方法，为该晶片的抛光提供理论依据。
1. 实验
实验所用的InSb材料是切克劳斯基直拉法生长的体晶，经切割后，选出同一锭上的相邻晶片，分别用3别用的氧化铝磨料和1氧化的氧化铝抛料进行研磨、粗抛，获得平整度、损伤、厚度一致性较高的晶片作为初始样品。氧化铝抛料颗粒度较大，粗抛后会给晶片表面造成一定程度的损伤，表面粗糙，且出现大量划痕，需采用SiO2溶胶对晶片表面进一步抛光。
本文用SiO2溶胶和纯水按体积比1:1配制两份抛光液，其中一份加入一定体积分数的双氧水（H2O2），另一份未加双氧水。分别采用配制好的两份抛光液对InSb晶片进行抛光，均在Logitech PM6设备上进行，设备转速为15 rpm，滴速为8 mL/min，抛光压力为200~300 g/cm2，抛光时间为30 min。将加入双氧水的抛光视为化学机械抛光和未加双氧水的抛光则为机械抛光，二者形成对比。实验用SiO2溶胶的固相含量约12%~14%，颗粒直径为80~100 nm，双氧水为UP级。
InSb晶片在两种抛光液中的静态交流阻抗采用电化学工作站三电极模式进行测试，其中Pt网作为工作对电极，Ag/AgCl作为参比电极，工作电极为2 cm×2 cm方形InSb晶片。待样品制备完毕后，利用OLYMPUS MX51型显微镜暗场放大100倍观察抛光晶片的表面划痕情况，晶片表面粗糙度和平整度的表征使用zygo newview8300型表面轮廓仪进行，采用HR-X射线衍射仪测试回摆曲线，获得晶片半峰宽数据，最后通过实验数据对比分析抛光晶片表面质量。
2. 结果与分析
2.1 化学机械抛光过程中InSb晶片表面氧化层的生成
抛光液中未加入双氧水，抛光过程是抛光垫与InSb材料的磨削，属于纯机械抛光。抛光液中加入双氧水（氧化剂）之后，抛光过程中InSb晶片表面先被氧化，生成氧化层，然后氧化层再与抛光垫磨削，这样的抛光将化学氧化和机械抛光相结合，被视为化学机械抛光。化学机械抛光过程中InSb晶片表面发生化学反应为[8]：
$$ {{\text{H}}_{2}}{{\text{O}}_{2}}\to {{\text{H}}_{2}}\text{O}+\left[ \text{O} \right] $$ (1) $$ 2\text{InSb}+6\left[ \text{O} \right]\to \text{I}{{\text{n}}_{2}}{{\text{O}}_{3}}+\text{S}{{\text{b}}_{2}}{{\text{O}}_{3}} $$ (2) $$ \text{S}{{\text{b}}_{2}}{{\text{O}}_{3}}+2\left[ \text{O} \right]\to \text{S}{{\text{b}}_{2}}{{\text{O}}_{5}} $$ (3) $$ \text{S}{{\text{b}}_{2}}{{\text{O}}_{5}}+\text{I}{{\text{n}}_{2}}{{\text{O}}_{3}}\to 2\text{InSb}{{\text{O}}_{4}} $$ (4) 式中：双氧水分解生成了游离态的O原子，这些O原子与悬挂键结合形成氧化物，如式(2)。Sb2O3不稳定，会继续与原子氧反应生成Sb2O5，新生态的Sb2O5则会与In2O3相互作用生成InSbO4。这些氧化物属于酸性氧化物，在与抛光垫相互作用的过程中，会形成可溶于抛光液的锑酸盐和铟酸盐，从而被抛光液带走。
图 1为InSb晶片在不同抛光液中的静态交流阻抗谱，交流阻抗是测定不同频率的扰动信号和响应信号的比值，得到不同频率下阻抗的实部Z'、虚部Z"和相位角f。图中Measured为测试数据，Simulated为拟合数据（用zview软件分别建立图中等效电路后获得）。其中RΩ是溶液阻抗，RCT是电荷转移阻抗，为电极/电解液两相界面之间电荷转移电阻，C是双电层电容。如图 1(a)所示，由于InSb为半导体，导电性较差，导致工作电极（InSb）表面极化严重，电极和电解液界面的双电层厚度增加，继而使得电荷转移电阻偏大。当工作电极在有双氧水存在的电解液中时，由于双氧水的强氧化作用，使得电极表面生成一层氧化物覆盖的薄膜，Nyquist图拟合分析此时体系中存在两个界面，为R(CRCT)(CRCT)模型，即电极/氧化物薄膜和氧化物膜薄/电解液两个界面，这时电荷转移电阻主要由氧化物薄膜与溶液之间的界面情况决定，如图 1(b)。由于测试过程中时间较短，电极表面所产生的氧化层较为稀松，所以产生的薄膜不会阻挡电解液和电极表面的接触，因此氧化反应是持续进行的，即电荷在氧化物薄膜/电解液之间的界面转移较容易，因此电荷转移阻抗较小。通过对比图 1(a)和(b)，能够看出加双氧水之后界面增加了一个双电容层，电荷转移电阻变小，可见InSb和抛光液界面有氧化层生成。
![]()
图 1 InSb晶片在不同抛光液中的交流阻抗谱Figure 1. Nyquist diagram of InSb wafers in different polishing solutions2.2 InSb抛光晶片表面质量分析
2.2.1 表面划痕情况
InSb晶片质地较软，表面极易划伤。图 2是不同抛光方式下InSb晶片的表面在显微镜暗场观察图片。从图 2(a)中可以看出，经未加双氧水的机械抛光后的晶片表面有许多细小的划痕，加入双氧水的化学机械抛光晶片表面几乎无划痕。表面的划痕主要是晶片和抛光垫之间硬颗粒物划伤引起。抛光液中未加双氧水时，InSb晶片抛光过程属于纯机械抛光，是利用受压的锑化铟晶片表面和抛光垫之间的摩擦作用进行，磨削下的InSb小颗粒主要随抛光液带走，带走途中残留的小颗粒不可避免地划伤晶片表面，导致晶片表面有细微的划痕。然而，抛光液中加入双氧水之后，晶片表面先发生化学氧化反应生成氧化物软质层，该软质层保护了InSb晶片免受颗粒的刮擦作用，减少表面划伤。其次，该表面软质层部分溶解在抛光溶液中，其余部分则主要靠与抛光垫的磨削，最终被抛光液带走。相比InSb颗粒，磨削的软质氧化物颗粒在被抛光液带走途中，或残留在界面都极大减少了晶片表面的划伤，能有效减少表面划痕。
![]()
图 2 显微镜暗场InSb晶片表面形貌Figure 2. Surface morphology of InSb wafer by dark field of microscope2.2.2 表面粗糙度
采用纯机械抛光和化学机械抛光进行抛光的InSb晶片表面轮廓图像如图 3所示。在图 3(a)中可见未加双氧水抛光后InSb晶片表面高低起伏较大，表面粗糙度Sa＝1.270 nm，表面平整度Sz＝14.187 nm。在图 3(b)中可见加双氧水抛光后InSb晶片表面较平滑，表面粗糙度Sa＝0.606 nm，表面平整度Sz＝6.916 nm。相比之下，采用加双氧水的化学机械抛光方法加工的晶片表面粗糙度和平整度明显较低，主要是化学机械抛光中化学作用的均匀性好，表面划伤小、平整度高。可见化学机械抛光能改善了抛光晶片质量，得到更好的抛光表面。
2.2.3 表面损伤
使用X射线双晶衍射仪检测不同抛光方式下的InSb晶片表面损伤。X射线双晶衍射对材料的损伤应变层非常敏感，晶片表面的晶格遭到破坏会引起衍射曲线半峰宽的宽化。这就是说，半峰宽的值越大，表明晶片表面损伤大，反之则反[9]。图 4给出了不同抛光方式下的InSb晶片表面损伤检测结果，从图中可以看出，未加双氧水抛光晶片的半峰宽（full width at half maximum，FWHM）值为21.2 arcsec，加双氧水之后，曲线峰强更大，峰宽明显变窄，半峰宽值为17.5 arcsec。由此可见，加双氧水抛光晶片半峰宽较小，其表面损伤小，主要是化学机械抛光过程中，化学作用先在被抛光材料表面生成硬度变软的氧化层，此氧化层保护了材料表面，且更容易去除，相对减弱了对材料晶格的机械冲击作用，从而降低表面损伤。
![]()
图 4 InSb抛光晶片X射线双晶回摆曲线Figure 4. X-ray double crystal swing back curves of polishing InSb wafer3. 结论
通过对在加入双氧水作为抛光液的化学机械抛光和未加双氧水的机械抛光的InSb晶片表面的质量进行对比研究，得到以下结论：
1）在化学机械抛光过程中，InSb晶片表面有氧化层生成，该氧化层能保护材料表面免受损伤。
2）根据不同抛光方式下的晶片表面质量的对比，发现加入双氧水作为抛光液的化学机械抛光方法能够获得较好表面质量的InSb晶片，其表面几乎无划痕，粗糙度降至0.606 nm，平整度约为6.916 nm，且表面损伤明显降低。
-
![]()
图 5 “soldier_behind_smoke”图像融合结果
Figure 5. Fusion results on "soldier_behind_smoke" image
表 1 图 2中虚线区域客观评价指标
Table 1 The quantitative comparisons of the region surrounded by the dotted line in Fig. 2
$ {w_1} $ $ {w_2} $ EN C PSNR SSIM CC AG MI 0.5 0.1 6.891 26.469 38.267 0.265 0.436 2.972 5.784 0.5 6.893 26.083 38.565 0.329 0.435 2.417 5.501 0.7 6.910 25.882 38.692 0.357 0.433 2.227 5.309 0.7 0.5 6.767 23.654 39.580 0.319 0.439 3.281 5.185 0.7 6.813 24.208 39.417 0.346 0.437 3.194 5.047 1.3 6.887 24.928 39.018 0.421 0.431 2.966 4.656 1.3 0.7 6.320 16.222 34.579 0.289 0.434 2.622 4.445 1.3 6.444 17.739 36.047 0.366 0.432 2.515 4.225 2 6.579 19.452 37.359 0.439 0.426 2.495 3.963 2 1.3 6.003 11.476 29.331 0.270 0.414 2.138 3.814 2 6.128 12.831 30.582 0.336 0.415 2.096 3.648 2.5 6.217 13.862 31.478 0.380 0.413 2.095 3.532 2.5 2 5.895 10.012 27.508 0.272 0.399 1.944 3.453 2.5 5.978 10.794 28.226 0.310 0.401 1.932 3.362 
下载: 导出CSV
表 2 各算法评价指标
Table 2 Evaluation indexes of ten algorithms
Image Metrics GTF DTCWT NSST_NSCT ADF MDDR Dual Branch U2Fusion Fusion GAN Proposed Kaptein_1123 SD 37.34 39.87 35.41 38.04 50.55 24.34 41.50 27.98 45.95 EN 6.94 6.89 6.83 6.79 7.20 6.48 7.04 6.33 7.24 C 23.93 28.41 25.16 27.39 36.39 17.55 30.57 15.44 33.39 MI 3.38 2.96 2.57 3.36 3.29 2.61 2.58 3.43 3.50 SSIM 0.45 0.43 0.44 0.48 0.53 0.21 0.37 0.20 0.57 SF 7.08 9.55 10.30 5.91 8.42 4.79 11.56 3.94 7.64 Movie_01 SD 39.01 34.80 31.53 33.79 40.70 17.11 35.43 23.50 51.44 EN 6.77 6.49 6.39 6.35 6.51 5.98 6.94 5.95 6.84 C 31.05 23.52 20.65 22.91 26.77 12.89 23.99 13.92 35.06 MI 5.03 3.94 3.27 4.58 3.72 2.87 2.88 3.54 4.47 SSIM 0.16 0.19 0.21 0.32 0.32 0.05 0.19 0.10 0.53 SF 3.32 9.77 10.13 10.27 7.13 4.44 11.73 2.64 5.30 soldier_behind_smoke SD 42.88 27.90 24.89 26.18 30.61 35.13 35.26 24.93 45.24 EN 7.26 6.74 6.61 6.62 6.92 6.97 7.14 6.35 7.35 C 32.82 21.48 18.09 20.82 24.36 26.46 28.03 15.37 35.74 MI 3.48 2.51 1.86 3.12 1.97 3.53 1.80 2.33 3.16 SSIM 0.44 0.21 0.27 0.19 0.34 0.02 0.27 0.32 0.47 SF 8.93 11.43 12.61 9.78 10.35 8.18 13.21 5.18 8.01 Marne_04 SD 53.09 26.60 24.47 25.06 31.79 26.51 49.42 25.06 53.57 EN 7.57 6.69 6.63 6.58 6.99 6.54 7.60 6.58 7.62 C 47.65 20.95 18.69 19.74 24.63 19.72 40.38 19.74 43.29 MI 4.54 2.41 1.76 2.72 2.30 3.13 1.88 2.72 3.40 SSIM 0.21 0.26 0.26 0.20 0.36 0.29 0.22 0.20 0.54 SF 5.73 7.66 8.34 6.17 7.14 3.38 10.77 6.17 7.46 Marne_06 SD 47.39 27.90 25.76 26.78 34.65 28.29 46.15 46.67 53.53 EN 7.30 6.77 6.70 6.70 7.05 6.67 7.48 7.33 7.59 C 35.68 22.07 20.34 21.26 28.08 21.05 36.61 35.07 42.88 MI 4.26 2.95 2.31 3.23 2.69 2.74 2.48 3.07 3.46 SSIM 0.30 0.37 0.35 0.31 0.37 0.11 0.30 0.23 0.57 SF 6.05 7.00 7.66 4.74 6.44 3.82 10.15 5.95 5.27
下载: 导出CSV
-
[1] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[2] YU B, JIA B, DING L, et al. Hybrid dual-tree complex wavelet transform and support vector machine for digital multi-focus image fusion[J]. Neurocomputing, 2016, 182: 1-9. DOI: 10.1016/j.neucom.2015.10.084
[3] LIN S, HAN Z, LI D, et al. Integrating model-and data-driven methods for synchronous adaptive multi-band image fusion[J]. Information Fusion, 2020, 54: 145-160. DOI: 10.1016/j.inffus.2019.07.009
[4] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]. Information Fusion, 2021, 66: 40-53. DOI: 10.1016/j.inffus.2020.08.022
[5] Toet A. Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253. DOI: 10.1016/0167-8655(89)90003-2
[6] Lewis J J, O'Callaghan R J, Nikolov S G, et al. Pixel-and region-based image fusion with complex wavelets[J]. Information Fusion, 2007, 8(2): 119-130. DOI: 10.1016/j.inffus.2005.09.006
[7] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[8] Vishwakarma A, Bhuyan M K. Image fusion using adjustable non-subsampled shearlet transform[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 68(9): 3367-3378.
[9] LI H, CEN Y, LIU Y, et al. Different input resolutions and arbitrary output resolution: a meta learning-based deep framework for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2021, 30: 4070-4083. DOI: 10.1109/TIP.2021.3069339
[10] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]. Information Fusion, 2021, 66: 40-53. DOI: 10.1016/j.inffus.2020.08.022
[11] MA J, LE Z, TIAN X, et al. SMFuse: multi-focus image fusion via self-supervised mask-optimization[J]. IEEE Transactions on Computational Imaging, 2021, 7: 309-320. DOI: 10.1109/TCI.2021.3063872
[12] WANG B, ZHAO Q, BAI G, et al. LIALFP: multi-band images synchronous fusion model based on latent information association and local feature preserving[J]. Infrared Physics & Technology, 2022, 120: 103975.
[13] NIE R, MA C, CAO J, et al. A total variation with joint norms for infrared and visible image fusion[J]. IEEE Transactions on Multimedia, 2021, 24: 1460-1472.
[14] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001
[15] MA Y, CHEN J, CHEN C, et al. Infrared and visible image fusion using total variation model[J]. Neurocomputing, 2016, 202: 12-19. DOI: 10.1016/j.neucom.2016.03.009
[16] WANG B, BAI G, LIN S, et al. A novel synchronized fusion model for multi-band images[J]. IEEE Access, 2019, 7: 139196-139211. DOI: 10.1109/ACCESS.2019.2943660
[17] Ng M K, WANG F, YUAN X, et al. Inexact alternating direction methods for image recovery[J]. SIAM Journal on Scientific Computing, 2011, 33(4): 1643-1668. DOI: 10.1137/100807697
[18] Moonon A U, HU J. Multi-focus image fusion based on NSCT and NSST[J]. Sensing and Imaging, 2015, 16(1): 1-16. DOI: 10.1007/s11220-014-0103-y
[19] Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and Karhunen-Loeve transform[J]. IEEE Sensors Journal, 2015, 16(1): 203-209.
[20] FU Y, WU X J. A dual-branch network for infrared and visible image fusion[C]//25th International Conference on Pattern Recognition (ICPR) of IEEE, 2021: 10675-10680.
[21] XU H, MA J, JIANG J, et al. U2Fusion: A unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518.
[22] MA J, YU W, LIANG P, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
-
期刊类型引用(3)
1. 张绘敏，赵扬，康会峰. 基于卷积神经网络算法的光伏组件热斑图像检测方法研究. 计算机测量与控制. 2024(07): 57-63 . 
百度学术
2. 杨俊，高昱峰，张可，汪银，张雅琳，夏娜，姚钢. 基于图像边缘检测和法向探测的导线覆冰监测方法. 电网与清洁能源. 2023(02): 24-32 . 百度学术
3. 穆莉莉，汪晨灿，储汇，宋陈. 基于机器视觉的位移检测算法. 洛阳理工学院学报(自然科学版). 2022(04): 64-70 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 141
- HTML全文浏览量: 43
- PDF下载量: 43
- 被引次数: 5
