Image Fusion Algorithm Based on Improved Fuzzy C-means Clustering
-
摘要: 为了更好地突出红外与可见光融合图像中的目标信息,保留更多的纹理细节信息,提出了一种基于非下采样剪切波变换(non-subsample shearlet transform,NSST)域结合脉冲发放皮层模型(spiking cortical model,SCM)与改进的模糊C均值聚类(fuzzy C-means clustering,FCM)的红外与可见光图像融合算法。首先,用改进的FCM提取源红外图像中的红外目标信息;然后,将得到的红外图像与可见光图像的目标区域和背景区域进行NSST分解,得到各自的高低频子带图像;接着,对得到的不同区域采用不同的融合策略,其中,对于高频背景区域采用SCM模型与改进赋时矩阵进行融合;最后,使用NSST逆变换,得到最终的融合图像。仿真实验证明,与其他方法相比,本文算法得到的融合图像在主观视觉上红外目标信息突出,纹理细节信息丰富,在客观评价上,其信息熵和边缘保留因子达到最优。Abstract: To obtain more prominent target information and retain more textural details in infrared and visible light fusion images, an infrared and visible light image fusion algorithm based on the non-subsample shearlet transform (NSST) domain combined with a spiking cortical model (SCM) and improved fuzzy C-means clustering model (FCM) is proposed. First, the infrared target information in the source infrared image is extracted by the FCM. Subsequently, the NSST is used to decompose the target and background areas of the infrared and visible images to obtain their own high- and low-frequency sub-band images. Subsequently, different fusion strategies are adopted for different regions, and the SCM and improved time matrix are adopted for high-frequency background regions. The final fused image is obtained by using the NSST inverse transform. Simulation experiments show that, compared with other methods, the fusion image obtained by this algorithm has a prominent infrared target and intricate texture details in subjective vision, and its information entropy and edge retention factor are optimal for objective evaluation.
-
0. 引言
微通道板(microchannel plate,MCP)是一种大面阵、具有高空间分辨特性的电子倍增器,可直接探测带荷粒子、电子、X射线和UV光子等,主要作为核心元件用于微光像增强器中。随着高性能超二代、三代微光像增强器的发展,性能不断提升,对MCP的要求也逐渐提高,其中MCP的空间分辨性能是关键性能之一,对于像增强器的分辨力、传函、光晕(Halo)等性能指标有重要的影响[1-7]。
近年来,高空间分辨微通道板的研究对于像增强器的性能提升有着重要的贡献。在世界范围内,超二代像增强器技术以法国Photonis为代表,其最新产品为2019年发布的4G+微光像增强器,信噪比达到30以上,分辨力达到72 lp/mm以上,品质因子FOM(FOM=信噪比×分辨力)达到2300以上。4G+像增强器采用了一种新的MCP技术,能够极大地提升微光像增强器的对比度、传函(modulation transfer function, MTF)性能[8]。三代像增强器发展历程中,美国一直占据领先地位,L3 Harris公司的MX11769高性能三代微光像增强器,采用了无膜MCP,Halo得到了显著的抑制,同时信噪比达到33以上,分辨力达到72 lp/mm以上,FOM达到2376以上。目前美国空军已采用装备此型号像增强器的夜视仪,以便在最激烈的战场环境下获得更好的目标探测和识别能力[9]。
超二代像增强器、三代像增强器高性能产品分辨力性能均达到了72 lp/mm以上,同时在传函、Halo等方面也有明显的提升,这些改进均与MCP的改进及空间分辨性能的提升密不可分。本文在分析国外先进像增强器所采用的高空间分辨MCP基础上,以光电子成像过程MCP直接相关的3个阶段进行分类:光电子入射至MCP输入面、MCP电子倍增、倍增电子图像输出,介绍目前已有的研究工作,提出进一步提高微通道板空间分辨性能的技术途径。
1. 光电子入射至MCP输入面
理想情况下,入射至通道内的光电子得到倍增放大并输出,入射至通道壁表面的电子被电极材料吸收。实际过程中,在MCP与阴极之间还会存在光子反射以及电子散射,影响像增强器空间分辨性能,尤其是采用了输入增强膜的MCP以及制作了防离子反馈膜的MCP。
1.1 光子在MCP输入面的反射
像增强器光电阴极通常具有一定的光透过率,从阴极透射过来的光子在MCP输入面会产生一定的反射,光子反射至阴极产生新的光电子,位置已偏离了最初的位置,被称为光子散射噪声,如图 1所示。光子散射噪声占总散射噪声的20%,对于空间分辨性能有一定影响[10]。从微通道板方面抑制光子散射的措施主要方向为:降低输入面电极反射率、扩大MCP开口面积比。
通过使用电子束蒸发取代电阻加热蒸发制作MCP输入面电极,反射率可降低1%~2%,达到4%~5%,并且膜厚加厚可降低反射率[11]。制作防离子反馈膜之后,MCP输入面反射率可降低2.5%左右[10]。传统工艺制作的小孔径MCP开口面积比能够达到65%以上,但很难超过70%。MCP扩口技术已研究多年,因工艺技术难度大,目前仅滨松能提供孔径12 μm、尺寸φ18 mm~φ50 mm的扩口MCP[12]。近年来,采用干法刻蚀技术进行MCP扩口也有理论研究报道[13],加工原理如图 2所示,为小孔径MCP的扩口提供了新的可能选择。
1.2 电子在MCP输入面的散射
微通道板开口面积比60%,从光电阴极发出的光电子有60%直接进入通道内被接收,其余的40%与MCP非开口区域碰撞并发生相互作用[14],如图 3所示,产生弹性散射、非弹性散射、二次电子发射等,对分辨力[15]、传函、Halo均有一定的影响,尤其是三代像增强器具有防离子反馈膜的MCP以及高性能超二代像增强器中具有输入增强功能膜层的MCP。
1.2.1 Halo
像增强器在动态光线条件工作时,场景中最亮的点周围会显示“光晕”即Halo,使部分或者整个图像“白化”,影响视场质量。造成Halo的主要原因是光电子在MCP非开口区域的电子散射[16],尤其是弹性散射以及非弹性散射中能量较高的电子。Halo的直径大约是阴极与MCP间距的4倍[17]。
相较于超二代像增强器,三代像增强器中由于使用了防离子反馈膜,Halo更大、更明亮。美国在标准三代管基础上进行技术革新,采用了自动门控电源以及无膜MCP技术,研制出NGEOS Halo Free I2,Halo有显著改善[7],如图 4所示。在减小阴极与MCP间距、采用无膜MCP的基础上,开口面积比达到70%以上的扩口MCP应用能够进一步抑制Halo。
1.2.2 传函与分辨力
超二代像增强器性能提升研究中,李晓峰等提出了在微通道板输入端镀制绝缘层的方法,以提高微通道板输入信号的利用率[18],结构如图 5所示。
在MCP输入面A区域镀制了SiO2、TiO2、Y2O3、Al2O3材料,相较于未镀膜的B区域,MCP镀膜区域增益提升幅度分别为:12%、16%、24%、35%。相应的,在微通道板增益提高的同时,像增强器的分辨力和调制传递函数会降低,如图 6所示,并且绝缘层的二次电子发射系数越高,分辨力和调制传递函数降低的比例越大,但微通道板分辨力和调制传递函数降低的比例远低于增益提高的比例。
A区分辨力以及MTF较低的原因是MCP入射电子束h1产生的二次电子会进入相邻通道,如图 7所示。进入相邻通道内的电子会叠加在对准通道孔的入射电子束h2中,使输入信号失真,降低其对比度,所以对A区的分辨力和MTF会有一定的影响。
在MCP输入端镀制一层具有高二次电子发射系数的MgO膜层,增益可提高1倍以上,同时像增强器信噪比可提升16.8%;但是分辨力下降约4 lp/mm~10 lp/mm,降幅达到10%。MgO输入增强膜对于电子的倍增能力和探测效率的提升具有良好的应用前景。如果将其应用于成像观察中,需考虑采取其他办法弥补所损失的分辨力[19]。具有大开口面积比的小孔径扩口MCP,可显著降低入射电子流与MCP输入面非开口区域的碰撞概率,能够解决高二次电子发射输入增强膜应用过程中所遇到的分辨力、传函损失的问题。
2. MCP电子倍增过程
光电子进入通道内进行倍增的过程中,电子被限制在一个通道内,不同通道之间的信号不会出现串扰。MCP倍增过程影响空间分辨性能的主要参数是孔径与孔间距,二者以开口面积比关联起来;同时还涉及到MCP斜切角。
2.1 MCP孔径/孔间距对分辨力、传函的影响
微通道板的空间分辨力取决于通道尺寸。理论极限分辨力定义为每毫米内通道阵列的阵列数[1]:
$$ R = \frac{{1000}}{{\sqrt 3 \times {d_{\rm{c}}}}} $$ (1) 式中:R为极限分辨力;dc为孔间距。
微通道板的传函为[20]:
$$ {\rm{MTF}} = 2\left| {\frac{{{J_1}(2{\rm{ \mathsf{ π}}} fD)}}{{2{\rm{ \mathsf{ π}}} fD}}} \right| $$ (2) 式中:J1为一阶贝塞尔函数;D为通道孔径。
从理论计算公式可以看出,通道孔径、孔间距越小,分辨力、传函性能越高。实际实验中,微通道板孔径对于分辨力的影响非常大。L3公司将孔径2 μm、孔间距3 μm的微通道板与常规的孔径5 μm、孔间距6 μm的微通道板进行制管对比实验[21],5 μm孔径与2 μm孔径MCP对比如图 8所示。
测试了不同孔间距MCP制管后的传函,如图 9所示。对3 μm孔间距MCP制管实测MTF曲线的最小二乘拟合表明MTF为3.4% @ 86 lp/mm。
相较于大孔径,小孔径MCP分辨力的提升有利于在低照度下提供更好的对比度,如图 10所示。MTF测试结果表明,单独像增强器自身分辨力性能的提升,能够转化为整个探测系统的空间分辨能力。
针对像增强器分辨力提升需求,MCP孔径需要不断缩小,立足于国内现有基础,近几年的发展目标是实现孔径5 μm、开口面积比70%左右的MCP成熟批量应用,并进行孔径减小至4.5 μm甚至4 μm的可行性论证、预研。
2.2 MCP斜切角对传函的影响
不同斜切角对于传函性能的影响,由Y.Wang报道的理论模拟计算结果[22]:
4种不同斜切角MCP对应MTF如图 11所示,-3 dB MTF(MTF=50%)可以反映图像增强器的整体图像质量。由图 11可知-3dB MTFs分别为39.52 lp/mm、35.17 1p/mm、26.69 lp/mm、20.62 lp/mm,偏置角分别为8°、10°、12°、14°。实际研究工作开展时,需要对斜切角参数进行制管验证,平衡分辨力、信噪比、固定图案噪声性能参数。
3. 倍增电子图像输出
微通道板孔间距参数确定时,像增强器的空间分辨力很大程度上取决于微通道板与荧光屏的距离,主要原因在于MCP单个通道输出的电子呈一定的角度分布逐渐弥散,距离荧光屏越远,弥散程度越大,同时影响了分辨力与传函性能[23]。为了最大限度地提高微通道板的分辨力,通常采用“末端损失”方法,即微通道板输出面金属膜层深入到通道内一定程度,使出射电子的掠出角减小,以便达到汇聚出射电子的目的。近年来,关于“末端损失”方法的改进以及新的方法均有报道。
3.1 输出电极优化
3.1.1 增镀高功函数金属膜层
MCP输出的电子能力有一定的分布,如图 12所示,A曲线为来源于MCP输出电极的电子分布,B曲线为来源于MCP通道内壁的电子分布,C为两种分布的合成。输出电子的能量越低则速度越低,在径向的速度分量也低,最终的电子云弥散半径越小,有利于获得更高的分辨力。在输出面已镀制NiCr电极的基础上,再蒸镀一层具有高功函数的金属膜层覆盖原来的电极,能够提高MCP输出电极的逸出功,获得能量更低的电子[24-25]。
分别开展了镀Ag、Pt的试验,其中镀Ag分辨力能够提升6.6%,镀Pt分辨力能够提升13%,相应的增益分别降低为未增镀膜层的74%、33%,需要更高增益的MCP以平衡增益、分辨力性能。
3.1.2 膜层调控与构造“陷阱”
对于二次电子发射的抑制,还可以采取调控表面结构,构造沟槽或者粗糙表面,降低表面二次电子发射系数。L. Wang等构造模型如图 13所示[26]。
胡天存等研究了基于ZnO阵列的银表面二次电子发射抑制研究[27]、王丹等研究了金纳米结构表面二次电子发射特性[28]、贺永宁等研究了铝合金表面粗糙化处理及二次电子抑制特性研究[29]。铝合金表面粗糙化工作中,从图 14可以看出,表面越粗糙,二次电子发射系数越低,是提升分辨力的一种研究方向。
3.2 电子减速膜新技术
在“末端损失”方法减弱输出电子束弥散方法之外,Photonis公司提出了一种新的技术[30],能够显著提升传函与对比度。结合Photonis官网资料,此技术可能已经应用于其最新产品4G+像增强器中。该项技术需要在MCP输出面与荧光屏之间制作一层半导体或者绝缘体薄膜,带隙大于等于1 eV,其中晶体结构中载流子扩散长度不低于薄膜厚度的50%,面向荧光屏的表面具有负电子亲和势。按照其功能作用可以将这个功能膜层称为“电子减速膜”:通过在像增强器中引入此薄膜,从电子倍增器发射的电子云可以被释放到薄膜中,电子在薄膜中损失至少相当一部分多余的能量,从而在导带上流动,实际上,电子可以变成热化电子。热化电子迁移至朝向荧光屏一侧进行再发射,离开薄膜的电子具有低能量和小的能量分布(例如,小于1 eV),如图 15(b)所示,电子横向弥散的程度显著低于图 15(a)。因此,离开薄膜的电子可以以很小的径向速度穿过阳极间隙。径向速度小的优点是电子可以沿直线向阳极移动。因此,阳极间隙的MTF可以得到改善。
4. 结论
国产超二代像增强器、三代像增强器在追赶国际先进水平的过程中,需要不断提高MCP高空间分辨性能,二者所需有一定的共性要求:MCP孔径不断缩小,近几年发展目标是实现孔径5 μm、开口面积比70%左右的MCP成熟批量应用,并进行孔径减小至4.5 μm甚至4 μm的可行性论证、预研;输出电极方面,以“末端损失”为主方向,通过电极膜层调控构造“陷阱”,进一步地约束输出电子束的弥散范围,提高空间分辨能力,支撑像增强器分辨力批量达到72 lp/mm,甚至一定比例达到76 lp/mm。
不同的是,超二代像增强器中应用的微通道板需要研究的新技术包括小孔径扩口微通道板制备与应用技术以及新概念电子减速膜新技术。三代像增强器中应用的微通道板的一个主要方向应是低放气量、低离子反馈的无膜微通道板研制,支撑发展无膜三代像增强器,能够显著抑制Halo、提高信噪比等,在此基础上,微通道板的技术发展将与超二代像增强器中应用的微通道板趋于相同,包括扩口MCP、输入增强膜层、输出面的电子减速膜等,均能得到应用。
-
图 3 第一组图像融合结果:(a) 红外图像;(b)可见光图像;(c)MST融合图像;(d)IFE-VIP融合图像;(e) VSM-WLS融合图像;(f) 本文提出算法的融合图像
Figure 3. Fused results of the first set of images: (a)Infrared image; (b) Visible image; (c) Fused image of MST; (d) Fused image of IFE- VIP (e) Fused image of VSM-WLS; (f) Fused image of the proposed algorithm
图 4 第二组图像融合结果:(a) 红外图像;(b) 可见光图像;(c) MST融合图像;(d) IFE-VIP融合图像;(e) VSM-WLS融合图像;(f) 本文提出算法的融合图像
Figure 4. Fused results of the second set of images: (a) Infrared image; (b) Visible image; (c) Fused image of MST; (d) Fused image of IFE-VIP; (e) Fused image of VSM-WLS; (f) Fused image of the proposed algorithm
图 5 第三组图像融合结果:(a) 红外图像;(b) 可见光图像;(c) MST融合图像;(d) IFE-VIP融合图像;(e) VSM-WLS融合图像;(f) 本文提出算法的融合图像
Figure 5. Fused results of the third set of images: (a) Infrared image; (b) Visible image; (c) Fused image of MST; (d) Fused image of IFE-VIP (e) Fused image of VSM-WLS; (f) Fused image of the proposed algorithm
表 1 融合图像客观评价指标
Table 1 Objective evaluation indexes of the fused images
Image Algorithm AG STD EN MI QAB/F SSIM T1/s The first set of fused images MST 5.5076 33.1331 6.6562 2.8316 0.4402 0.5592 3.7271 IFE-VIP 5.2957 32.1404 6.7657 0.2136 0.4447 0.7306 1.0202 VSM-WLS 4.9839 24.0986 6.3472 1.5205 0.4298 0.5692 7.4942 Proposed 5.7894 38.8918 7.1518 2.7529 0.4723 0.5669 26.4432 The second set of fused images MST 4.3685 33.7594 6.7108 4.0484 0.5882 0.5087 6.2221 IFE-VIP 4.1800 38.2701 6.6984 0.2657 0.6072 0.6742 2.3860 VSM-WLS 3.8976 22.8682 6.0044 2.1233 0.5210 0.4611 11.0457 Proposed 4.5238 36.8611 6.7757 3.9432 0.6653 0.5137 105.4437 The third set of fused images MST 6.0380 31.6025 6.8755 3.4927 0.5070 0.5862 3.5608 IFE-VIP 5.5335 25.4211 6.5629 0.2331 0.4493 0.7476 3.1338 VSM-WLS 5.3866 20.8658 6.3938 1.9215 0.4588 0.5905 7.1582 Proposed 5.8611 33.2125 7.0147 3.8182 0.5895 0.5988 26.2595 -
[1] 王文卿, 高钰迪, 刘涵, 等. 基于低秩稀疏表示的红外与可见光图像序列融合方法[J]. 西安理工大学学报, 2019, 35(3): 276-283. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm WANG W Q, GAO Y D, LIU H, et al. Infrared and visible image sequence fusion via low-rank and sparse representation[J]. Journal of Xi 'an University of Technology, 2019, 35(3): 276-283. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm
[2] 白玉, 侯志强, 刘晓义, 等. 基于可见光图像和红外图像决策级融合的目标检测算法[J]. 空军工程大学学报(自然科学版), 2020, 21(6): 53-59, 100. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm BAI Y, HOU Z Q, LIU X Y, et al. An object detection algorithm based on decision-level fusion of visible light image and infrared images[J]. Journal of Air Force Engineering University, 2020, 21(6): 53-59, 100. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm
[3] 张林发, 张榆锋, 王琨, 等. 基于直觉模糊集和亮度增强的医学图像融合[J/OL]. 计算机应用, 2021, 41(7): 2082-2091. ZHANG L F, ZHANG Y F, WANG K, et al. Medical image fusion with intuitionistic fuzzy set and intensity enhancement[J]. Computer Application, 2021, 41(7): 2082-2091.
[4] 江泽涛, 吴辉, 周哓玲. 基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法[J]. 光学学报, 2018, 38(2): 0210002. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201802015.htm JIANG Z T, WU H, ZHOU Q L, et al. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]. Acta Optica Sinica, 2018, 38(2): 0210002. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201802015.htm
[5] 李玉峰, 尹婷婷. 采用NSCT与FCM相结合的SAR和多光谱图像融合算法[J]. 信号处理, 2017, 33(11): 1523-1529. https://www.cnki.com.cn/Article/CJFDTOTAL-XXCN201711014.htm LI Y F, YIN T T. The SAR and multispectral image fusion algorithm based on NSCT and FCM[J]. Signal Processing, 2017, 33(11): 1523-1529. https://www.cnki.com.cn/Article/CJFDTOTAL-XXCN201711014.htm
[6] GONG J M, XUE M L, REN F, et al. Infrared and visible image fusion based on nonsubsampled shearlet transform and fuzzy C-means clustering[J]. Journal of Electronic Imaging, 2018, 27(4): 1-11
[7] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46.
[8] 高国荣, 刘艳萍. 基于非抽样Shearlet变换的红外与可见光图像融合方法[J]. 农业机械学报, 2014, 45(3): 268-274. https://www.cnki.com.cn/Article/CJFDTOTAL-NYJX201403044.htm GAO G R, LIU Y P. Infrared and visible light image fusion algorithm based on non-subsampled Shearlet transform[J]. Journal of Agricultural Machinery, 2014, 45(3): 268-274. https://www.cnki.com.cn/Article/CJFDTOTAL-NYJX201403044.htm
[9] 邢笑雪. 基于NSST的图像融合算法研究[D]. 长春: 吉林大学, 2014: 24-25. XING X X. Research on Image Fusion Algorithm Based on NSST[D]. Changchun: Jilin University, 2014: 24-25.
[10] ZHAN K, ZHANG H J, MA Y D. New spiking cortical model for invariant texture retrieval and image processing[J]. IEEE Transactions on Neural Networks, 2009, 20(12): 1980-1986.
[11] 江泽涛, 何玉婷, 张少钦. 一种基于对比度增强和柯西模糊函数的红外与弱可见光图像融合算法[J]. 光子学报, 2019, 48(6): 149-158. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201906019.htm JIANG Z T, HE Y T, ZHANG S Q. Infrared and low-light-level visible image fusion algorithm based on contrast enhancement and cauchy fuzzy function[J]. Acta Photonica Sinica, 2019, 48(6): 149-158. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201906019.htm
[12] 王念一. 脉冲发放皮层模型图像融合技术研究[D]. 兰州: 兰州大学, 2014: 18-20. WANG N Y. Spiking Cortical Mode for Image Fusion[D]. Lanzhou: Lanzhou University, 2014: 18-20.
[13] HE K J, ZHOU D M, ZHANG X J, et al. Infrared and visible image fusion combining interesting region detection and nonsubsampled contourlet transform[J]. Journal of Sensors, 2018, 2018: 1-15.
[14] LEI T, JIA L, HE L, et al. Significantly fast and robust fuzzy C-means clustering algorithm based on morphological reconstruction and membership filtering)[J]. IEEE Transactions on Fuzzy System, 2018: 26(5): 3027-3041.
[15] LIU Z Y, DING F, XU Y, et al. Background dominant colors extraction method based on color image quick fuzzy c-means clustering algorithm[J]. Defence Technology, 2020, 16(5): 1073-1087. http://www.sciengine.com/doi/pdf/E5EAB5B1AAB44FC2A5DB838214E14B6B
[16] 刘帅奇, 郑伟, 赵杰, 等. 数字图像融合算法分析与应用[M]. 北京: 机械工业出版社, 2018: 115-116. LIU S Q, ZHENG W, ZHAO J, et al. Analysis and Application of Digital Image Fusion Algorithm[M]. Beijing: China Machine Press, 2018: 115-116.
[17] CHEN J, LI X J, LUO L B, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]. Information Sciences, 2020, 508: 64-78.
[18] ZHANG Y, ZHANG L J, BAI X Z, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics and Technology, 2017, 83: 227-237.
[19] MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics and Technology, 2017, 82: 8-17.
[20] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309.
-
期刊类型引用(0)
其他类型引用(1)