Visible and Infrared Image Matching Method Based on Multi-Scale Feature Point Extraction
-
摘要:
针对可见光与红外图像匹配任务因图像特征差异较大导致的匹配精度低、适用性较差等问题,本文提出一种基于多尺度特征点提取的可见光与红外图像匹配方法(Visible and Infrared Image Matching-Net, VIMN)。首先,为增强VIMN匹配网络适应图像几何变换的能力,在特征提取模块中引入可变卷积层(Deformable Convolution),同时,通过金字塔池化层(Spatial Pyramid Pooling,SPP)完成多尺度特征融合以顾及图像的底层与高层语义信息;其次,在多尺度融合特征图上构建了联合特征空间与通道的响应分数图以提取鲁棒的特征点;最后,由图像块匹配模块采用度量学习的方式完成可见光与红外图像匹配工作。为验证VIMN匹配方法的优越性,与SIFT、PSO-SIFT、D2-Net以及CMM-Net在匹配实验数据集上进行对比实验。定性与定量结果表明,本文所提VIMN匹配网络具有更为优异的匹配性能。
Abstract:A visible and infrared image matching method (VIMN) based on multiscale feature point extraction is proposed to address the issues of low matching accuracy and poor applicability, caused by significant differences in image features in visible and infrared image matching tasks. First, to enhance the ability of the VIMN to adapt to geometric image transformations, a deformable convolution layer is introduced into the feature extraction module. A spatial pyramid pooling (SPP) layer is used to complete multiscale feature fusion, considering both low- and high-level semantic information of an image. Second, a joint feature space and channel response score map are constructed on the multiscale fusion feature map to extract robust feature points. Finally, an image patch matching module uses metric learning for visible light and infrared image matching. To verify the superiority of the VIMN matching method, comparative experiments were conducted on matching experimental datasets using scale-invariant feature transform (SIFT), particle swarm optimization (PSO)-SIFT, dual disentanglement network (D2 Net), and contextual multiscale multilevel network (CMM-Net). The qualitative and quantitative results indicate that the VIMN proposed in this study has better matching performance.
-
Keywords:
- image matching /
- infrared image /
- visible image /
- feature point extraction /
- deep learning
-
0. 引言
微通道板(microchannel plate,MCP)是由数百万个孔径微米级的通道式电子倍增器排列而成的二维电子倍增器阵列,因其出色的位置分辨及时间分辨性能,广泛应用于微光像增强器、微通道板光子探测器、微通道板型光电倍增管、质谱分析、空间粒子探测等领域[1-7]。开口面积比是微通道板的一项重要指标,指的是微通道板工作区的通道开口面积与整个工作区面积之比,开口面积比决定微通道板的探测效率,并在一定程度上影响微通道板的噪声因子[1]。近年来,随着微通道板制造技术进步,像增强器用小孔径MCP的开口面积比可超过65%,部分探测级微通道板开口面积比可达到70%,进一步追求大的开口面积比给微通道板的工艺制造带来非常大的困难。
在常规MCP制造工艺之外,提升微通道板开口面积比的另一个途径为MCP扩口技术,即将微通道板输入面的通道口处理成漏斗状,使开口面积比显著提升,达到80%甚至90%以上,在微光夜视仪、粒子探测器等军用、民用领域具有巨大的应用潜力。美国Galileo、日本Hamamatsu、南京理工大学等国内外单位在MCP扩口方向开展了研究工作,使用湿法腐蚀制作出的扩口MCP在电流增益、噪声因子、离子探测效率等方面性能优于常规MCP,但是由于工艺难度大,这项技术目前仅日本Hamamatsu能够提供孔径12μm科研用MCP,并没有得到大批量的实质性应用[8-11]。提高MCP对电子的探测效率方面,通过在MCP表面镀制具有二次电子发射能力的膜层也是一种有效措施,在微通道板型光电倍增管以及微光像增强器中均能够得到应用,但是同时也会带来一定的负面影响,如:微光像增强器中分辨力和调制传递函数性能会有一定的降低、微通道板型光电倍增管中会有延时脉冲等,扩口MCP有利于提高微通道板的时间和空间分辨能力,为解决以上问题提供可能[12-15]。
针对湿法腐蚀扩口技术所存在的工艺一致性差、选择性腐蚀造成锥度尺寸难以达标等问题,本文提出一种新的MCP扩口技术:利用微纳加工领域已成熟应用的干法刻蚀技术进行MCP扩口,通过建立理想模型研究刻蚀工艺对于扩口MCP开口面积比、锥形深度以及形状等参数的影响,为开展实验研究及可能的批量应用奠定基础。
1. 干法刻蚀技术实现MCP扩口原理
干法刻蚀技术是目前工业上最成熟也是应用最广泛的刻蚀技术。广义上讲,所有不涉及化学溶液腐蚀的刻蚀技术都称为干法刻蚀,干法刻蚀具有可控性好、精度高、可流水线批量刻蚀等优点,已成为半导体工业微纳制造工艺中主要的刻蚀技术。常用的干法刻蚀技术包括反应离子刻蚀(reaction ion etching, RIE)、感应耦合等离子体刻蚀(inductively coupled plasma, ICP)、离子束刻蚀(ion beam etching, IBE)、聚焦离子束刻蚀(focused ion beam, FIB)等[16]。实现MCP扩口需要具有定向刻蚀能力的干法刻蚀,如ICP、RIE、IBE,本文以IBE为例进行理论模型研究。离子束刻蚀技术是利用一定能量的离子撞击固体表面原子,使材料表面原子发生溅射,达到刻蚀的目的,属于纯物理过程,离子束刻蚀的优点在于:各向异性、方向性好、刻蚀控制精度高、可刻蚀材料种类多、离子束入射角度调节方便等[17]。
与湿法腐蚀的选择性腐蚀不同,干法刻蚀的方向性好但选择性很差,因此干法刻蚀形成MCP扩口的原理与湿法腐蚀有本质的不同。采用干法刻蚀形成扩口MCP示意图如图 1所示,离子束以一定的角度入射至MCP输入面,示意图中看向通道内壁的视线角度与离子束入射至MCP表面的角度相同,即离子束在通道内能够刻蚀的最深处为d点、d′点,在非剖面图中,视线看到的通道内的最深处也是d点。为便于计算,本文中MCP斜切角以0°计算:
① A为MCP表面,离子束刻蚀对于A面为均匀的刻蚀,对于锥形通道的形成没有作用;
② B为通道内壁表面,MCP通道相对于离子束不进行自转时,a′、b′、c′、d′四个点刻蚀掉的材料厚度相同,不会形成差别,而a、b、c、d四个点离子束并未能够刻蚀到;
③ 如果MCP通道相对于离子束实现以通道指向为轴进行自转,则a′、b′、c′、d′四个点与a、b、c、d四个点均能够被离子束刻蚀到,且a′与a、b′与b、c’与c、d′与d因两两处于完全对称的位置,刻蚀情况分别相同;
④ 由于微通道板圆形通道的特殊形状对于一定角度入射离子束的局部遮挡作用,不同深度处的位置点暴露于离子束中的时间不同,造成了刻蚀材料厚度的差异,以示意图中的4个点为例,a→b→c→d暴露于离子束的时间依次减短,而通道内比d点位置更深的地方,不会暴露于离子束,随着刻蚀时间的延长,会形成如图中虚线所示的有锥度的扩口。
2. 刻蚀工艺对扩口MCP性能参数的影响
2.1 模型建立
离子束以与MCP表面呈角度θ入射,MCP以通道指向为轴进行自转,构建模型如图 2,其中:D为微通道板孔间距;R为微通道板孔径;θ为离子束与MCP表面角度;h为通道内刻蚀深度;x为刻蚀厚度;Vα为离子束与刻蚀表面法线角度为α时的刻蚀速率。
在离子束刻蚀如石英玻璃、BK7玻璃时,刻蚀速率会随着入射角度的变化而有明显变化,随着入射角度的增大,刻蚀速率先增大再降低,在40°~65°之间有最大值出现[18]。由于微通道板在自转时,离子束与通道内不同位置处的入射角度时刻在变化中,为便于计算,理想模型中设定刻蚀速率不随着入射角度而变化,均为V。
2.2 刻蚀工艺条件对于开口面积比的影响
刻蚀工艺对于开口面积比的影响主要是刻蚀时间,开口面积比随着刻蚀时间的延长为非线性增加,主要分为3个阶段:阶段1:相邻通道边界尚未接触,如图 3(b)所示;阶段2:相邻通道边界已接触,相邻的3个通道边界尚未接触,如图 3(c)所示;阶段3:相邻的3个通道边界已接触,输入面已无平面,如图 3(d)所示。
图 3 不同刻蚀阶段开口面积比:(a) 未刻蚀,OAR=60%;(b) 刻蚀,OAR=75%;(c) 刻蚀至相邻通道接触,OAR=90.7%;(d)刻蚀至输入面无平面,OAR=100%Figure 3. Open area ratio at different etching stages: (a) Unetched, OAR=60%; (b) Etched, OAR=75%; (c) Etched until adjacent channel contact, OAR=90.7%; (d) Etch until there is no plane on the input surface, OAR=100%分阶段计算开口面积比随刻蚀时间的变化:
阶段1:$ 0 \leqslant t \leqslant \frac{{D - R}}{V} $时,
$$ \mathrm{OAR}=\frac{\sqrt{3} \pi}{6} \times\left(\frac{R+V t}{D}\right)^{2} $$ (1) 阶段2:$ \frac{{D - R}}{V} < t \leqslant \frac{{2D - \sqrt 3 R}}{{\sqrt 3 V}} $时,
$$ \text { OAR }=\frac{\left[\pi-6 \cos ^{-1}\left(\frac{D}{R+V t}\right)\right](R+V t)^{2}+6 D \sqrt{(R+V t)^{2}-D^{2}}}{2 \sqrt{3} D^{2}} $$ (2) 阶段3:$ t > \frac{{2D - \sqrt 3 R}}{{\sqrt 3 V}} $之后,
$$ \mathrm{OAR}=100 \% $$ (3) 如图 4所示,随着刻蚀时间的增加,开口面积初始以基本线性的规律增大,在达到90.7%之后,增大速度逐渐减缓,在阶段2的末期开口面积比接近100%,在阶段3中,开口面积比不再发生变化,也并未再引入其他问题,允许过刻蚀对于工艺控制非常有利。在开口面积比达到90%以上的前提下,影响干法刻蚀工艺时间的因素主要是通道之间的壁厚,壁厚越厚所需刻蚀时间越长,因此,干法刻蚀工艺对于小孔径微通道板的扩口效率更高。
2.3 刻蚀工艺条件对刻蚀深度影响
通道内刻蚀深度与离子束入射角度直接相关:
$$ h=R \times \tan \theta $$ (4) 理论计算结果如图 5所示。考虑到可实现性,离子入射角度太小时,工装夹具容易对离子束形成遮挡,且扩口深度较浅时对于扩口MCP性能也有一定的影响[9];离子入射角度太大时,离子束对于通道内壁的刻蚀效率显著下降[18],不利于扩口MCP的实现。综合考虑多种影响因素,离子束入射角度在30°~70°之间比较合适,对应的刻蚀深度范围为0.6倍~2.7倍通道孔径。
2.4 刻蚀工艺条件对刻蚀锥度影响
通道的锥度对于扩口MCP应用在不同领域时的性能有很大的影响,锥度不合适时无法获得最佳的效果。使用干法刻蚀进行MCP扩口,对于锥度有很强的可控性。求解通道刻蚀的锥度,可以转化为通道内不同深度处暴露于离子束的空间在圆周范围内的占比。在MCP表面的平面建立如下坐标系进行计算,β是E点与坐标系中心点的连线与角度0位置的夹角,如图 6所示:在[-π/2,-π]、[π/2,π]区间内均未暴露于离子束中,仅需计算[-π/2,π/2]区间,且为对称结构。
在角度为β处,E、F分别为通道内壁能够暴露于离子束中的最上与最下的位置,深度为:
$$ f(\beta)=h_{\mathrm{EF}}=R \cos \beta \tan \theta $$ (5) 将通道进行平面展开,不同角度处暴露于离子束中的最大深度分布如图 7所示。
根据通道内一周不同位置暴露于离子束最大深度的不同,计算不同深度h处刻蚀厚度相较于通道口入口处刻蚀厚度的比例:
$$ f(h)=\frac{2 \arccos \left(\frac{h}{R \tan \theta}\right)}{\pi} $$ (6) 式中:h∈[0, Rtanθ]。
如图 8所示,随着深度的增加,刻蚀厚度的减小并非线性,在MCP通道内壁成一个不规则的向内壁凹陷的弧面,此种形状下,进入到通道内的信号有更高的比例与更深处的通道内壁发生作用,对于扩口MCP在各类应用中都是更加有利的。
3. 结论
通过建立模型进行理论计算,验证采用干法刻蚀技术进行MCP扩口,在输入面形成漏斗形通道口可行性,计算了干法刻蚀工艺参数如刻蚀角度、刻蚀时间等对扩口MCP开口面积比、刻蚀深度、通道口锥度等参数的影响:
① MCP在自转状态下,由于其圆形通道结构的自遮挡效应,均匀的面离子源能够在圆形通道上制作出非均匀的结构,即实现MCP通道的扩孔。
② MCP开口面积比随着刻蚀时间的延长而增大,达到90%之前基本线性,后期逐步趋近于100%的极限,允许过刻蚀,对于工艺控制有利;工艺的时间主要受通道之间壁厚影响,通道壁越厚,所需加工时间越长,因此干法刻蚀技术对于小孔径微通道板的扩口效率更高。
③ 刻蚀角度决定了通道内刻蚀深度,综合考虑各种影响因素,离子束入射角度在30°~70°之间比较合适,对应的刻蚀深度范围为0.6倍~2.7倍通道孔径。
④ 通道口的锥度受到刻蚀时间与刻蚀角度的双重影响,计算出了不同深度处刻蚀的厚度。随着深度的增加,刻蚀厚度的减小并非线性,在MCP通道内壁成一个不规则的向内壁凹陷的弧面,此种形状下,进入到通道内的信号有更高的比例与更深处的通道内壁发生作用,对于扩口MCP在各类应用中都是更加有利。
本文开展的理论模型研究结果,为开展干法刻蚀进行MCP扩口实验研究奠定了的基础,下一步工作的重点是在理论模型的基础上,开展相应的试验研究。
-
表 1 匹配定量对比结果
Table 1 Matching quantitative comparison results
Methods Test number NCM Precision RMSE SIFT (a) 0 - - (b) 9 0.127 3.625 (c) 1 0.096 4.260 (d) 0 - - (e) 19 0.320 3.369 (f) 1 0.074 4.368 PSO-SIFT (a) 0 - - (b) 6 0.118 3.394 (c) 0 - - (d) 0 - - (e) 14 0.306 3.198 (f) 8 0.224 3.862 D2-Net (a) 139 0.651 2.431 (b) 116 0.598 2.693 (c) 73 0.663 2.875 (d) 65 0.594 2.739 (e) 126 0.628 2.236 (f) 109 0.651 1.906 CMM-Net (a) 151 0.745 1.563 (b) 128 0.693 1.896 (c) 81 0.718 2.098 (d) 79 0.699 1.967 (e) 139 0.776 1.465 (f) 127 0.783 1.601 VIMN (a) 164 0.815 0.984 (b) 136 0.796 1.065 (c) 91 0.765 1.147 (d) 86 0.751 1.268 (e) 147 0.843 0.763 (f) 157 0.887 0.691 Note: - "indicates indicator calculation failure -
[1] 龙雨馨, 赖文杰, 张怀元, 等. 基于梯度方向直方图的红外与可见光融合网络的损失函数[J]. 激光与光电子学进展, 2023, 60(24): 2411001. LONG Yuxin, LAI Wenjie, ZHANG Huaiyuan, et al. Soft histogram of gradients loss: a loss function for optimization of the image fusion networks[J]. Laser & Optoelectronics Progress, 2023, 60(24): 2411001.
[2] 宁大海, 郑晟. 可见光和红外图像决策级融合目标检测算法[J]. 红外技术, 2023, 45(3): 282-291. http://hwjs.nvir.cn/article/id/5340b616-c317-4372-9776-a7c81ca2c729 NING Dahai, ZHENG Sheng. An object detection algorithm based on decision-level fusion of visible and infrared images[J]. Infrared Technology, 2023, 45(3): 282-291. http://hwjs.nvir.cn/article/id/5340b616-c317-4372-9776-a7c81ca2c729
[3] 刘雪. 基于深度学习的考场异常行为检测研究与应用[D]. 南充: 西华师范大学, 2023. LIU Xue. Research and Application of Abnormal Behavior Detection in Exam Rooms Based on Deep Learning[D]. Nanchong: China West Normal University, 2023.
[4] 罗迪, 王从庆, 周勇军. 一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法[J]. 红外技术, 2021, 43(6): 566-574. http://hwjs.nvir.cn/article/id/3403109e-d8d7-45ed-904f-eb4bc246275a LUO Di, WANG Congqing, ZHOU Yongjun. A visible and infrared image fusion method based on generative adversarial networks and attention mechanism[J]. Infrared Technology, 2021, 43(6): 566-574. http://hwjs.nvir.cn/article/id/3403109e-d8d7-45ed-904f-eb4bc246275a
[5] JIANG X, MA J, XIAO G, et al. A review of multimodal image matching: methods and applications[J]. Information Fusion, 2021, 73: 22-71. DOI: 10.1016/j.inffus.2021.02.012
[6] 徐永会, 杨德智, 刘芳名. 基于对数极坐标和频域率的互信息图像配准[J]. 舰船电子工程, 2022, 42(11): 86-89, 150. XU Yonghui, YANG Dezhi, LIU Fangming. Mutual information image registration based on logarithmic polar coordinates and frequency domain rate[J]. Ship Electronic Engineering, 2022, 42(11): 86-89, 150.
[7] CUI Z, QI W, LIU Y. A fast image template matching algorithm based on normalized cross correlation[C]//Journal of Physics: Conference Series, 2020, 1693(1): 012163.
[8] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. http://pdfs.semanticscholar.org/6984/591a4ecff1b6b3d9549a3a801a37acc23426.pdf
[9] MA W, WEN Z, WU Y, et al. Remote sensing image registration with Modified SIFT and enhanced feature matching[J]. IEEE Geoscience & Remote Sensing Letters, 2016, 14(1): 3-7. http://www.onacademic.com/detail/journal_1000039770692810_af5e.html
[10] YE Y, SHAN J, Bruzzone L, et al. Robust registration of multimodal remote sensing images based on structural similarity[J]. arXiv preprint arXiv: 2103.16871, 2021.
[11] DeTone D, Malisiewicz T, Rabinovich A. Superpoint: self-supervised interest point detection and description[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2018: 224-236.
[12] Dusmanu M, Rocco I, Pajdla T, et al. D2-Net: a trainable cnn for joint detection and description of local features[J]. arXiv preprint arXiv: 1905.03561, 2019.
[13] 蓝朝桢, 卢万杰, 于君明. 异源遥感影像特征匹配的深度学习算法[J]. 测绘学报, 2021, 50(2): 189-202. LAN Chaozhen, LU Wanjie, YU Junming, et al. Deep learning algorithm for feature matching of cross modality remote sensing images[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(2): 189-202.
[14] ZHANG H, LI L, NI W, et al. Explore better network framework for high-resolution optical and SAR image matching[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-18.
[15] TIAN Y, FAN B, WU F. L2-net: Deep learning of discriminative patch descriptor in euclidean space[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 661-669.
[16] WANG Y, YANG J, WANG L, et al. Light field image super-resolution using deformable convolution[J]. IEEE Transactions on Image Processing, 2020, 30: 1057-1071.
[17] ZHANG L, Rusinkiewicz S. Learning to detect features in texture images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 6325-6333.
[18] JIA X, ZHU C, LI M, et al. LLVIP: A visible-infrared paired dataset for low-light vision[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 3496-3504.
[19] Toet A. The TNO multiband image data collection[J]. Data in Brief, 2017, 15: 249-251. http://www.xueshufan.com/publication/2757470902
[20] Ghazali K H B, MA J. An innovative face detection based on skin color segmentation[J]. International Journal of Computer Applications, 2011, 34(2): 6-10. http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=66C46CCFE38048B39749283BE539BD63?doi=10.1.1.259.1352&rep=rep1&type=pdf
-
期刊类型引用(1)
1. 邱祥彪,杨晓明,孙建宁,王健,丛晓庆,金戈,曾进能,张正君,潘凯,陈晓倩. 高空间分辨微通道板现状及发展. 红外技术. 2024(04): 460-466 . 本站查看
其他类型引用(0)