Review of Infrared and Visible Image Registration
-
摘要: 多模态图像配准能提供比单模态图像配准更加丰富和全面的信息，红外与可见光图像配准作为一种常见的多模态配准类型，在电力、遥感、军事以及人脸识别等领域具有重要的应用价值。首先介绍了红外与可见光图像配准的相关技术并阐述了配准中存在的难点与挑战，然后详细分析和总结了基于区域、基于特征和基于深度学习3种红外与可见光图像配准方法，并分别阐述了不同配准方法的优缺点，之后概述了红外与可见光图像配准技术的实际应用，最后对红外与可见光图像配准未来的发展趋势进行讨论。Abstract: Multi-modal image registration can provide richer and more comprehensive information than single-modal image registration. Among them, infrared and visible image registration, which is a common multi-modal form of registration, has important application value in fields such as electric power, remote sensing, military, and face recognition. In this paper, the correlation technique of infrared and visible image registration is introduced, and the existing difficulties and challenges involved in registration are analyzed. Subsequently, the advantages and disadvantages of different registration methods are evaluated in detail the three types based on area, feature, and deep learning, and a practical application of infrared and visible image registration technology is presented. Finally, the future development trend of infrared and visible image registration is discussed.
-
Keywords:
- image registration /
- infrared image /
- visible image /
- deep learning
-
0. 引言
直液式走珠笔是一种借鉴了钢笔结构的走珠笔，与传统的走珠笔相比，墨水流动性更好，其墨水的性质与钢笔相似，比中性笔的墨水更稀，目前成为了市场上主流书写工具。因此建立直液式走珠笔的油墨种类鉴别方法对于司法鉴定工作具有重大意义。书写墨水的种属鉴定一直是法庭科学领域的研究重点，不仅可以为文件真伪鉴定提供依据[1]，还能缩小侦查范围[2]，成为认定案件事实的证据。目前国内法庭科学领域区分直液式走珠笔这种新型笔种墨水的文献较少[3]，而传统检验笔墨水成分的方法有光学检验法、色谱法、质谱法[4]、光谱法等方法[5]。其中质谱法[6]、色谱法、溶解法均属于有损检验，不符合当今无损检验的主流，破坏了检材案发时的完整性，而光谱法具有快速、无损检验的特点，广泛应用于墨水检验中[3]。
国内外学者针对墨水检验展开了许多实验研究，证实了傅里叶变换红外光谱法结合主成分分析可以检验墨水[7-9]，也有学者尝试将化学计量学[10-14]等技术应用于墨水、纸张等物证的检验，然而这些检验方法较为依赖样本标签，大多根据人为预设标签构建模型对样品进行大致分类，且缺少了评估分类变量对模型的贡献程度，难以做到客观、准确地检验墨水。目前K-均值聚类与组均值均等检验具有较好的稳定性，已被用于药物、细菌的检验，并且得到了较好的结果[15-16]。因此本文尝试结合光谱数据与K-均值聚类预先得出分类标签，采集市面上常见的20个直液式走珠笔样品，利用傅里叶变换红外光谱仪对样品进行检验并获得红外光谱谱图[8]，采取自动基线矫正、峰面积归一化、Savitzky-Golay5点平滑3种方法对谱图做预处理后，通过误差平方和指标（sum of the squares errors，SSE）确定最优K取值，对样品进行K-均值聚类得到样品的初步聚类结果，将聚类结果作为分类标签，采用主成分分析[10]对原始数据降维，对样品进行分类，利用组均值均等检验考察主成分降维后的变量对Fisher判别模型的贡献程度，根据考察结果选取判别函数建立Fisher判别模型，从而为直液式走珠笔油墨的快速鉴定提供一种新的方式。
1. 理论基础
1.1 傅里叶变换红外光谱
傅里叶变换红外光谱（Fourier transform infrared spectroscopy, FTIR）是一种通过数学处理将傅里叶变换，结合计算机与红外光谱技术的分析方法。傅里叶红外光谱法首先测量目标干涉图，通过对该图进行傅里叶变换获得对应的红外光谱数据，是一种无损、快速检验样品成分的方法[17]。
1.2 组内误差平方和
组内误差平方和代表数据误差大小的偏差平方和。随着聚类的类别K值增加，样品会被归类到更加精细的簇中，SSE会随之减少，期间SSE的下降幅度会骤减形成一个拐点，然后随着K值的继续增大而趋于平缓，该拐点就是聚类类别K值的最优取值。
1.3 K-均值聚类
K-均值聚类是一种划分样本为K个集合的聚类算法，是无监督学习类型的算法，通过迭代找到最佳聚类个数的一种划分方案，使得用K个聚类的均值来表示相应各类样本时所得到的总体误差最小，所以K均值聚类是以最小误差平方和为划分集合依据的聚类算法。其原理是根据预先设定的K值，将K个样本作为聚类的K个聚类中心，计算所得其余样品和每个聚类中心的欧几里距离，将其余样品分配给距离最近的聚类中心，通过多次迭代达到最优结果。
1.4 主成分分析
主成分分析（principal components analysis, PCA）是一种降低光谱数据特征维度的方法，通过线性变换把原始数据从原始坐标系统变换到一个新坐标系统中，从而达到降低原始数据特征维度，同时获得对原始数据信息方差贡献最大的特征。可通过主成分分析提取样品光谱数据的最大主成分，进一步构建2维主成分得分图，验证K-均值聚类结果的准确性。
1.5 组均值均等检验
组均值均等检验的目的是评价分组变量对分组模型贡献程度，将分组变量作为因子得出每个自变量的单因素ANOVA（analysis of variance）分析结果，根据分析结果得出对分组模型贡献程度较高的变量，之后用该变量构建Fisher判别模型。
1.6 判别分析
判别分析是在样本分类确定的前提下，按照未知样品特征所反映的信息判别其类别归属的一种统计分析法。按照相应的规则，构建一至多个判别函数，根据已有样品的大量数据信息计算待定系数从而确定判别函数，计算判别指标，进而推断未知样品的归属[18]。
2. 实验部分
2.1 实验仪器及条件
实验仪器为NICOLET5700傅里叶变换红外光谱仪，分辨率4 cm-1，扫描次数16次，扫描面积为100 μm×100 μm，扫描范围4000~400 cm-1。
2.2 实验样品
从各地收集不同品牌、不同型号样本共20个，均为黑色墨水，其中样品1~样品10为白雪品牌，样品11~样品13为晨光品牌，样品14~样品20为百乐品牌。
2.3 实验方法
用收集到的直液式走珠笔油墨样品制作检材，在上述实验条件下进行检测，为了保证数据的可复现性，每份检测均检测3次，以确保实验结果的可靠性[19]。光谱数据中存在大量冗余信息，会影响后续化学计量学方法的使用，因此采用The Unscrambler X 10.4（挪威CAMO公司）对光谱信号进行自动基线矫正、峰面积归一化、Savitzky-Golay5点平滑处理[20]。下面将通过化学计量学对样品光谱数据进行分析[21]。
3. 结果与分析
3.1 K-均值聚类
K的取值很大程度上决定了K-均值聚类的准确性，故引入手肘法（elbow method）确定K的最优取值，手肘法的核心指标是SSE，如式(1)所示：
$$ SSE = {\sum\nolimits_{i = 1}^k {\sum\nolimits_{p \in {C_i}} {\left| {p - {m_i}} \right|} } ^2} $$ (1) 式中：Ci是第i个簇；p是Ci中的样本点；mi是Ci的质心（Ci中所有样本的均值）；SSE是所有样本的聚类误差，SSE值越小代表聚类效果越好。
聚类数K值的增大会使得样本相应簇的划分更加精准，SSE会逐渐变小。因此K从小到大逐渐增加的过程中，SSE会逐渐变小，期间K会存在一个真实聚类数的临界点，当K值从临界点左侧增加到真实聚类数时，SSE会发生迅速地下降，然后随着K逐渐增大趋于平缓。SSE和K关系图会有一个拐点，该拐点对应的K值就是数据的真实聚类数。从图 1可知，K从1~3时下降得很快，当K取值≥3后，曲线下降逐渐趋于平缓，所以最佳聚类个数为3。
当K＝3时，对样品进行K-均值聚类，聚类结果图如图 2所示。
由图 2可得，当K＝3时，所有样品在二维平面被显著地分为了3类，且各类样品在红外谱图中存在明显的区别，表现为：第一类样品（7#）中存在CS伸缩振动，CH面内弯曲振动以及C=C伸缩振动，出峰位置分别为1172 cm-1，1388 cm-1以及1577 cm-1；第二类样品（13#）中存在972 cm-1的CH的变形振动，以及1353 cm-1和1470 cm-1的CH的面内弯曲振动；第三类样品（18#）中存在1461 cm-1的CH的面内弯曲振动，结果如表 1和图 3所示。为了验证K-均值聚类这一无监督学习的准确性，根据聚类结果划分样品的类别，采用主成分分析将各个类别的样品投影到二维平面进行验证。
表 1 样品聚类结果Table 1. Clustering results of samplesClassification Sample number 1
21#、2#、3#、4#、5#、6#、7#、8#、9#、10#
11#、12#、13#3 14#、15#、16#、17#、18#、19#、20# 3.2 主成分分析
主成分分析是一种无监督学习的方法，通过将原始多维数据投影到新坐标系统重新组合成一组新的线性无关数据来代替原始数据，同时尽可能地反映原始数据特征信息[21]。PCA共提取了6个PC，图 4显示了不同PC的方差贡献率及累计贡献率，其中PC1方差贡献率最大，为80.466%，前6个PC的累计方差贡献率为98.556%，包含了原始数据的绝大多数信息。以PC1、PC2和PC3绘制PCA的2维主成分得分图，如图 5所示，样本基于其在PC1、PC2、PC3上的得分被分为了3类，组内距离较小，组间距离较大，验证了K-均值聚类的聚类结果。考虑到实际中需要预测未知样本，本文采用Fisher判别分别建立3类样品的预测模型。
3.3 组均值均等检验
为了实现对未知样品的预测，构建Fisher判别模型前，使用组均值均等检验考察分组变量对分组模型贡献程度。组间均方与组内均方的比值为F统计量，两个自由度分别为自由度1（df1）和自由度2(df2)，分别表示残差平方和自由度和回归平方和自由度，自由度1为分子，自由度2为分母，两个自由度用来得到观测显著性（Sig值）。显著性（Sig）和Wilks’lambda是评价分组变量的标准。Sig值表示区分不同组别的能力，如果Sig值较小（Sig < 0.10）则表明组间差异较为显著，如果Sig值较大（Sig＞0.10）则表示组间差异不显著。PC1的Sig值为0.000，表面PC1在各组间的差异不显著。组内平方和与总平方和的比值为Wilks’lambda，值的范围在0~1之间，值越小表示组内有很大差异，值接近1表示没有组内差异。根据K-均值聚类结果划分样品类别，用组均值均等性检验，结果如表 2所示，PC3~PC6的Wilks’Lambda均大于0.97，表明这4个变量组内差异很小，对模型影响不显著，且sig值均大于0.10，表明这四者不能充分解释各样本的分类情况。PC1和PC2的Wilks’Lambda均接近0，表明这两个变量对判别模型影响的显著性极高，且Sig值均为0，可表明这两个变量可以很好地解释各样本的分组信息。因此选取前两个变量构建Fisher判别模型。
表 2 各组平均值的均等性检验Table 2. Equality verification of the average value of each groupVariable Wilks Lambda F df1 df2 Sig PC1 0.108 69.946 2 17 0.000 PC2 0.061 131.335 2 17 0.000 PC3 0.974 0.223 2 17 0.802 PC4 0.975 0.217 2 17 0.807 PC5 0.988 0.106 2 17 0.900 PC6 0.998 0.021 2 17 0.980 3.4 Fisher判别模型
在构建Fisher判别模型中使用前两个典则判别函数F1和F2，其中F1＝-0.028PC1-24.94PC2-10.932，F2＝34.764PC1-39.654PC2-48.976。表 3为Fisher判别函数摘要，判别函数1（F1）的方差贡献率为81.0%，判别函数2（F2）的方差贡献率为19.0%，两者累计方差贡献率达到了100%，表明这两个函数能完全反映样品光谱特征中的信息。F1和F2的相关性大于0.95，表明不同样本类别与F1和F2的相关性很强。观察到F1和F2在函数检验（Function test）中的Wilks’Lambda数值分别为0.002和0.083，均接近0，表明这两个判别函数对模型影响的显著性很高，Sig值均为0，表明这两个判别函数对变量的可解释度很高，具有充分解释样本分类的能力，综上选用F1和F2这两个函数作为判别函数，构建Fisher判别模型进行分类，用留一法（Leave-One-Out Cross Validation）作为验证模型的方法。选择函数1（F1）和函数2（F2）绘制判别函数联合分布图，如图 6所示。由图 6和表 4的结果可得，该判别模型对3类样本实现了正确率100%的分类，同时经过留一法验证后模型正确率仍为100%。如果需要区分未知样品，只需将该样品相应的红外光谱数据输入模型，判别函数联合分布图中就会显示出该未知样品位置及与其相距最近的分组质心，从而推断出未知样品属于哪一类别。
表 3 Fisher判别函数摘要Table 3. Summary of Fisher's discriminant functionsFunction Variance contribution% Cumulative contribution% Correlation Function test Wilks’Lambda Sig F1 81.0 81.0 0.990 1 to 2 0.002 0.000 F2 19.0 100.0 0.958 2 0.083 0.000 表 4 分类结果Table 4. Classification resultsCategories Predicted 1 2 3
Observed1 10(10) 0 0 2 0 3(3) 0 3 0 0 7(7) 4. 结论
本文借助了傅里叶变换红外光谱仪对20种直液式走珠笔墨水成分及含量进行了快速无损检验，建立了一种鉴别直液式走珠笔墨水类别的方法。首先对样品的傅里叶变换红外光谱数据进行自动基线矫正、峰面积归一化、Savitzky-Golay5点平滑3种预处理方法。采取组内误差平方和指标得出K-均值聚类的最优K取值，对样品进行K-均值聚类，实现了对直液式走珠笔墨水样品初步分类。对各类样品K-均值聚类结果进行主成分分析，绘制主成分二维得分图使各类样品之间的关系更加明确，同时验证了K-均值聚类结果的准确性。使用组均值均等检验评价PCA降维后的分组变量对FDA模型的贡献程度，得到两个具有较高贡献程度的判别函数，用该判别函数构建Fisher判别模型对3类样本进行分类识别，3类样品均被正确地分类为实际对应的3种品牌，分类正确率达到100%，交叉验证后预测正确率为100%。可通过该模型对案件涉及的未知直液式走珠笔墨水物证进行快速分类，为司法检验鉴定提供帮助。
-
![]()
图 3 基于深度学习的图像配准算法步骤
Figure 3. Image registration algorithm principle based on deep learning
![]()
![]()
图 5 基于点特征的图像配准：(a)红外与可见光图像配准；(b)融合结果
Figure 5. Image registration based on point feature: (a)Infrared and visible image registration; (b)Fusion result
![]()
图 6 基于形态学梯度和C_SIFT的实时自适应可见光和红外图像配准及其结果：(a)算法流程图；(b)待配准图像对；(c)待配准图像的形态梯度图像；(d)红外与可见光图像配准结果[24]
Figure 6. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT and result: (a)The flowchart of proposed algorithm; (b)Image pairs to be registered; (c)The morphology gradient image of visible and infrared images; (d)The registration results of visible and infrared images[24]
![]()
![]()
图 10 变压器对抗网络（TAN）的红外与可见光图像配准框架及部分实验结果：变压器对抗网络框架(a)与配准结果(b)[45]
Figure 10. Infrared and visible image registration framework using transformer adversarial network (TAN) and some experimental results: (a) The framework of the proposed Transformer Adversarial Network and (b) registration results of TAN[45]
-
[1] LI Y, YU F Y, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]. Cluster Computing the Journal of Networks Software Tools and Applications, 2019, 22(4): 9435-9443.
[2] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784. DOI: 10.1016/j.patcog.2014.09.005
[3] 韩静, 柏连发, 张毅, 等. 基于改进配准测度的红外与可见光图像配准[J]. 红外技术, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006 HAN J, BO L F, ZHANG Y, et al. A registration algorithm of infrared and visible image based on revised measure function[J]. Infrared Technology, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006
[4] Sarvaiya J N, Patnaik S, Bombaywala S. Image registration by template matching using normalized cross-correlation[C]//2009 International Conference on Advances in Computing, Control, and Telecommunication Technologies. IEEE, 2009: 819-822.
[5] YANG Z, SHEN G, WANG W, et al. Spatial-spectral cross correlation for reliable multispectral image registration[C]//2009 IEEE Applied Imagery Pattern Recognition Workshop (AIPR 2009), 2009: 1-8.
[6] MA J, JIANG X, FAN A, et al. Image matching from handcrafted to deep features: A survey[J]. International Journal of Computer Vision, 2021, 129(1): 23-79. DOI: 10.1007/s11263-020-01359-2
[7] Stone H S, Tao B, McGuire M. Analysis of image registration noise due to rotationally dependent aliasing[J]. Journal of Visual Communication and Image Representation, 2003, 14(2): 114-135. DOI: 10.1016/S1047-3203(03)00002-6
[8] LI Z, YANG J, LI M, et al. Estimation of large scalings in images based on multilayer pseudopolar fractional Fourier transform[J]. Mathematical Problems in Engineering, 2013, 2013: 179489.
[9] DONG Y, JIAO W, LONG T, et al. An extension of phase correlation-based image registration to estimate similarity transform using multiple polar Fourier transform[J]. Remote Sensing, 2018, 10(11): 1719. DOI: 10.3390/rs10111719
[10] Fujisawa T, Ikehara M. High-accuracy image rotation and scale estimation using radon transform and sub-pixel shift estimation[J]. IEEE Access, 2019, 7: 22719-22728. DOI: 10.1109/ACCESS.2019.2899390
[11] Fouda Y, Ragab K. An efficient implementation of normalized cross-correlation image matching based on pyramid[C]//2013 International Joint Conference on Awareness Science and Technology & Ubi-Media Computing, IEEE, 2013: 98-103.
[12] YANG M Y, QIANG Y, Rosenhahn B. A global-to-local framework for infrared and visible image sequence registration[C]//2015 IEEE Winter Conference on Applications of Computer Vision, 2015: 381-388.
[13] BAI L F, HAN J, ZHANG Y, et al. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization[J]. Infrared Laser Engineering, 2012, 41(1): 248-254.
[14] CHEN S J, SHEN H L, LI C, et al. Normalized total gradient: A new measure for multispectral image registration[J]. IEEE Transactions on Image Processing, 2017, 27(3): 1297-1310.
[15] YANG T J, TANG Q, LI L. Nonrigid registration of medical image based on adaptive local structure tensor and normalized mutual information[J]. Journal of Applied Clinical Medical Physics, 2019, 20(6): 99-110. DOI: 10.1002/acm2.12612
[16] 赵洪山, 张则言. 基于文化狼群算法的电力设备红外和可见光图像配准[J]. 光学学报, 2020, 40(16): 51-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202016007.htm ZHAO H, ZHANG Z. Power equipment infrared and visible images registration based om cultural wolf pack algorithm[J]. Acta Optica Sinica, 2020, 40(16): 51-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202016007.htm
[17] 孙凤杰, 赵孟丹, 刘威, 等. 基于方向场的输电线路间隔棒匹配定位算法[J]. 中国电机工程学报, 2014, 34(1): 206-213. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201401025.htm SUN F, ZHAO M, LIU W, et al. Spacer matching and localizetion algorithm for transmission line video image based on directional field[J]. Proceedings of the CSEE, 2014, 34(1): 206-213. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201401025.htm
[18] 刘刚, 周珩, 梁晓庚, 等. 非下采样轮廓波域红外与可见光图像配准算法[J]. 计算机科学, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061 LIU G, ZHOU H, LIANG X, et al. Image registration algorithm for infrared and visible light based on non-subsamoled Contourlet transform[J]. Computer Science, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061
[19] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm WU Y, ZHANG C, ZHANG Y. Image Registration based on gradient and regional mutual information[J]. Journal of Guangxi University: Natural Science Edition, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm
[20] ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization–Powell search algorithm[J]. Optik, 2016, 127(1): 188-191. DOI: 10.1016/j.ijleo.2015.09.199
[21] LI Y, WANG J, YAO K. Modified phase correlation algorithm for image registration based on pyramid[J]. Alexandria Engineering Journal, 2022, 61(1): 709-718. DOI: 10.1016/j.aej.2021.05.004
[22] Morel J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469. DOI: 10.1137/080732730
[23] YANG N, YANG Y, LI P, et al. Research on infrared and visible image registration of substation equipment based on Multi-scale Retinex and ASIFT features[C]//Sixth International Workshop on Pattern Recognition. International Society for Optics and Photonics, 2021, 11913: 1191303.
[24] ZENG Q, ADU J, LIU J, et al. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]. Journal of Real-Time Image Processing, 2020, 17(5): 1103-1115. DOI: 10.1007/s11554-019-00858-x
[25] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2020, 36(4): 2559-2569.
[26] 李伟, 王军, 俞跃. 基于可见光匹配矩阵的电气部件故障红外自动识别算法[J]. 红外技术, 2019, 41(11): 1047-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911009.htm LI W, WANG J, YU Y. An infrared automatic fault recognition method for electrical parts based on visible matching matrix[J]. Infrared Technology, 2019, 41(11): 1047-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911009.htm
[27] CHEN Y, DAI J, MAO X, et al. Image registration betwe en visible and infrared images for electrical equipment inspection robots based on quadrilateral features[C]// 2nd International Conference on Robotics and Automation Engineering (ICRAE), 2017: 126-130.
[28] 戴进墩, 刘亚东, 毛先胤, 等. 基于NSCT域FAST角点检测的电气设备红外与可见光图像配准[J]. 电测与仪表, 2019, 56(1): 108-114. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201901018.htm DAI J, LIU Y, MAO X, et al. Registration based on NSCT-domain FAST corner detection for infrared and visible images of electrical equipment[J]. Electrical Measurement & Instrumentation, 2019, 56(1): 108-114. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201901018.htm
[29] 江泽涛, 刘小艳, 王琦. 基于显著性和ORB的红外和可见光图像配准算法[J]. 激光与红外, 2019, 49(2): 251-256. DOI: 10.3969/j.issn.1001-5078.2019.02.022 JIANG Z, LIU X, WANG Q. Visible and infrared image registration algorithm based on saliency and ORB[J]. Laser & Infrared, 2019, 49(2): 251-256. DOI: 10.3969/j.issn.1001-5078.2019.02.022
[30] 占祥慧, 徐智勇, 张建林. 结合滚动引导滤波和相位信息的红外与可见光图像配准[J]. 半导体光电, 2021, 42(5): 726-732. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202105023.htm ZHANG X, XU Z, ZHANG J. Infrared and visible images registration using rolling guided filter and phase information[J]. Semiconductor Optoelectronics, 2021, 42(5): 726-732. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202105023.htm
[31] LI Q, HAN G, LIU P, et al. An infrared-visible image registration method based on the constrained point feature[J]. Sensors, 2021, 21(4): 1188. DOI: 10.3390/s21041188
[32] CHEN X, LIU L, ZHANG J, et al. Registration of multimodal images with edge features and scale invariant PIIFD[J]. Infrared Physics & Technology, 2020, 111: 103549.
[33] LIU X, LI J B, PAN J S, et al. An advanced gradient texture feature descriptor based on phase information for infrared and visible image matching[J]. Multimedia Tools and Applications, 2021, 80(11): 16491-16511. DOI: 10.1007/s11042-020-10213-z
[34] 李云红, 罗雪敏, 苏雪平, 等. 基于改进CSS的电力设备红外与可见光图像配准[J/OL]. 激光与光电子学进展: 1-14. [2021-9-9]. http://www.cnki.com.cn/Article/CJFDTotal-JGDJ20210909004.htm. LI Y, LUO X, SU X, et al. Registration method for power equipment infrared and visible images based on improved CSS[J/OL]. Laser & Optoelectronics Progress: 1-14. [2021-9-9]. http://www.cnki.com.cn/ Article/CJFDTotal-JGDJ20210909004.htm.
[35] CHENG T, GU J, ZHANG X, et al. Multimodal image registration for power equipment using clifford algebraic geometric invariance[J]. Energy Reports, 2022, 8: 1078-1086. DOI: 10.1016/j.egyr.2022.02.192
[36] 陈亮, 周孟哲, 陈禾. 一种结合边缘区域和互相关的图像配准方法[J]. 北京理工大学学报, 2016, 36(3): 320-325. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201603018.htm CHEN L, ZHOU M, CHEN H. A method for image registration combined by edge region and cross correlation[J]. Transactions of Beijing Institute of Technology, 2016, 36(3): 320-325. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201603018.htm
[37] LIU G, LIU Z, LIU S. et al. Registration of infrared and visible light image based on visual saliency and scale invariant feature transform[J]. J. Image Video Proc. , 2018: 45. https://doi.org/10.1186/s13640-018-0283-9.
[38] 廉蔺, 李国辉, 张军, 等. 基于边缘最优映射的红外和可见光图像自动配准算法[J]. 自动化学报, 2012, 38(4): 570-581. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201204009.htm LIAN L, LI G, ZHANG J, et al. An automatic registration algorithm of infrared and visible images based on optimal mapping of edges[J]. Acta Automatica Sinica, 2012, 38(4): 570-581. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201204009.htm
[39] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784. DOI: 10.1016/j.patcog.2014.09.005
[40] 李巍, 董明利, 吕乃光, 等. 基于T分布混合模型的多光谱人脸图像配准[J]. 光学学报, 2019, 39(7): 56-66. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201907007.htm LI W, DONG M L, LYU N G, et al. Multispectral face image registration based on t-distribution mixture model[J]. Acta Optica Sinica, 2019, 39(7): 56-66. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201907007.htm
[41] MIN C, GU Y, LI Y, et al. Non-rigid infrared and visible image registration by enhanced affine transformation[J]. Pattern Recognition, 2020, 106: 107377. DOI: 10.1016/j.patcog.2020.107377
[42] MIN C, GU Y, YANG F, et al. Non-rigid registration for infrared and visible images via Gaussian weighted shape context and enhanced affine transformation[J]. IEEE Access, 2020, 8: 42562-42575. DOI: 10.1109/ACCESS.2020.2976767
[43] ZHAO Z, ZHAO L, QI Y, et al. Infrared and visible image registration based on hypercolumns[C]//CCF Chinese Conference on Computer Vision, 2017: 529-539.
[44] WEI Z, JUNG C, SU C. RegiNet: Gradient guided multispectral image registration using convolutional neural networks[J]. Neurocomputing, 2020, 415: 193-200. DOI: 10.1016/j.neucom.2020.07.066
[45] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]// 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018: 1248-1252.
[46] Kumari K, Krishnamurthi G. GAN-based End-to-End Unsupervised Image Registration for RGB-Infrared Image[C]// 3rd International Conference on Intelligent Autonomous Systems (ICoIAS). IEEE, 2020: 62-66.
[47] MAO Y, HE Z. Dual-Y network: infrared-visible image patches matching via semi-supervised transfer learning[J]. Applied Intelligence, 2021, 51(4): 2188-2197. DOI: 10.1007/s10489-020-01996-7
[48] 杨冰超, 王鹏, 李晓艳, 等. 基于模态转换结合鲁棒特征的红外图像和可见光图像配准[J]. 激光与光电子学进展, 2022, 59(4): 180-189. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202204017.htm YANG B, WANG P, LI X, et al. Infrared and visible light image registration based on model conversion and robust features[J]. Laser & Optoelectronics Progress, 2022, 59(4): 180-189. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202204017.htm
[49] YU K, MA J, HU F, et al. A grayscale weight with window algorithm for infrared and visible image registration[J]. Infrared Physics & Technology, 2019, 99: 178-186.
[50] LUO W, HAO X, XU C, et al. Coarse-to-fine registration for infrared and visible images of power grid[C]// 4th International Conference on Systems and Informatics (ICSAI), 2017: 1181-1185.
[51] 姜骞, 刘亚东, 方健, 等. 基于轮廓特征的电力设备红外和可见光图像配准方法[J]. 仪器仪表学报, 2020, 41(11): 252-260. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202011028.htm JIANG Q, LIU Y D, FANG J, et al. Registration method for power equipment infrared and visible images based on contour feature[J]. Chinese Journal of Scientific Instrument, 2020, 41(11): 252-260. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202011028.htm
[52] 马露凡, 罗凤, 严江鹏, 等. 深度医学图像配准研究进展: 迈向无监督学习[J]. 中国图象图形学报, 2021, 26(9): 2037-2057. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202109002.htm MA L F, LUO F, YAN J P, et al. Deep-learning based medical image registration pathway: towards unsupervised learning[J]. Journal of Image and Graphics, 2021, 26(9): 2037-2057. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202109002.htm
[53] 刘欢, 肖根福, 欧阳春娟, 等. 初-精结合和多特征融合的多源遥感图像配准[J]. 遥感信息, 2018, 33(6): 61-70. DOI: 10.3969/j.issn.1000-3177.2018.06.009 LIU H, XIAO G F, OUYANG C J, et al. Initial-fine combination and multi-feature fusion for multi-source remote sensing image registration[J]. Remote Sensing Information, 2018, 33(6): 61-70. DOI: 10.3969/j.issn.1000-3177.2018.06.009
-
期刊类型引用(1)
1. 焦晓杰. 基于时空域滤波的雾天舰船图像视觉传达方法. 舰船科学技术. 2023(03): 173-176 . 
百度学术
其他类型引用(2)
下载:
计量
- 文章访问数: 645
- HTML全文浏览量: 255
- PDF下载量: 261
- 被引次数: 3
