0.   引言

21世纪以来，科学技术发展非常迅速，同时图像传感技术也在持续发展，应用领域越来越广泛，但同源图像只能反映场景信息的一部分，信息获取非常受限制，它已难以满足不断增多的应用需求。异源图像的融合结果可以提供有效的互补信息，图像配准是图像融合的关键技术，对融合结果的质量有直接影响。由于图像之间有相位和比例缩放的关系^[1]，为了有效地利用这些异源图像信息，有必要对从不同位置或不同传感器形态观测到的同一场景的图像进行配准^[2]。

异源图像配准属于常见的多传感器图像配准类型，被广泛应用于遥感信息融合^[3]、军事侦察和医疗图像等^[4]。本文异源图像研究对象是红外图像和可见光图像，图像配准主要的任务是计算最优几何变换参数^[5]，使得配准图像和目标图像之间形成最大化的相似性。图像的特征匹配是图像配准过程中关键一步，其匹配准确度对最终配准图像的性能有直接影响。常用的图像匹配算法有基于区域^[6]的匹配和基于特征的匹配方法^[5]。基于区域的算法计算复杂度高，常用的计算变换参数的算法有互相关和互信息^[7]（mutual information，MI），基于特征的匹配方法主要是提取图像的角点、边缘等特征，利用特征描述算子使得特征点匹配。2004年Lowe^[8]提出了尺度不变的用于特征匹配的算法SIFT，对视角变化和噪声干扰的图片的特征点匹配有较强鲁棒性。2012年，Wang^[9]等发表了用双边滤波实现改进的SIFT（scale-invariant feature transform）算法，此算法能保留更多的特征信息，提高了去噪能力。Roblee等于2011年提出了新型二进制特征配准算法ORB^[10]（oriented fast and rotate brief），运算速度快，对有旋转度的图像特征点匹配有较强稳定性。2018年Feng^[11]等解决了ORB特征点匹配不具有尺度不变性的问题。

对于成像原理，可见光和红外光图像的各自成像特点有较大差异，红外传感器主要是利用其热辐射而成像，对应场景的温度决定了像素亮度，可见光传感器是由环境反射信息而成像，其像素亮度是由环境光决定，因此，其各自图像中的像素强度通常没有直接关联性，红外图像具有模糊的边缘细节，与可见光在非线性辐射上有较大差异，加上其各自图像获取角度，成像分辨率等不同，提高了红外和可见光图像配准的难度。针对这些问题，Li等提出了一种解决像素强度差异和非线性辐射畸变（nonlinear radiation distortion，NRD）问题的方法^[12]，即基于辐射不变特征变换（radiation-variation insensitive feature transform，RIFT）的图像配准，对于异源图像的特征点匹配有良好的性能，该方法不再根据传统的针对像素强度和梯度进行特征检测，而是使用相位一致性（PC）来构造旋转度不同的多重最大索引映射（maximum index mapping，MIM）用于特征描述，对非线性辐射畸变有较强鲁棒性，同时也使得RIFT算法有一定旋转不变性，但由于在优化MIM时失去了大量细节信息，其对于旋转畸变失真的健壮性还不够，导致特征点匹配精度降低。

本文提出一种融合式PC-ORB的算法，将相位一致性融入ORB，用相位信息代替图像强度信息进行后续特征点检测，对图像像素强度变换有一定稳定性，且利用ORB算法中rBRIEF（rotation-aware BRIEF）特征描述子，对有旋转畸变的图像有更稳定的配准精度，但ORB算法的图像匹配准精度和抗干扰能力不足，引入了随机抽样一致性（RANSAC）算法对ORB特征匹配对进行几何校验后，有效过滤错误匹配对，经过变换模型再进行图像配准，文献[13]提出改进的ORB算法，采用RootSIFT构造特征描述符，提高了特征描述符的稳定性，但对于旋转图像，配准稳定性不足，本文算法先构造PC图，再用rBRIEF进行特征描述符构造，对于旋转图像的配准精度更优。经过实验结果的分析，相比于传统的特征匹配算法（SIFT、ORB）以及原RIFT算法，本文算法对于异源图像配准有更良好的性能。

1.   本文算法流程

红外图像和可见光图像成像原理差异较大，采用相位一致性构造边缘图像能有效减少图像间光线强度大小和对比度变化的影响，且能保留图像纹理、边缘和角点等关键信息。ORB算法采用FAST特征检测和rBRIEF的特征描述的算法对图像旋转畸变有鲁棒性，一定程度上可以克服RIFT算法产生的旋转失真的问题，本文将验证这一点，最后用RANSAC对匹配点进行精匹配，提高变换参数的准确度。本文的融合式PC-ORB算法具体流程如图 1所示。

图  1  本文算法整体框架

Figure  1.  Flow chart of the proposed algorithm

下载: 全尺寸图片 幻灯片

2.   基于PC-ORB特征检测和特征描述

2.1   构造PC

利用小波变换构造PC图，即含有丰富信息的边缘图，有效避免图像局部光线明暗等因素对特征点检测的影响，且能保留图像边缘对比度较低的时候的边缘信息。通常通过LGF滤波器的高斯扩展得到2D-Log-Gabor滤波器，其没有直流分量，频域的覆盖面广^[14]，定义为式(1)：

式中：s, o和o为2D-Log-Gabor尺度和方向参数；(ρ, θ)表示对数极坐标；(ρ_s, θ_so)表示2D-Log-Gabor的中心频率值；ρ和θ的频率带宽由σ_ρ, σ_θ表示。构造PC首先需要把给定的二维图像I(x, y)和式(1)经过傅里叶逆变换得到的偶对称小波和奇对称小波进行卷积，得到在尺度和方向上的响应值，根据响应值算出在s, o的振幅分量和相位分量，PC定义为式(2)：

式中：A_so(x, y)为振幅分量；Φ_so(x, y)为相位分量，(x, y)表示像素位置；ω_so(x, y)是作用在频域的权重因子。

为了减少方向变化对PC图像的影响，使用式(2)对多个方向上的相位一致性进行计算得到PC(θ_o)，o、θ_o分别表示多个方向和多个方向的角度值，然后据此算出相位一致性矩，由力矩分析算法可知，主轴对应的是最小力矩，包含了特征量的方向信息，于其对应的垂直于主轴的是最大力矩，其计算式如下式：

式中：a、b、c是根据各个方向的相位一致性，在图像的各个点中计算出的中间量。ψ为主轴的角度；m_ψ为最小力矩，主要用来检测角点特征，M_ψ为最大力矩，具有图像的边缘特征，由于边缘结构特征对图像辐射畸变有抑制作用，常结合角点特征和边缘结构特征进行特征匹配。

源图像和计算得到的PC图如图 2所示，图 2(a)为输入的可见光-红外光图像对，图 2(b)为PC构造后的可见光-红外光图像对。

图  2  可见光图像和红外图像的PC图

Figure  2.  PC images of visible and infrared images

下载: 全尺寸图片 幻灯片

2.2   FAST特征检测

用FAST算法找到图中的特征点是ORB算法的第一步，与SIFT和SURF特征点检测算法相比，FAST算法的运算速度快^[15]，运算量小，其检测特征点原理图如图 3所示。

图  3  FAST特征检测原理

Figure  3.  FAST feature detection schematic diagram

下载: 全尺寸图片 幻灯片

FAST算法的原理是选取一个定义的像素点P为中心，通过比较邻近点P的像素点的灰度值来判断该点是否为特征点。对于邻近点P的像素点，以点P为圆心，通常选取3个像素点为半径，形成一个穿过16个像素点的圆形，将每个圆周经过的像素点标记序号为1~16，设定一个阈值t，计算16个像素点与点P的灰度值的差值绝对值，若有N个连续大于或等于阈值t的绝对值（N通常取为9或者12），则该点P就被标记为特征点。由于此过程的判别过程耗时较大，为了提高其判别效率，先计算点P像素灰度值与序号为1、5、9、13的4个等间隔像素点的灰度值差值的绝对值，如果有3个及以上的绝对值大于阈值，则选取该点为特征点，如果不满足，则排出该点，有效地提高了搜索特征点的运算效率，其判别公式如下式：

式中：I_x为点P周围待判别像素的灰度值；I_p为候选点P的灰度值；t为判别阈值。

FAST算法能快速检测出特征点，但是对方向变化较为敏感，ORB算法采用改进的FAST算法，即oFAST算法，在原算法特征中添加方向信息，该方向信息由特征点周围像素强度决定。首先在特征点领域范围内通过领域矩方法计算而找到灰度质心，然后以特征点到质心的方向为特征方向，领域矩定义为：

式中：m_pq表示为p+q阶矩；I(x, y)表示(x, y)处的灰度值，计算领域质心和特征方向的公式为：

式中：结合式(7)，m₁₀、m₀₁和m₀₀是式(7)中p和q取0或者1的领域矩结果，θ表示特征方向角度值。

对图 2(b)构造后的PC图进行FAST特征检测，如图 4所示，可明显看出，源红外光-可见光图像的FAST特征检测点个数较少，构造PC后的可见光-红外图像边缘角点特征个数增多，为后续的特征点匹配奠定了稳定基础。

图  4  PC构造后特征点检测对比

Figure  4.  Comparison of feature point detection after PC construction

下载: 全尺寸图片 幻灯片

2.3   rBRIEF特征描述

ORB算法第二步是用BRIEF算法描述通过FAST检测到的特征点，BRIEF是二进制编码的描述符，也称二进制字符串，是只包含1和0的特征描述符，不同于传统的灰度直方图描述特征点的方法，有效降低了特征匹配时间，其描述向量定义为：

式中：p(x)和p(y)分别是图像中特征点对应的像素灰度值大小，通过比较随机特征对的灰度值大小，向BRIEF描述符对应位赋值，若第一个特征点灰度值小于第二个特征点灰度值，则赋位值1，反之赋位值0，通过一系列比较后得出一个N维的二进制描述符，可表示为：

在选取点对时，BRIEF算法对旋转畸变和噪声较为敏感，该算法是以当前关键点为中心建立坐标系，其中水平方向定义为X轴，垂直方向定义为Y轴，如果图像旋转，则在保持不变的坐标系下选择相同的点，由此生成的特征描述子也会有所不同。ORB算法对此进行了改进，在计算BRIEF的时候以关键点为圆心，并以连接该关键点与所选取点区域质心的线段为X轴，如图 5所示。

图  5  改进前后的BRIEF的对比

Figure  5.  Comparison of BRIEF before and after improvement

下载: 全尺寸图片 幻灯片

对于任意特征点对(x_i, y_i)，在领域的n对特征点对能用一个2×n的矩阵表示：

由特征点主方向θ可计算出经过旋转矩阵R_θ后的新点对S_θ，如下式：

最终的改进后的BRIEF描述子可表示为：

改进后的BRIEF算法虽具有旋转不变性，但在改进过程削弱了描述符的相关性，即可区分性，对于后续的特征点匹配影响较大，造成错误匹配。ORB后续采用统计学习的算法，该算法是对一个均值约0.5的不相关检验的贪婪搜索，重新计算二进制点对，即rBRIEF（rotation-aware BRIEF），对比图 5所示的第一次改进后的BRIEF算法，在算法的方差和相关性都有所提升且都对图像旋转畸变有抑制作用。

2.4   RANSAC算法

RANSAC算法即随机抽样一致性（random sample consensus）算法^[16]，广泛运用于计算机视觉和图像处理相关领域。该算法根据包含错误数据和正确数据的样本集合，通过迭代的方式从集合中不断提取数据来计算最优模型的参数，RANSAC算法中将满足变换模型的点称为内点，不满足则称为外点，基本流程如下：

1）从输入的样本特征点对集合M中提取子数据集m，该子数据集包含样本集合的最少数据量，即确定模型参数的最少数量，将其作为假设的内点集合，计算子数据集m的元素构建变换模型。

2）将样本特征点对集合M中除子数据集m外的剩余特征点对集合全部代入1）中生成的模型计算并验证是否满足该变换模型的阈值条件，如果满足则增加内点统计数目。

3）迭代以上两步，若统计到足够多的内点数目，则说明1）中构建的变换模型较好且保留该模型，若统计的内点数目太少则该模型无效。

4）对迭代出来统计的内点数目再次计算估计变换模型，若迭代后保留的有效模型中内点多于前一个模型，则此为最优变换模型。

图 6为RANSAC算法原理图。

图  6  RANSAC算法原理示意图

Figure  6.  Schematic diagram of RANSAC algorithm principle

下载: 全尺寸图片 幻灯片

y为线性表达式，ρ为1）中构建的变换模型的阈值条件，用来判断2）中的特征点对集合是否满足变换模型，如图所示红点为满足阈值条件的内点数，该图内点数为6。

3.   本文算法验证结果及分析

为验证本文算法有效性，采用热红外数据集FLIR的图像进行实验，通过定量和定性实验分析并验证在旋转变化的情况下本文算法的稳定性，并把本文算法与SIFT、ORB、RIFT算法进行对比实验，分析本文特征匹配的性能。本算法的实验硬件环境为64位Windows 10，Intel(R) Core(TM) i5-12400F，2.50 GHz，内存为16 GB，软件环境为Matlab 2021a。

3.1   旋转不变性匹配结果对比

为验证本文算法的旋转不变性，选取了10对场景不同的红外光和可见光样本集，使得这10对样本中每幅可见光图像每隔20°进行旋转，红外图像角度不变，保持其余匹配设置参数相同下，使得每对图像进行共18次实验，用正确匹配率（correct matching rate，CMR）和均方根误差（root mean square error，RMSE）作为客观评价指标。

CMR和RMSE计算公式如下：

CMR中N_c表示正确匹配点对的数量；N为所有匹配点对数量，CMR值越高说明该条件下匹配性能越好。M为正确匹配点对的个数，(x_i, y_i)和$(\mathop {{x_i}}\limits^ \wedge , \mathop {{y_i}}\limits^ \wedge )$分别为匹配点对数量，CMR值越高说明该条件下匹配性能越好。M为正确匹配点对的个数，(x_i, y_i)和$(\mathop {{x_i}}\limits^ \wedge , \mathop {{y_i}}\limits^ \wedge )$分别为红外图像中的特征点对坐标和可见光图像中经过变换模型后的坐标。RMSE的值越小说明特征匹配精度效果越好，反之值越大，匹配效果越差。控制其他参数相同的情况下将本文算法和RIFT算法作对比，结果如图 7和图 8所示。

图  7  旋转图像的正确匹配率

Figure  7.  Correct matching rate of rotated images

下载: 全尺寸图片 幻灯片

图  8  旋转图像的RMSE

Figure  8.  RMSE of rotated images

下载: 全尺寸图片 幻灯片

与RIFT算法中的特征描述方法相比，本文提出的算法采用rBRIEF算法进行特征描述，在抑制图像旋转畸变方面更有效。在旋转幅度较小的情况下，两种算法的CMR差别较小，特征匹配的结果没有明显影响。随着旋转幅度的增大，达到100°~250°时，两种算法的CMR均有明显下滑，本文算法的CMR大于RIFT算法，匹配性能更优。

另一方面，对于两种方法的RMSE，在图像有旋转幅度时，两种算法的RMSE均有增大，且稳定在1.7~2.1之间，但本文算法RMSE数值平均低于RIFT算法。由图 7可知在旋转幅度较大时，本文算法的特征点检测的正确率高于RIFT算法，即在估计变换模型精度上效果更优，总的来看本文算法在匹配质量优于RIFT算法。

图 9展示了对可见光图像分别旋转40°和200°后与红外图像进行特征匹配的结果。旋转幅度为40°时，本文算法和RIFT算法的正确匹配率差别不大，旋转幅度达到200°时，与本文算法相比较，RIFT算法的错误匹配对明显增多，最终配准性能受旋转畸变影响较大。

图  9  旋转图像的特征点匹配结果

Figure  9.  Matching results of feature points in rotating images

下载: 全尺寸图片 幻灯片

3.2   特征匹配结果对比

为了进一步验证本文算法的有效性，分析本文算法的特征匹配效果，使用SIFT算法、ORB算法和RIFT算法进行对比实验，对检测的特征点个数，正确特征点个数，RMSE以及配准耗时进行测试和分析。表 1为对比实验性能指标结果，为了取得稳定的结果，均以5次测量的平均值作为表 1中结果。图 10为经过去除错误匹配点后的配准效果图。

表  1  不同算法特征匹配性能指标对比

Table  1.  Comparison of performance indicators for feature matching of different algorithms

Algorithm	Number of feature points	Number of correct matches	RMSE	Registration time consumed/s
SIFT	536	/	/	1.732
ORB	248	153	2.04	0.153
RIFT	1347	1258	1.72	0.772
Ours	1425	1372	1.62	0.682

下载: 导出CSV 

| 显示表格

图  10  不同算法的配准效果

Figure  10.  Registration renderings of different algorithms

下载: 全尺寸图片 幻灯片

通过分析不同算法检测到的特征点个数和正确匹配率可知，与RIFT和本文算法相比较，ORB算法和SIFT算法检测到的特征点个数较少，分析其原因是ORB和SIFT算法在特征检测的过程中是根据原图像像素强度来进行特征点检测，而RIFT和本文算法均是先构造PC图，再进行特征检测，有效增加了特征点检测个数，本文算法和RIFT算法的正确匹配率分别为94.49%和93.39%，均表现出了良好的匹配准确性，结合图 10可知，SIFT算法的正确匹配数太少，视作匹配失败。

对于RMSE，ORB算法的RMSE最低，误差较大，主要原因是由于成像机理不同，红外图像和可见光图像的像素强度之间关联性不大，导致ORB算法在特征检测阶段误差大，本文算法的RMSE最高，用相位信息替代传统图像匹配中的图像像素信息，进行特征检测和描述，配准精度优于其他3种算法。

在图像配准的过程中，配准耗时主要是在以下4个阶段：图像预处理，特征点检测，特征点描述，图像匹配。ORB算法可以快速地提取图像局部特征，并使用二进制特征描述子，采用汉明距离作为描述子的相似度判断依据，在速度和存储空间上都具有较大优势。本文算法相比于ORB算法增加的耗时主要在图像预处理，用相位信息构造PC图作为预处理策略，有效提高了后续特征点检测和描述的效率。RIFT算法与本文算法配准耗时主要是在于特征描述阶段，前者是构造最大索引图，后者是构造rBRIEF描述符。

本文算法对于红外光和可见光图像的图像配准，在特征点检测个数、匹配正确率和RMSE上有良好性能，保持了一定的配准精度和配准速度，且对于旋转图像的配准有较强鲁棒性。

4.   结论

本文提出了一种基于融合式PC-ORB异源图像配准算法，主要异源对象是红外图像和可见光图像。重点研究了红外图像和可见光图像的图像强度关联性以及旋转畸变的问题。首先在图像预处理阶段利用图像的相位信息构造PC图代替图像强度信息，采用FAST算法和rBRIEF描述子进行特征检测和特征描述，最后通过RANSAC算法去除错误特征匹配点。通过定量和定性实验分析验证了本文算法的有效性，在旋转畸变方面相较于RIFT算法有明显改善，在配准精度和效率等综合性能上对比传统的图像配准算法均有更优性能。