1.5 m垂直状态真空平行光管主镜支撑结构设计与分析

王富国; 杨飞; 明名; 邵亮

摘要: 针对平行光管主镜应用真空垂直状态的特点,从主镜的支撑方式入手,推导了适用于whiffle tree 结构的支撑点的位置公式,设计了空间曲线切口式柔性铰链,分析了不同结构形式的主镜室的变形.建立主镜室支撑系统的有限元模型,分析计算了系统的静力学变形和谐振频率,分析的结果表明在支撑结构的作用下,主镜镜面的面形RMS优于0.05λ,一阶谐振频率达到65.9 Hz,完全达到了设计要求.

关键词:

平行光管 /
主镜 /
支撑 /
有限元分析

0. 引言

在电力巡检、视频监视、无人驾驶、机器人视觉等领域中^[1-4]，常利用红外和可见光双目成像，将红外和可见光图像进行信息互补，这样可以提高后续应用的性能，如提高检测、识别等任务的精度^[5]。而通过准确高效地配准将两幅图像进行对齐是有效利用红外和可见光互补信息的一个重要的前提条件，因此，研究红外和可见光双目成像中红外和可见光图像配准具有重要意义。

红外图像与可见光图像由于模态不同，图像存在显著差异，配准难度大。红外图像根据目标的热辐射成像，能够排除光线和天气条件的影响，但通常分辨率较低，缺少纹理细节。可见光图像利用光反射成像，成像分辨率比较高，纹理细节丰富，明暗对比度高，但同时也更容易受到环境因素的影响。目前，已有的红外与可见光图像配准算法中，主要可以被分为基于区域、基于特征和基于学习3类^[6-7]。

基于区域的配准方法通常给定预变换模型。利用相似性度量和优化方法来估计模型的变换参数，通过优化总体损失函数来对齐两幅图像的公共区域。例如，Yu等人^[8]通过灰度加权窗口策略从红外和可见光图像中检测边缘结构，通过归一化互信息提高配准性能。Yedukondala等人^[9]同样将红外和可见光图像转化为边缘图，使用仿射和自由形态变换（Free-Form Deformation, FFD）来解释粗配准和精配准的几何关系，通过最大化互信息（Mutual Information, MI）度量将红外和可见光图像进行配准。上述基于区域算法的算法很大程度受图像噪声和几何畸变的影响，红外和可见光之间严重的非线性强度差异，导致基于区域的方法配准精度不高，目前在实际中应用较少。

基于特征的方法是在提取图像特征点的基础上，通过特征描述算子描述特征，利用相似度度量准则获得特征点集合间的匹配关系达到配准的目的。目前应用最为广泛，也最为精确。例如，Wang等人^[10]提出了SURF-PIIFD-RPM的鲁棒点匹配框架，该方法结合SURF^[11]（Speeded Up Robust Features, SURF）特征提取与部分强度不变特征描述符（Partial Intensity Invariant Feature Descriptor, PIIFD）^[12]，利用单高斯鲁棒点匹配模型获得了更好的匹配性能。Jiang等人^[13]提出的CAO-C2F算法利用曲率尺度空间（Curvature Scale Space, CSS）角点检测器轮廓中的特征点，借助SIFT描述符进行特征点的匹配，实现了红外与可见光电力图像的配准。Li等人^[14]提出了一种基于辐射变化不敏感特征的多模配准方法（Radiation-Variation Insensitive Transform, RIFT）。在基于相位一致性得到的角点和边缘特征点上，建构造多个方向的最大索引图实现特征旋转不变性。这些算法在匹配红外和清晰的可见光图像时表现出了良好的性能。但当图像质量下降如暗光环境时，图像细节不清晰，特征点之间相似性减弱，配准性能则会产生明显下降。

近年来，深度学习网络也被应用到红外和可见光图像配准任务之中。例如，Wang等人^[15]提出了一种两阶段的对抗网络，包括模态转换和几何变换阶段，将可见光图像转换为红外图像并获得精确的配准图像；Arar等人^[16]提出了一种基于GAN（Generative Adversarial Network）网络的无监督的配准框架，在红外和可见光上同时训练图像模态转换网络和配准网络，借助图像模态转换进而通过使用成熟的单模态度量来训练网络。Deng等人^[17]利用深度学习进行特征点检测和描述，提出了ReDFeat网络，将多模态特征的检测和描述与互加权策略结合起来提高了多模态特征训练的稳定性和性能。由于红外和可见光数据集的缺少，基于深度学习的配准算法存在着泛化能力不足的问题。

在红外和可见光双目相机中，由于两个相机相对位置固定，即红外和可见光相机成像的相对角度、相对位置等固定。而现有的红外和可见光配准算法没有考虑到两者相对位置固定的先验知识，在应用于红外可见光双目相机时，存在配准精度低、几何定位差异大等多模态配准的问题。

针对上述问题，本文提出一种基于几何约束下区域搜索的红外可见光双目图像配准框架。首先对红外相机和可见光双目相机进行双目标定，通过立体校正将两幅图像约束到同一水平高度，接着利用相位一致性特征提取红外和可见光的边缘图像，在边缘图上提取稳定的红外特征点，然后提出了两阶段的同名特征点搜索方法进行特征点搜索，第一阶段以归一化互相关作为相似度度量估计两幅图像的整体水平偏移，从而预测同名特征点位置，第二阶段提出多尺度加权NCC作为相似性度量方式，以红外图像特征点为基准在可见光边缘图中进行区域同名特征点搜索得到匹配点，最后通过迭代式细化的方式剔除匹配误差较大的点，得到更加精确的配准模型。

1. 配准算法

考虑到红外和可见光相对位置固定，两个相机的内参和外参可以通过双目相机标定获取，从而约束红外和可见光同名特征点的相对位置，即可以预测待匹配图像同名特征点的相对位置，进而可以在预测的同名特征点周围局部区域精确搜索得到最终的匹配特征点，提高匹配精度与效率。因此，本文提出几何约束下基于区域搜索的红外和可见光图像配准方法，算法流程如图 1所示。

图 1 基于几何约束下区域搜索的红外可见光图像配准方法框架

Figure 1. Pipeline of infrared and visible image registration based region search under geometric constraints

下载: 全尺寸图片幻灯片

1）红外和可见光图像立体校正。利用相机标定得到的红外和可见光双目相机的内参和外参，通过立体校正可将图像约束到同一高度之上。

2）基于相位一致性获取图像的边缘特征图。在1）校正后图像的基础上，计算红外和可见光图像的相位一致性响应图，并计算其最大矩获得鲁棒的边缘特征图像。

3）红外边缘图特征点提取。在红外边缘图像进行FAST特征点的提取，并剔除掉原红外图像中背景中的无用特征点。同时使用非极大值抑制策略，使得到的特征点分布更加均匀。

4）两阶段特征点搜索匹配。第一阶段以NCC为衡量相似性指标计算两边缘图整体水平偏移参数，从而预测同名特征点初始位置，进一步减少后续同名特征点的搜索范围，降低时间复杂度。接着以3）得到的红外特征点为基准，在可见光边缘图的搜索区域内，提出多尺度加权NCC作为相似性衡量指标，搜索最佳匹配点。。

5）误匹配的剔除。首先通过最小二乘法建立所有匹配特征点的变换模型，然后计算所有匹配点的误差和均方根误差（Root mean square error，RMSE），剔除误差较大的匹配点，迭代上述过程提高配准精度。

1.1 红外相机与可见光双目相机标定

在红外与可见光双目成像中，两个相机相对位置固定，双模图像间的旋转平移等几何变换关系相对固定，可以通过双目相机标定预先估计。换言之，我们可以通过双目相机标定方法获取两个相机之间的内部光学参数（内参），以及相机之间的旋转和平移参数（外参）。为了计算红外可见光双目相机的内参和外参，我们可以参考典型的相机标定方法——张正友标定法^[18]，该方法借助不同角度的多张黑白棋盘格图片，利用最小二乘法计算双目相机的内参和外参。双目相机的内参和外参只和相机本身的光学特性以及相对位置有关，所以针对一套红外和可见光双目相机只需要标定一次，因此相机内参和外参的计算并不会增加红外与可见光双目配准的处理时间。

虽然张正友标定法操作简单、精度高，但主要用于可见光相机或者深度相机中。而在红外和可见光双目成像中，两者的模态不同，直接在纸上打印的黑白棋盘格无法同时在两个相机中都顺利成像。因此我们采用特制的氧化铝黑白棋盘格标定板，前面板是氧化铝做成的黑色棋盘格，后面板是玻璃基板。当对标定板背面均匀加热时，两种材料导热性与反射率不同，使得标定板在红外图像和可见光图像上都会形成黑白分明的棋盘格图像，如图 2所示。然后就可通过张正友标定法获取红外与可见光双目相机的内参与外参。

图 2 棋盘格标定板红外和可见光成像

Figure 2. Infrared and visible images of chess-board

下载: 全尺寸图片幻灯片

在得到了红外和可见光相机的内参和外参后，我们可以进一步对图像进行立体校正，将两者的图像校正到相近的水平高度。具体来说，红外和可见光图像的立体校正的计算根据文献[19]可以式(1)和式(2)表示：

$$ I_{\mathrm{ir}}{ }^{\prime}=\operatorname{rectify}\left(I_{\mathrm{ir}}, K_{\mathrm{ir}}, R, T\right) $$

(1)

$$ I_{\mathrm{vis}}{ }^{\prime}=\operatorname{rectify}\left(I_{\mathrm{vis}}, K_{\mathrm{vis}}, R, T\right) $$

(2)

式中：I_ir和I_vis表示未进行立体校正的红外和可见光图像；I_ir′和I_vis′分别表示立体校正后的红外和可见光图像；K_ir和K_vis分别表示红外相机和可见光相机的内参；[R, T]表示双目相机外参；R表示两个相机的相对旋转参数；T表示相对平移参数。rectify表示校正函数，具体细节可参考文献[18]中同名函数，立体校正前和校正后的图像如图 3和图 4所示。通过图中的水平线可以看出，立体校正后红外和可见光图像基本处于同一水平高度。

图 3 立体校正前的可见光和红外图像

Figure 3. Visible and infrared images before stereo rectification

下载: 全尺寸图片幻灯片

图 4 立体校正后的可见光和红外图像

Figure 4. Visible and infrared images after stereo rectification

下载: 全尺寸图片幻灯片

1.2 基于相位一致性的边缘特征图

红外图像和可见光图像相似性小，灰度差异大，直接在灰度图上进行特征点匹配工作难以寻找一致性的特征。考虑到边缘是红外图像和可见光图像都较为稳定的特征，不会因为图像之间的旋转、平移和缩放而引起形状的实质性变化，所以本文先提取红外和可见光图像的边缘图。

考虑到可见光图像对比度、光照会受到环境变化的影响而剧烈变化，而红外与可见光图像模态差异大，要求边缘具备对图像的灰度、对比度、光照等的不变性。为此本文采用Kovesi^[20]提出的基于相位一致性（Phase congruency，PC）边缘检测算法分别提取红外和可见光的边缘图。该方法选取o个方向和s尺度的Log-Gabor小波变换，计算每个方向上的相位一致性图即PC图。本文选取o＝6，s＝4，计算方式简要表示如式(3)和式(4)，具体细节可参考文献[20]中的式(1)~(3)：

$$ \operatorname{PCir}_{\mathrm{ir}}\left(\theta_{\mathrm{i}}\right)=\operatorname{calPC}\left(I_{\mathrm{ir}}, \theta_i, s_1, \cdots, s_4\right) $$

(3)

$$ \operatorname{PC}_{\text {vis }}\left(\theta_i\right)=\operatorname{calPC}\left(I_{\mathrm{vis}}, \theta_i, s_1, \cdots, s_4\right) $$

(4)

式中：θ_i表示选取的Log_Gabor滤波器方向，θ₁~θ₆分别为(0°, 30°, 60°, 90°, 120°, 150°)，s₁~s₄表示4个频率尺度。

利用6个方向的相位一致性信息，通过矩分析方法得到PC图的最大矩M，计算过程如式(5)所示：

$$ M = \frac{1}{2}\left( {c + a + \sqrt {{b^2} + {{(a - c)}^2}} } \right) $$

(5)

式中：

$$ a = \sum\limits_{i = 1}^6 {{{\left( {{\text{PC}}({\theta _i})\cos ({\theta _i})} \right)}^2}} $$

$$ b = 2\sum\limits_{i = 1}^6 {\left( {{\text{PC}}({\theta _i})\cos ({\theta _i})} \right)\left( {{\text{PC}}({\theta _i})\sin ({\theta _i})} \right)} $$

$$ c = \sum\limits_{i = 1}^6 {{{\left( {{\text{PC}}({\theta _i})\sin ({\theta _i})} \right)}^2}} $$

PC图的最大矩M代表了图像的边缘特征，具有亮度和对比度不变性，若像素点(x, y)处的最大矩M(x, y)＞T，则该位置为边缘点，T表示边缘点检测阈值。对于红外和可见光异源图像，可采用相同的阈值T得到细节程度相当的红外边缘图像I_iredge和可见光边缘图像I_visedge。获取图像边缘图的过程如图 5所示。

图 5 红外与可见光图像边缘图计算过程

Figure 5. Infrared and visible edge maps calculation process

下载: 全尺寸图片幻灯片

1.3 红外特征点提取

本文针对红外图像和可见光图像之间的配准，仅在红外边缘图上进行特征点检测。原因有两个方面，一方面本文采用局部区域搜索的方式寻找匹配特征点，所以仅需要在一幅图像上检测特征点，在另一幅图像上的局部区域进行搜索即可。另一方面，具有热源的目标是红外可见光配准任务中的主要目标，所包含的信息最为丰富也最有价值，这类目标在红外图像中更加突出。

由于在众多特征点检测算法中，FAST特征检测算法^[21]相对于SIFT，SURF等特征检测检测算法相比，能够仅依靠周围像素快速地检测特征点，且不进行特征点方向等冗余信息的计算。因此，在红外边缘图中的特征点检测中，本文在红外边缘图I_iredge的基础上，进行基于FAST的特征点检测，基于此得到的候选特征点集V_irCandidate结合了角点和边缘信息，更加稳定。

通过FAST检测出特征点之后，由于红外图像背景所含信息量极少，处于背景中的特征点特征信息同样很少，而且若将所有特征点用于配准会影响主体目标配准的准确性，因此，本文在处理红外特征点时，主要保留目标主体上的特征点，而舍弃背景中无用的特征点。红外图像中热源目标表现的很“亮”，背景则很“暗”，因此保留的候选特征点集V′_irCandidate满足其灰度大于I_ir′的灰度均值。处理后的特征点显示到原红外图像中如图 6(b)所示。

图 6 特征点提取结果

Figure 6. Results of detecting feature points

下载: 全尺寸图片幻灯片

针对候选特征点集V′_irCandidate，为了防止特征点过于聚集，导致配准结果偏向于局部区域，本文以特征点V′_irCandidate为中心，在5×5的邻域内采用非极大值抑制（Non-Maximum Suppression，NMS）^[22]策略，只保留邻域内FAST特征响应最大的特征点，基于此得到分布较为均匀的特征点集V_ir。由图 6(c)可以看出经过非极大值抑制，减少了一些冗余的特征点，特征点的分布更加均匀。

1.4 两阶段特征点搜索匹配

上文利用相机标定信息进行立体校正，可以将红外图像和可见光图像约束到同一高度之上。因此可在同一水平线上搜索同名特征点。考虑到在同一水平线上直接搜索同名特征点，需要在整个图像宽度范围内进行搜索，计算量偏大，本文提出两阶段的同名特征点搜索方式以红外特征点为基准在可见光边缘图中搜索同名特征点。

1）第一阶段

通过以NCC作为相似度的度量方式，粗略估计红外图像边缘图I_ir-edge和可见光图像边缘图I_vis-edge的水平偏移量d_x，使两幅图像在水平方向上大致对齐，进而预测同名特征点的位置，减小同名特征点的搜索范围，提高配准效率，d_x的计算方式如下式：

$$ {d_x} = \mathop {\arg \max }\limits_d {\text{NCC}}\left( {{I_{{\text{ir - edge}}}}, I_{{\text{vis - edge}}}^d} \right) $$

(6)

式中：I_visedge^d表示水平偏移量为d时的可见光边缘图像。NCC表示互相关一致性算子，表示两幅图像的相似程。计算图像X和Y之间的NCC的计算方式如式(7)所示：

$$ {\text{NCC}}(X, Y) = \frac{{\sum\nolimits_{i = 1}^m {\sum\nolimits_{j = 1}^n {\left[ {X(i, j) - \overline X } \right]} } \left[ {Y(i, j) - \overline Y } \right]}}{{\sqrt {\sum\nolimits_{i = 1}^m {\sum\nolimits_{j = 1}^n {{{\left[ {X(i, j) - \overline X } \right]}^2}} } } \sqrt {\sum\nolimits_{i = 1}^m {\sum\nolimits_{j = 1}^n {{{\left[ {Y(i, j) - \overline Y } \right]}^2}} } } }} $$

(7)

式中：m和n分别表示两幅图像的宽和高；$\overline X $和$\overline Y $分别表示图像X和Y的均值。

2）第二阶段

针对红外图像特征点集V_ir中的每个特征点p(x, y)，其位于可见光边缘图中的初始同名点位置为p′(x+d_x, y)。由于红外图像根据热辐射成像，相对于可见光图像，边缘不清晰是其固有缺陷，在相机标定以及立体校正过程中，无法严格将红外图像和可见光图像束到同一高度之上，存在一定误差，因此对应的同名点搜索区域为以p′为中心w×h（w＞h）大小的长方形区域S，即图 7右侧长方形区域，而不是仅在水平线上进行搜索，提高了准确性。S过大会影响效率，过小会影响准确性，经过实验本文搜索范围设为11×7。

图 7 局部区域同名特征点搜索

Figure 7. Search for feature points with the same name in local area

下载: 全尺寸图片幻灯片

NCC作为衡量相似性的指标，一般来说模板越大准确性也就越高，同时时间复杂度也会上升，而边缘图像相对于灰度图像所含信息较少，使用较大尺寸模板对匹配精度来说更有益处，因此为了提高匹配准确性同时保证匹配效率，本文提出多尺度加权NCC（wncc）作为搜索同名特征点过程中的相似性衡量指标。即以两个尺寸的模板计算NCC，将其加权结合。具体来说首先构建大尺寸模板，然后将其进行下采样，这样保留了大模板内的主体结构信息，同时也不至于增加计算复杂度。然后构建小模版作为信息补充，弥补了大模板下采样时丢失的特征点周围的信息。最后将用两个模板计算得到的NCC进行加权结合，大模板包含更多的结构信息，用其计算的NCC衡量相似性更高，故其权值也更大。将双尺寸模板加权结合，提高了准确性，更加适用于边缘图像。具体计算方式如式(8)所示：

$$\begin{aligned} & \operatorname{wncc}\left(p, p_s\right)= \\ & \alpha \operatorname{NCC}\left[D_2\left(N_p^{F 1}\right), D_2\left(N_{p_s}^{\beta 1}\right)\right]+\beta \operatorname{NCC}\left(N_p^{F 2}, N_{p_s}^{F 2}\right) \\ & \text { s.t. }(\alpha+\beta)=1 \end{aligned}$$

(8)

式中：p表示红外特征点；p_s表示可见光边缘图搜索区域内的点，$N_p^{{F_1}}$和$N_p^{{F_2}}$表示p周围F₁×F₁大小邻域和F₂×F₂大小邻域，即图 7左侧同心的两个正方形区域。本文选取F₁＝24，F₁＝12。$ N_{p_\text{s}}^{{F_1}} $和$ N_{{p_s}}^{{F_2}} $表示以同样方式构建的p_s的邻域，如图 7右侧同心的两个正方形区域，D₂表示2倍降采样算子。α和β表示权重因子，二者的取值范围为0＜β＜0.5＜α，本文取α＝0.6, β＝0.4。

对于最终搜索得到的同名特征点p_correspond有：

$$ {p_{{\text{correspond}}}} = \mathop {\arg \max }\limits_{{p_{\text{s}}}} {\text{wncc}}\left( {p, {p_{\text{s}}}} \right) $$

(9)

式中：${p_s} \in S$。得到匹配的可见光图像特征点集V_vis。

1.5 误匹配剔除

针对匹配后的特征点，为了更进一步提高配准的精度，需要将错误匹配的一些点进行剔除。本文采用迭代细化的方式剔除错误的匹配点。具体流程如下：

1）根据已经匹配的点集V_ir和V_vis，利用最小二乘法计算出初始仿射变换模型H。

2）根据变换模型H计算出红外图像中的特征点经过变换后在可见光图像中对应的点V_ir′：

$$V_{\mathrm{ir}}^{\prime}=V_{\mathrm{ir}} \times H$$

(10)

3）计算所有匹配点的误差和总的RMSE，RMSE代表了变换模型对整个点集的拟合程度，RMSE越小说明模型拟合的越好，具体计算方式如式(14)所示。

$$ \mathrm{RMSE}=\sqrt{1 / N \sum\left(V_{\mathrm{ir}}^{\prime}-V_{\mathrm{ris}}\right)^2} $$

(11)

式中：N表示匹配特征点对的数量。

4）剔除点集中误差较大的点，重复1）~3）步骤，直到RMSE小于阈值T_RMSE。当T_RMSE小于3时可认为配准模型较好地拟合了特征点集之间的变换关系，故本文选取T_RMSE＝3。

2. 实验结果与分析

2.1 实验设置

本文实验采用自行组装的红外和可见光双目相机。红外相机采用高德plug 417测温型红外相机，分辨率为384×288。可见光相机使用FLIR公司生产的型号为BFS-U3-17S7M-C的工业灰点相机。双目相机实物如图 8所示，左侧为可见光相机，右侧为红外相机。实验环境为：Intel Core i5 10200H CPU，16GB RAM；软件平台为：Matlab R2016b。

图 8 红外可见光双目相机

Figure 8. Infrared and visible binocular cameras

下载: 全尺寸图片幻灯片

为了评价本文方法配准的准确性，采用主观评价和客观评价结合的方式。主观评价通过观察配准后的红外可见光融合图像中目标的对齐程度直观地感受算法的配准效果。客观评价采用总匹配点对数NUM、匹配准确率（Correct Matching Rate，CMR）^[23]。CMR＝MC/N×100%，其中MC表示正确匹配点对数。当匹配点对数NUM＜4时视为配准失败。

2.2 实验分析

为了验证本文算法针对红外和可见光双目图像配准任务有效性，选取了近年较为先进的3个异源图像配准算法SURF-PIIFD-RPM^[10]、CAO-C2F^[13]、RIFT^[14]以及一个基于深度学习的配准算法ReDFeat^[17]与本文算法进行对比实验。

使用上述红外与可见光双目相机采集不同场景的3组图像共30对进行综合对比实验，数据分为3组，每组包含十对图像。第一组图像包含不同距离的以“人”为主体的图像。图像环境，光线条件较好，图像质量比较高，纹理相对丰富。第二组图像主要包含不同距离的以物为主体的图像，透明水壶装有热水，红外与可见光图像差异性更大，红外图像中水壶后面的图像信息完全看不见，而可见光图像中则可以看到透明水壶后面的场景内容，且图像纹理较差。第三组图像包含在弱光环境下的图像。在弱光环境下，红外图像由于是捕获热辐射成像，成像质量基本不受影响，但依靠光反射成像的可见光图像的质量大大下降，主体变得不再清晰，噪点也相应增多，配准难度增大。每组数据各算法客观评价指标平均值如表 1所示。

表 1 实验结果对比

Table 1. Comparison of experimental results

Image Group	Algorithm	NUM	CMR
First Group	SURF-PIIFD-RPM	5.7	66.0%
	CAO-C2F	6.3	76.8%
	RIFT	42.2	83.7%
	ReDFeat	107.3	80.0%
	OURS	67.6	91.1%
Second Group	SURF-PIIFD-RPM	2.8	59.2%
	CAO-C2F	7.3	69.5%
	RIFT	26.4	83.2%
	ReDFeat	127.4	76.8%
	OURS	34.0	91.6%
Third Group	SURF-PIIFD-RPM	1.8	28.3%
	CAO-C2F	4.6	27.5%
	RIFT	10.8	82.5%
	ReDfeat	22.3	62.2%
	OURS	37.3	88.1%

下载: 导出CSV

| 显示表格

第一组图像的各个算法的特征点匹配结果和对应的配准融合结果如图 9和图 10所示，第二组图像的特征点匹配结果以及配准融合结果如图 11和图 12所示。由表 1可以看出SURF-PIIFD-RPM和CAO-C2F匹配的特征点较少，准确率偏低，前者在第一组图像中平均特征点匹配数量仅5.7对，且准确率较低，这说明配准失败概率很大，如图 10(a)左图，配准已经失败。在第二组纹理较弱的图像特征点匹配数量仅2.8对，说明其在图像纹理较弱的情况下无法完成配准任务。CAO-C2F算法在第一组图像中能匹配少量的特征点完成配准任务，但由于其在轮廓图中构建SIFT描述符，在第二组纹理较弱的图像中匹配准确率则明显下降，如图 12(b)的右图，配准结果都已经出现较大的偏移。

图 9 第一组图像各算法特征点匹配结果

Figure 9. The matching results of the feature points of each algorithm in the first group of images

下载: 全尺寸图片幻灯片

图 10 第一组图像配准结果

Figure 10. Registration results of the first group of images

下载: 全尺寸图片幻灯片

图 11 第二组图像各算法特征点匹配结果

Figure 11. The matching results of the feature points of each algorithm in the second group of images

下载: 全尺寸图片幻灯片

图 12 第二组图像配准结果

Figure 12. Registration results of the second group of images

下载: 全尺寸图片幻灯片

RIFT算法由表 1可以看出得到较为丰富的匹配特征点，且匹配准确率较高，由图 10和图 12的(c)图中可以看出能较好的配准图像，配准后的红外与可见光图像都能大体对齐。这说明RIFT算法面对常规情况下红外图像和可见光图像能够比较好地提取其共同特征并成功匹配特征点。但RIFT存在的一个问题是特征点分布过于集中如图 9(c)的左图集中于人物右上侧区域，图 11(c)的右图集中于左侧水壶，这会导致配准有一定的偏移风险。如图 10(c)中的头部区域和图 12(c)两张图的右侧区域，都明显出现了偏移，这是因为RIFT通过独立提取红外和可见光的特征点，在点集中寻找匹配点，要求双方都提取了对应特征点才可能匹配成功，这会筛选掉大量特征点，造成特征点集中于纹理最丰富的区域。

ReDFeat通过深度学习进行特征点的检测和描述，在特征点匹配数量上明显高于其他对比算法和本文算法，但特征点存在大量重复和冗余，并且比RIFT更加聚集于小部分区纹理丰富的区域，如图 11(d)左图，绝大多数特征点都聚集在了杯盖附近。同时由表 1可以看出特征点匹配的准确率不高，第一组仅有80%，第二组下降到76.8%。这在第一组纹理丰富的图像中依靠特征点数量优势尚能得到较好的配准结果如图 10(d)。但在第二组纹理较弱的图像中的配准结则果出现了扭曲错位，如图 12(d)。

本文算法由于是在红外边缘图上进行特征检测，使得特征点围绕主体边缘分布，并且结合非极大值抑制策略，使得特征点分布更加均匀，如图 9和图 11的(e)图所示。在特征点匹配准确率上本文算法明显高于其他对比算法，这说明本文两阶段特征点搜索匹配方法的优越性。体现到配准结果中，由图 10和图 12的(e)图所示，在第一组和第二组图像中，都得到准确的配准结果。

第三组图像主要针对的弱光环境下的图像。从表 1和图 13以及图 14可以看出本文算法特征点匹配数量和准确率上相较于对比算法表现出显著的优越性。从表 1可以看出，SURF-PIIFD-RPM算法特征点匹配数量仅有1.8对，无法完成配准任务。CAO-C2F算法特征点匹配数量和准确率都处于较低水平，说明其无法适用于弱光环境，多数图像的匹配准结果都如图 14(b)右图一样，出现无法辨识的扭曲。RIFT由于需要通过可见光图像构建对应的描述子，在可见光质量大大下降的情况下，从表 1可以看出得到匹配特征点数量明显下降，配准效果也随之下降，如图 14(c)中的两张图像，配准结果都产生了明显错位。而ReDFeat在弱光环境下，特征点数量多的优势也无法再继续保持，由表 1可以看出在第三组图像中特征点匹配数量和准确率相较于第一组和第二组图像都出现了明显的下降。配准结果如图 14(d)所示，也出现了明显错位扭曲。本文算法则体现出了较大优势，在弱光环境可见光图像质量下降的情况下，本文算法通过两阶段特征点搜索匹配能够仅依靠局部有限的信息获取同名特征点，保证了匹配的准确性。同时由于在红外边缘图上进行特征点检测，由表 1可以看到，依然能够得到丰富的匹配特征点。由图 14(e)的配准结果可以看出，在弱光环境下，本文算法依然能够准确得进行配准。

图 13 第三组图像各算法特征点匹配结果

Figure 13. The matching results of the feature points of each algorithm in the third group of images

下载: 全尺寸图片幻灯片

图 14 第三组图像配准结果

Figure 14. Registration results of the third group of images

下载: 全尺寸图片幻灯片

3. 结语

本文针对相对位置固定的红外可见光双目成像应用场景，提出了一种几何约束下基于区域搜索图像配准方法。算法利用相机标定信息对红外和可见光图像进行立体校正，使二者处于同一高度之上，接着利用相位一致性计算鲁棒的边缘图，在边缘图的基础上，进行红外特征点检测，最后提出两阶段同名特征点搜索方法完成红外可见光图像配准。通过与其他算法在不同场景上的数据进行实验，结果表明相较于其他异源图像配准算法，本文算法能够适用于红外可见光双目成像的配准，在不同场景的图像都保证了特征点匹配数量和配准效果，并且能很好适应弱光环境下的图像配准工作，相对于其他算法取得了明显的优势。