Automotive Infrared and Visible Light Image Registration Method
-
摘要:
为了提高车辆视觉感知能力，针对交通场景运用提出一种改进的轮廓角方向（contour angle orientation，CAO）算法用于实现红外与可见光图像配准。通过模拟不同的交通场景，对成熟算法进行性能检测对比，选出CAO算法这一优势算法，并对其粗匹配参数和图像预处理图像缩放程序做了改进。实验表明，改进后的CAO算法细匹配更精准，马赛克拼接图拼接处衔接更加自然，线条更加顺滑，效果更好。与原来CAO算法相比，改进后的算法均方根误差值RMSE下降3.29%，查准率Precision提高2.13%，平均运算耗时减少0.11 s，在配准精度和配准实时性方面均证明了算法的改进效果。
Abstract:To enhance the visual perception of vehicles, an improved contour angle orientation (CAO) algorithm is proposed for the registration of infrared and visible light images in traffic scenes. By simulating different traffic scenarios, a performance comparison was conducted among mature algorithms to select the superior CAO algorithm. Subsequently, improvements were made to the coarse matching parameters and image preprocessing scaling procedure. Experiments demonstrate that the refined CAO algorithm achieves more precise fine matching, thus resulting in mosaic stitching with smoother transitions and lines and yielding better results. Compared with the original CAO algorithm, the improved version reduces the RMSE value by 3.29%, increases the precision value by 2.13%, and decreases the average computation time by 0.11 s, thereby demonstrating improvements in both registration accuracy and real-time performance.
-
0. 引言
在不同波段图像配准和图像融合的研究中，红外光可以识别热目标，利用目标与其背景之间的温差来快速获得高效的成像场景[1]，具有探测距离长、可穿透烟雾、夜间工作可靠等优点，但其成像图像缺乏纹理细节且对比度低[2]。可见光图像纹理细节丰富和分辨率高的特点更适合人类视觉，但其成像受光照、天气等条件影响较大[3]。作为多源成像技术的核心之一，红外与可见光（IR/VIS）图像配准技术广泛运用在行人检测[4]、车辆识别与车距检测[5]、道路障碍物分类[6]、海上救援[7]、军事侦察[8]、电力设备监测[9]、卫星遥感[10]、计算机视觉[11]等领域。利用红外与可见光成像系统同时进行成像，通过红外和可见光图像配准技术，增强智能汽车的驾驶辅助系统的环境感知能力，可以为自动驾驶提供可靠、准确的感知基础，从而实现安全、高效的自主驾驶。
红外和可见光图像配准相关研究概况如下：
1）基于区域的配准算法
该方法通过参考图像为基准，在空间或频域中寻找待配准图像的最大相关性位置，关键步骤是选择适当的相似性测度算法以提高配准精度[12]。研究者采用了梯度算子、互信息和直方图等不同方法来优化算法性能。例如，吴延海[13]通过区域互信息和梯度信息应用于分层配准，孙凤杰[14]结合直方图缩小模板搜索空间，刘刚[15]使用非下采样轮廓波变换与遗传算法实现快速配准。
2）基于特征的配准算法
图像配准受多种干扰因素影响，区域配准算法的鲁棒性往往不足。基于特征的配准方法，尤其是结合多种算法和仿射变换模型[16]，可以在复杂环境下提高配准质量。
点特征配准通常选择边缘交点或角点进行特征提取，并使用特征描述符进行匹配[17]。SIFT是一种可靠的方法，但速度慢，适用于纹理丰富的场景[18]。加速稳健特征点提取（speeded up robust features, SURF）[19]提高了特征点提取的速度。
轮廓边缘配准算法先提取轮廓图，然后在轮廓上匹配特征点。Jiang等人提出的CAO-C2F方法在电力设备巡视中表现出色[20]；李云红等人的改进曲率尺度空间（curvature scale space, CSS）算法适用于红外和可见光图像配准[21]；Cheng等人的研究则利用Clifford代数计算轮廓角主方向[22]。
区域特征配准则依赖于显著性较强的特征区域。陈亮等人提出的基于Canny算法和改进相似测度函数的方法，结合粒子群优化算法，实现了红外和可见光图像的配准[23]。
3）基于深度学习的配准算法
随着红外和可见光图像配准技术的快速发展，研究者探索了卷积神经网络和生成对抗网络等深度学习方法红外图像的低分辨率和模糊性[24]使关键点提取具有挑战性。
本文针对车载环境，自行制作了交通场景的图像集与设计相应的实验。对特征点提取算法与图像配准算法进行了实验结果分析，最终选择CAO算法作为基准算法，通过对CAO算法的进一步研究与分析，我们提出了改进图像预处理与改进粗匹配的CAO算法优化方案。通过对比实验，验证了在交通场景下，改进后的CAO算法在配准精度与实时性方面均表现出显著的性能优势。
1. CAO算法分析与改进
1.1 CAO（轮廓角方向）算法分析
CAO算法[20]通过计算轮廓角方向作为特征点的主方向，确保了红外与可见光图像在尺度和视角变化下的配准鲁棒性。C2F匹配技术则通过旋转角度估计和连线一致性，进一步提高了配准精度。CAO算法的配准流程简图如图 1所示。
1.1.1 计算轮廓角方向
CAO算法提出了一种称为轮廓角方向向的新方法，首先使用Canny算法提取轮廓图，轮廓集表示为S，定义如下：
$$ S=\left\{\boldsymbol{\Gamma}^j \mid \boldsymbol{\Gamma}^j=\left\{P_1^j, P_2^j, \cdots, P_i^j, \cdots, P_n^j\right\}_{j=1}^{N_s}\right. $$ (1) 式中：Γj为第j个轮廓；n是轮廓Γj中像素数；Ns是轮廓总数。对于每一个轮廓特征点Pj，定义其左右领域点为辅助点PfLj和PfRj：
$$ P_{\mathrm{fL}}^j=\left(x_{\mathrm{fL}}^j, y_{\mathrm{fL}}^j\right)=\boldsymbol{G}_{\sigma=\min \left(\lambda_{\mathrm{L}}, f\right)} \cdot\left[P_{f-\min \left(\lambda_{\mathrm{L}}-1, f-1\right)}^j ; \ldots ; P_{f-1}^j ; P_f^j\right] $$ (2) $$ P_{\mathrm{fR}}^j=\left(x_{\mathrm{fR}}^j, y_{\mathrm{fR}}^j\right)==\boldsymbol{G}_{\sigma=\min \left(\lambda_{\mathrm{R}}, n-f+1\right)} \cdot\left[P_{f+\min \left(\lambda_{\mathrm{R}}-1, n-f\right)}^j ; \ldots ; P_{f+1}^j ; P_f^j\right] $$ (3) $$ \boldsymbol{G}_\sigma=\left[\left.\mathrm{e}^{-x^2 / 2 \sigma^2}\right|_{x=0, 1, 2, \ldots, \sigma-1}\right] /\left(\sum\limits_{x=0}^{\sigma-1} \mathrm{e}^{-x^2 / 2 \sigma^2}\right) $$ (4) 式中：f∈[2, n－1]；λL和λR分别为邻域采样长度；Gσ为高斯权重核。
通过这些辅助点构建的特征三角形，角平分线向量的方向即为特征点的主方向，记作轮廓角方向φ(Pfj)，计算公式为：
$$ v_{\mathrm{fL}}^j=\left(x_{\mathrm{fL}}^j-x_{\mathrm{f}}^j, y_{\mathrm{fL}}^j-y_{\mathrm{f}}^j\right) $$ (5) $$ v_{\mathrm{fR}}^j=\left(x_{\mathrm{fR}}^j-x_{\mathrm{f}}^j, y_{\mathrm{fR}}^j-y_{\mathrm{f}}^j\right) $$ (6) $$ v_{\mathrm{fm}}^j=\left(x_{\mathrm{fm}}^j, y_{\mathrm{fm}}^j\right)=\min \left(\left\|v_{\mathrm{fL}}^j\right\|_2, \left\|v_{\mathrm{fR}}^j\right\|_2\right)\left(\frac{v_{\mathrm{fL}}^j}{\left\|v_{\mathrm{fL}}^j\right\|_2}+\frac{v_{\mathrm{fR}}^j}{\left\|v_{\mathrm{fR}}^j\right\|_2}\right) $$ (7) 1.1.2 C2F匹配
CAO算法使用C2F（Coarse-to-Fine）匹配方法来减少图像分辨率差异带来的匹配误差。C2F匹配包括以下步骤：
1）旋转角度估计
假设有两组特征匹配点集P1和P2，分别对应红外和可见光图像。通过主方向ϕ(P1)和ϕ(P2)计算出图像的候选旋转角度：
$$ \Delta \phi = \left\{ {\Delta {\phi _i}\mid \Delta {\phi _i} = \phi \left( {{P_{2i}}} \right) - \phi \left( {{P_{1i}}} \right)} \right\}_{i = 1}^{Np} $$ (8) 使用直方图统计这些旋转角度并通过抛物线插值法估计最终的旋转角度。
2）连线一致性
在配准图像中，正确匹配的特征点连线长度应一致且相互平行。基于此理论，使用误差阈值εφ去除倾斜角度超出范围的错误匹配，并使用长度比误差阈值εd去除连线长度过大的错误匹配。CAO算法给出εφ和εd的取值分别为15°和0.5。
3）粗匹配
利用旋转角度估计和连线一致性去除明显错误的匹配点，然后使用RANSAC算法进一步迭代去除剩余错误匹配。
4）细匹配
对粗匹配得到的正确匹配点集Pc1和Pc2进行全局迭代优化[25]，减少位置偏差，最终得到精确的匹配点对。这种粗到细的匹配方法通过全局迭代优化，实现了高精度的图像配准。
1.2 改进的CAO算法
CAO算法主要用于电力行业变电站自动巡检无人机的可见光和红外图像配准。与交通场景相比，电力设备具有更清晰的轮廓，更少重复的背景元素，更容易取得稳定的匹配点。同时，无人机拍摄的图像对常有更多的视角偏移，特别是在旋转方向上，而交通场景的视角往往更加稳定[26]。考虑到应用场景的区别和测试中的问题，本文提出针对交通场景改进的CAO配准算法，调整特征点粗匹配预设参数，增加有效的特征匹配数量，降低运算资源占用和运算耗时，使用全新的图像尺寸预处理方法，提高配准精度和实时性。
1.2.1 改进的粗匹配
对比观察CAO算法在不同图像集中的性能表现，发现其在本文制作的交通场景图像集中所获得的特征点远少于电力传输设备图像集中的匹配数量。过少的准确配准点会导致图像无法配准，更加丰富的准确匹配点可以减少配准图像的局部变形。
前文已知，CAO算法中的C2F配准方法的核心是连线一致性理论。即红外图像与可见光图像经过旋转和尺度变换后进行水平拼接，拼接图像中正确匹配的连线理论上是等长且相互平行的。考虑旋转和倾斜角的系统误差，使用倾斜角的误差阈值εφ去除明显错误的匹配。εφ越小，去除的错误匹配越多，但是错误去除正确匹配的概率会相应增加。因此，本文将原算法中给出的εφ的取值调整为30°。
图 2给出了改进前后的CAO算法的粗匹配对比示意。第一组图里改进前的CAO算法匹配了13对特征点，改进后大幅增加到了21对。在第二组图中可以观察到改进前的CAO算法获得了8对特征点匹配，改进后的获得了9对特征点匹配。
![]()
图 2 改进前后的粗匹配示意图Figure 2. Schematic diagram of rough matching before and after improvement1.2.2 改进的图像尺寸缩放程序
在对CAO算法使用各种图像集进行测试时，发现了其自带的图像预处理程序并不完善，在对某些比例图像集进行拉伸的时候可能引起图像比例改变，导致后续配准点错误的问题。图像尺寸缩放是图像预处理当中的重要一环，缩放后图像的质量直接决定了后续图像配准的质量。
CAO算法原始的图像缩放子程序中，其首先读取了红外图像的垂直方向分辨率，然后使用imresize函数将可见光图片的高度调整到红外图像的高度，等比例缩放图像，完成缩放工作，由于这里只考虑了高度的缩放比例，没有考虑到每个图像的长宽比例，因此可能会导致图像失真或不自然[27]。其具体步骤如下：
① 首先计算了每幅图像的高度缩放比例。具体来说，将可见光图像的实际高度除以红外图像的像素高度，得到了缩放比例。
② 使用MATLAB内置的imresize函数，以上一步得到的缩放比例为参数，将可见光图像缩放到目标高度。
本文提出的图像尺寸算法，其首先比较了输入图像的宽高比，然后再决定了缩放对象，保持它们的纵横比。其实现步骤如下：
① 获取输入图像I1和I2的大小。
② 计算I1和I2的宽高比。
③ 比较宽高比，确定哪个图像的宽高比更大，从而需要按比例缩放。
④ 根据缩放后的I1的高度，计算I1和I2缩放后的新宽度或新高度。
⑤ 使用imresize函数将I1和I2缩放到新的尺寸。
改进后的图像缩放程序优点是可以保持图像长宽比例不变，避免图像变形；缺点是算法复杂度比改进前高一些，改进前只使用了一次imresize函数进行缩放操作，而改进后则需要分别计算长宽比例、调整缩放后的图像大小，并且使用两次imresize函数进行缩放操作。此外，改进后还包含了if-else语句，可能会导致额外的判断开销。因此，改进后图像预处理的计算资源消耗更大。
以上增加的算法复杂度与配准算法整体相比影响有限。如果改进的图像尺寸缩放程序降低了后文的特征点配准难度和误匹配剔除难度，整体运算耗时反而会减少。
2. 实验分析
2.1 图像集采集与图像集分组设计
红外和可见光（IR/VIS）图像配准算法通常针对特定场景而开发，因此需要准备适用的IR/VIS图像集进行性能对比研究。目前的IR/VIS图像集主要涵盖电力传输和光伏设备场景，而现有的交通场景图像集多为在欧美道路上拍摄，与国内交通场景有较大区别，视角单一。为测试各算法在国内交通场景下的配准效果，本文创建了更符合实际的图像集。
采集的原始图像存在重复、模糊和对焦问题。为确保实验数据质量，最终筛选出20对可用于配准实验的IR/VIS图像。这些图像中，IR图像能较好地反映目标轮廓和局部热点信息，而VIS图像则清晰展现色彩和纹理。这个图像集全面展现了两种图像的特点。
考虑到最终应用是交通场景，视角偏差是配准算法的挑战之一。因此，将20张图像对按交通场景和视角偏差分类。交通场景分类用于5种算法的对比，而视角偏差分类则用于对比CAO算法的改进前后。实验中的交通场景共分为5个分类，具体数量见表 1、图 3呈现了各分类的示例。
表 1 按场景分类图像对数量Table 1. Classifies the number of image pairs by sceneScene classification Number of image pairs Pedestrian 5 Non-motorized vehicle 2 Motorized vehicle 2 Road intersection 5 Mixed traffic 6 ![]()
图 3 交通场景分类图例：(a)~(e)分别是非机动车场景、行人场景、机动车场景、道路岔口场景、混合交通场景Figure 3. Traffic scenario classification legend: (a) to (e) are respectively non-motor vehicle scene, pedestrian scene, motor vehicle scene, road fork scene, and mixed traffic scene在本次实验中，视角偏差分为4个分类，具体分类依据如下：
① 水平/纵向单一方向偏移：对于只在水平或纵向上有明显视角偏移的图像对，按其偏移方向进行分类。实验中有8对图像在水平方向上有较明显偏移，被归类到水平视角偏差组；2对图像在纵向上有较明显偏移，被归类到纵向视角偏差组。
② 复杂视角差异：对于同时存在多个方向偏移的图像对，包括水平、纵向和轻微比例偏差，将其归类到复杂视角差异组。图像集中有5对图像被归类到这一组。
③ 无明显视角差异：对于各个方向上均无明显视角偏移的图像对，将其归类到无明显视角差异组。共有6对图像被归类到这一组。具体分类情况见表 2，而图 4为视角偏差的分类原则图例，展示了每种视角偏差的具体情况。
表 2 按视角偏差分类图像对数量Table 2. Categorizes the number of image pairs according to viewpoint deviationClassification of angle of view deviation Horizontal angle of view deviation Vertical angle of view deviation Complex angle of view deviation No significant angle of view deviation Number of image pairs 7 2 5 6 (a)~(d)分别是水平视角偏差、纵向视角偏差、复杂视角偏差、无明显视角偏差。
2.2 实验设置
2.2.1 实验设备
本文使用分辨率为640×480的FLIR红外热像仪和分辨率为2048×1536的海康威视可见光相机进行图像采集，实验器材具体信息如表 3所示。
表 3 实验器材信息Table 3. Information of the experimental equipmentExperimental equipment Related parameters Visible light camera Hikvision camera, resolution: 2048×1536, Focal length: 12 mm Infrared camera FLIR infrared camera, resolution: 640×480, Focal length: 16 mm Test platform AMD 5600X processor, 16 G memory 如图 5展示实验器材在固定支架上的安装状态，两个相机被安装到3D打印固定支架上。安装后组成整体结构可以控制视角偏差在合理程度。于1 m左右高度拍摄红外和可见光图像对，可以更好地模拟车载多角度、多机位的红外可见图像配准应用。
2.2.2 图像配准评价指标
图像融合领域的性能评价一般分两类：定性评价和定量评价。主观定性评价，主要关注融合图像的衔接处是否自然，线条是否流畅，画面中各主体是否准确重合。定量评价，主要是计算各算法生成融合图像的均方根误差值RMSE和查准率Precision进行评价[28-29]。
2.3 实验结果与分析
2.3.1 配准算法对比实验结果分析
1）5种配准算法实验结果的定性评价
图 6展示了5种算法的部分检测结果，选取6个场景的样本进行配准结果对比。在行人场景中，CAO算法[20]融合图像效果最好，边缘特征提取（edge feature extraction, EFE）和SURF[19]、SIFT[18]和ORB[30]算法无法输出可用融合图像；在非机动车场景中，CAO算法的融合结果更好，背景中的树木和建筑边缘更清晰，SURF、SIFT和ORB算法无法输出可用融合图像；在机动车场景中，CAO算法的融合结果最优秀，背景建筑轮廓清晰，线条自然，边缘特征提取算法车辆重合基本准确，但车辆旁路牌和背景建筑有明显倾斜重影；在道路岔口场景中，仅有CAO算法输出可用融合图像；在混合交通场景中，CAO算法融合的图像大致准确，机动车及画面右侧的非机动车均较好重合，左边的路牌出现了一定变形。边缘特征提取算法变形更严重，SURF、SIFT和ORB算法无法输出可用融合图像。CAO算法尽管存在一定的变形问题，也是相对较为可靠的算法。
![]()
图 6 各场景图像配准融合结果：(a) 行人场景；(b) 非机动车场景；(c) 机动车场景；(d) 道路岔口场景；(e) 混合交通场景Figure 6. Image registration fusion results of each scene: (a) Pedestrain scene; (b) Non-motorized vehicle scene; (c) Motorized vehicle scene (d) Road intersection scene; (e) Mixed traffic scene2）5种配准算法实验结果的定量评价
对5种算法生成的20组各场景下的融合图像，计算其在每个场景中的RMSE值和Precision值，整理如图 7所示可进行量化评价。CAO算法在各种场景中均有更低的RMSE值和更高的Precision值，相比次优的边缘特征提取算法，Precision值提高了34.87%，RMSE值下降了27.1%。从图 7中可以看出CAO算法在各场景下都具有明显性能优势，更适合车载配准需求。
![]()
图 7 五种算法在各场景中的RMSE值和precision值注：PS为行人场景、NMVS非机动车场景、MVS为机动车场景、RIS为道路岔口场景、MTS为混合交通场景Figure 7. RMSE values and precision values of the five algorithms in each scenarioNote: PS is pedestrain scene; NMVS is non-motorized vehicle scene; MVS is motorized vehicle scene; RIS is road intersection scene; MTS is mixed traffic scene2.3.2 改进CAO配准算法实验结果分析
1）改进CAO算法效果定性评价
为了验证对CAO算法的改进效果，对比改进前后的CAO算法和边缘特征提取算法，并进行定性定量评价。选取了测试中4组的图像对，主要使用特征点细匹配示意图和马赛克拼接图进行对比。
图 8展示了4组图像在算法完成细匹配之后的特征点匹配对比。第一组图中，改进前的CAO算法在右侧树架处的匹配出现了错误，其在树架上匹配点之间的距离从红外图像到可见光图像出现了明显的变化。改进后的特征点匹配图则无法观察到类似现象，其更加准确。
第二组图中，改进前的算法在地面获得了更多的匹配，但出现了与第一组图类似的匹配点间距离变化，改进后的CAO算法在地面获得的匹配更少，也更准确。
在第三组图，改进前的CAO算法在斑马线处有比第一、二组图更加明显错误的匹配，改进后的CAO算法在此处没有匹配特征点。
第四组图对比效果最为明显，改进前的CAO算法取得的特征点匹配大部分错误，大量特征点匹配线相互交叉或偏离原来的位置，在行人身体和非机动车上没有获得匹配特征点，背景中的树木和草坪匹配点连线则出现了交叉。而改进后的CAO算法找到了大量准确的特征点匹配。
为进一步验证改进后的效果，图 9对比了4组马赛克拼接图像。
在(a)图中，改进后的CAO算法配准生成的马赛克拼接图拼接处衔接更加自然，线条更加顺滑，效果更好。占画面主体的非机动车在图像拼接处结构清晰。背景中因镜头畸变而倾斜的树木和路灯拼接良好。与之相对，改进前的CAO算法在右上电线杆处和路面衔接处都出现了明显的错位。
在(b)图中，背景的路面形成了一个弧形，背景有大量形状和光影特征较为类似的树木，对马赛克图的拼接有很高的要求。改进后的CAO算法配准生成的马赛克拼接图道路线条更自然平滑，树木拼接良好。相比之下，改进前的CAO算法在左下角树架和路沿处出现了明显的错位。
在(c)图中，改进后的CAO算法配准生成的马赛克图拼接自然，比例合理，前景中的骑车人重合较好，背景中的树木仅有少量错位。而改进前的CAO算法生成的马赛克图中，红外图像的比例和倾斜角度明显错误，出现了严重的扭转，前景中的骑车人出现了严重的水平偏移，背景的建筑也无法整齐拼接，对比效果明显。
在(d)图里，改进前的CAO算法出现了严重的错位和扭曲，红外图像中的行人与可见光中的行人近乎垂直且出现了明显的位置偏移。而改进后的CAO算法实现了大体准确的配准。其中人的身体躯干和身旁的非机动车都重合良好，左侧的行道树对准准确，路面边缘线条流畅。
总的来说，细匹配结果和马赛克拼接图结果都说明了改进后算法的性能提升。
2）改进CAO算法定量评价
为了验证对CAO算法的改进效果，本节将使用前文提到的算法计算融合图像的RMSE值和Precision，对比改进后的CAO算法和原始CAO算法以及边缘特征提取算法，以此说明改进效果。
表 4记录了边缘特征提取算法、CAO算法、改进的CAO算法全部20组图片的RMSE值和Precision的平均值。从表中可以验证改进效果。具体来说，改进后的CAO算法的RMSE平均值下降了3.29%，Precision平均值提高了2.13%，性能有明显优势。
表 4 边缘特征提取算法和改进前后CAO算法的RMSE平均值与Precision平均值Table 4. RMSE and precision average values of edge feature extraction algorithm and CAO algorithm before and after improvementEFE CAO Improved CAO RMSE mean value 10.70 7.90 7.64 Precision mean value 0.70 0.94 0.96 将图像按视角偏差进行分组，分析改进前后算法在不同视角偏差下的性能表现。特别是在具有复合视角偏移的场景中，实验结果如图 10所示。
![]()
图 10 边缘特征提取算法和改进前后CAO算法在复杂视角偏差组中性能表现Figure 10. Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in complex angle of view deviation groups改进后的算法在组内图 3和图 5中RMSE值显著更低，Precision值明显更高，优化效果显著。在有水平偏差、纵向偏差和无明显视角偏差的图像组中，如图 11所示，改进后的算法RMSE值和Precision值与改进前相比旗鼓相当，整体性能基本相同。综合在所有分组中的表现，可以说明改进后的CAO算法在复杂视角偏差场景中有更明显的效果，整体上性能有优势。
![]()
图 11 边缘特征提取算法和改进前后CAO算法在水平偏差、纵向偏差、无明显视角偏差组中性能表现Figure 11. Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in horizontal deviation, longitudinal deviation and no obvious angle of view deviation groups3）改进CAO算法的运算耗时对比
在实际应用中，配准工作要求算法有较好的实时性。为了对比算法改进带来的运算耗时性能优势，对改进前后的算法都增加了计时功能。本文将各视角偏差组的平均耗时整理于表 5，并将所有测试图像的运算时间整理于图 12。
表 5 算法改进前后在各视角偏移中的平均运行耗时Table 5. The average running time of each angle of view offset before and after algorithm improvementEvaluation metrics Comparison algorithm Horizontal deviation Longitudinal deviation Complex deviation No deviation Average runtime/s Original algorithm 4.58 4.79 4.63 5.14 Improved algorithm 4.50 4.24 4.59 5.07 ![]()
图 12 算法改进前后运行耗时对比Figure 12. Comparison of running time before and after algorithm improvement在图 12中可以清楚地观察到，在测试的20组图像对中，改进后的算法仅在1、12、13、16、18、20五组图像对中运算耗时略久于改进前，其余组中运算时间均低于改进前。尤其是在4、14两组中，运算耗时的性能优化最为明显。整体上，改进后的算法平均运算耗时减少了0.11 s，说明了改进算法在实时性上性能更优越。
3. 结论
本文对红外和可见光图像配准方法进行研究，通过设计交通场景的红外和可见光图像集，对比了5种经典算法对红外和可见光图像配准性能。提出一种基于CAO算法改进的红外与可见光图像配准方法，通过实验得到如下结论：
① 配准算法对比实验结果表明，CAO算法在本研究的适配场景下相较于其他几种算法表现出显著优势。在定量分析中，CAO算法的RMSE最大值不超过9，均显著低于其他算法；Precision值最小为0.8，均高于其他算法。说明CAO算法在设计的应用场景下具有较高的适配性。
② 改进后的CAO算法在实验中表现出更少的配准失败率、更精准的细节匹配和更自然的马赛克拼接效果，且图像中的线条更加顺滑。相较于原始CAO算法，改进算法的RMSE平均值降低了3.29%，Precision平均值提高了2.13%，且平均运算耗时减少了0.11 s，在配准精度和实时性上均证明了算法的改进效果。
-
![]()
图 2 改进前后的粗匹配示意图
Figure 2. Schematic diagram of rough matching before and after improvement
![]()
图 3 交通场景分类图例：(a)~(e)分别是非机动车场景、行人场景、机动车场景、道路岔口场景、混合交通场景
Figure 3. Traffic scenario classification legend: (a) to (e) are respectively non-motor vehicle scene, pedestrian scene, motor vehicle scene, road fork scene, and mixed traffic scene
![]()
图 6 各场景图像配准融合结果：(a) 行人场景；(b) 非机动车场景；(c) 机动车场景；(d) 道路岔口场景；(e) 混合交通场景
Figure 6. Image registration fusion results of each scene: (a) Pedestrain scene; (b) Non-motorized vehicle scene; (c) Motorized vehicle scene (d) Road intersection scene; (e) Mixed traffic scene
![]()
图 7 五种算法在各场景中的RMSE值和precision值
注：PS为行人场景、NMVS非机动车场景、MVS为机动车场景、RIS为道路岔口场景、MTS为混合交通场景
Figure 7. RMSE values and precision values of the five algorithms in each scenario
Note: PS is pedestrain scene; NMVS is non-motorized vehicle scene; MVS is motorized vehicle scene; RIS is road intersection scene; MTS is mixed traffic scene
![]()
图 10 边缘特征提取算法和改进前后CAO算法在复杂视角偏差组中性能表现
Figure 10. Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in complex angle of view deviation groups
![]()
图 11 边缘特征提取算法和改进前后CAO算法在水平偏差、纵向偏差、无明显视角偏差组中性能表现
Figure 11. Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in horizontal deviation, longitudinal deviation and no obvious angle of view deviation groups
![]()
图 12 算法改进前后运行耗时对比
Figure 12. Comparison of running time before and after algorithm improvement
表 1 按场景分类图像对数量
Table 1 Classifies the number of image pairs by scene
Scene classification Number of image pairs Pedestrian 5 Non-motorized vehicle 2 Motorized vehicle 2 Road intersection 5 Mixed traffic 6 
下载: 导出CSV
表 2 按视角偏差分类图像对数量
Table 2 Categorizes the number of image pairs according to viewpoint deviation
Classification of angle of view deviation Horizontal angle of view deviation Vertical angle of view deviation Complex angle of view deviation No significant angle of view deviation Number of image pairs 7 2 5 6
下载: 导出CSV
表 3 实验器材信息
Table 3 Information of the experimental equipment
Experimental equipment Related parameters Visible light camera Hikvision camera, resolution: 2048×1536, Focal length: 12 mm Infrared camera FLIR infrared camera, resolution: 640×480, Focal length: 16 mm Test platform AMD 5600X processor, 16 G memory
下载: 导出CSV
表 4 边缘特征提取算法和改进前后CAO算法的RMSE平均值与Precision平均值
Table 4 RMSE and precision average values of edge feature extraction algorithm and CAO algorithm before and after improvement
EFE CAO Improved CAO RMSE mean value 10.70 7.90 7.64 Precision mean value 0.70 0.94 0.96
下载: 导出CSV
表 5 算法改进前后在各视角偏移中的平均运行耗时
Table 5 The average running time of each angle of view offset before and after algorithm improvement
Evaluation metrics Comparison algorithm Horizontal deviation Longitudinal deviation Complex deviation No deviation Average runtime/s Original algorithm 4.58 4.79 4.63 5.14 Improved algorithm 4.50 4.24 4.59 5.07
下载: 导出CSV
-
[1] HONG R, XIANG C L, LIU H, et al. Visualizing the knowledge structure and research evolution of infrared detection technology studies[J]. Information, 2019, 10(7): 227. DOI: 10.3390/info10070227
[2] LI S T, KANG X D, FANG L Y, et al. Pixel-level image fusion: a survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004
[3] MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[4] Castillo J C, Fernandez-Caballero A, Serrano-Cuerda J, et al. Smart environment architecture for robust people detection by infrared and visible video fusion[J]. Journal of Ambient Intelligence and Humanized Computing, 2017, 8(2): 223-237. DOI: 10.1007/s12652-016-0429-5
[5] Fendri E, Boukhriss R R, Hammami M. Fusion of thermal infrared and visible spectra for robust moving object detection[J]. Pattern Analysis and Applications, 2017, 20(4): 907-926. DOI: 10.1007/s10044-017-0621-z
[6] Apatean A, Rogozan A, Bensrhair A. Visible-infrared fusion schemes for road obstacle classification[J]. Transportation Research Part C-Emerging Technologies, 2013, 35: 180-192. DOI: 10.1016/j.trc.2013.07.003
[7] DONG Yakui, FEI Cheng, ZHAO Guopeng, et al. Registration method for infrared and visible image of sea surface vessels based on contour feature[J]. Heliyon, 2023, 9(3): 14166-14176. DOI: 10.1016/j.heliyon.2023.e14166
[8] Kumar K S, Kavitha G, Subramanian R, et al. MATLAB-A Ubiquitous Tool for the Practical Engineer[M]. Croatia: InTech, 2011: 307-326.
[9] 李大华, 郑文鹏, 李璇, 等. 基于局部归一化的电力设备红外与可见光图像配准[J/OL]. 激光与光电子学进展, 2025, 62(6): 0637007. LI Dahua, ZHENG Wengpeng, LI Xuan, et al. Infrared and visible image registration of power equipment based on local normalization[J]. Laser & Optoelectronics Progress, 2025, 62(6) : 0637007.
[10] 程国华, 王阿川, 陈舒畅, 等. 多源遥感影像高精度自动配准方法研究[J]. 液晶与显示, 2016, 31(6): 604-612. CHEN Guohua, WANG Achuan, CHEN Shuchang, et al. High accuracy-automatic registration method research on multi-source remote sensing image[J]. Liquid Crystals and Displays, 2016, 31(6): 604-612.
[11] 谭东杰, 张安. 方向相关与互信息加权组合多模图像配准方法[J]. 红外与激光工程, 2013, 42(3): 836-841. DOI: 10.3969/j.issn.1007-2276.2013.03.067 TAN Dongjie, ZHANG an, Multi-model image registration based on weighted orientation correlation and mutual information[J]. Infrared and Laser Engineering, 2013, 42(3): 836-841. DOI: 10.3969/j.issn.1007-2276.2013.03.067
[12] 李云红, 刘宇栋, 苏雪平, 等. 红外与可见光图像配准技术研究综述[J]. 红外技术, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7 LI Yunhong, LIU Yudong, SU Xueping, et al. Review of infrared and visible image registration[J]. Infrared Technology, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7
[13] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727. WU Yanhai, ZHANG Cheng, ZHANG Ye. Image registration based on gradient and regional mutual information[J]. Journal of Guangxi University(Natural Science Edition), 2017, 42(2): 720-727.
[14] 孙凤杰, 赵孟丹, 刘威, 等. 基于方向场的输电线路间隔棒匹配定位算法[J]. 中国电机工程学报, 2014, 34(1): 206-213. SUN Fengjie, ZHAO Mengdan, LIU Wei, et al. Spacer matching and localization algorithm for transmission line video images based on directional field[J]. Proceedings of the CSEE, 2014, 34(1): 206-213.
[15] 刘刚, 周珩, 梁晓庚, 等. 非下采样轮廓波域红外与可见光图像配准算法[J]. 计算机科学, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061 LIU Gang, ZHOU Heng, LIANG Xiaogeng, et al. Image registration algorithm for infrared and visible light based on non-subsampled contourlet transform[J]. Computer Science, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061
[16] MA J, JIANG X, FAN A, et al. Image matching from handcrafted to deep features: a survey[J]. International Journal of Computer Vision, 2021, 129(1): 23-79. DOI: 10.1007/s11263-020-01359-2
[17] MOREL J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469. DOI: 10.1137/080732730
[18] YANG N, YANG Y, LI P, et al. Research on infrared and visible image registration of substation equipment based on multi-scale Retinex and ASIFT features[C]//Sixth International Workshop on Pattern Recognition. International Society for Optics and Photonics, 2021, 11913: 1191303.
[19] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[C]//European Conference on Computer Vision(ECCV), 2006, 3951(1): 404-417.
[20] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2021, 36(4): 2559-2569. DOI: 10.1109/TPWRD.2020.3011962
[21] 李云红, 罗雪敏, 苏雪平, 等. 基于改进曲率尺度空间算法的电力设备红外与可见光图像配准[J]. 激光与光电子学进展, 2022, 59(12): 138-145. LI Yunhong, LUO Xuemin, SU Xueping, et al. Registration method for power equipment infrared and visible images based on improved curvature scale space algorithm[J]. Progress in Laser and Optoelectronics, 2022, 59(12): 138-145.
[22] CHENG T, GU J, ZHANG X, et al. Multimodal image registration for power equipment using clifford algebraic geometric invariance[J]. Energy Reports, 2022, 8: 1078-1086. DOI: 10.1016/j.egyr.2022.02.192
[23] 陈亮, 周孟哲, 陈禾. 一种结合边缘区域和互相关的图像配准方法[J]. 北京理工大学学报, 2016, 36(3): 320-325. CHEN Liang, ZHOU Mengzhe, CHEN He, A method for image registration combined by edge region and cross correlation[J]. Transactions of Beijing Institute of Technology, 2016, 36(3): 320-325.
[24] 付添, 邓长征, 韩欣月, 等. 基于深度学习的电力设备红外与可见光图像配准[J]. 红外技术, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a FU Tian, DENG Changzheng, HAN Xinyue, et al. Infrared and visible image registration for power equipment based on deep learning[J]. Infrared Technology, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a
[25] 赵俊梅, 张利平. 复杂天气和环境下交通标志图像特征匹配技术的研究[J]. 车辆与动力技术, 2022(4): 38-43. ZHAO Junmin, ZHANG Liping. Research on image feature matching technology of traffic signs in complex weather and environment[J]. Vehicle & Power Technology, 2022(4): 38-43.
[26] 姜骞, 刘亚东, 方健, 等. 基于轮廓特征的电力设备红外和可见光图像配准方法[J]. 仪器仪表学报, 2020, 41(11): 252-260. JIANG Qian, LIU Yadong, FANG Jian, et al. Registration method for power equipment infrared and visible images based on contour feature[J]. Chinese Journal of Scientific Instrument, 2020, 41(11): 252-260.
[27] 徐伯庆, 孙国强, 陈离. 数字图像缩放的原理与硬件实现[J]. 上海理工大学学报, 2002, 24(3): 222-225. DOI: 10.3969/j.issn.1007-6735.2002.03.005 XU Boqing, SUN Guoqiang, CHEN Li. The principle and hardware implementation of digital image scaling[J]. Journal of University of Shanghai for Science and Technology, 2002, 24(3): 222-225. DOI: 10.3969/j.issn.1007-6735.2002.03.005
[28] 余先川, 吕中华, 胡丹. 遥感图像配准技术综述[J]. 光学精密工程, 2013, 21(11): 2960-2972. YU Xianchuan, LV Zhonghua, HU Dan. Review of remote sensing image registration techniques[J]. Optics and Precision Engineering, 2013, 21(11): 2960-2972.
[29] 陈勇, 皮德富, 周士源, 等. 基于小波变换的红外图像融合技术研究[J]. 红外与激光工程, 2001, 30(1): 3. CHEN Yong, PI Defu, ZHOU Shiyuan, et al. Study for infrared image fusion based on wavelet transform[J]. Infrared and Laser Engineering, 2001, 30(1): 3.
[30] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//International Conference on Computer Vision, 2011, 2564-2571(DOI: 10.1109/ICCV.2011.6126544).
计量
- 文章访问数: 109
- HTML全文浏览量: 20
- PDF下载量: 39
