0.   引言

电力设备作为电力系统的重要组成部分，它的运行状态往往决定着整个电力系统的安全与稳定^[1-2]。通过电力设备的红外图像可以判断其是否发生故障，但是红外图像往往轮廓不够清晰，而可见光图像信息丰富，细节也更全面，因此图像融合技术应运而生，将红外和可见光图像进行融合后，就可以得到既符合人们的视觉特性，又不受光照强度的影响，还包含了两幅源图像细节信息的融合图像^[3-6]。然而在实际应用中，红外与可见光图像不可能完全一样，因此在进行图像融合前需要进行配准，根据红外与可见光图像上的特征信息，利用变换参数，将红外与可见光图像变换到同一坐标系下。

随着深度学习的发展，深度学习技术也被引入到了红外与可见光图像配准领域。文献[7-9]利用神经网络来提取特征学习相似度度量，虽然提高了算法的性能，但收敛速度缓慢。文献[10-12]利用深度学习方法解决了医学图像配准问题，取得了令人鼓舞的结果。文献[13-15]首次利用深度神经网络的方法来度量两个图像块的相似性。文献[16-20]利用深度强化学习将图像配准转化为迭代求解最优动作序列的过程，但这类深度迭代算法收敛速度缓慢。文献[21-22]将深度特征与传统算子结合以提高精度，但在过程中增加了冗余。文献[23]使用CNN（Convolution Neural Network）网络对图像进行特征提取来实现多模图像配准。总的来说，这些配准框架都需要获得尽可能多的局部特征点来进行变换模型的估计，这可能会导致相应的特征点的缺乏，造成配准失败。

本文提出一种基于深度学习的电力设备红外与可见光图像配准方法。与传统方法不同，本文将特征提取与特征匹配联合在深度学习框架中，在提高电力设备红外与可见光图像匹配精度的同时具有较低的时间复杂度。

1.   本文方法

1.1   网络结构

本文提出的红外与可见光配准框架如图 1所示。本文将特征提取与特征匹配联合在深度学习框架中，直接学习图像块对与匹配标签之间的关系。将红外与可见光图像块对作为神经网络的输入，输出的是相对应的匹配标签，然后，利用训练好的神经网络预测新的红外与可见光图像块对的匹配标签。本文的网络框架主要包括两个部分：第一部分是提取红外与可见光图像块的特征点并自发学习特征匹配函数，完成深度神经网络的训练，第二部分是红外与可见光图像配准。首先为红外与可见光图像块对分配不同的匹配标签，用于训练深度神经网络。然后利用训练好的神经网络预测待配准图像中图像块对的匹配关系，最后，剔除错误的匹配点对，计算待配准图像的变换矩阵，配准并融合图像。

图  1  图像配准融合深度学习框架

Figure  1.  Image registration fusion deep learning framework

下载: 全尺寸图片 幻灯片

1.2   自学习策略

由于配准框架需要获得尽可能多的局部特征点来进行匹配标签的预测，但是，与可见光图像不同，红外图像的获取十分困难，为了尽可能地从红外图像中获得局部特征点，从而使神经网络得到充分的训练，本文提出一种自学习策略，具体步骤如下：

1）特征点检测。本文以红外与可见光图像块对为训练神经网络的样本，而图像块对是以特征点为中心选取的，因此得到准确有效的特征点是关键。由于视角或传感器的原因，红外与可见光图像存在一定程度的外观差异，传统方法检测到的特征点可能包含严重的异常值，进而在后续的配准中产生大量的误匹配，深度学习恰好解决了这个问题，卷积神经网络可以自适应地学习红外与可见光图像块中具有不变特征的信息，并以此为特征点，这些特征点与图像大小、光线、视角无关。以这些特征点为中心的图像块也会有明显的特征显示，使用这样的训练样本来训练神经网络可以保证神经网络的优良性能，大大提高后续配准精度。

2）变换图像。利用一组变换矩阵{T₁, T₂, …, T_k}对红外图像I进行尺度变换、旋转、平移，得到一组变换的红外图像{I₁, I₂, …, I_k}。

3）选取训练样本。首先利用卷积神经网络提取可见光图像中的特征点，一共有m个特征点{x₁, x₂, …, x_m}，然后利用卷积神经网络同样提取变换红外图像{I₁, I₂, …, I_k}的特征点，也可以得到m个特征点{x₁^k, x₂^k, …, x_m^k}。则可见光图像与变换的红外图像I_k的匹配点对为{(x_i, x_j^k), i＝j}，不匹配点对为{(x_i, x_j^k), i≠j}这里k＝(1, 2, …, k)，i＝j＝(1, 2, …, m)。最后，根据特征点选取图像块集，可见光图像块集为{p₁, p₂, …, p_m}，变换的红外图像I_k的图像块集为{p₁^k, p₂^k, …, p_m^k}，则可以得到匹配的图像块对为{(p_i, p_j^k), i＝j}，不匹配的图像块对为{(p_i, p_j^k), i≠j}，训练样本表示为{(p_i, p_j^k), y_ij^k}，其中匹配标签y_ij^k为：

于是得到1个匹配的正样本和m－1个不匹配的负样本，为了保证神经网络的训练性能，必须要维持正负样本的平衡，本文的做法是在m－1个负样本中随机选取1个负样本与正样本对应，达到样本平衡。图 2为自学习策略中训练样本的生成方案。

图  2  自学习策略中训练样本的生成方案

Figure  2.  Generation scheme of training samples in self-learning strategy

下载: 全尺寸图片 幻灯片

2.   训练过程

一般的深度学习网络训练过程是从随机初始化参数开始，然后使用BP（Back Propagation）算法调整整个网络的参数，利用随机梯度下降算法使损失函数最小化。然而这个过程会导致过度拟合，并且训练成本较高，为此我们采用两步训练策略来缓解这些问题。一开始，由于没有可用的深度学习模型，我们应用玻尔兹曼机来训练深度学习网络，只用一个图像对(I₁, V₁)，即最初的学习，经过训练的深度学习模型不仅可以配对I₁和V₁，而且还学习了红外图像和可见光图像的某些共性属性，因此，它可以通过迁移学习作为其他图像的训练网络。

2.1   初始学习

预训练时将数据的先验信息带入参数初始化中，可以防止过拟合，同时具有较好的范化性能^[24]。根据这一思想，应用无监督的预训练，即限制性玻尔兹曼机（Restricted Boltzmann Machine, RBM, ）^[25]，来初始化深度学习网络参数。

RBM学习输入数据的分布特性，它由输入层和特征提取层组成。它将输入单元记为v∈{0, 1}，将特征提取单元记为h∈{0, 1}，则联合概率分布和能量函数可表示为：

式中：Z为分配函数，$Z = \sum {_{v.h}\exp \left[ { - E\left( {v,h} \right)} \right]} $；a^T为输入层的偏置；b^T为特征提取层的偏置；w为输入层与特征提取层之间的连接权值；θ_RBM＝(w, a, b)为RBM的参数。

由于RBM的独立性，输入单元和特征提取单元的激活概率更新为：

式中：δ是sigmoid函数，δ(x)＝1/(1+exp(－x))。

2.2   迁移学习

对于一幅新的未配准图像，如果通过本文提出的自学习从头开始训练网络，会耗费大量的时间，因此，我们提出利用迁移学习的方法减少训练时间，提高训练网络拟合新图像的可靠性。迁移学习是将源网络作为目标网络的初始状态，然后利用目标数据对目标网络进行微调的过程。这样不仅提高了网络的范化性能，而且大大减少了训练的时间。在本文中，我们有一个经过训练的网络，它在初始学习后学习同质数据的某些属性。按照同样的思路，我们将已有的深度学习网络作为初始网络，然后利用新图像中相应的匹配标签对网络进行微调。

3.   配准

3.1   去除外点

在匹配步骤中，将可见光图像V₁和红外图像I₁中所有的图像块对{p_i, p_j^k}输入训练后的神经网络中，预测匹配标签，如果标签为1，则以匹配的图像块对的中心点作为图像匹配的初始特征点。由于图像块的尺寸很小，我们可能会在I₁和V₁之间发现多个相似的图像块对。这种一对多匹配混淆了变换矩阵的计算。因此，我们应用一个全局约束来删除这些假匹配点。本文在RANSAC（Random Sample Consensus）^[26]算法的基础上做出如下改进，本文通过上述训练好的图像块匹配模型来判定配准点对的特征，弱化了求解参数模型时的多迭代对算法耗时的影响。然后针对RANSAC算法对每次生成的单应性矩阵进行合理性判定而造成的处理效率问题，通过快速舍弃不合理的矩阵来减少单应性矩阵验证和特征点检测时间。最后通过更新样本集再次求解矩阵，使得产生的单应性矩阵是最优的结果。如图 3所示，改进SANSAC算法的运行时间为0.06 s，与传统的SANSAC算法0.09 s相比提高了33%。

图  3  改进前后RANSAC算法比较

Figure  3.  Comparison of RANSAC algorithm before and after improvement

下载: 全尺寸图片 幻灯片

3.2   几何变换

通过全局约束删除假匹配点后，得到图像块之间准确的对应关系，由对应关系求得匹配变换矩阵。通过匹配变换矩阵，可以拟合出红外与可见光图像块之间的变换参数，对图像块进行重采样，使得红外与可见光图像置于统一坐标系中。相似性变换可以定义为：

式中：c(e_jⁱ)、s(e_jⁱ)分别为相似变换系数；w(e_jⁱ)权重函数，红外与可见光图像棋盘图如图 4所示。

图  4  红外与可见光图像棋盘图

Figure  4.  Checkerboard diagram of infrared and visual images

下载: 全尺寸图片 幻灯片

4.   实验结果及其分析

4.1   配准融合评价指标

1）准确率（Accuracy, ACC）^[27]是指匹配标签预测为正样本的样本数目和不匹配标签预测为负样本的样本数目占总的样本数目的比例，其表达式为：

2）精度（Precision, P）^[27]是指匹配标签预测为正样本中正确预测的比例，其表达式为：

3）召回率（Recall, R）^[27]是指正样本被正确预测的比例，其表达式为：

式中：TP表示将匹配标签预测为正样本；TN表示将匹配标签预测为负样本；FP表示将不匹配标签预测为正样本；FN表示将不匹配标签预测为负样本。

4）F-measure^[20]是一个综合指标，用来度量分类方法的性能，其表达式为：

5）均方根误差（root mean square error, RMSE）可以衡量配准算法的精度，均方根误差越小说明配准效果越好，其定义为：

式中：(x_1i, y_1i)为红外图像匹配点坐标；(x_2i, y_2i)为对应的可见光图像匹配点坐标；n为匹配点对数。

4.2   敏感性分析

为了评估不同图像块大小对深度学习模型的影响，依次选取18、34、50、66大小的图像块进行4组相互独立的实验，实验结果如表 1所示。

表  1  不同图像大小对模型的影响结果

Table  1.  Influence results of different image sizes on model %

Image block	ACC	P	R	F-measure
18×18	87.62	87.88	87.28	87.58
34×34	92.27	95.21	89.01	92.01
50×50	92.19	98.21	85.94	91.67
66×66	94.10	97.92	90.10	93.85

下载: 导出CSV 

| 显示表格

由表 1可知，随着图像块大小逐渐增大，ACC、P、R和F-measure整体趋势是呈上升趋势的。这是因为图像块对越大，细节信息就越丰富，物体的轮廓也越清晰，匹配的准确率也随之增大。但并不意味着图像块越大越好，因为图像块对越大，神经网络的训练时间和训练难度也会随着增大，应用其预测匹配标签的时间也会随着增大。

4.3   实验结果分析

为了验证本文算法，选择了较为先进的4种算法进行对比，对比算法为CSS（Curvature Scale Space）算法^[28]、CNN（Convolution Neural Network）算法^[29]、DSGAN（Generative Adversarial Network for Distant Supervision）算法^[30]、DVGG（Difference of Gaussian with VGG）算法^[31]。图 5是5组采用本文算法实现的红外与可见光图像配准融合效果图，由图可知本文算法的配准精度高，融合后的图像边缘清晰，能够清楚反映电力设备的红外图像特征和可见光图像特征。

图  5  电力设备红外与可见光图像配准融合

Figure  5.  Registration and fusion of infrared and visible images of power equipment

下载: 全尺寸图片 幻灯片

表 2给出了5组实验数据下5种算法的配准结果对比，从数据中我们可以看出，本文算法的ACC、RMSE均有明显提高，本文平均ACC为89.909，同其余4种算法相比分别提高了2.31%、3.36%、2.67%、0.82%，由于精确度更高，所以匹配效果更好。本文平均RMSE为2.521，同其余4种配准算法相比分别降低了14.68%、15.24%、4.90%、1.04%，由于平均均方根误差系数更小，说明本文配准算法具有优越性。

表  2  不同配准算法配准结果对比

Table  2.  Comparison of registration results of different registration algorithms

	Methods	SIFT	Improvement CSS	DNN	SURF	Ours
Text 1	ACC	89.142	88.652	88.149	90.011	90.178
	RMSE	2.117	2.032	1.713	1.649	1.642
Text 2	ACC	84.492	79.635	80.542	87.799	87.826
	RMSE	4.893	5.126	3.854	3.601	3.584
Text 3	ACC	83.816	82.873	85.361	83.931	86.507
	RMSE	4.023	3.893	3.901	3.878	3.852
Text 4	ACC	88.920	88.972	88.688	88.998	89.717
	RMSE	2.494	2.613	2.598	2.501	2.450
Text 5	ACC	93.028	94.813	95.099	95.158	95.316
	RMSE	1.247	1.208	1.189	1.108	1.077

下载: 导出CSV 

| 显示表格

表 3给出了5组实验数据下5种算法的配准时间对比，从数据中我们可以看出，本文算法具有较低的时间复杂度。本文算法平均用时为5.625 s，较其余4种算法分别降低了5.57%、6.82%、2.45%、1.75%，平均匹配时间更少、鲁棒性更强。

表  3  不同匹配算法时间对比

Table  3.  Time comparison of different matching algorithms  s

Time	SIFT	CSS	DNN	SURF	OURS
Test 1	6.021	6.634	6.127	6.031	5.827
Test 2	7.138	7.041	6.732	6.644	6.521
Test 3	9.152	9.037	8.802	8.668	8.646
Test 4	6.071	6.083	5.853	5.973	5.837
Test 5	1.401	1.386	1.317	1.309	1.293

下载: 导出CSV 

| 显示表格

5.   结论

本文提出了一种用于电力设备的红外与可见光图像配准融合的深度学习框架，这种端到端架构直接学习图像块对与其匹配标签之间的映射函数。为了弥补红外图像数据量小的问题，提出一种利用红外图像及其变换图像学习映射函数的自学习方法，不需要依赖于其他数据，并且应用迁移学习方法进一步提高了映射函数的准确性，降低了训练成本。实验结果表明，本文的方法具有优越性，平均匹配时间更少，满足电力系统在线检测的实时性。