Pupil Diopter Detection Approach Based on Improved YOLOv3
-
摘要: 针对瞳孔区域屈光度识别准确率低、检测效率低等问题，本文提出一种基于改进YOLOv3深度神经网络的瞳孔图像检测算法。首先构建用于提取瞳孔主特征的二分类检测网络YOLOv3-base，强化对瞳孔特征的学习能力。然后通过迁移学习，将训练模型参数迁移至YOLOv3-DPDC（Deep Pupil Diopter Classify），降低样本数据分布不均衡造成的模型训练困难以及检测性能差的难题，最后采用Fine-tuning调参快速训练YOLOv3多分类网络，实现了对瞳孔屈光度快速检测。通过采集的1200张红外瞳孔图像进行实验测试，结果表明本文算法屈光度检测准确率达91.6%，检测速度可达45 fps，优于使用Faster R-CNN进行屈光度检测的方法。Abstract: To address the problems of low diopter recognition accuracy and low detection efficiency in the pupil area, this paper proposes a pupil image detection algorithm based on an improved YOLOv3 deep neural network. First, a two-class detection network YOLOv3 base for extracting the main features of the pupil is constructed to strengthen the learning ability of the pupil characteristics. Subsequently, through migration learning, the training model parameters are migrated to YOLOv3-DPDC to reduce the difficulty of model training and poor detection performance caused by the uneven distribution of sample data. Finally, fine-tuning is used to quickly train the YOLOv3 multi-classification network to achieve accurate pupil diopter detection. An experimental test was performed using the 1200 collected infrared pupil images. The results show that the average accuracy of diopter detection using this algorithm is as high as 91.6%, and the detection speed can reach 45 fps; these values are significantly better than those obtained using Faster R-CNN for diopter detection.
-
Keywords:
- pupil diopter detection /
- deep learning /
- YOLOv3 /
- multi-scale features /
- machine vision
-
0. 引言
作为多源成像技术的核心之一，红外与可见光图像配准技术在众多领域具有重要的研究价值。红外与可见光图像配准能够获得更丰富和全面的场景信息，被广泛应用于军事侦察、视频监控、遥感信息融合、电力设备监测等领域[1-2]。
红外图像与可见光图像的成像原理差异导致了传统单模态图像配准方法效果不佳。通过在相同时间内对同一范围成像所得到的可见光图像与红外图像的数据进行分析可以发现，它们之间由于存在着不同比例的缩放以及相对平移、旋转等问题[3]导致了红外与可见光图像具有很大的配准难度。因此，研究者们针对不同的应用场景分析，提出多种精度高、配准效果好的方法。鉴于这些方法在各领域的研究中具有重要的理论及实践意义，有必要对其研究现状进行综述。
文章综述了红外与可见光图像配准的相关技术，剖析了配准中存在的难点与挑战，针对基于区域、基于特征和基于深度学习3类红外与可见光图像配准方法进行了较为详细的分析与总结，最后列举了该技术的一些实际应用并展望了未来的发展趋势。
1. 图像配准技术及存在的难点
1.1 图像配准算法原理
图像配准是对同一场景图像叠加的过程，旨在找到参考图像（固定图像）和浮动图像（待配准图像）之间的映射关系。通常采用两个二维数组来定义两幅图像，如I1(x, y)和I2(x, y)，它们分别表示两幅图像的灰度值，则两幅图像之间的变换关系可以采用公式(1)来表示：
$$ I_{2}(x,y)＝g(I_{1}(f(x,y))) $$ (1) 式中：f为二维空间坐标变换；g为一维灰度值变换。
1.2 基于区域的配准算法
基于区域的配准算法主要以参考图像为基础，利用极大化相关性指标来搜索待配准图像的最佳位置。选取合适的相似性测度算法以寻找两幅或多幅图像的相关性并在空间域或频域中展开，是基于区域的配准方法的核心。基于区域的图像配准算法步骤如图 1所示。
选择相似性测度算法时，以互相关、互信息为代表的空间域中寻找两幅图像的相关性在当下运用较多。互相关最早应用于基于区域的配准方法中，Sarvaiya等人和Yang等人都是运用归一化互相关的思想分别在不同光谱图像中进行模板匹配，反应不同图像特征相似性[4-5]。归一化互相关方法（Normalized Cross Correlation, NCC）主要思想是计算两幅图像对应窗的相似性。令I(x, y)表示浮动图像，T(x, y)为参考图像，当参考图像在浮动图像中移动时，在每个位移点(i, j)处，两者相似度如公式(2)表示：
$$ D\left( {i,j} \right) = \frac{{\sum\limits_x {\sum\limits_y {T\left( {x,y} \right)I\left( {x - i,y - j} \right)} } }}{{\sqrt {\sum\limits_x {\sum\limits_y {{I^2}\left( {x - i,y - j} \right)} } } }} $$ (2) 互信息则通过对两幅图像的统计相关性进行度量。对于参考图像A和浮动图像B，它们的互信息可表示为：
$$ \begin{aligned} I(\boldsymbol{A}, \boldsymbol{B}) &=H(\boldsymbol{B})-H(\boldsymbol{B} \mid \boldsymbol{A}) \\ &=H(\boldsymbol{A})-H(\boldsymbol{A} \mid \boldsymbol{B}) \end{aligned}$$ (3) 式中：H(A)和H(B)为图像A和B的边缘熵；H(A, B)表示两幅图像的联合熵；I(A, B)为图像的互信息。当图像A和B完全配准时，条件边缘熵H(A|B)和H(B|A)最小，此时互信息I(A, B)达到最大值。
不同于互相关等基于空间域的图像配准方法，以傅里叶变换为代表的在频域中对两幅图像进行类相关配准也是当下应用较多的方法之一，其主要思想是计算频域的相关性，当应用于边缘表示时，它能够处理可见光图像和红外图像等多模态图像。主要分为频域内的互相关（Cross Correlation in the Frequency domain，CCF）和相位相关（Phase Correlation，PC）。
1）频域内的互相关（CCF）：两幅图像的相关性的傅里叶变换（FT）是一幅图像的傅里叶变换与另一幅图像的傅里叶的复共轭的乘积。假设两个图像函数f(x, y)与g(x, y)在行和列方向上的位移Δx与Δy表示为g(x, y)＝f(x－Δx, y－Δy)，则频域内的互相关CCF的如公式(4)所示：
$$ CC＝F^{-1}(F(u,v)^{*}G(u,v)) $$ (4) 式中：F(u, v)和G(u, v)分别表示f(x, y)和g(x, y)傅里叶变换，F-1表示傅里叶逆变换，*为复共轭。CCF相当于计算空间域内的互相关，而FFT使用避免了传统互相关相关过程的迭代搜索，能够快速计算相关性。
2）相位相关（PC）：PC是基于傅里叶变换的平移特性，即将两幅相关图像在空间域上的位移作为相位差转换到频域。相位相关如公式(5)所示：
$$ \begin{aligned} \mathrm{PC} &=F^{-1}(\boldsymbol{Q}(u, v)) \\ &=F^{-1}\left\{\frac{F(u, v) * G(u, v)}{|F(u, v) * G(u, v)|}\right\} \\ &=F^{-1}\{\exp (-\mathrm{i})(u \Delta x+v \Delta y)\} \end{aligned}$$ (5) 式中：$ {\text{i}} = \sqrt { - 1} $；Q(u, v)表示归一化互功率谱矩阵。PC使用相位信息的特性避免了对图像内容的依赖性，所得到的相关峰值更清晰，计算效率较高。
1.3 基于特征的配准算法
传统的基于特征的图像配准算法是一个不断迭代优化寻找图像之间最优相似度的过程，为了提高图像配准的精度，在对不同传感器图像进行特征提取前，需要将图像的特征信息在像素级上进行展开，常用的特征包括：角点、边缘线段、特征区域等。特征匹配就是在特征提取过程中，根据特征描述算子和相似性测度准则获得特征集合间的匹配关系，可能用到的信息有：特征向量的空间分布、区域的灰度值以及特征描述符等。最后通过判断参考图像与待配准图像之间是否产生几何畸变，从而选择合适的几何变换模型对图像进行最佳拟合。基于特征的图像配准算法步骤如图 2所示。
1.4 基于深度学习的配准算法
深度学习的配准方法主要是利用深度学习网络对输入的图像对进行特征提取与相似性测度，从而实现配准图像的生成与图像配准精度的判别。深度学习图像配准算法步骤如图 3所示，一般将可见光图像与红外图像通过深度网络模型映射转为同一模态（比如将可见光图像转为红外图像），而后输入到配准网络中进行相似性测度，根据神经网络反向传播特性，将损失值传递到网络中迭代，促使可见光图像映射到红外图像的效果更好，以获取两幅红外图像更精确的相似性度量，最终得到最优的输出值得到配准图像。
![]()
图 3 基于深度学习的图像配准算法步骤Figure 3. Image registration algorithm principle based on deep learning1.5 红外与可见光图像配准存在的难点
由于受到自然环境、物体运动干扰、光照等条件的影响，红外与可见光图像之间相关性较小，因此基于区域的图像配准方法效果较差。
在基于特征的图像配准方法中，为了提高图像配准的精度，在对不同传感器图像进行特征提取前，需要将图像的特征信息在像素级上进行展开。此类方法运用多种算子、仿射变换模型对红外与可见光图像进行配准。往往采用单一特征的配准算法进行图像配准难以同时满足配准速度和精度的要求，而采用多特征的配准算法进行图像配准则会增加特征算子的维度，加大配准的复杂性，因此如何结合不同算法提高特征点对的提取和匹配精度以及缩短配准时间是配准的一大挑战。
传统的配准方法精度高、但相较于深度学习的配准方法速度较慢，传统方法已逐渐无法满足当下各种红外与可见光图像配准领域飞速发展的需要。近些年来，深度学习的配准方法在医学图像和遥感图像的配准中已有较传统方法效果更好、速度更快的优势。部分研究者尝试将卷积神经网络、生成对抗网络等深度学习网络应用到红外与可见光图像配准中并取得了一定的进展，但与传统方法在配准精度上仍具有一定的差距。由于红外光谱通常分辨率较低且模糊，难以可靠的提取关键点等详细特征，在深度学习架构中既不易可靠地找到特征，也不适合直接训练，因此，深度学习方法在实现出色的红外与可见图像配准方面面临许多挑战[6]。
2. 红外与可见光图像配准技术研究进展
下面将分别介绍基于区域、基于特征和基于深度学习的图像配准方法。
2.1 基于区域的红外与可见光图像配准方法
基于区域的配准方法又称模板匹配法，典型的区域配准算法包括：傅里叶变换、互信息、梯度信息等。
2.1.1 基于傅里叶变换的图像配准
基于傅里叶图像相关性的图像配准旨在将二维图像从空间域变换到频率域计算图像之间的相关性，Stone等人[7]率先研究了基于傅里叶相关性的图像配准精度降低的因素，说明了影响相位相关图像配准精度的问题主要来自插值误差以及在采样过程中图像旋转时，离散傅里叶变换不易展开两个方面。在随后研究中，Stone等人为减少旋转依赖的混叠而对图像进行窗口化以去除高频信息，使得图像配准中相位相关性大大提高。
在如何减少插值误差带来的配准精度问题的研究中，将笛卡尔网格上的FFT系数内插到对数极坐标网格中得到对数极坐标系数从而准确地评估对数极坐标傅里叶变换是重中之重。为此，研究者们提出了“MPFFT[8]”、“MPFT[9]”等方法，这些方法都是通过提供一种类似对数极坐标的网格使得到的对数极坐标傅里叶变换更加精确，从而减少插值误差对图像配准精度的影响。除傅里叶变换外，Fujisawa等人[10]将Radon变换应用于图像的频域和空间域以进行高精度旋转和尺度估计，在减少插值误差方面起到了类似的作用。
2.1.2 基于互信息和梯度信息的图像配准
Kim等人[11]提取可见光图像中与相应的红外图像区域高度相关的区域，并利用提取的区域计算互信息，以管理多模态图像的鲁棒配准，其配准效果较基于区域的配准算法有一定的提升。Yang等人[12]将互信息用以图像序列的全局配准与逐帧到每幅图像之间的局部配准，该配准算法加强了动态图像全局与局部的一致性，但所需要的连续帧图像序列对不易获取。
由于红外与可见光不一致的光谱特性，复杂背景区域的边缘轮廓较为模糊，从而增加了归一化互信息（Normalized Mutual Information, NMI）算法在配准时局部极值的数量，导致从多模态图像中提取一致特征较为困难。将红外与可见光图像的互信息和梯度信息相结合，利用梯度相似性作为互信息的加权，构造新的配准测度成为了许多研究人员重点研究的方向。在相关研究中，Lian-Fa等人[13]提出了一种改进的梯度NMI算法，能够根据梯度大小和方向对两幅图像相关性进行优化。但该算法只考虑消除多峰条件，没有改善红外与可见图像之间的低相关性，配准的位置可能不准确。归一化总梯度（Normalized total gradient, NTG）函数[14]的提出在多光谱图像配准中取得了良好的效果，尽管有其优势，但计算成本相应增加。在如何解决互信息较为依赖图像全局一致性这一问题上，Yang等[15]引入自适应局部张量获取互信息，与加权函数组成测度准则，能够有效反应图像灰度信息。赵洪山[16]结合流形排序算法提出一种新的基于显著性梯度的NCC算法，在增加配准时间的情况下能够提高红外图像模糊边缘的特征提取率，然后采用文化狼群的算法对测度函数进行优化，提高了图像配准的收敛性和配准率。
2.1.3 基于互信息或变换域的图像配准
除了采用精确度更高的梯度算子提高梯度互信息算法的准确性外，一些研究人员从图像预处理入手，结合变换域、显著性等方法，有效实现梯度的准确获取以及减少互信息的计算量。根据输电线路图像中导线的方向梯度明确的特点，孙凤杰[17]等人采用将直方图和归一化相关匹配相结合的匹配方法，有效减少了模板的搜索空间。在变换域方面，刘刚[18]结合非下轮廓波变换将红外图像与可见光图像变换到NSCT域，将梯度归一化互信息作为图像配准的相似性测度准则，最后通过遗传算法进行配准，能够有效缩短配准时间。吴延海[19]则将梯度信息和区域互信息相结合作为相似性测度函数，通过对小波分解后的图像进行分层配准，得到了精度较高的配准图像。
在其他方面，图 4为Zhuang等人[20]通过结合粒子群优化（PSO）与Powell搜索方法的配准算法流程图与配准结果，在配准速度和精度上得到了保证，由于该方法在达到最大互信息时才会从PSO算法过渡至Powell算法去寻找最优解，因而Zhuang等人借助主成分分析（PCA）来决定何时改变算法以提高配准效率。
![]()
Li等[21]结合传统相位相关与归一化互相关金字塔，在使用参考图像和浮动图像获取金字塔结构后，通过将金字塔结构中顶层的子源图（浮动图像二次采样）映射到底层执行配准过程，该方法对部分目标丢失情况下配准具有很强的鲁棒性，但图像噪声对算法性能影响较大。
基于区域的配准方法以整幅图像的灰度信息为依据。其中，基于傅里叶的图像配准利用FFT对待配准的两幅图像在频域进行类相关配准，其计算效率高，且对与频率相关的噪声具有鲁棒性，但如何对频域内两幅图像在对数极坐标中的傅里叶变换进行准确的估计是基于相位相关运动估计的主要挑战；基于互信息的方法容易使红外与可见光图像配准过程中陷入局部极值，与互信息方法相比，基于互信息与梯度信息、变换域的图像配准方法通常不需要复杂的预处理过程，实现过程相对简单。但这种方法对灰度变化敏感，并且在最优变换的搜索过程中运算量较大，对相似度量函数的选取要求较高。因此，基于区域的配准方法对于红外与可见图像配准适用性较差。
2.2 基于特征的红外与可见光图像配准方法
常见的基于特征的红外与可见光图像配准方法有：基于点特征、基于轮廓边缘与区域特征的图像配准方法。
2.2.1 基于点特征的图像配准
基于点特征的图像配准如图 5所示，一般通过特征描述符选择图像的角点、边缘交点进行特征提取。
![]()
图 5 基于点特征的图像配准：(a)红外与可见光图像配准；(b)融合结果Figure 5. Image registration based on point feature: (a)Infrared and visible image registration; (b)Fusion result尺度不变特征变换（SIFT）被认为是最稳健的方法，其对噪声不敏感，被广泛应用于特征点提取，但它提取特征点的速度较慢，在细节纹理少的图像中提取效果较差。通过对SIFT算子进行改进，ASIFT算子[22]能够在红外图像发生旋转、缩放、甚至带有噪声的情况下有效地进行特征匹配。Yang等[23]在ASIFT基础上结合多尺度Retinex算法对可见光图像中表示物体属性的分量进行分离，以减弱杂波背景的影响。该算法能够增加特征点的提取数量，实现配准精度的提高。与ASIFT类似，Zeng等人[24]利用形态梯度得到红外和可见光的灰度边缘，使得相似度得以提升，然后通过改进的C_SIFT特征检测算子从提取的边缘中进行检测和提取特征点，图 6为该配准算法的流程图和配准结果，可以看到，使用C_SIFT算法在形态梯度学提取到的边缘轮廓中提取到的特征点较多，有利于特征匹配过程中特征点的选取，在红外与可见光图像配准上效果显著。
![]()
图 6 基于形态学梯度和C_SIFT的实时自适应可见光和红外图像配准及其结果：(a)算法流程图；(b)待配准图像对；(c)待配准图像的形态梯度图像；(d)红外与可见光图像配准结果[24]Figure 6. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT and result: (a)The flowchart of proposed algorithm; (b)Image pairs to be registered; (c)The morphology gradient image of visible and infrared images; (d)The registration results of visible and infrared images[24]Jiang等人[25]提出采用一种轮廓角方向CAO-C2F算法，利用CSS算法计算特征点的轮廓角主方向，并结合SIFT描述符进行双边匹配，通过C2F实现了红外与可见光图像的精确配准。
随着红外与可见光图像配准任务要求的不断提高，SIFT算子的许多变体不断被提出。其中，SURF算子不仅保留了SIFT算子尺度不变的特性，在对特征点的提取速度上进一步加快。李伟[26]采用固定区域截取特征点或手动提取特征点的方法对可见光图像进行预处理，然后采用SURF算子进行特征点提取，这种方法具有较好的特征点提取效果；FAST算子具有快速提取特征点的特性，Chen[27]基于电气设备的四边形特征，采用轮廓和直线检测技术能够有效提取特征点。戴进墩[28]将灰度直方图均衡法和NSCT算法相结合对红外与可见光图像进行预处理，然后采用FAST算子提取特征点，这种算法能够减少特征点的误匹配优化配准效果。尽管这种方法计算简单，但是FAST算子由于角点聚集率高极易产生大面积的角点块，且对噪声的鲁棒性较差，导致提取的效果过于依赖于固定阈值的选取；通过对FAST算子进行改进得到了ORB算子，该算子在保证提取速度要求的同时，能够利用图像金字塔实现尺度不变性。比如，江泽涛[29]采用优化显著性检测的算法，首先利用直方图规定化对红外图像进行预处理，增强图像的细节信息，再引入泰勒级数改进传统ORB算法，降低误匹配率提高配准精度。
然而，上述基于点特征的图像配准大多利用高斯滤波构建尺度空间图像，此类方法缺点是尺度空间边缘的弱化，导致图像细节信息的丢失。为此，占祥慧[30]考虑利用滚动滤波引导构建尺度空间，利用改进相位相关模型得到更准确的特征描述，结合Shitomasi算法进行多尺度角点检测，更好地反映了红外与可见光图像的细节纹理。Li等人[31]则放弃特征描述子，在特征提取过程中借鉴目标检测中常用的YOLOv3网络在得到的物体边界框中提取约束点特征，该方法可以获得足够多的匹配点对以获得唯一的仿射变换矩阵用以对齐红外与可见光图像。
2.2.2 基于轮廓边缘与区域特征的图像配准
基于轮廓边缘与区域特征的配准算法主要利用图像中的直线/曲线特征或者局部区域相似性进行特征提取，通常和传统的边缘提取算法相结合，在图像的边缘或局部区域上提取特征点。
在基于轮廓边缘的图像配准中，一些研究者致力于通过构建效果更好的特征描述符实现红外与可见光图像的配准，Chen等[32]针对红外图像灰度分布差异，使用改进PIIFD计算图像边缘的特征描述，经过高斯场估计和仿射变换实现特征匹配和图像对齐。Liu等人[33]提出了LGHD特征描述符，在原始匹配图像经过直方图均衡化并提取图像轮廓后，利用Log-Gabor滤波器来获取像素邻域的相位信息，通过所检测关键点的子区域的直方图构建特征描述符。
使用边缘检测算法提取图像边缘后计算轮廓角主方向也是一种基于边缘特征的图像配准的思路。李云红等[34]针对电力设备红外与可见光图像配准的特点提出一种基于Freeman链码差的CSS算法实现红外与可见光图像配准，具有很好的配准效果。Cheng等[35]为了发现用于图像配准的图像中丰富的几何特征，利用Canny边缘检测算法分别提取电力设备红外图像和可见光图像的轮廓点云，而后利用Clifford代数计算轮廓角主方角用于对待配准图像进行空间变换，该方法在有大旋转的图像中的配准误差逼近无明显旋转的配准误差，侧面反映了旋转不变性和稳定性。
基于区域特征的配准方法则是选取具有显著性的区域信息作为特征区域，陈亮[36]采用改进的相似性测度函数同Canny算子相结合提取边缘特征用于构造边缘区域，将粒子群搜索算法作为优化算法，利用边缘区域实现红外与可见光图像的配准。Liu等人[37]提出了一种基于搜索空间和特征空间优化的视觉显著性和SIFT相结合的图像配准算法。采用调幅傅里叶变换构造显著性区域以得到显著性特征点，通过主成分分析（PCA）方法建立了SIFT特征的降维性，实现红外图像与可见光的鲁棒配准。
另外，一些研究人员还通过构建变换模型实现跨模态图像的配准。廉蔺[38]选择在多尺度空间提取两幅图像的边缘信息，分别采用仿射模型和投影模型作为变换模型，实现自动配准。Ma等人[39]通过利用非刚性变换模型在再生核希尔伯特空间（Reproducing kernel Hilbert spaces, RKHS）实现图像之间的变换，结合高斯混合模型剔除与对应函数不一致的错误匹配对，同时在图像变换中引入正则化项来增强变换的平滑性。李巍[40]采用形状上下文描述子对局部区域特征进行描述，提出Student’s-T分布混合模型作为变换模型，实现红外与可见光图像配准。
针对非线性变换降低了变换模型的泛化能力，增加计算复杂度等问题，Min等人[41]提出了一种增强仿射变换（Enhanced affine transformation, EAT）的非刚性红外和可见光图像配准。根据局部特征估计出由全局变形构造的最优EAT模型，利用图像对之间的潜在对应关系，建立高斯场的目标函数。在另一项工作中[42]，Min等人将图像配准视为点集配准，如图 7所示，利用Canny边缘描述符从红外和可见光图像的边缘图中提取点集，通过改进的高斯加权形状上下文（Gaussian weighted shape context, GWSC）提取匹配点，结合增强仿射变换模型实现高斯场距离测量，从而描述红外图像与可见光图像之间全局变换的正则性。
![]()
目前提取特征点的算法相对比较成熟，并且种类较多，对于算法的选择也具有更多的可能性和灵活性。这也是基于特征点的提取方法能得到广泛应用的原因；由于不需要在像素级上对图像进行特征点的筛选与匹配，基于图像轮廓特征的配准方法计算量更小，但对于适用的图像受到了局限；采用特征区域方法能够有效抑制噪声，具有较好的稳定性，但获得的红外与可见光图像区域相似性较小，不易达到一致性，并且受尺度变换及图像角度等因素影响，获得相同区域难度大。当然，随着图像分割技术的不断发展，基于特征区域的配准方法也将得到更深入地研究及广泛地应用。
2.3 基于深度学习的红外与可见光图像配准方法
现阶段，由于基于深度学习的图像配准方法在红外与可见光中的应用相对有限，无法像基于区域与特征的红外与可见光图像配准一样进行细致分类。但一般而言，基于深度学习的图像配准主要利用深度网络对两幅图像进行相似性测度，通过反向传播寻找最优相似性。在红外与可见光图像对放入网络之前的预处理阶段，部分研究人员采用传统算子或生成对抗网络的跨模态映射对可见光图像进行梯度映射转为红外图像以更好地提取特征。
2.3.1 基于卷积神经网络的相似性测度模型
Zhao等人[43]利用超列结合卷积神经网络中的不同层特征，以匹配热图像和可见光图像中的关键点。同时，该方法利用空间几何约束进行配准图像的相似性测度，其精度较传统的特征点检测方法有所提高。图 8为Wei等人提出的一种利用卷积神经网络的梯度引导多光谱图像的配准网络RegiNet[44]，该网络是一个端到端网络，它使用目标图像和参考图像的梯度图作为输入，同时生成配准图像作为输出。RegiNet进行多尺度特征提取，以考虑不同大小的特征[44]。在配准放入配准网络前，利用Sobel算子对可见光图像进行梯度映射生成相应红外图像，RegiNet分别对参考图像和浮动图像的梯度映射进行编码，然后将它们连接起来以配准目标图像。同时，在训练过程中增加了边缘信息的权重提高了配准性能。在这些方法中，配准对要么是相同的图像谱，要么差异小。多种深度网络模型在红外与可见光图像配准中的尝试，使得利用卷积神经网络提取红外与可见光图像对中的潜在共同特征成为了可能。
2.3.2 基于生成对抗网络的图像配准
生成对抗网络（Generative adversarial network, GAN）因其可实现跨域图像映射被应用到红外与可见光图像配准中，生成器实现可见光图像到红外图像的映射，判别器模块判断配准后图像与原图像的相似度、图像是否足够逼真等。基于GAN的变换参数预测框架如图 9所示。
Wang等人提出了一种用于红外与可见光图像配准的二阶端变压器对抗网络TAN[45]。图 10为Wang等人采用的配准框架及部分实验结果，在第一阶段利用条件生成对抗网络（cGAN）学习从可见光图像中得到的红外图像和映射的红外图像之间的从粗到细的变换；在第二阶段利用“Flownet”网络和采样器应用红外图像与可见光图像对，得到精细的对齐红外图像，即扭曲图像；最后利用判别器网络判断扭曲图像是否足够逼真，利用对抗性较好地实现了红外图像与可见光图像的高精度配准。
![]()
图 10 变压器对抗网络（TAN）的红外与可见光图像配准框架及部分实验结果：变压器对抗网络框架(a)与配准结果(b)[45]Figure 10. Infrared and visible image registration framework using transformer adversarial network (TAN) and some experimental results: (a) The framework of the proposed Transformer Adversarial Network and (b) registration results of TAN[45]Kumari等人[46]同样利用具有空间变压器模块的生成对抗网络实现了红外与可见光图像的配准，对抗性损失迫使生成器输出一个类似红外的图像与原红外图像放入判别器中判断生成器输出的类似红外的图像是否足够逼真。Mao等人[47]则利用迁移学习的特点，在图像输入对抗子网络之前，使用并行的卷积自动编码器在可见光分支和红外分支两个图像域重建图像，以此提高特征匹配的性能。杨冰超等人[48]选择利用GAN的模态转换能力从红外图像中生成伪红外图像，使用SURF算法结合PIIFD特征描述子提取生成图像特征点，实现特征描述。
红外图像和可见光图像所表达的光学特征、几何特征和空间位置有很大不同[49]。难以使用卷积神经网络（Convolutional neural network, CNN）获得两个或多个点之间的空间关系。基于生成对抗网络的配准方法能够完成可见光到红外图像的映射，但也需要加入传统利用传统的SIFT、SURF、PIIFD等特征点提取算子实现特征描述。
3. 红外与可见光图像配准的应用
红外图像可在全天候与昼夜条件下根据辐射差异将探测目标与背景区分开来，而可见光图像可以提供高空间分辨率和高清晰度纹理细节。作为图像融合的必要前提之一，红外与可见光图像配准在众多领域中已得到诸多应用。
电力设备作为电力系统的主设备，时常处于高电压、高温的工作状态与日晒雨淋的恶劣环境中，导致其容易产生故障。只依靠可见光图像监测无法统计热量信息，而红外图像虽然能够依靠物体热信息探测目标的热量不寻常点，但在细节纹理上不够突出。实践证明将红外图像与可见光图像配准技术应用到电力设备在线监测系统中，可以在实现电力设备热像显示的同时实现其精确定位，满足电力系统的实时在线监测需求，也提高了对于故障点检测的精确度，保障电力设备安全及供电可靠性[50-51]。
在医学领域中，将热成像技术应用于骨伤与关节疾病、脑梗等脑部疾病、乳腺癌等肿瘤癌症的早期诊断等医学领域中，能够通过体温的变化显示出人体某处可能出现的病灶。根据患者红外图、CT图像、MRI图像等多模态图像进行配准对齐，有助于确定病灶区域，同时，对不同时间段的同一人体区域图像进行配准可以对疾病诊断、手术规划、术后恢复情况等做出细致分析。通过对多模态医学图像配准技术的研究，能够推动现代临床医学技术的进步[52]。
卫星、无人机等空中摄影技术的更新以及可见光传感器的发展促进了多模态图像配准技术在遥感图像中的应用。如根据卫星热成像图与可见光图的匹配结果分析某一区域的气象；在农林业中利用热成像反应植物温度、可见光图像能够对应到具体植株部位的特点对植物进行水分胁迫监测、病毒感染部位分析、生长状况监测；通过对获得的红外与可见光遥感图像进行配准能够实现侦察、跟踪以及军事目标的精确打击[53]。
红外与可见光图像配准技术还应用于材料力学中以研究力学性质、目标物运动跟踪、道路与车辆的场景分类、人脸识别、自动驾驶领域中辅助驾驶等众多领域。
4. 结束语
发展到目前的红外与可见光配准技术已覆盖电力、军事、辅助驾驶与人脸识别等领域。虽然红外与可见光图像的配准算法有很多，但是在不同的应用场景下具有不同的应用需求，如电力系统在线监测领域对图像的实时性要求较高而医学领域对图像的配准精度要求较高等。因此目前还没有一种全面的图像配准算法能够囊括所有的应用场景。针对未来红外与可见光图像配准算法的发展，可以从以下几个方面进行改进以提高图像的配准效率：①对于基于区域的图像配准算法可以在改善相似度量函数、提出更有效的变换域算法等方面进行改进。②对于基于特征的图像配准算法可以在改善图像预处理过程、对传统的描述算子进行降维、设计更精确的错配消除算法等方面进行改进；③随着深度学习在图像配准领域的不断研究，有望实现利用深度网络更好地提取红外与可见光图像的几何特征，从而使深度学习的图像配准方法在红外与和可见光领域得到更好的应用。
-
![]()
图 1 本文提出的瞳孔识别算法示意图
Figure 1. Schematic diagram of the infrared pupil recognition algorithm proposed in this article
![]()
图 3 本文所提算法的网络模型与参数说明
Figure 3. The network model and parameter description of the proposed algorithm in this article
![]()
图 4 瞳孔图像数据集人工扩增示意图
Figure 4. Schematic diagram of artificial augmentation of pupil image data set
![]()
图 6 本文方法在部分图像上的检测结果
Figure 6. The detection results of the method in this paper on some images
表 1 瞳孔数据集C的划分
Table 1 The division of pupil data set C
Diopter grade Initial number of samples Number of
samples after
amplificationTraining samples Validation
samplesR1 120 2000 1600 400 R1 780 5000 4000 1000 R3 300 4000 3200 800 
下载: 导出CSV
表 2 实验参数设置
Table 2 Experimental parameter settings
Parameter Parameter value Training image size/pixel 416×416 Number of iterations 9000 GPU quantity 1 IOU 0.6 The initial learning rate of
the previous stage0.001 The initial learning rate of
the latter stage0.0001
下载: 导出CSV
表 3 不同算法数据对比
Table 3 Data of different algorithms
Algorithm model Precision/% Recall/% Time/ms F1-score/% SSD 82.5 84.7 20.3 84.7 RetinaNet 84.7 82.4 32.6 82.4 Faster R-CNN 86.8 88.9 109.6 88.9 Our algorithm 91.6 90.5 22.3 90.5
下载: 导出CSV
表 4 传统算法数据统计
Table 4 Statistics of traditional algorithms
Algorithm model Accuracy/% Time/ms Traditional algorithm 71.5 130
下载: 导出CSV
表 5 本文算法得出的分类混淆矩阵
Table 5 The classification confusion matrix obtained by the algorithm in this paper
R1 R2 R3 R1 19 1 0 R2 1 17 2 R3 0 1 19
下载: 导出CSV
-
[1] 薛烽, 李湘宁. 一种基于图像处理的屈光度测量方法[J]. 光电工程, 2009, 36(8): 62-66, 74. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC200908017.htm XUE Feng, LI Xiangning. A method of diopter measurement based on image processing[J]. Photoelectric Engineering, 2009, 36(8): 62-66, 74. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC200908017.htm
[2] 胡志轩. 基于红外图像的眼视力屈光度检测系统[D]. 武汉: 华中师范大学, 2018. HU Zhixuan. An Eye Vision Diopter Detection System Based On Infrared Image[D]. Wuhan: Center China Normal University, 2018.
[3] 谢娟英, 侯琦, 史颖欢, 等. 蝴蝶种类自动识别研究[J]. 计算机研究与发展, 2018, 55(8): 1609-1618. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201808003.htm XIE Juanying, HOU Qi, SHI Yinghuan, et al. Research on automatic recognition of butterfly species[J]. Computer Research and Development, 2018, 55(8): 1609-1618. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201808003.htm
[4] Redmon J, Divvala S, Girshick R, et al. You only look once: unified real-time object detection[C]//Proceedings of the Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[5] Kaur P, Khehra B S, Pharwaha A. Deep transfer learning based multi way feature pyramid network for object detection in images[J]. Mathematical Problems in Engineering, 2021, 2021: 1-13.
[6] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C]//IEEE International Conference on Computer Vision, 2015: 5119-5127.
[7] 刘智, 黄江涛, 冯欣. 构建多尺度深度卷积神经网络行为识别模型[J]. 光学精密工程, 2017, 25(3): 799-805. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703035.htm LIU Zhi, HUANG Jiangtao, FENG Xin. Building a multi-scale deep convolutional neural network behavior recognition model[J]. Optics and Precision Engineering, 2017, 25(3): 799-805. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703035.htm
[8] 王娟, 刘嘉润, 李瑞瑞. 基于深度学习的红外相机视力检测算法[J]. 电子测量与仪器学报, 2019, 33(11): 36-43. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201911005.htm WANG Juan, LIU Jiarun, LI Ruirui. Infrared camera vision detection algorithm based on deep learning[J]. Journal of Electronic Measurement and Instrument, 2019, 33(11): 36-43. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201911005.htm
[9] LIU Y P, JI X X, PEI S T, et al. Research on automatic location and recognition of insulators in substation based on YOLOv3[J]. High Voltage, 2020, 5(1): 62-68. DOI: 10.1049/hve.2019.0091
[10] Murugan A, Nair S, Kumar K. Detection of skin cancer using SVM, random forest and KNN classifiers[J]. Journal of Medical Systems, 2019, 43(8): 683-686.
[11] ZHU S G, DU J P, REN N, et al. Hierarchical-Based object detection with improved locality sparse coding[J]. Chinese Journal of Electronics, 2016, 25(2): 290-295. DOI: 10.1049/cje.2016.03.015
[12] 温江涛, 王涛, 孙洁娣, 等. 基于深度迁移学习的复杂环境下油气管道周界入侵事件识别[J]. 仪器仪表学报, 2019, 40(8): 12-19. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201908002.htm WEN Jiangtao, WANG Tao, SUN Jiedi, et al. Intrusion event identification of oil and gas pipeline perimeter in complex environment based on deep migration learning[J]. Chinese Journal of Scientific Instrument, 2019, 40(8): 12-19. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201908002.htm
[13] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[14] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//Proceedings of European Conference on Computer Vision, 2016: 21-37.
-
期刊类型引用(1)
1. 赵雷磊，贺伟，张森，高凯悦，刘丽娜，张坤钰. 脉冲激光近感探测烟雾回波特性仿真研究. 红外技术. 2023(08): 863-868 . 
本站查看
其他类型引用(2)
计量
- 文章访问数: 153
- HTML全文浏览量: 43
- PDF下载量: 31
- 被引次数: 3
