Automotive Infrared and Visible Light Image Registration Method
-
摘要:
为了提高车辆视觉感知能力，针对交通场景运用提出一种改进的轮廓角方向（contour angle orientation，CAO）算法用于实现红外与可见光图像配准。通过模拟不同的交通场景，对成熟算法进行性能检测对比，选出CAO算法这一优势算法，并对其粗匹配参数和图像预处理图像缩放程序做了改进。实验表明，改进后的CAO算法细匹配更精准，马赛克拼接图拼接处衔接更加自然，线条更加顺滑，效果更好。与原来CAO算法相比，改进后的算法均方根误差值RMSE下降3.29%，查准率Precision提高2.13%，平均运算耗时减少0.11 s，在配准精度和配准实时性方面均证明了算法的改进效果。
Abstract:To enhance the visual perception of vehicles, an improved contour angle orientation (CAO) algorithm is proposed for the registration of infrared and visible light images in traffic scenes. By simulating different traffic scenarios, a performance comparison was conducted among mature algorithms to select the superior CAO algorithm. Subsequently, improvements were made to the coarse matching parameters and image preprocessing scaling procedure. Experiments demonstrate that the refined CAO algorithm achieves more precise fine matching, thus resulting in mosaic stitching with smoother transitions and lines and yielding better results. Compared with the original CAO algorithm, the improved version reduces the RMSE value by 3.29%, increases the precision value by 2.13%, and decreases the average computation time by 0.11 s, thereby demonstrating improvements in both registration accuracy and real-time performance.
-
0. 引言
为了有效减少背景和动态噪声对弱小目标检测的影响，需要先期进行预处理工作，以增强弱小信号的提取能力。当前常用的预处理方式主要分为3种，背景建模法、图像奇异点分析法和基于机器学习的估计法。背景建模法主要是采用背景估计算法来预测图像的背景成分，紧接着将估计出的背景图与原始图像作差分运算，经过上述处理后获取的差分图像仅包含有目标和少量噪点，达到去除大部分背景干扰的目的。这类算法包括二维最小均方（Two Dimensional Least Mean Squre，TDLMS）[1-2]滤波，改进Top-Hat[3]和双边滤波[4]等。图像奇异点分析法是当目标经过图像时会对图像原有的背景特性造成“灰度扰动”，通过寻找“灰度扰动”所形成的“奇异性”来实现图像预处理，如严高师等人通过建立图像邻域区域的奇异性表征函数来计算目标与背景不同组分的奇异差异，实现目标与背景的分离[5]；连可等人通过计算邻域局部灰度极大值来寻找图像中奇异点，并将灰度极大值与预设阈值进行比较，达到检测目标的目的[6]。上述的背景建模法和奇异点分析法对于平稳变化或是静止的背景，检测效果较好，但对于动态变化的背景，由于目标受外场环境的干扰，导致虚警率较高，检测效果不好。为提升动态场景下的目标检测能力，研究学者借助于机器学习的估计法从场景中获取数据对模型进行训练，这类方法主要利用一些数学模型将目标检测问题转化为模式分类问题，主要包括主成分分析法[7]、混合高斯模型[8]、低秩表示法[9]、红外图像块（Infrared patch image，IPI）模型[10]等。如Oliver等人提出的主成分分析法，先利用PCA来获取训练数据的特征向量，然后将测试数据投影到特性向量中获取背景成分，实现最终目标的检测，当场景随着光照的变化引入较多动态成分时，检测效果不佳；Bouwmans等人提出混合高斯模型，该算法需从场景数据中获取训练样本来估计模型的参数，当受到噪声干扰或光照变化快时，模型参数难以适应动态背景估计；低秩表示法和红外图像块模型需要获取场景数据进行参数训练，当场景发生变化时，预先训练的参数难以应对动态场景的变化，使得检测结果中具有较多的噪点，加上远距离成像，目标被各种噪声杂波淹没，图像中目标的形状和纹理特征并不明显，难以形成有效的特征来支撑对模型的训练，这增大了构建训练模型的难度。
针对上述检测方法存在的问题，文中提出了改进时空滤波的弱小目标检测方法。首先考虑到各向异性滤波方法在面临动态场景具有良好地检测结果[11]，将其引入文中，并对其进行改进，文献[12]仅利用空域范围内的4个不同方向的梯度差来构建扩散函数，并求取4个方向的均值作为差分结果，这样处理导致扩散函数难以区分边缘轮廓区与目标的差异，导致差分图中难以去除这部分边缘轮廓区，文中深入分析图像各个组分在空域4个方向的梯度差异，通过构建改进各向异性差分滤波来获取差分滤波结果，这样将极大程度地保留图像中的目标信号；其次，经过上述差分滤波后，仅有效保留目标信号，为进一步增强目标信号，提出了一种结合时空邻域块的能量增强算法，该算法采用像元块的邻域信息来建立一种新的结合时空信息的能量评价模型，以弥补高阶累积量仅利用单个像元点进行能量增强的不足，提升了弱小信号的检测能力。
1. 改进各向异性空间滤波
图像一般由3部分构成，即背景+目标+非平稳边缘轮廓区（噪声）。从图 1中分析发现，图像中不同组分在不同方向的梯度差异较明显，背景成分的中心块与4个临近方向的梯度差异较小，目标成分中4个方向的梯度较大，边缘轮廓部分中处于平稳区域到非平稳区域的过渡地带的方向梯度差异较大，其余方向梯度差异较小。因此可结合图像不同组分的差异，对图像进行差别化处理，可有效保留目标成分。
![]()
图 1 图像中不同组分的梯度差异Figure 1. The gradient difference of different components in the image为了获取图像中的目标信号，利用文献[12]提出的各向异性扩散函数来进行滤波处理，具体公式如下：
$$ \left\{ \begin{array}{l} {c_1}(\nabla f) = 1 - {{\text{e}}^{ - {{(\nabla f/A)}^2}}} \\ {c_2}(\nabla f) = 1 - \frac{1}{{1 + {{(\nabla f/A)}^2}}} \\ \end{array} \right. $$ (1) 式中：∇f为图像中不同像元位置的梯度；A为常数，一般取100；c1(⋅)和c2(⋅)为两个不同的扩散函数。
文中通过结合扩散函数来构建目标在4个不同方向的梯度差，实现差分滤波，具体表达式如下：
$$ \left\{ \begin{array}{l} \Delta {f_{\text{U}}} = f(i, j) - f(i - k, j) \\ \Delta {f_{\text{D}}} = f(i, j) - f(i + k, j) \\ \Delta {f_{\text{L}}} = f(i, j) - f(i, j - k) \\ \Delta {f_{\text{R}}} = f(i, j) - f(i, j + k) \\ \end{array} \right. $$ (2) 其中，f为输入图像；ΔfU，ΔfD，ΔfL和ΔfR是指以f(i, j)为中心的上、下、左、右4个不同像元的梯度差；k是像元移动的步长。根据4个不同方向的梯度差来建立各向异性滤波算法，具体如下：
$$ \begin{array}{l} f'(i, j) = \frac{1}{4}\left( {c(\Delta {f_{\text{U}}}) \times \Delta {f_{\text{U}}} + c(\Delta {f_{\text{D}}}) \times \Delta {f_{\text{D}}}} \right. \\ \begin{array}{*{20}{c}} {}&{}&{}&{\left. { + c(\Delta {f_{\text{L}}}) \times \Delta {f_{\text{L}}} + c(\Delta {f_{\text{R}}}) \times \Delta {f_{\text{R}}}} \right)} \end{array} \\ \end{array} $$ (3) 式中：(i, j)表示像元点的坐标位置；f ′(i, j)为滤波后的结果。
分析发现，文献[12]的各向异性扩散函数仅采用单个像元的信息来构建4个方向的梯度差异，将导致空域范围内的信息利用不够充分，难以区别目标点和噪声点；同时仅简单地利用4个不同方向的均值作为滤波后的结果，当图像位于非平稳边缘轮廓区域时，4个不同方向中至少有两个方向的扩散系数较大，如仅简单地计算4个方向的均值，致使位于目标区域中的像元和非平稳轮廓区域中的像元扩散结果值差别不明显，差分滤波后将难以去除非平稳边缘轮廓区，导致差分图中留存有大片的边缘噪点，对后续分割提取目标点造成很大的干扰。为了减少虚假噪点对弱小目标检测的影响，本文针对文献[12]的各向异性滤波算法的不足，提出了相应的改进思路：首先采用空域范围内的梯度块来构建4个方向的梯度差，进而依据图像各个组分的梯度差异来建立4个方向的扩散函数，并通过构建4个方向的最小优化函数来优选扩散函数值最小的两个方向作均值处理后，获取最终的滤波结果，上述处理将很好地去除图像的背景和非平稳边缘轮廓区，极大限度地保留目标成分。目标在4个不同方向的梯度差，如下式：
$$ \left\{ \begin{array}{l} \Delta {F_{\text{U}}} = \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m, y + n, t)} } - \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m - k, y + n, t)} } \\ \Delta {F_{\text{D}}} = \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m, y + n, t)} } - \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m + k, y + n, t)} } \\ \Delta {F_{\text{L}}} = \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m, y + n, t)} } - \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m, y + n - k, t)} } \\ \Delta {F_{\text{R}}} = \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m, y + n, t)} } - \frac{1}{{L*L}}\sum\limits_{m = - {\text{fix}}(L/2)}^{m = {\text{fix}}(L/2)} {\sum\limits_{n = - {\text{fix}}(L/2)}^{n = {\text{fix}}(L/2)} {f(x + m, y + n + k, t)} } \\ \end{array} \right. $$ (4) 式中：ΔFU，ΔFD，ΔFL和ΔFR是指以中心块为中心的上、下、左和右4个方向图像块的梯度差；L×L为空域的范围大小；m和n为空域L×L的坐标位置；fix()为邻近取整函数。
根据上述分析，改进各向异性差分滤波表达式如下：
$$ \left\{ \begin{array}{l}{\mathrm{min}}_{1}=\mathrm{min}\{{c}_{1}(\Delta {F}_{\text{U}})\cdot \Delta {F}_{\text{U}}, {c}_{1}(\Delta {F}_{\text{D}})\cdot \Delta {F}_{\text{D}},\\ \begin{array}{cccc}& & & {c}_{1}(\Delta {F}_{\text{L}})\cdot \Delta {F}_{\text{L}}, {c}_{1}(\Delta {F}_{\text{R}})\cdot \Delta {F}_{\text{R}}\}\end{array}\\ {\mathrm{min}}_{2}=\mathrm{min}\{{c}_{1}(\Delta {F}_{\text{U}})\cdot \Delta {F}_{\text{U}}, {c}_{1}(\Delta {F}_{\text{D}})\cdot \Delta {F}_{\text{D}}, \\ \begin{array}{cccc}& & & {c}_{1}(\Delta {F}_{\text{L}})\cdot \Delta {F}_{\text{L}}, {c}_{1}(\Delta {F}_{\text{R}})\cdot \Delta F|\text{not}\begin{array}{c}{\mathrm{min}}_{1}\end{array}\}\end{array}\\ {f}^{\prime }(i, j)=\frac{1}{2}\times \left[{\mathrm{min}}_{1}+{\mathrm{min}}_{2}\right]\end{array}\right. $$ (5) 式中：min1和min2分别是4个方向中扩散函数值最小的两个参数，采用这两个参数的均值对图像进行差分滤波，可有效去除图像的背景区和边缘轮廓区。
2. 结合时空邻域块的能量增强算法
文献[13]指出，序列图像经过差分滤波后，从时间域上来分析经过差分处理后获取的序列差分图可看作是零均值的高斯过程，这样可借助于高阶累积量理论将差分图中检测弱小信号的问题变为从高斯噪声中分解出非高斯信号成分，以实现目标信号与噪声的分离[1]。因此，可借助于高阶累积量来实现弱信号的检测。文中依据高阶累积量理论对差分图构建相应的目标与噪声二元假设函数，具体如下:
$$ \left\{ \begin{array}{l} {H_0}:f'(x, y, t) = N(x, y, t) \\ {H_1}:f'(x, y, t) = T(x, y, t) + N(x, y, t) \\ \end{array} \right. $$ (6) 式中：f ′(x, y, t)为第t帧差分滤波后获取的图像；N(x, y, t)是高斯噪声，其中T(x, y, t)与N(x, y, t)相互独立。具体的3阶累积量表达式如下：
$$ \begin{array}{l} {c_{3F}}({\tau _1}, {\tau _2}) = E\left\{ {f'(x, y, t) \times f'(x, y, t + {\tau _1}) \times f'(x, y, t + {\tau _2})} \right\} \\ \begin{array}{*{20}{c}} {}&{}&{}& = \end{array}{c_{3T}}({\tau _1}, {\tau _2}) + {c_{3N}}({\tau _1}, {\tau _2}) \\ \end{array} $$ (7) 由于N(x, y, t)为高斯噪声，依据高阶累积量理论，零均值的高阶累积量（3阶以上）恒为零，固有c3N(τ1, τ2)等于0，因此可对上式进行简化，具体如下：
$$ {c_{3F}}({\tau _1}, {\tau _2}) = {c_{3T}}({\tau _1}, {\tau _2}) $$ (8) 在实际应用中，为有效实现目标的检测，定义了3阶累积量的判断准则，具体公式为：
$$ \left|{c}_{3F}(t)\right|=\frac{1}{M}{\displaystyle \sum _{t=1}^{M}[{f}^{\prime }(x, y, t)}{\text{]}}^{\text{3}}=\left\{ \begin{array}{l} < \lambda ,\text{No Target}\\ \ge \lambda ,\text{Target}\end{array} \right.$$ (9) 式中：M为累加的帧数；c3F(t)为第t帧三阶累积后的能量大小；λ为阈值。
文献[13]的高阶累积量仅利用像元点(x, y)在时间域上的信息来构建判断准则，由于只依靠了像元的时域信息，这将极大地削弱弱小信号的增强效果，因此文中构建了结合时空邻域块的增强能量模型，具体表达式如下：
$$ \left\{ \begin{array}{l}{F}^{\prime }(t)=\frac{1}{L*L}{\displaystyle \sum _{m=-\text{fix}(L/2)}^{m=\text{fix}(L/2)}{\displaystyle \sum _{n=-\text{fix}(L/2)}^{n=\text{fix}(L/2)}{f}^{\prime }(x+m, y+n, t)}}\\ \left|{{c}^{\prime }}_{3F}(t)\right|=\frac{1}{M}{\displaystyle \sum _{t=1}^{M}{[{F}^{\prime }(t)]}^{3}}=\left\{ \begin{array}{l} < \lambda ,\text{No Target}\\ \ge \lambda ,\text{Target}\end{array}\right.\end{array} \right.$$ (10) 式中：F′(t)为融合空域信息后获取的第t帧能量图像；c′3F(t)为第t帧结合时空邻域块信息的能量大小。
3. 结果与分析
在结果分析中，为了对比不同算法的差分滤波效果，文中采用目标平均灰度值（average grayscale value，AGV）与局部信噪比（local signal noise ratio，LSNR）[1]来对差分滤波效果进行评价，各个指标如式(11)：
$$ \left\{ \begin{array}{l} {\text{AGV}} = \frac{{\sum\limits_{(i, j) \in C({o_x}, {o_y})} {I(i, j)} }}{N} \\ {\text{LSNR}} = 10 \times \lg [({\mu _{\text{T}}} - {\mu _{\text{B}}})/{\sigma _{\text{B}}}] \\ \end{array} \right. $$ (11) 式中：(ox, oy)是中心像元所在的坐标位置；C(ox, oy)为目标块组成的坐标集合，其像元总个数为N；I(i, j)为像元(i, j)的灰度值；μT为目标区域的均值；μB为背景区域的均值；σB为背景区域的标准差。
3.1 滤波参数分析
对改进各项异性差分滤波结果有关联的指标为梯度步长k，文中取扩散函数中的常数A＝100，取公式(4)步长k＝(1, 5, 10, 15)时，分别获取对应的差分图像，并利用公式(11)的LSNR来计算差分图像中目标的局部信噪比，由此画出了梯度步长k与局部信噪比LSNR间的走势图，如图 2所示。依据图 2可知随着梯度步长k的增大，LSNR随之变大，当k＝5时，LSNR达到2.35，之后LSNR开始下降，从中可知两个图像块的梯度跟着梯度步长k的增大而越大，使得改进后的扩散系数值越大，越有利于保留目标信号，但随着梯度步长k的增大，到达一定限度后，图像块由目标区跨入边缘轮廓区，此时目标区和边缘轮廓区的梯度差异不大，扩散函数值较小，难以去除边缘轮廓噪声，导致差分图中噪声较多，目标局部信噪比较低。通过上述分析，实验中取k＝5。
3.2 滤波结果分析
文中选用3个场景的序列图像进行实验，其中场景1为目标点在动态变化的背景中运动，目标点由中部斜向上运行，再拐弯往下运动；场景2中为目标从右下角向左上角作直线运动；场景3为两个目标点分别作斜对角直线运动。具体的场景信息如表 1所示。接着将本文提出的改进各项异性差分滤波算法与文献[3]的改进Top-hat、文献[9]的LRR模型、文献[10]的IPI分解法和文献[12]的各向异性滤波进行比较，具体的结果见表 2。
表 1 序列图像信息Table 1. Information of sequence imagesImage sequence Frame length/frame Image size Target size 1 114 278×246 3×3 2 50 180×180 3×3 3 54 180×180 3×3 从表 2的两个指标可以看出，对于不同场景的图像，本文提出的差分滤波算法比其他的算法在保留目标信号AGV和LSNR方面较高。分析发现，AF（Anisotropic Filtering）算法由于仅是简单地求取4个方向的扩散函数作为差分滤波，难以区分目标与边缘轮廓的差异，导致差分图含有较多的边缘轮廓区，AGV和LSNR相较其他算法低；ITH（Improved Top Hat）算法利用不同尺度的结构元素，能很好地消除大部分背景对提取目标信号的影响，但其对于动态变化的背景，由于其结构元易受动态背景的干扰，导致差分图中含有较多的噪点；当背景中含有较多的边缘轮廓区时，这些强边缘轮廓区会破坏整个背景图像数据的低秩特性，其同样满足“稀疏”特征，导致LRR（Low Rank Representation）易将这些区域误判为虚警目标，降低目标的局部信噪比；IPI算法采用分块的思想划分图像，其目的是进一步约束图像块的低秩特性，但当图像块处于边缘轮廓区域时，图像块非零的奇异值个数较多，难以满足低秩特征，因此获取的差分图虚警率较高；本文提出的算法能有效抑制背景和边缘轮廓区，差分图中有效地保留了目标信号。
表 2 不同算法获取的背景建模结果Table 2. Results obtained by different algorithmsScene Evaluating indicator ITH LRR IPI AF Proposed method 1 AGV 16.44 32.44 44.88 14.57 58.89 LSNR/dB 2.61 2.26 2.77 2.10 3.38 2 AGV 26.89 27.67 30.22 22.78 48.56 LSNR/dB 2.68 2.62 2.59 2.39 3.27 3 AGV 17.33 33.56 34.89 17.18 72.44 LSNR/dB 2.79 3.11 3.23 2.39 3.20 4 AGV 21.33 22.78 28.33 17.63 73.67 LSNR/dB 2.27 2.87 2.92 2.70 3.24 5 AGV 24.89 25.11 27.44 20.71 97.00 LSNR/dB 2.23 2.49 2.62 2.56 3.14 3.3 增强结果分析
为了分析本文提出算法的增强结果，分别采用高阶累积量（Higher order cumulant，HOC）增强方法与本文提出的增强方法来对差分图像进行增强处理，并分别计算两种算法获取的AGV和LSNR，如表 3所示。本文提出的算法充分利用了像元的时间域和空间域的信息来增强目标信号，比高阶累积量获得更好的目标增强结果，AGV和LSNR分别达到225和12.67 dB。
表 3 两种算法的增强结果Table 3. Enhancement comparison of two algorithmsDifference image HOC Proposed method AGV LSNR/dB AGV LSNR/dB AGV LSNR/dB 72 3.20 102 5.75 225 12.67 3.4 检测结果分析
文中先采用改进的各项异性来获取差分图像，接着利用结合时空邻域块的增强能量模型对差分图像进行增强处理，最后采用双窗分割算法提取目标信号。为了本文算法的检测效果，选用3个处于动态变化的真实场景进行实验，并将本文算法与ITH、LRR、IPI和AF算法进行比较，3个场景不同算法的检测结果如图 3、图 4和图 5所示。
从3个场景看出，ITH算法易受结构元的影响，当选取结构元小于孤立噪点的尺寸时，导致差分图中含有较多的噪点，见图 3(b)、4(b)和5(b)；LRR算法易受动态非平稳背景的影响，这些非平稳背景由于是动态变化的，LRR易将这些区域误判为虚警目标，见图 3(c)、4(c)和5(c)；IPI算法将图像划分为不同的块，这样图像子块在其邻域范围内具有较强的相关性，有效地保留图像子块的低秩特性，但当图像块处于边缘轮廓区域时，图像子块的相关度降低，因此差分图难以去除边缘轮廓区的噪声，见图 3(d)、4(d)和5(d)；各向异性滤波由于仅是简单地求取4个方向的扩散函数的均值作为差分结果，导致差分结果图中难以区分边缘轮廓区和目标区域的差异，检测结果中留有较多的噪声，见图 3(e)、4(e)和5(e)；本文算法先采用改进的各向异性滤波去除大部分非平稳背景的干扰，紧接着采用结合时空邻域块的能量增强算法来增强目标信号，结果图中仅含有少量的噪声，见图 3(f)、4(f)和5(f)。
为进一步分析这些算法的性能，绘制了3个场景的ROC曲线，其中横轴为检测率Pd，纵轴为虚警率Pf。3个场景的ROC曲线如图 6所示。
从图 6三个场景的ROC曲线可看出，本文算法获取的检测率最好，其次是IPI和LRR，AF算法最低。分析发现，本文算法先利用改进的各项异性差分滤波算法来构建4个方向梯度块的扩散函数，依据扩散函数在4个方向梯度块的差异对图像进行差异化处理，通过构建4个方向的最小优化函数来优选扩散函数值最小的两个方向作均值处理后，获取最终的滤波结果，接着采用提出能量增强算法来充分利用像元块的时空域信息来构建能量的判别模型，去除图像噪声的同时有效检测目标信号，如在虚警率Pf＝0.032时，本文算法获取的检测率Pd大于90%，而其他算法均小于88%，见图 6(a)和6(b)；而对于动态且具有较多非平稳边缘轮廓的场景，由于边缘轮廓区会导致图像各个组分间的相关度降低，破坏了整个背景图像低秩特性，导致LRR算法检测率降低；IPI虽采用分块的思想，进一步约束邻域块的低秩特性，但当图像块处于边缘轮廓区域时，图像块非零的奇异值个数较多，获取的差分图虚警率较高；传统的ITH和AF也同样易受孤立噪点和边缘轮廓区的影响，这两类算法对于动态场景中，相比于其他算法，检测率较低，如在Pf＝0.04时，它们的检测率Pd都小于80%，而其他算法的检测率Pd都大于80%，见图 6(c)。
4. 总结
文中在深入分析图像各个组分在4个方向的梯度差异基础上，构建了利用4个方向梯度块的扩散滤波函数，同时通过构建4个方向的最小优化函数来优选扩散函数值最小的两个方向作均值处理后，作为最终的滤波结果，这样将极大程度地保留图像中的目标信号；进而为进一步增强目标信号，提出了一种结合时空邻域块的能量增强算法，该算法采用像元块的邻域信息来建立一种新的结合时空信息的能量判别模型，有效增强了弱小信号的能量。通过3个动态场景的实验表明，本文算法很好地剔除了大部分噪点干扰的同时有效保留了目标信号。
-
![]()
图 2 改进前后的粗匹配示意图
Figure 2. Schematic diagram of rough matching before and after improvement
![]()
图 3 交通场景分类图例：(a)~(e)分别是非机动车场景、行人场景、机动车场景、道路岔口场景、混合交通场景
Figure 3. Traffic scenario classification legend: (a) to (e) are respectively non-motor vehicle scene, pedestrian scene, motor vehicle scene, road fork scene, and mixed traffic scene
![]()
图 6 各场景图像配准融合结果：(a) 行人场景；(b) 非机动车场景；(c) 机动车场景；(d) 道路岔口场景；(e) 混合交通场景
Figure 6. Image registration fusion results of each scene: (a) Pedestrain scene; (b) Non-motorized vehicle scene; (c) Motorized vehicle scene (d) Road intersection scene; (e) Mixed traffic scene
![]()
图 7 五种算法在各场景中的RMSE值和precision值
注：PS为行人场景、NMVS非机动车场景、MVS为机动车场景、RIS为道路岔口场景、MTS为混合交通场景
Figure 7. RMSE values and precision values of the five algorithms in each scenario
Note: PS is pedestrain scene; NMVS is non-motorized vehicle scene; MVS is motorized vehicle scene; RIS is road intersection scene; MTS is mixed traffic scene
![]()
图 10 边缘特征提取算法和改进前后CAO算法在复杂视角偏差组中性能表现
Figure 10. Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in complex angle of view deviation groups
![]()
图 11 边缘特征提取算法和改进前后CAO算法在水平偏差、纵向偏差、无明显视角偏差组中性能表现
Figure 11. Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in horizontal deviation, longitudinal deviation and no obvious angle of view deviation groups
![]()
图 12 算法改进前后运行耗时对比
Figure 12. Comparison of running time before and after algorithm improvement
表 1 按场景分类图像对数量
Table 1 Classifies the number of image pairs by scene
Scene classification Number of image pairs Pedestrian 5 Non-motorized vehicle 2 Motorized vehicle 2 Road intersection 5 Mixed traffic 6 
下载: 导出CSV
表 2 按视角偏差分类图像对数量
Table 2 Categorizes the number of image pairs according to viewpoint deviation
Classification of angle of view deviation Horizontal angle of view deviation Vertical angle of view deviation Complex angle of view deviation No significant angle of view deviation Number of image pairs 7 2 5 6
下载: 导出CSV
表 3 实验器材信息
Table 3 Information of the experimental equipment
Experimental equipment Related parameters Visible light camera Hikvision camera, resolution: 2048×1536, Focal length: 12 mm Infrared camera FLIR infrared camera, resolution: 640×480, Focal length: 16 mm Test platform AMD 5600X processor, 16 G memory
下载: 导出CSV
表 4 边缘特征提取算法和改进前后CAO算法的RMSE平均值与Precision平均值
Table 4 RMSE and precision average values of edge feature extraction algorithm and CAO algorithm before and after improvement
EFE CAO Improved CAO RMSE mean value 10.70 7.90 7.64 Precision mean value 0.70 0.94 0.96
下载: 导出CSV
表 5 算法改进前后在各视角偏移中的平均运行耗时
Table 5 The average running time of each angle of view offset before and after algorithm improvement
Evaluation metrics Comparison algorithm Horizontal deviation Longitudinal deviation Complex deviation No deviation Average runtime/s Original algorithm 4.58 4.79 4.63 5.14 Improved algorithm 4.50 4.24 4.59 5.07
下载: 导出CSV
-
[1] HONG R, XIANG C L, LIU H, et al. Visualizing the knowledge structure and research evolution of infrared detection technology studies[J]. Information, 2019, 10(7): 227. DOI: 10.3390/info10070227
[2] LI S T, KANG X D, FANG L Y, et al. Pixel-level image fusion: a survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004
[3] MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[4] Castillo J C, Fernandez-Caballero A, Serrano-Cuerda J, et al. Smart environment architecture for robust people detection by infrared and visible video fusion[J]. Journal of Ambient Intelligence and Humanized Computing, 2017, 8(2): 223-237. DOI: 10.1007/s12652-016-0429-5
[5] Fendri E, Boukhriss R R, Hammami M. Fusion of thermal infrared and visible spectra for robust moving object detection[J]. Pattern Analysis and Applications, 2017, 20(4): 907-926. DOI: 10.1007/s10044-017-0621-z
[6] Apatean A, Rogozan A, Bensrhair A. Visible-infrared fusion schemes for road obstacle classification[J]. Transportation Research Part C-Emerging Technologies, 2013, 35: 180-192. DOI: 10.1016/j.trc.2013.07.003
[7] DONG Yakui, FEI Cheng, ZHAO Guopeng, et al. Registration method for infrared and visible image of sea surface vessels based on contour feature[J]. Heliyon, 2023, 9(3): 14166-14176. DOI: 10.1016/j.heliyon.2023.e14166
[8] Kumar K S, Kavitha G, Subramanian R, et al. MATLAB-A Ubiquitous Tool for the Practical Engineer[M]. Croatia: InTech, 2011: 307-326.
[9] 李大华, 郑文鹏, 李璇, 等. 基于局部归一化的电力设备红外与可见光图像配准[J/OL]. 激光与光电子学进展, 2025, 62(6): 0637007. LI Dahua, ZHENG Wengpeng, LI Xuan, et al. Infrared and visible image registration of power equipment based on local normalization[J]. Laser & Optoelectronics Progress, 2025, 62(6) : 0637007.
[10] 程国华, 王阿川, 陈舒畅, 等. 多源遥感影像高精度自动配准方法研究[J]. 液晶与显示, 2016, 31(6): 604-612. CHEN Guohua, WANG Achuan, CHEN Shuchang, et al. High accuracy-automatic registration method research on multi-source remote sensing image[J]. Liquid Crystals and Displays, 2016, 31(6): 604-612.
[11] 谭东杰, 张安. 方向相关与互信息加权组合多模图像配准方法[J]. 红外与激光工程, 2013, 42(3): 836-841. DOI: 10.3969/j.issn.1007-2276.2013.03.067 TAN Dongjie, ZHANG an, Multi-model image registration based on weighted orientation correlation and mutual information[J]. Infrared and Laser Engineering, 2013, 42(3): 836-841. DOI: 10.3969/j.issn.1007-2276.2013.03.067
[12] 李云红, 刘宇栋, 苏雪平, 等. 红外与可见光图像配准技术研究综述[J]. 红外技术, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7 LI Yunhong, LIU Yudong, SU Xueping, et al. Review of infrared and visible image registration[J]. Infrared Technology, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7
[13] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727. WU Yanhai, ZHANG Cheng, ZHANG Ye. Image registration based on gradient and regional mutual information[J]. Journal of Guangxi University(Natural Science Edition), 2017, 42(2): 720-727.
[14] 孙凤杰, 赵孟丹, 刘威, 等. 基于方向场的输电线路间隔棒匹配定位算法[J]. 中国电机工程学报, 2014, 34(1): 206-213. SUN Fengjie, ZHAO Mengdan, LIU Wei, et al. Spacer matching and localization algorithm for transmission line video images based on directional field[J]. Proceedings of the CSEE, 2014, 34(1): 206-213.
[15] 刘刚, 周珩, 梁晓庚, 等. 非下采样轮廓波域红外与可见光图像配准算法[J]. 计算机科学, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061 LIU Gang, ZHOU Heng, LIANG Xiaogeng, et al. Image registration algorithm for infrared and visible light based on non-subsampled contourlet transform[J]. Computer Science, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061
[16] MA J, JIANG X, FAN A, et al. Image matching from handcrafted to deep features: a survey[J]. International Journal of Computer Vision, 2021, 129(1): 23-79. DOI: 10.1007/s11263-020-01359-2
[17] MOREL J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469. DOI: 10.1137/080732730
[18] YANG N, YANG Y, LI P, et al. Research on infrared and visible image registration of substation equipment based on multi-scale Retinex and ASIFT features[C]//Sixth International Workshop on Pattern Recognition. International Society for Optics and Photonics, 2021, 11913: 1191303.
[19] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[C]//European Conference on Computer Vision(ECCV), 2006, 3951(1): 404-417.
[20] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2021, 36(4): 2559-2569. DOI: 10.1109/TPWRD.2020.3011962
[21] 李云红, 罗雪敏, 苏雪平, 等. 基于改进曲率尺度空间算法的电力设备红外与可见光图像配准[J]. 激光与光电子学进展, 2022, 59(12): 138-145. LI Yunhong, LUO Xuemin, SU Xueping, et al. Registration method for power equipment infrared and visible images based on improved curvature scale space algorithm[J]. Progress in Laser and Optoelectronics, 2022, 59(12): 138-145.
[22] CHENG T, GU J, ZHANG X, et al. Multimodal image registration for power equipment using clifford algebraic geometric invariance[J]. Energy Reports, 2022, 8: 1078-1086. DOI: 10.1016/j.egyr.2022.02.192
[23] 陈亮, 周孟哲, 陈禾. 一种结合边缘区域和互相关的图像配准方法[J]. 北京理工大学学报, 2016, 36(3): 320-325. CHEN Liang, ZHOU Mengzhe, CHEN He, A method for image registration combined by edge region and cross correlation[J]. Transactions of Beijing Institute of Technology, 2016, 36(3): 320-325.
[24] 付添, 邓长征, 韩欣月, 等. 基于深度学习的电力设备红外与可见光图像配准[J]. 红外技术, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a FU Tian, DENG Changzheng, HAN Xinyue, et al. Infrared and visible image registration for power equipment based on deep learning[J]. Infrared Technology, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a
[25] 赵俊梅, 张利平. 复杂天气和环境下交通标志图像特征匹配技术的研究[J]. 车辆与动力技术, 2022(4): 38-43. ZHAO Junmin, ZHANG Liping. Research on image feature matching technology of traffic signs in complex weather and environment[J]. Vehicle & Power Technology, 2022(4): 38-43.
[26] 姜骞, 刘亚东, 方健, 等. 基于轮廓特征的电力设备红外和可见光图像配准方法[J]. 仪器仪表学报, 2020, 41(11): 252-260. JIANG Qian, LIU Yadong, FANG Jian, et al. Registration method for power equipment infrared and visible images based on contour feature[J]. Chinese Journal of Scientific Instrument, 2020, 41(11): 252-260.
[27] 徐伯庆, 孙国强, 陈离. 数字图像缩放的原理与硬件实现[J]. 上海理工大学学报, 2002, 24(3): 222-225. DOI: 10.3969/j.issn.1007-6735.2002.03.005 XU Boqing, SUN Guoqiang, CHEN Li. The principle and hardware implementation of digital image scaling[J]. Journal of University of Shanghai for Science and Technology, 2002, 24(3): 222-225. DOI: 10.3969/j.issn.1007-6735.2002.03.005
[28] 余先川, 吕中华, 胡丹. 遥感图像配准技术综述[J]. 光学精密工程, 2013, 21(11): 2960-2972. YU Xianchuan, LV Zhonghua, HU Dan. Review of remote sensing image registration techniques[J]. Optics and Precision Engineering, 2013, 21(11): 2960-2972.
[29] 陈勇, 皮德富, 周士源, 等. 基于小波变换的红外图像融合技术研究[J]. 红外与激光工程, 2001, 30(1): 3. CHEN Yong, PI Defu, ZHOU Shiyuan, et al. Study for infrared image fusion based on wavelet transform[J]. Infrared and Laser Engineering, 2001, 30(1): 3.
[30] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//International Conference on Computer Vision, 2011, 2564-2571(DOI: 10.1109/ICCV.2011.6126544).
-
期刊类型引用(1)
1. 焦晓杰. 基于时空域滤波的雾天舰船图像视觉传达方法. 舰船科学技术. 2023(03): 173-176 . 
百度学术
其他类型引用(2)
计量
- 文章访问数: 103
- HTML全文浏览量: 19
- PDF下载量: 37
- 被引次数: 3
