0.   引言

车载红外相机成像受车辆运动状态影响，车辆运动状态可分为行驶状态和怠速状态，行驶状态是车辆在道路上正常行驶的状态，该状态下红外相机的运动幅度较大，图像序列背景变化快，常见的稳像方法有：块匹配法^[1]、灰度投影法^[2]和特征点匹配法^[3]等；而车辆怠速状态是车辆启动后未行驶或等红绿灯时的状态等，该状态下由于发动机的震动和自然风等因素，相机的运动幅度小，视频图像的特点是有小角度的偏移和旋转且图像背景变换不大，传统的电子稳像算法都无法直接适用。

文献[4]提出的全景稳像算法能去除较大抖动，虽然可以通过预测当前轨迹点运动位置，基于该位置从全景图中抽取视频帧作为输出图像，达到稳像的目的，但是算法处理时间较长，实时性差。文献[5]的高精度全景补偿电子稳像算法，通过全景补偿的方法进行稳像，但是SURF（Speeded Up Robust Features）算法复杂度较高，特征量的提取与匹配非常依赖于主方向，易造成偏差，一般采用Harris算法进行特征的提取。

基于以上问题，本文提出一种基于Harris图像拼接的全景稳像算法。通过分析Harris算法原理，对传统Harris算法进行改进优化，利用原始视频图像拼接成全景图像，在全景图像上对应固定区域进行剪裁，实现视频稳像。实验证明，本文算法可以有效去除小角度的偏移和旋转，能快速、准确地稳像。

1.   Harris角点检测原理

Harris角点检测算法是在一块窗口区域内寻找一个像素点，若该像素点向上下左右任意方向移动，其灰度值都变化较大，则该点即为要寻找的特征点。则像素点灰度变化函数为：

式中：u、v为x、y方向上的偏移量；w(x, y)为高斯函数；I(x, y)为原像素点(x, y)处灰度值；I(x+u, y+v)为偏移后的像素点灰度值，将I(x+u, y+v)进行泰勒公式展开为公式(2)，代入公式(1)中，灰度变化自相关函数为公式(3)：

式中：O(u², v²)为(u, v)的二阶无穷小项，忽略此项后可得到一个二项式函数表达式(4)：

式中：M如公式(5)所示，为Hessian矩阵。求解出Hessian矩阵的特征值(λ₁, λ₂)，通过两个特征值的大小可判断窗口所处的区域。矩阵的值det(μ)和迹trace(μ)如公式(6)所示：

角点响应函数表达式为：

式中：α为常量，一般取值范围为0.04≤α≤0.06，通过角点响应函数的值和设置的阈值threshold作比较，即可判断该点是否为角点，若大于或等于该设定的阈值则认为该点是角点：

2.   基于改进的Harris图像拼接算法

由于车载红外像机的帧率高，获取的原视频帧序列较多且相似性大，因此把连续几帧的图像拼接成为全景图，既能够减少待处理的视频帧，又不影响图像拼接的效果。本文先采用改进的Harris算法对图像进行角点检测，然后采用NCC与RANSAC结合的方法完成精确的配准，最后对图像进行融合，完成拼接过程，算法流程如图 1所示。

图  1  图像拼接算法流程

Figure  1.  Image Mosaic algorithm process

下载: 全尺寸图片 幻灯片

2.1   基于边缘提取的Harris角点检测算法

Harris算法是非常经典的角点检测算法，但还有一些不足：特征点的数量完全取决于单一的阈值设定，对复杂背景的图像进行角点检测，阈值过小容易出现伪角点，阈值过大不能很好检测出所有的角点；对噪声较为敏感，使得特征点提取不准确，影响匹配精度^[6]。针对Harris的这些不足，本文对Harris算法进行改进：

1）对原始图像采用Prewitt算子进行边缘提取，提取出图像中的车身以及背景等边缘信息，然后保存图像的边缘信息进行角点检测，有效避免在角点检测时噪声的影响且能更准确地检测出角点。

2）针对Harris算法单阈值设定的局限性，本文把图像平均分为左右两块区域，根据每块区域对比度的大小设置相应的阈值进行角点检测，解决了单阈值的局限性，这样既避免了因整幅图像灰度不均匀造成的角点漏检，又能缩减对图像处理的计算量。

2.2   图像配准

特征点匹配是把两帧图像中检测出的角点进行一一配对，匹配的准确率直接影响图像拼接的效果。本文采用归一化互相关匹配法NCC（normalized cross correlation）进行特征点的匹配，该算法是基于图像灰度信息来进行匹配。

以参考帧图像中的任意像素点(x, y)构建一个M×M大小的窗口，在待匹配帧图像中也构建一个M×M的窗口，然后对这两个窗口进行相似度测量，I₁、I₂分别为两帧图像中对应像素点的像素值，$ {\bar I_1} $、$ {\bar I_2} $分别为两个窗口中所有像素的平均像素值，则进行NCC匹配时，通过C_NCC的大小来判断两个窗口的相关度，进而确定两个像素点是否匹配，对应的计算公式为：

在进行图像配准后易出现错误匹配的点对，本文采用RANSAC算法剔除误匹配的点对。RANSAC算法是寻找一个单应性矩阵，该单应性矩阵是包含最多的匹配点对个数，单应性矩阵H计算公式为：

式中：(x, y)和(x′, y′)为两幅图像中对应匹配的特征点坐标；s为尺度参数；a₁₁、a₁₂、a₂₁、a₂₂为图像旋转量和尺度；a₁₃表示水平位移；a₂₃表示竖直位移；a₃₁、a₃₂分别表示水平和垂直方向的变形量，令a₃₃取值为1。

具体步骤为：从配对的样本数据集中随机抽取4组不共线的匹配点对，计算出单应性矩阵H的值；把其他点对代入该矩阵模型中，计算所有数据点对的个数与该模型的投影误差E，通过多次的迭代运算后，当投影误差最小时，则为最优模型。投影误差E计算公式为：

2.3   图像融合

完成了图像特征点的准确配对后，需要对几帧图像进行拼接融合，拼接成全景图像。拼接融合的难点是完成无缝拼接，使得拼接融合后的图像的亮度过渡显得自然真实。本文采用的是加权平均法，该算法实时性强、融合效果较好，且可以抑制图像中的噪声。加权平均法是对配准后两幅图像重叠区域的灰度值赋予不同的权重值，通过加权后计算平均值，获得融合结果，具体公式如下：

式中：I₁(x, y)和I₂(x, y)分别为待拼接图像(x, y)处的像素值；R₁、R₂为待拼接图像的坐标集合；I(x, y)为融合后的像素值；w₁、w₂为权重系数，满足w₁+w₂＝1，w₁和w₂都大于0。权值为$ {w_1} = \frac{{{x_2} - x}}{{{x_2} - {x_1}}} $，x₁、x₂为重叠区域边界的横坐标，x₁≤x≤x₂，由此可以实现重叠区域中的平滑过渡。

3.   图像补偿

拼接融合后的全景图像边界有黑边，出现未定义的图像区域，且全景图比原视频图像序列大，需要对全景图进行图像裁剪，既消除融合后的边缘瑕疵，又完成对原图像的补偿。

本文使用的是Sutherland-Cohen裁剪法，该算法采用编码的方法对线段进行快速判断，提高了算法的效率^[7]，算法的思想为：把整幅图像以3×3平分成9个区域，在每块区域分别用4位二进制码表示，把中间窗口作为剪裁后保留的窗口，在整个图像上的任意一条直线段AB，有3种情况：若AB完全在窗口内，则保留该条线段；若AB有一部分在窗口内，则保留窗口内的线段，舍弃窗口外的线段；若AB完全不在窗口内，则舍弃。对其他线段重复以上步骤，可完成裁剪。

4.   实验结果分析

实验采用相同的硬件和软件环境，硬件条件：CPU为Cortex-A53八核CPU，主频最高1.4 GHz；软件运行环境：运行系统为Ubuntu16.04，视频分辨率为640×480。

图 2为本文采用Prewitt、Sobel、Otsu等几种不同的算子对图像进行边缘提取的实验图。

图  2  实验效果对比图

Figure  2.  Comparison of experimental results

下载: 全尺寸图片 幻灯片

上述3组实验中，第一组和第二组实验图车身边缘在右边，第三组在左边，从3组图中可以看出，基于Prewitt算子的边缘提取技术，检测出图像中大部分物体明显的边缘信息，又提取出图片中较为细节的边缘信息，车身的边缘也被很好地检测出来；基于Sobel算子的边缘提取在背景中各种边缘信息较好，但提取的车身边缘信息不够明显；基于Otsu阈值分割虽然对图像帧边缘信息提取较好，但其受光照影响较大，车身与地面部分同处于背光处，导致部分边缘信息丢失的现象；基于分水岭分割技术，在提取区域信息时，对连通较大的区域较为敏感，车辆边缘信息提取效果较为一般。综合对比实验，本算法采用Prewitt算子进行边缘提取效果最好，既能更好提取车身的边缘信息，又可以很好提取背景中的其他非车身边缘信息。

图 3和图 4为传统的Harris算法和本文改进Harris算法角点检测的效果图，实验数据结果如表 1所示，通过分析图和表可知，传统的Harris算法虽然检测的角点比本文算法多，但是多为小范围的大量聚集，有很多角点未检测出来，且伪角点多；而本文算法能很好地检测出大部分角点且分布均匀，同时算法运行时间短。

图  3  传统Harris角点检测结果

Figure  3.  Traditional Harris corner detection results

下载: 全尺寸图片 幻灯片

图  4  本文算法检测结果

Figure  4.  The algorithm of this article detection results

下载: 全尺寸图片 幻灯片

表  1  特征点提取数量及时间

Table  1.  Number and time of feature point extraction

Algorithm	Corner points	Time/s
Traditional Harris	1728	0.641
This paper Harris	1465	0.593

下载: 导出CSV 

| 显示表格

为验证算法的适应性和鲁棒性，本文对几组重叠的图像进行了实验，如图 5所示为待拼接的图像序列，图 6为拼接融合后的图像。通过图 6可以看出，拼接后的图像范围大，且图中的场景未出现畸变及严重错位等现象。虽然在图像边缘处出现未定义的图像区域，但是在得到的全景图像中无明显的缝隙以及拼接痕迹。仿真结果表示算法能有效地剔除伪配准对，提高拼接效率和准确度。

图  5  待拼接图像序列

Figure  5.  The sequence of images to be stitched

下载: 全尺寸图片 幻灯片

图  6  拼接后实验结果

Figure  6.  Results of the experiment after splicing

下载: 全尺寸图片 幻灯片

本文从算法的稳像效果、图像质量及耗时对比方面进行了实验，对尹丽华等人提出的一种基于区域分割与融合的全景稳像算法^[8]、Hamza等人提出的多相机平台的全景视频稳像算法^[9]以及本文提出的改进图像融合拼接的车载视频稳像算法，进行实验对比分析。

1）主观分析

实验稳像效果对比数据如图 7所示，图中竖线是为了更好地显示对比效果而人为添加的。

图  7  三种稳像算法实验结果对比

Figure  7.  Comparison of experimental results of three image stabilization algorithms

下载: 全尺寸图片 幻灯片

最左列为随机抽取原视频帧的第10、17、24、33、40帧序列，从第二列往右依次为Yin、Hamza以及本文算法处理后的图像。以第10帧为基准，原视频序列有向右或向左的抖动，原视频帧序列较不稳定。

与原视频第4帧为基准对比分析：Yin算法第17、40帧出现向左的偏移较小，第24、33帧过渡较为平稳。而Hamza算法第17、24、33帧都出现向左的抖动，但偏移较小，表明Hamza算法有一定的稳像效果。而对比本文算法处理的图像，出现人眼几乎无法察觉的极微小抖动，从10帧到40帧整体过渡平稳，表明本文算法有优良的稳像效果。

2）客观分析

本文采用峰值信噪比PSNR（Peak Signal-to-Noise Ratio）、结构相似度指数SSIM（Structural Similarity）、单帧处理时间SFPT（Single frame processing time）、每秒帧率FPS（Frames Per Second），作为稳像质量客观评价评价算法有效性的指标。峰值信噪比PSNR值越大、结构相似度指数SSIM值越接近1，则稳定性更好，单帧处理时间SFPT越小、每秒帧率FPS越大，表明电子稳像算法的实时性更强。稳像后图像质量及耗时对比实验数据如表 2所示。

表  2  车辆行驶情况下电子稳像实验对比结果

Table  2.  Comparison results of electronic stabilization experiments under the driving condition of the vehicle

Class of algorithm	Count	PSNR	SSIM	SFPT/ms	FPS
The original video	1	12.156	0.472	16.67	60
	2	11.875	0.468	16.67	60
	3	12.314	0.461	16.67	60
	Average	12.115	0.467	16.67	60
Yin[8] algorithm	1	15.412	0.697	66.67	15
	2	15.348	0.713	71.43	14
	3	15.335	0.691	90.91	11
	Average	15.365	0.700	76.34	13.33
Hamza[9] algorithm	1	15.132	0.682	62.50	16
	2	14.983	0.675	50.00	20
	3	15.015	0.651	55.56	18
	Average	15.043	0.669	56.02	18
Our algorithm	1	15.623	0.711	31.25	32
	2	15.512	0.724	28.57	35
	3	15.231	0.708	33.33	30
	Average	15.455	0.714	31.05	32.33

下载: 导出CSV 

| 显示表格

由表 2可知，原视频帧序列的平均值PSNR值12.115，3种算法PSNR值较原视频帧序列PSNR值都有一定提升，本文算法PSNR值提升最大，为27.57%；在结构相似度指数SSIM，原车载视频帧序列平均值为0.467，3种算法较原视频帧都有提升，分别为0.714、0.700、0.669，其中本文算法为最高；在单帧处理时间SFPT（Single frame processing time）以及帧率FPS上，本文算法的单帧处理时间最少，为31.05 ms，且帧率最高。由此可知，本文算法在稳像效果较好，且算法耗时短。

5.   结论

本文对车辆怠速状态下的视频序列进行研究，传统的稳像方法不能直接适用，所以提出一种基于区域分块与图像融合的稳像算法。对于传统Harris算法的不足，提出在图像进行边缘提取基础上，再进行分区的角点检测的方法。对原始视频序列进行拼接融合全景图像，缩减了待处理的视频帧数量，最后对全景图像进行裁剪完成补偿。虽然对图像拼接后再对图像剪裁过程中损耗了时间，但本算法在稳像方法上与传统方法不同，通过分区快速对图像处理，再进行拼接融合，最大限度地提高算法效率，节省了时间。实验表明，本文稳像算法有较高的鲁棒性，能快速稳像，PSNR值较原视频帧系列提升了27.57%。