基于特征点轨迹增长的视频稳像算法

魏雪迎, 王敬东, 王崟, 杨秀梓

魏雪迎, 王敬东, 王崟, 杨秀梓. 基于特征点轨迹增长的视频稳像算法[J]. 红外技术, 2019, 41(2): 183-188.
引用本文: 魏雪迎, 王敬东, 王崟, 杨秀梓. 基于特征点轨迹增长的视频稳像算法[J]. 红外技术, 2019, 41(2): 183-188.
WEI Xueying, WANG Jingdong, WANG Yin, YANG Xiuzi. Image Stabilization Algorithm Using Feature Trajectory Augmentation[J]. Infrared Technology , 2019, 41(2): 183-188.
Citation: WEI Xueying, WANG Jingdong, WANG Yin, YANG Xiuzi. Image Stabilization Algorithm Using Feature Trajectory Augmentation[J]. Infrared Technology , 2019, 41(2): 183-188.

基于特征点轨迹增长的视频稳像算法

基金项目: 国家自然科学基金项目(U1531110)
详细信息
  • 中图分类号: TP391

Image Stabilization Algorithm Using Feature Trajectory Augmentation

  • 摘要: 现今的特征点轨迹稳像算法都是基于网格变形达到稳定视频的最终目的,而保证结果不扭曲失真且稳定的网格变形需要由一定数量的长特征轨迹通过相应最优算法来实现.目前所提出的算法无法在保证良好时间性能下达到这一要求,针对这个问题,提出一种基于特征点轨迹增长的视频稳像算法.首先提取特征轨迹,为避免算法优先选择较长轨迹而导致轨迹分布过于集中造成局部抖动的问题出现,将特征点位置分布与轨迹长度相结合作为选择策略使特征点轨迹分布更加均匀;接着利用低秩矩阵迭代逼近原理生成虚拟轨迹来实现轨迹增长;最后利用网格变形生成稳定帧.将本文的算法与另外两种典型的特征点轨迹稳像算法相比较,其中包括基于对极几何点转移的稳像算法以及基于三焦点张量重投影的特征点轨迹稳像算法.实验结果表明,本文算法的特征点分布均匀且轨迹利用率高,与基于对极几何点转移的稳像算法相比,稳像效果更稳定并且时间复杂度更低,与基于三焦点张量重投影的特征点轨迹稳像算法相比,在保证稳像效果的同时时间复杂度更低.
  • 红外无损检测技术作为一种非接触式无损检测技术,在航空航天、交通运输、工业制造等领域都有较为广泛的应用[1-5]。红外无损检测技术采用热激励源对试件进行热激励,热激励源包括闪光灯、激光、卤素灯、红外灯、超声激励、涡流激励[6-12]。闪光灯激励作为一种脉冲热激励方式,瞬间产生平面可见光热源加热被测物表面,不仅可以检测导热快的试件,也可以检测极薄的试件,是目前主流的热激励技术之一[13-15]

    缺陷测量是红外无损检测技术一个重要的研究课题,缺陷测量包括测量缺陷深度和缺陷尺寸,缺陷测量受到缺陷深度的影响,随着缺陷深度的变化,缺陷测量误差也会发生变化。缺陷深度测量研究人员比较多,李美华等[16]采用Ansys模拟了二阶微分峰值法的理论,对缺陷深度测量进行了理论研究。曾智等[17]采用二阶微分峰值法对1~6 mm平底孔铝试件进行缺陷深度的测量。李晓丽[18]采用二阶微分峰值法对1~6 mm不锈钢平底孔与玻璃钢平底孔进行了检测,并与Ansys仿真进行了对比,宽深比满足的情况下,缺陷深度的测量精度为5%左右。缺陷深度测量可以通过二阶微分波峰精准进行定位,缺陷尺寸测量缺少精确定位的算法,目前对缺陷尺寸测量研究比较少,一般通过纯手动标注方式进行测量,手动标注过程很难界定缺陷的边缘,导致纯手动方式易受标注人员客观影响大,造成缺陷尺寸测量误差大。另一个常用的方法是采用半高宽法[19],提取缺陷对应的空间曲线,计算峰值一半对应的位置,从而计算出缺陷尺寸。半高宽法测量时需要选定一帧热图提取缺陷像素曲线,不同帧的热图是否会带来缺陷尺寸测量的误差,目前没有相应的研究。

    本文通过半高宽法对不同试件的缺陷尺寸测量进行深度研究,对不同材料、不同深度、不同尺寸的缺陷进行分析,给出半高宽测量法具体测量步骤以及不同帧测量的误差。

    红外无损检测技术获取的红外热图序列有多帧图像,能看到缺陷的也有多帧图像,不同深度缺陷检测到的时刻不尽相同,目前一般采用的是手动法在热图中直接手动标注,手动法一般是通过绘制直线来确定缺陷的尺寸,手动法标注过程会容易引起缺陷标注带来的人为误差。热图的噪声也会影响半宽高尺寸测量,为了避免人工干扰和噪声的影响,本文采用制冷红外热像仪采集红外热图序列;为了准确寻找过缺陷中心的直线,通过手动方式绘制一条过缺陷中心的直线,采用算法自动查找半高宽,并且会计算手动绘制直线错位一个像素距离上下6条直线的半高宽,共计算7条直线的半高宽,以最大的半高宽作为缺陷尺寸值,以防止手动绘制直线没有通过缺陷中心位置。

    采用脉冲红外无损检测技术对试件进行检测,脉冲激励源为闪光灯,系统如图 1(a)所示,系统包括3个部分:红外采集系统、闪光灯激励系统、数据处理与控制系统。红外采集系统通过红外热像仪进行数据采集,红外热像仪为FLIR SC7000,属于制冷热像仪,图像分辨率为640×512,全幅帧频为100 Hz,最小等效噪声温差<10 mK;闪光灯共4个灯管,总能量为12800 J,脉冲宽度3 ms,闪光灯放置在灯罩内,图 1(b)所示,灯罩有效防止闪光灯能量的溢出,使箱内形成均匀光环境,提高加热的效率;数据处理与控制系统,包括参数设置、闪光灯闪光与红外热像仪同步控制、红外热图序列图像处理。

    图  1  脉冲红外无损检测系统
    Figure  1.  Pulsed infrared thermography system

    采用半宽高法对缺陷尺寸进行测量,以半宽高为判据方法对试件热图进行测量,从而得到缺陷的尺寸,半宽高法用来计算图像中物体的尺寸,在一定程度上解决了由于图像中边缘模糊导致定位不准的问题。图 2是沿缺陷直径方向的温度分布曲线,横坐标为曲线上像素位置,纵坐标为对应直线上像素点的温度值。采用半宽高进行缺陷尺寸测量方法为缺陷边缘位于半宽高的位置x1x2x2x1为缺陷的像素尺寸。m为单位像素的实际物理距离,则缺陷物理尺寸可以表示为:

    $$ D=\left(x_2-x_1\right) \cdot m $$
    图  2  缺陷像素曲线分布
    Figure  2.  Pixel value distribution of defect curve

    本文采用的红外热像仪分辨率横向为640 pix,对应的物理尺寸为345 mm,因此m=0.539 mm/pix,物理含义是一个像素对应的实际物理尺寸是0.539 mm。

    缺陷像素曲线分布带有噪声信息,如果采用的是非制冷红外热像仪采集的数据,噪声将更加明显,噪声的带入将给计算出来的半宽高带来误差,因此需要采用曲线滤波算法减少噪声带来的影响。Savitzky-Golay曲线滤波算法(SG算法)[20]是Abraham Savitzky和Marcel J. E. Golay提出的基于最小二乘原理的多项式平滑滤波算法,SG算法可有效降低噪声对信号的干扰,大幅提高信号曲线的平滑性。SG算法是一种滑动平均的曲线滤波算法。SG算法滤波效果如图 3所示,图 3(a)为塑料试件的空间曲线像素值分布,塑料试件温度上升较高,对比范围大的情况下滤波效果不明显,图中有局部放大图,通过局部放大图可以看出滤波效果明显,图 3(b)为碳钢试件的空间曲线像素值分布,对比滤波前和滤波后可以看出,空间像素曲线经过SG算法,可以有效提高曲线的平滑度。

    图  3  曲线滤波效果对比
    Figure  3.  Comparison of SG curve filtering effects

    从热图序列中选取一帧图像,确定缺陷位置,手动绘制一条过缺陷中心的直线,多个缺陷可以绘制多条曲线,图 4展示了缺陷尺寸测量效果,图 4(a)为手动绘制6条直线,该直线均穿过缺陷的正中心,6个缺陷尺寸均为20 mm,缺陷深度从左到右分别为1.0 mm、1.5 mm、2.0 mm、2.5 mm、3.0 mm、3.5 mm。取出每一条空间曲线的像素值分布,再进行曲线滤波,滤波完成后找出最大值和最大值两边的最小值,依据最大值/最小值求出半高宽对应的位置x1x2,再把手动绘制曲线缩短x1x2,同时显示该缺陷的尺寸信息。选择时间靠后的热图,能看到深缺陷的热图,对于浅缺陷的区域、其清晰度会相对模糊一些,在同一帧热图上进行缺陷测量,从缺陷尺寸测量结果上看,缺陷越深,缺陷尺寸越准确,缺陷越浅,缺陷尺寸误差越大。

    图  4  缺陷尺寸测量效果展示
    Figure  4.  Defect size measurement

    为了对比材料、深度、缺陷尺寸对缺陷尺寸测量的影响,采用了金属、非金属、复合材料3种不同的材料进行对比研究。金属材料采用的是碳钢,非金属材料采用的是ABS(Acrylonitrile-butadine-styrene)塑料,复合材料采用的是碳纤维复合材料,所有的缺陷都是圆孔缺陷。碳钢和ABS塑料采用相同尺寸、相同缺陷深度,大小为190 mm×80 mm×6 mm的试件,两种试件的缺陷分布如图 5所示,主要对直径为20 mm、15 mm、10 mm的3种缺陷尺寸进行测试。碳纤维复合材料试件尺寸为100 mm×100 mm×5 mm,主要对30 mm、20 mm、15 mm三种缺陷尺寸进行测试,缺陷尺寸分布如图 6所示。

    图  5  碳钢和塑料缺陷分布
    Figure  5.  Defect distribution of carbon steel and plastic
    图  6  碳纤维复合材料的缺陷分布
    Figure  6.  Defect distribution of carbon fiber composite material

    ABS塑料的导热率低,所需采集时间要长一些,因此采集时间设置为70 s,采集频率为100 Hz,共采集7000帧红外热图序列,选取不同时间的5帧热图,如图 7所示,图中可以看出,到采集后期,可以看到全部的缺陷信息。

    图  7  ABS塑料试件红外热图序列
    Figure  7.  Infrared thermogram sequence of ABS plastic specimen

    对于ABS塑料试件,对缺陷直径为20 mm、15 mm、10 mm的不同深度缺陷进行缺陷尺寸的测量。为了更形象地展示缺陷尺寸的测量过程,以直径为20 mm、深度为1 mm的缺陷为例,取图 7所示的7(c)图像,先手动绘制一条过缺陷中心的空间直线,绘制的空间直线需要过缺陷中心,并且直线的起点和终点必须在缺陷之外,确保能按照公式(1)计算出半高宽位置x1x2,其余图像都是一样位置的直线。把5帧图像的空间直线对应的温度值绘制成曲线,称为温度-空间曲线,如图 8(a)所示,时间越靠前,试件表面的温度越高,时间越靠后,试件的表面温度越低,图 7中不同时间的5帧热图的温度-空间曲线呈现从上到下,温度逐渐降低,在热波三维热扩散的过程中,波峰由平顶逐渐变成了抛物线形状,温度-空间曲线为未滤波的原始曲线,计算半高宽时进行SG滤波。按照公式(1)计算每一条曲线的半高宽位置,标示在曲线位置上,计算半宽高位置差,便可以得到缺陷的尺寸。需要说明的是半高宽区域温度上升/下降比较陡峭,相邻两个像素点对应的温度差距比较大,在寻找半高宽位置时取整数,会导致从曲线上看求得的半宽高位置不是最小值和最大值一半的位置,如图 8(a)时间为8.0 s对应的半高宽x2位置。5帧热图测量到的缺陷尺寸如图 8(b)所示,不同时刻缺陷尺寸测量值在逐渐减小的。

    图  8  ABS塑料试件5帧热图测量结果
    Figure  8.  Thermal image measurement results of 5 frames of ABS plastic specimen

    为了更详细研究时间对缺陷尺寸测量结果的影响,选取了更多不同时间的热图进行缺陷尺寸的测量,同一个缺陷尺寸和缺陷深度对应的手动绘制的直线是一致的,由于缺陷深度的不同,缺陷在热图中出现的时刻是不一样的,因此测量结果的根据缺陷深度的不同,测量时选用的图像起始帧和结束帧不同,本文通过手动方式选取,以该缺陷刚出现时刻为起点,以该缺陷消失为终点,图 9(a)~(c)对应的是缺陷尺寸20 mm的测量结果,图 9(d)~(f)对应的是缺陷尺寸15 mm的测量结果,图 9(g)~(i)对应的是缺陷尺寸10 mm的测量结果。对于1 mm深度的缺陷,时间越靠前,缺陷尺寸测量越精确,在缺陷刚出现的时刻测量,测量误差可以在3%以内,10 mm的缺陷测量时由于一个像素物理尺寸是0.5 mm,所以导致测量时1个像素的错位就会导致较大的误差;时间越靠后,缺陷尺寸测量会越小,缺陷尺寸测量误差会越来越大,到60 s附近时刻测量缺陷尺寸时,20 mm的测量误差是11%,15 mm的测量误差是大于11%,10 mm的测量误差是16%。对于2 mm深度和3 mm深度的缺陷,选用不同帧图像测量出来的尺寸有所不同,有的是时间越靠后,测量结果越小,如图 9(b)所示;有的是变化起伏比较大,如图 9(i)所示,有的表现是无规律的,如图 9(h)所示。从上述测量曲线可以得出以下结论,对于塑料试件,不同帧测量的缺陷尺寸有所不同,浅缺陷的尺寸,时间越靠后,测量误差越大。

    图  9  ABS塑料试件不同尺寸/深度缺陷尺寸测量结果
    Figure  9.  Measurement results of defect sizes for plastic specimens for different sizes/depths

    碳钢的导热率高,采集时间需要短一些,因此采集时间设置为3s,采集频率为100 Hz,共采集300帧红外热图序列,选取不同时间的5帧热图,如图 10所示,图中可以看出,到采集后期,可以看到全部的缺陷信息。

    图  10  碳钢试件红外热图序列
    Figure  10.  Infrared thermogram sequence of carbon steel specimens

    对于碳钢试件,对缺陷尺寸为20 mm、15 mm、10mm的不同深度缺陷进行缺陷尺寸的测量,同样以缺陷尺寸20 mm、缺陷深度为1 mm的缺陷为例进行说明,取图 10所示的(c)图像,先手动绘制一条过缺陷中心的空间直线,绘制的空间直线需要过缺陷中心,并且直线的起点和终点必须在缺陷之外,确保能按照公式(1)计算出半高宽位置x1x2,其它帧图像计算的缺陷像素分布都是相同位置。把5帧图像的空间直线对应的温度值绘制成温度-空间曲线,如图 11(a)所示,与塑料温度-空间曲线相比,碳钢试件表面吸收光脉冲后不仅温升小,而且三维热扩散更快,因此温度-空间曲线纵坐标显示范围只有2.5℃,更大范围地把噪声显示出来,温度-空间曲线表现更大的噪声水平。按照公式(1)计算每一条曲线的半高宽位置,标示在曲线位置上,计算半宽高位置差,便可以得到缺陷的尺寸。5帧热图测量到的缺陷尺寸如图 11(b)所示,不同时刻缺陷尺寸测量值在逐渐减小。

    图  11  碳钢试件5帧热图测量结果
    Figure  11.  Thermal image measurement results of 5 frames of carbon steel specimen

    图 12(a)~(c)是缺陷尺寸20 mm的测量结果,图 12(d)~(f)是缺陷尺寸15 mm的测量结果,图 12(g)~(i)是缺陷尺寸10 mm的测量结果。相对于ABS塑料试件,碳钢试件缺陷尺寸测量结果跳跃比较快,主要在于碳钢试件表面温升小,表现噪声大,从而计算半高宽时会引入噪声误差,自动计算出来的结果变化大。从上述测量曲线可以得出以下结论,对于碳钢试件,不同帧测量的缺陷尺寸有所不同;采用缺陷刚出现的时刻,缺陷尺寸测量误差会偏小。

    图  12  碳钢试件不同尺寸/深度缺陷尺寸测量结果
    Figure  12.  Measurement results of defect sizes for carbon steel specimens for different sizes/depths

    碳纤维复合材料导热率介于ABS塑料和碳钢之间,采集时间设置为40 s,采集频率为100 Hz,共采集4000帧红外热图序列,选取不同时间的5帧热图,如图 13所示,到采集后期,可以看到全部的缺陷信息。

    图  13  碳纤维复合材料试件红外热图序列
    Figure  13.  Infrared thermogram sequence of carbon fiber composite material specimens

    对于碳纤维复合材料试件,对缺陷尺寸为30 mm、20 mm、15 mm的不同深度缺陷进行缺陷尺寸的测量,以缺陷尺寸30 mm、缺陷深度为2 mm的缺陷为例进行说明。图 13所示的5帧图像的空间直线对应的温度值绘制成温度-空间曲线,如图 14(a)所示。5帧热图测量到的缺陷尺寸如图 14(b)所示,不同时刻缺陷尺寸测量值在逐渐减小的。

    图  14  碳纤维复合材料试件5帧热图测量结果
    Figure  14.  Thermal image measurement results of 5 frames of carbon fiber composite material specimen

    图 15(a)~(b)是缺陷尺寸30 mm的测量结果,图 15(c)~(d)是缺陷尺寸20 mm的测量结果,图 15(e)~(f)是缺陷尺寸15 mm的测量结果。从上述测量曲线可以得出以下结论,对于碳纤维复合材料试件,不同帧测量的缺陷尺寸有所不同,除了ϕ=30缺陷深度2 mm的缺陷测量结果表现出时间越靠后,测量尺寸越小;其余的测量结果表现出不同时刻测量缺陷尺寸无规律,采用缺陷刚出现的时刻,缺陷尺寸测量误差会偏小。选择清晰化的图像,缺陷尺寸测量将得到更高的精度。

    图  15  碳纤维复合材料试件不同尺寸/深度缺陷尺寸测量结果
    Figure  15.  Measurement results of defect sizes for carbon steel specimens for different sizes/depths

    本文对不同材质、不同缺陷深度的试件进行缺陷尺寸的测量,采用半宽高测量方法可以实现不同帧缺陷尺寸的自动测量。红外无损检测技术采用主动热激励源对试件进行热激励,并采集热激励后的红外图像序列,在图像采集的过程中,热波(变化的温度场)会进行三维热扩散,热波遇到缺陷时热波会反射到试件表面,试件表面的温度就会产生异常,本文试件采用的都是平底孔缺陷,平底孔缺陷为隔热性缺陷,在红外图像上表象就是缺陷对应的表面位置出现明显的亮斑,亮斑出现的时间和消失的时间与试件材质、缺陷尺寸、缺陷深度都有关系,从而给缺陷的尺寸测量带来偏差。缺陷刚开始出现时,缺陷边缘相对比较清晰,随着热波三维热扩散的进行,缺陷边缘越来越模糊,给缺陷测量带来不利的影响。图 16展示了塑料试件、碳钢试件、复合材料试件缺陷尺寸测量最小误差(Min Error)和最大误差(Max Error),最小误差取值处于缺陷显示最清晰的时刻,最小误差取值基本在10%以内;最大误差取值基本上处于缺陷显示最模糊的时刻,最大值误差基本在20%左右。在缺陷测量过程中,采用模糊时刻图像进行缺陷测量,将导致很大的误差,不同缺陷的深度采用同一帧图像进行缺陷尺寸测量,将会导致很大误差,如上文所述图 4所示的检测结果。

    图  16  缺陷尺寸测量误差分析
    Figure  16.  Error analysis of defect size measurement

    对于不同深度的缺陷,将采用不同帧的图像进行缺陷测量,如图 17所示,缺陷浅的位置,缺陷清晰的时刻在前面帧;缺陷深的位置,缺陷清晰的时刻在后面帧,采用不同帧的图像进行缺陷的尺寸测量,将极大提高缺陷的尺寸测量,对本文的塑料试件、碳钢试件、碳纤维复合材料试件,不同缺陷深度图像,采用不同时刻的图像,再用半宽高自动测量算法,其缺陷尺寸测量误差基本保持在10%以内,测量误差的均值在5%左右,采用该方法将极大提高缺陷尺寸测量的精度。

    图  17  缺陷尺寸测量误差
    Figure  17.  Measurement error of defect size

    红外无损检测技术的最终目标是检测出试件内部缺陷,并且测量出缺陷尺寸信息,缺陷尺寸信息对于缺陷影响的评估以及缺陷是否可修复具有非常重要的意义。缺陷尺寸一般通过红外图像进行手动测量,手动测量具有很大的误差,且每一次手动测量结果都会不太相同,本文通过手动方式绘制一条过缺陷中心的直线,采用半宽高测量算法自动计算缺陷尺寸,并且会计算手动绘制直线错位一个像素距离上下6条直线的半高宽,共计算7条直线的半高宽,以最大的半高宽作为缺陷尺寸值;为了提高半宽高算法的鲁棒性,采用SG算法对空间像素曲线进行滤波,可以使得空间像素曲线更加平滑。最后通过塑料试件、碳钢试件、碳纤维复合材料试件进行缺陷尺寸测量,采用不同帧红外图像对缺陷尺寸测量,具有不同的测量误差,清晰时刻红外图像误差小,一般小于10%;模糊时刻红外图像误差大,误差在20%,在清晰时刻采用红外图像对3种不同材质、不同深度、不同尺寸的缺陷进行测量,测量误差基本在10%以内,测量误差的均值在5%左右,本文的研究对于脉冲红外无损检测缺陷尺寸测量具有重要的作用和应用价值,下一步研究将自动实现不同缺陷区域清晰时刻的判断,进一步从不同帧图像中提取更加精准的缺陷尺寸。

  • 期刊类型引用(3)

    1. 李文峰. 基于模糊决策的短跑图视频中特征点轨迹模拟方法. 淮阴师范学院学报(自然科学版). 2021(03): 235-239 . 百度学术
    2. 韩伶俐. 基于运动目标识别的摩托车视频监控驾考识别技术研究. 湖南工程学院学报(自然科学版). 2021(04): 50-54 . 百度学术
    3. 赵中堂,吴庆涛. 基于多状态卡尔曼滤波的双目视觉导航设计. 兵器装备工程学报. 2020(06): 169-173 . 百度学术

    其他类型引用(2)

计量
  • 文章访问数:  64
  • HTML全文浏览量:  16
  • PDF下载量:  21
  • 被引次数: 5
出版历程

目录

/

返回文章
返回