基于红外特征的三维目标识别算法研究

夏琰

夏琰. 基于红外特征的三维目标识别算法研究[J]. 红外技术, 2022, 44(11): 1161-1166.
引用本文: 夏琰. 基于红外特征的三维目标识别算法研究[J]. 红外技术, 2022, 44(11): 1161-1166.
XIA Yan. Research on 3D Target Recognition Algorithm Based on Infrared Features[J]. Infrared Technology , 2022, 44(11): 1161-1166.
Citation: XIA Yan. Research on 3D Target Recognition Algorithm Based on Infrared Features[J]. Infrared Technology , 2022, 44(11): 1161-1166.

基于红外特征的三维目标识别算法研究

基金项目: 

吉林省优秀青年人才基金项目 20210103154JH

详细信息
    作者简介:

    夏琰(1980-),女,硕士,副教授,主要研究方向为计算机应用及图像处理方面的研究。E-mail: wsxiayan99@163.com

  • 中图分类号: TP391.41

Research on 3D Target Recognition Algorithm Based on Infrared Features

  • 摘要: 基于三维特征的目标识别存在相似点云域容易误判、总数据运算量大等问题,而造成目标检出率低和误判率高。为了提高目标识别准确度与速度,提出了基于红外特征的三维目标识别算法。系统同时获取目标区域的二维红外图像与三维点云数据,利用目标红外特性的显著特征获得目标的投影范围,并计算系统与目标的位姿关系。根据红外特征映射关系计算点云数据中目标的限定范围,由此大幅缩减需要匹配计算的点云总量。在相同背景条件下对同一目标车辆进行测试,记录分析了3种不同测试角度条件下的识别数据。结果显示,传统点云识别算法的目标检出率均值为93.4%,误判率均值为19.5%,收敛耗时4.77 s。本算法的目标检出率均值为98.7%,误判率均值为1.5%,收敛耗时1.23 s。由此可见,基于红外特征的目标识别算法的检出率和误判率都更有优势,且处理速度更快。
    Abstract: Target recognition based on 3D features has problems, such as easy misjudgment in similar point cloud domains and large amounts of total data computation, which results in a low target detection rate and high misjudgment rate. To improve the accuracy and speed of target recognition, a three-dimensional target recognition algorithm based on infrared features was proposed. The system simultaneously obtains the 2D infrared image and 3D point cloud data of the target area, obtains the projection range of the target using the salient features of the target's infrared characteristics, and calculates the pose relationship between the system and the target. The limited range of the target in the point cloud data is calculated according to the infrared feature mapping relationship, thereby significantly reducing the total number of point clouds that need to be matched and calculated. In the experiment, the same target vehicle was tested under the same background conditions, and the recognition data for three different test angles were recorded and analyzed. The obtained results indicated that the average target detection rate of the conventional point cloud recognition algorithm, average false positive rate, and convergence time were 93.4%, 19.5%, and 4.77 s, respectively. In addition, the average target detection rate of this algorithm, average false positive rate, and convergence time were 98.7%, 1.5%, and 1.23 s, respectively. It can be inferred that the detection and misjudgment rates of the target recognition algorithm based on infrared features are more advantageous, and the processing speed is faster.
  • 在机载或船载红外热成像海上目标搜救系统中,如何准确有效地提取海天线是进行海上目标探测跟踪的一个重要环节。准确提取海天线有助于划分航拍红外图像中的天空和海面部分,缩小目标搜索区域,降低目标探测跟踪算法的时间复杂度,快速探测跟踪海上舰船目标,保证系统实时性。此外,海天线附近区域分布的目标多为小目标,易受近处海面破碎波浪或远处天空云层的干扰,而近距离区域分布的目标多为大目标,故对不同尺寸、不同区域海上目标的探测跟踪,设定的阈值门限也不同。准确提取海天线有利于海上目标探测跟踪区域的划分,削弱干扰信息,降低目标探测的错误率,提高目标探测跟踪的准确率。对于低空掠海飞行目标探测跟踪,准确提取海天线可快速锁定搜索区域,极大抑制海面强大浪花和移动舰船目标的干扰,提高飞行目标的探测准确率[1]

    利用红外热成像设备远距离观察海天背景目标时,海天线附近垂直梯度值较大,且海天线通常为一条直线,故海天线检测就是在一种强干扰背景下检测垂直梯度值较大的直线边缘轮廓。其中,海天背景的强干扰主要有条纹状海浪和海天线上面的连续云层。张峰[2]等采用行映射直方图方法从强对比度的海天背景中提取海天线,该方法不适合海天线倾斜过大的情况;刘士建[3]等在张峰[2]成果的基础上,采用模板运算增强红外图像海天线附近区域的梯度值,再利用非线性分割方法,获取海天线部分轮廓;裴继红[4]等利用海天线的梯度信息,提出直线拟合法,该方法抗干扰能力不足;石文君[5]等采用多帧能量积累方法提高图像对比度,再用Gabor变换和多通道滤波消除干扰,最后用Hough变换获取海天线直线边缘。该方法需要积累多帧红外图像,故实时性低。

    本文针对船载红外海上目标探测跟踪的实际应用场景,提出一种基于EmguCV的红外图像海天线提取算法。该算法先采用空域滤波消除弱小船只目标和近域海浪杂碎波浪的干扰,再对降噪后的红外图像进行形态学梯度运算,阈值分割、获取海天线边缘轮廓,然后利用Hough直线检测,获取海天线待拟合点数组,最后利用最小二乘法拟合海天线。

    EmguCV是将OpenCV(Open Source Computer Vision Library)使用C#语言封装成的.NET库,使用EmguCV就可在.NET平台上调用OpenCV提供的计算机视觉函数库。OpenCV由Intel微处理器研究实验室的视觉交互组开发,内置各种形式的图像和视频源文件的帧提取函数和标准图像处理算法,包含下列5个独立子库:CXCORE、CV、HIGHGUI、CVAUX、CVCAM。其中CXCORE库主要负责数据的基本运算;CV库负责图像处理、结构分析、运动分析、目标跟踪和模式识别等视觉算法;HIGHGUI库用于图像界面、图像视频输入输出和系统调用函数等用户交互;CVAUX库存放即将被淘汰的算法和函数及新出现的实验性算法和函数;CVCAM库存放摄像机接口。

    当使用船载和机载热像仪探测和跟踪海上的运动目标(如落水人员、救生筏艇和舰船等)时,需要从复杂海面背景或海天背景中准确分离海上的运动目标。在此过程中,准确提取海天线有利于海上目标探测跟踪区域的划分,削弱干扰信息,降低目标探测的错误率,提高目标探测跟踪的准确率。而海天线的提取必须先消除弱小船只目标和近域海浪杂碎波浪的干扰,因此在海天线提取前应先对红外图像进行一定的预处理。

    红外图像中,系统噪声和目标细节均属于高频分量,而背景和海天线轮廓一般为低频分量,故可对图像进行低通滤波,以此达到抑制弱小目标和海杂波、增强海天线边缘轮廓的目的[6]。红外图像的时域低通滤波用卷积实现,其表达式为:

    $$\boldsymbol{W} = \left| {\begin{array}{*{20}{c}} 1&1&1&1&1 \\ 1&1&{ - 4}&1&1 \\ 1&{ - 4}&{ - 8}&{ - 4}&1 \\ 1&1&{ - 4}&1&1 \\ 1&1&1&1&1 \end{array}} \right|$$
    $$d(x, y) = s(x, y) * w(x, y)$$ (1)

    式中:*为卷积运算;s(x, y)为源红外图像;d(x, y)为经滤波器滤波后的海天线轮廓增强图像;w(x, y)为滤波器滑动窗口;对应的频域卷积模板为矩阵W。模板中心像素区域的权值最小,使目标细节、海浪随机破碎杂波和噪声点不易通过,而面积较大的背景和海天线易于通过,抑制弱小目标和海浪破碎杂波对海天线提取的干扰。

    经低通滤波后的红外图像,较好地保留海天线边缘轮廓信息,但仍会残留部分系统噪声。系统噪声多属于椒盐噪声,且不具有帧间连续性和相关性,故可通过中值滤波算子滤除系统噪声,进一步增强海天线边缘轮廓信号,有利于提取海天线轮廓。

    边缘检测是一种基于图像相邻像素灰度梯度来分割图像的常用方法。本文通过相邻像素形态学垂直梯度来提取红外图像中包含海天线的边缘轮廓。其表达式为:

    $$G(x, y) = D(x, y) - E(x, y)$$ (2)

    式中:G(x, y)为源红外图像的形态学梯度值;D(x, y)为源红外图像的形态学膨胀操作;E(x, y)为源红外图像的形态学腐蚀操作。将红外图像中的形态学膨胀结果减去形态学腐蚀结果,即得到包含目标梯度的边缘轮廓信息[7]

    针对船载红外海上目标探测跟踪的实际应用场景中,海天线一般为水平倾斜直线,故只需提取红外图像的形态学垂直梯度。

    最大类间方差法是一种常用的图像二值化分割方法。该方法先遍历所有可能的分割阈值,再对每个阈值结果的两类像素计算方差,并将类间方差最小时对应的阈值设定为图像的最佳分割阈值[8]。针对图像灰度直方图中双峰明显,双峰无明显低谷或双峰和低谷都不明显的情况,使用该方法可最大化地确定双峰间的分割阈值位置。

    若图像灰度等级为L,总像素个数为N,灰度值为i的灰度等级像素点数为ni,则图像归一化直方图中灰度级i的灰度概率密度为pipi/N,所有灰度等级的均值为$\mu = \sum\limits_{i = 0}^{L - 1} {i \cdot {p_i}} $,其中$\sum\limits_{i = 0}^{L - 1} {{p_i}} = 1$。

    假设初始分割阈值为t,则把灰度图像划分为C0C1两类,C0包含的灰度等级为[0, t],C1包含的灰度等级为[t+1, L-1]。C0C1的概率分别为${w_0} = \sum\limits_{i = 0}^t {{p_i}} $和${w_1} = \sum\limits_{i = t + 1}^{L - 1} {{p_i}} = 1 - {w_0}$,灰度均值分别为${\mu _0}(t) = \frac{{\sum\limits_{i = 0}^t {i \cdot {p_i}} }}{{{w_0} \cdot t}}$,${\mu _1}(t) = \frac{{\sum\limits_{i = t + 1}^{L - 1} {i \cdot {p_i}} }}{{{w_1} \cdot t}}$,则C0C1的类间方差为${\sigma ^2}(t) = {w_0}{({\mu _0}(t) - \mu )^2} + {w_1}{({\mu _1}(t) - \mu )^2}$。由类间方差公式可得,类间方差σ2(t)是分割阈值t的函数,当类间方差值最大时对应的阈值t即为该灰度图像的最佳分割阈值。

    红外图像经预处理、边缘检测和阈值化分割,所得图像中仍然会存在破碎杂波、条纹状涌浪、天空背景云层和目标的垂直梯度信息,通常上述残留信号均为弱信号,而海天线垂直梯度为强信号,且海天线边缘轮廓清晰连续,故可利用Hough变换提取海天线[9]

    Hough变换是一种图像空间到参数空间或极坐标空间的变换,能够快速检测二值图像中的线、圆或其他简单形状,其变换过程如图 1。图像空间中的两点(xi, yi)和(xj, yj)共线,则直线参数ab唯一确定。推论可得:图像空间中确定直线的点集,其映射到参数空间中都相交于一点。类似于图像空间到参数空间的映射,图像空间也可映射到极坐标空间,且图像空间中共线的点在极坐标空间中都会交于一点。因此,检测图像空间的直线,相当于检测参数空间或极坐标空间中相交线最多的点,利用映射关系,即可在图像空间中定位海天线。利用最小二乘法拟合图像空间中的直线检测数据,可获得图像空间中的海天线信息。

    图  1  Hough变换
    Figure  1.  Hough transform

    本文实验数据来源于2018年3月份某舰载红外热像仪采集的夜间红外图像,经预处理、边缘检测、阈值分割、直线检测的效果如图 2所示。图 2(d)可得,源图像中海天线附近仅有一个强目标船只,近岸区域存在海浪的随机破碎杂波,其灰度值较大。图 2(b)为源红外图像经边缘检测后结果,由图可得,海浪随机破碎杂波对于海天线的检测存在较大干扰。图 2(c)为源红外图像经预处理后的边缘检测结果。相比图 2(b),图像预处理能够明显降低海面随机破碎波浪对海天线边缘轮廓的干扰。图 2(d)为源红外图像经本文算法提取海天线的实际效果。相比图 2(e),进一步说明,红外图像的预处理对于消除海上杂波的干扰具有重要意义。结果表明,本文方法能够从复杂的海面背景中准确提取海天线。图 2(f)为包含多目标船只的红外图像,其中船只目标有强目标也有弱目标,均分布在海天线附近,且近岸区域存在随机破碎杂波和细小的条纹状涌浪。经文中的海天线提取算法处理,能够准确提取海天线,为舰载或机载红外热成像对海上目标的探测跟踪奠定基础。

    图  2  海天线检测方法对比
    Figure  2.  Comparison of Sea-sky-line extraction method

    本文针对船载热像仪在海上目标探测跟踪的实际应用场景,介绍了一种基于EmguCV的红外图像海天线提取方法。实验结果表明,该方法能够从强背景干扰中准确提取海天线。证实了该方法的有效性和准确性,为船载或机载红外热像仪对海上目标的快速探测跟踪奠定基础。

  • 图  1   基于红外特征的三维目标识别系统

    Figure  1.   3D target recognition system based on infrared features

    图  2   激光雷达获取点云与红外图像融合的位置关系

    Figure  2.   The position relationship between point cloud acquired by lidar and infrared image fusion

    图  3   基于红外特征的识别算法程序流程

    Figure  3.   Flowchart of the recognition algorithm program based on infrared features

    图  4   目标红外图像获取与目标区域框选限定

    Figure  4.   Target infrared image acquisition and target area frame selection

    图  5   点云数据及限定后的目标点云域

    Figure  5.   Point cloud data and limited target point cloud domain

    图  6   收敛时间趋势对比

    Figure  6.   Convergence time trend comparison

    表  1   识别结果对比数据

    Table  1   Identification results comparison

    Comparison
    group
    G1 G2 G3
    Pd/% Pf/% Pd/% Pf/% Pd/% Pf/%
    DMM 99.4 2.2 94.2 2.5 93.6 2.7
    EB 96.2 17.5 90.4 24.6 93.5 16.4
    SV 91.7 5.2 97.9 4.9 98.2 5.4
    IFTR 99.3 1.6 98.2 1.7 98.7 1.3
    下载: 导出CSV
  • [1]

    REN S, HE K, Girshick R, et al. Faster R-CNN: Real-time target detection in regional planning Network[J]. IEEE Pair Model Analysis and Machinery Information, 2017, 39(6): 1137-1149.

    [2]

    GUO Y L, Sohel F, Bennamoun M, et al. A novel local surface feature for 3D object recognition under clutter and occlusion[J]. Information Sciences, 2015, 293: 196-213. DOI: 10.1016/j.ins.2014.09.015

    [3] 王果, 王成, 张振鑫, 等. 利用车载激光点云的分车带识别及单木分割方法[J]. 激光与红外, 2020, 50(11): 1333-1337. DOI: 10.3969/j.issn.1001-5078.2020.11.008

    WANG Guo, WANG Cheng, ZHANG Zhenxin, et al. Single tree segmentation method of urban distributing belt based on vehicle-borne laser point cloud data[J]. Laser & Infrared, 2020, 50(11): 1333-1337. DOI: 10.3969/j.issn.1001-5078.2020.11.008

    [4] 胡海瑛, 惠振阳, 李娜. 基于多基元特征向量融合的机载LiDAR点云分类[J]. 中国激光, 2020, 47(8): 229-239. https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ202008029.htm

    HU Haiying, HUI Zhenyang, LI Na. Airborne LiDAR point cloud classification based on multiple-entity eigenvector fusion[J]. Chinese Journal of Lasers, 2020, 47(8): 229-239. https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ202008029.htm

    [5]

    Sochor J, Spaňhel J, Herout A. Boxcars: improving fine-grained recognition of vehicles using 3-d bounding boxes in traffic surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 20(1): 97-108.

    [6]

    Sochor J, Herout A, Havel J. BoxCars: 3D boxes as CNN input for improved fine-grained vehicle recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 3006-3015.

    [7]

    Dubská M, Herout A, Juránek R, et al. Fully automatic roadside camera calibration for traffic surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 16(3): 1162-1171.

    [8]

    Dubská M, Herout A, Sochor J. Automatic camera calibration for traffic understanding[C]// Proceedings of the British Machine Vision Conference(BMVC), 2014: 1-12.

    [9]

    GISEOK K, JAE- SOO C. Vision- Based vehicle detection and inter- vehicle distance estimation for driver alarm system[J]. Optical Review, 2012, 25(6): 388- 393.

    [10] 薛培林, 吴愿, 殷国栋, 等. 基于信息融合的城市自主车辆实时目标识别[J]. 机械工程学报, 2020, 56(12): 165-173. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB202012021.htm

    XUE Peilin, WU Yuan, YIN Guodong, et al. Real-time target recognition for urban autonomous vehicles based on information fusion[J]. Journal of Mechanical Engineering, 2020, 56(12): 165-173. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB202012021.htm

    [11] 仝选悦, 吴冉, 杨新锋, 等. 红外与激光融合目标识别方法[J]. 红外与激光工程, 2018, 47(5): 158-165. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201805025.htm

    TONG Xuanyue, WU Ran, YANG Xinfeng, et al. Fusion target recognition method of infrared and laser[J]. Infrared and Laser Engineering, 2018, 47(5): 158-165. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201805025.htm

    [12]

    YAN Y, MAO Y, LI B. Second: sparsely embedded convolutional detection[J]. Sensors, 2018, 18(10): 3337/1-17.

  • 期刊类型引用(1)

    1. 段鹏飞,李元昊,郭绍义,任继亭,王士鹏. 无人船航行环境信息感知技术综述. 浙江交通职业技术学院学报. 2021(04): 33-36+41 . 百度学术

    其他类型引用(0)

图(6)  /  表(1)
计量
  • 文章访问数: 
  • HTML全文浏览量: 
  • PDF下载量: 
  • 被引次数: 1
出版历程
  • 收稿日期:  2022-04-11
  • 修回日期:  2022-07-27
  • 刊出日期:  2022-11-19

目录

/

返回文章
返回