留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于红外可见光融合的低能见度道路目标检测算法

吴泽 缪小冬 李伟文 虞浒

吴泽, 缪小冬, 李伟文, 虞浒. 基于红外可见光融合的低能见度道路目标检测算法[J]. 红外技术, 2022, 44(11): 1154-1160.
引用本文: 吴泽, 缪小冬, 李伟文, 虞浒. 基于红外可见光融合的低能见度道路目标检测算法[J]. 红外技术, 2022, 44(11): 1154-1160.
WU Ze, MIAO Xiaodong, LI Weiwen, YU Hu. Low-Visibility Road Target Detection Algorithm Based on Infrared and Visible Light Fusion[J]. Infrared Technology , 2022, 44(11): 1154-1160.
Citation: WU Ze, MIAO Xiaodong, LI Weiwen, YU Hu. Low-Visibility Road Target Detection Algorithm Based on Infrared and Visible Light Fusion[J]. Infrared Technology , 2022, 44(11): 1154-1160.

基于红外可见光融合的低能见度道路目标检测算法

基金项目: 

国家重点研发计划 2021YFB2012301

国家自然科学基金 61906088

详细信息
    作者简介:

    吴泽(1995-),男,硕士研究生,研究领域为目标检测。E-mail: wuze_nj2020@163.com

    通讯作者:

    缪小冬(1985-),男,副教授,硕士生导师,研究领域为人工智能,信息融合,智能制造。E-mail: mxiaodong@njtech.edu.cn

  • 中图分类号: TP391.4

Low-Visibility Road Target Detection Algorithm Based on Infrared and Visible Light Fusion

  • 摘要: 红外图像与可见光图像均被广泛用于目标检测领域,但单模态图像难以满足低能见度道路目标检测的需求,因此本文从双模态融合角度出发,提出一种基于红外可见光融合的低能见度道路目标检测算法。首先,运用多种红外可见光双模态图像融合算法对输入图像进行预处理,并对融合图像的均值、标准差、信息熵、平均梯度、空间频率等5个参数进行定量分析,然后,优化训练检测网络得到针对低能见度道路目标的检测模型,最后,从模型训练结果和目标检测结果的角度评估算法和模型的正确性。实验结果表明,本文算法训练出的模型误检率和漏检率较其他算法明显降低,检测精度较现有算法使用单模态图像由75.51%提升到88.86%,且图像处理速度能够满足实时检测的需求。
  • 图  1  低能见度下道路运动目标检测技术路线

    Figure  1.  Technical route of road moving target detection in low visibility

    图  2  白天光照明亮时彩色图与红外图对比

    Figure  2.  Comparison between color image and infrared image when the light is bright in the daytime

    图  3  夜晚光照不足时彩色图与红外图对比

    Figure  3.  Comparison between color image and infrared image in case of insufficient light at night

    图  4  梯度残差密集块

    Figure  4.  Gradient residual dense block

    图  5  融合算法网络结构

    Figure  5.  Network structure of fusion algorithm

    图  6  融合前后对比图

    Figure  6.  Comparison before and after fusion

    图  7  Anchor box与bounding box转换示意图

    Figure  7.  Schematic diagram of conversion between anchor box and bounding box

    图  8  网络结构

    Figure  8.  Network structure

    图  9  模型训练对比

    Figure  9.  Comparison of model training

    图  10  检测效果对比

    Figure  10.  Comparison of detection effects

    表  1  双模态图像融合后图像信息对比

    Table  1.   Comparison of image information after bimodal image fusion

    E SD EN AG SF
    Tif 46.416 25.285 5.473 1.987 6.853
    Wavelet 45.818 23.694 5.401 2.090 6.115
    This Article 64.176 28.444 5.326 2.355 7.185
    下载: 导出CSV

    表  2  IoU=50时各项指标对比

    Table  2.   Comparison of various indicators when IoU=50

    p r F1 mAP
    Visible Light 0.62 0.56 0.57 0.55
    Tif 0.75 0.71 0.64 0.68
    Wavelet 0.76 0.78 0.75 0.79
    This Article 0.81 0.78 0.78 0.81
    下载: 导出CSV
  • [1] WANG Z G, ZHAN J, LI Y, et al. A new scheme of vehicle detection for severe weather based on multi-sensor fusion[J]. Measurement, 2022, 191: 14.
    [2] MIAO X, LI S, SHEN H, et al. Moving vehicle detection and tracking using monocular vision[J]. International Journal of Vehicle Safety, 2014, 7(3/4): 425-439. doi:  10.1504/IJVS.2014.063247
    [3] 李章维, 胡安顺, 王晓飞. 基于视觉的目标检测方法综述[J]. 计算机工程与应用, 2020, 56(8): 1-9. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202008002.htm

    LI Z, HU A, WANG X. Survey of vision based object detection methods [J]. Computer Engineering and Application, 2020, 56(8): 1-9. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202008002.htm
    [4] 崔晓荣, 沈涛, 黄建鲁, 等. 基于BEMD改进的视觉显著性红外和可见光图像融合[J]. 红外技术, 2020, 42(11): 1061-1071. http://hwjs.nvir.cn/article/id/c89c0447-6d07-4a75-99f6-1bf8681cf588

    CUI X R, SHEN T, HUANG J L, et al. Infrared and visible image fusion based on BEMD and improved visual saliency[J]. Infrared Technology, 2020, 42(11): 1061-1071. http://hwjs.nvir.cn/article/id/c89c0447-6d07-4a75-99f6-1bf8681cf588
    [5] 王文卿, 马笑, 刘涵. 基于联合低秩稀疏分解的红外与可见光图像融合[J]. 信号处理, 2021, 37(9): 1770-1780. https://www.cnki.com.cn/Article/CJFDTOTAL-XXCN202109021.htm

    WANG W Q, MA X, LIU H. Infrared and visible image fusion via joint low-rank and sparse decomposition[J]. Journal of Signal Processing, 2021, 37(9): 1770-1780. https://www.cnki.com.cn/Article/CJFDTOTAL-XXCN202109021.htm
    [6] 武圆圆, 王志社, 王君尧, 等. 红外与可见光图像注意力生成对抗融合方法研究[J]. 红外技术, 2022, 44(2): 170-178. http://hwjs.nvir.cn/article/id/7f2ae6e4-af9c-4929-a689-cb053b4dda85

    WU Y Y, WANG Z S, WANG J Y, et al. Infrared and visible image fusion using attention- based generative adversarial networks[J]. Infrared Technology, 2022, 44(2): 170-178. http://hwjs.nvir.cn/article/id/7f2ae6e4-af9c-4929-a689-cb053b4dda85
    [7] REN S, HE K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39: 1137-1149.
    [8] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Trans Pattern Anal Mach Intell. , 2015, 37(9): 1904-1916.
    [9] WEI L, Dragomir A, Dumitru E, et al. SSD: single shot multibox detector[J/OL]. ECCV, 2016: 21-37, Doi: 10.1007/978-3-319-46448-0_2.
    [10] Bochkovskiy A, WANG C Y, LIAO H. YOLOv4: optimal speed and accuracy of object detection[J/OL]. Computer Science, 2020, arXiv: 2004.10934.
    [11] ZHAO Q, SHENG T, WANG Y, et al. M2Det: A single-shot object detector based on multi-level feature pyramid network[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 9259-9266.
    [12] 许德刚, 王露, 李凡. 深度学习的典型目标检测算法研究综述[J]. 计算机工程与应用, 2021, 57(8): 10-25. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202108003.htm

    XU D G, WANG L, LI F. Review of typical object detection algorithms for deep learning [J]. Computer Engineering and Application, 2021, 57(8): 10-25. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202108003.htm
    [13] 任全会, 孙逸洁, 黄灿胜. 基于区域间相似度的红外与可见光图像融合算法研究[J]. 红外技术, 2022, 44(5): 492-496. http://hwjs.nvir.cn/article/id/0101943c-987d-48e8-ba4d-1748f31d4bbf

    REN H Q, SUN Y J, HUANG C S. Infrared and visible image fusion algorithm based on regional similarity [J]. Infrared Technology, 2022, 44(5): 492-496. http://hwjs.nvir.cn/article/id/0101943c-987d-48e8-ba4d-1748f31d4bbf
    [14] Bavirisetti D P, Dhuli R. Two-scale image fusion of visible and infrared images using saliency detection [J]. Infrared Physics and Technology, 2016, 76: 52-64.
    [15] 余汪洋, 陈祥光, 董守龙, 等. 基于小波变换的图像融合算法研究[J]. 北京理工大学学报, 2014, 34(12): 1262-1266. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201412010.htm

    YU W Y, CHEN X G, DONG S L, et al. Study on image fusion algorithm based on wavelet transform[J]. Transactions of Beijing Institute of Technology, 2014, 34(12): 1262-1266. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201412010.htm
    [16] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger [C]// IEEE Conference on Computer Vision & Pattern Recognition, 2017: 6517-6525.
  • 加载中
图(10) / 表(2)
计量
  • 文章访问数:  195
  • HTML全文浏览量:  51
  • PDF下载量:  46
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-07-13
  • 修回日期:  2022-11-02
  • 刊出日期:  2022-11-20

目录

    /

    返回文章
    返回