留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于改进谱残差显著性图的红外与可见光图像融合

李辰阳 丁坤 翁帅 王立

李辰阳, 丁坤, 翁帅, 王立. 基于改进谱残差显著性图的红外与可见光图像融合[J]. 红外技术, 2020, 42(11): 1042-1047.
引用本文: 李辰阳, 丁坤, 翁帅, 王立. 基于改进谱残差显著性图的红外与可见光图像融合[J]. 红外技术, 2020, 42(11): 1042-1047.
LI Chenyang, DING Kun, WENG Shuai, WANG Li. Image Fusion of Infrared and Visible Images Based on Residual Significance[J]. Infrared Technology , 2020, 42(11): 1042-1047.
Citation: LI Chenyang, DING Kun, WENG Shuai, WANG Li. Image Fusion of Infrared and Visible Images Based on Residual Significance[J]. Infrared Technology , 2020, 42(11): 1042-1047.

基于改进谱残差显著性图的红外与可见光图像融合

基金项目: 

国家自然基金项目 51777059

六大人才高峰工程 GDZB-006

详细信息
    作者简介:

    李辰阳(1995-),男,硕士研究生,主要从事图像处理方面的研究。E-mail:576419467@qq.com

  • 中图分类号: TP751.1

Image Fusion of Infrared and Visible Images Based on Residual Significance

  • 摘要: 为了将可见光图像与红外图像中的细节信息更多的呈现在融合图像中,突出目标特征并获得更好的图像视觉效果,本文提出一种基于改进谱残差显著性图的红外与可见光图像融合方法。首先用改进的谱残差显著性检测算法提取红外图像的显著性图并获得融合图像的显著性系数,然后对源图像进行双树复小波分解,并根据特定的融合规则分别对图像的低频部分以及高频部分进行融合,最后采用双树复小波逆变换重构获得最终的融合图像。实验表明,本文融合方法相较于传统融合方法融合质量更高并且在视觉效果上有显著提升。
  • 图  1  场景1红外图像以及显著性图

    Figure  1.  Saliency map of infrared image(Scene 1)

    图  2  场景2红外图像以及显著性图

    Figure  2.  Saliency map of infrared image(Scene 2)

    图  3  场景1算法改进前后显著性图

    Figure  3.  Contrast of saliency map (Scene 1)

    图  4  场景2算法改进前后显著性图

    Figure  4.  Contrast of saliency map (Scene 2)

    图  5  双树复小波分解示意图

    Figure  5.  Sketch map of DTCWT

    图  6  融合算法流程图

    Figure  6.  Image fusion flow chart

    图  7  场景1融合结果

    Figure  7.  Image fusion results(Scene 1)

    图  8  场景2融合结果

    Figure  8.  Image fusion results(Scene 2)

    图  9  场景3融合结果

    Figure  9.  Image fusion results(Scene 3)

    表  1  融合图像客观评价结果

    Table  1.   The objective evaluation results of fused images

    Scene Fusion method IE SD SF Qc MI
    Scene 1 LP 5.2477 25.0859 6.4781 0.6714 2.6909
    DWT 5.9016 20.5764 8.4659 0.7026 3.0138
    GFNSCT 5.9431 25.5093 12.0113 0.7223 3.1173
    Ours 5.9672 36.6538 12.6746 0.8148 3.1984
    Scene 2 LP 7.2489 44.5980 10.5057 0.7089 2.1191
    DWT 7.0574 40.5774 12.7919 0.6914 2.2907
    GFNSCT 7.1928 42.3394 15.7901 0.7218 2.3410
    Ours 7.2985 46.4514 15.9041 0.7901 2.3667
    Scene 3 LP 6.5528 26.4718 12.2714 0.7551 3.0173
    DWT 6.4503 25.7847 14.1124 0.8081 3.4493
    GFNSCT 6.6167 32.1633 16.5527 0.8271 3.5117
    Ours 7.0221 37.5441 16.9096 0.8650 3.6869
    下载: 导出CSV
  • [1] 敬忠良, 肖刚, 李振华.图像融合——理论与应用[M].北京:高等教育出版社, 2007.

    JING Zhongliang, XIAO Gang, LI Zhenhua. Image FusionTheory and Application[M]. Beijing: Higher Education Press, 2007.
    [2] 刘信乐.热红外图像与可见光图像融合方法研究[D].成都: 电子科技大学, 2013.

    LIU Xinle. Research on Fusion Method of infrared image and visible image[D]. Chengdu: University of Electronic Science and Technology of China, 2013.
    [3] 余美晨, 孙玉秋, 王超.基于拉普拉斯金字塔的图像融合算法研究[J].长江大学学报:自然科学版, 2016, 13(34): 770-776. http://www.cnki.com.cn/Article/CJFDTOTAL-CJDL201634005.htm

    YU Meichen, SUN Yuqiu, WANG Chao. Image fusion algorithm based on Laplacian pyramid[J]. Journal of Yangtze University: Natural Science, 2016, 13(34): 770-776. http://www.cnki.com.cn/Article/CJFDTOTAL-CJDL201634005.htm
    [4] Ashish V Vanmali, Vikram M Gadre. Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility[J]. Springer Nature, 2017(6): 1063-1082.
    [5] Gonzalo P, Jesus M A wavelet-based image fusion tutorial[J]. Pattern Recognition, 2004, 37(9): 1855-1872.
    [6] Seal Ayan, Bhattacharjee Debotosh, NasipuriMita. A trous wavelet transform based hybrid image fusion for face recognition using region classifiers[J]. Expert Systems, 2018(12): 2185-2188.
    [7] 王少杰, 潘晋孝, 陈平.基于双树复小波变换的图像融合[J].核电子学与探测技术, 2015, 35(7): 726-728.

    WANG Shaojie, PAN Jinxiao, CHEN Ping. Image fusion based on DT-CWT[J]. Nuclear Electronics & Detection Technology, 2015, 35(7): 726-728.
    [8] 林子慧, 魏宇星, 张建林, 等.基于显著性图的红外与可见光图像融合[J].红外技术, 2019, 41(7): 640-645. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201810021

    LIN Zihui, WEI Yuxing, ZHANG Jianglin, et al. Image fusion of infrared image and visible image based on saliency map[J]. Infrared Technology, 2019, 41(7): 640-645. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201810021
    [9] TIAN Huawei, FANG Yuming. Salient region detection by fusing bottom-up and top-down features extracted from single image[J]. IEEE Transaction on Image Processing, 2014, 23(10): 4389-4397. doi:  10.1109/TIP.2014.2350914
    [10] HOU X, ZHANG L. Salient detection: A spectral residual approach[C]//IEEE Conference on Computer Vison and Pattern Recognition, 2007: 18-23.
    [11] 郭玲, 杨斌.基于视觉显著性的红外与可见光图像融合[J].计算机科学, 2015, 42(6): 211-214. http://www.cnki.com.cn/Article/CJFDTotal-GXYQ201604005.htm

    GUO Ling, YANG Bin. Image fusion of infrared image and visible image based on visual saliency[J]. Computer Science, 2015, 42(6): 211-214. http://www.cnki.com.cn/Article/CJFDTotal-GXYQ201604005.htm
    [12] 张承鸿, 李范鸣, 吴滢跃.基于视觉显著性与对比度增强的红外图像融合[J].红外技术, 2017, 39(5): 421-426. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201612035

    ZHANG Chenghong, LI Fanming, WU Yingyue. Image fusion of infrared image and visible image based onvisual saliency and contrast enhancement[J]. Infrared Technology, 2017, 39(5): 421-426. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201612035
    [13] ZHENG Y F, Essock E. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]. Information Fusion, 2007, 8(2): 177-192. doi:  10.1016/j.inffus.2005.04.003
    [14] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]. Electron Lett, 2002, 38(7): 313-315. doi:  10.1049/el:20020212
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  85
  • HTML全文浏览量:  59
  • PDF下载量:  22
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-12-15
  • 修回日期:  2020-09-07
  • 刊出日期:  2020-11-20

目录

    /

    返回文章
    返回

    《红外技术》网站维护通知

    尊敬的专家、作者、读者:

    国庆假期期间(10月1日-3日)因设备维护,《红外技术》网站(hwjs.nvir.cn)将于2021年9月30日18:00-10月4日13:00关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

    《红外技术》编辑部

    2021年9月29日