基于显著性检测与MDLatLRR分解的红外与可见光图像融合

龙志亮, 邓月明, 王润民, 董俊

龙志亮, 邓月明, 王润民, 董俊. 基于显著性检测与MDLatLRR分解的红外与可见光图像融合[J]. 红外技术, 2023, 45(7): 705-713.
引用本文: 龙志亮, 邓月明, 王润民, 董俊. 基于显著性检测与MDLatLRR分解的红外与可见光图像融合[J]. 红外技术, 2023, 45(7): 705-713.
LONG Zhiliang, DENG Yueming, WANG Runmin, DONG Jun. Infrared and Visible Image Fusion Based on Saliency Detection and Latent Low-Rank Representation[J]. Infrared Technology , 2023, 45(7): 705-713.
Citation: LONG Zhiliang, DENG Yueming, WANG Runmin, DONG Jun. Infrared and Visible Image Fusion Based on Saliency Detection and Latent Low-Rank Representation[J]. Infrared Technology , 2023, 45(7): 705-713.

基于显著性检测与MDLatLRR分解的红外与可见光图像融合

基金项目: 

国家自然科学基金项目 62173140

国家自然科学基金项目 62072175

国家教育部人文社会科学研究基金项目 20YJCZH020

湖南省重点研发计划项目 2022GK2067

湖南省自然科学基金项目 2021JJ30452

湖南省教育厅重点基金项目 21A0052

湖南省教育厅科学研究项目 21C0008

详细信息
    作者简介:

    龙志亮(1998-),男,硕士研究生,研究方向为图像融合

    通讯作者:

    邓月明(1981-),男,硕士生导师,高级实验师,研究方向为智能系统与边缘计算。E-mail: dengyueming@hunnu.edu.cn

  • 中图分类号: TP391

Infrared and Visible Image Fusion Based on Saliency Detection and Latent Low-Rank Representation

  • 摘要: 针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题,提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先,使用基于显著性检测的方法对红外与可见光图像进行预融合;然后,使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层;其中细节层采用结构相似性和L2范数相结合的方法进行融合,低秩层使用基于能量属性的方法进行融合;最后,将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较,通过对比多组融合图像的主客观评价,其结果表明,相较于对比方法,本方法能够保留红外与可见光图像融合过程中源图像的有效细节,且融合结果具有较高的对比度,更符合人们的视觉理解。
    Abstract: To address the problems of missing detail and low contrast in the fusion of infrared and visible images, this study proposes a fusion method based on saliency detection and latent low-rank representation. First, a pre-fusion image is obtained by saliency detection for the infrared and visible images. Then, the infrared, visible, and pre-fused images are decomposed into low-rank and detail layers by the multilevel latent low-rank representation method. The detail layer is fused by combining the hyperspherical L2 norm and structural similarities, while the low-rank layer is fused using an approach based on the energy property. The final fused image is obtained by adding the fusion results of the low-rank and detail layers. The proposed method is compared with 11 representative image fusion methods by conducting subjective and objective evaluations of multiple groups of fused images. The results show that the image fusion method enhances the effective detail information and improves the image contrast, yielding a fusion result that is more in line with people's visual understanding.
  • 实现屋面渗漏追踪的技术关键点是实现对渗漏源的识别。现在主要依靠人工检测,检测效率低下,有时在渗漏源附近没有明显水域出现,很难找到渗漏源位置,对于复杂墙面往往要通过人工采取破坏性的方法查找渗水源,工程量大、效果不佳,造成的浪费极大,有些承重构架甚至无法通过人工找到渗水源。目前国内外还没有发现直接用于房屋渗水的专用检测装置,相关的检测方法效率不高、检测准确率低。本文利用红外热成像对地面渗水源头进行追踪检测,探索灰度分段映射图像增强方法和基于样板矩阵的图像快速识别技术,研究渗漏源红外自动快速检测方法,为屋面渗漏源检测提供有效的技术支持。

    渗漏源的识别是基于渗漏源附近水温存在差异这一物理特性。热水的渗漏问题较简单,这里主要研究冷水渗漏识别。一般渗水源的温度会比环境温度要低,由此可以依据红外图像的信息对渗漏源进行识别,但由于温差不大,需要先通过灰度分段映射扩大其渗漏图像边缘,再进行二值化处理得到渗漏边缘图像,最后再利用图像快速识别技术对处理后的图像进行快速识别。

    红外热像仪镜头所拍摄获得的红外图像难以区分渗漏区域,必须对图像中渗漏区域边缘部分进行放大。如果对插值放大得到的原始灰度图直接输出,图像的对比度低,成像图片的视觉效果较差[1]。人类的视觉特性是非线性和各向异性的。人眼倾向聚焦于变化的灰度域,并且对图像平滑段中的噪声比对特定段中的噪声更敏感,所以当增强图像时,使图像的部分特定段中对比度增加,而在平滑段中减弱[2]。这里采用灰度分段线性映射,其图像增强的原理如下。

    灰度分段线性映射图如图 1所示,设变量i为图像原始灰度最小值(初值为105),纵轴为灰度转换结果,横轴为原始灰度,n为不定值(根据实际应用环境决定值的大小)。通过增强图像中各部分间的反差,即具体通过增强图像中某两个灰度值间的动态范围来实现,在图 1中,经过灰度分段线性映射的变换过程,原图中灰度值在0~i和(i+n)~255间的动态范围增加了,而原图中灰度值在i~(i+n)间的动态范围减小了(in分别表示图像中最小灰度值和最大灰度值),从而使得整个范围内的对比度得到增强。

    图  1  灰度分段线性映射
    Figure  1.  Grayscale piecewise linear mapping

    i~(i+n)这一段显示绿色,低于i显示蓝色,高于(i+n)显示红色,n是显示绿色温度在灰度图里的宽度,灰度分段线性映射的计算公式如下式(1):

    $$ \left\{ {\begin{array}{*{20}{l}} {\frac{{90x}}{i}\left( {0 \leqslant x < i} \right)} \\ {\frac{{120\left( {x - i} \right)}}{n} + 90\left( {i \leqslant x \leqslant i + n} \right)} \\ {\frac{{55\left( {x - i - n} \right)}}{{255 - i - n}} + 200\left( {i + n < x \leqslant 255} \right)} \end{array}} \right. $$ (1)

    图像灰度分段映射是根据原始灰度图像中的每个像素灰度值,按照特定的映射规则,将其转换成另外的一个灰度值,从而达到增强图像视觉效果的目的。而分段线性灰度变换可以扩展图像上有用信息的灰度范围并增加对比度,而相应噪声的灰度范围最终会压缩到较小的区域。相较于其他类似算法,本文中将算法与嵌入式系统结合,进行了创新和改进。利用芯片对图像进行一个预处理,通过in动态变化来改变灰度分段映射的放大区间,以提高算法对图像的泛化处理能力。

    对于红外镜头接收到的一系列温度值,令TmaxTmin、$ \bar T $分别为其中的最大值、最小值和平均值:

    1)若|Tmax|-|Tmin|>0.1(|Tmax|+|Tmin|),得出$ {\bar T_1} = \frac{{\sum\limits_1^n {{T_i}} }}{n} $,其中Ti<[|Tmax|-0.04(|Tmax|+|Tmin|)];$ {\bar T_2} = \frac{{\sum\limits_1^n {{T_j}} }}{n} $,其中Tj<$ {\bar T_1} $;$ {\bar T_3} = \frac{{\sum\limits_1^n {{T_k}} }}{n} $,其中Tk>$ {\bar T_1} $, 则有x=2.55(0.6$ {\bar T_2} $+0.4$ {\bar T_3} $)。

    式中:$ {\bar T_2} $为低温部分的平均值;$ {\bar T_3} $为高温部分的平均值。这里考虑区域中温差过大的情况,可以突出低温部分向高温部分变化的情况。

    2)若|Tmax|-|Tmin|<0.1(|Tmax|+|Tmin|),则有x=2.55$ \bar T $。这里考虑区域不存在较大温差的情况,使用普通的灰度分段线性映射即可。

    这里可以使用此种映射方法,映射函数的变换曲线将原始图像根据像素灰度值分成3部分,在每部分中,变换后的像素灰度值都保持原来的次序,但都进行了扩展以此来提高对比度,这样,对应的3部分灰度的像素间梯度都会增加,即将低温部分和高温部分所占的比例扩大,缩小中间温度所占的灰度比例,从而有效地提高成像结果的视觉效果和图像识别处理效果。

    经过灰度分段映射处理后的图像还需要对渗漏区域进行提取。本文通过对比红外成像中温度异常区域的温度和环境温度进行异常区域的筛选。

    渗漏区域提取的方法。根据载体外置的温度传感器提取并保存正常的环境温度,在整个图像范围内进行比较。如果存在异常温度区域,则对图像进行二值化处理,得到异常温度区域的边缘图像。

    图像的识别一般采用霍夫变换来实现,但霍夫变换占用内存较多、计算复杂且不容易识别到类圆形。目前应用较多的图像识别方法,计算都较为复杂,不适用于快速识别的场景。对于快速图像识别的难题,本文提出了基于样板矩阵的图像快速识别技术。

    样板矩阵是由样板图像的图像数据组成的,样板图像的每个像素点对应矩阵中同位置的数据。如图 2为直线样板所呈现的数据矩阵,图 3为渗漏区域红外图像。

    图  2  样板矩阵和样板图像
    Figure  2.  Template matrix and template image
    图  3  渗漏区域红外图像
    Figure  3.  An infrared image of leakage area

    考虑到温度异常区域有其他干扰因素,例如屋面下埋藏的其他管道。将经过二值化处理后的图像与样板矩阵比对,如果异常区域边缘呈现非渗漏区域的边缘图像,则认定为此异常区域非渗漏区域,反之则认定为渗漏区域。

    渗漏区域图像识别的方法。存储若干有关的渗漏区域图像边缘的样板矩阵,将二值化处理后的异常温度区域图像分成若干个小块和多个样板图像进行比对,如果多个子区域与样板图像存在高度相同,则认定此区域不为渗漏区域。操作步骤如图 4

    图  4  图像识别处理流程
    Figure  4.  Image recognition process

    X为异常温度区域的数据矩阵,X1, X2, …, Xn为样板矩阵,K为识别系数。将异常温度区域的数据矩阵和样板矩阵相对应的数值相乘累加得到S

    如果S值超过识别系数K,则说明异常温度区域边缘呈直线,不为渗漏区域。如果所有小区块的S值都小于K值,则说明异常温度区域为渗漏区域。K的取值与数据矩阵的数值和图像对比的识别宽容度相关,需根据具体情况进行设定。

    如果利用SRC(Sparse Representation-based Classification)的方法,SVM(Support Vector Machine)的方法,基于HOG(Histogram of Oriented Gridients)特征的方法以及基于深度特征学习的方法[3],图像识别率会有大幅度的提升,但计算性价比相较于本文方法较低,而此方法与霍夫变换等基础的图像识别手段相比有效地提升了效率且识别精准度也有了提升。

    实现渗漏源循迹有两个必要条件:一是确定渗漏的方向;二是设计载体行进的轨迹。

    根据渗漏源的扩散规则,渗漏源至扩散边缘的温度是逐渐升高的,由此可以确定渗漏区域的扩散方向。只需要保持红外图像的中心位于扩散区域的中心,且方向与扩散方向相反,则可以让运动装置沿着扩散痕迹追踪到扩散源头。

    一般的循迹算法需要额外的摄像头做辅助观察或者需要较为复杂的处理方法才能实现。本方法只需要保证图像中心点一直在渗漏区域内,且中心点的温度与周围温度存在温度梯度差,就可以实现追踪功能,且计算量极低,处理速度快。

    为了提高探测效率和记录渗漏源坐标,本文仿照扫地机器人设计了一种高效的行走线路规划。在进行搜寻之前先进行坐标系的建立,精确记录载体运动数据,建立轨迹地图,避免重复路径、记录渗漏源坐标。具体搜寻轨迹大致如图 5

    图  5  搜寻轨迹
    Figure  5.  Search trajectory

    利用optris PI640红外热像仪传感器阵列测温传感器、RZ/A2M芯片、Mecanum轮载体小车搭建了一个渗漏源自动追踪平台。通过蓝牙和按键来实现对整个系统的控制,可以实现自动渗漏源追踪、保存图片等功能。

    利用RZ/A2M芯片对红外传感器接收到的信息进行处理,芯片通过usb接口接受红外传感器信息,通过串口传输运动指令给载体,实现其渗漏源自动追踪功能。

    图 6所示,通过蓝牙和按键来实现对整个系统的控制,实现全自动的渗漏源追踪。使用串口来实现各个芯片和载体之间通信,实现对载体的运动控制。

    图  6  硬件系统组成结构图
    Figure  6.  Hardware system composition structure diagram

    图 7所示,系统在进行红外镜头初始化后,接收到红外镜头的红外图像数据,先初步构建一个地图以提高搜寻效率。通过灰度分段映射和图像识别技术对红外图像进行处理,判断是否存在渗漏区域。如果存在渗漏区域,则在渗漏区域中寻找渗漏源,找到渗漏源后,系统会记录渗漏源所在坐标。如果不存在渗漏区域,则系统继续进行寻找渗漏区域。如果系统完成全部区域的检测,则会停止运行在算法上避开传统图像识别的难题,根据实际问题用特殊的算法对图像中的部分信息进行识别,大幅提高了处理效率。地图的构建提升了载体运动的效率和检测速度。

    图  7  系统软件流程
    Figure  7.  System software flow

    用不同算法对同一幅图像进行处理,保证变量的唯一性,比较各个算法的结果。测试平台为笔记本电脑Windows 10企业版20H2、i7-10870H、matlabR2018a。

    将本文的图像插值算法与最邻近插值、双三次插值对比,分析各算法结果。

    表 1是各种插值算法对于红外成像方面处理的峰值信噪比。

    表  1  各种图像增强算法的峰值信噪比及其平均值
    Table  1.  Peak Signal to Noise Ratio of various image enhancement algorithms
    Nearest neighbor interpolate-on Bicubic interpolate-on Enhancement method in this
    paper
    Fan 34.8049 36.1934 36.7289
    Hand 33.6161 34.8478 35.2925
    Lenna 28.9225 30.1287 30.4744
    Cameraman 30.8624 32.311 32.6554
    Sponge 33.0744 35.191 36.3204
    下载: 导出CSV 
    | 显示表格

    峰值信噪比是对于图像质量优劣的重要评判标准,峰值信噪比越高代表图像的质量越好,越低代表图像质量越差[4],实验测得的各算法的峰值信噪比平均值如表 2

    表  2  各种图像增强算法的峰值信噪比平均值
    Table  2.  Average values of PSNR of various image enhancement algorithms
    Nearest neighbor interpolation Bicubic interpolation Enhancement method in this
    paper
    Average peak SNR 32.25 33.73 34.29
    下载: 导出CSV 
    | 显示表格

    表 2不难看出本文设计的插值算法是常见插值算法中对红外图像处理效果最好的一种,图像增强算法的峰值信噪比的平均值比常规最佳值大1.6%。

    算法对图像处理的先后顺序也会对最后的成像结果产生影响[5]。将灰度插值和伪彩色处理两种算法对图像的先后处理顺序进行了分析,了解最佳的算法顺序,测试结果如表 3

    表  3  算法处理先后顺序的区分差异
    Table  3.  Algorithm processing sequence difference
    PSNR SSIM
    Pseudo - color processing followed by interpolation amplification 19.9055 0.9399
    Grayscale interpolation and amplification followed by pseudo-color processing 23.3838 0.9805
    下载: 导出CSV 
    | 显示表格

    表 3可知,先灰度插值放大后伪彩色处理的信噪比大。仿真测试的图像如图 8,先灰度插值放大后伪彩色处理得到的图像更清晰。

    图  8  算法处理不同顺序结果对比图
    Figure  8.  Comparison of algorithm processing results in different sequences

    将本文红外图像识别算法与传统算法以及目前较为先进的多角度红外图像识别算法做对比。

    表 4可知,本文无论是与传统霍夫变换相比还是与现在最新的多角度红外图像目标识别相比,处理速度上都有着较大的优势,识别准确率也有着一定的优势。即使使用优化后的霍夫变换(基于投影法的Hough变换)[6],处理速度依然比不过本文所提出的快速识别算法。

    表  4  不同算法处理红外识别问题的时间
    Table  4.  Time for different algorithms to deal with infrared recognition problems
    Hough transform Multi-angle infrared image
    target recognition method
    This paper
    proposes a fast
    recognition algorithm
    Accuracy/% 76.4 95.2 86.9
    The average
    time/ms
    214 127 32
    下载: 导出CSV 
    | 显示表格

    本文建立了一个5 m×3 m的屋面模拟渗漏区域,此区域内存在一个或多个渗漏区域。在地面覆盖一层木板来模拟实际屋面情况,在木板下分别设置1~3个固定出水源来模拟未知渗漏源,分别进行25次搜寻测试,记录对每个渗漏源的搜索结果。

    利用Mecanum轮小车模拟搭载检测系统的载体,实物图和结构分析图分别见图 9图 10,通过对Mecanum轮结构的分析,在平面内运动时轮子有3个自由度,基于轮子特点通过4个轮子的组合,实现平面内全方位移动,实现检测系统的运动。

    图  9  Mecanum轮实物图
    Figure  9.  Actual picture of Mecanum wheel
    图  10  具体运动分量
    Figure  10.  Specific motion components

    实现渗漏源的准确追踪需要精确且灵活的运动装置,这里使用Mecanum轮式小车来充当运动载体。轮式移动机器人被认为是一种在水平面上具有线性和角度运动的规划器机构[7],而Mecanum可以通过电机控制每个轮子的运动分量来实现360°的无死角运动。

    红外图像经过处理后,将图像处理后的识别结果经过分析,向载体发出控制信号通过控制每个Mecanum轮的运动分量来控制小车运动。具体控制方程如下:

    $$ \begin{array}{*{20}{c}} {V = \left[ {{v_x},{v_y},{w_v}} \right]} \\ {{V_1} = {v_x}*{k_x} - {v_y}*{k_y} - {w_v}*\left( {a + b} \right)} \\ {{V_2} = {v_x}*{k_x} + {v_y}*{k_y} - {w_v}*\left( {a + b} \right)} \\ {{V_3} = {v_x}*{k_x} - {v_y}*{k_y} + {w_v}*\left( {a + b} \right)} \\ {{V_4} = {v_x}*{k_x} + {v_y}*{k_y} + {w_v}*\left( {a + b} \right)} \end{array} $$

    式中:V为小车整体的合成速度;V1V2V3V4为小车四轮的对应速度;k为系数和实际情况有关;Wv为小车转动的角速度。

    对不同位置的模拟渗漏源进行多次测试,得到表 567测试结果。源1、源2、源3分别代表渗漏源1、渗漏源2、渗漏源3。

    表  5  系统测试结果-1个渗漏源
    Table  5.  System test results -1 leakage source
    Times Time -consuming /s Results
    1 70
    2 65
    3 74
    4 71
    5 73 ×
    6 78
    7 67
    8 64
    9 72
    10 63
    11 61
    12 81
    13 81
    14 61 ×
    15 68
    16 61
    17 78
    18 83
    19 81
    20 58
    21 64
    22 62
    23 67
    24 59
    25 68
    下载: 导出CSV 
    | 显示表格
    表  6  系统测试结果-2个渗漏源
    Table  6.  System test results -2 leakage sources
    Times Time -
    consuming/s
    The source
    1 results
    The source
    2 results
    1 72
    2 76
    3 81
    4 75 ×
    5 74
    6 73
    7 68
    8 84
    9 72 ×
    10 71
    11 69
    12 76
    13 73
    14 67 ×
    15 81
    16 88 ×
    17 81
    18 73
    19 72
    20 71
    21 68
    22 67
    23 69
    24 62 ×
    25 66
    下载: 导出CSV 
    | 显示表格
    表  7  系统测试结果-3个渗漏源
    Table  7.  System test results -3 leakage sources
    Times Time -
    consuming/s
    The source 1 results The source 2 results The source 3 results
    1 81
    2 82 ×
    3 89 ×
    4 75
    5 71
    6 65
    7 72
    8 73
    9 87
    10 81 ×
    11 59
    12 62
    13 76
    14 71
    15 69
    16 67
    17 81
    18 62
    19 69
    20 76
    21 77
    22 80 ×
    23 85
    24 74
    25 73 ×
    下载: 导出CSV 
    | 显示表格

    表 567可知(√和×分别表示渗漏源检测成功与失败),经过75次测试,整个系统总检测150个次渗漏源,仅出现12个次渗漏源漏测现象,检测总成功率为92%,最长检测时间为89 s。单渗漏源情况平均耗时为69.2 s、成功率为92%,双渗漏源平均耗时为73.16 s、成功率为90%,3个渗漏源平均耗时为74.28 s、成功率为93.3%,探测时间和成功率基本无差别,渗漏源数量对探测耗时和探测成功率的影响极小,说明系统可以有效检测渗漏源。整个检测过程中,蓝牙和功能键均能正常工作,有效控制系统的运行。

    针对屋面漏水渗水源查找困难问题,采用红外识别的方法,研究了基于样板矩阵的图像识别技术和基于渗漏区域红外图像特征的灰度分段映射图像增强方法,设计了一个屋面全自动渗漏源检测系统,该技术能够对地面渗水情况进行精准查源、应用范围广,非接触式、大面积检测、高效稳定,降低渗漏检测的成本,下一步研究中加入HOG等深度学习相关算法,通过结合具体环境训练出针对的灰度转换函数以及渗漏识别参数,对成像效果进行机器评分,在不同环境下切换对应训练后的算法,实现最好性能。以Mecanum轮小车为载体,对模拟渗漏区域进行检测,检测准确率大于90%,检测时间最长为89 s。选用不同的载体,该系统可以应用于各类不明渗水源的检测。

  • 图  1   本文方法的总体框架

    Figure  1.   Framework of the proposed method

    图  2   图像预融合的实现框架

    Figure  2.   Realization framework of image pre-fusion

    图  3   细节层图像融合框架图

    Figure  3.   Detail layer image fusion framework

    图  4   数据集‘Camp’的融合图像

    Figure  4.   Fusion image of dataset 'Camp'

    图  5   数据集‘Kaptein’的融合图像

    Figure  5.   Fusion image of dataset 'Kaptein'

    图  6   数据集‘Marne’的融合图像

    Figure  6.   Fusion image of dataset 'Marne'

    图  7   数据集‘Airplane in Trees’的融合图像

    Figure  7.   Fusion image of dataset 'Airplane in Trees'

    表  1   数据集‘Camp’的融合结果客观评价指标

    Table  1   Objective evaluation indicators of fusion results on dataset 'Camp'

    Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s
    CBF 4.862 0.464 51.008 6.548 1.062 510.614 27.418 11.644 1.260 0.284 7.716
    CNN 4.569 0.239 47.485 7.102 1.394 349.232 37.269 11.506 1.414 0.469 23.71
    GFCE 6.747 1.569 70.022 7.202 1.295 603.566 38.121 15.649 1.123 0.510 0.386
    GFF 4.045 0.478 42.519 6.524 1.163 444.798 27.393 10.554 1.433 0.272 0.086
    HMSD_GF 5.204 0.379 53.686 6.936 1.356 416.013 36.358 13.164 1.412 0.540 0.363
    IVFusion 8.720 0.859 91.261 7.355 0.948 796.213 42.972 20.731 1.054 1.030 14.22
    LP 5.371 0.294 56.580 7.289 1.167 601.295 45.316 12.937 1.389 0.703 0.339
    MDLatLRR 8.398 0.250 88.341 7.192 1.094 653.114 42.825 20.818 1.252 1.161 52.55
    NSST_PCNN 4.135 0.601 43.284 6.649 1.189 295.207 29.113 10.722 1.471 0.408 62.50
    TIF 4.394 0.672 46.186 6.639 1.307 323.957 29.249 11.043 1.513 0.557 0.025
    WLS 4.628 0.543 47.058 6.603 1.091 400.285 28.251 11.782 1.461 0.452 0.572
    Proposed 9.549 0.372 100.363 7.489 1.143 183.030 54.758 22.880 1.019 0.977 12.42
    下载: 导出CSV

    表  2   数据集‘Kaptein’的融合结果客观评价指标

    Table  2   Objective evaluation indicators of fusion results on dataset 'Kaptein '

    Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s
    CBF 5.599 1.672 58.013 6.878 1.295 319.046 36.413 13.255 1.079 0.327 16.24
    CNN 4.493 1.073 45.282 7.312 1.710 145.364 57.149 11.534 1.365 0.533 55.98
    GFCE 8.015 1.734 76.406 7.584 1.418 553.108 54.349 19.889 0.888 0.559 2.327
    GFF 4.133 1.103 41.579 7.129 3.341 374.493 52.447 10.947 1.353 0.381 0.523
    HMSD_GF 5.147 1.250 51.318 7.253 1.619 129.287 53.568 13.133 1.359 0.602 0.916
    IVFusion 8.774 0.843 87.343 7.258 0.744 243.631 43.409 22.083 1.004 0.894 70.26
    LP 5.113 1.012 51.605 7.369 1.663 504.230 58.894 12.689 1.309 0.697 0.533
    MDLatLRR 8.798 1.145 89.001 7.196 0.885 353.961 50.387 22.812 1.064 0.839 145.5
    NSST_PCNN 4.256 2.007 42.916 6.739 1.427 124.723 43.423 11.163 1.403 0.452 124.1
    TIF 4.218 1.964 43.059 6.613 1.058 152.787 33.914 10.801 1.392 0.489 0.044
    WLS 4.728 1.865 46.134 6.743 1.398 157.646 42.077 12.158 1.395 0.469 3.834
    Proposed 9.630 1.186 95.924 7.171 1.169 528.788 70.799 25.193 0.927 0.913 63.67
    下载: 导出CSV

    表  3   数据集‘Marne’的融合结果客观评价指标对比

    Table  3   Objective evaluation indicators of fusion results on dataset 'Marne'

    Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s
    CBF 5.510 1.172 57.215 6.957 0.741 859.46 31.876 12.906 0.918 0.210 16.31
    CNN 3.013 0.640 29.321 7.411 1.362 1066.3 45.254 7.576 1.357 0.606 53.88
    GFCE 5.366 1.011 47.239 7.444 0.939 1296.6 42.973 14.087 1.062 0.659 2.414
    GFF 2.513 0.582 22.849 7.113 3.002 443.47 40.391 7.010 1.362 0.119 0.570
    HMSD_GF 3.429 0.712 33.045 7.450 1.687 1372.6 45.971 8.704 1.345 1.065 2.442
    IVFusion 6.547 0.639 59.878 7.782 1.547 1707.7 59.069 16.922 0.985 1.144 39.02
    LP 3.346 0.404 32.674 7.368 1.519 405.41 45.814 8.056 1.244 0.519 0.485
    MDLatLRR 5.746 0.725 56.777 7.254 0.857 899.58 38.720 14.517 1.146 0.962 149.2
    NSST_PCNN 2.936 0.799 28.508 7.230 1.673 808.54 38.255 7.431 1.394 0.567 126.4
    TIF 2.684 1.162 27.618 6.839 1.004 1293.7 28.530 6.678 1.381 0.475 0.036
    WLS 3.861 0.750 36.552 7.182 1.271 882.73 39.416 10.166 1.339 0.691 3.642
    Proposed 7.360 0.590 65.360 7.805 1.437 459.2 65.821 20.057 0.898 0.702 42.86
    下载: 导出CSV

    表  4   数据集‘Airplane in Trees’的融合结果客观评价指标对比

    Table  4   Objective evaluation indicators of fusion results on dataset 'Airplane in Trees'

    Methods AG CE EI EN MI QCV SD SF SSIM VIF Time/s
    CBF 3.934 1.298 42.149 6.522 1.367 1431.60 40.857 9.671 1.362 0.332 13.62
    CNN 2.484 1.443 26.972 6.654 2.391 181.686 59.796 6.373 1.654 0.546 40.85
    GFCE 5.283 1.094 57.008 7.387 1.893 302.870 61.272 11.670 1.187 1.142 1.601
    GFF 2.431 1.502 26.516 6.494 2.257 964.541 50.078 6.179 1.652 0.429 0.402
    HMSD_GF 2.732 1.137 29.404 6.661 2.076 198.739 59.171 7.196 1.652 0.587 1.669
    IVFusion 5.419 1.733 58.824 7.115 0.824 739.613 35.871 12.672 1.246 1.304 36.75
    LP 2.799 1.255 30.534 6.987 1.689 381.239 62.178 6.667 1.626 0.776 0.176
    MDLatLRR 4.843 1.032 52.793 7.129 1.233 402.472 45.285 12.417 1.401 1.047 173.6
    NSST_PCNN 2.379 1.224 25.960 6.683 1.934 189.736 48.505 6.016 1.676 0.451 150.2
    TIF 2.379 1.430 25.784 6.505 1.442 366.907 34.257 6.189 1.670 0.462 0.048
    WLS 2.404 1.221 25.689 6.611 1.885 224.499 46.689 5.920 1.687 0.489 2.484
    Proposed 5.897 2.373 64.020 7.162 1.501 260.734 81.195 15.109 1.039 1.453 32.75
    下载: 导出CSV
  • [1]

    MA J, TANG L, XU M, et al. STD FusionNet: An infrared and visible image fusion network based on salient target detection[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-13.

    [2]

    MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004

    [3]

    YAN H, ZHANG J X, ZHANG X. Injected infrared and visible image fusion via l1 decomposition model and guided filtering[J]. IEEE Transactions on Computational Imaging, 2022, 8: 162-173. DOI: 10.1109/TCI.2022.3151472

    [4] 唐霖峰, 张浩, 徐涵, 等. 基于深度学习的图像融合方法综述[J]. 中国图象图形学报, 2023, 28(1): 3-36. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301002.htm

    TANG L F, ZHANG H, XU H, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301002.htm

    [5]

    ZHANG X. Deep learning-based multi-focus image fusion: A survey and a comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(9): 4819-4838.

    [6]

    REN L, PAN Z, CAO J, et al. Infrared and visible image fusion based on weighted variance guided filter and image contrast enhancement[J]. Infrared Physics & Technology, 2021, 114: 103662.

    [7]

    LI G, LIN Y, QU X. An infrared and visible image fusion method based on multi-scale transformation and norm optimization[J]. Information Fusion, 2021, 71: 109-129. DOI: 10.1016/j.inffus.2021.02.008

    [8]

    TAN X, GUO L. Visible and infrared image fusion based on visual saliency detection[C]//2020 19th International Symposium on Distributed Computing and Applications for Business Engineering and Science (DCABES). IEEE, 2020: 134-137.

    [9]

    Bavirisetti D P, Dhuli R. Two-scale image fusion of visible and infrared images using Sali ency detection[J]. Infrared Physics & Technology, 2016, 76: 52-64.

    [10] 霍星, 邹韵, 陈影, 等. 双尺度分解和显著性分析相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2021, 26(12): 2813-2825. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202112005.htm

    HUO X, ZOU Y, CHEN Y, et al. Dual-scale decomposition and saliency analysis based infrared and visible image fusion[J]. Journal of Image and Graphics, 2021, 26(12): 2813-2825 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202112005.htm

    [11]

    LIU G, YAN S. Latent low-rank representation for subspace segmentation and feature extraction[C]//2011 International Conference on Computer Vision. IEEE, 2011: 1615-1622.

    [12] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576

    SUN B, ZHUGE W W, GAO Y X, et al. Infrared and visible image fusion based on latent low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576

    [13]

    LI H, WU X J, Kittler J. MDLatLRR: A novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746.

    [14]

    TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J/OL]. Neural Computing and Applications, 2020, https://doi.org/10.1007/s00521-020-05173-2.

    [15]

    WANG Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612.

    [16] 张蕾, 金龙旭, 韩双丽, 等. 采用非采样Contourlet变换与区域分类的红外和可见光图像融合[J]. 光学精密工程, 2015, 23(3): 810-818. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503027.htm

    Zhang L, Jing L X, Han S L, et al. Fusion of infrared and visual images based on non-sampled Contourlet transform and region classification[J]. Optics and Precision Engineering, 2015, 23(3): 810-818. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503027.htm

    [17]

    Alexander Toet. TNO Image Fusion Dataset[EB/OL]. 2014. https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029.

    [18]

    Shreyamsha Kumar B K. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204.

    [19]

    LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018.

    [20]

    ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Applied Optics, 2016, 55(23): 6480-6490.

    [21]

    LI S, KANG X, HU J. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875.

    [22]

    Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]. IEEE Transactions on Communications, 1983, 31(4): 532-540.

    [23]

    MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.

    [24]

    ZHANG X, YE P, XIAO G. VIFB: A visible and infrared image fusion benchmark[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 104-105.

图(7)  /  表(4)
计量
  • 文章访问数:  182
  • HTML全文浏览量:  40
  • PDF下载量:  40
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-12-16
  • 修回日期:  2023-02-20
  • 刊出日期:  2023-07-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日