模态自适应的红外与可见光图像融合

曲海成, 王宇萍, 高健康, 赵思琪

曲海成, 王宇萍, 高健康, 赵思琪. 模态自适应的红外与可见光图像融合[J]. 红外技术, 2022, 44(3): 268-276.
引用本文: 曲海成, 王宇萍, 高健康, 赵思琪. 模态自适应的红外与可见光图像融合[J]. 红外技术, 2022, 44(3): 268-276.
QU Haicheng, WANG Yuping, GAO Jiankang, ZHAO Siqi. Mode Adaptive Infrared and Visible Image Fusion[J]. Infrared Technology , 2022, 44(3): 268-276.
Citation: QU Haicheng, WANG Yuping, GAO Jiankang, ZHAO Siqi. Mode Adaptive Infrared and Visible Image Fusion[J]. Infrared Technology , 2022, 44(3): 268-276.

模态自适应的红外与可见光图像融合

基金项目: 

辽宁省教育厅一般项目 LJ2019JL010

辽宁工程技术大学学科创新团队资助项目 LNTU20TD-23

详细信息
    作者简介:

    曲海成(1981-),男,博士,副教授,主要研究方向:图像与智能信息处理。E-mail:quhaicheng@lntu.edu.cn

  • 中图分类号: TP391

Mode Adaptive Infrared and Visible Image Fusion

  • 摘要: 为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题,提出一种模态自适应的红外与可见光图像融合方法(mode adaptive fusion, MAFusion)。首先,在生成器中将红外图像与可见光图像输入自适应加权模块,通过双流交互学习二者差异,得到两种模态对图像融合任务的不同贡献比重;然后,根据各模态特征的当前特性自主获得各模态特征的相应权重,进行加权融合得到融合特征;最后,为了提高模型的学习效率,补充融合图像的多尺度特征,在图像融合过程中加入残差块与跳跃残差组合模块,提升网络性能。在TNO和KAIST数据集上进行融合质量测评,结果表明:主观评价上,提出的方法视觉效果良好;客观评价上,信息熵、互信息和基于噪声的评价性能指标均优于对比方法。
    Abstract: To solve the problems of low contrast and high noise of fused images in low illumination and smoky environments, a mode-adaptive infrared and visible image fusion method (MAFusion) is proposed. Firstly, the infrared and visible images are input into the adaptive weighting module in the generator, and the difference between them is learned through two streams interactive learning. The different contribution proportion of the two modes to the image fusion task in different environments is obtained. Then, according to the characteristics of each modal feature, the corresponding weights of each modal feature are obtained independently, and the fusion feature is obtained by weighted fusion. Finally, to improve the learning efficiency of the model and supplement the multi-scale features of the fused image, a residual block and jump connection combination module are added to the image fusion process to improve the network performance. The fusion quality was evaluated using the TNO and KAIST datasets. The results show that the visual effect of the proposed method is good in subjective evaluation, and the performance indexes of information entropy, mutual information, and noise-based evaluation are better than those of the comparison method.
  • 目前,类似于微光夜视仪的直视型微光装备可靠性试验主要通过“拷机”即静态工作过程来实现。试验时,参试人员间歇性地观察被试品显示端图像,通过人工判读被试品目镜视场的方法来确定被试品是否处于正常工作状态[1]。此方法存在以下不足:一是人工试验鉴定效率低且易发生漏检。可靠性试验具有工作量大、重复性高的特点。由于设备批量大,采用人工方法需要多名检测人员每天长时间工作、连续几个月以上才能完成,耗时耗力。而且,试验中人员间隔对设备进行检查,检查间隙内出现的偶发故障则很难被发现。加之检查很大程度取决于检查人员技术水平和检查经验,主观性大,极易发生漏检。二是人工试验鉴定缺乏有效的故障数据存储处理,不利于技术的持续改进。以人工检测为主的试验方法主要依靠肉眼识别,对出现的故障进行简短的文字描述与记载。这样的检测记录方式存在两个问题:一方面,人工检测记录在装备出现故障时难以完备具体、定性定量地记录故障对装备各个部件的影响,在提供故障检测报告时缺乏有力佐证,且由于故障出现的随机性,难以复现;另一方面,人工检测记录的方式缺乏有效的检测数据存储,无法形成故障数据样本集,这为技术改进增加了难度。

    综上所述,现有直视型装备的可靠性试验所存在的问题归根结底是检测手段无法满足日益增长的检测需求,因此亟需一种智能的、高效的替代人工检查的技术[2-3]。从图像中提取特征获得场景信息是区域监视、目标识别等领域的重要手段。图像质量评价方法可通过衡量图像变化程度来实现视场异常检测[4-5]。传统的图像质量评价方法包括利用图像像素偏离量度量图像下降质量的方法[6],如均方误差度量(Mean-Square Error,MSE)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)等;计算图像像素灰度幅度变化(等价为图像边缘信息)衡量图像质量的方法[7];利用图像灰度分布计算信息熵的方法[8]等。基于小波变换[9]与结构相似性(Structural SIMilarity,SSIM)理论[10-12]的评估方法与人类视觉系统类似,其出现使图像质量评价的准确性有了较大提升。

    本文通过设计转接环连接相机与直视型微光装备进行图像的采集获取,采用结构相似性算法进行异常图像的自动检测,从而实现对直视型微光装备在可靠性试验中的故障诊断。

    基于SSIM算法的直视型微光装备可靠性试验故障诊断通过在被试品目镜上采用连接环固定图像采集设备的方法来获取图像,连续采集记录在被试品可靠性试验过程中目镜里的图像信息。通过设定图像模板,计算被试品监测图像与模板图像的相似度,识别被试品工作过程中的故障,标记、记录并报警,实现被试品工作过程中的故障自动监测。

    被试品与图像采集设备间的可靠连接是稳定采集图像的前提。文中利用直视型微光装备目镜上预留的眼罩螺纹与工业相机镜头上的滤镜螺纹进行可靠连接。按照被试品目镜上螺纹规格和相机镜头滤镜螺纹规格设计加工连接环,一端与被试品连接,另一端与视频采集设备镜头连接,即可实现被试品与图像采集设备间的可靠连接。采集图像时,通过手动调节被试品视度、相机焦距和被试品焦距来实现被试品图像的高清采集。在图像采集相机和镜头选定后,适配该相机的转接环尺寸也随即确定。实际应用中不同被试品眼罩转接环尺寸可能有所差异,为保证转接环能够适用多型装备,可预先按照常用眼罩螺纹规格设计加工系列与相机连接的转接环,如图 1所示的M21×0.7-M25.5×0.5,使用时,根据被试品眼罩螺纹规格,选用相匹配的转接环。

    图  1  转接环加工示意图
    Figure  1.  Adaptors processing diagram

    图像采集设备应尽量满足以下要求:

    1)图像采集的效果应尽可能模拟或超过人眼观察效果,保证软件处理的准确性;

    2)相机与被试品间的连接不影响被试品的正常操作和整体平衡,相机重量应尽量轻,体积尽量小;

    3)实际试验中可能存在多路图像同时采集的需求,为便于后期图像处理和管理,要求相机接口以Ethernet为主。

    文中选择高分辨率彩色相机(型号A3600MU60)作为图像采集设备,配置12mm 1:2.0 1/1.8″镜头。表 1展示了其基本参数。

    表  1  图像采集设备基本参数
    Table  1.  Basic parameters of image acquisition equipment
    Parameter Value
    Resolution 1920×1200
    Maximum frame rate 54fps@1920×1200
    Camera type Color camera
    Pixel size 4.8μm×4.8μm
    Exposure time 59μs-10s
    Data interface Gigabit Ethernet
    Power supply Voltage range 5-15 V,Support PoE power supply
    Power consumption 2.9 W@12VD
    Lens interface C-Mout
    下载: 导出CSV 
    | 显示表格

    SSIM算法利用图像像素间的相关性,结合亮度l、对比度c以及两个复杂结构信号间的结构变化s对图像质量进行客观量化评估。

    定义图像亮度为:

    $${\mu _x} = \frac{1}{N}\sum\limits_{i = 1}^N {{x_i}} $$

    式中:xi为图像第i个像素点的灰度值;N为图像的像素总个数。

    x为模板图像信号,y为待测图像信号。采用平均亮度(μx, μy)计算亮度相似性,定义为:

    $$l\left( {x,y} \right) = \frac{{2{\mu _x}{\mu _y} + {C_1}}}{{\mu _x^2 + \mu _y^2 + {C_1}}}$$

    采用标准差(σx, σy)来估计对比度相似性,定义为:

    $$c\left( {x,y} \right) = \frac{{2{\sigma _x}{\sigma _y} + {C_2}}}{{\sigma _x^2 + \sigma _y^2{\rm{ + }}{C_2}}}$$

    采用$\left( {\frac{{{\mu _i} - {\mu _x}}}{{{\sigma _x}}},\frac{{{y_i} - {\mu _y}}}{{{\sigma _y}}}} \right)$来计算结构相似度s(x, y),定义为:

    $$s(x,y) = \frac{{2{\sigma _{xy}} + {C_3}}}{{{\sigma _x} + {\sigma _y} + {C_3}}}$$

    式中:σxy为参考图像信号x和失真图像信号y的相关系数,计算为:

    $${\sigma _{xy}} = \frac{1}{{N - 1}}\sum\limits_{i = 1}^N {\left( {{x_i} - {\mu _x}} \right)\left( {{y_i} - {\mu _y}} \right)} $$

    上述公式中的C1C2C3为引入常数,避免μx2+μy2σx2+σy2值接近0时引起公式无意义。

    在实际操作过程中,通常引入参数α, β, γ>0调整亮度、对比度和结构性信息的权重,确定较为合适的SSIM值,定义如下:

    SSIM=[l(x, y)]α[c(x, y)]β[s(x, y)]γ

    在评价被测图像质量时,SSIM算法用一定尺寸的窗口沿图像逐像素地从左上角到右下角移动,每次计算两幅图像中窗口对应子图像的SSIM值。得到的所有子图像的SSIM值的平均即为该待测图像相较于模板图像的相似度,记为MSIMM(X, Y)表示为:

    $${\rm{MSIMM}}(X,Y) = \sum\limits_{j = 1}^M {{\rm{SSIM}}\left( {{X_j},{Y_j}} \right)} $$

    式中:M为子图像块的数量。

    异常诊断软件主要根据SSIM算法计算得到的待测图像与模板图像的相似度判定待测设备是否出现故障。软件运行情况如图 2,诊断流程主要包括:确定模板图像、选定相似度判决阈值、SSIM算法计算相似度、实时检测筛选异常图像并对异常信息做出警告与记录。其主要步骤如下:

    图  2  软件运行界面
    Figure  2.  Interface of the fault diagnosis software

    1)确定模板图像:对于直视型微光装备可靠性试验而言,通常在一个大的、较为黑暗条件下的工房中或晚上照度较小的野外进行。SSIM算法需提前确定好模板图像,即提前将直视型微光装备的视场固定。模板图像作为判定被试装备异常的基础,在选取过程中需严格控制相关外部条件。在视场中心放置一个特征明显、占据直视型微光装备目镜视场1/3~2/3视场的物体,同时控制现场外部光线不出现明显变化,保证直视型微光装备空间位置不变,点击软件拍照功能,存储为模板;

    2)相似度判决阈值确定:正式试验前,录制一段被试品目镜视场的视频,期间通过人为开关机操作和遮挡目镜镜头等方式模拟故障,将视频逐帧图像与选定的模板进行比较,得到系列相似度值,将其与故障现象对照,确定出故障出现的最大相似度值,进而作为相似度判决阈值;

    3)对于筛选出的异常图像,需发出警告信息并记录序号和时间信息,与图像一起存入告警文件夹。

    本文基于MATLAB GUI设计开发直视型微光装备可靠性自动诊断软件,界面如图 2所示。

    根据1.2的描述选择图像采集设备,按照图 3所示的方式通过转接环连接图像采集设备与直视型微光装备目镜。被试微光夜视仪开机,通过相机参数调节,使拍摄到的图像满足观察和软件处理需求。本文实践中依据测试实际情况设置相机采样频率为1 Hz。

    图  3  图像采集设备与被测设备连接图
    Figure  3.  Connection diagram of image acquisition device and equipment under test

    设置模板图像为设备正常工作时相机传回的监视图像,如图 4

    图  4  模板图像
    Figure  4.  Template image

    直视型微光装备可靠性试验主要检测一定工作时间内装备是否正常工作,可能出现的故障有:设备非正常关机、图像质量非正常变化等[3, 13]。故障发生时,监视器中的图像主要表现为:视场出现黑斑、十字刻度消失、黑屏。

    采集过程中,通过人为开关机操作和遮挡被试品目镜镜头等方式模拟微光夜视仪可靠性试验过程中出现故障的情况,可覆盖故障时视场变化情况。共获得93幅图像,其中故障图像15幅,如图 5(下标为对应图像在模拟试验获取的图像序列中的编号),构成本文装备可靠性试验工作图像数据集。

    图  5  故障模拟图像
    Figure  5.  Fault simulation images

    利用SSIM算法进行图像相似度计算,采集的监视图像与模板图像相似度计算结果如图 6所示;根据图像序号挑选出相似度小于设定阈值(根据SSIM分布特征和历史经验数据提前确定,本文取0.5)的图像,用“*”表示,这些图像正是数据集中模拟所得的故障图像。故障检测率达到100%且未出现虚警。

    图  6  相似度计算结果
    Figure  6.  Results of similarity calculation

    该试验证明,通过合理地设置相似度阈值,SSIM算法能够准确地诊断出可靠性试验过程中,被试装备图像的异常情况。

    直视型微光装备的可靠性试验一般在暗室条件下进行。由于装备对环境照度变化十分敏感,需要保持室内环境照度相对稳定。实际试验中,物体移动、光源发生变化等都会引起室内环境照度不同程度变化[14-15]图 7(a)显示了某次试验中模拟人员走动、开关门和使用手机时暗室环境的照度变化曲线,图 7(b)展示了采集的对应图像与模板图像的SSIM值。其中,用“*”标记的点为与模板图像相似度小于0.5的图像。可以看到,微小的照度变化引起了被试品图像的显著变化。图 8(下标为对应图像在模拟试验获取的图像序列中的编号)展示了部分相似度小于0.5也被错误识别为异常的图像。

    图  7  环境照度变化对相似度计算结果的影响
    Figure  7.  Influence of environmental illumination changes on the results of similarity calculation
    图  8  因环境照度变化时被误识别为故障的图片
    Figure  8.  Images misidentified as malfunction due to changes in environmental illuminance

    可见,室内照度变化会显著影响SSIM算法图像诊断的准确性。在实际可靠性试验过程中,应该尽可能保证室内照度的稳定,从而提高算法诊断的准确性。

    本文针对传统的直视型微光装备可靠性试验故障诊断中的不足,讨论了一种基于机器视觉的自动故障诊断方法。该方法通过设计转接环连接工业相机与被试装备目镜,自动采集传输监视图像,采用SSIM算法计算测试图像与模板的相似度从而判断设备是否发生异常。实践表明该方法很好地符合了人工视觉观察判断的结果,可为实现装备可靠性自动故障检测提供有力支撑,同时指出试验环境照度变化对试验结果的显著影响。

  • 图  1   残差块结构图

    Figure  1.   Residual block structure

    图  2   生成器网络结构图

    Figure  2.   Structure diagram of generator network

    图  3   判别器网络结构图

    Figure  3.   Structure diagram of generator network

    图  4   自适应加权模块结构图

    Figure  4.   Adaptive weighted fusion module structure diagram

    图  5   残差块及跳跃连接组合模块

    Figure  5.   Combined module of residual block and jump connection

    图  6   KAIST数据集中“道路与行人”融合结果

    Figure  6.   Fusion results of "road and people" in KAIST dataset

    图  7   TNO数据集中“烟雾中的士兵”融合结果

    Figure  7.   Fusion results of "a soldier in the smog" in KAIST dataset

    图  8   TNO数据集中“士兵与车辆”融合结果

    Figure  8.   Fusion results of "soldiers and vehicles " in TNO dataset

    表  1   生成器网络整体结构

    Table  1   Overall structure of generator network

    layer k s n1 Input n2 Output fill function
    Feature extraction l0_ir 5×5 1 1 VIS 128 Conv0_ir VALID LReLU
    l0_vis 5×5 1 1 IR 128 Conv0_vis VALID LReLU
    Adaptive weighting module L11_w_ir 3×3 1 256 Concat(Conv0_ir, Conv0_vis) 128 ir_weight SAME LReLU
    L22_w_vis 3×3 1 256 Concat(Conv0_ir, Conv0_vis) 128 vis_weight SAME LReLU
    Routine
    convolution
    Layer1 5×5 1 256 Concat[multiply(Conv0_ir, ir_weight),
    multiply(Conv0_vis, vis_weight)]
    128 Net1 VALID LReLU
    Residual block Layer2 3×3 1 128 Net1 128 Net2 SAME LReLU
    Layer3 3×3 1 128 Net2 128 Net3 SAME -
    Add1 - - - Net1/Net3 - Net1+Net3 - LReLU
    Transfer layer Layer4 3×3 1 128 LReLU(Net1+Net3) 128 Net4 SAME LReLU
    Jump residual Add2 - - - Net1/net4 - Net1+net4 - -
    Output layer Layer5 3×3 1 128 Net4 64 Net5 VALID LReLU
    Layer6 3×3 1 64 Net5 32 Net6 VALID LReLU
    Layer7 1×1 1 32 Net6 1 Fused VALID tanh
    下载: 导出CSV

    表  2   判别器网络整体结构

    Table  2   Overall structure of discriminator network

    Layer k s n1 Input n2 Output Padding Activation function
    Conv_1 5×5 2 1 VIS/Fused 32 Net1 VALID LReLU
    Conv_2 3×3 2 32 Net1 64 Net2 VALID LReLU
    Conv_3 3×3 2 64 Net2 128 Net3 VALID LReLU
    Conv_4 3×3 2 128 Net3 256 Net4 VALID LReLU
    Line_5 - - - Net4 - Net5(6*6*256) - -
    Output - - - Net5 1 Discriminant value (1) - -
    下载: 导出CSV

    表  4   KAIST数据集“道路与行人”融合图像客观评价

    Table  4   Objective evaluation of "road and pedestrian" fusion image in KAIST dataset

    Methods EN MI Nabf
    ADF 5.7176 11.4352 0.0782
    WLS 5.8693 11.7387 0.2129
    densefuse 6.0565 12.1129 0.0121
    U2Fusion 5.3543 10.7086 0.0809
    FusionGAN 5.8022 11.6044 0.0389
    MAFusion 6.3678 12.5356 0.0447
    Note:Bold font is the best value
    下载: 导出CSV

    表  5   KAIST数据集14组融合图像客观评价指标均值

    Table  5   Mean value of objective evaluation of 14 groups fusion images in KAIST dataset

    Methods EN MI Nabf
    ADF 6.2336 12.4673 0.0930
    WLS 6.4248 12.8496 0.2465
    CBF 6.5413 13.0827 0.1551
    Densefuse 6.6039 13.2078 0.0223
    U2Fusion 5.9722 11.9444 0.1318
    FusionGAN 6.2516 12.5033 0.0921
    MAFusion 6.7086 13.4042 0.0562
    Note:Bold font is the best value
    下载: 导出CSV

    表  6   TNO数据集“烟雾中的士兵”融合图像客观评价

    Table  6   Objective evaluation of "a soldier in the smog" fusion image in TNO dataset

    Methods EN MI Nabf
    ADF 6.4886 13.1772 0.104
    FusionGAN 6.3959 12.7919 0.026
    MAFusion 6.6097 13.2193 0.018
    Note:Bold font is the best value
    下载: 导出CSV

    表  7   TNO数据集“士兵与车辆”融合图像客观评价

    Table  7   Objective evaluation of " Soldiers and vehicles " fusion image in TNO dataset

    Methods EN MI Nabf
    ADF 6.4620 12.9241 0.1582
    WLS 6.9916 13.9833 0.2652
    Densefuse 7.0227 14.0453 0.0931
    U2Fusion 7.1399 14.2797 0.4285
    FusionGAN 7.0007 14.0015 0.1093
    MAFusion 7.2017 14.4033 0.0801
    Note:Bold font is the best value
    下载: 导出CSV

    表  8   TNO数据集18组融合图像客观评价指标均值

    Table  8   Mean value of objective evaluation of 18 groups fusion images in TNO dataset

    Methods EN MI Nabf
    ADF 6.6001 13.2003 0.0896
    WLS 6.9157 13.8314 0.2404
    CBF 6.9846 13.9697 0.3921
    Densefuse 6.9482 13.8964 0.0854
    U2Fusion 7.0457 14.0915 0.3313
    FusionGAN 6.9058 13.8116 0.0892
    MAFusion 7.0653 14.1306 0.0608
    Note:Bold font is the best value
    下载: 导出CSV

    表  9   KAIST数据集消融实验客观评价

    Table  9   Objective evaluation of ablation experiment in KAIST dataset

    Method FusionGAN Direct stacking Two way feature extraction and adaptive weighting Ordinary convolution Residual block Jump residual block EN MI Nabf
    - - - 6.3787 12.7574 0.0921
    - - 6.5284 13.0567 0.0607
    - - 6.7086 13.4042 0.0562
    Note:Bold font is the best value
    下载: 导出CSV
  • [1] 段辉军, 王志刚, 王彦. 基于改进YOLO网络的双通道显著性目标识别算法[J]. 激光与红外, 2020, 50(11): 1370-1378. DOI: 10.3969/j.issn.1001-5078.2020.11.014

    DUAN H J, WANG Z, WANG Y. Two-channel saliency object recognition algorithm based on improved YOLO network[J]. Laser & Infrared, 2020, 50(11): 1370-1378. DOI: 10.3969/j.issn.1001-5078.2020.11.014

    [2] 李舒涵, 宏科, 武治宇. 基于红外与可见光图像融合的交通标志检测[J]. 现代电子技术, 2020, 43(3): 45-49. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ202003012.htm

    LI S H, XU H K, WU Z Y. Traffic sign detection based on infrared and visible image fusion[J]. Modern Electronics Technique, 2020, 43(3): 45-49. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ202003012.htm

    [3]

    Reinhard E, Adhikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Comput. Graph. Appl. , 2001, 21(5): 34-41. http://www.cs.northwestern.edu/~bgooch/PDFs/ColorTransfer.pdf

    [4]

    Kumar P, Mittal A, Kumar P. Fusion of thermal infrared and visible spectrum video for robust surveillance[C]// Proceedings of the Indian Conference on Computer Vision, Graphics and Image Processing, 2006: 528-539.

    [5] 常新亚, 丁一帆, 郭梦瑶. 应用整体结构信息分层匹配的红外与可见光遥感图像融合方法[J]. 航天器工程, 2020, 29(1): 100-104. DOI: 10.3969/j.issn.1673-8748.2020.01.015

    CHANG X Y, DING Y F, GUO M Y. Infrared and visible image fusion method using hierarchical matching of overall structural information[J]. Spacecraft Engineering, 2020, 29(1): 100-104. DOI: 10.3969/j.issn.1673-8748.2020.01.015

    [6]

    Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and karhunen-loeve transform[J]. IEEE Sensors, 2016, 16(1): 203-209. DOI: 10.1109/JSEN.2015.2478655

    [7]

    Kumar B S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal Image Video Process, 2015, 9(5): 1193-1204. DOI: 10.1007/s11760-013-0556-9

    [8]

    MA J, ZHOU Z, WANG B. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17. https://www.sciencedirect.com/science/article/pii/S1350449516305928

    [9]

    LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]. IET Image Process, 2014, 9(5): 347-357. DOI: 10.1049/iet-ipr.2014.0311

    [10]

    Burt P, Adelson E. The Laplacian pyramid as a compact image code[J]. IEEE Trans. Commun. , 1983, 31(4): 532-540. DOI: 10.1109/TCOM.1983.1095851

    [11] 马雪亮, 柳慧超. 基于多尺度分析的红外与可见光图像融合研究[J]. 电子测试, 2020, 24(4): 57-58. https://www.cnki.com.cn/Article/CJFDTOTAL-WDZC202024021.htm

    MA Xueliang, LIU Huichao. Research on infrared and visible image fusion based on multiscale analysis[J]. Electronic Test, 2020, 24(4): 57-58. https://www.cnki.com.cn/Article/CJFDTOTAL-WDZC202024021.htm

    [12]

    LI S, YIN H, FANG L. Group-sparse representation with dictionary learning for medical image denoising and fusion[J]. IEEE Trans Biomed Eng. , 2012, 59(12): 3450-3459. DOI: 10.1109/TBME.2012.2217493

    [13]

    Prabhakar K R, Srikar V S, Babu R V. DeepFuse: A deep unsupervised approach for exposure fusion with extreme exposure image[C]//Proc of the 2017 IEEE International Conference on Computer Vision, 2017: 4724-4732.

    [14]

    MA J Y, YU W, LIANG P W, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004

    [15]

    LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//The 24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710.

    [16]

    LI H, WU X. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614-2623. DOI: 10.1109/TIP.2018.2887342

    [17] 董安勇, 杜庆治, 苏斌, 等. 基于卷积神经网络的红外与可见光图像融合[J]. 红外技术, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/59ccddf6-ee9a-43da-983b-35ee872dd707

    DONG Anyong, DU Qingzhi, SU Bin, et al. Infrared and visible image fusion based on convolutional neural network[J]. Infrared Technology, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/59ccddf6-ee9a-43da-983b-35ee872dd707

    [18]

    XU Han, MA Jiayi, JIANG Junjun, et al. U2Fusion: A unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44: 502-518.

    [19]

    Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014: 2672-2680.

    [20]

    HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770-778.

    [21]

    Figshare. TNO Image Fusion Dataset[OL]. [2018-09-15]. https://flgshare.com/articles/TNOImageFusionDataset/1008029.

    [22]

    Hwang S, Park J, Kim N, et al. Multispectral pedestrian detection: benchmark dataset and baseline[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015: 1037-1045.

    [23]

    Roberts J W, Aardt J V, Ahmed F. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]. Appl. Remote Sens. , 2008, 2(1): 023522-023522-28. DOI: 10.1117/1.2945910

    [24]

    QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]. Electron Lett. , 2002, 38(7): 313-315. DOI: 10.1049/el:20020212

    [25]

    Kumar B K S. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]. Signal, Image and Video Processing, 2013, 7(6): 1125-1143. DOI: 10.1007/s11760-012-0361-x

图(8)  /  表(8)
计量
  • 文章访问数:  240
  • HTML全文浏览量:  131
  • PDF下载量:  65
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-07-17
  • 修回日期:  2021-09-22
  • 刊出日期:  2022-03-19

目录

/

返回文章
返回