基于自适应增强与显著性检测的可见光与红外图像融合算法

陈思静, 付志涛, 李梓谦, 聂韩, 宋加文

陈思静, 付志涛, 李梓谦, 聂韩, 宋加文. 基于自适应增强与显著性检测的可见光与红外图像融合算法[J]. 红外技术, 2023, 45(9): 907-914.
引用本文: 陈思静, 付志涛, 李梓谦, 聂韩, 宋加文. 基于自适应增强与显著性检测的可见光与红外图像融合算法[J]. 红外技术, 2023, 45(9): 907-914.
CHEN Sijing, FU Zhitao, LI Ziqian, NIE Han, SONG Jiawen. A Visible and Infrared Image Fusion Algorithm Based on Adaptive Enhancement and Saliency Detection[J]. Infrared Technology , 2023, 45(9): 907-914.
Citation: CHEN Sijing, FU Zhitao, LI Ziqian, NIE Han, SONG Jiawen. A Visible and Infrared Image Fusion Algorithm Based on Adaptive Enhancement and Saliency Detection[J]. Infrared Technology , 2023, 45(9): 907-914.

基于自适应增强与显著性检测的可见光与红外图像融合算法

基金项目: 

国家自然科学基金 41961053

昆明理工大学省级人培项目 KKSY201921019

详细信息
    作者简介:

    陈思静(1998-),女,山东济宁人,硕士研究生,主要研究方向为遥感图像融合及评价。E-mail:csj9804@163.com

    通讯作者:

    付志涛(1982-),男,河南开封人,博士,副教授,主要研究方向为异源图像匹配、融合及应用等。E-mail:zhitaofu@126.com

  • 中图分类号: TP391

A Visible and Infrared Image Fusion Algorithm Based on Adaptive Enhancement and Saliency Detection

  • 摘要: 为解决可见光图像可视性差与如何精确控制可见光与红外图像输入量的问题,本文提出一种结合图像自适应增强与独立性、聚焦度、对象性等显著性检测的可见光与红外图像融合算法。首先在可见光图像中引入自适应增强算法提高图像纹理细节的可见性,并对红外图像归一化处理,其次将处理后的图像利用引导滤波分解为细节层与基础层,利用显著性检测生成细节层的权重图,提高细节层中可见光图像背景信息与红外图像边缘信息的精确融合量,最终将依据权重值融合后的细节层与基础层组合得到最终的融合图像。为验证本文算法的优越性,选取图像熵、平均梯度、边缘强度、空间频率、视觉保真度、平均灰度等6种融合评价指标对融合图像定量分析,并利用YOLO v5(You Only Look Once)网络对各融合算法进行目标检测,结果表明本文算法在融合定性评价、定量评价与目标检测评价指标平均精度中达到最优。
    Abstract: This paper proposes a visible and infrared image fusion algorithm to solve the problem of the poor visibility of visible images and control the input volume of visible and infrared images. The proposed method combines image adaptive enhancement with uniqueness (U), focus (F), and object (O) saliency detection. First, an adaptive enhancement algorithm was applied to the visible image to improve the visibility of the textural details and normalize the infrared image. Second, the processed image was decomposed into a detail layer and base layer using guided filtering. A weight map of the detail layer was generated using saliency detection to improve the accuracy of the fusion of the background information of the visible image and the edge information of the infrared image in the detail layer. Finally, the fused image was obtained by combining the detail and base layers. To verify the performance of the proposed algorithm, five fusion evaluation indices: image entropy, average gradient, edge intensity, spatial frequency, and visual fidelity, were selected to quantitatively analyze the fused images. The YOLO v5 network was used to perform target detection for each fusion algorithm. The results show that the proposed algorithm achieved the optimal average accuracy in terms of the qualitative, quantitative, and target detection evaluation indexes of fusion.
  • 图像融合是将两幅包含不同有效信息的图像融合成为一张图像,以提高成像质量并减少冗余信息[1]。其中可见光与红外图像融合是融合技术中的重要一项。可见光图像可以提供场景中背景细节信息。但图像质量易受一些特殊场景如夜间、树木阴影、低照度和过度曝光等情况影响。红外传感器能够捕捉人眼无法直接看到的场景中的热信息,能够抵抗这些不利场景的干扰[2]。但通常分辨率较低,纹理较差。可见光图像与红外图像的有效融合,可以提高图像质量,增强图像解译能力[3]

    在可见光与红外图像融合领域,主要的图像融合方法通常可以分为几类,即多尺度变换、稀疏表示、基于子空间、混合模型以及深度学习方法,大部分融合方法集中在多尺度变换[3]。但基于多尺度变换方法得到的融合图像容易出现伪影和信息冗余[3]。因此,学者们提出利用滤波器对传统多尺度分解进行优化,其中比较常用的滤波器有高斯滤波器和双边滤波器等[4]。但通过以上滤波器优化的方法会使图像边缘模糊,不利于图像中的物体识别[4]。Li等[5]首次提出基于引导滤波(Guided Filtering, GF)多尺度分解的融合方法来解决边缘模糊问题,既可以平滑图像噪声,又可以保持图像内物体边缘。该方法在融合过程中未对分解的基础层与细节层进行处理,导致融合结果易出现光晕现象。为此,谢伟等[6]提出一种融合梯度信息的改进引导滤波算法来自适应强化图像内目标边缘结构,该方法虽然在解决光晕现象中具有一定效果,但算法的时间复杂度较高。Fan Z.等[7]提出一种快速的基于引导滤波的同源金字塔多尺度分解策略实现可见光和红外图像融合,但融合后图像在边缘上的清晰度不够。Bavirisetti D. P.等[8]提出了一种基于图像引导滤波器的通用、简单、快速的融合算法。该方法通过多尺度分解、结构传递特性、视觉显著性检测和权值图构建,将源图像信息输入到融合图像中。但该方法并未解决由不利场景、对比度不明显以及红外可见光输入量造成的融合图像质量问题。叶坤涛等[9]将显著性检测与非下采样剪切波变换结合生成可见光与红外的融合图像,利用显著性图控制低频部分的融合分量,生成了对比度较高的融合图像,但由于显著性图没有对源图像低频部分的输入量进行精确控制,致使该方法最终结果可见光信息占比较大,使部分红外目标不清晰。

    通过以上分析,基于引导滤波的多尺度分解方法在可见光与红外图像融合领域有了较快发展,但仍受可见光图像自然场景可视性差的影响,并且需解决如何更精确控制融合中可见光与红外图像输入量的问题。针对上述问题,本文提出一种基于引导滤波的高动态范围(High Dynamic Range,HDR)自适应增强算法和基于引导滤波多尺度分解的独立性、聚焦度与对象性(Uniqueness、Focusness and Objectness,UFO)显著性检测方法进行图像融合,该显著性检测方法综合独立性(U)、聚焦度(F)、和对象性(O)等显著性因素在一定程度上提高了各类不利场景中目标检测性能[10]。为验证本文方法的有效性,本文将在融合定性评价、定量评价以及目标检测性能评价与目前主流的融合方法进行对比。

    本文提出一种面向目标检测的可见光与红外图像融合算法如图 1所示,融合步骤如下:

    图  1  本文方法流程图
    Figure  1.  Flow chart of method in this paper

    1)利用基于引导滤波的HDR图像增强技术对可见光图像中的黑暗阴影与低曝光等区域进行自适应增强,红外图像则进行归一化处理。

    2)基于引导滤波对处理后的可见光与红外图像进行多尺度分解,得到第一层的基础层B1, 21与细节层D1, 21,并由第一层的基础层生成第二层的B1, 22与细节层D1, 22,依此分解最终得到四层的基础层与细节层。并将可见光与红外图像第四层的基础层取平均得到平均基础层。

    3)通过UFO显著性算法计算每层细节层的显著性图,并根据显著性图求取每层细节层的权重图W1W2W3W4

    4)将可见光图像与红外图像的每一层细节层通过权重图分别融合得到DF1DF2DF3DF4,然后将四层相加,得到细节层融合图像,并与平均基础层进行组合生成最终融合图像。

    HDR自适应图像增强首先通过引导滤波器GFr, φ(I)得到基础层Ib和细节层Idr, φ表示滤波器的大小和边缘保持度的参数,随后,根据参考文献[11]得到在对数域的基础层$ {\hat I_{\text{b}}} $与细节层$ {\hat I_{\text{d}}} $:

    $$ {\hat I_{\text{b}}} = \lg ({I_{\text{b}}} + \xi ) $$ (1)
    $$ {\hat I_{\text{d}}} = \lg ({I_{\text{b}}} + \xi ) - {\hat I_{\text{b}}} $$ (2)

    在公式中lg表示对数的运算符,并令ξ=1以防lg的值为负。为了尽可能保留基础层的细节信息,利用比例因子α在基础层上进行对比度压缩,并且基于参数β恢复整体度:

    $$ \hat \mu = \alpha {\hat I_{\text{b}}} + {\hat I_{\text{d}}} + \beta $$ (3)

    根据公式可知,当α<1,基础层的对比度会降低。为保证α值的范围,本文设置一个最低目标对比度T,得到α的计算公式:

    $$ \alpha = \frac{{\lg (T)}}{{\max ({{\hat I}_{\text{b}}}) - \min ({{\hat I}_{\text{b}}})}} $$ (4)

    式中:$\max ({\hat I_{\text{b}}})$和$\min ({\hat I_{\text{b}}})$分别表示${\hat I_{\text{b}}}$的最大、最小值。

    由于比例因子α对基础层进行动态压缩,造成了图像整体对比度降低,因此可令β>0恢复图像整体对比度,且保持最终结果不大于基础层的最大值,β可以计算为:

    $$ \beta = (1 - \alpha )\max ({\hat I_{\text{b}}}) $$ (5)

    最终,通过以下公式得到增强图像:

    $$ \mu = \exp (\hat \mu ) $$ (6)

    利用引导滤波在多尺度图像分解和结构传递方面的优势,得到基于引导滤波分解的基础层B与细节层D[12]。多尺度分解流程如图 2所示。

    图  2  GF多尺度分解流程
    Figure  2.  GF multi-scale decomposition process

    具体公式如下:

    $$ \begin{array}{l} {B^1} = {\text{GF}}({I_1}, {I_2}, {r^1}, {\varepsilon ^2}) \hfill \\ {B^k} = {\text{GF}}(B_1^{k - 1}, B_2^{k - 1}, {r^k}, {\varepsilon ^k})\quad k = 1, \cdots , n \hfill \\ {D^k} = {B^{k - 1}} - {B^k} \hfill \\ \end{array} $$ (7)

    上述公式表示若处理可见光图像I1,则将红外图像I2作为引导图像,其中,rk, εk分别为第k层的邻域大小和调节参数。B1kB2k是源图像第k级的基础层,细节层D1kD2k为前一级基础层和当前基础层之间的差异。

    本文所用的UFO显著性算法首先利用公式$I = { \cup _{1 \leqslant i \leqslant N}}{I_i}$将多尺度分解后的细节层分割成N个不重叠区域,各区域用Ri来表示,以此得到区域聚焦:

    $$ {F_r}({R_i}) = \frac{1}{{{m_i}}}\sum\limits_{p \in {B_i}} {\left| {{\nabla _g}(p)} \right|} \cdot \exp (\frac{1}{{{m_i} + {n_i}}}\sum\limits_{q \in ({B_i} \cup {E_i})} {{F_p}(q)} ) $$ (8)

    式中:Bi表示边界像素mi的整体聚焦度;p为单一边界像素的聚集度;Ei表示内部像素ni聚焦度;q为单一内部像素的聚集度。由于图像边缘处变化强度大,使用图像边缘锐度作为权重值,利用DOG算子计算边缘像素的梯度值平均值,可得区域聚焦Fr(Ri),将区域聚焦度分散向各个像素,获得整张图的聚焦度F

    然后通过估计区域中可识别对象的概率,计算像素级的对象识别度:

    $$ {O_p}(x) = \sum\limits_{w \in W, x \in w} {p({w_x})} $$ (9)

    继而将每个像素的对象状态分配给各自所在的区域Ri,得到区域Ri的对象状态:

    $$ {O_{\text{r}}}({R_i}) = \frac{1}{{\left| {{R_i}} \right|}}\sum\limits_{x \in {R_i}} {{O_p}(x)} $$ (10)

    式中:w表示包括像素x的任意区域W,根据区域对象状态值得到整张图的对象状态O

    利用区域之间的灰度距离度量D(Rk, Ri)计算图像中的区域独立性Ur(Ri):

    $$ {U_{\text{r}}}({R_i}) = \sum\limits_{1 \leqslant k \leqslant N, k \ne i} {\left| {{R_k}} \right|} D({R_k}, {R_i}) $$ (11)

    然后将区域独立性分散向各个像素,获得整张图的独立性U

    综合考虑聚焦度F、独立性U和对象状态O定义显著性测量值:

    $$S=\exp (F+U) \times O$$ (12)

    为减少计算的复杂度,并逐像素地整合互补信息,利用生成的细节层显著性图计算细节层权重图:

    $$ \begin{gathered} W_1^k = \frac{{S_1^k}}{{\sum\nolimits_{i = 1}^2 {S_i^k} }}, \forall k = 1, 2, \cdots , n \hfill \\ W_2^k = \frac{{S_2^k}}{{\sum\nolimits_{i = 1}^2 {S_i^k} }}, \forall k = 1, 2, \cdots , n \hfill \\ \end{gathered} $$

    式中将每幅图像的细节层分为n层,k代表每层之间的数值范围,利用上式计算每个数值范围的权重,这种基于显著性信息的互补权重图构建过程可以自动集成每个层级的细节层信息,在此基础上对细节层进行融合:

    $$ D_{\text{F}}^k = W_1^kD_1^k + W_2^kD_2^k $$ (14)
    $$ {D_{\text{F}}} = \sum\limits_{k = 1}^n {D_F^k} $$ (15)

    对基础层融合:

    $$ {B_{\text{F}}} = \frac{1}{2}(B_1^n + B_2^n) $$ (16)

    融合后的图像由最终的基础层与细节层相结合得到:

    $$F = {B_{\rm{F}}} + {D_{\rm{F}}} $$ (17)

    将本文方法与深度学习框架(Deep Learning Framework,DLF)算法[13]、具有多分类约束的生成对抗网络(Generative Adversarial Network with Multiclassification Constraints,GANMCC)算法[14]、多层高斯曲率滤波(Multi-level Gaussian Curvature Filterin,MLGCF)算法[15]、混合多尺度分解(Hybrid Multi-Scale Decomposition,Hybrid MSD)算法[16]、非下采样剪切波变换-脉冲耦合神经网络(Non-subsampled Shearlet Transform-Pulse-Coupled Neural Network, NSST-PCNN)算法[17]、结合视觉显著性图与加权最小二乘(Visual Saliency Map and Weighted Least Square,VSMWLS)算法[18]和梯度转移融合(Gradient Transfer Fusion,GTF)算法[19]等7种融合算法分别通过定性与定量评价进行对比。选取TNO与OSU数据集中的21组可见光与红外图像作为本文实验数据[1]图 3为数据集中部分图像对,第一行为可见光图像,第二行为红外图像。

    图  3  本文实验部分数据集
    Figure  3.  Experimental part of the data set in this paper

    在本文方法中,图像增强中引导滤波器大小由公式r=0.04max(w, h)决定,其中wh分别表示输入图像的宽度和高度,根据以往经验值,将滤波器中的边缘保持参数φ设置为0.01。基于以上参数,对最低目标对比度T进行对比分析,将T值分别设置为2,4,6得到增强结果,由图 4可知,T=2时,增强过度,存在泛白现象,而T=6时目标增强不够明显,存在细节缺失,因此最低对比度T设置为4。

    图  4  不同T值对比分析
    Figure  4.  Comparative analysis of different T values

    针对后续GF分解层数K的选取,选取可见光与红外图像融合数据集TNO中的7张图像进行分析,如图 5所示。此次实验中设置分解层数为1~5层,根据经验设置滤波器尺寸r为9,平滑参数ε为103,随着K的增加在K=4的时候,数据值达到平稳状态,考虑时间成本问题,分解层数选择4层。

    图  5  GF分解层数结果
    Figure  5.  Results of GF decomposition layers

    将本文算法与其余7种算法对图 3数据集示例融合结果定性分析,融合结果如图 6所示。

    图  6  本文算法与其它算法的融合结果比较
    Figure  6.  The fusion results of the proposed algorithm are compared with other algorithms

    综合8种融合算法定性评价结果,本文算法融合结果在图 6中均有良好展现。在(a)组图像中,各算法均能清晰看到街道口人影与车辆,但在(a)组图像的商店橱窗中,本文算法较其他算法能看到橱窗边框与物体信息。(b)组图像中除本文算法外,门口树枝均存在轮廓模糊,尤其是GANMCC算法和GTF算法边缘没有很好的凸显出来。(c)组图像中仅本文算法看到地面信息,且其余7种算法除MLGCF与NSST-PCNN外图像中树木信息不能清晰识别,而MLGCF与NSST-PCNN算法中地板信息也不如本文算法明显。本文算法在(d)组图像中树木树枝信息可以清晰展现,但其余融合图像中明显丢失大量信息,造成细节模糊。(e)组图像树木枝丫不明显,造成大量纹理细节丢失,本文算法在保持人影清晰的基础上,得到较其它融合算法更为清晰的树木。在(f)组图像中,本文算法较其它算法更能看清打电话的人及其周边的绿植,得到较高的图像对比度。综上所述,本文所提方法在物体轮廓与纹理信息之间达到了较好的平衡,获得了清晰度更高的融合图像。

    在融合图像定量分析中,本文综合图像信息与边缘考量,选用图像熵(Entropy, EN)、平均梯度(Average Gradient, AG)、边缘强度(Edge Intensity, EI)、空间频率(Spatial Frequency, SF)、视觉保真度(the Visual Information Fidelity for Fusion, VIFF)、平均灰度(Mean grayscale,MEAN)6种定量评价指标对数据集中融合结果进行质量分析,这6种指标分别表示融合图像中信息量以及结构轮廓的变化。表 1给出了本文方法与上述7种融合方法在6种指标下对融合图像的定量评价结果,加粗值为最优值。

    表  1  本文算法与其它算法的定量融合结果比较
    Table  1.  The quantitative fusion results of the proposed algorithm are compared with other algorithms
    Methods EN↑ AG↑ EI↑ SF↑ VIFF↑ MEAN↑ mAP(%)↑
    DLF 6.2398 2.3464 23.4433 6.5931 0.3054 107.0132 31.49
    GANMCC 6.5554 2.3069 24.1414 6.0427 0.3979 80.3966 27.66
    MLGCF 6.6403 3.5692 35.9937 10.2784 0.6833 111.4766 36.60
    NSST-PCNN 6.7397 3.6726 37.8355 10.2491 0.4391 117.7975 37.45
    Hybrid MSD 6.6972 3.9044 39.9300 10.9476 0.4579 108.6880 37.02
    VSMWLS 6.6399 4.1127 40.2038 11.4434 0.4958 110.9870 34.04
    GTF 6.5639 2.8692 29.3957 8.2894 0.2266 104.3591 23.40
    Proposed 6.7631 5.0981 51.8141 12.9704 0.6877 125.4682 38.72
    Note:"↑" indicates that the larger the value, the better the image quality
    下载: 导出CSV 
    | 显示表格

    表 1可见,本文方法在6种指标下均取得最优值。尤其是AG、EI和SF这3项指标值相对于次优算法有明显提升,表明在融合可见光与红外图像更多信息量的同时得到更为清晰的物体边缘。其余算法如DLF、GANMCC、GTF由于图像清晰度不够导致在6种融合指标上都表现欠缺,而其余4种算法存在的部分细节缺失和伪影现象使指标值低于本文方法。综合图 6表 1可知,在主观评价与客观评价下均取得最优结果,表明本文算法既保持了图像纹理细节,又在边缘保持度上获得了显著提升。

    利用目标检测算法中的YOLO v5网络对本文方法的优越性进一步评估。即比较融合算法在目标检测下的平均精度mAP值。由表 1可知,本文方法的mAP值在这8种算法中最高,目标检测表现最好。但相比之下,8种融合算法的mAP值并未有显著提升。究其原因,在复杂的数据采集环境中,一些不完全或无法采集到的目标严重影响着融合图像的质量,导致融合图像中仅有红外图像中白色区域代表物体整体轮廓,而且融合过程中部分信息丢失也会影响目标检测的精度。因此在复杂的环境下如何优化可见光与红外融合算法在目标检测的性能仍需不断探索。

    本文提出了一种基于自适应图像增强与权重图构建的可见光与红外图像融合算法,该方法利用基于引导滤波的HDR图像增强算法处理可见光图像,并对红外图像归一化处理,随后对处理后的图像利用GF多尺度分解得到细节层与基础层,并加入UFO显著性检测算法计算细节层权重图,调节融合输入信息量。实验表明,本文所提出的方法在定性评价与定量评价方面均优于DLF、GANMCC、MLGCF、Hybrid MSD、NSST-PCNN、VSMWLS与GTF算法,相比其他算法,本文算法在保留图像纹理信息的同时,边缘信息也更加完整和清晰,在目标检测中结果更好。

    未来我们将致力于设计更有效的融合方法以提高算法的性能,并在此基础上针对目标检测领域对融合算法进行深入研究。

  • 图  1   本文方法流程图

    Figure  1.   Flow chart of method in this paper

    图  2   GF多尺度分解流程

    Figure  2.   GF multi-scale decomposition process

    图  3   本文实验部分数据集

    Figure  3.   Experimental part of the data set in this paper

    图  4   不同T值对比分析

    Figure  4.   Comparative analysis of different T values

    图  5   GF分解层数结果

    Figure  5.   Results of GF decomposition layers

    图  6   本文算法与其它算法的融合结果比较

    Figure  6.   The fusion results of the proposed algorithm are compared with other algorithms

    表  1   本文算法与其它算法的定量融合结果比较

    Table  1   The quantitative fusion results of the proposed algorithm are compared with other algorithms

    Methods EN↑ AG↑ EI↑ SF↑ VIFF↑ MEAN↑ mAP(%)↑
    DLF 6.2398 2.3464 23.4433 6.5931 0.3054 107.0132 31.49
    GANMCC 6.5554 2.3069 24.1414 6.0427 0.3979 80.3966 27.66
    MLGCF 6.6403 3.5692 35.9937 10.2784 0.6833 111.4766 36.60
    NSST-PCNN 6.7397 3.6726 37.8355 10.2491 0.4391 117.7975 37.45
    Hybrid MSD 6.6972 3.9044 39.9300 10.9476 0.4579 108.6880 37.02
    VSMWLS 6.6399 4.1127 40.2038 11.4434 0.4958 110.9870 34.04
    GTF 6.5639 2.8692 29.3957 8.2894 0.2266 104.3591 23.40
    Proposed 6.7631 5.0981 51.8141 12.9704 0.6877 125.4682 38.72
    Note:"↑" indicates that the larger the value, the better the image quality
    下载: 导出CSV
  • [1]

    ZHANG X C, YE P, XIAO G. VIFB: a visible and infrared image fusion benchmark[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2020: 14-19.

    [2] 王君尧, 王志社, 武圆圆, 等. 红外与可见光图像多特征自适应融合方法[J]. 红外技术, 2022, 44(6): 571-579. http://hwjs.nvir.cn/article/id/8dfebcac-d211-44a9-935d-54fecd2afa8a

    WANG Junyao, WANG Zhishe, WU Yuanyuan, et al. Multi-feature adaptive fusion method for infrared and visible images[J]. Infrared Technology, 2022, 44(6): 571-579. http://hwjs.nvir.cn/article/id/8dfebcac-d211-44a9-935d-54fecd2afa8a

    [3]

    MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004

    [4]

    ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Applied Optics, 2016, 55(23): 6480. DOI: 10.1364/AO.55.006480

    [5]

    LI S, KANG X, HU J. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875. DOI: 10.1109/TIP.2013.2244222

    [6] 谢伟, 周玉钦, 游敏. 融合梯度信息的改进引导滤波[J]. 中国图象图形学报, 2016, 21(9): 1119-1126. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201609001.htm

    XIE W, ZHOU Y Q, YOU M. Improved guided image filtering integrated with gradient information[J]. Journal of Image and Graphics, 2016, 21(9): 1119-1126. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201609001.htm

    [7]

    FAN Z, YAN L, XIA Y, et al. Fusion of multi-resolution visible image and infrared images based on guided filter[C]//Technical Committee on Control Theory, Chinese Association of Automation, 2018: 4449-4454.

    [8]

    Bavirisetti D P, XIAO G, ZHAO J, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]. Circuits, Systems, and Signal Processing, 2019, 38(12): 5576-5605. DOI: 10.1007/s00034-019-01131-z

    [9] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    YE Kuntao, LI Wen, SHU Leilei, et al. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]. Infrared Technology, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    [10]

    PENG J, LING H, YU J, et al. Salient region detection by UFO: uniqueness, focusness and objectness[C]//IEEE International Conference on Computer Vision. IEEE, 2013: 1976-1983.

    [11]

    Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[J]. ACM Transactions on Graphics, 2002, 21(3): 257-266. DOI: 10.1145/566654.566574

    [12]

    Bavirisetti D P, Kollu V, GANG X, et al. Fusion of MRI and CT images using guided image filter and image statistics[J]. International Journal of Imaging Systems and Technology, 2017, 27(3): 227-237. DOI: 10.1002/ima.22228

    [13]

    HUI L, WU X, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//International Conference on Pattern Recognition, IEEE, 2018: 2705-2710.

    [14]

    MA J, ZHANG H, SHAO Z, et al. GANMcC: a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-14.

    [15]

    TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J]. Applied Optics, 2019, 58(12): 3064. DOI: 10.1364/AO.58.003064

    [16]

    ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26. DOI: 10.1016/j.inffus.2015.11.003

    [17]

    TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J/OL]. Neural Computing & Applications, 2020: 1-21. https://doi.org/10.1007/s00521-020-05173-2.

    [18]

    MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.

    [19]

    MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109.

  • 期刊类型引用(6)

    1. 林斌,刘亚军,吴燕东,董晋国. 煤矿带式输送机自换电巡检机器人关键技术研究. 煤炭技术. 2025(03): 248-250 . 百度学术
    2. 常凯旋,黄建华,孙希延,罗键,包世涛,黄焕生. 基于双模态图像融合的无人机光学小目标检测算法. 激光与光电子学进展. 2025(04): 279-293 . 百度学术
    3. 宋冬梅. 基于模糊数学理论的灰度图像边缘信息智能检测方法. 电子设计工程. 2025(08): 130-135 . 百度学术
    4. 杨家全,李邦源,丁贞煜,马文龙,汪航,孙宏滨. 基于多重先验的无监督学习红外图像增强算法. 云南电力技术. 2024(02): 33-40 . 百度学术
    5. 贺养慧. 基于生成对抗网络的可见光和红外图像融合研究. 激光杂志. 2024(10): 120-124 . 百度学术
    6. 周君,高焱,姜晴. 双边滤波下的低光照激光雷达图像超分辨增强技术. 激光杂志. 2024(12): 131-137 . 百度学术

    其他类型引用(2)

图(6)  /  表(1)
计量
  • 文章访问数:  215
  • HTML全文浏览量:  52
  • PDF下载量:  77
  • 被引次数: 8
出版历程
  • 收稿日期:  2022-06-21
  • 修回日期:  2022-08-09
  • 刊出日期:  2023-09-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日