NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合

武凌霄, 康家银, 姬云翔

武凌霄, 康家银, 姬云翔. NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合[J]. 红外技术, 2023, 45(9): 915-924.
引用本文: 武凌霄, 康家银, 姬云翔. NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合[J]. 红外技术, 2023, 45(9): 915-924.
WU Lingxiao, KANG Jiayin, JI Yunxiang. Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain[J]. Infrared Technology , 2023, 45(9): 915-924.
Citation: WU Lingxiao, KANG Jiayin, JI Yunxiang. Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain[J]. Infrared Technology , 2023, 45(9): 915-924.

NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合

基金项目: 

连云港市“海燕计划”基金 2018-QD-011

江苏海洋大学自然科学基金项目 Z2015009

研究生科研与实践创新计划项目 KYCX2021-052

江苏省自然科学基金 BK20191469

详细信息
    作者简介:

    武凌霄(1997-),男,硕士研究生,主要从事图像处理、机器学习方面的研究。E-mail:wlx970831@163.com

    通讯作者:

    康家银(1974-),男,教授,硕士生导师,主要从事图像处理、机器学习方面的研究。E-mail:kangjy@jou.edu.cn

  • 中图分类号: TP391

Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain

  • 摘要: 图像融合技术旨在解决单模态图像呈现信息不充分、不全面的问题。本文针对红外和可见光图像的融合,提出了一种新的在非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)域下基于引导滤波(Guided Filter, GF)和稀疏表示(Sparse Representation, SR)的融合算法。具体地,①利用NSST对红外与可见光图像分别进行分解,以得到各自的高频子带图像和低频子带图像;②使用GF加权融合策略对高频子带图像进行融合;③使用滚动引导滤波器(Rolling Guidance Filter, RGF)将低频子带图像进一步分解为基础层和细节层:其中基础层采用SR进行融合,细节层利用基于一致性验证的局部最大值策略进行融合;④对融合后的高频子带和低频子带图像进行NSST反变换,从而得到最终的融合结果。在公开数据集上的实验结果表明,相较于其它一些方法,本文方法得到的融合结果的纹理细节信息更丰富、主观视觉效果更好,此外,本文算法所得融合结果的客观评价指标也相对占优。
    Abstract: Image fusion technology aims to solve the problem of insufficient and incomplete information provided by a single-modality image. This paper proposes a novel method based on guided filter (GF) and sparse representation (SR) in the non-subsampled shearlet transform (NSST) domain, to fuse infrared and visible images. Specifically, ① the infrared and visible images are respectively decomposed using NSST to obtain the corresponding high-frequency and low-frequency sub-band images; ② The GF-weighted fusion strategy is exploited to fuse the high-frequency sub-band images; ③ Rolling guidance filter (RGF) is used to further decompose the low-frequency sub-band images into base and detail layers, whereby the base layers are fused via SR, and the detail layers are fused using local maximum strategy which is based on consistency verification; ④ An inverse NSST is performed on the fused high-frequency and low-frequency sub-band images to obtain the final fusion result. Compared to those of other methods, experimental results on public datasets show that the fusion result obtained by the proposed method has richer texture detail and better subjective visual effects. In addition, the proposed method achieves overall better performance in terms of objective metrics that are commonly used for evaluating fusion results.
  • 随着传感器技术的快速发展,多传感器融合的工作方式越来越普及。相较于单一传感器模式,多传感器协同工作模式可以更好地满足应用需求,如红外摄像头可以获得包含丰富热辐射信息的图像,能够根据目标与背景间的热反馈不同将它们区分开;可见光摄像头可以获取结构清晰的图像,这些图像的空间分辨率较高并包含丰富的纹理细节[1]。利用图像融合技术得到的融合图像,同时具有两种图像的优势信息。

    在现有的多模态图像融合研究中,红外与可见光图像因其表现出的多种优势,成为图像融合领域的重点分支之一。针对红外与可见光图像的特性,研究人员提出了不同的融合方法和策略。在已有的融合策略中,多尺度变换(Multi-scale Transform, MST)是一种比较常用的方法。常见的多尺度变换法包括小波变换[2]、金字塔变换[3]、轮廓波变换[4]、剪切波变换[5]等。非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)作为一种当前较热门的多尺度变换方法,除了有一般MST方法所具有的多尺度、多方向等特性外,还具有平移不变性并能有效地防止伪吉布斯现象的发生[6]。文献[7]使用双尺度NSST将源图像分解为基础层和细节层,再对不同层级的子图像使用不同的融合策略,生成信息丰富且外观平滑的融合图像;文献[8]提出了一种NSST与卷积神经网络相结合的融合方法,一定程度上提高了融合图像对比度,丰富了背景细节信息;为了解决融合结果目标不够突出、对比度低等问题,文献[9]提出了NSST与改进最大对称环绕算法相结合的图像融合算法,利用显著性图指导NSST低频子带融合,得到了较好的视觉效果;文献[10]提出了一种NSST域下使用离散小波变换与改进脉冲耦合神经网络相结合的融合方法,有效地增强了融合结果中的细节信息。

    现有的采用NSST的图像融合方法大多是将图像分解为高频子带图像和低频子带图像,再针对不同的子带采用与其特性匹配的融合策略。文献[11]分别使用“绝对值最大”策略与稀疏表示方法对图像进行融合。实际中,融合高频子带图像时常使用的“取大”策略很容易受到噪声影响,导致最终的融合结果产生“伪影”。文献[12]对高频子带图像采用低秩稀疏表示策略进行融合,对低频子带图像采用基于区域能量匹配度的融合策略进行融合。然而,利用NSST分解得到的低频子带图像中,依旧包含部分源图像的纹理信息;再者,传统的用于融合低频子带的融合策略,其融合的重点集中在背景信息上,从而忽略了这一小部分纹理信息,致使最终的融合结果损失了源图像的部分细节信息。文献[13]对低频子带图像使用低通滤波器分解,得到了低频差值图像与模糊图像,并针对其特性设计融合策略,得到了较优的融合结果,但低通滤波器不仅会平滑掉小尺寸的纹理信息,还会模糊较大尺寸的结构信息,影响融合效果。

    综上,为了尽可能多地保留源图像的纹理、边缘等细节信息,即让融合图像包含更多源图像的细节信息,本文研究提出了一种NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合算法,相较于已有的基于NSST的红外与可见光图像融合方法,本文方法的创新性主要体现在以下两个方面:①对高频子带图像使用基于引导滤波优化的加权融合策略,该策略一方面可以使得融合结果尽可能多地保留源图像的细节信息;另一方面能够在一定程度上解决因噪声而产生的伪影问题;②对低频子带图像使用RGF进一步分解,从而更进一步地从低频子带图像中提取了残留的细节信息,针对分解得到的分量图像设计契合的融合策略,使得融合后的图像更好地保留了源图像的边缘、轮廓等结构信息。

    引导滤波是当前较热门的一种边缘保持滤波器,由He等[14]提出。引导滤波方法的本质是在局部图像区域,使用线性变换代替复杂的非线性变换。若设P为滤波器输入图像,O为滤波器输出图像,I为引导图像,引导滤波的原理如下式(1):

    $$O_i=a_k I_i+b_k \quad \forall i \in \omega k$$ (1)

    式中:i为像素点的序号;ωk为第k个局部窗口;OiIi分别是输出图像O和引导图像I中第i个像素处的值;akbk为第k个窗口中计算出的系数,通过最小化输出图像O和输入图像P之间的平方差来估计,具体为:

    $$ E({a_k}, {b_k}) = \sum\limits_{i \in {\omega _k}} {\left( {{{({a_k}{I_i} + {b_k} - {P_i})}^2} + \varepsilon a_k^2} \right)} $$ (2)

    式中:ε是预先设定的正则化参数。系数akbk可通过如下求解:

    $$ {a_k} = \frac{{\frac{1}{{\left| \omega \right|}}\sum\nolimits_{i \in {\omega _k}} {{I_i}{P_i} - {\mu _k}{{\bar P}_k}} }}{{{\delta _k} + \varepsilon }} $$ (3)
    $$ {b_k} = {\bar P_k} - {a_k}{\mu _k} $$ (4)

    式中:μkδk分别为引导图像Iωk中的平均值和方差;|ω|为ωk中像素的个数;${\bar P_k}$为输入图像Pωk中的平均值。需要注意的是,当ωk不同时,式(1)中Oi的值将发生变化。为了解决这一问题,需要先求得akbk的平均值,故引导滤波器的输出(1)变换为:

    $$ {O_i} = {\bar a_i}{I_i} + {\bar b_i} $$ (5)

    式中:${\bar a_i} = \frac{1}{{\left| \omega \right|}}\sum\nolimits_{k \in {\omega _i}} {{a_k}} $,${\bar b_i} = \frac{1}{{\left| \omega \right|}}\sum\nolimits_{k \in {\omega _i}} {{b_k}} $。

    滚动引导滤波是Zhang等[15]提出的一种同时具有尺度感知和边缘保持特性的滤波器,文献[16]使用RGF对图像进行分解,较好地将源图像的纹理信息和背景信息提取出来。RGF的实现包括两个主要步骤:消除小结构和边缘恢复[15]。首先,使用高斯滤波器来消除较小的结构,如式(6)所示:

    $$ G = {\rm{Gaussian}}(I, {R_{{\rm{rgf}}}})$$ (6)

    式中:G为滤波后的图像;I为输入图像;Gaussian(·)为高斯滤波器;Rrgf为尺度参数。

    其次,将经平滑处理的输出图像G作为初始引导图像J1,使用引导滤波器迭代进行边缘恢复,以减小光晕并保持结构的空间一致性,迭代过程如式(7)所示:

    $$ {J^{N + 1}} = {\text{GuidedFilter}}({J^N}, I, {R_{{\text{rgf}}}}, {\sigma _{{\text{rgf}}}}^2) $$ (7)

    式中:JN+1为第N次迭代后的输出图像;JN为第N次迭代的引导图像;I为输入图像;GuidedFilter(·)为引导滤波器;σrgf为范围权重参数。结合式(6)和(7),将RGF表示为如下形式:

    $$Q=\mathrm{RGF}\left(I, R_{\mathrm{rgf}}, \sigma_{\mathrm{rgf}}, N\right)$$ (8)

    式中:RGF(·)为滚动引导滤波器;Q为滤波器的输出结果,即引导滤波器第N次迭代后的输出图像JN+1

    针对红外与可见光图像的融合,本文提出了一种NSST域下基于引导滤波和稀疏表示结合的融合算法。图 1所示为本文算法的总体框架图,算法的具体实现步骤如下:

    图  1  本文提出的用于红外和可见光图像融合的算法框架图
    Figure  1.  Algorithm framework of the proposed method for infrared and visible image fusion

    Step 1  利用NSST对源红外图像Ir和可见光图像Iv进行4层分解,分别得到各自的低频子带(IrIv)和高频子带(HrjHvjj=1, 2, 3, 4);

    Step 2  对于高频子带图像(HrjHvjj=1, 2, 3, 4),使用拉普拉斯滤波器与高斯滤波器得到高频子带的显著性图并计算出融合权重图(PrjPvjj=1, 2, 3, 4);然后使用GF对权重图进行优化;再基于优化后的权重图融合高频子带图像,从而得到融合后的高频子带图(HFjj=1, 2, 3, 4);

    Step 3  对于低频子带图像(LrLv),由于其仍含有部分纹理细节信息,故使用RGF将低频子带图像分解为基础层(BrBv)和细节层(DrDv);对于基础层和细节层,分别利用SR和基于一致性验证的局部最大值策略进行融合;再将融合得到的基础层和细节层进行反变换,从而得到融合后的低频子带(LF);

    Step 4  将融合得到的低频子带图像(LF)和高频子带图像(HFjj=1, 2, 3, 4)进行NSST反变换,从而得到最终的融合结果IF

    NSST高频子带图像中包含丰富的纹理等细节信息。本文采用GF对高频子带图像的融合权重图进行优化,可以尽可能地保留更多的边缘、纹理等细节信息。图 2所示为本文提出的高频子带图像融合框架,具体的实现步骤包括:①显著性图的构造;②权重图的选择;③基于GF的权重图优化;④基于优化后的权重图的高频子带图像融合。

    图  2  NSST高频子带融合框架
    Figure  2.  Fusion framework of NSST high frequency sub-band

    显著性图能够反映图像中细节信息的显著程度。构造NSST高频子带的显著性图,首先要对图像进行锐化处理。本文采用拉普拉斯微分算子进行图像的锐化,以重点关注图像的灰度突变区域。具体地,对第j级分解高频子带Hj使用拉普拉斯滤波以获得高通图像$ {\tilde H^j} $,如下式:

    $$ {\tilde H^j} = {\text{Laplacian}}({H^j}) $$ (9)

    式中:Laplacian(·)为拉普拉斯滤波器,其大小为3×3。然后,采用$ {\tilde H^j} $中像素灰度绝对值的局部平均值和高斯滤波器来构造显著性图Sj,如下式:

    $$ {S^j} = {\text{Gaussian}}(\left| {{{\tilde H}^j}} \right|, {R_{\text{g}}}, {\sigma _{\text{g}}}) $$ (10)

    式中:Sj为第j级分解高频子带的显著性图;Rg为滤波器尺寸;σg为滤波器标准差。

    通过比较显著性图以确定融合权重图,本文采用对比取大策略,具体为:

    $$ P_n^j(x, y) = \left\{ {\begin{array}{*{20}{c}} 1&{\begin{array}{*{20}{c}} {{\text{if}}}&{S_n^j(x, y) = \max (S_{\text{v}}^j(x, y), S_{\text{r}}^j(x, y))} \end{array}} \\ 0&{{\text{else}}} \end{array}} \right. $$ (11)

    式中:Pnj(x, y)为第j级分解第n(n∈{v, r})幅图像(x, y)处像素的权重值;Snj(x, y)为第j级分解第n幅图像的显著性图。

    在基于显著性图的图像融合中,提取的权重图往往是带有噪声且边缘与目标不对齐的,这会导致生成的融合图像含有伪影。使用GF对初始权重图进行优化,可以有效地减轻伪影现象。在本文中,利用对应的源图像In作为引导图像,对每个权重图Pnj进行引导滤波优化,如下式:

    $$ W_n^j = {\text{GuidedFilter}}({I_n}, P_n^j, {R_{{\text{gf}}}}, {\sigma _{{\text{gf}}}}) $$ (12)

    式中:Wnjj级分解第n(n∈{v, r})幅图像的引导滤波结果,即优化后的权值;Rgf为引导滤波器局部窗口的尺寸;σgf为权重控制参数。

    n个引导滤波优化的权重图进行归一化,使它们在每个像素处的和为1。然后将j级分解的高频子带图像分别进行加权平均融合,从而得到$j$级高频子带的融合图像,如下式:

    $$H_{\mathrm{F}}{ }^j=W_{\mathrm{v}}^j H_{\mathrm{v}}{ }^j+W_{\mathrm{r}}^j H_{\mathrm{r}}^j$$ (13)

    传统用于融合NSST低频子带的融合方法,大都侧重于融合大尺度灰度信息和能量上,却忽视了低频子带中的部分轮廓和边缘信息。为此,本文提出一种新的低频融合框架,具体地:①使用RGF对NSST低频子带图像进一步分解为基础层和细节层图像;②对基础层图像使用SR方法进行融合,对细节层图像使用基于一致性验证的局部最大值的融合策略进行融合;③对融合后的基础层图像和细节层图像进行反变换,得到融合后的低频子带图像。

    红外和可见光图像的NSST低频子带(LrLv)通过RGF进行滤波,得到基础层图像,如下式:

    $$ B = {\text{RGF}}(L, {R_{{\text{rgf}}}}, {\sigma _{{\text{rgf}}}}, N) $$ (14)

    式中:BL分别为基础层图像和输入的低频子带图像。获得基础层图像后,便可以通过从源低频子带图像中减去基础层图像获得细节层图像,如下式:

    $$D=L-B$$ (15)

    式中:D为细节层图像。

    NSST低频子带的基础层图像含有大量平滑的灰度信息,主要反映了源图像的背景和较大的结构特征。在自然图像中,相比于差异明显的纹理信息,灰度信息之间通常有着较高的相似度。此外,自然图像整体上结构复杂而局部相对简单,具有局部相似性。因此,使用SR方法融合基础层图像更契合图像的特性。本文将NSST低频子带的基础层图像作为初始字典的数据集,采用正交匹配追踪算法(Orthogonal Matching Pursuit, OMP)[17]对源图像进行稀疏分解,采用K-SVD(K-singular Value Decomposition)算法[17]训练过完备字典。本文提出的NSST低频子带基础层图像的融合框架如图 3所示,具体的实现过程如下:

    图  3  NSST低频子带基础层的融合框架
    Figure  3.  Framework of the base layer of the low frequency sub-band

    Step 1  设BvBr分别为可见光图像和红外图像的NSST低频子带基础层图像,利用滑动窗口[18]从左到右、从上至下将BvBr划分为具有一定重叠区域的图像块。

    Step 2  将所有的图像块转换为列向量,并排列成向量矩阵V1V2;然后利用OMP算法和预训练好的过完备字典(Dbase)向量矩阵进行稀疏编码,从而得到稀疏系数矩阵X1X2

    Step 3  使用L1范数取大的融合规则得到融合后的稀疏系数矩阵XF,如下式所示:

    $$ {X_{\text{F}}} = \mathop {\arg \max (\left| {{X_i}} \right|)}\limits_{i \in \left\{ {1, 2} \right\}} $$ (16)

    Step 4  使用融合稀疏系数XF和预训练好的过完备字典(Dbase)重构图像块向量;再将所有的图像块向量重新排列成图像块,从而得到NSST低频子带基础层的融合结果,即融合的基础层图像$ {B_{\text{F}}} $。

    将每个像素灰度的绝对值作为活动水平,使用“绝对值取大”的策略融合NSST低频子带图像的细节层(DrDv)。为了避免因噪声等因素出现决策的误判,影响融合系数的计算,导致融合结果出现伪影等负面影响,使用一致性验证[19]对融合权重图进行调整与检验,具体为:若中心像素取自于图像A,而周围大部分像素值来自于图像B,则中心像素的灰度值便用图像B的中心像素的灰度值替换,图 4所示为NSST低频子带细节层图像DvDr和融合结果DF具体的实现过程。

    图  4  NSST低频子带细节层源图像及融合结果
    Figure  4.  Source images and fused image of the detail layer of the NSST low frequency sub-band

    Step 1  设DrDv分别为红外和可见光图像NSST低频子带的细节层图像,比较DrDv中对应像素灰度值的绝对值,从而得到二值化的决策图DB如下:

    $$ {D_{\text{B}}}(x, y) = \left\{ {\begin{array}{*{20}{c}} 1&{\begin{array}{*{20}{c}} {{\text{if}}}&{\left| {{D_{\text{v}}}(x, y)} \right| > \left| {{D_{\text{r}}}(x, y)} \right|} \end{array}} \\ 0&{{\text{else}}} \end{array}} \right. $$ (17)

    Step 2  对DB进行一致性验证,得到的融合权重图如下:

    $$ {W_1}(x, y) = \left\{ {\begin{array}{*{20}{c}} 1&{\begin{array}{*{20}{c}} {{\text{if}}}&{{\text{MF}}({D_{\text{B}}}(x, y)) > t} \end{array}} \\ 0&{{\text{else}}} \end{array}} \right. $$ (18)
    $$W_2=1-W_1$$ (19)

    式中:W1W2分别为DvDr的二值权重图;MF(·)为大小为3×3的多数滤波器,即输出局部窗口中1的数量;t为设定的阈值。

    Step 3  基于上述二值权重图得到融合的NSST低频子带的细节层图像DF,如下式:

    $$D_{\mathrm{F}}=W_1 D_{\mathrm{v}}+W_2 D_{\mathrm{r}}$$ (20)

    将基础层融合结果BF和细节层融合结果DF进行反变换,得到低频子带图像的融合结果LF,如下式:

    $$L_{\mathrm{F}}=B_{\mathrm{F}}+D_{\mathrm{F}}$$ (21)

    为了验证所提的用于红外和可见光图像融合算法的性能,本文在公开的数据集TNO上进行了大量的实验。本文中用于与所提算法进行实验对比的算法分别是:GTF(Gradient Transfer Fusion)[20]、ASR(Adaptive Sparse Representation)[21]、GFF(Guided Filter Fusion)[22]、NSCT-SR(Non-Subsampled Contourlet Transform and Sparse Representation)[23]和CSR(Convolutional Sparse Representation)[24]

    本文实验中算法的参数设置如下:①NSST分解:4层NSST分解的方向数为[4, 4, 3, 3],剪切波尺寸为[8, 8, 8, 8];②低频部分:RGF分解中Rrgf为16,σrgf为0.1,N为4;基于一致性验证的局部最大值策略中,t为4;稀疏表示中滑动窗口的大小为8×8,步长为2;③高频部分:高斯滤波器中Rg为21,σg为10;引导滤波器中Rgf为3,σgf为0.001。此外,对比算法使用的参数均采用文献中给出的参数设置。所有的实验均在搭载AMD Ryzen5 4600H 3.0 GHz、16 GB内存、Matlab R2020a的PC上运行。

    为了从视觉上对不同算法的融合效果进行评判,图 5给出了本文和其它5种算法融合4组红外和可见光图像的融合结果,其中第一和第二行分别为源红外与可见光图像,第三到第八行分别为基于GTF,ASR,GFF,NSCT-SR,CSR及本文方法(Ours)的融合结果。

    图  5  不同算法的融合结果
    Figure  5.  Fused results of different algorithms

    在第一组结果图中,GTF方法得到的融合结果边缘最为清晰,但纹理细节不足;ASR方法细节保留的较好,但该方法与CSR和NSCT-SR类似,融合结果的整体对比度不高、背景与红外热辐射主体不易分辨;GFF方法虽然可以较清晰地将主体与背景区分开,但平滑了部分细节信息;相对于其它方法,本文方法得到的融合结果对比度较高,能够将红外目标与背景较明显的区分开来,同时地面、云层和窗户等细节信息保留的较完整。

    第二组结果图中,NSCT-SR方法的融合结果边缘清晰,整体视觉效果较好;CSR方法对背景中的细节信息保留的较丰富,如树叶和树枝较为清晰;GFF突出了热辐射主体,但人物、墙体等轮廓虚化,而本文提出的方法对热辐射主体的突出更为明显。

    第三组结果图中,GTF方法、GFF方法和本文方法在亮度上优于其它方法,但GTF方法边缘较模糊,GFF方法对路肩的边缘等细节信息保留的不够充分,而本文方法能较好地将车道和人行道区分开。

    第四组结果图中,GTF方法对热辐射主体的信息保留较好,但无法充分保留天空、墙面的细节;ASR方法出现了一定程度的伪影;CSR方法虽然避免了伪影,但在窗框等处出现了模糊;NSCT-SR方法的融合效果较好,但整体对比度不高;GFF方法在屋顶处出现了较明显的色差;本文方法能更好地突出房屋主体,同时窗框、水管和屋檐等边缘信息也得到了很好的保留。

    为了进一步评价不同算法的融合效果,本文采用一些客观评价指标对融合结果进行客观、定量的评价和分析。本文用于评价融合效果的指标包括平均梯度(Average Gradient, AG)[25]、信息熵(Information Entropy, IE)[26]、空间频率(Space Frequency, SF)[27]、边缘信息保持度(QAB/F[28]、非线性相关信息熵(Nonlinear Correlation Information Entropy, NCIE)[29]和边缘相关融合质量指数(Edge-dependent Fusion Quality Index, Qe[30]。本文中,AG反映了图像的细节信息和纹理特性;IE反映的是融合图像整体的信息量;SF反映了融合结果整体的空间梯度分布情况;QAB/F描述了融合结果中源图像视觉信息的准确度;NCIE测量的是源图像和融合图像之间的整体相关性;Qe反映融合结果与源图像的局部结构相似度。表 1给出了不同算法融合10组图像的客观量化指标的平均值,其中粗体表示性能最好者,下划线表示性能次好者。

    表  1  不同算法在融合10组图像时取得的评价指标的平均值
    Table  1.  Average value of evaluation index regarding 10 pairs of images resulted by the different fusion algorithms
    Method Metric
    AG IE SF QAB/F NCIE Qe
    GTF 2.3751 6.8289 6.7526 0.3520 0.8095 0.3190
    ASR 2.2214 6.2858 6.6897 0.3040 0.8047 0.5888
    GFF 2.8831 6.7084 7.8868 0.5446 0.8062 0.5556
    NSCT-SR 3.0440 6.3341 8.2105 0.4922 0.8046 0.6437
    CSR 2.4636 6.2832 6.8114 0.4668 0.8049 0.5900
    Our 3.2777 6.9005 8.6467 0.5338 0.8091 0.6598
    下载: 导出CSV 
    | 显示表格

    表 1可知,本文方法在QAB/F指标中略逊于GFF方法,在NCIE指标中与GTF方法相近,而在其他指标中均优于对比方法,表明本文算法在融合图像时对源图像的信息保留的更为完整。总体而言,相对于其他几种算法,本文算法取得了更好的红外和可见光图像融合效果。

    为了进一步验证本文算法的性能,以及更加直观和详细地展示实验的对比结果,图 6展示了不同算法分别在融合10组红外和可见光图像时取得的各个客观量化指标值。

    图  6  不同算法在融合10组图像时取得的评价指标
    Figure  6.  Evaluation index regarding 10 pairs of images resulted by the different fusion algorithms

    图 6可知,本文提出的方法在AG、SF这2个指标中性能均优于其他方法;在其他指标中同样位于前列,性能优于或次优于其他方法。综上可知,在客观评价指标方面,本文提出的方法总体上要优于其他几种方法。

    本文提出的算法使用RGF对低频子带图像进一步分解,其中涉及到一些重要的参数,即尺度参数Rrgf与迭代次数N。本节结合3.3节中使用的6个客观评价指标分析不同参数对融合性能的影响(对照实验中其他参数使用3.2节给出的参数设置)。表 2所示为尺度参数Rrgf对融合性能的影响。

    表  2  尺度参数Rrgf对融合性能的影响
    Table  2.  Impact of the scale parameter on fusion performance
    Value of the parameter Rrgf AG IE SF QAB/F NCIE Qe
    4 3.25744 6.85791 8.62015 0.53398 0.81018 0.65698
    8 3.26514 6.86893 8.63135 0.53501 0.80989 0.65918
    16 3.27777 6.90049 8.64670 0.53375 0.80912 0.65978
    32 3.29768 6.95487 8.68145 0.52785 0.80812 0.65647
    下载: 导出CSV 
    | 显示表格

    表 2可知,随着Rrgf的增加,AG、IE与SF性能随之上升,其他指标随之下降;当Rrgf>6时,QAB/F、NCIE与Qe下降趋势变大。此外,图 7为迭代次数N对融合性能的影响。

    图  7  迭代次数N对融合性能的影响
    Figure  7.  Impact of the number of iterations on fusion performance

    图 7可知,随着N的增加,融合结果中的“伪影”逐渐减轻,但当N>4时,性能提升便不明显。此外,迭代次数越大,运算耗时越长。因此,综合考虑上述分析,最终选择了尺度参数Rrgf为16、迭代次数N为4的参数设置。

    为了证明“一致性验证”的必要性和有效性,下面通过消融实验来对比验证“一致性验证”对融合性能的影响,其中本文算法在融合NSST子带图像的细节层图像时采用“基于局部窗口一致性验证的绝对值取大”策略,而消融后的对比方法(记为Max-absolute)除了对细节层图像融合使用“绝对值取大”策略,其余部分算法均与本文算法相同,且采用相同的参数设置。如图 8所示,图 8(a)图 8(b)分别为红外图像与可见光图像,图 8(c)为使用“绝对值取大”策略得到的融合结果,图 8(d)为本文算法得到的融合结果。

    图  8  不同算法的融合结果
    Figure  8.  Fused results of different algorithms

    图 8可知,相较于图 8(c),本文算法得到的结果中伪影更少(如标识牌两侧与邮箱底部等位置)。此外,表 3为对比算法(记为Max-absolute)与本文算法得到的融合结果的客观评价指标的对比,表中使用粗体表示性能较好者。

    表  3  不同算法在融合10组图像时取得的评价指标的平均值
    Table  3.  Average value of evaluation index regarding 10 pairs of images resulted by the different fusion algorithms
    Methods Metric
    AG IE SF QAB/F NCIE Qe
    Max-absolute 3.2738 6.8993 8.6385 0.5339 0.8090 0.6614
    Ours 3.2777 6.9005 8.6467 0.5338 0.8091 0.6598
    下载: 导出CSV 
    | 显示表格

    表 3可知,本文算法在QAB/F指标中十分接近对比算法,在Qe指标中略逊于对比算法,在其他指标中均优于对比算法。综合来看本文算法在客观评价指标上整体优于对比算法,并且主观视觉效果表现更佳,可以证明“一致性验证”的确在一定程度上提升了融合效果。

    本文提出了一种NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合算法。该方法充分地结合了NSST、引导滤波与稀疏表示各自的优点,并有效地减少了NSST低频子带细节信息的损失。利用公开的红外与可见光图像数据集进行实验,本文方法融合结果的主观视觉效果更好,更倾向人眼的视觉偏好;另外,本文方法得到的客观评价指标总体上也优于其他方法。上述情况表明本文提出的方法在有效地保留红外图像热辐射信息的同时,很好地融合了可见光图像的纹理、边缘等细节信息,取得了较好的融合效果。在后续的工作中,将对算法进行进一步研究和改进,以提升算法的性能。

  • 图  1   本文提出的用于红外和可见光图像融合的算法框架图

    Figure  1.   Algorithm framework of the proposed method for infrared and visible image fusion

    图  2   NSST高频子带融合框架

    Figure  2.   Fusion framework of NSST high frequency sub-band

    图  3   NSST低频子带基础层的融合框架

    Figure  3.   Framework of the base layer of the low frequency sub-band

    图  4   NSST低频子带细节层源图像及融合结果

    Figure  4.   Source images and fused image of the detail layer of the NSST low frequency sub-band

    图  5   不同算法的融合结果

    Figure  5.   Fused results of different algorithms

    图  6   不同算法在融合10组图像时取得的评价指标

    Figure  6.   Evaluation index regarding 10 pairs of images resulted by the different fusion algorithms

    图  7   迭代次数N对融合性能的影响

    Figure  7.   Impact of the number of iterations on fusion performance

    图  8   不同算法的融合结果

    Figure  8.   Fused results of different algorithms

    表  1   不同算法在融合10组图像时取得的评价指标的平均值

    Table  1   Average value of evaluation index regarding 10 pairs of images resulted by the different fusion algorithms

    Method Metric
    AG IE SF QAB/F NCIE Qe
    GTF 2.3751 6.8289 6.7526 0.3520 0.8095 0.3190
    ASR 2.2214 6.2858 6.6897 0.3040 0.8047 0.5888
    GFF 2.8831 6.7084 7.8868 0.5446 0.8062 0.5556
    NSCT-SR 3.0440 6.3341 8.2105 0.4922 0.8046 0.6437
    CSR 2.4636 6.2832 6.8114 0.4668 0.8049 0.5900
    Our 3.2777 6.9005 8.6467 0.5338 0.8091 0.6598
    下载: 导出CSV

    表  2   尺度参数Rrgf对融合性能的影响

    Table  2   Impact of the scale parameter on fusion performance

    Value of the parameter Rrgf AG IE SF QAB/F NCIE Qe
    4 3.25744 6.85791 8.62015 0.53398 0.81018 0.65698
    8 3.26514 6.86893 8.63135 0.53501 0.80989 0.65918
    16 3.27777 6.90049 8.64670 0.53375 0.80912 0.65978
    32 3.29768 6.95487 8.68145 0.52785 0.80812 0.65647
    下载: 导出CSV

    表  3   不同算法在融合10组图像时取得的评价指标的平均值

    Table  3   Average value of evaluation index regarding 10 pairs of images resulted by the different fusion algorithms

    Methods Metric
    AG IE SF QAB/F NCIE Qe
    Max-absolute 3.2738 6.8993 8.6385 0.5339 0.8090 0.6614
    Ours 3.2777 6.9005 8.6467 0.5338 0.8091 0.6598
    下载: 导出CSV
  • [1]

    MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004

    [2]

    LIU Y P, JIN J, WANG Q, et al. Region level based multi-focus image fusion using quaternion wavelet and normalized cut[J]. Signal Processing, 2014, 97: 9-30. DOI: 10.1016/j.sigpro.2013.10.010

    [3]

    Toet A. Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253. DOI: 10.1016/0167-8655(89)90003-2

    [4]

    Choi M, Kim R Y, Nam M R, et al. Fusion of multispectral and panchromatic satellite images using the curvelet transform[J]. IEEE Geoscience and Remote Sensing Letters, 2005, 2(2): 136-140. DOI: 10.1109/LGRS.2005.845313

    [5]

    Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46. DOI: 10.1016/j.acha.2007.09.003

    [6] 康家银, 陆武, 张文娟. 融合NSST和稀疏表示的PET和MRI图像融合[J]. 小型微型计算机系统, 2019, 40(12): 2506-2511. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX201912006.htm

    KANG J Y, LU W, ZHANG W J. Fusion of PET and MRI images using non-subsampled shearlet transform combined with sparse representation[J]. Journal of Chinese Computer Systems. 2019, 40(12): 2506-2511. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX201912006.htm

    [7]

    LIU Z W, FENG Y, CHEN H, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]. Optics and Lasers in Engineering, 2017, 97: 71-77. DOI: 10.1016/j.optlaseng.2017.05.007

    [8] 董安勇, 杜庆治, 苏斌, 等. 基于卷积神经网络的红外与可见光图像融合[J]. 红外技术, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009

    DONG A Y, DU Q Z, SU B, et al. Infrared and visible image fusion based on convolutional neural network[J]. Infrared Technology, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009

    [9] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    YE K T, LI W, SHU L L, et al. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]. Infrared Technology, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    [10] 王晓娜, 潘晴, 田妮莉. 基于NSST-DWT-ICSAPCNN的多模态图像融合算法[J]. 红外技术, 2022, 44(5): 497-503. http://hwjs.nvir.cn/article/id/0644931d-58ad-4bbd-a752-5f4bbd2061e1

    WANG X N, PAN Q, TIAN N L. Multi-modality image fusion algorithm based on NSST-DWT-ICSAPCNN[J]. Infrared Technology, 2022, 44(5): 497-503. http://hwjs.nvir.cn/article/id/0644931d-58ad-4bbd-a752-5f4bbd2061e1

    [11] 常莉红. 基于剪切波变换和稀疏表示理论的图像融合方法[J]. 中山大学学报: 自然科学版, 2017, 56(4): 16-19. https://www.cnki.com.cn/Article/CJFDTOTAL-ZSDZ201704003.htm

    CHANG L H. Fusion method based on shearlet transform and sparse representation[J]. Acta Scientiarum Naturalium Universitatis Sunyatsen, 2017, 56(4): 16-19. https://www.cnki.com.cn/Article/CJFDTOTAL-ZSDZ201704003.htm

    [12] 王相海, 邢俊宇, 王鑫莹, 等. 基于剪切波和低秩稀疏表示的噪声图像融合算法研究[J]. 辽宁师范大学学报: 自然科学版, 2022, 45(2): 191-200. https://www.cnki.com.cn/Article/CJFDTOTAL-LNSZ202202008.htm

    WANG X H, XING J Y, WANG X Y, et al. Noisy image fusion algorithm based on shearlet and low-rank sparse representation[J]. Journal of Liaoning Normal University (Natural Science Edition), 2022, 45(2): 191-200. https://www.cnki.com.cn/Article/CJFDTOTAL-LNSZ202202008.htm

    [13] 吴月. 基于非下采样剪切波变换和稀疏表示的图像融合算法研究[D]. 北京: 北京交通大学, 2018.

    WU Y. Image Fusion Algorithm Based on Sparse Representation and Non-Subsampled Shearlet Transform[D]. Beijing: Beijing Jiaotong University, 2018.

    [14]

    HE K M, SUN J, TANG X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409. DOI: 10.1109/TPAMI.2012.213

    [15]

    ZHANG Q, SHEN X, XU L, et al. Rolling guidance filter[C]//13th European Conference on Computer Vision, 2014: 815-830.

    [16]

    MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.

    [17]

    Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322. DOI: 10.1109/TSP.2006.881199

    [18]

    YANG B, LI S T. Multifocus image fusion and restoration with sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892. DOI: 10.1109/TIM.2009.2026612

    [19]

    LI H, Manjunath B S, Mitra S K. Multisensor image fusion using the wavelet transform[J]. Graphical Models and Image Processing, 1995, 57(3): 235-245.

    [20]

    MA J Y, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109.

    [21]

    LIU Y, WANG Z F. Simultaneous image fusion and denoising with adaptive sparse representation[J]. IET Image Processing, 2015, 9(5): 347-357.

    [22]

    LI S T, KANG X D, HU J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875.

    [23]

    LIU Y, LIU S P, WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164.

    [24]

    LIU Y, CHEN X, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886.

    [25]

    SHEN Y, NA J, WU Z D, et al. Tetrolet transform images fusion algorithm based on fuzzy operator[J]. Journal of Frontiers of Computer Science and Technology, 2015, 9(9): 1132.

    [26] 敬忠良, 肖刚, 李振华. 图像融合—理论与应用[M]. 北京: 高等教育出版社, 2007.

    JING Z L, XIAO G, LI Z H. Image Fusion: Theory and Applications[M]. Beijing: High Education Press, 2007. (in Chinese)

    [27]

    ZHENG Y, Essock E A, Hansen B C, et al. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]. Information Fusion, 2007, 8(2): 177-192.

    [28]

    Xydeas C S, Petrovic V S. Objective pixel-level image fusion performance measure[C]//AeroSense, 2000: 89-98.

    [29]

    WANG Q, SHEN Y, JIN J. Performance Evaluation of Image Fusion Techniques[M]. Amsterdam: Elsevier, 2008: 469-492.

    [30]

    Piella G, Heijmans H. A new quality metric for image fusion[C]// International Conference on Image Processing, IEEE, 2003(2): Ⅲ-173-6.

  • 期刊类型引用(5)

    1. 陈广秋,魏洲,段锦,黄丹丹. 基于复合域多尺度分解的红外偏振图像融合方法. 吉林大学学报(理学版). 2025(02): 479-491 . 百度学术
    2. 孙海英,郑明辉,孔佳利. 基于改进潜在低秩表示的红外和可见光图像融合. 台州学院学报. 2025(03): 57-65 . 百度学术
    3. 刁伟轩. 基于权重的红外与可见光图像融合算法及其性能评估. 科学技术创新. 2024(03): 106-109 . 百度学术
    4. 胡记文,韩斌,张飞,张凡. 基于色彩衰减补偿和改进的Retinex水下图像增强. 舰船科学技术. 2024(18): 143-149 . 百度学术
    5. 龚循强,方启锐,侯昭阳,张智华,夏元平. 一种光学与合成孔径雷达影像融合去云方法. 光学学报. 2024(24): 193-204 . 百度学术

    其他类型引用(5)

图(8)  /  表(3)
计量
  • 文章访问数:  184
  • HTML全文浏览量:  48
  • PDF下载量:  48
  • 被引次数: 10
出版历程
  • 收稿日期:  2022-08-01
  • 修回日期:  2022-09-12
  • 刊出日期:  2023-09-19

目录

/

返回文章
返回
x 关闭 永久关闭