基于三分支对抗学习和补偿注意力的红外和可见光图像融合

邸敬, 任莉, 刘冀钊, 郭文庆, 廉敬

邸敬, 任莉, 刘冀钊, 郭文庆, 廉敬. 基于三分支对抗学习和补偿注意力的红外和可见光图像融合[J]. 红外技术, 2024, 46(5): 510-521.
引用本文: 邸敬, 任莉, 刘冀钊, 郭文庆, 廉敬. 基于三分支对抗学习和补偿注意力的红外和可见光图像融合[J]. 红外技术, 2024, 46(5): 510-521.
DI Jing, REN Li, LIU Jizhao, GUO Wenqing, LIAN Jing. Infrared and Visible Image Fusion Based on Three-branch Adversarial Learning and Compensation Attention Mechanism[J]. Infrared Technology , 2024, 46(5): 510-521.
Citation: DI Jing, REN Li, LIU Jizhao, GUO Wenqing, LIAN Jing. Infrared and Visible Image Fusion Based on Three-branch Adversarial Learning and Compensation Attention Mechanism[J]. Infrared Technology , 2024, 46(5): 510-521.

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

基金项目: 

国家自然科学基金 62061023

甘肃省杰出青年基金 21JR7RA345

甘肃省科技计划资助项目 22JR5RA360

详细信息
    作者简介:

    邸敬(1979-),女,硕士生导师,副教授,主要研究方向为图像检测识别、信号处理技术和宽带无线通信方面的研究

    通讯作者:

    任莉(1997-),女,硕士研究生,主要研究方向为深度学习与图像融合。E-mail: 1427594911@qq.com

  • 中图分类号: TP391

Infrared and Visible Image Fusion Based on Three-branch Adversarial Learning and Compensation Attention Mechanism

  • 摘要:

    针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

    Abstract:

    The existing deep learning image fusion methods rely on convolution to extract features and do not consider the global features of the source image. Moreover, the fusion results are prone to texture blurring, low contrast, etc. Therefore, this study proposes an infrared and visible image fusion method with adversarial learning and compensated attention. First, the generator network uses dense blocks and the compensated attention mechanism to construct three local-global branches to extract feature information. The compensated attention mechanism is then constructed using channel features and spatial feature variations to extract global information, infrared targets, and visible light detail representations. Subsequently, a focusing dual-adversarial discriminator is designed to determine the similarity distribution between the fusion result and source image. Finally, the public dataset TNO and RoadScene are selected for the experiments and compared with nine representative image fusion methods. The method proposed in this study not only obtains fusion results with clearer texture details and better contrast, but also outperforms other advanced methods in terms of the objective metrics.

  • 图像融合是将多传感器采集的同一场景的图像进行融合,取得信息互补的过程。其中,红外与弱可见光图像融合近年来受到广泛的关注,利用两者间的相关性和互补性进行融合,增加了图像中有用信息含量,图像的效果可以获得很大的改观,在同一图像中突出目标的同时还能较好地呈现背景细节,不仅提高了成像系统的视距,而且有效提高了融合图像信噪比,具有更高的可靠性和可信度,增强了人们对关注区域的探测、识别和分析能力。如在公共安全领域,违法犯罪活动的伪装使得对目标的调查取证更加困难,作案人往往利用夜幕掩护进行犯罪活动,以躲避警方的打击,夜间发现和识别作案人的范围越大,就意味着在夜间有较大的作战半径,同时也就获得了夜间作战的主动权。利用红外与弱可见光融合技术,有助于警务人员及时发现可疑目标,可以更有效地打击作案人和保护自身的安全。

    红外与弱可见光融合技术涉及到工作的颜色空间、图像处理域以及不同子带图像融合策略规则等关键问题。尤其在图像处理域方面,红外与弱可见光图像融合主要有基于空间域和变换域两种方法,较新的空间域算法包括基于鲁棒主成分分析RPCA(Robust Principal Component Analysis)[1]、压缩感知CS(Compressed Sensing)等[2-3],较新的基于变换域的图像融合方法有非下采样轮廓变换(Non-Subsampled Contourlet Transform,NSCT)[4-5]、非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)[6-7]、非下采样双树轮廓波变换(Non-Subsampled Dual Tree Contourlet Transform,NSDTCT)[8]、双树复小波变换(Dual Tree Complex Wavelet Transform,DTCWT)[9-10]、双树复剪切波变换(Dual Tree Complex Shearlet Transform,DTCST)[11]等。总的来说,变换域融合方法要优于空间域融合方法,而小波变换域处理要优于其他变换域算法,但传统小波变换在处理图像等二维信息时,由于方向选择性少,存在对图像的边缘轮廓等高频分量表征能力差、细节纹理缺失、不能突出重点目标等不足,而DTCWT不仅保留了传统小波变换的时频域特性,而且重构使计算效率更高,具有近似的平移不变性、更多的方向选择性和有限数据冗余,DTCWT能够同时显著提高图像配准与融合的质量,非常适合处理红外与弱可见光融合夜视图像。

    本文基于感知一致性颜色空间的优异特性,在新构造的颜色空间内完成红外与弱可见光图像的分解、融合与重构。其中,利用DTCWT在PUCS空间内对红外、弱可见光图像进行多尺度变换域分解,以提取异源图像各自的显著信息和细节信息;针对低、高频分量设计不同的融合规则,对于低频分量采用基于区域能量自适应加权的策略,对于高频分量使用基于拉普拉斯能量和与梯度值计算混合的规则;最后,通过DTCWT逆变换得到融合后的图像。

    颜色空间是进行颜色信息处理和研究的基础,常用的工作空间有RGB、HSV、YUV、lαβ、CIELAB等颜色空间,由于颜色空间大多为非线性空间,所以存在计算复杂、效率低等问题。理想的颜色空间3个通道间应互相独立且不存在交叉干扰,色差变化应符合欧式尺度,即当任一分量发生变化时,人眼视觉可察觉变化也是相同的[12-13],即颜色空间的一致性或均匀性,同时可以与RGB空间进行逆变换且易于实时处理。本文采用文献[14]提出的基于感知一致性颜色空间,感知一致性空间与RGB颜色空间变换步骤如下:

    首先,分别将红外与弱可见光图像由RGB空间转换至XYZ空间:

    $$ \left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right]{{\rm{ = }}}{\boldsymbol{ M}}{{\rm{ }}}\left[ {\begin{array}{*{20}{c}} {R/255} \\ {G/255} \\ {B/255} \end{array}} \right] $$ (1)

    其中:

    $$ {\boldsymbol{ M}} = \left[ {\begin{array}{*{20}{c}} {0.4125}&{0.3576}&{0.1805} \\ {0.2126}&{0.7152}&{0.0722} \\ {0.0193}&{0.1192}&{0.9505} \end{array}} \right] 。 $$

    继续将图像从XYZ空间转至CIELAB空间:

    $$ \left\{ {\begin{array}{*{20}{l}} {{L^*}{{\rm{ = 116}}} \times f(Y/{Y_{{\rm{n}}}}) - 16} \\ {{a^*} = 500 \times [f(X/{X_{{\rm{n}}}}) - f(Y/{Y_{{\rm{n}}}})]} \\ {{b^*} = 200 \times [f(Y/{Y_{{\rm{n}}}}) - f(Z/{Z_{{\rm{n}}}})]} \end{array}} \right. $$ (2)
    $$ f(t) = \left\{ {\begin{array}{*{20}{l}} {{t^{1/3}}\; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; t > {{(6/29)}^3}} \\ {\frac{1}{3}{{(\frac{{29}}{6})}^2}t + \frac{4}{{29}}\; \; \; \; \; \; \; \; else} \end{array}} \right. $$ (3)

    式(3)中,t=X/Xnt=Y/Ynt=Z/ZnXnYnZn分别为观察者眼中参考白光对应的三刺激值;L*a*b*分别为CIELAB各分量值。

    进行感知一致性颜色空间变换时,使用标准色差公式CIEDE2000得到ΔE

    $$ \Delta E{\rm{=}}\sqrt{(\frac{\Delta {L}^{\prime }}{{K}_{{\rm{L}}}{S}_{{\rm{L}}}}{)}^{2}+(\frac{\Delta {{C}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{C}}}{S}_{{\rm{C}}}}{)}^{2}+(\frac{\Delta {{H}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{H}}}{S}_{{\rm{H}}}}{)}^{2}+{R}_{{\rm{T}}}(\frac{\Delta {{C}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{C}}}{S}_{{\rm{C}}}})(\frac{\Delta {{H}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{H}}}{S}_{{\rm{H}}}})} $$ (4)

    式中:ΔL′为明度差;ΔCab′为彩度差;ΔHab′为色相差;KLKCKH分别为亮度、彩度、色相的校正系数;SLSCSH分别为亮度、彩度、色相的权重函数;RT为彩度旋转函数。由于所处理的红外与弱可见光图像均为灰度图像,本文仅需对亮度分量进行处理,可将式(4)简化为式(5):

    $$ \Delta E{\rm{=}}\left|(\frac{\Delta {L}^{\prime }}{{K}_{{\rm{L}}}{S}_{{\rm{L}}}})\right| $$ (5)

    式中:KL为预置参数,$ {S}_{L}{\rm{=}}1{\rm{+}}\frac{0.015(\overline{{L}^{*}}-50{)}^{2}}{\sqrt{20{\rm{+}}(\overline{{L}^{*}}-50{)}^{2}}} $,ΔL′=Li-1*-Li*,最终,获得新的亮度分量LNEW*

    $$ L_{{{\rm{NEW}}}}^{{\rm{*}}}(L_j^ * ) = \sum\limits_{i = 2}^j {\Delta E({{(L_{i - 1}^ * , 0, 0)}^{{\rm{T}}}}, {{(L_i^ * , 0, 0)}^{{\rm{T}}}})} $$ (6)

    式中:j=2, …, KLNEW*(L1*)=0,并将计算得到的亮度各分量存入到一维查找表内,后续变换域中计算时只需到一维查找表中调出亮度分量即可。

    英国剑桥大学Nick Kingsbury等提出的基于Q-shift滤波器组结构的双树复小波变换(dual tree complex wavelet transform, DTCWT)[15]。可以解决传统小波变换不具有平移不变性、方向信息有限等不足,且有较高的计算效率和更好的重构效果。图 1给出了图像的DTCWT二层分解示意图,DTCWT利用二棵离散小波树分别产生相应的小波系数的实部及虚部进行并行运算,由于是扩展到二维,因此共计4个分树,Lo1Loq为对应的低通滤波器,Hi1Hiq为对应的高通滤波器,Lo1Hi1LoqHiq分别是共轭正交的滤波器对,与离散小波在二维图像上处理信号的方式相似,DTCWT首先通过滤波器组先对图像行滤波,然后列滤波,滤波器要求第1层2棵树之间有1个采样点时延,并从第二层起要求树A和树B滤波器的幅频响应均相等,两棵树滤波器之间要保持相对于各自采样速率的0.5个样值间隔,即二分之一采样周期的时延差距,以消除信号间的干扰,通过行、列交替的滤波方式,结合每一层上的低通滤波器和高通滤波器,通过组合可以得到6个复数分量(x1a+jx1bx2a+jx2bx3a+jx3bx01a+jx01bx02a+jx02bx03a+jx03b)。同时,低频子带图像x00将继续被分解为下一层的低频和高频部分,并且总体数据冗余度比(4:1)并不会随着分解层数的增多而提高,可避免过多的计算开销[15-16]

    图  1  二层分解下的DTCWT
    Figure  1.  Two levels of DTCWT decomposition

    图 2为DTCWT四层分解下的基函数冲击响应(分别为±15°、±45°以及±75°三个对称方向)图像,由于A树与B树分别对图像信号的奇、偶数位置滤波,可以保证B树采样点的位置恰好位于A树采样点的中间位置,以避免抽样所产生的混叠,通过图 2(a)图 2(b)对比可以看出,两者具有很强的对称性与互补性,相对于传统DWT仅有两个方向的细节,不具备平移不变性等缺陷,DTCWT可以极大地提高图像方向信息的分析能力及稳定性,可使融合图像更好地保留源图像的不同方向上的典型特征,可以极大地提高图像分解与重构的精度的同时,保留图像更多的细节信息。

    图  2  四层分解下的DTCWT基函数冲击响应
    Figure  2.  DTCWT Basis function real and imaginary part impact response under four-levels decomposition

    DTCWT分解中实部变换小波系数WLr(k)和尺度系数CLr(k)计算如下:

    $$ W_L^{{\rm{r}}}(k) = {2^{\frac{L}{2}}}\int\limits_{ - \infty }^\infty {f(t){s^{{\rm{r}}}}(t)({2^L}t - k){{\rm{d}}}t} $$ (7)
    $$ C_L^{{\rm{r}}}(k) = {2^{\frac{L}{2}}}\int\limits_{ - \infty }^\infty {f(t){h^{{\rm{r}}}}(n)({2^L}t - k){{\rm{d}}}t} $$ (8)

    式中:f(t)为输入信号,L取值为0, 1, 2, …, NN表示分解的层数,实部树的尺度函数为sr(t),实部树的小波函数为hr(n),同理可得虚部树的小波系数WLi(k)和尺度系数CLi(k),从而得到完整的小波系数WL(k)和尺度系数CL(k),如式(9)、式(10)所示:

    $$ W_{L}(k)=W_{L}^{\mathrm{r}}(k)+j W_{L}^{i}(k) $$ (9)
    $$ C_{L}(k)=C_{L}^{\mathrm{r}}(k)+j C_{L}^{i}(k) $$ (10)

    DTCWT重构过程可由式(11)、式(12)获得,其中,λi为尺度选择系数,λi∈[0, …, 1]:

    $$ W_L^{}(t) = {2^{\frac{L}{2}}}{\lambda _i}\sum\limits_{n \in Z} {[W_L^{{\rm{r}}}(n){s^{{\rm{r}}}}({2^L}t - k)} + W_L^i(n){s^i}({2^L}t - n)] $$ (11)
    $$ C_L^{}(t) = {2^{\frac{L}{2}}}{\lambda _{N + 1}}\sum\limits_{n \in Z} {[C_L^{{\rm{r}}}(n){s^{{\rm{r}}}}({2^L}t - k)} + C_L^i(n){s^i}({2^L}t - n)] $$ (12)

    最终可得重构后的信号f*(t)为:

    $$ {f^ * }(t) = {C_L}(t) + \sum\limits_{L = 1}^N {{W_L}(t)} $$ (13)

    在二维图像中,将t替换为(M, N)即可得到相应的分解与重构方程,图 3为某广场基于DTCWT四层分解后的红外与弱可见光夜视图像。

    图  3  基于DTCWT分解的红外与弱可见光图像
    Figure  3.  Infrared and low-level visible light images based on DTCWT decomposition

    本文图像融合整体流程如图 4所示,其中,融合算法的具体步骤为:

    图  4  基于感知一致性颜色空间与DTCWT的图像融合框架
    Figure  4.  Image fusion framework based on perception uniformity color space and DTCWT

    1)通过式(1)~(6)将红外与弱可见光图像分别转至感知一致性颜色空间以获得新的亮度分量LNEW*

    2)通过式(7)~(10),利用基于Q-shift滤波器组结构的双树复小波对红外与弱可见光图像进行DTCWT分解,分别获取两者的低频分量与高频分量;

    3)根据高、低频分量的特点,由式(14)、(15)对低频子带分量系数$C_{\mathrm{L}\;(s, d)}^{\rm{IR}}(m, n)$、$ C_{{\mathrm{L}}\;(s, d)}^{\mathrm{VIS}}(m, n)$采用区域能量自适应加权的融合规则以获取融合后的低频系数$ C_{{\rm{L}}\;(s, d)}^{{\rm{F}}} $;

    4)利用(16)~(18)对高频子带分量系数$C_{\mathrm{H}\;(s, d)}^{\rm{IR}}(m, n)$、$ C_{{\mathrm{H}}\;(s, d)}^{\mathrm{VIS}}(m, n)$采用改进拉普拉斯能量和的融合规则以获取高频系数$ C_{{\rm{H}}\;(s, d)}^{{\rm{F}}} $;

    5)通过式(11)~(13)将步骤3)与步骤4)中不同尺度融合后的低、高频系数进行DTCWT逆变换,完成融合图像重构,并将融合后的图像转回至RGB颜色空间。

    低频子带包含了源图像的多数灰度和轮廓信息,本文提出一种基于区域能量自适应加权(Region Energy Adaptive Weighted, REAW)的规则对低频子带分量进行融合。其中,$ C_{{{\rm{L}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ C_{{{\rm{L}}}\left( {s, d} \right)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像的低频系数,则融合后的低频系数为:

    $$ C_{{{\rm{L}}}(s, d)}^{{\rm{F}}} = {k_1}C_{{{\rm{L}}}(s, d)}^{{{\rm{IR}}}} + {k_2}C_{{{\rm{L}}}(s, d)}^{{{\rm{VIS}}}} $$ (14)

    式中:权重系数$ {k}_{1}{\rm{=}}{E}_{(s, d)}^{{\rm{IR}}}/({E}_{(s, d)}^{{\rm{IR}}}{\rm{+}}{E}_{(s, d)}^{{\rm{VIS}}}) $,$ {k}_{2}{\rm{=}}{E}_{(s, d)}^{{\rm{VIS}}}/({E}_{(s, d)}^{{\rm{IR}}}{\rm{+}}{E}_{(s, d)}^{{\rm{VIS}}}) $;k1k2的和为1。$ E_{(s, d)}^{{\rm{i}}} $为红外与可见光在以点(m, n)为中心处的局部区域能量[17],本文局部窗口尺寸取值为3×3,窗口系数$ w = \left[ {\begin{array}{*{20}{c}} {1/16}&{1/8}&{1/16} \\ {1/8}&{1/4}&{1/8} \\ {1/16}&{1/8}&{1/16} \end{array}} \right] $,则局部区域能量计算公式为:

    $$ E_{(s, d)}^i = \sum\limits_{{{\rm{d}}}m \in M}^{} {\sum\limits_{{{\rm{d}}}n \in N}^{} {w \times {{[C{{_{{\rm{L}}}^i}_{(s, d)}}(m + {{\rm{d}}}m, n + {{\rm{d}}}n)]}^2}} } $$ (15)

    式中:i=IR或VIS;dm、dn分别为表示局部窗口内像素点相对于中心像素点横、纵方向上的位置偏移,通过式(15)计算出k1k2系数值,从而计算出低频融合系数$ C_{L(s, d)}^{{\rm{F}}} $。

    高频子带一般代表图像的细节,如边缘、纹理等,而拉普拉斯能量和(Sum Modified Laplacian,SML)是一种表征图像边缘特征的参数,在一定程度上可以反映图像的清晰程度,SML的计算依赖于变步长拉普拉斯算子(Modified Laplacian,ML)。本文提出一种基于拉普拉斯能量和与梯度值向量的规则对不同尺度、方向下的高频子带进行融合。其中,$ C_{{{\rm{H}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ C_{{{\rm{H}}}(s, d)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像在点(m, n)处的高频系数;$ I_{{{\rm{H}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ I_{{{\rm{H}}}(s, d)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像在点(m, n)的亮度;s表示尺度值,d表示方向值。同样,局部窗口尺寸取值为3×3,则水平和垂直方向4个点权值贡献为1,4个对角点权值贡献为0.7,则在点(m, n)处第s尺度,d方向的ML(s, d)、总SML(s, d)详见式(16)、(17)。

    $$\begin{aligned} \mathrm{ML}_{(s, d)}^{\mathrm{i}}=& \mid 2 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n)-\\ & C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n)|+| 2 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-\\ & C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n-1)-C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n+1) \mid+\\ & \mid 1.4 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n-1)-\\ & 0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n+1)|+| 1.4 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-\\ & 0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n-1)-0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n+1) \mid \end{aligned}$$ (16)
    $$ {{\rm{SML}}}_{(s, d)}^{{\rm{i}}} = {\sum\limits_{m{{\rm{ = }}}0}^M {\sum\limits_{n{{\rm{ = }}}0}^N {[{{\rm{ML}}}_{(s, d)}^{{\rm{i}}}]} } ^2} $$ (17)

    SML值越大反映出该点的细节信息越丰富,同时该点的梯度值越大则表明该点极有可能为边缘轮廓,因此本文在计算出SML(s, d)后,引入梯度值$G_{\mathrm{H}(s, d)}^{\mathrm{i}}$,对不同的高频子带采用不同的策略以提升高频子带的融合精度[18],则融合后的高频系数如式(18)所示,其中,k(m, n)计算方法见式(19)。

    $$C_{{\mathrm{H}}(s, d)}^{{\mathrm{F}}}=\left\{\begin{array}{l} C_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}(m, n), G_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}} \geq G_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}} \;{\text { and }}\; {\mathrm{SML}}_{(s, d)}^{{\mathrm{IR}}} \geq {\mathrm{SML}}_{(s, d)}^{{\mathrm{VIS}}} \\ C_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}}(m, n), G_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}<G_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}} \;{\text { and }}\; {\mathrm{SML}}_{(s, d)}^{{\mathrm{IR}}}<{\mathrm{SML}}_{(s, d)}^{{\mathrm{VIS}}} \\ C_{(s, d)}^{{\mathrm{F}}}=k(m, n) C_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}(m, n)+[1-k(m, n)]^{2} C_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}}(m, n), {\text { else }} \end{array}\right.$$ (18)
    $$ k(m, n){{\rm{ = }}}\left| {\frac{{G_{H(s, d)}^{{{\rm{IR}}}} \times {{\rm{SML}}}{{_H^{{{\rm{IR}}}}}_{(s, d)}}}}{{G_{H(s, d)}^{{{\rm{IR}}}} \times {{\rm{SML}}}{{_H^{{{\rm{IR}}}}}_{(s, d)}} + G_{H(s, d)}^{{{\rm{VIS}}}} \times {{\rm{SML}}}_{H(s, d)}^{{{\rm{VIS}}}}}}} \right| $$ (19)
    $$G_{H(s, d)}^{\mathrm{i}}=\sqrt{\nabla x I_{H(s, d)}^{\mathrm{i}}(m, n)^{2}+\nabla y I_{H(s, d)}^{\mathrm{i}}(m, n)^{2}}$$ (20)

    式(20)中:∇x与∇y分别表示像素$I_{H(s, d)}^{\mathrm{i}}$在横纵两个方向上的一阶差分,则图像边缘轮廓细节的融合系数采用式(18)中前2行,图像的纹理信息的融合系数采用式(18)中第3行。最后,将融合后的低、高频系数$ C_{{{\rm{L}}}(s, d)}^{{\rm{F}}} $与$ C_{{{\rm{H}}}(s, d)}^{{\rm{F}}} $通过DTCWT及颜色空间逆变换,完成融合图像重构。

    为了验证本文算法的有效性和准确性,将本文算法与Weighted Least Square(WLS)[19],Infrared Feature Extraction and Visual Information Preservation(IFEVIP)[20],Mis-registration(MISREG)[21]共4种方法进行比较分析,各方法的参数设置与原文献中保持一致。本文运行环境为:Windows10操作系统,Intel-i5-0400,16 G内存,CPU主频3.8 GHz;实验仿真采用Matlab 2016a平台,所有图像尺寸为768×576,其中DTCWT分解层数为4层,每层高频子带分解方向为±15°、±45°以及±75°共6个方向,Q-shift滤波器组长度为18,对应的滤波器组详见表 1,低频子带通过基于区域能量自适应加权的方法进行融合,高频子带利用基于拉普拉斯和与梯度值向量的方法进行融合。分别通过主观视觉与客观指标两种评价方法对融合结果进行比较分析。

    表  1  Q-shift滤波器组
    Table  1.  Q-shift filter banks
    Tree A Tree B
    Real part filters Imaginary part filters Real part filters Imaginary part filters
    Lo1 Hi1 Lo1 Hi1 Loq Hiq Loq Hiq
    -0.0023 0.0024 0.0024 0.0023 0.0024 0.0023 -0.0023 0.0024
    0.0012 -0.0013 0.0013 0.0012 0.0013 0.0012 0.0012 -0.0013
    -0.0118 -0.0026 -0.0026 0.0118 -0.0026 0.0118 -0.0118 -0.0026
    0.0013 0.0066 -0.0066 0.0013 -0.0066 0.0013 0.0013 0.0066
    0.0444 0.0315 0.0315 -0.0444 0.0315 -0.0444 0.0444 0.0315
    -0.0533 -0.0182 0.0182 -0.0533 0.0182 -0.0533 -0.0533 -0.0182
    -0.1133 -0.1202 -0.1202 0.1133 -0.1202 0.1133 -0.1133 -0.1202
    0.2809 -0.0246 0.0246 0.2809 0.0246 0.2809 0.2809 -0.0246
    0.7528 0.5658 0.5658 -0.7528 0.5658 -0.7528 0.7528 0.5658
    0.5658 -0.7528 0.7528 0.5658 0.7528 0.5658 0.5658 -0.7528
    0.0246 0.2809 0.2809 -0.0246 0.2809 -0.0246 0.0246 0.2809
    -0.1202 0.1133 -0.1133 -0.1202 -0.1133 -0.1202 -0.1202 0.1133
    0.0182 -0.0533 -0.0533 -0.0182 -0.0533 -0.0182 0.0182 -0.0533
    0.0315 -0.0444 0.0444 0.0315 0.0444 0.0315 0.0315 -0.0444
    -0.0066 0.0013 0.0013 0.0066 0.0013 0.0066 -0.0066 0.00134
    -0.0026 0.0118 -0.0118 -0.0026 -0.0118 -0.0026 -0.0026 0.0118
    0.0013 0.0012 0.0012 -0.0013 0.0012 -0.0013 0.0013 0.0012
    下载: 导出CSV 
    | 显示表格

    源图像均选自不同室外环境,考虑到篇幅原因,本文仅列举4种同一场景的红外与弱可见光图像以验证算法的适用性。图 5(a)中场景一为野外输电线路塔(背景单一,目标单一);图 5(b)中场景二为树丛中隐藏的人(背景复杂,目标单一);图 5(c)中场景三为广场中的人群(背景较单一,目标复杂);图 5(d)中场景四为岸边游船(背景复杂,目标复杂)[22]。场景一、四为黄昏条件下拍摄,场景二、三为夜晚条件下拍摄。每组场景中的左侧为红外图像,具有明显的目标信息;右侧对应为弱可见光图像,具有丰富的细节信息。不同场景源图像具有不同的清晰度、对比度、目标强度以及拍摄时刻。

    图  5  不同场景下的源红外与弱可见光图像
    Figure  5.  Original infrared and low-level visible light images under different scenes

    不同场景中运用不同算法的具体对比实验结果如图 6(a)~(b)所示,其中每行由左至右所对应的算法分别为:本文算法、WLS、IFEVIP、MISREG。

    图  6  不同场景下各种算法的融合结果
    Figure  6.  Comparison of experimental results of different fusion algorithms under different scenes

    通过视觉观察可以发现,图 6(a)中,IFEVIP法的整体亮度偏高,不适于观察;MISREG算法中丢失了背景天空云朵纹理信息,右上角受到噪声干扰较大;WLS方法存在目标不够突出,对比度偏低、目标湮没于背景中的问题。本文方法对框中所示区域中的背景云朵纹理细节信息有较好的展示,目标输电线路塔的热信息与纹理清晰、突出,信息量丰富。

    图 6(b)中,IFEVIP方法整体亮度偏暗,目标亮度偏暗,树叶纹理信息相对粗糙;MISREG法较好地体现了红外人物热目标信息,但丢失了右侧楼梯框中所示区域的夜天光投影信息,并且左侧树丛细节信息被平滑,纹理不清晰;WLS方法目标与背景对比度低,背景中树丛与楼梯部分区域模糊。本文算法红外人物热目标突出,背景树丛及阶梯细节清晰,有利于人员观察分析。

    图 6(c)中,IFEVIP法整体对比度低,过度平滑导致建筑的边缘模糊,很多小尺度细节受到抑制;MISREG法对框中灯光区域存在过渡曝光,丢失了可见光图像环形区域中内外边缘细节;WLS法整体亮度、对比度偏低,背景偏暗,尤其是目标人物不够突出。本文方法融合细节结果更加清晰,对建筑的凸凹线条及其上面的灯光照明等小细节保留较好,图像对比度适宜。

    图 6(d)中,IFEVIP法整体亮度尤其是船体亮度较高,热目标与船体对比度低,细节丢失,融合图像右侧船头处平滑过大导致纹理不清晰,船体顶部存在伪影;WLS法对比度最低,无法区分出船上的热目标信息,对目标的进一步分析带来困难;WLS法整体亮度偏暗,热目标与船体几乎混淆,如船上悬挂的救生圈无法清晰显示。本文算法整体对比度适宜,对纹理、边缘的细节刻画较好。

    由于主观视觉的定性评价结果有时候易受到视力水平、精神状况、疲惫程度、设备显示等因素的干扰[23],为了更加客观地比较各个融合结果的有效性,本文引入8类典型的客观指标评价对融合结果进行定量评估,分别为:均方根误差(Root Mean Square Error,RMSE)、百分比拟合误差(Percentage Fitting Error,PFE)、平均绝对误差(Mean Absolute Error,MAE)、相关系数(Correlation Coefficient,CORR)、信噪比(Signal to Noise Ratio,SNR)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)、互信息(Mutual Information,MI)、结构相似性(Structural Similarity,SSIM)。

    现仅列举其中几项指标予以详细说明:

    1)CORR相关系数反映出图像的失真度,正常情况下值越大,图像融合质量越好,与源图像相关性大,其定义如下:

    $$ {{\rm{CORR}}}(X, Y) = \frac{{{\sigma _{XY}}}}{{\sqrt {{\sigma _X}{\sigma _Y}} }} $$ (21)

    式中:σXσY分别表示源图像和融合图像的方差;σXY表示源图像和融合图像的协方差。

    2)PSNR为图像信噪比变化平均统计,用来衡量图像失真程度,PSNR值越大,图像质量越好,其定义如下:

    $$ {{\rm{PSNR}}} = 10\lg \frac{{({{\rm{Max\_sig}}})}}{{{{\rm{MSE}}}}} $$ (22)
    $$ {{\rm{MSE}}} = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{{(f(i, j) - {f_0}(i, j))}^2}} } $$ (23)

    式中:Max_sig为信号极大值;MSE为均方误差;M×N为图像尺寸;f(i, j)为源图像;f0(i, j)为融合图像。

    3)SSIM分别从亮度、对比度、结构3方面衡量图像相似性,SSIM越大表示图像失真越小,其定义如下:

    $$ {\rm{SSIM}}(X, Y)=l(X, Y)^{*} c(X, Y)^{*} s(X, Y) $$ (24)

    式中:$ l(X, Y) = \frac{{2{\mu _X}{\mu _Y} + {C_1}}}{{\mu _X^2 + \mu _Y^2 + {C_1}}} $,$c(X, Y) = \frac{{2{\sigma _X}{\sigma _Y} + {C_2}}}{{\sigma _X^2 + \sigma _Y^2 + {C_2}}} {\rm{,}} s(X, Y) = \frac{{{\sigma _{XY}} + {C_3}}}{{{\sigma _X}{\sigma _Y} + {C_3}}} 。$

    式中:μXμY分别表示标准图像和融合图像的均值;C1C2C3均为常数,其取值范围为0至1。

    为了更形象地体现各算法所对应的客观指标,将指标值进行量化。图 7为在不同场景下验证本文算法、WLS、IFEVIP与MISREG方法得到归一化的客观评价指标柱状图,其中,RMSE、PFE、MAE越小越好,其余5项指标越大融合效果越好。可以明显地观察到本文算法的融合效果在8类客观评价指标中均得到了较好的体现。

    图  7  不同场景下融合结果客观评价指标
    Figure  7.  Objective evaluation indicators of fusion results under different scenes

    表 2给出了图 7中不同融合算法在不同场景下的8类客观评价指标的总体融合质量排序(取不同场景客观指标平均值),虽然在个别参数指标(MAE)未取得最优值,但差距很小,可以看出本文所提的方法的客观指标总体上优于其他3种方法,证明本文所提方法可以获得更丰富的细节信息,具有更好的抗噪能力,从源图像继承更多的有用信息,适应于不同场景的图像融合。另外,倒数第二行为不同观测对象(样本数为30人)对不同方法融合质量的主观评价均值,视觉效果整体上与客观指标相符,最后一行显示本文算法执行时间较短,满足实时性要求,也可证明本文所提方法的优越性。

    表  2  融合质量客观指标总体评价
    Table  2.  Overall objective evaluation indicators of different fusion methods
    Evaluation
    indicators
    Fusion algorithms
    Ours WLS IFE
    VIP
    MISREG
    RMSE 1 2 4 3
    PFE 1 2 4 3
    MAE 2 1 4 3
    CORR 1 2 4 3
    SNR 1 2 4 3
    PSNR 1 2 4 3
    MI 1 4 2 3
    SSIM 1 2 4 3
    Objective general evaluation 1 2 4 3
    Subjective general evaluation 1 2 3 4
    Execution time(s) 2.1621 6.213 0.527 8.267
    下载: 导出CSV 
    | 显示表格

    本文提出一种基于PUCS和DTCWT的红外与弱可见光图像融合算法。首先将两种异源图像从RGB空间转换到感知一致性空间获取新的亮度分量,以获得亮度信息与人眼的视觉特性更一致的图像,并将其作为后续DTCWT的输入。通过基于区域能量自适应加权规则融合低频子带,利用拉普拉斯能量和与梯度值向量的规则融合高频子带。为验证本文算法的有效性,选择在不同清晰度、对比度、目标强度以及拍摄时刻的红外与弱可见光图像对所提算法及其他3种典型算法进行主、客观评价。实验分析表明,本文融合算法相较于WLS,IFEVIP,MISREG方法而言,更适用于不同场景的红外与弱可见光融合,保留了更多的目标、纹理和边缘信息,目标突出且背景信息丰富,可以取得更好的视觉效果,有利于后续进一步识别、分析和处理。同时在8种客观评价指标上也取得了较好的结果,主客观评价基本一致。在时间消耗上,本文方法运行时间适中,在保证较高融合质量的前提下,也可满足实时性要求。

  • 图  1   网络总体框架图

    Figure  1.   General framework diagram of the network

    图  2   局部-全局三分支生成器网络模型

    Figure  2.   Local-global three-branch generator network model

    图  3   补偿注意力机制

    Figure  3.   Compensatory attention mechanism

    图  4   聚焦双对抗鉴别器网络模型

    Figure  4.   Focused dual adversarial discriminator network model

    图  5   七组场景的融合结果

    Figure  5.   Fusion results for seven groups of scenes

    图  6   10组源图像的8种客观评价指标对比

    Figure  6.   Comparison of eight objective evaluation metrics for 10 sets of source images

    图  7   FLIR_00006场景的主观评价对比结果

    Figure  7.   Comparative results of subjective evaluation of FLIR_00006 scenes

    图  8   消融实验结果图

    Figure  8.   Results of ablation experiments

    表  1   代表性图像的客观评价结果(第四列图像)

    Table  1   Objective evaluation results of representative images (Fourth column images)

    Methods EN AG SD SF VIFF CC MI MSSSIM
    FusionGAN 6.0183 1.6860 4.7715 4.6687 0.1133 0.0905 12.0366 0.6645
    BF 6.6117 2.9497 5.9747 7.9090 0.3070 0.9662 13.2234 0.8852
    SDNet 6.2120 4.3359 4.9257 10.8688 0.2373 0.3034 12.4239 0.8042
    SMVIF 6.3927 3.8549 5.2895 10.3887 0.3384 0.8488 12.7855 0.8822
    RTVD 6.7321 3.5092 6.2998 9.5507 0.2946 0.6309 13.4642 0.7830
    U2Fusion 6.5800 3.7273 5.3552 8.6307 0.3528 0.8178 13.1599 0.8911
    SwinFusion 6.7706 4.4139 6.5156 11.0276 0.4470 0.7718 13.5411 0.8891
    PIAFusion 6.6548 4.0317 6.5047 10.0641 0.4158 0.8453 13.3097 0.9094
    FLFusion 6.1153 2.5540 4.7810 6.5569 0.1681 0.6325 12.2308 0.7440
    Ours 7.0854 4.2056 7.0897 11.1093 0.4646 0.9682 14.1709 0.9298
    下载: 导出CSV

    表  2   7组图像的客观评价指标平均值

    Table  2   Average of objective evaluation indexes of 7 groups of images

    Methods EN AG SD SF VIFF CC MI MSSSIM
    FusionGAN 6.3272 2.0612 5.0497 5.1198 0.2267 0.1786 12.6718 0.7276
    BF 6.1464 2.3461 4.9419 5.8386 0.2103 0.8886 12.2927 0.8789
    SDNet 6.4704 4.2226 5.1469 10.0102 0.3489 0.3938 12.9409 0.8584
    SMVIF 6.0544 3.2066 4.5489 8.1944 0.2917 0.6290 12.1088 0.9014
    RTVD 6.6056 2.8126 5.6856 7.1157 0.2328 0.5575 13.2111 0.7889
    U2Fusion 6.1796 3.1756 4.6321 7.0709 0.3423 0.5475 12.3592 0.9186
    SwinFusion 6.5968 3.4010 5.8062 8.1872 0.3592 0.6646 13.1935 0.8958
    PIAFusion 6.4558 3.1007 5.6763 7.5976 0.2652 0.8107 12.9116 0.8712
    FLFusion 5.9349 2.2358 4.3565 5.3895 0.1653 0.4108 11.8698 0.7768
    Ours 7.0646 4.3918 6.6350 10.4934 0.5808 0.8746 14.1293 0.9173
    AMIR 11.996% 48.804% 30.256% 46.366% 114.001% 54.906% 11.980% 8.377%
    下载: 导出CSV

    表  3   不同融合算法的运行时间

    Table  3   Running time of different fusion methods  s

    Methods FusionGAN BF SDNet SMVIF RTVD U2Fusion SwinFusion PIAFusion FLFusion Ours
    Time 1.251 1.029 0.992 0.803 3.561 2.499 48.063 1.136 1.072 1.058
    下载: 导出CSV

    表  4   FLIR_00006场景的客观评价对比结果

    Table  4   Comparative results of the objective evaluation of the FLIR_00006 scenario

    Methods EN AG SD SF VIFF MI MSSSIM
    CNN 6.9642 6.4636 6.5088 23.0067 0.5664 2.4576 0.9442
    MLGCF 7.0043 6.5462 5.7386 23.0275 0.4041 2.7186 0.9227
    SwinFusion 6.9047 5.2062 6.5814 18.5056 0.2202 2.1103 0.3850
    CDL 6.9642 5.7096 6.1676 18.8730 0.2764 2.8324 0.8055
    Fractal 7.7249 6.5918 6.4663 23.0894 0.6032 3.2194 0.8915
    PCNN 7.2290 6.3944 6.5351 22.7765 0.4827 2.6052 0.9070
    Ours 7.6876 6.8140 6.8379 23.7251 0.6675 3.2313 0.9513
    下载: 导出CSV

    表  5   消融实验客观评价结果

    Table  5   Objective evaluation results of ablation experiments

    Models EN AG SF MI SCD
    Denseblock 6.3184 1.9436 6.2444 12.6369 0.8091
    CBAM 6.8433 3.0356 7.9358 13.6865 1.8115
    Attention-generator 6.8484 2.4442 7.0260 13.6971 1.8593
    Attention-discriminator 6.9290 2.8020 7.5908 13.8580 1.6908
    All 7.0877 3.1903 8.3740 14.1755 1.9091
    下载: 导出CSV
  • [1]

    YANG B, JIANG Z, PAN D, et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors[J]. Information Fusion, 2023, 99: 101851. DOI: 10.1016/j.inffus.2023.101851

    [2]

    ZHANG X, DAI X, ZHANG X, et al. Joint principal component analysis and total variation for infrared and visible image fusion[J]. Infrared Physics & Technology, 2023, 128: 104523.

    [3]

    TANG L, XIANG X, ZHANG H, et al. DIVFusion: Darkness-free infrared and visible image fusion[J]. Information Fusion, 2023, 91: 477-493. DOI: 10.1016/j.inffus.2022.10.034

    [4]

    WANG Z, SHAO W, CHEN Y, et al. Infrared and visible image fusion via interactive compensatory attention adversarial learning[J]. IEEE Transactions on Multimedia, 2022, 25: 1-12.

    [5] 唐丽丽, 刘刚, 肖刚. 基于双路级联对抗机制的红外与可见光图像融合方法[J]. 光子学报, 2021, 50(9): 0910004. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202109035.htm

    TANG Lili, LIU Gang, XIAO Gang. Infrared and visible image fusion method based on dual-path cascade adversarial mechanism[J]. Acta Photonica Sinica, 2021, 50(9): 0910004. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202109035.htm

    [6] 王志社, 邵文禹, 杨风暴, 等. 红外与可见光图像交互注意力生成对抗融合方法[J]. 光子学报, 2022, 51(4): 0410002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm

    WANG Zhishe, SHAO Wenyu, YANG Fengbao, et al. Infrared and visible image fusion method via interactive attention-based generative adversarial network [J]. Acta Photonica Sinica, 2022, 51(4): 0410002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm

    [7]

    RAO D, XU T, WU X. Tgfuse: An infrared and visible image fusion approach based on transformer and generative adversarial network[J]. IEEE Transactions on Image Processing, 2023, 5: 1-11.

    [8]

    XIE Q, MA L, GUO Z, et al. Infrared and visible image fusion based on NSST and phase consistency adaptive DUAL channel PCNN[J]. Infrared Physics & Technology, 2023, 131: 104659.

    [9] 江泽涛, 蒋琦, 黄永松, 等. 基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法[J]. 光子学报, 2020, 49(4): 0410001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202004019.htm

    JIANG Zetao, JIANG Qi, HUANG Yongsong, et al. Infrared and low-light-level visible light enhancement image fusion method based on latent low-rank representation and composite filtering [J]. Acta Photonica Sinica, 2020, 49(4): 0410001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202004019.htm

    [10]

    WANG C, WU Y, YU Y, et al. Joint patch clustering-based adaptive dictionary and sparse representation for multi-modality image fusion [J]. Machine Vision and Applications, 2022, 33(5): 69. DOI: 10.1007/s00138-022-01322-w

    [11]

    PANG Y, ZHAO X, ZHANG L, et al. Multi-scale interactive network for salient object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 9413-9422.

    [12]

    CHEN J, WU K, CHENG Z, et al. A saliency-based multiscale approach for infrared and visible image fusion[J]. Signal Processing, 2021, 182: 107936. DOI: 10.1016/j.sigpro.2020.107936

    [13]

    VESHKI F G, VOROBYOV S A. Coupled feature learning via structured convolutional sparse coding for multimodal image fusion[C]//ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2022: 2500-2504.

    [14]

    LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018. DOI: 10.1142/S0219691318500182

    [15]

    Prabhakar K R, Srikar V S, Babu R V. DeepFuse: a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]//Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017: 4714-4722.

    [16]

    MA J, YU W, LIANG P, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004

    [17]

    ZHANG H, YUAN J, TIAN X, Ma J. GAN-FM: Infrared and visible image fusion using GAN with full-scale skip connection and dual Markovian discriminators[J]. IEEE Transactions on Computational Imaging, 2021, 7: 1134-1147. DOI: 10.1109/TCI.2021.3119954

    [18]

    SUN X, HU S, MA X, et al. IMGAN: Infrared and visible image fusion using a novel intensity masking generative adversarial network[J]. Infrared Physics & Technology, 2022, 125: 104221.

    [19]

    LE Z, HUANG J, XU H, et al. UIFGAN: An unsupervised continual-learning generative adversarial network for unified image fusion[J]. Information Fusion, 2022, 88: 305-318. DOI: 10.1016/j.inffus.2022.07.013

    [20]

    Toet Alexander. The TNO Multiband image data collection[J]. Data in Brief, 2017, 15: 249-251. DOI: 10.1016/j.dib.2017.09.038

    [21]

    ZHANG H, MA J. SDNet: a versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129: 2761-2785. DOI: 10.1007/s11263-021-01501-8

    [22]

    ZHAO Z, XU S, ZHANG C, et al. Bayesian fusion for infrared and visible images[J]. Signal Processing, 2020, 177: 107734. DOI: 10.1016/j.sigpro.2020.107734

    [23]

    CHEN J, LI X, WU K. Infrared and visible image fusion based on relative total variation decomposition[J]. Infrared Physics & Technology, 2022, 123: 104112.

    [24]

    XU H, MA J, JIANG J, et al. U2Fusion: a unified unsupervised image fusion network [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. DOI: 10.1109/TPAMI.2020.3012548

    [25]

    MA J, TANG L, FAN F, et al. SwinFusion: cross-domain long-range learning for general image fusion via swin transformer [J]. IEEE/CAA Journal of Automatica Sinica, 2022, 9(7): 1200-1217. DOI: 10.1109/JAS.2022.105686

    [26]

    TANG L, YUAN J, ZHANG H, et al. PIAFusion: a progressive infrared and visible image fusion network based on illumination aware [J]. Information Fusion, 2022, 83: 79-92.

    [27]

    XUE W, WANG A, ZHAO L. FLFuse-Net: A fast and lightweight infrared and visible image fusion network via feature flow and edge compensation for salient information [J]. Infrared Physics & Technology, 2022, 127: 104383.

    [28]

    TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition [J]. Applied optics, 2019, 58(12): 3064-3073. DOI: 10.1364/AO.58.003064

    [29]

    VESHKI FG, OUZIR N, VOROBYOV SA, et al. Multimodal image fusion via coupled feature learning[J]. Signal Processing, 2022, 200: 108637. DOI: 10.1016/j.sigpro.2022.108637

    [30]

    Panigrahy C, Seal A, Mahato N K. Fractal dimension based parameter adaptive dual channel PCNN for multi-focus image fusion[J]. Optics and Lasers in Engineering, 2020, 133: 106141.

    [31]

    Panigrahy C, Seal A, Mahato N K. Parameter adaptive unit-linking dual-channel PCNN based infrared and visible image fusion[J]. Neurocomputing, 2022, 514: 21-38.

  • 期刊类型引用(5)

    1. 毕淳锴,张远辉,付铎. 基于多视角热像图序列的物体表面温度场重建. 计量学报. 2024(07): 997-1006 . 百度学术
    2. 郑叶龙,李长勇,夏宁宁,李玲一,张国民,赵美蓉. 基于“十字”标志物的红外图像与三维点云融合方法. 天津大学学报(自然科学与工程技术版). 2024(10): 1090-1099 . 百度学术
    3. 倪成玉,张远辉,朱俊江,付铎. 热像仪下基于几何约束的空间温度场重建. 光电工程. 2024(11): 60-73 . 百度学术
    4. 齐恩铁,姜春雨,赵立英,孙海峰. 基于红外边界约束的点云目标识别系统. 激光与红外. 2024(12): 1894-1899 . 百度学术
    5. 王洁,伍弘,詹仲强,李金良,金铭,陈文涛. 基于Lazy Snapping混合模拟退火算法的高压开关柜温度场红外三维图像重建仿真. 红外技术. 2023(03): 276-281 . 本站查看

    其他类型引用(2)

图(8)  /  表(5)
计量
  • 文章访问数:  94
  • HTML全文浏览量:  21
  • PDF下载量:  46
  • 被引次数: 7
出版历程
  • 收稿日期:  2023-09-06
  • 修回日期:  2023-12-10
  • 网络出版日期:  2024-05-23
  • 刊出日期:  2024-05-19

目录

/

返回文章
返回