Multi-scale Transformer Fusion Method for Infrared and Visible Images
-
摘要: 目前主流的深度融合方法仅利用卷积运算来提取图像局部特征，但图像与卷积核之间的交互过程与内容无关，且不能有效建立特征长距离依赖关系，不可避免地造成图像上下文内容信息的丢失，限制了红外与可见光图像的融合性能。为此，本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件，架构了Conv Swin Transformer Block模块，利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络，实现了图像全局特征提取与全局特征重构；设计了特征序列融合层，利用SoftMax操作计算特征序列的注意力权重系数，突出了源图像各自的显著特征，实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明，该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制，利用Transformer建立图像的长距离依赖关系，构建了图像全局特征融合模型，比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。
-
关键词:
- 图像融合 /
- Swin Transformer /
- 自注意力机制 /
- 多尺度 /
- 红外图像
Abstract: Mainstream fusion methods based on deep learning employ a convolutional operation to extract local image features; however, the interaction between an image and convolution kernel is content-independent, and the long-range dependency cannot be well modeled. Consequently, the loss of important contextual information may be unavoidable and further limit the fusion performance of infrared and visible images. To this end, we present a simple and effective fusion network for infrared and visible images, namely, the multiscale transformer fusion method (MsTFusion). We first designed a novel Conv Swin Transformer block to model long-range dependency. A convolutional layer was used to improve the representative ability of the global features. Subsequently, we constructed a multiscale self-attentional encoding-decoding network to extract and reconstruct global features without the help of local features. Moreover, we designed a learnable fusion layer for feature sequences that employed softmax operations to calculate the attention weight of the feature sequences and highlight the salient features of the source image. The proposed method is an end-to-end model that uses a fully attentional model to interact with image content and attention weights. We conducted a series of experiments on TNO and road scene datasets, and the experimental results demonstrated that the proposed MsTFusion transcended other methods in terms of subjective visual observations and objective indicator comparisons. By integrating the self-attention mechanism, our method built a fully attentional fusion model for infrared and visible image fusion and modeled the long-range dependency for global feature extraction and reconstruction to overcome the limitations of deep learning-based models. Compared with other state-of-the-art traditional and deep learning methods, MsTFusion achieved remarkable fusion performance with strong generalization ability and competitive computational efficiency.-
Keywords:
- image fusion /
- Swin Transformer /
- self-attentional mechanism /
- multi-scale /
- infrared image
-
0. 引言
红外成像技术是根据辐射原理成像而得到红外图像，图像的亮度表征物体表面的温度。由于具有隐蔽性好、全天候、适应雨雾等特殊气象条件等优良特性，因此得到了广泛应用[1-4]。然而受制于红外图像的成像机理、成像系统特性的影响，红外图像通常具有信噪比低、分辨率低和边缘模糊的特点，图像中往往缺少细节，这限制了红外图像的进一步应用。因此，如何提高图像分辨率并增强红外图像中的细节，成为了重要需求。
超分辨率(super resolution, SR)算法[5]是指从同一场景的一个或多个低分辨率观测结果中恢复高分辨率图像的任务。根据输入的低分辨率图像(low resolution，LR)的数量，可以将超分辨率算法(super resolution, SR)分为单图像超分辨率(single-image-super-resolution, SISR)和多图像超分辨率(multiple-image-super-resolution, MISR)。与MISR相比，SISR因其高效而广受欢迎。由于具有高感知质量的HR(high resolution, HR)图像具有更多有价值的细节，因此它被广泛用于许多领域，例如医学成像，卫星成像和安全成像[6-8]。典型的SISR框架中，LR图像建模如下：
$$ I_{\mathrm{LR}}=\boldsymbol{D}_k \boldsymbol{M}_k I_{\mathrm{HR}}+n $$ (1) 式中：IHR是对应的是模型输入的原始场景高分辨率图像；Mk表示运动位移矩阵；Dk为降采样矩阵；n表示噪声向量。图像的超分辨率重建就是根据图像的退化模型进行的逆过程。通常低分辨图像可以被认为是降质模型的输出；在超分辨率算法中，研究者们试图从ILR中恢复出高分辨图像ISR尽可能地接近原始的退化前的高分辨图像IHR，过程如公式表示为：
$$ I_\text{SR}＝F(I_\text{LR}, θ) $$ (2) 式中：F代表超分辨率重建模型；θ是模型中的参数。但该等式并不是唯一的，因为高分辨图像的退化可能同时受到多个退化因素的影响，图像超分辨率重构过程中也无法确定退化因素的种类，因此该公式的解不是唯一的，即在图像超分辨率重建过程中一个低分辨的输出可能获取多个高分辨的输入。因而超分辨率重构问题也被看作是一个病态问题。
传统SISR的算法主要分为3类：基于插值的超分辨率方法、基于重构的超分辨率方法和基于学习的超分辨率方法。基于插值的超分辨率方法原理简单，其重构效果不是很好，在超分辨率领域应用有限。基于重构的超分辨率方法是从输入图像中提取所有有用信息，整个超分辨率过程等于信息提取和信息融合过程，以输入图像先验知识和全局重构限制作为正则项，构建代价函数求解逆运算，此方法能保持清晰的图像边缘，但不能有效恢复纹理细节信息。基于学习的超分辨率技术是借助机器学习知识，以大量的训练图像学习先验模型，用学习过程中获得的知识对低分辨率图像中丢失的高频细节信息进行预测和补充，它能生成丰富的高频细节部分和纹理信息，但难以控制伪像失真。
随着深度学习的发展，基于深度学习[8]的SISR算法显示出优于其他基于学习的方法的性能。SRCNN[9]是第一种使用深度学习方法的超分辨率算法，该方法表现出远超传统方法的学习能力，但该算法是先将图像进行上采样而后再利用卷积层进行学习，因而其结果中可能会出现将噪声和有价值信号同时放大的情况，影响重构结果的信噪比。VDSR(very deep super resolution)[10]是SISR算法中第一种深层网络，该网络由20层VGG组成，通过学习插值结果和高分图像之间的残差，以代替原来的直接映射。SRGAN(semi-supervised learning with generative adversarial networks)[11]将GAN网络应用超分辨网络，构建一个具有感知损失的更深层网络的生成对抗网络以构造逼真的超分图像。
EDSR(enhanced deep residual networks)[12]在ResNet[13]基础上设计了一种新的模块，扩大模型的尺寸来提升结果质量。ESPCN(efficient sub-pixel convolutional neural network)[14]使用亚像素上采样的方法对图像进行快速的超分辨率重建，仅在最后阶段将低分辨率图像放大为高分辨率图像，是一种高效、快速的像素重排列的超分辨率算法。
上述方法对SISR表现出良好的效果，但应用于红外图像时仍需改进：
一方面，卷积层提取特征时会很好地保留低频信息，高频信息会作为冗余信息舍弃，进而在重构图像中造成细节缺失，由于红外图像中信息量少相比可见光图像影响更大；另一方面，大多数的SISR中的网络模块对其他层的特征利用较少，无法避免卷积层在使用过程中的信息损失。
根据以上分析，本文针对红外图像特点提出深度残差神经网络的超分辨率重构算法，结合密集网络、残差结构以及亚像素上采样等结构优点，得到高质量红外重构图像，为后续的语义分割、目标识别等创造条件。
1. 基于深度残差神经网络的超分辨率重构算法
基于深度学习的超分辨率模型专注于研究低分辨率图像与原始高分辨率图像之间的差异，虽然网络模型之间差异巨大，但本质上是一些模块的组合，比如模型框架、上采样方法等。因此，我们可以根据特定用途将这些模块集成起来构造出一个超分辨率模型。本文设计的深度卷积残差网络结构由残差单元构成深度残差强化模块，上采样部分我们使用亚像素上采样层。
1.1 深度残差强化模块
红外图像信息量少，分辨率低，网络需要学习到足够的图像中的信息才能保证重构图像质量。即使是网络中少量信息损失都可能会影响最终的重构图像质量。对于超分辨率算法来说，网络深度增加意味着网络会损失更多的高频细节，在重构图像中图像细节会有相应的损失。在语义分割、目标识别等高级图像任务中，ResNet被用来解决卷积神经网络深度加深时会产生梯度爆炸的现象，但由于图像超分辨率任务是图像到图像的映射任务，仅需研究输入图像与目标图像高度相关仅学习它们之间的差异即可，一些模块在超分辨率任务中并不是必要的，因而不能直接套用到超分辨这种低级视觉问题上。比如BN层主要应用于输入图像的数据分布和输出数据的分布不一致的情况。对于超分辨率任务来说，输入和输出的数据分布非常接近。因此一些研究保留了ResNet的跳线结构并去掉了BN层，有效地降低了网络的计算量。如图 1所示，EDSR提出的这个残差块(residual block)没有应用池化层和批量归一化(batch normalization，BN)层，去掉后的网络就可以堆叠更多的网络层或者使每层提取更多的特征，从而得到更好的性能表现。由于大多数的残差区域接近零，模型的复杂性和学习难度大大降低。而跳线连接方式的保留本身就可以减轻由于网络深度不断增加而导致的降级问题，减少训练难度并提高学习能力。
针对红外图像中信息量少的特点，我们改变原有ResNet中的激活函数。ReLU(可以按公式(3)计算)保留了阶跃函数的生物启发(即只有当输入超过阈值时神经元才会被激活)，允许基于梯度的学习(尽管在x＝0时，导数未定义)。因为函数及其导数都不包含复杂的数学运算，所以此函数计算过程非常快。但是当输入小于零或梯度为零时，其权重无法更新，此时ReLU的学习速度会变慢，甚至可能使神经元直接失效。Leaky ReLU函数(Leaky Rectified Linear Unit，LeakyReLU)(可按公式(4)计算)是经典ReLU激活函数的变体。其中a需人工设置，一般为0.01或0.001数量级的较小正数。当输入为负时，这个函数的输出仍然有一个小的斜率。当导数非零时，可以减少沉默神经元的出现，允许基于梯度的学习(虽然会很慢)，从而解决ReLU函数进入负区间后神经元不学习的问题。与ReLU相比，LeakyReLU具有更大的激活范围。
$$ \text{ReLU} x=\max (0, x)=\left\{\begin{array}{l} x, \text { if } x \geq 0 \\ 0, \text { if } x<0 \end{array}\right. $$ (3) $$ \text{LeakyReLU}(x)=\max (0, x)=\left\{\begin{array}{ll} a x, & \text { if } x \geq 0 \\ 0 & \text { if } x<0 \end{array}\right. $$ (4) 1.2 亚像素上采样层
红外探测器相比可见光探测器像元数量少，获取的红外图像的分辨率低，为便于显示多采用插值法以提高图像分辨率。一般插值法是通过目标函数在若干点的函数值或者导数值附近构造一个与目标函数相近似的低次插值多项式。该方法增加了图像的美观性，但在某种程度上丧失了部分数据的真实性，没有考虑到原有像素间的分布特点，仅能针对局部小区域进行运算并且运算量巨大，在某种程度上丧失了部分数据的真实性，因而在重构图像中可能会出现纹理条纹或者局部模糊甚至对求梯度优化有害。
亚像素上采样层又称像素混合层(pixel-shuffle layer)不同于基于插值的上采样方法，该层的插值函数隐含在前一个卷积层中，可以自动学习。在本文中，亚像素层可以表示为：
$$ I_\text{SR}＝PS(W_\text{L}*f^{L－1}(I_\text{LR})+b_\text{L}) $$ (5) 其中PS代表亚像素上采样运算，WL代表卷积操作。
$$\text{PS}(T)_{x, y, c}=T_{[x /s], [y /s], C \cdot s \cdot {\rm{mod}} (y, s)+C \cdot {\rm{mod}}(x, s)+c}$$ (6) 式中：mod()表示在最后一层的前一层进行的卷积操作；s是比例因子。
亚像素上采样层是一个端到端的上采样层，执行上采样通过卷积产生多个通道然后重塑它们。在这一层中，假设输入尺寸为h×w×c，则输出尺寸为h×w×s2。之后，进行变形操作以产生大小sh×sw×c输出。这里的卷积操作是在低分辨率图像，因而亚像素上采样的效率将高于双三次上采样和反卷积。使用这种端到端的上采样方式得到的子像素层提供更多的上下文信息以帮助生成更多现实的细节。然而，因为构造亚像素点时利用的信息来源于同一卷积层，其感受野的大小是相同的，实现了相互独立的块状区域预测。但由于构造过程缺少全局信息，独立预测块状区域中的相邻像素可能会导致输出不平滑。
1.3 深度密集残差结构的设计
在超分辨率重构过程中的信息损失可以分为两部分：一部分源于卷积层在进行卷积操作时造成的中心区域外的信息损失；另一部分是在超分辨率重构过程中，高频信息被作为冗余信息舍弃。在前文设计的深度残差模块可避免卷积层使用过程中的信息损失，可通过堆叠该模块增加网络深度。但是，模块仅能利用这个模块内部信息，其他模块的信息无法充分利用。并且结构中缺少对于低分辨率图像中信息的利用。
在本文中，我们构建了深度密集残差结构。结构中包含6个改进的残差块，每个残差块用以提取局部特征。为了充分利用每个模块提取的信息，每个残差块的输出可以递进地传递到下一个残差块的各层并与那一层的特征进行融合，从而保证特征信息连续传递。这种局部特征融合策略通过自适应地保存信息来提取局部密集特征，在实现密集网络的同时用于解决梯度消失问题，有效地保证了网络对于红外图像的学习能力。
在提取多层局部密集特征后，我们进一步进行全局特征融合以传输全局上下文特征，作为对重建图像的指导。通过连接输入和输出图像将全局特征传输到亚像素上采样层(即pixel-shuffle layer)，实现对于全局残差特征的利用。如图 2所示，亚像素上采样层可以直接访问原始的低分辨率输入，避免由于卷积层大量使用造成的局部上下文信息缺失引起的重建错误。局部特征融合和全局特征融合也可以起到减少高频信息损失的作用。
在网络中，我们选用L2 loss(即最小化误差)作为网络的损失函数。该函数是真实值和预测值之间所有平方差的总和，公式如(7)所示：
$$ \text{Loss}(x, y)=\frac{1}{n} \sum\limits_{i=1}^{n}\left(y_{\text {tros }}-y_{\text {probiciona }}\right)^{2} $$ (7) 式中：ytrue代表真实值；ypredicted代表预测值。
2. 实验结果与分析
2.1 实验设置
实验中我们使用中国科技大学提出的地/空背景下红外图像弱小飞机目标检测跟踪数据集[15]。红外数据集中每个红外数据段的原始数据为视频格式，为了后续数据加工的方便，在数据预处理阶段将每个数据段的视频格式数据转换为8 bit位深的Windows位图格式的多文件的图像序列。图像分辨率为10~100 m。
测试集中我们使用了中波红外热像仪提取的图像，该热像仪能见度为8 km，视场角为17°×13°，图像原始分辨率为768×564。
我们使用来自NVIDIA 1080Ti GPU的随机样本训练所有网络，为了优化，我们使用b＝0.9、且学习率为10−4的ADAM。由于GPU内存限制，我们调整了数据集中图像的大小，我们将图像裁剪为512×512像素，这可以保证网络有足够的数据，防止模型过拟合，提高其鲁棒性。测试图像尺寸为256×256像素。为客观公平进行比较，所有基于深度学习模型的超分辨率算法都采用相同的训练集进行训练。
为了模拟低分辨率图像，我们首先按比例因子图像进行下采样，将对应的图像大小改为原来的1/比例因子，作为超分辨率网络的输入。我们设置的比例因子为2、3和4。实验中使用PSNR和SSIM作为客观评价标准。
PSNR的定义可以表示为：
$$ \mathrm{MSE}=\frac{1}{H \times W} \sum\limits_{i=1}^{H} \sum\limits_{j=1}^{W}(X(i, j)-Y(i, j))^{2} $$ (8) $$ \text { PSNR }=10 \times \lg \left(\frac{\left(2^{n}-1\right)^{2}}{M S E}\right) $$ (9) 式中：n是每个像素的位数；X是原始图像；Y是超分辨图像。H和W是图像的宽度和高度。
SSIM值的公式为：
$$ \text{SSIM}(x, y)=\frac{\left(2 \mu_{x} \mu_{y}+c_{1}\right)\left(2 \sigma_{x y}+c_{2}\right)}{\left(\mu_{x}^{2}+\mu_{y}^{2}+c_{1}\right)\left(\sigma_{x}^{2}+\sigma_{y}^{2}+c_{2}\right)} $$ (10) 式中：μx是图像x的平均值；μy是图像y的平均值；σx2是x的方差；σy2是y的方差；σxy是x和y的协方差。c1＝(k1L)2和c2＝(k2L)2是维持稳定的函数；L是像素值动态范围，k1＝0.01，k2＝0.03。
2.2 实验结果对比
在对比实验中，采用了3种经典的基于深度学习的超分辨率算法与本文算法进行定性定量比较：EDSR(enhanced deep-networks for super-resolution)，超分卷积神经网络(super-resolution convolutional neural network, SRCNN)，ESPCN(efficient sub-pixel convolutional neural network)。本文同时选择了常用的双线性插值法(Bicubic)作为实验结果中主观评价的结果之一。为客观公平进行比较，所有基于深度学习模型的超分辨率算法都采用相同的训练集进行训练。
对比的实验结果分别列在表 1~2以及图 3~4中。从表 1和表 2的结果来看，本文设计的超分辨率方法在所有尺度因子下均获得较高的PSNR与SSIM。实验结果表明，本文提出的方法在PSNR和SSIM等客观评价指标上优于其他算法。相比于其他几种算法，本文设计的深度残差神经网络的重构红外图像效果明显优于其他几种算法，图像更加自然，与原图像相比改善了部分区域的纹理细节，实现了高质量的红外图像重构。
表 1 使用4种方法对红外图像的PSNR与SSIM评价结果1Table 1. PSNR evaluation results of infrared images using four methodsScale factor SRCNN EDSR ESPCN Proposed in this paper PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 2 21.11 0.75 22.51 0.79 23.52 0.76 25.46 0.80 3 21.55 0.79 23.08 0.81 25.21 0.83 26.31 0.84 4 22.85 0.80 23.31 0.867 24.58 0.84 26.85 0.84 表 2 使用4种方法对红外图像的PSNR与SSIM评价结果2Table 2. PSNR evaluation results of infrared images using four methodsScale factor SRCNN EDSR ESPCN Proposed in this paper PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 2 22.35 0.81 24.35 0.83 25.11 0.84 27.65 0.85 3 25.31 0.841 27.35 0.85 28.37 0.88 28.42 0.88 4 26.31 0.852 27.45 0.87 28.52 0.89 29.41 0.90 ![]()
图 4 红外图像的超分辨率重构图像对比2Figure 4. Super-resolution reconstruction image comparison of infrared images 1 of infrared images 2从表 1和表 2可以看出，本文算法的SSIM值与ESPCN的SSIM值非常接近，PSNR值提升相对较多。这表明本文设计的算法在增加网络深度的同时并没有造成超分辨率重构结果质量的降低。与EDSR算法的对比表明，本文提出的算法在SSIM和PSNR值上有所提高，这表明本文设计的密集网络结构中关于局部特征融合和全局特征融合的设计可以有效地改善重构图像质量。
在图 3和图 4中可以看出，所有算法的重建质量相比双线性插值有一定的提升，对于具有明显边界的区域够得到清晰的纹理。所有算法的重建质量相比双线性插值有一定的提升，对于具有明显边界的区域能够得到清晰的纹理。
在图 3中，图 3(b)为双线性上采样方法，重建图像中部分匀质区域过于平滑，缺少细节真实感。图 3(c)是SRCNN的结果，由于网络只有3层，学习能力有限，图像中出现大量虚假纹理信息，在均匀区域容易出现伪影；图 3(d)是EDSR的结果，该网络堆叠更多的残差模块以提高网络学习能力，因此重构结果明显优于SRCNN，但是网络缺少对于其他层信息的利用，图像中出现大量纹理条纹；图 3(e)中的ESPCN算法采用了亚像素上采样层，其效果与EDSR近似，但相比EDSR层数较少，图像中的景物轮廓不够清晰，白点的无人机轮廓也并不清晰；图 3(f)是本文设计的方法，图像细节明显，尤其是林地、草地等具有不规则形状的区域重建效果较好。图 4中可以看出，本文提出的网络对复杂的杂乱纹理的重建效果较好，尤其是草地上的杂乱区域的重构图像比较清晰，细节丰富。
得益于深度残差模块的使用以及亚像素上采样模块的引入，本文所提出的模型可以获得更加理想的高分辨图像，解决了不规则纹理的模糊问题。尤其是通过采用密集特征连接结构，该网络可以有效地加深网络结构，提高网络的学习能力。这表明我们提出的方法在提取信息和高频信息保留方面效果较好。
3. 结论
针对红外图像特点，本文提出了一种基于深度残差神经网络的超分辨率重构算法。该模型利用改进的残差模块有效地增加了网络深度，提高了网络的学习能力，通过使用密集特征连接提高了网络对高频信息的利用，并有效地增加了对于网络结构中不同层的信息利用。仿真实验结果表明本文模型能够生成具有丰富细节并且目标轮廓边界清晰的图像，有效地补充了原图中的细节。总体来看，本文中设计的算法在保持较高精度的同时，还可以很好地处理目标的尺度变化和目标周围的环境，说明算法中加入的密集网络结构、深度残差强化模块等发挥了良好的作用。
-
![]()
图 1 多尺度Transformer图像融合方法原理
Figure 1. Principle of multi-scale Transformer image fusion method
![]()
图 4 TNO数据集Nato_camp主观评价对比结果
Figure 4. The subjective comparison results of Nato_camp from the TNO dataset
![]()
图 5 TNO数据集Street主观评价对比结果
Figure 5. The subjective comparison results of Street from the TNO dataset
![]()
图 6 TNO数据集Bench主观评价对比结果
Figure 6. The subjective comparison results of Bench from the TNO dataset
![]()
图 7 TNO数据集Kaptein_1123主观评价对比结果
Figure 7. The subjective comparison results of Kaptein_1123 from the TNO dataset
![]()
图 8 TNO数据集不同融合方法指标EN、SD、MI、SF、NCIE、VIF对比结果
Figure 8. The objective comparison results of EN, SD, MI, SF, NCIE and VIF of different fusion methods from the TNO dataset
![]()
图 9 Roadscene数据集FLIR_07210主观评价对比结果
Figure 9. The subjective comparison results of FLIR 07210 from the Roadscene dataset
![]()
图 10 Roadscene数据集FLIR_08954主观评价对比结果
Figure 10. The subjective comparison results of FLIR_08954 from the Roadscene dataset
![]()
图 11 Roadscene数据集不同融合方法指标指标EN、SD、MI、SF、NCIE、VIF对比结果
Figure 11. The objective comparison results of EN, SD, MI, SF, NCIE and VIF of different fusion methods from Roadscene dataset
表 1 5种融合模型的客观对比结果
Table 1 The objective comparison results of five fusion model
Models Parameters SF VIF EN SD MI NCIE Fusion Layer Add 9.51591 0.36018 7.22888 47.80041 2.55456 0.80587 Ours 9.84952 0.39648 7.23821 48.54178 2.61691 0.80607 STL Number 5 9.31619 0.35836 7.20091 48.01473 2.57833 0.80592 6 9.84952 0.39648 7.23821 48.54178 2.61691 0.80607 7 9.40830 0.37508 7.22529 48.40002 2.49068 0.80564 Conv Layer No 9.39838 0.36835 7.21169 47.38488 2.45803 0.80556 Yes 9.84952 0.39648 7.23821 48.54178 2.61691 0.80607 
下载: 导出CSV
表 2 不同融合方法计算效率对比结果
Table 2 The comparison results of computation efficiency for different fusion methods
s Method TNO Roadscene MDLatLRR 7.941×101 3.839×101 IFCNN 4.554×10-2 2.246×10-2 DenseFuse 8.509×10-2 4.001×10-2 RFN-Nest 1.777×10-1 8.609×10-2 FusionGAN 2.015 1.093 GANMcC 4.21 2.195 PMGI 5.445×10-1 2.928×10-1 SwinFuse 2.145×10-1 1.291×10-1 IFT 8.141×10-1 4.025×10-1 Ours 5.091×10-1 2.848×10-1
下载: 导出CSV
-
[1] Paramanandham N, Rajendiran K. Multi sensor image fusion for surveillance applications using hybrid image fusion algorithm[J]. Multimedia Tools and Applications, 2018, 77(10): 12405-12436. DOI: 10.1007/s11042-017-4895-3
[2] ZHANG Xingchen, YE Ping, QIAO Dan, et al. Object fusion tracking based on visible and infrared images: a comprehensive review[J]. Information Fusion, 2020, 63: 166-187. DOI: 10.1016/j.inffus.2020.05.002
[3] TU Zhengzheng, LI Zhun, LI Chenglong, et al. Multi-interactive dual- decoder for RGB-thermal salient object detection[J]. IEEE Transactions on Image Processing, 2021, 30: 5678-5691. DOI: 10.1109/TIP.2021.3087412
[4] 汪荣贵, 王静, 杨娟, 等. 基于红外和可见光模态的随机融合特征金子塔行人重识别[J]. 光电工程, 2020, 47(12): 190669. Doi: 10.12086/oee.2020.190669. WANG Ronggui, WANG Jing, YANG Juan, et al. Random feature fusion of golden Tower for pedestrian rerecognition based on infrared and visible modes[J]. Opto-Electronic Engineering, 2020, 47(12): 190669. Doi: 10.12086/oee.2020.190669
[5] WANG Zhishe, XU Jiawei, JIANG Xiaolin, et al. Infrared and visible image fusion via hybrid decomposition of NSCT and morphological sequential toggle operator[J]. Optik, 2020, 201: 163497. DOI: 10.1016/j.ijleo.2019.163497
[6] LI Hui, WU Xiaojun, Kittle J. MDLatLRR: a novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746. DOI: 10.1109/TIP.2020.2975984
[7] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576 SUN Bin, ZHUGE Wuwei, GAO Yunxiang et al. Infrared and visible image fusion based on potential low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576
[8] MA Jinlei, ZHOU Zhiqiang, WANG Bo, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[9] KONG Weiwei, LEI Yang, ZHAO Huaixun. Adaptive fusion method of visible light and infrared images based on non-subsampled shearlet transform and fast non-negative matrix factorization[J]. Infrared Physics & Technology, 2014, 67: 161-172.
[10] 姜迈, 沙贵君, 李宁. 基于PUCS与DTCWT的红外与弱可见光图像融合[J]. 红外技术, 2022, 44(7): 716-725. http://hwjs.nvir.cn/article/id/ee43f5b8-9a1f-441c-9d95-e339989d8954 JIANG Mai, SHA Guijun, LI Ning. Infrared and inferior visible image fusion based on PUCS and DTCWT [J]. Infrared Technology, 2022, 44(7): 716-725. http://hwjs.nvir.cn/article/id/ee43f5b8-9a1f-441c-9d95-e339989d8954
[11] WANG Zhishe, YANG Fengbao, PENG Zhihao, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]. Optik, 2015, 126(23): 4184-4190. DOI: 10.1016/j.ijleo.2015.08.118
[12] LIU Yu, CHEN Xun, PENG Hu, et al. Multi-focus imagefusion with a deep convolutional neural network[J]. Information Fusion, 2017, 36: 191-207. DOI: 10.1016/j.inffus.2016.12.001
[13] ZHANG Hao, XU Han, TIAN Xin, et al. Image fusion meets deep learning: A survey and perspective[J]. Information Fusion, 2021, 76: 323-336. DOI: 10.1016/j.inffus.2021.06.008
[14] ZHANG Yu, LIU Yu, SUN Peng, et al. IFCNN: A general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011
[15] LI Hui, WU Xiaojun. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614- 2623. DOI: 10.1109/TIP.2018.2887342
[16] LI Hui, WU Xiaojun, Kittler J. RFN-Nest: An end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73: 72-86. DOI: 10.1016/j.inffus.2021.02.023
[17] JIAN Lihua, YANG Xiaomin, LIU Zheng, et al. SEDRFuse: A symmetric encoder–decoder with residual block network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 70: 1-15.
[18] ZHANG Hao, XU Han, XIAO Yang, et al. Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12797-12804.
[19] WANG Zhishe, WANG Junyao, WU Yuanyuan, et al. UNFusion: a unified multi-scale densely connected network for infrared and visible image fusion[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(6): 3360- 3374.
[20] WANG Zhishe; WU Yuanyuan; WANG Junyao, et al. Res2Fusion: infrared and visible image fusion based on dense Res2net and double non-local attention models[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1-12.
[21] MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26.
[22] MA Jiayi, ZHANG Hao, SHAO Zhenfeng, et al. GANMcC: a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-14.
[23] 王志社, 邵文禹, 杨风暴, 等. 红外与可见光图像交互注意力生成对抗融合方法[J]. 光子学报, 2022, 51(4): 318-328. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm WANG Zhishe, SHAO Wenyu, YANG Fengbao, et al. A generative antagonism fusion method for interactive attention of infrared and visible images [J]. Acta Photonica Sinica, 2022, 51(4): 318-328. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm
[24] LI Jing, ZHU Jianming, LI Chang, et al. CGTF: Convolution-Guided Transformer for Infrared and Visible Image Fusion [J]. IEEE Transactions on Instrumentation and Measurement. 2022, 71: 1-14.
[25] RAO Dongyu, WU Xiaojun, XU Tianyang. TGFuse: An infrared and visible image fusion approach based on transformer and generative adversarial network [J/OL].arXiv preprint arXiv: 2201.10147. 2022.
[26] WANG Zhishe, CHEN Yanlin, SHAO Wenyu, et al. SwinFuse: a residual swin transformer fusion network for infrared and visible images[J/OL]. arXiv preprint arXiv: 2204.11436. 2022.
[27] ZHAO Haibo, NIE Rencan. DNDT: infrared and visible image fusion via DenseNet and dual-transformer[C]// International Conference on Information Technology and Biomedical Engineering (ICITBE), 2021: 71-75.
[28] VS V, Valanarasu J M J, Oza P, et al. Image fusion transformer [J/OL]. arXiv preprint arXiv: 2107.09011. 2021.
[29] LIU Ze, LIN Yutong, CAO Yue, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 10012-10022.
[30] TOET A. TNO Image Fusion Datase[DB/OL]. [2014-04-26].https://figshare.com/articles/TNImageFusionDataset/1008029.
[31] XU Han. Roadscene Database[DB/OL]. [2020-08-07].https://github.com/hanna-xu/RoadScene.
[32] LI Hui, WU Xiaojun, Kittle J. MDLatLRR: a novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746.
-
期刊类型引用(1)
1. 郭亮. 基于CGAN的近红外关联成像高分辨率重构. 智能计算机与应用. 2024(05): 144-149 . 
百度学术
其他类型引用(9)
计量
- 文章访问数: 386
- HTML全文浏览量: 497
- PDF下载量: 164
- 被引次数: 10
