Multi-scale Transformer Fusion Method for Infrared and Visible Images
-
摘要: 目前主流的深度融合方法仅利用卷积运算来提取图像局部特征，但图像与卷积核之间的交互过程与内容无关，且不能有效建立特征长距离依赖关系，不可避免地造成图像上下文内容信息的丢失，限制了红外与可见光图像的融合性能。为此，本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件，架构了Conv Swin Transformer Block模块，利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络，实现了图像全局特征提取与全局特征重构；设计了特征序列融合层，利用SoftMax操作计算特征序列的注意力权重系数，突出了源图像各自的显著特征，实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明，该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制，利用Transformer建立图像的长距离依赖关系，构建了图像全局特征融合模型，比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。
-
关键词:
- 图像融合 /
- Swin Transformer /
- 自注意力机制 /
- 多尺度 /
- 红外图像
Abstract: Mainstream fusion methods based on deep learning employ a convolutional operation to extract local image features; however, the interaction between an image and convolution kernel is content-independent, and the long-range dependency cannot be well modeled. Consequently, the loss of important contextual information may be unavoidable and further limit the fusion performance of infrared and visible images. To this end, we present a simple and effective fusion network for infrared and visible images, namely, the multiscale transformer fusion method (MsTFusion). We first designed a novel Conv Swin Transformer block to model long-range dependency. A convolutional layer was used to improve the representative ability of the global features. Subsequently, we constructed a multiscale self-attentional encoding-decoding network to extract and reconstruct global features without the help of local features. Moreover, we designed a learnable fusion layer for feature sequences that employed softmax operations to calculate the attention weight of the feature sequences and highlight the salient features of the source image. The proposed method is an end-to-end model that uses a fully attentional model to interact with image content and attention weights. We conducted a series of experiments on TNO and road scene datasets, and the experimental results demonstrated that the proposed MsTFusion transcended other methods in terms of subjective visual observations and objective indicator comparisons. By integrating the self-attention mechanism, our method built a fully attentional fusion model for infrared and visible image fusion and modeled the long-range dependency for global feature extraction and reconstruction to overcome the limitations of deep learning-based models. Compared with other state-of-the-art traditional and deep learning methods, MsTFusion achieved remarkable fusion performance with strong generalization ability and competitive computational efficiency.-
Keywords:
- image fusion /
- Swin Transformer /
- self-attentional mechanism /
- multi-scale /
- infrared image
-
0. 引言
为适应现代战争全天候作战要求，即使在夜间等低照度环境下也应具备一定的作战能力，从而推动了微光夜视技术的发展[1]。微光像增强器作为微光夜视系统的核心器件，其成像质量直接影响着微光夜视仪器的应用效果[2]。作为微光像增强器的一项重要性能指标，亮度增益反映了像增强器对于输入微光信号的放大能力[3]，是衡量像增强器对于微光图像倍增能力的重要参数。因此，研究亮度增益对输出图像像质的影响，对提高三代微光像增强器的成像质量具有重要意义。
目前，国内研究者对微光像增强器的亮度增益进行了相关研究，如2005年，刘秉琦等[4]研究了微光像增强器增益值对输出信噪比的影响。2019年，拜晓锋等[5]提出通过降低亮度增益的测量误差，提高微光像增强器寿命预测的准确性。同时，对影响微光像增强器成像质量的重要参数如信噪比，调制传递函数等也进行了相关研究，如2008年，石峰等[6]对电子能量与信噪比的关系进行研究。2013年，王洪刚等[7]通过微通道板电子输运特性的仿真，研究了MCP电子运动对MTF的影响。以往的研究大多都是针对特定的性能指标进行提高，而对性能指标的改变对输出图像像质的影响缺少综合性的分析研究。
本文针对三代微光像增强器亮度增益对像质的影响，提出利用像质评价的两个重要参数信噪比和分辨力，对不同增益条件下输出图像的像质进行综合评价分析。并验证通过调节亮度增益值的大小，能够提高三代微光像增强器的成像质量。
1. 理论基础
1.1 微光像增强器的工作原理
三代微光像增强器是一种能够实现微光图像增强的光电真空成像器件，是微光夜视仪器的核心[8]。主要由光阴极、微通道板（microchannel plates, MCP）和荧光屏组成，其结构如图 1所示。
三代微光像增强器的工作原理[9]：在微光照射下，通过光阴极的外光电效应将输入的微光信号转换成电信号。然后，通过微通道板对光阴极发出的光电子进行电子倍增并加速聚焦在荧光屏上。最后，利用荧光屏将倍增后的光电子图像转换成可见的光学图像，从而使原本的微光图像得到增强。
三代微光像增强器将GaAs负电子亲和势光电阴极与MCP相结合[10]。GaAs光阴极响应时间短、灵敏度高。可以更快地对微光信号做出响应，再经过微通道板依次倍增，使得三代微光像增强器在输出端可以获得更高的增益[11]。
1.2 亮度增益对像质的影响
三代微光像增强器的主要功能是对输入的微光图像进行增强，得到倍增后的输出图像[12]。亮度增益反映了像增强器对于输入微光信号的放大能力，将直接影响到人们的视觉观察效果，是衡量像增强器对于微光图像倍增能力的重要参数[13]。其计算公式如下：
$$ G = \frac{{L - {L_0}}}{E} $$ (1) 式中：G为微光像增强器的亮度增益，cd⋅m－2⋅lx－1；L为有光照射时荧光屏的法向亮度，cd⋅m－2；L0为无光照射时荧光屏的法向亮度，cd⋅m－2；E为光阴极面的入射照度，lx。
在低照度条件下，为使人眼能够观察到清晰的图像，荧光屏需要获得足够的输出亮度L。而在入射照度E一定时，输出亮度的大小由亮度增益值决定。即：
$$ G＝f(L) $$ (2) 三代像增强器采用GaAs光阴极，能够使输出图像获得更高的增益。高增益可以提高系统的输出亮度，从而提高系统的分辨力。但是随着增益的不断提高，微通道板在二次发射过程中所产生的噪声也会随之增加。使得输出图像的对比度恶化，降低像增强器的信噪比，严重时会造成输出图像淹没在噪声中无法分辨[14]。输出图像信噪比和亮度增益的关系如下：
$$ \frac{S}{N} = \frac{{{\eta _{\rm{n}}} \cdot T\left( f \right)}}{{\sqrt {\bar N_1^2 + \bar N_2^2 + \bar N_3^2} }}{G_{\rm{m}}} $$ (3) 式中：Gm为微通道板平均量子增益；T(f)为像增强器的调制传递函数；ηn为光阴极量子效率等其他影响因子的综合；$\sqrt {\bar N_1^2} $为光电阴极的量子涨落噪声；$\sqrt {\bar N_2^2} $为MCP的量子噪声；$\sqrt {\bar N_3^2} $为荧光屏的颗粒噪声。
其中，亮度增益是微通道板平均量子增益的函数：
$$ G = f\left( {{G_ {\rm{m}}}} \right) $$ (4) 则，亮度增益是微光像增强器的信噪比的函数：
$$ G = f\left( {\frac{S}{N}} \right) $$ (5) 因此在低照度条件下，亮度增益的大小将直接影响到输出图像的亮度和信噪比，从而影响输出图像的成像质量。即：
$$ G \propto {I_{{\rm{IQA}}}} $$ (6) 通过上述的公式推导，可以得出亮度增益与输出图像的成像质量之间存在着密切的关系。为了进一步研究通过合理设置亮度增益值，以提高输出图像的成像质量。需要对不同增益条件下，输出图像的成像质量进行评价。
根据相关研究表明，输出图像的成像质量与信噪比（噪声因子）和分辨力有如下关系：
$$ {I_{{\rm{IQA}}}} \propto {\left( {\eta \cdot \frac{S}{N}} \right)^{1/2}}R $$ (7) 式中：η为像增强器的光阴极量子效率；S/N为像增强器的输出信噪比；R为系统的成像分辨力。
基于此，本文采用信噪比和分辨力作为像质评价指标，对不同增益条件下的输出图像的成像质量进行综合性的评价分析。
2. 实验系统与装置
对三代微光像增强器的亮度增益与图像像质之间的关系进行研究分析时，首先需要建立三代微光像增强器像质评价系统。微光图像经过三代微光像增强器得到与之相对应的增强图像，然后结合信噪比和分辨力对增强的输出图像进行像质评价。其中，通过调节微通道板的电压控制像增强器的亮度增益值，三代微光像增强器像质评价系统如图 2所示。
![]()
图 2 三代微光像增强器像质评价系统Figure 2. Image quality evaluation system of the third generation low-light-level image intensifier本文采用的实验装置包括微光像增强器亮度增益测量装置、信噪比测量装置，以及器件视场质量及图像分析系统装置。
微光像增强器亮度增益测量装置[15]，如图 3所示。该装置由钨丝灯泡、稳压恒流源、滤光片、快门、积分球、暗箱、PR880微弱光亮度计组成。
![]()
图 3 微光像增强器亮度增益测量装置Figure 3. Luminance gain measuring device for low-light image intensifier其中，钨丝灯泡在稳压恒流源的控制下输出2856 K色温的光线，滤光片调节入射光照度，使实验环境满足无月夜天光的照度条件3×10－4 lx。暗箱屏蔽外界环境的杂散光。使用亮度计分别在快门关闭和快门打开时测量像增强器荧光屏输出的法向亮度，并通过计算机计算出被测像增强器的亮度增益。
像质评价采用信噪比测量装置和器件视场质量及图像分析系统装置。其中，信噪比测量装置由荷兰DEP公司生产，主要由光源系统、光学系统、信息采集及处理系统组成，如图 4(a)所示。器件视场质量及图像分析系统装置由波兰Inframet公司生产，主要由光源系统，USAF1951分辨率板，微型光学系统和CCD相机组成，如图 4(b)所示，CCD相机的分辨率为640 pixel×480 pixel。
3. 实验结果及分析
3.1 亮度增益与信噪比的关系
首先，通过调节微通道板电压，对三代微光像增强器进行亮度增益调节。利用微光像增强器亮度增益测量装置，得到20组不同的亮度增益值。然后，利用微光像增强器信噪比测量装置，对不同增益条件下输出图像的信噪比进行测量，亮度增益与信噪比的关系如图 5所示。
![]()
图 5 三代微光像增强器亮度增益与信噪比的关系Figure 5. The relationship between the luminance gain and SNR of the third generation low-light-level image intensifier从图 5可以看出，随着亮度增益值的增大，三代微光像增强器输出图像的信噪比呈现出非线性变化。实验结果表明，在亮度增益变化的过程中，输出图像的信噪比存在极大值。
当输出图像的信噪比达到极大值时，表明此时三代微光像增强器输出图像的噪声最小。但是此时的亮度增益值，能否满足人眼观察到清晰图像时所需的输出亮度，仍需要进一步研究。
3.2 亮度增益对图像像质的影响分析
以三代微光像增强器作为被测件，在上述实验的基础上，加入器件视场质量及图像分析系统装置作为评价依据。通过USAF1951分辨率板，能够观察到输出图像的成像分辨力，从而直观地反映出亮度增益对图像像质的影响。
对上述实验做进一步研究，板压调节范围为600~850 V，每10 V测量一次对应的亮度增益值和信噪比，亮度增益与信噪比随板压的变化情况如图 6所示。
从图 6可以看出，亮度增益值随板压不断增大的同时，信噪比呈现先升高后下降的趋势。取测试数据中信噪比和亮度增益的两个极值点作为对比，其中，当板压加至740 V时，信噪比达到极大值30.58，亮度增益值为9649 cd⋅m－2⋅lx－1。当板压加至850 V时，信噪比为23.28，此时的亮度增益值是实验数据的极大值为93155 cd⋅m－2⋅lx－1。
然后，利用器件视场质量及图像分析系统装置，在无月夜天光3×10－4 lx的照度条件下，通过CCD拍摄得到三代微光像增强器在不同亮度增益下的输出图像，如图 7(a)和7(b)所示。
从图 7(a)中可以观察到，亮度增益9649 cd⋅m－2⋅lx－1条件下的输出图像A，其信噪比为30.58，此时只能观察到USAF1951分辨力板的5-1组，即分辨力为32 lp/mm。并且输出图像存在视场昏暗，图像对比度低等问题，说明此时的亮度增益值无法提供人眼观察到清晰图像时所需的输出亮度。
而在图 7(b)中可以观察到，亮度增益93155 cd⋅m－2⋅lx－1条件下的输出图像B，其信噪比为23.28。因亮度增益增大，视场明亮度较图 7(a)得到显著提升。但是随着亮度增益的提高，噪声也随之增大，导致信噪比下降。从图中只能模糊分辨出USAF1951分辨力板的4-6组，即分辨力为28.5 lp/mm。并且由于噪声的增大，导致分辨率板对比度下降，图像成像质量并未得到有效提升。
因此，为有效提升微光图像的成像质量，需综合考虑信噪比和分辨力两个评价参数，使得三代微光像增强器在保证视场明亮清晰的同时获得更高的分辨力。取图 6中亮度增益与信噪比变化曲线的交点值，即亮度增益值为38856 cd⋅m－2⋅lx－1，拍摄得到该条件下的输出图像C，如图 8所示。
从图 8中可以观察到，亮度增益38856 cd⋅m－2⋅lx－1条件下的输出图像C，其信噪比为25.88，并且能够清晰地分辨出USAF1951分辨力板的5-3组，即分辨力为40.3 lp/mm。说明在该亮度增益值下，三代微光像增强器的输出图像能够在图像噪声较小的同时，提高图像亮度以及成像分辨力，即图像成像质量得到有效提升。实验结果表明，三代微光像增强器存在最佳亮度增益值，能够使微光夜视仪器获得最佳成像质量。
4. 结论
在夜间低照度条件下，三代微光像增强器的亮度增益会直接影响系统的成像质量。本文对亮度增益对输出图像成像质量的影响进行研究，通过图像质量评价的两个重要参数信噪比和分辨力，对不同增益条件下的成像质量进行综合评价。
实验结果表明，随着亮度增益的增大，输出图像的信噪比存在极大值。通过不同亮度增益下的输出图像可以看出，当信噪比取极大值时，此时亮度增益值较低视场昏暗，导致实际观察效果不理想。说明信噪比取极大值时，微光夜视仪并不能获得最佳的成像质量。而亮度增益值过大，则会导致信噪比降低，噪声淹没图像等问题。考虑到微光夜视仪在夜间的实际使用条件，应保证视场在明亮低噪的同时获得更高的分辨力。实验结果表明在亮度增益与信噪比变化曲线的交点处，输出图像明亮清晰、成像分辨力得到明显提升。证明通过合理设置亮度增益值，能够提高三代微光像增强器的成像质量。
-
![]()
图 1 多尺度Transformer图像融合方法原理
Figure 1. Principle of multi-scale Transformer image fusion method
![]()
图 4 TNO数据集Nato_camp主观评价对比结果
Figure 4. The subjective comparison results of Nato_camp from the TNO dataset
![]()
图 5 TNO数据集Street主观评价对比结果
Figure 5. The subjective comparison results of Street from the TNO dataset
![]()
图 6 TNO数据集Bench主观评价对比结果
Figure 6. The subjective comparison results of Bench from the TNO dataset
![]()
图 7 TNO数据集Kaptein_1123主观评价对比结果
Figure 7. The subjective comparison results of Kaptein_1123 from the TNO dataset
![]()
图 8 TNO数据集不同融合方法指标EN、SD、MI、SF、NCIE、VIF对比结果
Figure 8. The objective comparison results of EN, SD, MI, SF, NCIE and VIF of different fusion methods from the TNO dataset
![]()
图 9 Roadscene数据集FLIR_07210主观评价对比结果
Figure 9. The subjective comparison results of FLIR 07210 from the Roadscene dataset
![]()
图 10 Roadscene数据集FLIR_08954主观评价对比结果
Figure 10. The subjective comparison results of FLIR_08954 from the Roadscene dataset
![]()
图 11 Roadscene数据集不同融合方法指标指标EN、SD、MI、SF、NCIE、VIF对比结果
Figure 11. The objective comparison results of EN, SD, MI, SF, NCIE and VIF of different fusion methods from Roadscene dataset
表 1 5种融合模型的客观对比结果
Table 1 The objective comparison results of five fusion model
Models Parameters SF VIF EN SD MI NCIE Fusion Layer Add 9.51591 0.36018 7.22888 47.80041 2.55456 0.80587 Ours 9.84952 0.39648 7.23821 48.54178 2.61691 0.80607 STL Number 5 9.31619 0.35836 7.20091 48.01473 2.57833 0.80592 6 9.84952 0.39648 7.23821 48.54178 2.61691 0.80607 7 9.40830 0.37508 7.22529 48.40002 2.49068 0.80564 Conv Layer No 9.39838 0.36835 7.21169 47.38488 2.45803 0.80556 Yes 9.84952 0.39648 7.23821 48.54178 2.61691 0.80607 
下载: 导出CSV
表 2 不同融合方法计算效率对比结果
Table 2 The comparison results of computation efficiency for different fusion methods
s Method TNO Roadscene MDLatLRR 7.941×101 3.839×101 IFCNN 4.554×10-2 2.246×10-2 DenseFuse 8.509×10-2 4.001×10-2 RFN-Nest 1.777×10-1 8.609×10-2 FusionGAN 2.015 1.093 GANMcC 4.21 2.195 PMGI 5.445×10-1 2.928×10-1 SwinFuse 2.145×10-1 1.291×10-1 IFT 8.141×10-1 4.025×10-1 Ours 5.091×10-1 2.848×10-1
下载: 导出CSV
-
[1] Paramanandham N, Rajendiran K. Multi sensor image fusion for surveillance applications using hybrid image fusion algorithm[J]. Multimedia Tools and Applications, 2018, 77(10): 12405-12436. DOI: 10.1007/s11042-017-4895-3
[2] ZHANG Xingchen, YE Ping, QIAO Dan, et al. Object fusion tracking based on visible and infrared images: a comprehensive review[J]. Information Fusion, 2020, 63: 166-187. DOI: 10.1016/j.inffus.2020.05.002
[3] TU Zhengzheng, LI Zhun, LI Chenglong, et al. Multi-interactive dual- decoder for RGB-thermal salient object detection[J]. IEEE Transactions on Image Processing, 2021, 30: 5678-5691. DOI: 10.1109/TIP.2021.3087412
[4] 汪荣贵, 王静, 杨娟, 等. 基于红外和可见光模态的随机融合特征金子塔行人重识别[J]. 光电工程, 2020, 47(12): 190669. Doi: 10.12086/oee.2020.190669. WANG Ronggui, WANG Jing, YANG Juan, et al. Random feature fusion of golden Tower for pedestrian rerecognition based on infrared and visible modes[J]. Opto-Electronic Engineering, 2020, 47(12): 190669. Doi: 10.12086/oee.2020.190669
[5] WANG Zhishe, XU Jiawei, JIANG Xiaolin, et al. Infrared and visible image fusion via hybrid decomposition of NSCT and morphological sequential toggle operator[J]. Optik, 2020, 201: 163497. DOI: 10.1016/j.ijleo.2019.163497
[6] LI Hui, WU Xiaojun, Kittle J. MDLatLRR: a novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746. DOI: 10.1109/TIP.2020.2975984
[7] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576 SUN Bin, ZHUGE Wuwei, GAO Yunxiang et al. Infrared and visible image fusion based on potential low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576
[8] MA Jinlei, ZHOU Zhiqiang, WANG Bo, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[9] KONG Weiwei, LEI Yang, ZHAO Huaixun. Adaptive fusion method of visible light and infrared images based on non-subsampled shearlet transform and fast non-negative matrix factorization[J]. Infrared Physics & Technology, 2014, 67: 161-172.
[10] 姜迈, 沙贵君, 李宁. 基于PUCS与DTCWT的红外与弱可见光图像融合[J]. 红外技术, 2022, 44(7): 716-725. http://hwjs.nvir.cn/article/id/ee43f5b8-9a1f-441c-9d95-e339989d8954 JIANG Mai, SHA Guijun, LI Ning. Infrared and inferior visible image fusion based on PUCS and DTCWT [J]. Infrared Technology, 2022, 44(7): 716-725. http://hwjs.nvir.cn/article/id/ee43f5b8-9a1f-441c-9d95-e339989d8954
[11] WANG Zhishe, YANG Fengbao, PENG Zhihao, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]. Optik, 2015, 126(23): 4184-4190. DOI: 10.1016/j.ijleo.2015.08.118
[12] LIU Yu, CHEN Xun, PENG Hu, et al. Multi-focus imagefusion with a deep convolutional neural network[J]. Information Fusion, 2017, 36: 191-207. DOI: 10.1016/j.inffus.2016.12.001
[13] ZHANG Hao, XU Han, TIAN Xin, et al. Image fusion meets deep learning: A survey and perspective[J]. Information Fusion, 2021, 76: 323-336. DOI: 10.1016/j.inffus.2021.06.008
[14] ZHANG Yu, LIU Yu, SUN Peng, et al. IFCNN: A general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011
[15] LI Hui, WU Xiaojun. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614- 2623. DOI: 10.1109/TIP.2018.2887342
[16] LI Hui, WU Xiaojun, Kittler J. RFN-Nest: An end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73: 72-86. DOI: 10.1016/j.inffus.2021.02.023
[17] JIAN Lihua, YANG Xiaomin, LIU Zheng, et al. SEDRFuse: A symmetric encoder–decoder with residual block network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 70: 1-15.
[18] ZHANG Hao, XU Han, XIAO Yang, et al. Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12797-12804.
[19] WANG Zhishe, WANG Junyao, WU Yuanyuan, et al. UNFusion: a unified multi-scale densely connected network for infrared and visible image fusion[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(6): 3360- 3374.
[20] WANG Zhishe; WU Yuanyuan; WANG Junyao, et al. Res2Fusion: infrared and visible image fusion based on dense Res2net and double non-local attention models[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1-12.
[21] MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26.
[22] MA Jiayi, ZHANG Hao, SHAO Zhenfeng, et al. GANMcC: a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-14.
[23] 王志社, 邵文禹, 杨风暴, 等. 红外与可见光图像交互注意力生成对抗融合方法[J]. 光子学报, 2022, 51(4): 318-328. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm WANG Zhishe, SHAO Wenyu, YANG Fengbao, et al. A generative antagonism fusion method for interactive attention of infrared and visible images [J]. Acta Photonica Sinica, 2022, 51(4): 318-328. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm
[24] LI Jing, ZHU Jianming, LI Chang, et al. CGTF: Convolution-Guided Transformer for Infrared and Visible Image Fusion [J]. IEEE Transactions on Instrumentation and Measurement. 2022, 71: 1-14.
[25] RAO Dongyu, WU Xiaojun, XU Tianyang. TGFuse: An infrared and visible image fusion approach based on transformer and generative adversarial network [J/OL].arXiv preprint arXiv: 2201.10147. 2022.
[26] WANG Zhishe, CHEN Yanlin, SHAO Wenyu, et al. SwinFuse: a residual swin transformer fusion network for infrared and visible images[J/OL]. arXiv preprint arXiv: 2204.11436. 2022.
[27] ZHAO Haibo, NIE Rencan. DNDT: infrared and visible image fusion via DenseNet and dual-transformer[C]// International Conference on Information Technology and Biomedical Engineering (ICITBE), 2021: 71-75.
[28] VS V, Valanarasu J M J, Oza P, et al. Image fusion transformer [J/OL]. arXiv preprint arXiv: 2107.09011. 2021.
[29] LIU Ze, LIN Yutong, CAO Yue, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 10012-10022.
[30] TOET A. TNO Image Fusion Datase[DB/OL]. [2014-04-26].https://figshare.com/articles/TNImageFusionDataset/1008029.
[31] XU Han. Roadscene Database[DB/OL]. [2020-08-07].https://github.com/hanna-xu/RoadScene.
[32] LI Hui, WU Xiaojun, Kittle J. MDLatLRR: a novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746.
-
期刊类型引用(4)
1. 汤克彬，李珊，李初晨，毛科，张顺关，曾绍禹. 锗基长波红外圆锥形微结构减反射性能. 红外技术. 2024(01): 36-42 . 
本站查看
2. 陈妍妮，杨亮亮，江亦心，刘好. 基于Zemax软件的仿真实验——微光夜视物镜的设计. 大学物理实验. 2023(04): 69-71+129 . 百度学术
3. 鄢圣杰，王如意. 基于脉冲激光技术的光学元件表面损伤检测方法. 激光杂志. 2023(09): 75-79 . 百度学术
4. 潘海鸥，方朝龙. 一种提高微结构抗反射性能的方法. 光源与照明. 2022(05): 62-64 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 383
- HTML全文浏览量: 497
- PDF下载量: 163
- 被引次数: 5
