DSEL-CNN:结合注意力机制与均衡损失的图像融合算法

赵雅婷, 韩龙, 何辉煌, 陈楚

赵雅婷, 韩龙, 何辉煌, 陈楚. DSEL-CNN:结合注意力机制与均衡损失的图像融合算法[J]. 红外技术, 2025, 47(3): 358-366.
引用本文: 赵雅婷, 韩龙, 何辉煌, 陈楚. DSEL-CNN:结合注意力机制与均衡损失的图像融合算法[J]. 红外技术, 2025, 47(3): 358-366.
ZHAO Yating, HAN Long, HE Huihuang, CHEN Chu. DSEL-CNN: Image Fusion Algorithm Combining Attention Mechanism and Balanced Loss[J]. Infrared Technology , 2025, 47(3): 358-366.
Citation: ZHAO Yating, HAN Long, HE Huihuang, CHEN Chu. DSEL-CNN: Image Fusion Algorithm Combining Attention Mechanism and Balanced Loss[J]. Infrared Technology , 2025, 47(3): 358-366.

DSEL-CNN:结合注意力机制与均衡损失的图像融合算法

基金项目: 

黑龙江省重点研发计划项目 GA23A910

黑龙江省自然科学基金项目 LH2021F051

黑龙江科技大学大学生创新创业训练计划项目 YJS2021051

详细信息
    作者简介:

    赵雅婷(1999-),硕士研究生,研究方向为计算机视觉应用、图像处理。E-mail: zyating0612@163.com

    通讯作者:

    韩龙(1978-),博士,副教授,研究方向为红外图像处理,电力设备故障诊断。E-mail: yazhoulong@163.com

  • 中图分类号: TP391

DSEL-CNN: Image Fusion Algorithm Combining Attention Mechanism and Balanced Loss

  • 摘要:

    在红外与可见光图像融合时,融合后图像常出现显著目标不突出、可见光信息表达不充分的问题,且在亮度不均衡条件下,易出现边缘模糊和局部信息不均衡。因此,提出了结合注意力机制与均衡损失的图像融合算法(Depthwise Separable, Squeeze-and-Excitation, and Equilibrium Loss-based Convolutional Neural Network, DSEL-CNN)。首先,使用深度可分离卷积提取图像特征;其次,在融合策略中使用Squeeze-and-Excitation注意力机制来提高有效信息的权重;最后,利用均衡组合损失函数计算融合后图像损失,进行图像信息均衡。与FusionGAN、DenseFuse和其它4种融合算法在TNO和MSRS公开数据集中进行主客观对比实验,其中互信息值、视觉信息保真度、边缘信息保留指标较其它6种算法分别最高提高了1.033、0.083、0.069,实验结果表明所提算法与6种常用融合算法相比,在融合图像视觉感观、信息含量、边缘和纹理保留方面均有提升。

    Abstract:

    In infrared and visible image fusion, fused images often suffer from insufficient prominence of significant targets, inadequate expression of visible light information, edge blurring, and local information imbalance under uneven lighting conditions. To address these issues, an image fusion algorithm that combines attention mechanisms and equilibrium loss, termed the depthwise separable, squeeze-and-excitation, and equilibrium loss-based convolutional neural network (DSEL-CNN), is proposed. First, a depth-wise separable convolution is used to extract the image features. Subsequently, a fusion strategy is used to apply the squeeze-and-excitation attention mechanism to enhance the weight of effective information. Finally, an equilibrium composite loss function is utilized to calculate the loss of the fused image to ensure balanced information. A comparison of the fusion generative adversarial network (FusionGAN), DenseFuse, and four other fusion algorithms on the TNO and multi-spectral road scenarios (MSRS) public datasets showed that the proposed method achieved the highest improvements in mutual information (MI), visual information fidelity (VIF), and edge retention index (Qabf) by 1.033, 0.083, and 0.069, respectively. Experimental results demonstrate that the proposed algorithm outperforms six commonly used fusion methods in terms of visual perception, information content, and edge and texture preservation in fused images.

  • 输电线路设备作为电力系统的重要部分,对输电线路的安全稳定运行起着至关重要的作用。而金属氧化物避雷器(MOA)是输电线路中常用设备,其作用是防止电气设备遭受过电压侵害,是输电线路中重要的结构支撑件。由于MOA在潮湿环境下,存在污秽、老化和爆裂等情况,因此准确地检测MOA故障是目前电网亟待解决问题之一[1]

    目前,传统的检测MOA故障方法主要有以下几种:①全电流[2];②谐波分析法[3];③容性电流补偿法[4];④基波阻性电流法[5];⑤基于温度的测量法等[6]。但以上方法在MOA运行过程中,MOA或监测装置表面污秽所产生的泄漏电流以及电网谐波对MOA在线监测的影响,会对所监测的特征量产生影响,进而使测量的数值存在误差,影响检测精度,同时存在成本高以及检测周期长等问题。而随着深度学习相关技术快速发展,由于具有识别精度高,无需人工监督,高效等优点,更适用于解决图像分类、目标识别等问题,并且取得显著效果[7]

    深度学习算法已广泛应用在输电线路设备故障检测中。本文所研究的红外图像MOA故障检测,可看作物体检测问题。主流的深度学习的目标检测算法包括两类:一类是基于区域的目标检测算法如Faster RCNN(Faster-regions with Convolutional Network)[8]与RFCN(Region-based Fully Convolutional Networks)[9]等,其中文献[10]基于Faster RCNN算法对变压器、套管、断路器等7种变电设备进行目标检测,实现设备的精准定位、识别。文献[11]采用了深度学习算法体系中基于区域建议网络的Faster RCNN算法实现对输变电红外图像发热故障的检测、识别及定位。以上算法虽然检测精度高,但速度相对较慢,不能满足实时性的要求。另一类是将检测问题转变为回归问题求解如SSD(Single Shot MultiBox Detector)、YOLO(You Only Look Once)算法[12-13]。文献[14]基于YOLOv3算法,通过添加卷积模块及调整部分超参数对其基础网络架构进行优化,以实现高压开关设备异常发热点的快速检测、识别和定位。文献[15]提出了一种基于多尺度特征融合的端到端红外小目标检测模型。文献[16]以小轿车和公交车红外图像为研究对象,构建了红外图像Pascal VOC数据集,训练了SSD网络,并利用训练好的网络检测了红外目标图像。以上算法虽提高了网络的检测效率,但是目标定位的准确率有所降低,而红外图像故障检测对模型准确率有较高的要求,选用Faster RCNN模型比较符合实际需求。但是已有实验证明Faster RCNN对中大型的目标具有良好的检测效果,但对小目标的检测效果不佳,如果直接使用原始的Faster RCNN模型,可能会造成漏检。

    基于上述问题,本文提出一种基于改进YOLOv3的MOA故障检测方法。首先,将Darknet19网络代替YOLOv3的原始Darknet53网络。替换后的网络训练难度更低,在保证高识别精度情况下,识别速度更快,减少了冗余的计算。特征学习时针对样本中不同MOA长宽比例,通过K-means聚类算法对图像中的目标帧进行分析,重新聚类样本中心锚点框,得到合适的锚框数目和大小,提高了网络的检测规模。最后,利用改进YOLOv3模型完成MOA红外图像故障检测。

    图 1(a)所示,当避雷器正常运行时,MOA红外热像仅有轻微的发热且整体分布均匀,没有明显温差变化。而且同一MOA不同部位的最大温差不会超过1 K,相间温差也很小。然而当发生故障时,往往会伴随着异常的温升现象。MOA常见的故障主要包括阀片老化和受潮。通过避雷器泄露电流中的有功分量会使阀片发热导致老化,阀片由于老化继续升温,而温升又进一步使阀片电阻下降导致损耗加大,最终形成恶性循环。MOA由于呼吸作用受潮,造成阀片电导率增大,从而导致阻性泄露电流增大,引起局部发热。总之,阀片老化和受潮的红外热像都表现为局部发热,特征热像图如图 1(b)所示,220 kV MOA上节存在明显局部过热。

    图  1  不同状态MOA红外图像
    Figure  1.  MOA infrared images in different states

    根据标准[17]规定,图像特征判断法适用于如氧化锌避雷器电压致热型设备。在排除环境等因素影响后,通过对同类设备不同状态下的红外热像图进行对比分析,判断设备是否存在异常。

    图 2所示,为本文MOA红外图像故障检测模型整体框架图。整个MOA红外图像故障检测流程如下:首先,通过无人机采集MOA红外图像,对采集的MOA红外图像分类,分为正负样本。由于拍摄的红外图像会受背景环境的影响,如光照、树等。因此,采用中值滤波法对MOA红外图像进行预处理。处理后的MOA红外图像对改进的YOLOv3模型进行训练,最后调用训练好的MOA红外故障检测模型对预处理后的MOA红外图像进行故障检测。检测流程先是对数据进行聚类分析,得到合适的锚框数目和大小,其次采用深层次特征提取网络进行特征提取,最后通过多尺度预测得到MOA检测结果。

    图  2  MOA红外故障检测模型框架图
    Figure  2.  Framework diagram of MOA infrared fault detection model

    由于在拍摄红外图像过程中受到大气辐射噪声以及拍摄背景的影响。这些噪声会降低图像对比度。因此,需对MOA红外图像进行降噪处理。本文采用中值滤波法[18]。将模板中的像素从小到大排序,并将当前像素值替换为排序序列的中间值。主要步骤如下:移动图片中的滤镜模板,将模板中心位置对应的像素作为当前像素。读取模板中每个像素的灰度值。将灰度值从小到大排序。取最终排序结果的中值像素,而不是当前像素值。在3×3滤波模板下,原始图像对应像素的灰度值如图 3所示。

    图  3  中值滤波处理后图像灰度值结果
    Figure  3.  Grayscale value result of the image after median filtering processing

    YOLOv3算法是Joseph Redmon等在2018年新提出的目标检测算法[19]。YOLOv3借鉴残差网络提出了Darknet53网络,利用残差结构降低了训练难度。此外,采用大量1×1的卷积核和步长为2,大小为3×3的卷积核来代替最大池,从而减少了参数的数目。由于Darknet53网络实现的检测类别众多,单个目标的检测复杂且冗余,而本文针对MOA红外图像进行目标检测。过多的参数会导致训练过于复杂,影响训练速度。

    针对MOA,本文借鉴YOLOv3的多尺度检测部分,提出了一种参数少、计算复杂度低的目标检测网络,以降低训练难度,提高模型速度,同时也具有较高的识别精度。

    用Darknet19网络代替YOLOv3的骨干网Darknet53,并对应用于多尺度预测的卷积层。与Darknet53网络相比,由于不在Darknet19中加入残差网络,训练速度得到了很大地提高。Darknet19的网络结构如表 1所示。

    表  1  Darknet19网络结构
    Table  1.  Network structure of Darknet19
    Type Fitlers Size/stride Output
    Convolutional 32 3×3/1 256×256
    Maxpool 2×2/2 128×128
    Convolutional 64 3×3/1 128×128
    Maxpool 2×2/2 64×64
    Convolutional 128 3×3/1 64×64
    Convolutional 64 1×1/1 64×64
    Convolutional 128 3×3/1 64×64
    Maxpool 2×2/2 32×32
    Convolutional 256 3×3/1 32×32
    Convolutional 128 1×1/1 32×32
    Convolutional 256 3×3/1 32×32
    Maxpool 2×2/2 16×16
    Convolutional 512 3×3/1 16×16
    Convolutional 256 1×1/1 16×16
    Convolutional 512 3×3/1 16×16
    Convolutional 256 1×1/1 16×16
    Convolutional 512 3×3/1 16×16
    Maxpool 2×2/2 8×8
    Convolutional 1024 3×3/1 8×8
    Convolutional 512 1×1/1 8×8
    Convolutional 1024 3×3/1 8×8
    Convolutional 512 1×1/1 8×8
    Convolutional 1024 3×3/1 8×8
    下载: 导出CSV 
    | 显示表格

    卷积神经网络将预测每个单元中每个边界框的4个值,即坐标(x, y)、目标宽度w、高度h,分别表示为txtytwth。如果目标中心与单元格中图像的左上角有偏差(cx, cy),并且锚框的高度和宽度为PwPh,则修改后的边界框为:

    $$ b_{x}=σ(t_{x})+c_{x} $$ (1)
    $$ b_{y}=σ(t_{y})+c_{y} $$ (2)
    $$ {b_w} = {P_w}{{\text{e}}^{{t_w}}} $$ (3)
    $$ {b_h} = {P_h}{{\text{e}}^{{t_h}}} $$ (4)

    在YOLOv3中,引入了FPN网络。同时利用低层特征的高分辨率和高层次特征的信息,通过上采样对多尺度特征进行融合,检测出3个不同尺度的特征层上的目标。本文保留YOLOv3网络的多尺度预测,利用多尺度卷积层对不同尺度的目标进行检测,如表 2所示。

    表  2  YOLOv3的先验框尺寸
    Table  2.  Prior box size of YOLOv3
    Scale prediction Feature map size Anchor value
    Scale 1 13×13 (105, 153) (49, 250)(32, 132)
    Scale 2 26×26 (144, 43) (33, 78)(47, 56)
    Scale 3 52×52 (52, 25) (22, 34)(16, 15)
    下载: 导出CSV 
    | 显示表格

    锚框是通过对数据集的目标帧进行聚类和分析得到的一组固定宽度和高度的初始候选帧。YOLOv3使用逻辑回归来预测锚框中包含对象的概率。如果锚框(Anchor Box)与真实目标包围盒之间的重叠率大于任何其他锚盒,则该锚框的概率为1。如果真实目标的锚框和边界框之间的重叠大于0.5,但不是最大值,则忽略预测。锚框的数量和大小直接影响网络结构对目标检测的精度和速度。YOLOv3使用K-means聚类算法[20]对目标帧进行聚类,并使用平均重叠平均IOU作为目标聚类的度量。目标函数如式(5)所示:

    $$ {\text{arg max}}\frac{{\sum {_{i = 1}^k\sum {_{j = 1}^{{n_k}}{R_{{\text{IOU}}}}(B,C)} } }}{n} $$ (5)

    式中:B是真实的地面目标;C是簇的中心;nk是K簇中心的样本数;n是样本总数;k为簇数;RIOU(B, C)表示簇中心盒和簇盒的交点。

    选取k=0~20,分别对两个数据集进行聚类分析。锚框数(即k值)与平均IOU之间的曲线关系如图 4所示。随着k值的增大,目标函数的变化越来越慢,变化线的拐点可以看作是最优的锚框数目。通过这种多尺度检测,可以增强各尺度特征层的信息,对多幅图像中的小目标检测有较好的效果。多尺度检测的最终网络模型如图 5所示。

    图  4  K-means聚类分析结果
    Figure  4.  K-means cluster analysis result YOLO recognition
    图  5  修改后的YOLOv3网络结构图
    Figure  5.  Modified network structure of YOLOv3

    经过修改,在608×608尺度下,本文采用的Yolov3-Darknet19网络为74.963 BFLOPS,基于Darknet53的YOLOv3网络为139.481 BFLOPS。因此,Darknet19训练速度优于Darknet53。

    红外目标检测是实现MOA红外故障目标检测系统的核心环节,该方案采用改进的YOLOv3算法的目标检测方案。通过运用Darknet19深度学习框架进行样本训练。

    由于所采集的MOA红外图像数量有限,因此,本文通过对原始图像水平翻转、水平移动、缩放和亮度级别转换为人工图像,增加样本数量。增加的图像类标签没有改变,变换是在图像上随机进行的。在训练模型的过程中使用新的变换图像和原始图像。数据扩充的目的是为了提高模型的泛化能力。扩充后的数据集包含5602幅图片,并将图片的注释转换成相应的格式,得到图片的标注数据进行训练。

    将实验数据按8:1:1的比例随机划分为训练集、测试集和验证集。在训练阶段,动量参数设置为0.9,采用批量随机梯度下降法进行优化,初始学习率为0.0001,衰减为0.0005,前1000次训练中,采样学习率为0.001,以稳定网络。随后,在40000和45000次训练中,采用steps策略根据衰减系数改变学习率,防止梯度消失问题。

    本文采用多尺度训练策略来增强不同尺度下的鲁棒性。每10批训练集为一组,每组随机选取新的图像大小进行训练,训练范围为320×320~608×608,采样间隔为32。

    表 3所示,为YOLOv3-Darknet19训练环境。本文的评价依据主要是训练过程中的损失图像和两个模型训练后的实际检测效果。

    表  3  YOLOv3-Darknet19训练环境
    Table  3.  Training environment of YOLOv3-Darknet19
    Term configuration
    CPU Core i9 10900K
    GPU INVIDIA RTX 3080
    Operating system Microsoft Windows10
    Parallel computing library Cuda10.0+Cudnn7.4.1.5
    Image processing Python3.7
    Deep learning framework Darknet19
    下载: 导出CSV 
    | 显示表格

    本文对YOLOv3-Darknet19算法和YOLOv3- Darknet53算法进行了比较。同一数据集的训练时间分别为70 h和14 h。训练期间的两个网络损失变化曲线如图 6图 7所示。从图 8所示的数据比较可以看出,Darknet19网络的损耗下降较快,数据波动较小,最终稳定值相对较小。

    图  6  YOLOv3-Darknet53训练损失变化
    Figure  6.  Loss trend of YOLOv3-Darknet53 training
    图  7  YOLOv3-Darknet19训练损失变化
    Figure  7.  Loss trend of YOLOv3-Darknet19 training
    图  8  不同网络训练损失对比
    Figure  8.  Comparison of different network training loss

    从实验结果可知,本文分别对两个网络训练的同一图像的权值进行测试,测试实例效果如图 9所示。通过本文所提出的YOLOv3-Darknet19可精准地对MOA红外故障图像进行识别检测。

    图  9  MOA红外图像检测结果
    Figure  9.  MOA Infrared image detection results

    基于以上两点的分析,本文提出的改进算法在使用相同训练集的情况下,在速度和识别率上有一定的保证,不存在未识别或错误情况。在识别单个目标时,网络结构的简化提高了训练速度,采用AP(Average Precision)值作为评价指标,识别精度可达96.3%。在检测速度方面,以图片为例,YOLOv3-Darknet53的识别速度为25.41 ms,YOLOv3- Darknet19的识别速度为6.75 ms,因此简化网络后,识别速度更快,帧数显著增加。在训练时间上,Darknet19网络的训练速度也更快,约为原网络的1/5,为参数和网络的微调提供了方便。

    本文将YOLOv3目标检测算法应用到输电线路中,提出一种基于改进的YOLOv3算法用于MOA故障检测,由于本文只用于检测MOA,对YOLOv3网络结构以及锚框大小进行了修改,采用Darknet19网络代替原有的Darknet53网络,实验结果表明,改进后的YOLOv3网络在识别效果上没有下降,与原有的YOLOv3算法相比识别速度更快。YOLOv3-Darknet19的识别速度为6.75 ms,识别精度可达96.3%。因此简化网络后,识别速度更快,帧数显著增加。

  • 图  1   本文算法融合网络结构示意图

    Figure  1.   The algorithm fusion network structure diagram in this paper

    图  2   深度可分离卷积

    Figure  2.   Depth-separable convolution

    图  3   Squeeze-and-Excitation模块示意图

    Figure  3.   Schematic diagram of the Squeeze-and-Excitation module

    图  4   不同融合算法结果对比(从左到右依次为TNO数据集T1、T2、T3; MSRS数据集M1、M2、M3)

    Figure  4.   Comparison of results of different fusion algorithms (from left to right, TNO datasets T1, T2, T3; MSRS datasets M1, M2, M3)

    图  5   TNO数据集场景下消融实验

    Figure  5.   Ablation experiment in TNO dataset scenario

    图  6   MSRS数据集场景下消融实验

    Figure  6.   Ablation experiment in MSRS dataset scenario

    表  1   不同融合算法在TNO、MSRS数据集上的客观评价指标

    Table  1   Objective evaluation metrics of different fusion algorithms on TNO, MSRS datasets

    TNO MSRS
    EN AG SF MI VIF Qabf Time/s EN AG SF MI VIF Qabf Time/s
    FusionGAN 6.622 1.813 5.742 1.122 0.921 0.625 2.323 5.498 1.465 4.358 1.540 0.746 0.722 2.861
    DDcGAN 6.859 2.487 7.021 1.516 0.928 0.490 5.174 5.361 1.947 3.577 1.671 0.771 0.763 5.694
    DenseFuse 6.959 2.216 7.066 1.648 0.847 0.604 1.368 5.405 1.317 3.608 1.623 0.769 0.766 1.238
    IFCNN 7.032 2.064 7.163 1.115 0.921 0.408 1.643 5.357 1.412 4.152 1.824 0.791 0.733 1.753
    PIAFusion 6.683 1.785 5.942 1.291 0.919 0.638 1.927 5.801 1.694 4.632 1.572 0.755 0.742 1.978
    MFEIF 7.011 2.572 6.493 1.273 0.926 0.564 2.151 5.415 1.923 3.676 1.581 0.777 0.754 2.132
    NSST 6.228 1.932 6.314 1.336 0.883 0.417 - 5.324 1.659 3.526 1.628 0.756 0.692 -
    Ours 7.269 3.118 7.326 1.344 0.930 0.636 1.071 5.889 2.013 5.597 2.573 0.827 0.791 1.126
    下载: 导出CSV

    表  2   不同模块在TNO、MSRS数据集上的客观评价指标

    Table  2   Objective evaluation metrics of different modules on TNO, MSRS datasets

    Method TNO MSRS
    EN AG SF MI VIF Qabf EN AG SF MI VIF Qabf
    NSE 6.679 0.0385 8.905 0.913 0.608 0.591 5.855 0.0128 3.955 1.454 0.793 0.754
    NLI 6.701 0.0326 10.327 0.938 0.617 0.473 5.785 0.0140 3.955 1.469 0.761 0.728
    NLM 6.457 0.0288 9.487 0.816 0.612 0.436 5.303 0.0276 6.281 1.275 0.736 0.672
    SE+LI+LM 6.712 0.0391 10.352 0.956 0.622 0.572 5.879 0.0228 6.328 1.482 0.831 0.933
    下载: 导出CSV
  • [1] 张健, 黄安穴. 基于改进LatLRR算法的红外与可见光图像融合研究[J]. 红外技术, 2024, 46(6): 672-680. http://hwjs.nvir.cn/article/id/7363bd38-a7f7-4e58-af46-b1038bb9cc30

    ZHANG Jian, HUANG Anxue. Infrared and visible image fusion based on improved LatLRR algorithm[J]. Infrared Technology, 2024, 46(6): 672-680. http://hwjs.nvir.cn/article/id/7363bd38-a7f7-4e58-af46-b1038bb9cc30

    [2] 刘爽利, 黄雪莉, 刘磊, 等. 光电载荷下的红外和可见光图像融合综述[J]. 计算机工程与应用, 2024, 60(1): 28-39.

    LIU Shuangli, HUANG Xueli, LIU Lei, et al. Infrared and visible image fusion under photoelectric loads[J]. Computer Engineering and Applications, 2024, 60(1): 28-39.

    [3] 刘刚, 肖刚. 基于双路级联对抗机制的红外与可见光图像融合方法[J]. 光子学报, 2021, 50(9): 321-331.

    LIU Gang, XIAO Gang. Infrared and visible image fusion method based on dual-path cascade adversarial mechanism[J]. Acta Photonica Sinica, 2021, 50(9): 321-331.

    [4] 沈英, 黄春红, 黄峰, 等. 红外与可见光图像融合技术的研究进展[J]. 红外与激光工程, 2021, 50(9): 20200467.

    SHEN Ying, HUANG Chunhong, HUANG Feng, et al. Research progress of infrared and visible image fusion technology[J]. Infrared and Laser Engineering, 2021, 50(9): 20200467.

    [5] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    YE Kuntao, LI Wen, SHU Leilei, et al. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]. Infrared Technology, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    [6] 杨帆, 王志社, 孙婧, 等. 红外与可见光图像交互自注意力融合方法[J]. 光子学报, 2024, 53(6): 0610003.

    YANG Fan, WANG Zhishe, SUN Jing, et al. Infrared and visible image fusion method via interactive self-attention[J]. Acta Photonica Sinica, 2024, 53(6): 0610003.

    [7] 王天元, 罗晓清, 张战成. 自注意力引导的红外与可见光图像融合算法[J]. 红外技术, 2023, 45(2): 171-177. http://hwjs.nvir.cn/article/id/09b45ee5-6ebc-4222-a4ec-11b5142482fe

    WANG Tianyuan, LUO Xiaoqing, ZHANG Zhancheng. Infrared and visible image fusion based on self-attention learning[J]. Infrared Technology, 2023, 45(2): 171-177. http://hwjs.nvir.cn/article/id/09b45ee5-6ebc-4222-a4ec-11b5142482fe

    [8] 闵莉, 曹思健, 赵怀慈, 等. 改进生成对抗网络实现红外与可见光图像融合[J]. 红外与激光工程, 2022, 51(4): 20210291.

    MIN Li, CAO Sijian, ZHAO Huaici, et al. Infrared and visible image fusion using improved generative adversarial networks[J]. Infrared and Laser Engineering, 2022, 51(4): 20210291.

    [9]

    MA J, YU W, LIANG P, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004

    [10]

    SHEN J, CHEN Y, LIU Y, et al. ICAFusion: Iterative cross-attention guided feature fusion for multispectral object detection[J]. Pattern Recognition, 2024, 145: 109913. DOI: 10.1016/j.patcog.2023.109913

    [11]

    MA J, XU H, JIANG J, et al. DDcGAN: A dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4980-4995. DOI: 10.1109/TIP.2020.2977573

    [12]

    ZHANG Y, LIU Y, SUN P, et al. IFCNN: A general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011

    [13]

    JIAN L, YANG X, LIU Z, et al. SEDRFuse: A symmetric encoder–decoder with residual block network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 70: 1-15.

    [14]

    Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1251-1258.

    [15]

    HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.

    [16]

    Toet A. The TNO multiband image data collection[J]. Data in Brief, 2017, 15: 249-251. DOI: 10.1016/j.dib.2017.09.038

    [17]

    MA J, TANG L, FAN F, et al. SwinFusion: Cross-domain long-range learning for general image fusion via swin transformer[J]. IEEE/CAA Journal of Automatica Sinica, 2022, 9(7): 1200-1217. DOI: 10.1109/JAS.2022.105686

    [18]

    LI H, WU X J. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623.

    [19]

    TANG L, YUAN J, ZHANG H, et al. PIAFusion: A progressive infrared and visible image fusion network based on illumination aware[J]. Information Fusion, 2022, 83: 79-92.

    [20]

    LIU J, FAN X, HUANG Z, et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 5802-581.

  • 期刊类型引用(2)

    1. 曹志群,项高鹏,胡临天,廖梓宏. 基于近红外技术的非接触式酒精度检测系统. 激光与红外. 2025(03): 408-413 . 百度学术
    2. 张肖,朱铧丞,杨阳,李兴兴. 基于随机森林算法的酒精浓度在线测量系统. 真空电子技术. 2023(02): 80-86 . 百度学术

    其他类型引用(0)

图(6)  /  表(2)
计量
  • 文章访问数:  69
  • HTML全文浏览量:  6
  • PDF下载量:  15
  • 被引次数: 2
出版历程
  • 收稿日期:  2024-07-24
  • 修回日期:  2024-09-17
  • 刊出日期:  2025-03-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日