Infrared and Visible Image Fusion Using Attention- Based Generative Adversarial Networks
-
摘要: 目前，基于深度学习的融合方法依赖卷积核提取局部特征，而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性。为此，本文提出了红外与可见光图像注意力生成对抗融合方法。该方法采用编码器和解码器构成的生成器以及两个判别器。在编码器中设计了多尺度模块与通道自注意力机制，可以有效提取多尺度特征，并建立特征通道长距离依赖关系，增强了多尺度特征的全局特性。此外，构建了两个判别器，以建立生成图像与源图像之间的对抗关系，保留更多细节信息。实验结果表明，本文方法在主客观评价上都优于其他典型方法。Abstract: At present, deep learning-based fusion methods rely only on convolutional kernels to extract local features, but the limitations of single-scale networks, convolutional kernel size, and network depth cannot provide a sufficient number of multi-scale and global image characteristics. Therefore, here we propose an infrared and visible image fusion method using attention-based generative adversarial networks. This study uses a generator consisting of an encoder and decoder, and two discriminators. The multi-scale module and channel self-attention mechanism are designed in the encoder, which can effectively extract multi-scale features and establish the dependency between the long ranges of feature channels, thus enhancing the global characteristics of multi-scale features. In addition, two discriminators are constructed to establish an adversarial relationship between the fused image and the source images to preserve more detailed information. The experimental results demonstrate that the proposed method is superior to other typical methods in both subjective and objective evaluations.
-
0. 引言
在变电设备红外图像分析的过程中，高质量的图像能简化故障诊断算法流程。然而，真实的变电站场景复杂，背景干扰大，拍摄的红外图像成像质量低；此外，某些红外热像仪还自带标记，红外图像中的比色条、热像仪logo、温度标签等覆盖了图像中部分温度信息，造成数据污染，增加了变电设备故障诊断难度[1]。当前基于红外图像变电设备故障自动诊断主要分为3步：查找感兴趣区域（Region of Interest，ROI）、特征提取和状态分类[2]。其中查找ROI的目的主要是缩小目标对象分析范围，主流方法包括目标分割与目标检测两种手段。该类方法在实施过程中可分为两种思路，即一步定位热点区域法和多步定位热点区域法。
一步定位热点区域是用一些分割算法或目标检测算法直接从变电设备的红外图像中分割或界定过热区域。康龙等[3]利用红外图像灰度直方图确定聚类中心和聚类个数，用遗传算法来确定最优聚类中心，最后用模糊C均值（Fuzzy C-means）来分割过热区域；曾亮等[4]用大津（OTSU）算法和区域生长法分割过热区域；Hui Zou等[5]利用k均值聚类算法（k-means clustering algorithm）将灰度图像分割成k个区域，计算k个区域中的平均值，将其作为聚类中心不断迭代来分割最终的过热区域。随着深度卷积网络在图像处理领域取得突破性进展，目标检测算法定位故障区域的方式也取得了较好的成绩。王旭红等[6]利用Single Shot MultiBox Detector（SSD），林颖等[7]利用You Only Look Once（YOLO），刘云鹏等[8]利用Faster Region-based CNN等目标检测网络实现红外输变电设备异常发热区域界定。
然而，上述方法难以自动规避数据污染和背景热源干扰，处理结果都缺少对象语义表达，且主要适用于发热较大的电流致热型故障；而对于发热较小的电压致热产生的热点区域却难以做到准确定位，甚至失败。此外，用神经网络直接实现变电设备故障区域界定的算法需要大量的训练数据集，红外故障数据集样本量不足是限制该方法的主要问题。
综上所述，用一步定位热点区域方法实现局部过热区域定位难以满足变电设备故障检测需求，利用多步定位热点区域可以提高故障分析准确率。这类方法的主要思想是：先将目标设备整体从复杂背景中进行分割，减少数据污染和背景干扰，再进一步分割可疑热区域，保证后续提取的热特征量的空间位置信息是来自被分析的变电设备本体[1]。
图像语义分割是一种能让计算机理解图像的技术，在一个网络中同时实现图像中的物体类别识别和高精度的图像分割。近年来，该技术在可见光的图像语义分割已经取得不俗的效果[9]，而对变电设备红外图像的场景理解的研究还处于初级阶段。本文用电流互感器作为训练样本，DeepLabv3+网络训练模型[10]，从复杂背景中分割设备整体，结合图像形态学方法对语义分割结果进行后处理，以提高最终分割的精度，为后续变电设备不同致热因素导致的故障预判做铺垫。
1. 算法理论
语义分割技术是利用计算机将图像中的像素按照图像表达的语义信息进行分类[10]。在以往的分类网络中，会将图片进行降维处理，丢弃图片原有的空间信息。而图像的语义分割算法需要分类每个像素并将分类结果还原成带有语义信息的与原图同等大小的图片。因此，保留像素的空间信息对于图像语义分割而言尤为重要。随着全卷积神经网络（Fully Convolutional Networks，FCN）的提出，Long[11]等人将AlexNet，VGGNet和GoogLeNet等主流分类网络中的全连接层替换成卷积层，并在最后添加转置卷积将特征图恢复到原来的尺寸[12]，图像像素的空间位置特征得以保留，语义分割才有了突破性发展。本文利用近年来在公共数据集中测试MIoU得分最高的DeepLabv3+作为训练变电设备语义分割模型的网络。
1.1 DeepLabv3+网络结构
编码解码（Encode-Decode）结构[13]是语义分割网络中的主流结构，所谓的编码过程是通过特征提取网络提取变电设备的特征，再经过解码实现特征信息重组，在这个过程中，网络根据图像的标签信息不断修正参数，最终实现监督式学习的对像语义分割。
DeepLabv3+的特征提取主干网络为残差神经网络ResNet[14]。深度残差网络的设计是为了克服由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题。该网络允许一部分输入不经过卷积网络传到输出，保留了部分浅层信息，避免了因特征提取网络的加深而导致特征细节的丢失[15]，残差模块的引入可以使网络在加深的同时保证较高的准确率，且更易于网络的优化，提高网络收敛速度。
ResNet残差网络原型如图 1(a)所示，网络结构主要由卷积残差块（Conv-block）和恒等残差块（Identity-block）两部分基本块组成，如图 1(b)(c)所示。以ResNet50为例，其中Conv-block共4个，是用来调整输入的长、宽及通道数；Identity-block共12个，是用来串联网络，增加网络层数。残差网络的计算公式如下：
$$ {y_i} = H\left( {{x_i}} \right) + F\left( {{x_i},{W_i}} \right) $$ (1) $$ {x_i}_{ + 1} = f\left( {{y_i}} \right) $$ (2) 式(1)、(2)中：xi，yi分别表示第i个残差网络的输入和输出；xi+1表示第i+1层残差网络的输入；Wi表示卷积操作；F(xi, Wi)表示残差函数；f表示Relu激活函数。其中H(xi)表示残差边的输出，在Conv-block网络中残差边的输出需要调整输入图像的大小并进行归一化，而在Identity-block结构中残差边的输入和输出恒等，这两种网络结构输出计算公式为：
$$H({x_i}) = \left\{ \begin{array}{l} \frac{{\mathop \sum \limits_{i = - \infty }^\infty {x_i}g\left( {m,n} \right)}}{{255}}\\ {x_i} \end{array} \right.$$ (3) 式中：g(m, n)为卷积核。
在整个编码网络结构中为了获得更加高级的图像特征，在ResNet50网络末端添加空洞卷积空间金字塔模块（Atrous Spatial Pyramid Pooling, ASPP）[16]，它接受基网络提取的高级特征图作为输入，经过具有不同空洞速率的空洞卷积，最后将结果输出进行堆叠，达到覆盖多尺度感受野的目的。
上述两部分构成了DeepLabv3+网络的编码模块。将编码模块输出的特征图与编码模块中的浅层特征相结合，经过上采样步骤构成解码模块，该模块的功能是利用转置卷积将特征图像进行逐层放大最终还原成与输入图像尺寸同等大小的图像，最后经过Softmax Layer求出输出图像的像素所在类别的概率，Pixel Classification Layer对像素进行分类[17]，输出网络预测的label。网络结构如图 2所示。其中softmax函数定义为：
$${p_k}({z_i}) = \frac{{{{\rm{e}}^{{z_i}}}}}{{\sum\nolimits_{k = 1}^K {{{\rm{e}}^{{z_k}}}} }}$$ (4) 式中：zi表示第i个节点输出的像素值；K表示网络分类的分类个数；pk(zi)表示zi属于第k个类别的概率。
1.2 数学形态学运算
考虑到训练的模型难以准确无误地完成对输入图像像素分类，或多或少会有一些与设备本体颜色相近的像素点被分割出来。因此本文采用数学形态学中的开闭运算对分割后的图片进行处理。利用开运算对分割后的图像进行腐蚀，之后做膨胀运算，平滑分割后图像的轮廓，同时删除一些误分割的像素块，该运算的数学表达式为：
$$A \circ B = \left( {A \ominus B} \right) \oplus B$$ (5) 利用闭运算对图像做膨胀之后再进行腐蚀处理，填充一些图像中出现的孔洞或裂口，其表达式为：
$$A \bullet B = \left( {A \oplus B} \right) \ominus B$$ (6) 以上两式中A为待处理图像；B是单个结构化元素对象。
2. 电流互感器红外图像数据集预处理
由于拍摄设备红外图像的热像仪型号各异，拍摄环境复杂，部分热摄像仪拍摄的图片噪点多，此外，当有设备表面温度与环境温度相差较小时，设备特征被淹没在环境中，丢失了大量细节特征，不利于图像标注和网络提取设备的轮廓特征。因此需要对收集到的图像做增强处理。
2.1 基于对比度限制自适应直方图均衡化的图像增强算法
由于红外图像反应的是设备温度和环境温度的高低分布，当环境温度与设备本体温度相近时或在拍摄时设置较大的温度区间，将使设备轮廓与背景环境混为一体，边界模糊。如采用直方图均化（Histogram Equalization，HE）方法对全局图像进行增强，直方图大峰值可能落在背景噪声或非感兴趣区域；在这种情况下，直方图均衡化会导致图像背景和设备灰度值提高，对比度降低。处理效果图和直方图如图 3(b)，(e)所示。
与上述方法相比，使用自适应直方图均衡化（Adaptive histogram equalization，AHE）[18]改进的对比度限制自适应直方图均衡化（Contrast limit adaptive histogram equalization，CLAHE）[19]算法能够在一定程度上抑制噪声的放大，这主要是通过限制AHE算法的对比提高程度来达到的。CLAHE通过在计算累积直方图函数前用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的。在处理过程中，对于给定的输入图像，CLAHE算法将图像分割为互不重叠的图像块，对划分后的每一个子块计算其对应的直方图，使用预先设定的阈值L对每个子块直方图进行裁剪，同时统计整个直方图中超过上限阈值L的像素数，并将这些像素数重新分布到对应子块的直方图中。最后，通过使用双线性插值来消除边界伪影，在子矩阵上下文区域内实现像素的新灰度级分配的计算。处理效果图和直方图如图 3(c)、(f)所示。
2.2 数据集制作与划分
在制作训练数据集时，使用图像标注软件将上一步预处理好的图像中占据主体像素的设备进行精细标注，其余区域都视作背景。此外电流互感器的常见故障为电流致热型故障，常发生于导线与设备的连接处，在标注时应把导线与设备连接处也视为设备的一个特征包含到设备本体当中，如图 4所示。
数据扩充是一种常见的技术，已被证明有利于机器学习模型的一般培训，特别是深层架构，要么加速收敛，要么充当正则化器，从而避免过拟合，提高泛化能力[20]。数据量的不足是当前网络模型泛化能力弱的关键因素。本文收集到的电流互感器红外图像数量有限，共700张，在训练时还要从中划分一部分作为验证集和测试集，以这些数据来训练语义分割模型难以达到一个好的分割精度。因此，采取图像扭曲变换来创建新样本扩充数据集，以避免训练过程中出现过拟合。针对电流互感器的红外图像数据集采用平移、旋转、翻转等图像变换方式来扩充，如图 5所示，每一张图片和对应的标签经过3次变换，最终样本总数为2100张。将上述处理好的数据集划分60%作为训练样本集，用来建立像素分类器模型；划分20%作为验证集，用来验证训练效果并且做超参数调整；划分20%作为测试集，用来测试模型的泛化能力。
3. 实验过程与分析
3.1 实验流程
本文中通过构建电流互感器红外图像作为训练语义分割模型的数据集，该数据集中包含了多种不同电压等级的电流互感器，同时也包含了不同拍照角度，不同背景和不同气候条件下的图像，这些图像能够真实反映变电站内的复杂环境。训练模型的网络是以ResNet50为基网络的DeepLabv3+。此外，本文还设计了多组对比实验，第一组是基于ResNet50的DeepLabv3+模型和基于ResNet18的DeepLabv3+模型对比；第二组是用上述两个模型和FCN-8s、SegNet模型对比；第三组是在DeepLabv3+（基网络为ResNet50）网络之后加入形态学开闭运算对比。
由于实验过程需要进行大量的图像计算，对电脑的内存和GPU性能要求都比较高。因此本文在工作站平台上以Matlab的深度学习工具箱作为实验软件平台，搭建了FCN-8s，SegNet，DeepLabv3+（基网络为ResNet50）和DeepLabv3+（基网络为ResNet18）网络进行分别训练。电脑的硬件参数为：CPU为intel(R)Xeon(R) Gold5120T, 128 G内存，配备QuadorP2000显卡。
在训练过程中，首先对数据集进行扩充，然后将数据集分批送入网络训练。设置训练最小批次为10，迭代次数为9800次，学习率采用分段调整，设置初始学习率为0.01，每迭代10轮低0.1，这允许网络以更高的初始学习率快速学习，而一旦学习率下降，能够求得接近局部最优的解。通过设置‘Vidation Data’参数，在每轮都对照验证数据对网络进行测试。'Validation Patience'设置为4，在验证准确度收敛时提前停止训练，这可以防止网络对训练数据集进行过拟合。采用带动量的随机梯度下降（Stochastic Gradient Descent with Momentum，SGDM）算法，动量参数为0.9。利用交叉熵计算预测误差，进行反向传递，更新网络参数。损失函数为：
$$E = \sum\nolimits_k^K {{w_k}} \log \left( {{p_k}\left( {{z_i}} \right)} \right)$$ (7) 式中：wk为类别k的损失权重；pk(zi)为像素zi属于真实类别k的概率。训练过程如图 6所示，随着学习率的下降，最终训练6850次，验证准确度为95.49%，验证损失为0.1189。
![]()
图 6 基于Resnet50的DeepLabv3+网络模型训练过程Figure 6. Training process of DeepLabv3+ network model based on ResNet503.2 评估指标
在实验中用MIoU[21]作为分割结果评价指标，它计算两个集合的交集和并集之间的比值的平均值，可以反应分割结果和真实标签的重合程度。假设k为像素分类类别总数，pij和pji分别表示预测结果为i实际结果为j的像素总数和预测结果为j，实际结果为i的像素总数，而pii表示预测结果为i，真实结果也为i的像素总数。计算公式如(8)所示。
$${\rm{MIoU}} = \frac{1}{{k + 1}}\mathop \sum \limits_{i = 0}^k \frac{{{p_{ii}}}}{{\sum\limits_{j = 0}^k {{p_{ij}} + \sum\limits_{j = 0}^k {{p_{ji}} - {p_{ii}}} } }}$$ (8) 3.3 测试数据集分析
表 1是基于ResNet50的DeepLabv3+，基于ResNet18的DeepLabv3+，SegNet和FCN-8s等模型在420张测试数据集上测试的结果。
表 1 多种模型测试数据表Table 1. Test data table of various modelsModel Categories Accuracy IoU MIoU DeepLabv3+（ResNet50） CT 0.86 0.77 0.855 Background 0.95 0.94 DeepLabv3+（ResNet18） CT 0.81 0.72 0.81 Background 0.92 0.90 SegNet CT 0.67 0.44 0.615 Background 0.86 0.79 FCN-8s CT 0.75 0.63 0.74 Background 0.89 0.85 在测试过程中数据集中依然使用多种不同电压等级的电流互感器进行测试，测试结果如图 7所示，其中(a)表示测试图，(b)表示测试图的标签图，(c)表示基于ResNet50的DeepLabv3+模型的预测图，(d)表示基于ResNet18的DeepLabv3+模型的预测图，(e)表示SegNet模型的预测图，(f)表示FCN-8s模型的预测图。从实际的测试结果可以看出，4种模型都能够从复杂背景中预测设备空间位置和部分轮廓，但是依然难以避免地会出现部分不属于电流互感器的像素被分类到该类别中，属于电流互感器类别的像素却被预测成背景，其中SegNet模型误分割和漏分割程度更高，FCN-8s模型次之，与DeepLabv3+的两个模型相比，SegNet和FCN-8s模型分割结果较为粗糙；而基于ResNet18的DeepLabv3+模型的分割结果能较大程度上接近原标签图像，但与基于ResNet50的DeepLabv3+模型相比而言，基于ResNet50的DeepLabv3+模型对图像分割的细节控制更好。
对比实验结果可以看出使用残差网络和ASPP模块的DeepLabv3+相比于以VGG-16为特征提取网络的SegNet和FCN-8s网络结构能够提取更加高级的特征，同时DeepLabv3+在进行上采样时能够融合大量的浅层信息特征，对于后期的像素分类和分割结果能够保留更多细节。由于本文用于训练的图像数量小，因此，选择合适的网络结构和网络可训练参数量是训练模型的关键。经本文实验得出，基于ResNet50的DeepLabv3+网络能够满足在小样本条件下训练语义分割模型从复杂背景环境下分割电流互感器设备的要求。
对于基于ResNet50的DeepLabv3+模型误分割的情况，采用形态学中的开运算去除误分割产生的小区域像素，同时处理分割边缘，使电流互感器边缘变得平滑。根据统计，单个电流互感器在图像中的面积均大于1200，而误分割区域通常较小，因此可以设置一个面积阈值为1200，当面积小于1200时删除该区域，其余像素保留；开运算操作后进行闭运算，使图像中的孔洞封闭。加入数学形态学运算处理后在测试数据集中的表现如表 2所示，处理图像如图 8所示，其中(a)表示基于ResNet50的DeepLabv3+模型的预测图，(b)表示预测图经过后处理的图像。
表 2 基于ResNet50的DeepLabv3+模型加入后处理前后测试对比Table 2. Comparison of tests before and after the addition of the DeepLabv3+ model based on ResNet50Model Categories Accuracy IoU MIoU DeepLabv3+（ResNet50） CT 0.86 0.77 0.855 Background 0.95 0.94 Our algorithm CT 0.87 0.79 0.875 Background 0.97 0.96 4. 总结
本文以电流互感器为研究对象，针对复杂背景和图片中数据污染的电流互感器设备分割问题，采用了基于ResNet50的DeepLabv3+神经网络，利用电流互感器红外图像训练语义分割模型。通过实验表明：基于ResNet50的DeepLabv3+神经网络训练的语义分割模型能够较为精细地从红外图像中分割出电流互感器，并且结合图像的开闭运算能够处理误分割的像素点，最终在测试集上的MIoU为0.875，有效地提高了分割精度，最终实现电流互感器设备像素与背景像素的分类。
限于文章篇幅有限，本文仅研究了深度学习方法用于电流互感器红外图像场景理解的问题，仅是分割出目标设备。在后续的工作当中，逐步实现可疑故障区域的分割以及故障类型分类，最终实现电流互感器设备故障自动诊断。
-
![]()
图 11 “Roadscene”数据集定量评价指标
Figure 11. Quantitative comparisons of on "Roadscene" dataset
表 1 生成器参数设置
Table 1 Parameter setting of the generator
Parts Layer Kernel size/stride Input channel/ Output channel, activation Encoder C0 3×3/1 1/16, LeakyReLU Res2Net1 - 16/32, LeakyReLU Res2Net2 - 32/64, LeakyReLU Decoder C1 3×3/1 128/64, LeakyReLU C2 3×3/1 64/32, LeakyReLU C3 3×3/1 32/16, LeakyReLU C4 3×3/1 16/1, Tanh 
下载: 导出CSV
表 2 判别器参数设置
Table 2 Parameter setting of the discriminators
Layer Kernel size/stride Input channel/Output channel, activation L1 3×3/2 1/16, LeakyReLU L2 3×3/2 16/32, LeakyReLU L3 3×3/2 32/64, LeakyReLU L4 3×3/2 64/128, LeakyReLU L5(FC(1)) - 128/1, Tanh
下载: 导出CSV
表 3 消融实验的定量比较
Table 3 Quantitative analysis of ablation experiment
Methods EN SD CC SCD MS-SSIM VIFF No-CA 7.2439 42.6525 0.6305 1.7705 0.9221 0.5149 No-Res2Net 7.3372 46.2277 0.6295 1.8453 0.9227 0.5572 Ours 7.3596 46.9659 0.6290 1.8494 0.9278 0.5683
下载: 导出CSV
表 4 时间计算率比较
Table 4 Comparison of time efficiency
Methods TNO Roadscene CVT 1.33 0.92 ASR 332.21 165.23 WLS 2.23 1.17 DenseFuse 0.11 0.08 FusionGan 1.98 1.02 IFCNN 0.08 0.07 Ours 0.23 0.19
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004
[3] LIU Y, CHEN X, WANG Z, et al. Deep learning for pixel-level image fusion: Recent advances and future prospects[J]. Information Fusion, 2018, 42: 158-173. DOI: 10.1016/j.inffus.2017.10.007
[4] LI S, YANG B, HU J. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2011, 12(2): 74-84. DOI: 10.1016/j.inffus.2010.03.002
[5] ZHANG Q, LIU Y, Rick S Blum, et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: a review[J]. Information Fusion, 2018, 40: 57-75. DOI: 10.1016/j.inffus.2017.05.006
[6] ZHANG Xiaoye, MA Yong, ZHANG Ying, et al. Infrared and visible image fusion via saliency analysis and local edge-preserving multi-scale decomposition[J]. Journal of the Optical Society of America A Optics Image Science & Vision, 2017, 34(8): 1400-1410.
[7] YU L, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[8] HAN J, Pauwels E J, P De Zeeuw. Fast saliency-aware multimodality image fusion[J]. Neurocomputing, 2013, 111: 70-80. DOI: 10.1016/j.neucom.2012.12.015
[9] YIN Haitao. Sparse representation with learned multiscale dictionary for image fusion[J]. Neurocomputing, 2015, 148: 600-610. DOI: 10.1016/j.neucom.2014.07.003
[10] WANG Zhishe, YANG Fengbao, PENG Zhihao, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(23): 4184-4190. DOI: 10.1016/j.ijleo.2015.08.118
[11] CUI G, FENG H, XU Z, et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]. Optics Communications, 2015, 341: 199-209. DOI: 10.1016/j.optcom.2014.12.032
[12] LI Q, LU L, LI Z, et al. Coupled GAN with relativistic discriminators for infrared and visible images fusion[J]. IEEE Sensors Journal, 2021, 21(6): 7458-7467. DOI: 10.1109/JSEN.2019.2921803
[13] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018. DOI: 10.1142/S0219691318500182
[14] LI H, WU X J. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2019, 28(5): 2614-2523. DOI: 10.1109/TIP.2018.2887342
[15] XU H, MA J, JIANG J, et al. U2Fusion: A unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518.
[16] HOU R. VIF-Net: an unsupervised framework for infrared and visible image fusion[J]. IEEE Transactions on Computational Imaging, 2020, 6: 640-651. DOI: 10.1109/TCI.2020.2965304
[17] HUI L A, XJW A, JK B. RFN-Nest: An end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73: 72-86. DOI: 10.1016/j.inffus.2021.02.023
[18] MA J, WEI Y, LIANG P, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[19] JM A, Pl A, WEI Y A, et al. Infrared and visible image fusion via detail preserving adversarial learning[J]. Information Fusion, 2020, 54: 85-98. DOI: 10.1016/j.inffus.2019.07.005
[20] MA J, XU H, JIANG J, et al. DDcGAN: A dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4980-4995. DOI: 10.1109/TIP.2020.2977573
[21] GAO S, CHENG M M, ZHAO K, et al. Res2Net: A new multi-scale backbone architecture[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(2): 652-662. DOI: 10.1109/TPAMI.2019.2938758
[22] FU J, LIU J, TIAN H, et al. Dual attention network for scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2020: DOI: 10.1109/cvpr.2019.00326.
[23] Nencini F, Garzelli A, Baronti S, et al. Alparone, remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[24] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]. Image Processing Iet. , 2014, 9(5): 347-357.
[25] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[26] YU Z A, YU L B, PENG S C, et al. IFCNN: A general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011
-
期刊类型引用(9)
1. 吴晓君，余显喆，王鹏，赵鹤，李天成. 基于超像素的改进FCM电力设备红外图像分割. 红外技术. 2025(02): 235-242 . 
本站查看
2. 黄新波. 基于图像感知的输电线路智能巡检综述. 高电压技术. 2024(05): 1826-1841 . 百度学术
3. 范晓狄，郑银，周碧天，代磊，刘鑫东. 基于改进Unet的电流互感器红外图像检测. 电工技术. 2024(10): 71-75+81 . 百度学术
4. 张宇，袁小翠，许志浩，康兵. 复杂背景下断路器红外图形精确分割方法. 江西电力. 2024(03): 1-7 . 百度学术
5. 田晨，许志浩，李强，宋云海，康兵，丁贵立，王宗耀. 基于Deeplabv3+与Otsu模型的输电线电晕放电紫外图像分割方法. 激光与红外. 2023(01): 153-160 . 百度学术
6. 胡建宇. 电流互感器二次回路电流信号自动化校验技术. 自动化与仪表. 2023(08): 64-68 . 百度学术
7. 张志超，左雷鹏，邹捷，赵耀民，宋杨凡. 基于多模态图像信息的变电设备红外分割方法. 红外技术. 2023(12): 1198-1206 . 本站查看
8. 王刘旺. 机器视觉技术在电力安全监控中的应用综述. 浙江电力. 2022(10): 16-26 . 百度学术
9. 刘赫，赵天成，刘俊博，矫立新，许志浩，袁小翠. 基于深度残差UNet网络的电气设备红外图像分割方法. 红外技术. 2022(12): 1351-1357 . 本站查看
其他类型引用(7)
计量
- 文章访问数: 182
- HTML全文浏览量: 56
- PDF下载量: 67
- 被引次数: 16
