Local Fusion Algorithm of Infrared and Visible Light Images Based on Double-Branch Convolutional Neural Network
-
摘要: 红外图像和可见光图像均存在一定的局限性，依靠单个种类图像无法满足工程实际需求，可通过引入图像融合技术，获取高质量的融合图像。为更好保障输出信息特征的多样性，本文引入一种双分支卷积神经网络实现红外与可见光图像局部融合；在双分支卷积神经网络基础上，同时从红外图像、可见光图像得到跨渠道信息、渠道内信息种特征，增加了融合图像的信息量。采用整数小波变换方法进行图像压缩。建立颜色空间模型时，合理调节t因子的数值，获得理想的融合图像。实验结果表明，与现有方法相比，本方法融合后图像边缘信息得到充分保留，图像细节得到增强，红外与可见光图像融合效果更好。Abstract: Both infrared and visible images have certain limitations, and relying on individual types of images cannot meet the practical needs of engineering. Instead, high-quality fused images can be obtained by introducing image fusion techniques. To better guarantee the diversity of the output information features, this study introduces a dual-branch convolutional neural network to achieve local fusion of infrared and visible images. Based on the dual-branch convolutional neural network, red and blue features are obtained from infrared images and visible light images simultaneously, thereby increasing the amount of information in the fusion image. The integer wavelet transform method is used for image compression. When the color-space model is built, the value of the t-factor is adjusted to obtain an ideal fusion image. The experimental results show that the edge information of the image after the fusion of this method is fully preserved, image detail information is enhanced, and fusion effect of infrared and visible images is improved, compared with the existing methods.
-
0. 引言
在变电设备红外图像分析的过程中，高质量的图像能简化故障诊断算法流程。然而，真实的变电站场景复杂，背景干扰大，拍摄的红外图像成像质量低；此外，某些红外热像仪还自带标记，红外图像中的比色条、热像仪logo、温度标签等覆盖了图像中部分温度信息，造成数据污染，增加了变电设备故障诊断难度[1]。当前基于红外图像变电设备故障自动诊断主要分为3步：查找感兴趣区域（Region of Interest，ROI）、特征提取和状态分类[2]。其中查找ROI的目的主要是缩小目标对象分析范围，主流方法包括目标分割与目标检测两种手段。该类方法在实施过程中可分为两种思路，即一步定位热点区域法和多步定位热点区域法。
一步定位热点区域是用一些分割算法或目标检测算法直接从变电设备的红外图像中分割或界定过热区域。康龙等[3]利用红外图像灰度直方图确定聚类中心和聚类个数，用遗传算法来确定最优聚类中心，最后用模糊C均值（Fuzzy C-means）来分割过热区域；曾亮等[4]用大津（OTSU）算法和区域生长法分割过热区域；Hui Zou等[5]利用k均值聚类算法（k-means clustering algorithm）将灰度图像分割成k个区域，计算k个区域中的平均值，将其作为聚类中心不断迭代来分割最终的过热区域。随着深度卷积网络在图像处理领域取得突破性进展，目标检测算法定位故障区域的方式也取得了较好的成绩。王旭红等[6]利用Single Shot MultiBox Detector（SSD），林颖等[7]利用You Only Look Once（YOLO），刘云鹏等[8]利用Faster Region-based CNN等目标检测网络实现红外输变电设备异常发热区域界定。
然而，上述方法难以自动规避数据污染和背景热源干扰，处理结果都缺少对象语义表达，且主要适用于发热较大的电流致热型故障；而对于发热较小的电压致热产生的热点区域却难以做到准确定位，甚至失败。此外，用神经网络直接实现变电设备故障区域界定的算法需要大量的训练数据集，红外故障数据集样本量不足是限制该方法的主要问题。
综上所述，用一步定位热点区域方法实现局部过热区域定位难以满足变电设备故障检测需求，利用多步定位热点区域可以提高故障分析准确率。这类方法的主要思想是：先将目标设备整体从复杂背景中进行分割，减少数据污染和背景干扰，再进一步分割可疑热区域，保证后续提取的热特征量的空间位置信息是来自被分析的变电设备本体[1]。
图像语义分割是一种能让计算机理解图像的技术，在一个网络中同时实现图像中的物体类别识别和高精度的图像分割。近年来，该技术在可见光的图像语义分割已经取得不俗的效果[9]，而对变电设备红外图像的场景理解的研究还处于初级阶段。本文用电流互感器作为训练样本，DeepLabv3+网络训练模型[10]，从复杂背景中分割设备整体，结合图像形态学方法对语义分割结果进行后处理，以提高最终分割的精度，为后续变电设备不同致热因素导致的故障预判做铺垫。
1. 算法理论
语义分割技术是利用计算机将图像中的像素按照图像表达的语义信息进行分类[10]。在以往的分类网络中，会将图片进行降维处理，丢弃图片原有的空间信息。而图像的语义分割算法需要分类每个像素并将分类结果还原成带有语义信息的与原图同等大小的图片。因此，保留像素的空间信息对于图像语义分割而言尤为重要。随着全卷积神经网络（Fully Convolutional Networks，FCN）的提出，Long[11]等人将AlexNet，VGGNet和GoogLeNet等主流分类网络中的全连接层替换成卷积层，并在最后添加转置卷积将特征图恢复到原来的尺寸[12]，图像像素的空间位置特征得以保留，语义分割才有了突破性发展。本文利用近年来在公共数据集中测试MIoU得分最高的DeepLabv3+作为训练变电设备语义分割模型的网络。
1.1 DeepLabv3+网络结构
编码解码（Encode-Decode）结构[13]是语义分割网络中的主流结构，所谓的编码过程是通过特征提取网络提取变电设备的特征，再经过解码实现特征信息重组，在这个过程中，网络根据图像的标签信息不断修正参数，最终实现监督式学习的对像语义分割。
DeepLabv3+的特征提取主干网络为残差神经网络ResNet[14]。深度残差网络的设计是为了克服由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题。该网络允许一部分输入不经过卷积网络传到输出，保留了部分浅层信息，避免了因特征提取网络的加深而导致特征细节的丢失[15]，残差模块的引入可以使网络在加深的同时保证较高的准确率，且更易于网络的优化，提高网络收敛速度。
ResNet残差网络原型如图 1(a)所示，网络结构主要由卷积残差块（Conv-block）和恒等残差块（Identity-block）两部分基本块组成，如图 1(b)(c)所示。以ResNet50为例，其中Conv-block共4个，是用来调整输入的长、宽及通道数；Identity-block共12个，是用来串联网络，增加网络层数。残差网络的计算公式如下：
$$ {y_i} = H\left( {{x_i}} \right) + F\left( {{x_i},{W_i}} \right) $$ (1) $$ {x_i}_{ + 1} = f\left( {{y_i}} \right) $$ (2) 式(1)、(2)中：xi，yi分别表示第i个残差网络的输入和输出；xi+1表示第i+1层残差网络的输入；Wi表示卷积操作；F(xi, Wi)表示残差函数；f表示Relu激活函数。其中H(xi)表示残差边的输出，在Conv-block网络中残差边的输出需要调整输入图像的大小并进行归一化，而在Identity-block结构中残差边的输入和输出恒等，这两种网络结构输出计算公式为：
$$H({x_i}) = \left\{ \begin{array}{l} \frac{{\mathop \sum \limits_{i = - \infty }^\infty {x_i}g\left( {m,n} \right)}}{{255}}\\ {x_i} \end{array} \right.$$ (3) 式中：g(m, n)为卷积核。
在整个编码网络结构中为了获得更加高级的图像特征，在ResNet50网络末端添加空洞卷积空间金字塔模块（Atrous Spatial Pyramid Pooling, ASPP）[16]，它接受基网络提取的高级特征图作为输入，经过具有不同空洞速率的空洞卷积，最后将结果输出进行堆叠，达到覆盖多尺度感受野的目的。
上述两部分构成了DeepLabv3+网络的编码模块。将编码模块输出的特征图与编码模块中的浅层特征相结合，经过上采样步骤构成解码模块，该模块的功能是利用转置卷积将特征图像进行逐层放大最终还原成与输入图像尺寸同等大小的图像，最后经过Softmax Layer求出输出图像的像素所在类别的概率，Pixel Classification Layer对像素进行分类[17]，输出网络预测的label。网络结构如图 2所示。其中softmax函数定义为：
$${p_k}({z_i}) = \frac{{{{\rm{e}}^{{z_i}}}}}{{\sum\nolimits_{k = 1}^K {{{\rm{e}}^{{z_k}}}} }}$$ (4) 式中：zi表示第i个节点输出的像素值；K表示网络分类的分类个数；pk(zi)表示zi属于第k个类别的概率。
1.2 数学形态学运算
考虑到训练的模型难以准确无误地完成对输入图像像素分类，或多或少会有一些与设备本体颜色相近的像素点被分割出来。因此本文采用数学形态学中的开闭运算对分割后的图片进行处理。利用开运算对分割后的图像进行腐蚀，之后做膨胀运算，平滑分割后图像的轮廓，同时删除一些误分割的像素块，该运算的数学表达式为：
$$A \circ B = \left( {A \ominus B} \right) \oplus B$$ (5) 利用闭运算对图像做膨胀之后再进行腐蚀处理，填充一些图像中出现的孔洞或裂口，其表达式为：
$$A \bullet B = \left( {A \oplus B} \right) \ominus B$$ (6) 以上两式中A为待处理图像；B是单个结构化元素对象。
2. 电流互感器红外图像数据集预处理
由于拍摄设备红外图像的热像仪型号各异，拍摄环境复杂，部分热摄像仪拍摄的图片噪点多，此外，当有设备表面温度与环境温度相差较小时，设备特征被淹没在环境中，丢失了大量细节特征，不利于图像标注和网络提取设备的轮廓特征。因此需要对收集到的图像做增强处理。
2.1 基于对比度限制自适应直方图均衡化的图像增强算法
由于红外图像反应的是设备温度和环境温度的高低分布，当环境温度与设备本体温度相近时或在拍摄时设置较大的温度区间，将使设备轮廓与背景环境混为一体，边界模糊。如采用直方图均化（Histogram Equalization，HE）方法对全局图像进行增强，直方图大峰值可能落在背景噪声或非感兴趣区域；在这种情况下，直方图均衡化会导致图像背景和设备灰度值提高，对比度降低。处理效果图和直方图如图 3(b)，(e)所示。
与上述方法相比，使用自适应直方图均衡化（Adaptive histogram equalization，AHE）[18]改进的对比度限制自适应直方图均衡化（Contrast limit adaptive histogram equalization，CLAHE）[19]算法能够在一定程度上抑制噪声的放大，这主要是通过限制AHE算法的对比提高程度来达到的。CLAHE通过在计算累积直方图函数前用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的。在处理过程中，对于给定的输入图像，CLAHE算法将图像分割为互不重叠的图像块，对划分后的每一个子块计算其对应的直方图，使用预先设定的阈值L对每个子块直方图进行裁剪，同时统计整个直方图中超过上限阈值L的像素数，并将这些像素数重新分布到对应子块的直方图中。最后，通过使用双线性插值来消除边界伪影，在子矩阵上下文区域内实现像素的新灰度级分配的计算。处理效果图和直方图如图 3(c)、(f)所示。
2.2 数据集制作与划分
在制作训练数据集时，使用图像标注软件将上一步预处理好的图像中占据主体像素的设备进行精细标注，其余区域都视作背景。此外电流互感器的常见故障为电流致热型故障，常发生于导线与设备的连接处，在标注时应把导线与设备连接处也视为设备的一个特征包含到设备本体当中，如图 4所示。
数据扩充是一种常见的技术，已被证明有利于机器学习模型的一般培训，特别是深层架构，要么加速收敛，要么充当正则化器，从而避免过拟合，提高泛化能力[20]。数据量的不足是当前网络模型泛化能力弱的关键因素。本文收集到的电流互感器红外图像数量有限，共700张，在训练时还要从中划分一部分作为验证集和测试集，以这些数据来训练语义分割模型难以达到一个好的分割精度。因此，采取图像扭曲变换来创建新样本扩充数据集，以避免训练过程中出现过拟合。针对电流互感器的红外图像数据集采用平移、旋转、翻转等图像变换方式来扩充，如图 5所示，每一张图片和对应的标签经过3次变换，最终样本总数为2100张。将上述处理好的数据集划分60%作为训练样本集，用来建立像素分类器模型；划分20%作为验证集，用来验证训练效果并且做超参数调整；划分20%作为测试集，用来测试模型的泛化能力。
3. 实验过程与分析
3.1 实验流程
本文中通过构建电流互感器红外图像作为训练语义分割模型的数据集，该数据集中包含了多种不同电压等级的电流互感器，同时也包含了不同拍照角度，不同背景和不同气候条件下的图像，这些图像能够真实反映变电站内的复杂环境。训练模型的网络是以ResNet50为基网络的DeepLabv3+。此外，本文还设计了多组对比实验，第一组是基于ResNet50的DeepLabv3+模型和基于ResNet18的DeepLabv3+模型对比；第二组是用上述两个模型和FCN-8s、SegNet模型对比；第三组是在DeepLabv3+（基网络为ResNet50）网络之后加入形态学开闭运算对比。
由于实验过程需要进行大量的图像计算，对电脑的内存和GPU性能要求都比较高。因此本文在工作站平台上以Matlab的深度学习工具箱作为实验软件平台，搭建了FCN-8s，SegNet，DeepLabv3+（基网络为ResNet50）和DeepLabv3+（基网络为ResNet18）网络进行分别训练。电脑的硬件参数为：CPU为intel(R)Xeon(R) Gold5120T, 128 G内存，配备QuadorP2000显卡。
在训练过程中，首先对数据集进行扩充，然后将数据集分批送入网络训练。设置训练最小批次为10，迭代次数为9800次，学习率采用分段调整，设置初始学习率为0.01，每迭代10轮低0.1，这允许网络以更高的初始学习率快速学习，而一旦学习率下降，能够求得接近局部最优的解。通过设置‘Vidation Data’参数，在每轮都对照验证数据对网络进行测试。'Validation Patience'设置为4，在验证准确度收敛时提前停止训练，这可以防止网络对训练数据集进行过拟合。采用带动量的随机梯度下降（Stochastic Gradient Descent with Momentum，SGDM）算法，动量参数为0.9。利用交叉熵计算预测误差，进行反向传递，更新网络参数。损失函数为：
$$E = \sum\nolimits_k^K {{w_k}} \log \left( {{p_k}\left( {{z_i}} \right)} \right)$$ (7) 式中：wk为类别k的损失权重；pk(zi)为像素zi属于真实类别k的概率。训练过程如图 6所示，随着学习率的下降，最终训练6850次，验证准确度为95.49%，验证损失为0.1189。
![]()
图 6 基于Resnet50的DeepLabv3+网络模型训练过程Figure 6. Training process of DeepLabv3+ network model based on ResNet503.2 评估指标
在实验中用MIoU[21]作为分割结果评价指标，它计算两个集合的交集和并集之间的比值的平均值，可以反应分割结果和真实标签的重合程度。假设k为像素分类类别总数，pij和pji分别表示预测结果为i实际结果为j的像素总数和预测结果为j，实际结果为i的像素总数，而pii表示预测结果为i，真实结果也为i的像素总数。计算公式如(8)所示。
$${\rm{MIoU}} = \frac{1}{{k + 1}}\mathop \sum \limits_{i = 0}^k \frac{{{p_{ii}}}}{{\sum\limits_{j = 0}^k {{p_{ij}} + \sum\limits_{j = 0}^k {{p_{ji}} - {p_{ii}}} } }}$$ (8) 3.3 测试数据集分析
表 1是基于ResNet50的DeepLabv3+，基于ResNet18的DeepLabv3+，SegNet和FCN-8s等模型在420张测试数据集上测试的结果。
表 1 多种模型测试数据表Table 1. Test data table of various modelsModel Categories Accuracy IoU MIoU DeepLabv3+（ResNet50） CT 0.86 0.77 0.855 Background 0.95 0.94 DeepLabv3+（ResNet18） CT 0.81 0.72 0.81 Background 0.92 0.90 SegNet CT 0.67 0.44 0.615 Background 0.86 0.79 FCN-8s CT 0.75 0.63 0.74 Background 0.89 0.85 在测试过程中数据集中依然使用多种不同电压等级的电流互感器进行测试，测试结果如图 7所示，其中(a)表示测试图，(b)表示测试图的标签图，(c)表示基于ResNet50的DeepLabv3+模型的预测图，(d)表示基于ResNet18的DeepLabv3+模型的预测图，(e)表示SegNet模型的预测图，(f)表示FCN-8s模型的预测图。从实际的测试结果可以看出，4种模型都能够从复杂背景中预测设备空间位置和部分轮廓，但是依然难以避免地会出现部分不属于电流互感器的像素被分类到该类别中，属于电流互感器类别的像素却被预测成背景，其中SegNet模型误分割和漏分割程度更高，FCN-8s模型次之，与DeepLabv3+的两个模型相比，SegNet和FCN-8s模型分割结果较为粗糙；而基于ResNet18的DeepLabv3+模型的分割结果能较大程度上接近原标签图像，但与基于ResNet50的DeepLabv3+模型相比而言，基于ResNet50的DeepLabv3+模型对图像分割的细节控制更好。
对比实验结果可以看出使用残差网络和ASPP模块的DeepLabv3+相比于以VGG-16为特征提取网络的SegNet和FCN-8s网络结构能够提取更加高级的特征，同时DeepLabv3+在进行上采样时能够融合大量的浅层信息特征，对于后期的像素分类和分割结果能够保留更多细节。由于本文用于训练的图像数量小，因此，选择合适的网络结构和网络可训练参数量是训练模型的关键。经本文实验得出，基于ResNet50的DeepLabv3+网络能够满足在小样本条件下训练语义分割模型从复杂背景环境下分割电流互感器设备的要求。
对于基于ResNet50的DeepLabv3+模型误分割的情况，采用形态学中的开运算去除误分割产生的小区域像素，同时处理分割边缘，使电流互感器边缘变得平滑。根据统计，单个电流互感器在图像中的面积均大于1200，而误分割区域通常较小，因此可以设置一个面积阈值为1200，当面积小于1200时删除该区域，其余像素保留；开运算操作后进行闭运算，使图像中的孔洞封闭。加入数学形态学运算处理后在测试数据集中的表现如表 2所示，处理图像如图 8所示，其中(a)表示基于ResNet50的DeepLabv3+模型的预测图，(b)表示预测图经过后处理的图像。
表 2 基于ResNet50的DeepLabv3+模型加入后处理前后测试对比Table 2. Comparison of tests before and after the addition of the DeepLabv3+ model based on ResNet50Model Categories Accuracy IoU MIoU DeepLabv3+（ResNet50） CT 0.86 0.77 0.855 Background 0.95 0.94 Our algorithm CT 0.87 0.79 0.875 Background 0.97 0.96 4. 总结
本文以电流互感器为研究对象，针对复杂背景和图片中数据污染的电流互感器设备分割问题，采用了基于ResNet50的DeepLabv3+神经网络，利用电流互感器红外图像训练语义分割模型。通过实验表明：基于ResNet50的DeepLabv3+神经网络训练的语义分割模型能够较为精细地从红外图像中分割出电流互感器，并且结合图像的开闭运算能够处理误分割的像素点，最终在测试集上的MIoU为0.875，有效地提高了分割精度，最终实现电流互感器设备像素与背景像素的分类。
限于文章篇幅有限，本文仅研究了深度学习方法用于电流互感器红外图像场景理解的问题，仅是分割出目标设备。在后续的工作当中，逐步实现可疑故障区域的分割以及故障类型分类，最终实现电流互感器设备故障自动诊断。
-
![]()
图 7 实验数据集中的一组红外图像（左侧）和可见光图像（右侧）
Figure 7. A set of infrared images (left) and visible light images (right) in the experimental dataset
![]()
图 8 红外与可见光融合图像在细节部分的实验对比
Figure 8. Experimental comparison of infrared and visible light fusion images in the detail part
表 1 本实验的结果对比
Table 1 Comparison of the results of this experiment
Evaluation standard Reference [4] Proposed Promote /% Reference [5] Proposed Promote /% Reference [6] Proposed Promote /% RMSE 4.62 3.78 +18.2% 4.96 3.78 +23.8% 4.62 3.78 +18.2% AMSLE 1.54 0.98 +36.4% 2.01 0.98 +51.2% 2.41 0.98 +48.1% Fuzzy entropy 4.69 6.23 +32.8% 5.95 6.23 +4.7% 4.59 6.23 +35.7% Time/s 121.81 136.12 -11.7% 58.09 136.12 -134.3% 61.24 136.12 -122.3% 
下载: 导出CSV
-
[1] 朱莹, 夏亦犁, 裴文江. 基于改进的BEMD的红外与可见光图像融合方法[J]. 计算机科学, 2020, 47(3): 124-129. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202003022.htm ZHU Ying, XIA Yili, PEI Wenjiang. Infrared and visible image fusion method based on improved BEMD[J]. Computer Science, 2020, 47(3): 124-129. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202003022.htm
[2] 苏金凤, 张贵仓, 汪凯. 结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合[J]. 激光与光电子学进展, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm SU Jinfeng, ZHANG Guicang, WANG Kai. Compression and fusion of infrared and visible images combined with robust principal component analysis and non-subsampled contourlet transform[J]. Advances in Lasers and Optoelectronics, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm
[3] 邓秋菊, 王宁. 非下采样轮廊波变换的红外与可见光图像融合[J]. 激光杂志, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm DENG Qiuju, WANG Ning. Infrared and visible image fusion based on non-subsampling contour wave transform[J]. Laser Journal, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm
[4] 王兴龙, 朱芳. 基于双通道PCNN的NSST域红外与可见光图像融合[J]. 平顶山学院学报, 2020, 35(2): 55-61. DOI: 10.3969/j.issn.1673-1670.2020.02.011 WANG Xinglong, ZHU Fang. Fusion of infrared and visible light images in NSST domain based on dual-channel PCNN[J]. Journal of Pingdingshan University, 2020, 35(2): 55-61. DOI: 10.3969/j.issn.1673-1670.2020.02.011
[5] 陈潮起, 孟祥超, 邵枫, 等. 一种基于多尺度低秩分解的红外与可见光图像融合方法[J]. 光学学报, 2020, 40(11): 72-80. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm CHEN Chaoqi, MENG Xiangchao, SHAO Feng, et al. A fusion method of infrared and visible light images based on multi-scale low-rank decomposition[J]. Acta Optics Sinica, 2020, 40(11): 72-80. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm
[6] 沈瑜, 陈小朋, 苑玉彬, 等. 基于显著矩阵与神经网络的红外与可见光图像融合[J]. 激光与光电子学进展, 2020, 57(20): 76-86. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202020009.htm SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Fusion of infrared and visible light images based on saliency matrix and neural network[J]. Advances in Lasers and Optoelectronics, 2020, 57(20): 76-86. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202020009.htm
[7] 张贵仓, 苏金凤, 拓明秀. DTCWT域的红外与可见光图像融合算法[J]. 计算机工程与科学, 2020, 42(7): 1226-1233. DOI: 10.3969/j.issn.1007-130X.2020.07.011 ZHANG Guicang, SU Jinfeng, TUO Mingxiu. Infrared and visible light image fusion algorithm in DTCWT domain[J]. Computer Engineering and Science, 2020, 42(7): 1226-1233. DOI: 10.3969/j.issn.1007-130X.2020.07.011
[8] 任立成, 刘勇, 张建林, 等. 基于特征融合的双分支模板更新跟踪算法[J]. 国外电子测量技术, 2021, 40(5): 14-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202105006.htm REN Licheng, LIU Yong, ZHANG Jianlin, et al. Two-branch template update tracking algorithm based on feature fusion[J]. Foreign Electronic Measurement Technology, 2021, 40(5): 14-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202105006.htm
[9] 吴佼华, 杨学志, 方帅, 等. 基于双分支卷积神经网络的SAR与多光谱图像融合实验[J]. 地理与地理信息科学, 2021, 37(2): 22-30. DOI: 10.3969/j.issn.1672-0504.2021.02.004 WU Jiaohua, YANG Xuezhi, FANG Shuai, et al. Experiment of SAR and multispectral image fusion based on double-branch convolutional neural network[J]. Geography and Geographic Information Science, 2021, 37(2): 22-30. DOI: 10.3969/j.issn.1672-0504.2021.02.004
[10] 薛盼盼, 刘云, 李辉, 等. 基于时域扩张残差网络和双分支结构的人体行为识别[J/OL]. 控制与决策: 1-10[2021-09-29]. https://doi.org/10.13195/j.kzyjc.2021.0648. XUE Panpan, LIU Yun, LI Hui, et al. Human Behavior Recognition Based on Time Domain Dilated Residual Network and Dual Branch Structure [J/OL]. Control and Decision: 1-10. [2021-09-29]. https://doi.org/10.13195/j.kzyjc.2021.0648.
[11] 张雪, 孟令灿, 聂秀山. 基于双分支网络特征融合的车辆重识别方法[J]. 数据采集与处理, 2021, 36(3): 468-476. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202103005.htm ZHANG Xue, MENG Lingcan, NIE Xiushan. Vehicle re-identification method based on dual-branch network feature fusion[J]. Data Collection and Processing, 2021, 36(3): 468-476. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202103005.htm
[12] 贺双龙, 杨斌. 基于局部结构和视觉显著特征的红外和可见光图像泊松重构融合算法[J]. 南华大学学报: 自然科学版, 2020, 34(5): 62-70, 76. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGB202005011.htm HE Shuanglong, YANG Bin. Poisson reconstruction fusion algorithm for infrared and visible light images based on local structure and visual salient features[J]. Journal of University of South China: Natural Science Edition, 2020, 34(5): 62-70, 76. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGB202005011.htm
[13] 周哓玲, 江泽涛. 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合[J]. 光学学报, 2019, 39(11): 132-139. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201911016.htm ZHOU Weiling, JIANG Zetao. Fusion of infrared and visible light images combined with pulse-coupled neural network and guided filtering[J]. Journal of Optics, 2019, 39(11): 132-139. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201911016.htm
[14] 刘明君, 董增寿. 基于多特征的红外与可见光图像融合[J]. 激光杂志, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm LIU Mingjun, DONG Zengshou. Fusion of infrared and visible light images based on multi-features[J]. Laser Journal, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm
[15] 王宁, 周铭, 杜庆磊. 一种红外可见光图像融合及其目标识别方法[J]. 空军预警学院学报, 2019, 33(5): 328-332. DOI: 10.3969/j.issn.2095-5839.2019.05.004 WANG Ning, ZHOU Ming, DU Qinglei. An infrared and visible light image fusion and its target recognition method[J]. Journal of Air Force Early Warning Academy, 2019, 33(5): 328-332. DOI: 10.3969/j.issn.2095-5839.2019.05.004
[16] 宫睿, 王小春. BEMD分解和W变换相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2019, 24(6): 987-999. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201906014.htm GONG Rui, WANG Xiaochun. Fusion of infrared and visible light images combined with BEMD decomposition and W transform[J]. Chinese Journal of Image and Graphics, 2019, 24(6): 987-999. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201906014.htm
[17] 张雷雷, 王铎. 基于局部能量和邻域信息的红外与可见光图像融合[J]. 光电技术应用, 2019, 34(3): 19-22. DOI: 10.3969/j.issn.1673-1255.2019.03.005 ZHANG Leilei, WANG Duo. Fusion of infrared and visible light images based on local energy and neighborhood information[J]. Application of Optoelectronic Technology, 2019, 34(3): 19-22. DOI: 10.3969/j.issn.1673-1255.2019.03.005
[18] 荣传振, 贾永兴, 吴城, 等. 红外与可见光图像分解与融合方法研究[J]. 数据采集与处理, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm RONG Chuanzhen, JIA Yongxing, WU Cheng, et al. Research on infrared and visible image decomposition and fusion methods[J]. Data Acquisition and Processing, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm
[19] 冯鑫. Tetrolet框架下红外与可见光图像融合[J]. 光子学报, 2019, 48(2): 76-84. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201902010.htm FENG Xin. Fusion of infrared and visible light images under Tetrolet framework[J]. Acta Photonica Sinica, 2019, 48(2): 76-84. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201902010.htm
[20] 朱平哲. 基于DCT与PSO的可见光与红外图像融合方法[J]. 新疆大学学报: 自然科学版, 2018, 35(4): 452-458. https://www.cnki.com.cn/Article/CJFDTOTAL-XJDZ201804011.htm ZHU Pingzhe. Visible light and infrared image fusion method based on DCT and PSO[J]. Journal of Xinjiang University: Natural Science Edition, 2018, 35(4): 452-458. https://www.cnki.com.cn/Article/CJFDTOTAL-XJDZ201804011.htm
[21] 孔玲君, 张志华, 曾茜, 等. 基于NSST和SWT的红外与可见光图像融合算法研究[J]. 包装工程, 2018, 39(19): 216-222. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201819038.htm KONG Lingjun, ZHANG Zhihua, ZENG Qian, et al. Research on infrared and visible light image fusion algorithm based on NSST and SWT[J]. Packaging Engineering, 2018, 39(19): 216-222. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201819038.htm
[22] 邱泽敏. 结合区域与边缘特征的红外与可见光图像融合算法[J]. 红外技术, 2018, 40(5): 449-454. http://hwjs.nvir.cn/article/id/hwjs201805008 QIU Zemin. Infrared and visible image fusion algorithm combining region and edge features[J]. Infrared Technology, 2018, 40(5): 449-454. http://hwjs.nvir.cn/article/id/hwjs201805008
[23] 朱亚辉. 聚类分析的红外与可见光融合质量指标相似性研究[J]. 计算机系统应用, 2018, 27(2): 216-222. DOI: 10.3969/j.issn.1003-3254.2018.02.037 ZHU Yahui. Research on the similarity of infrared and visible light fusion quality indicators based on cluster analysis[J]. Computer System Applications, 2018, 27(2): 216-222. DOI: 10.3969/j.issn.1003-3254.2018.02.037
[24] 吴冬鹏, 毕笃彦, 马时平, 等. 边缘和对比度增强的NSST域红外与可见光图像融合[J]. 红外技术, 2017, 39(4): 358-364. http://hwjs.nvir.cn/article/id/hwjs201704011 WU Dongpeng, BI Duyan, MA Shiping, et al. Edge and contrast enhanced fusion of NSST domain infrared and visible light images[J]. Infrared Technology, 2017, 39(4): 358-364. http://hwjs.nvir.cn/article/id/hwjs201704011
[25] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX201702007.htm FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Fusion of infrared and visible light images based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-362. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX201702007.htm
[26] 李昌兴, 王志强. 基于视觉特性的红外与可见光图像融合[J]. 西安邮电大学学报, 2016, 21(6): 98-102. https://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201606017.htm LI Changxing, WANG Zhiqiang. Fusion of infrared and visible light images based on visual characteristics[J]. Journal of Xi'an University of Posts and Telecommunications, 2016, 21(6): 98-102. https://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201606017.htm
[27] 周华兵, 侯积磊, 吴伟, 等. 基于语义分割的红外和可见光图像融合[J]. 计算机研究与发展, 2021, 58(2): 436-443. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ202102020.htm ZHOU Huabing, HOU Jilei, WU Wei, et al. Fusion of infrared and visible light images based on semantic segmentation[J]. Journal of Computer Research and Development, 2021, 58(2): 436-443. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ202102020.htm
[28] 张蕾. 采用改进平均梯度与自适应PCNN的图像融合[J]. 计算机应用与软件, 2021, 38(3): 218-223. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202103034.htm ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN[J]. Computer Applications and Software, 2021, 38(3): 218-223. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202103034.htm
-
期刊类型引用(9)
1. 吴晓君，余显喆，王鹏，赵鹤，李天成. 基于超像素的改进FCM电力设备红外图像分割. 红外技术. 2025(02): 235-242 . 
本站查看
2. 黄新波. 基于图像感知的输电线路智能巡检综述. 高电压技术. 2024(05): 1826-1841 . 百度学术
3. 范晓狄，郑银，周碧天，代磊，刘鑫东. 基于改进Unet的电流互感器红外图像检测. 电工技术. 2024(10): 71-75+81 . 百度学术
4. 张宇，袁小翠，许志浩，康兵. 复杂背景下断路器红外图形精确分割方法. 江西电力. 2024(03): 1-7 . 百度学术
5. 田晨，许志浩，李强，宋云海，康兵，丁贵立，王宗耀. 基于Deeplabv3+与Otsu模型的输电线电晕放电紫外图像分割方法. 激光与红外. 2023(01): 153-160 . 百度学术
6. 胡建宇. 电流互感器二次回路电流信号自动化校验技术. 自动化与仪表. 2023(08): 64-68 . 百度学术
7. 张志超，左雷鹏，邹捷，赵耀民，宋杨凡. 基于多模态图像信息的变电设备红外分割方法. 红外技术. 2023(12): 1198-1206 . 本站查看
8. 王刘旺. 机器视觉技术在电力安全监控中的应用综述. 浙江电力. 2022(10): 16-26 . 百度学术
9. 刘赫，赵天成，刘俊博，矫立新，许志浩，袁小翠. 基于深度残差UNet网络的电气设备红外图像分割方法. 红外技术. 2022(12): 1351-1357 . 本站查看
其他类型引用(7)
计量
- 文章访问数: 179
- HTML全文浏览量: 125
- PDF下载量: 38
- 被引次数: 16
