Single-frame Infrared Image Super-Resolution Reconstruction for Real Scenes
-
摘要: 现有的红外图像超分辨率重建方法主要依赖实验数据进行设计，但在面对真实环境中的复杂退化情况时，它们往往无法稳定地表现。针对这一挑战，本文提出了一种基于深度学习的新颖方法，专门针对真实场景下的红外图像超分辨率重建，构建了一个模拟真实场景下红外图像退化的模型，并提出了一个融合通道注意力与密集连接的网络结构。该结构旨在增强特征提取和图像重建能力，从而有效地提升真实场景下低分辨率红外图像的空间分辨率。通过一系列消融实验和与现有超分辨率方法的对比实验，本文方法展现了其在真实场景下红外图像处理中的有效性和优越性。实验结果显示，本文方法能够生成更锐利的边缘，并有效地消除噪声和模糊，从而显著提高图像的视觉质量。Abstract: Current infrared image super-resolution reconstruction methods, which are primarily designed based on experimental data, often fail in complex degradation scenarios encountered in real-world environments. To address this challenge, this paper presents a novel deep learning-based approach tailored for the super-resolution reconstruction of infrared images in real scenarios. The significant contributions of this research include the development of a model that simulates infrared image degradation in real-life settings and a network structure that integrates channel attention with dense connections. This structure enhances feature extraction and image reconstruction capabilities, effectively increasing the spatial resolution of low-resolution infrared images in realistic scenarios. The effectiveness and superiority of the proposed approach for processing infrared images in real-world contexts are demonstrated through a series of ablation studies and comparative experiments with existing super-resolution methods. The experimental results indicate that this method produces sharper edges and effectively eliminates noise and blur, thereby significantly improving the visual quality of the images.
-
Keywords:
- infrared image /
- deep learning /
- super-resolution /
- real scene /
- degradation model
-
0. 引言
在变电设备红外图像分析的过程中，高质量的图像能简化故障诊断算法流程。然而，真实的变电站场景复杂，背景干扰大，拍摄的红外图像成像质量低；此外，某些红外热像仪还自带标记，红外图像中的比色条、热像仪logo、温度标签等覆盖了图像中部分温度信息，造成数据污染，增加了变电设备故障诊断难度[1]。当前基于红外图像变电设备故障自动诊断主要分为3步：查找感兴趣区域（Region of Interest，ROI）、特征提取和状态分类[2]。其中查找ROI的目的主要是缩小目标对象分析范围，主流方法包括目标分割与目标检测两种手段。该类方法在实施过程中可分为两种思路，即一步定位热点区域法和多步定位热点区域法。
一步定位热点区域是用一些分割算法或目标检测算法直接从变电设备的红外图像中分割或界定过热区域。康龙等[3]利用红外图像灰度直方图确定聚类中心和聚类个数，用遗传算法来确定最优聚类中心，最后用模糊C均值（Fuzzy C-means）来分割过热区域；曾亮等[4]用大津（OTSU）算法和区域生长法分割过热区域；Hui Zou等[5]利用k均值聚类算法（k-means clustering algorithm）将灰度图像分割成k个区域，计算k个区域中的平均值，将其作为聚类中心不断迭代来分割最终的过热区域。随着深度卷积网络在图像处理领域取得突破性进展，目标检测算法定位故障区域的方式也取得了较好的成绩。王旭红等[6]利用Single Shot MultiBox Detector（SSD），林颖等[7]利用You Only Look Once（YOLO），刘云鹏等[8]利用Faster Region-based CNN等目标检测网络实现红外输变电设备异常发热区域界定。
然而，上述方法难以自动规避数据污染和背景热源干扰，处理结果都缺少对象语义表达，且主要适用于发热较大的电流致热型故障；而对于发热较小的电压致热产生的热点区域却难以做到准确定位，甚至失败。此外，用神经网络直接实现变电设备故障区域界定的算法需要大量的训练数据集，红外故障数据集样本量不足是限制该方法的主要问题。
综上所述，用一步定位热点区域方法实现局部过热区域定位难以满足变电设备故障检测需求，利用多步定位热点区域可以提高故障分析准确率。这类方法的主要思想是：先将目标设备整体从复杂背景中进行分割，减少数据污染和背景干扰，再进一步分割可疑热区域，保证后续提取的热特征量的空间位置信息是来自被分析的变电设备本体[1]。
图像语义分割是一种能让计算机理解图像的技术，在一个网络中同时实现图像中的物体类别识别和高精度的图像分割。近年来，该技术在可见光的图像语义分割已经取得不俗的效果[9]，而对变电设备红外图像的场景理解的研究还处于初级阶段。本文用电流互感器作为训练样本，DeepLabv3+网络训练模型[10]，从复杂背景中分割设备整体，结合图像形态学方法对语义分割结果进行后处理，以提高最终分割的精度，为后续变电设备不同致热因素导致的故障预判做铺垫。
1. 算法理论
语义分割技术是利用计算机将图像中的像素按照图像表达的语义信息进行分类[10]。在以往的分类网络中，会将图片进行降维处理，丢弃图片原有的空间信息。而图像的语义分割算法需要分类每个像素并将分类结果还原成带有语义信息的与原图同等大小的图片。因此，保留像素的空间信息对于图像语义分割而言尤为重要。随着全卷积神经网络（Fully Convolutional Networks，FCN）的提出，Long[11]等人将AlexNet，VGGNet和GoogLeNet等主流分类网络中的全连接层替换成卷积层，并在最后添加转置卷积将特征图恢复到原来的尺寸[12]，图像像素的空间位置特征得以保留，语义分割才有了突破性发展。本文利用近年来在公共数据集中测试MIoU得分最高的DeepLabv3+作为训练变电设备语义分割模型的网络。
1.1 DeepLabv3+网络结构
编码解码（Encode-Decode）结构[13]是语义分割网络中的主流结构，所谓的编码过程是通过特征提取网络提取变电设备的特征，再经过解码实现特征信息重组，在这个过程中，网络根据图像的标签信息不断修正参数，最终实现监督式学习的对像语义分割。
DeepLabv3+的特征提取主干网络为残差神经网络ResNet[14]。深度残差网络的设计是为了克服由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题。该网络允许一部分输入不经过卷积网络传到输出，保留了部分浅层信息，避免了因特征提取网络的加深而导致特征细节的丢失[15]，残差模块的引入可以使网络在加深的同时保证较高的准确率，且更易于网络的优化，提高网络收敛速度。
ResNet残差网络原型如图 1(a)所示，网络结构主要由卷积残差块（Conv-block）和恒等残差块（Identity-block）两部分基本块组成，如图 1(b)(c)所示。以ResNet50为例，其中Conv-block共4个，是用来调整输入的长、宽及通道数；Identity-block共12个，是用来串联网络，增加网络层数。残差网络的计算公式如下：
$$ {y_i} = H\left( {{x_i}} \right) + F\left( {{x_i},{W_i}} \right) $$ (1) $$ {x_i}_{ + 1} = f\left( {{y_i}} \right) $$ (2) 式(1)、(2)中：xi，yi分别表示第i个残差网络的输入和输出；xi+1表示第i+1层残差网络的输入；Wi表示卷积操作；F(xi, Wi)表示残差函数；f表示Relu激活函数。其中H(xi)表示残差边的输出，在Conv-block网络中残差边的输出需要调整输入图像的大小并进行归一化，而在Identity-block结构中残差边的输入和输出恒等，这两种网络结构输出计算公式为：
$$H({x_i}) = \left\{ \begin{array}{l} \frac{{\mathop \sum \limits_{i = - \infty }^\infty {x_i}g\left( {m,n} \right)}}{{255}}\\ {x_i} \end{array} \right.$$ (3) 式中：g(m, n)为卷积核。
在整个编码网络结构中为了获得更加高级的图像特征，在ResNet50网络末端添加空洞卷积空间金字塔模块（Atrous Spatial Pyramid Pooling, ASPP）[16]，它接受基网络提取的高级特征图作为输入，经过具有不同空洞速率的空洞卷积，最后将结果输出进行堆叠，达到覆盖多尺度感受野的目的。
上述两部分构成了DeepLabv3+网络的编码模块。将编码模块输出的特征图与编码模块中的浅层特征相结合，经过上采样步骤构成解码模块，该模块的功能是利用转置卷积将特征图像进行逐层放大最终还原成与输入图像尺寸同等大小的图像，最后经过Softmax Layer求出输出图像的像素所在类别的概率，Pixel Classification Layer对像素进行分类[17]，输出网络预测的label。网络结构如图 2所示。其中softmax函数定义为：
$${p_k}({z_i}) = \frac{{{{\rm{e}}^{{z_i}}}}}{{\sum\nolimits_{k = 1}^K {{{\rm{e}}^{{z_k}}}} }}$$ (4) 式中：zi表示第i个节点输出的像素值；K表示网络分类的分类个数；pk(zi)表示zi属于第k个类别的概率。
1.2 数学形态学运算
考虑到训练的模型难以准确无误地完成对输入图像像素分类，或多或少会有一些与设备本体颜色相近的像素点被分割出来。因此本文采用数学形态学中的开闭运算对分割后的图片进行处理。利用开运算对分割后的图像进行腐蚀，之后做膨胀运算，平滑分割后图像的轮廓，同时删除一些误分割的像素块，该运算的数学表达式为：
$$A \circ B = \left( {A \ominus B} \right) \oplus B$$ (5) 利用闭运算对图像做膨胀之后再进行腐蚀处理，填充一些图像中出现的孔洞或裂口，其表达式为：
$$A \bullet B = \left( {A \oplus B} \right) \ominus B$$ (6) 以上两式中A为待处理图像；B是单个结构化元素对象。
2. 电流互感器红外图像数据集预处理
由于拍摄设备红外图像的热像仪型号各异，拍摄环境复杂，部分热摄像仪拍摄的图片噪点多，此外，当有设备表面温度与环境温度相差较小时，设备特征被淹没在环境中，丢失了大量细节特征，不利于图像标注和网络提取设备的轮廓特征。因此需要对收集到的图像做增强处理。
2.1 基于对比度限制自适应直方图均衡化的图像增强算法
由于红外图像反应的是设备温度和环境温度的高低分布，当环境温度与设备本体温度相近时或在拍摄时设置较大的温度区间，将使设备轮廓与背景环境混为一体，边界模糊。如采用直方图均化（Histogram Equalization，HE）方法对全局图像进行增强，直方图大峰值可能落在背景噪声或非感兴趣区域；在这种情况下，直方图均衡化会导致图像背景和设备灰度值提高，对比度降低。处理效果图和直方图如图 3(b)，(e)所示。
与上述方法相比，使用自适应直方图均衡化（Adaptive histogram equalization，AHE）[18]改进的对比度限制自适应直方图均衡化（Contrast limit adaptive histogram equalization，CLAHE）[19]算法能够在一定程度上抑制噪声的放大，这主要是通过限制AHE算法的对比提高程度来达到的。CLAHE通过在计算累积直方图函数前用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的。在处理过程中，对于给定的输入图像，CLAHE算法将图像分割为互不重叠的图像块，对划分后的每一个子块计算其对应的直方图，使用预先设定的阈值L对每个子块直方图进行裁剪，同时统计整个直方图中超过上限阈值L的像素数，并将这些像素数重新分布到对应子块的直方图中。最后，通过使用双线性插值来消除边界伪影，在子矩阵上下文区域内实现像素的新灰度级分配的计算。处理效果图和直方图如图 3(c)、(f)所示。
2.2 数据集制作与划分
在制作训练数据集时，使用图像标注软件将上一步预处理好的图像中占据主体像素的设备进行精细标注，其余区域都视作背景。此外电流互感器的常见故障为电流致热型故障，常发生于导线与设备的连接处，在标注时应把导线与设备连接处也视为设备的一个特征包含到设备本体当中，如图 4所示。
数据扩充是一种常见的技术，已被证明有利于机器学习模型的一般培训，特别是深层架构，要么加速收敛，要么充当正则化器，从而避免过拟合，提高泛化能力[20]。数据量的不足是当前网络模型泛化能力弱的关键因素。本文收集到的电流互感器红外图像数量有限，共700张，在训练时还要从中划分一部分作为验证集和测试集，以这些数据来训练语义分割模型难以达到一个好的分割精度。因此，采取图像扭曲变换来创建新样本扩充数据集，以避免训练过程中出现过拟合。针对电流互感器的红外图像数据集采用平移、旋转、翻转等图像变换方式来扩充，如图 5所示，每一张图片和对应的标签经过3次变换，最终样本总数为2100张。将上述处理好的数据集划分60%作为训练样本集，用来建立像素分类器模型；划分20%作为验证集，用来验证训练效果并且做超参数调整；划分20%作为测试集，用来测试模型的泛化能力。
3. 实验过程与分析
3.1 实验流程
本文中通过构建电流互感器红外图像作为训练语义分割模型的数据集，该数据集中包含了多种不同电压等级的电流互感器，同时也包含了不同拍照角度，不同背景和不同气候条件下的图像，这些图像能够真实反映变电站内的复杂环境。训练模型的网络是以ResNet50为基网络的DeepLabv3+。此外，本文还设计了多组对比实验，第一组是基于ResNet50的DeepLabv3+模型和基于ResNet18的DeepLabv3+模型对比；第二组是用上述两个模型和FCN-8s、SegNet模型对比；第三组是在DeepLabv3+（基网络为ResNet50）网络之后加入形态学开闭运算对比。
由于实验过程需要进行大量的图像计算，对电脑的内存和GPU性能要求都比较高。因此本文在工作站平台上以Matlab的深度学习工具箱作为实验软件平台，搭建了FCN-8s，SegNet，DeepLabv3+（基网络为ResNet50）和DeepLabv3+（基网络为ResNet18）网络进行分别训练。电脑的硬件参数为：CPU为intel(R)Xeon(R) Gold5120T, 128 G内存，配备QuadorP2000显卡。
在训练过程中，首先对数据集进行扩充，然后将数据集分批送入网络训练。设置训练最小批次为10，迭代次数为9800次，学习率采用分段调整，设置初始学习率为0.01，每迭代10轮低0.1，这允许网络以更高的初始学习率快速学习，而一旦学习率下降，能够求得接近局部最优的解。通过设置‘Vidation Data’参数，在每轮都对照验证数据对网络进行测试。'Validation Patience'设置为4，在验证准确度收敛时提前停止训练，这可以防止网络对训练数据集进行过拟合。采用带动量的随机梯度下降（Stochastic Gradient Descent with Momentum，SGDM）算法，动量参数为0.9。利用交叉熵计算预测误差，进行反向传递，更新网络参数。损失函数为：
$$E = \sum\nolimits_k^K {{w_k}} \log \left( {{p_k}\left( {{z_i}} \right)} \right)$$ (7) 式中：wk为类别k的损失权重；pk(zi)为像素zi属于真实类别k的概率。训练过程如图 6所示，随着学习率的下降，最终训练6850次，验证准确度为95.49%，验证损失为0.1189。
![]()
图 6 基于Resnet50的DeepLabv3+网络模型训练过程Figure 6. Training process of DeepLabv3+ network model based on ResNet503.2 评估指标
在实验中用MIoU[21]作为分割结果评价指标，它计算两个集合的交集和并集之间的比值的平均值，可以反应分割结果和真实标签的重合程度。假设k为像素分类类别总数，pij和pji分别表示预测结果为i实际结果为j的像素总数和预测结果为j，实际结果为i的像素总数，而pii表示预测结果为i，真实结果也为i的像素总数。计算公式如(8)所示。
$${\rm{MIoU}} = \frac{1}{{k + 1}}\mathop \sum \limits_{i = 0}^k \frac{{{p_{ii}}}}{{\sum\limits_{j = 0}^k {{p_{ij}} + \sum\limits_{j = 0}^k {{p_{ji}} - {p_{ii}}} } }}$$ (8) 3.3 测试数据集分析
表 1是基于ResNet50的DeepLabv3+，基于ResNet18的DeepLabv3+，SegNet和FCN-8s等模型在420张测试数据集上测试的结果。
表 1 多种模型测试数据表Table 1. Test data table of various modelsModel Categories Accuracy IoU MIoU DeepLabv3+（ResNet50） CT 0.86 0.77 0.855 Background 0.95 0.94 DeepLabv3+（ResNet18） CT 0.81 0.72 0.81 Background 0.92 0.90 SegNet CT 0.67 0.44 0.615 Background 0.86 0.79 FCN-8s CT 0.75 0.63 0.74 Background 0.89 0.85 在测试过程中数据集中依然使用多种不同电压等级的电流互感器进行测试，测试结果如图 7所示，其中(a)表示测试图，(b)表示测试图的标签图，(c)表示基于ResNet50的DeepLabv3+模型的预测图，(d)表示基于ResNet18的DeepLabv3+模型的预测图，(e)表示SegNet模型的预测图，(f)表示FCN-8s模型的预测图。从实际的测试结果可以看出，4种模型都能够从复杂背景中预测设备空间位置和部分轮廓，但是依然难以避免地会出现部分不属于电流互感器的像素被分类到该类别中，属于电流互感器类别的像素却被预测成背景，其中SegNet模型误分割和漏分割程度更高，FCN-8s模型次之，与DeepLabv3+的两个模型相比，SegNet和FCN-8s模型分割结果较为粗糙；而基于ResNet18的DeepLabv3+模型的分割结果能较大程度上接近原标签图像，但与基于ResNet50的DeepLabv3+模型相比而言，基于ResNet50的DeepLabv3+模型对图像分割的细节控制更好。
对比实验结果可以看出使用残差网络和ASPP模块的DeepLabv3+相比于以VGG-16为特征提取网络的SegNet和FCN-8s网络结构能够提取更加高级的特征，同时DeepLabv3+在进行上采样时能够融合大量的浅层信息特征，对于后期的像素分类和分割结果能够保留更多细节。由于本文用于训练的图像数量小，因此，选择合适的网络结构和网络可训练参数量是训练模型的关键。经本文实验得出，基于ResNet50的DeepLabv3+网络能够满足在小样本条件下训练语义分割模型从复杂背景环境下分割电流互感器设备的要求。
对于基于ResNet50的DeepLabv3+模型误分割的情况，采用形态学中的开运算去除误分割产生的小区域像素，同时处理分割边缘，使电流互感器边缘变得平滑。根据统计，单个电流互感器在图像中的面积均大于1200，而误分割区域通常较小，因此可以设置一个面积阈值为1200，当面积小于1200时删除该区域，其余像素保留；开运算操作后进行闭运算，使图像中的孔洞封闭。加入数学形态学运算处理后在测试数据集中的表现如表 2所示，处理图像如图 8所示，其中(a)表示基于ResNet50的DeepLabv3+模型的预测图，(b)表示预测图经过后处理的图像。
表 2 基于ResNet50的DeepLabv3+模型加入后处理前后测试对比Table 2. Comparison of tests before and after the addition of the DeepLabv3+ model based on ResNet50Model Categories Accuracy IoU MIoU DeepLabv3+（ResNet50） CT 0.86 0.77 0.855 Background 0.95 0.94 Our algorithm CT 0.87 0.79 0.875 Background 0.97 0.96 4. 总结
本文以电流互感器为研究对象，针对复杂背景和图片中数据污染的电流互感器设备分割问题，采用了基于ResNet50的DeepLabv3+神经网络，利用电流互感器红外图像训练语义分割模型。通过实验表明：基于ResNet50的DeepLabv3+神经网络训练的语义分割模型能够较为精细地从红外图像中分割出电流互感器，并且结合图像的开闭运算能够处理误分割的像素点，最终在测试集上的MIoU为0.875，有效地提高了分割精度，最终实现电流互感器设备像素与背景像素的分类。
限于文章篇幅有限，本文仅研究了深度学习方法用于电流互感器红外图像场景理解的问题，仅是分割出目标设备。在后续的工作当中，逐步实现可疑故障区域的分割以及故障类型分类，最终实现电流互感器设备故障自动诊断。
-
![]()
图 2 红外图像超分辨率重建网络结构
Figure 2. Structure of infrared image super-resolution reconstruction network
![]()
图 4 本文方法与无退化模型变体的2×超分结果对比
Figure 4. Comparison of 2× super-resolution results between our method and the no degradation variant
![]()
图 5 不同方法在场景1下2×倍超分结果对比
Figure 5. Comparison of 2× super-resolution results under scene 1 using different methods
![]()
图 6 不同方法在场景2下2×倍超分结果对比
Figure 6. Comparison of 2× super-resolution results under scene 2 using different methods
![]()
图 7 不同方法在场景3下4×倍超分结果对比
Figure 7. Comparison of 4× super-resolution results under scene 3 using different methods
![]()
图 8 不同方法在场景4下4×倍超分结果对比
Figure 8. Comparison of 4× super-resolution results under scene 4 using different methods
表 1 CADB模块中的密集连接结构参数
Table 1 Parameters of the densely connected structure in the CADB module
Layer type Kernel size Input channels Output channels Activation function Conv1 3×3 64 16 PReLU Conv2 3×3 80 16 PReLU Conv3 3×3 96 16 PReLU Conv4 3×3 112 16 PReLU Conv5 3×3 128 64 - 
下载: 导出CSV
表 2 CADB模块中的通道注意力结构参数
Table 2 Parameters of the channel attention structure in the CADB module
Layer type Kernel size Input channels Output channels Activation function Conv1 3×3 64 16 GELU Conv2 3×3 16 64 - Pooling 1×1 64 64 - Conv3 1×1 64 4 ReLU Conv4 1×1 4 64 Sigmoid
下载: 导出CSV
表 3 重建模块参数
Table 3 Parameters of the reconstruction module
Layer type Kernel size Input channels Output channels Activation function Conv1 3×3 64 64 LReLU Conv2 3×3 64 32 LReLU Conv3 3×3 32 16 LReLU Conv4 3×3 16 1 -
下载: 导出CSV
表 4 不同超分倍数下本文方法与无退化模型变体的无参考图像质量评价指标比较
Table 4 Comparison of no-reference image quality assessment metrics between our method and the no degradation variant at different scaling scales
Scale Methods BRISQUE NIQE PI 2× Ours-ND 37.84 6.494 6.892 Ours 20.902 4.800 5.167 4× Ours-ND 46.208 6.931 7.692 Ours 28.480 5.628 5.384
下载: 导出CSV
表 5 不同超分倍数下本文方法与其他超分辨率方法在无参考图像质量评价指标上的比较
Table 5 Comparison of no-reference image quality assessment metrics between our method and other super-resolution methods at different scaling factors
Scale Methods BRISQUE NIQE PI 2× SRCNN 35.298 6.375 6.800 ESRGAN 26.559 5.139 6.206 SwinIR 34.998 5.515 6.381 Oz 39.161 6.483 6.954 Zou 40.697 6.116 6.750 Ours 20.902 4.800 5.167 4× SRCNN 53.581 6.758 7.321 ESRGAN 31.071 5.835 6.982 SwinIR 55.269 6.577 7.225 Oz 53.088 7.313 7.651 Zou 63.166 8.162 8.023 Ours 28.480 5.628 5.384
下载: 导出CSV
-
[1] WANG Z, CHEN J, Hoi S C H. Deep learning for image super-resolution: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(10): 3365-3387.
[2] LI J, PEI Z, ZENG T. From beginner to master: A survey for deep learning-based single-image super-resolution[J]. arXiv preprint arXiv: 2109.14335, 2021.
[3] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 38(2): 295-307.
[4] SHI W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1874-1883.
[5] LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of The IEEE Conference on Computer Vision And Pattern Recognition Workshops, 2017: 136-144.
[6] WANG X, YU K, WU S, et al. Esrgan: Enhanced super-resolution generative adversarial networks[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 63-79.
[7] SUN C, LV J, LI J, et al. A rapid and accurate infrared image super-resolution method based on zoom mechanism[J]. Infrared Physics & Technology, 2018, 88: 228-238.
[8] Suryanarayana G, TU E, YANG J. Infrared super-resolution imaging using multi-scale saliency and deep wavelet residuals[J]. Infrared Physics & Technology, 2019, 97: 177-186.
[9] YAO T, LUO Y, HU J, et al. Infrared image super-resolution via discriminative dictionary and deep residual network[J]. Infrared Physics & Technology, 2020, 107: 103314.
[10] Oz N, Sochen N, Markovich O, et al. Rapid super resolution for infrared imagery[J]. Optics Express, 2020, 28(18): 27196-27209. DOI: 10.1364/OE.389926
[11] ZOU Y, ZHANG L, LIU C, et al. Super-resolution reconstruction of infrared images based on a convolutional neural network with skip connections[J]. Optics and Lasers in Engineering, 2021, 146: 106717. DOI: 10.1016/j.optlaseng.2021.106717
[12] 李方彪, 何昕, 魏仲慧, 等. 生成式对抗神经网络的多帧红外图像超分辨率重建[J]. 红外与激光工程, 2018, 47(2): 26-33. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201802004.htm LI F, HE X, WEI Z, et al. Multiframe infrared image super-resolution reconstruction using generative adversarial networks[J]. Infrared and Laser Engineering, 2018, 47(2): 26-33. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201802004.htm
[13] 魏子康, 刘云清. 改进的RDN灰度图像超分辨率重建方法[J]. 红外与激光工程, 2020, 49(S1): 20200173. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ2020S1022.htm WEI Z, LIU Y. Gray image super-resolution reconstruction based on improved RDN method[J]. Infrared and Laser Engineering, 2020, 49(S1): 20200173. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ2020S1022.htm
[14] 胡蕾, 王足根, 陈田, 等. 一种改进的SRGAN红外图像超分辨率重建算法[J]. 系统仿真学报, 2021, 33(9): 2109-2118. https://www.cnki.com.cn/Article/CJFDTOTAL-XTFZ202109013.htm HU L, WANG Z, CHEN T, et al. An improved SRGAN infrared image super-resolution reconstruction algorithm[J]. Journal of System Simulation, 2021, 33(9): 2109-2118. https://www.cnki.com.cn/Article/CJFDTOTAL-XTFZ202109013.htm
[15] 邱德粉, 江俊君, 胡星宇, 等. 高分辨率可见光图像引导红外图像超分辨率的Transformer网络[J]. 中国图象图形学报, 2023, 28(1): 196-206. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301012.htm QIU D, JIANG J, HU X, et al. Guided transformer for high-resolution visible image guided infrared image super-resolution[J]. Journal of Image and Graphics, 2023, 28(1): 196-206. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202301012.htm
[16] ZHANG Y, LI K, LI K, et al. Image super-resolution using very deep residual channel attention networks[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 286-301.
[17] TONG T, LI G, LIU X, et al. Image super-resolution using dense skip connections[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 4799-4807.
[18] ZHANG K, Liang J, Van Gool L, et al. Designing a practical degradation model for deep blind image super-resolution[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 4791-4800.
[19] WANG X, XIE L, DONG C, et al. Real-esrgan: Training real-world blind super-resolution with pure synthetic data[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 1905-1914.
[20] ZHANG W, SHI G, LIU Y, et al. A closer look at blind super-resolution: Degradation models, baselines, and performance upper bounds[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 527-536.
[21] LIANG J, CAO J, SUN G, et al. Swinir: Image restoration using swin transformer[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 1833-1844.
[22] Huynh-Thu Q, Ghanbari M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters, 2008, 44(13): 800-801. DOI: 10.1049/el:20080522
[23] Hanhart P, Korshunov P, Ebrahimi T. Benchmarking of quality metrics on ultra-high definition video sequences[C]//18th International Conference on Digital Signal Processing (DSP)of IEEE, 2013: 1-8.
[24] Kundu D, Evans B L. Full-reference visual quality assessment for synthetic images: A subjective study[C]// IEEE International Conference on Image Processing (ICIP), 2015: 2374-2378.
[25] Mittal A, Soundararajan R, Bovik A C. Making a "completely blind" image quality analyzer[J]. IEEE Signal Processing Letters, 2012, 20(3): 209-212.
[26] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.
[27] Blau Y, Mechrez R, Timofte R, et al. The 2018 PIRM challenge on perceptual image super-resolution[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 334-355.
-
期刊类型引用(9)
1. 吴晓君，余显喆，王鹏，赵鹤，李天成. 基于超像素的改进FCM电力设备红外图像分割. 红外技术. 2025(02): 235-242 . 
本站查看
2. 黄新波. 基于图像感知的输电线路智能巡检综述. 高电压技术. 2024(05): 1826-1841 . 百度学术
3. 范晓狄，郑银，周碧天，代磊，刘鑫东. 基于改进Unet的电流互感器红外图像检测. 电工技术. 2024(10): 71-75+81 . 百度学术
4. 张宇，袁小翠，许志浩，康兵. 复杂背景下断路器红外图形精确分割方法. 江西电力. 2024(03): 1-7 . 百度学术
5. 田晨，许志浩，李强，宋云海，康兵，丁贵立，王宗耀. 基于Deeplabv3+与Otsu模型的输电线电晕放电紫外图像分割方法. 激光与红外. 2023(01): 153-160 . 百度学术
6. 胡建宇. 电流互感器二次回路电流信号自动化校验技术. 自动化与仪表. 2023(08): 64-68 . 百度学术
7. 张志超，左雷鹏，邹捷，赵耀民，宋杨凡. 基于多模态图像信息的变电设备红外分割方法. 红外技术. 2023(12): 1198-1206 . 本站查看
8. 王刘旺. 机器视觉技术在电力安全监控中的应用综述. 浙江电力. 2022(10): 16-26 . 百度学术
9. 刘赫，赵天成，刘俊博，矫立新，许志浩，袁小翠. 基于深度残差UNet网络的电气设备红外图像分割方法. 红外技术. 2022(12): 1351-1357 . 本站查看
其他类型引用(7)
计量
- 文章访问数: 131
- HTML全文浏览量: 69
- PDF下载量: 79
- 被引次数: 16
