0.   引言

变电站是电网系统中的非常关键的节点，变电站的安全性关系到电力系统的稳定运行。变压器、电压互感器、电流互感器和断路器等变电设备因长期户外使用易覆盖污渍、设备老化出现设备过热，容易导致大面积停电。因此，需要对这些带电设备进行定期检测。

近年来，利用无人机、巡检机器人为平台安装红外热相机拍摄带电设备的红外图像，利用智能算法自动识别红外图像中的设备故障已成为电力设备带电监测和故障诊断的重要手段。基于红外图像的故障诊断方法可以大致分为两类：一是根据红外图像的温度界定直接分割出过热区域，如康龙等^[1]利用红外图像灰度直方图确定聚类中心和聚类个数，用遗传算法来确定最优聚类中心，最后用模糊C均值来分割过热区域；曾亮等^[2]用大津算法和区域生长法分割过热区域；Hui Zou^[3]等利用k均值聚类算法分割过热区域。另一类是根据需要检测的变电设备，在红外图像中检测出目标区域或者直接分割目标区域，对不同的目标区域根据规范^[4]判断目标区域的状态，从而自动检测带电设备状态。目前，第二类是红外图像故障诊断的主流方法，学者们对其展开了许多研究。不同电气设备对温度的耐受力不同，需要准确定位变电设备的感兴趣区域（region of interest，ROI），因此查找红外图像的ROI是最关键的一步。

近年来，国内外学者已经开展了一系列针对红外缺陷智能诊断的研究。定位ROI区域主要有两类：①提取目标的手工特征，根据红外图像的颜色及纹理等特征，选择合适的阈值分割方法和特征提取方法分割目标，文献[5]利用阈值分割法提出三相分区块自动搜寻及温度对比的过热区域判定方法。Rahmani^[6]等提取图像中电气设备的不变矩特征；文献[7]提取红外图像的热形状和温度分布作为图像特征；文献[8]对红外视频图像提取时空特征，利用基于沙普利加法特征归因聚类算法对时空特征聚类分割目标。②基于深度学习的目标检测或者分割方法。随着深度卷积神经网络（deep convolutional neural networks, DCNN）的快速发展，利用CNN网络提取图像的特征实现不同的应用，如目标检测与识别、图像分割等。文献[9]利用Faster RCNN对套管、避雷器等变电设备进行目标检测定位，根据温度阈值法实现缺陷检测。经典目标检测深度卷积神经网络也逐渐应用在红外图像变电设备故障检测中，如SSD^[10]，YOLO^[11]，Mask-RCNN^[12]等网络在红外图像电气设备异常检测中取得了较好的检测结果。李文璞等^[13]基于改进R3Det模型对瓷套进行旋转目标检测，基于Faster RCNN模型对变电设备区域进行识别。

上述基于深度学习的目标检测方法只是检测出目标区域，对检测简单背景下的变电设备效果较好，当变电设备处于复杂环境下，局部遮挡导致框选出的目标区域包含其他类型的设备，而不同设备对温度的耐受力不同。需要对电气设备进行准确分割及定位，减少背景及其他因素的干扰，再根据不同设备对温度的耐受情况准确检测出电气设备的故障。为了准确分割出ROI，语义分割方法逐渐从可见光图像处理中应用到红外图像电气设备故障诊断中，如文献[14]构建了FCN-32s、FCN-16s和FCN-8s三种模型对红外图像中劣化的绝缘子片进行分割，证明了FCN-8S的分割效果更好，但该方法只用在了实验室环境下拍摄的绝缘子片图像，并不适用于户外复杂环境下目标分割。文献[15]将深度残差网络ResNet与Deeplabv3+网络相结合，利用ResNet网络代替Deeplabv3+网络中VGG16模块实现编码，构建的Res-Deeplabv3+网络对红外图像中的电流互感器进行分割，其分割准确性优于FCN-8s，SegNet和Deeplabv3+网络。

本文结合ResNet和UNet网络的优势，构建Res-UNet网络对复杂环境下红外图像的变电设备进行语义分割，从复杂背景下准确分割、定位和识别出电气设备，为电气设备故障诊断提供准确的数据源。

1.   数据集来源及标注

数据集来源于某网省公司现场采集的红外图像，图像大小为640×480彩色图，原始样本图像数量为2860张。不同拍摄角度和环境，对同样的设备成像不同。因此，对样本进行扩充，包括旋转、缩放、调整图像亮度、饱和度等方法进行随机数据增强，以提高网络模型的鲁棒性和准确性，扩充后的样本数量为4380张。图 1为样本集中随机选取的几张红外图像及预处理效果，第一行图 1(a)为原图，第二行图 1(b)对应第一行的增强效果，其增强处理分别是调整温度区间、降低饱和度、降低亮度、提高色调。

图  1  样本增强示例

Figure  1.  Example of sample images enhancement

下载: 全尺寸图片 幻灯片

样本数据中电流互感器和断路器两种变电设备的图像比较完整，其他变电设备图像不完整或者样本少，因此，以电流互感器和断路器为分割目标，使用Labelme工具分别对电流互感器和断路器两种电气设备进行标注。建立统一的标注规范是保证训练模型精度的基础，本文标注时将电流互感器和断路器分别标记为CT和QS，标记时尽量标记目标可见的全部像素，标注示例如图 2所示，对目标标注形成分割图像的标签（真值），并生成json文件，标签图像中绿色表示的是断路器，红色表示的是电流互感器。

图  2  样本图像标签

Figure  2.  Labels of image samples

下载: 全尺寸图片 幻灯片

2.   算法理论

图像语义分割是对每一个像素点进行分类，根据每个点的所属类别从而实现区域划分。目前，语义分割已被广泛应用于自动驾驶、医学图像分割等场景中。近年来，CNN已经在图像语义分割中取得了巨大的应用，比较经典的网络模型有FCN，Segnet，DeepLab和UNet系列等。UNet网络最早应用在医学图像分割中，相比于FCN，Segnet，Deeplab等系列的经典图像分割模型，UNet网络在训练样本较少的情况下能获得更准确的分割结果。在红外图像电气设备故障检测中，缺少公开数据集，属于小样本的目标分割，因此，本文利用UNet网络主体模型对红外图像中电气设备进行分割。

2.1   UNet网络

UNet网络结构简单，整个网络可以分为编码和解码，或者主干特征提取网络和加强特征提取网络，网络结构如图 3所示，在主干特征提取网络（编码）中利用3×3卷积模板进行5层卷积，卷积模板数分别是64、128、256、512和1024，2×2最大池化对卷积后的特征图下采样使图像特征图尺寸减小，且采用relu作为激活函数。

图  3  UNet网络结构

Figure  3.  UNet network structure

下载: 全尺寸图片 幻灯片

在加强特征提取（解码）网络中对特征图逐步上采样和卷积来恢复图像尺寸和特征图通道数，解码器和编码器之间通过跳跃连接进行特征图融合，融合后继续卷积，最后通过1×1×C卷积输出分割图像结果，其中C为通道数或图像分割类别。从图 3可以看出，UNet像一个U型结构，因此，将其称之为UNet网络。

2.2   ResNet

在深度卷积神经网络中，网络层数越多，越能够提取图像的深层特征，网络模型的分割效果越好，但是网络层数的增加容易导致浅层网络的学习效果不佳，阻碍模型的收敛^[16]。深度残差网络ResNet为解决这一问题而诞生。该网络的一部分输入不经过卷积网络传到输出，保留了部分浅层信息，避免了因特征提取网络的加深而导致特征细节的丢失，在残差网络内部将输入与输出直接相连，有效缓解了深层网络中的梯度消失问题^[15]。残差网络结构原型如图 4所示，设输入为x，期望输出为H(x)，实际输出为F(x)，通过跳跃连接将输入值x直接连接到输出，使实际输出变为F(x)+x，学习目标变为F(x)＝H(x)+x，从而使得网络学习的内容变为输入与输出的差值。深度残差系列网络有ResNet18，ResNet34，ResNet50，ResNet101等，18，34，50，101代表网络层数。

图  4  ResNet网络结构

Figure  4.  ResNet network structure

下载: 全尺寸图片 幻灯片

2.3   Res-UNet模型

UNet的编码部分实际上是VGG16网络的特征提取部分，利用ResNet代替VGG16实现对UNet网络中的编码模块，构建Res-UNet网络，如图 5所示，图 5中用ResNet18网络构建的UNet简称为Res18-UNet。

图  5  改进UNet网络结构

Figure  5.  Improved UNet network structure

下载: 全尺寸图片 幻灯片

Res-UNet网络编码部分：编码部分分为4个模块，与UNet模块的编码部分保持一致，不同的是UNet中每层卷积及下采样模块用ResNet代替，如图 5的ResNet18，block_x（x＝1, 2, 3, 4），卷积模板均是3×3，每个模块的第二层卷积的strid＝2，从而实现下采样。每个模块的卷积核的数量与UNet模型一一对应。

解码部分：解码部分最后一层输出的特征图的数量为1024，对图像进行上采样及卷积，并与编码模块的特征进行特征拼接融合，逐层上采样，使输出的图像与输入图像的大小一致，最后通过1×1×C的卷积输出分割结果，其中C为图像中目标分割种类数，本文中C＝3。

3.   实验结果与分析

3.1   评价指标

为了评估分割效果，用平均交并比（mean intersection over union，MIoU）MIoU和精确率（Precision）^[17]来评价红外图像目标分割效果。MIOU是语义分割效果的度量标准之一，通过计算两个集合的交集和并集（intersection over union，IoU）的比例来反映分割结果与真实值之间的重合程度，在图像语义分割中，这两个集合分别是真实值（标签）和预测值。MIOU的值范围为[0, 1]，其值越大表示分割效果越好。MIOU的定义如下：

式中：p_ij和p_ji分别表示预测结果为i、实际结果为j的像素总数和预测结果为j、实际结果为i的像素总数，而p_ii表示预测结果为i、真实结果也为i的像素总数^[15]。

Precision表示语义分割的类别像素准确率，是在被所有预测为正的样本中实际为正样本的概率。精确率定义为：

式中：TP，FP分别表示真阳性和假阳性，表示被分为正例的示例中实际为正例的比例。

3.2   网络训练

模型训练平台操作系统Ubuntu 18.04，采用了tensorflow深度学习框架搭建的改进ResNet网络。硬件处理器为Intel(R) Core(TM) i5-9300H CPU @2.40 GHz（2400 MHz），显卡型号为NVIDIA Geforce GTX 1660Ti。本文分别利用ResNet18，ResNet34，ResNet50作为UNet的编码部分构建Res18-UNet，Res34-UNet，Res50-UNet网络，这些网络称之为Res-UNet系列网络。为了测试不同网络对复杂环境下的电气设备分割效果，将Res-UNet系列网络与UNet网络，Deeplabv3+网络进行了对比。文献[15]在研究红外图像电流互感器的分割方法时指出Deeplabv3+网络比segnet和FCN系列网络对电流互感器的分割效果更好，因此，本文选择与Deeplabv3+进行对比。

UNet、Deeplabv3+和Res-UNet系列网络均为在tensorflow学习框架下搭建的平台。将已标注的2300张红外图片作为训练样本，以4:1的比例随机分配训练集与测试集，两者的样本图数量分别是3504和876，样本图像中包含了电流互感器和断路开关。Res-UNet系列，UNet和Deeplabv3+网络都采用交叉熵作为损失函数，损失函数定义如下：

式中：ω_c为类别c的损失权重；p_c(z_i)为像素z_i属于真实类别c的概率。

3种方法训练得到的损失函数曲线如图 6所示，模型在epoch为100左右就达到收敛，Res18-UNet模型在epoch为10时基本达到收敛，收敛速度快，且收敛时其loss值更接近0。

图  6  网络训练过程损失函数对比

Figure  6.  Comparison of loss functions for network training

下载: 全尺寸图片 幻灯片

相同的样本对不同的网络模型训练得到网络参数，输入测试样本得到分割预测结果，并且用MIoU和Precision来评价红外图像目标分割效果。图 7~10是在测试集中随机选择一些样本测试分割效果，图 7~10均是在某省变电站拍摄的红外图像，表 1是图 7~10分割结果对应的MIoU值。图 7、8的分割目标是电流互感器，图 9、10的分割目标是断路器。从图 7~10及表 1的结果可以看出，UNet网络的分割效果比Deeplabv3+网络分割效果更佳，Res-UNet系列网络中，Res18-UNet网络分割效果优于其他4个网络。图 7电流互感器所处背景简单，Res18-UNet网络的目标分割率为0.9315，图 8中电流互感器处于复杂环境下，除了有电流互感器以外，还存在其他电气设备，Res18-UNet网络能够在复杂背景下准确分割出目标，分割的准确率达到0.8839。图 9、10两张图都包含了3个断路器，个别断路器被局部遮挡或者被其背景干扰，断路器的纹理不清晰，Res18-UNet对两者的分割准确率在0.9左右，能分割出断路器的主要轮廓。

图  7  简单背景下电流互感器分割结果

Figure  7.  Segmentation results of current transformer with simple background

下载: 全尺寸图片 幻灯片

图  8  复杂背景下电流互感器分割结果

Figure  8.  Segmentation results of current transformer with complex background

下载: 全尺寸图片 幻灯片

图  9  背景干扰下断路器分割结果

Figure  9.  Segmentation results of circuit breaker image with complex background

下载: 全尺寸图片 幻灯片

图  10  局部遮挡下断路器分割结果

Figure  10.  Segmentation results of circuit breaker with local occlusion

下载: 全尺寸图片 幻灯片

表  1  不同分割方法得到的MIOU值

Table  1.  The MIOU values based on different segmentation methods

Image and network	Deeplabv3+	UNet	Res18-UNet	Res34-UNet	Res50-UNet
Fig.8	0.7893	0.8209	0.9315	0.7798	0.6218
Fig.9	0.7768	0.7871	0.8839	0.8184	0.6637
Fig.10	0.7919	0.8309	0.8936	0.7301	0.6328
Fig.11	0.7888	0.8268	0.9057	0.7165	0.6581

下载: 导出CSV 

| 显示表格

表 2是不同网络对460张测试样本集分割准确率的统计结果，测试样本被分为了3类，分别是电流互感器、断路器和背景。利用MIoU和准确率来衡量不同样本对3类目标分割的准确性，其分割结果如表 2所示，从表 2的数据可知，UNet网络比Deeplabv3+网络的分割结果更准确，相比于其他4种网络，Res18-UNet对两种电气设备的分割效果更好，Res34-UNet和Res50-UNet两种网络的分割效果反而比UNet的分割效果更差。可见，利用ResNet网络作为UNet的编码部分提取特征构建的Res-UNet网络的确可以提高目标分割的准确性，但是深层网络（如Res34-UNet和Res50-UNet）因训练样本少导致的过拟合反而导致分割准确性下降。

表  2  测试数据集的准确率

Table  2.  The accuracy of the test dataset

network	Segmentation object	IoU	MIoU	Precision
Deeplabv3+	Current transformer	0.79	0.8011	0.90
	Circuit breaker	0.67		0.84
	Background	0.95		0.97
UNet	Current transformer	0.8023	0.8272	0.9150
	Circuit breaker	0.7179		0.8960
	Background	0.9615		0.9805
Res18-UNet	Current transformer	0.8623	0.8963	0.9470
	Circuit breaker	0.8579		0.9347
	Background	0.9686		0.9907
Res34-UNet	Current transformer	0.6306	0.7139	0.7110
	Circuit breaker	0.6064		0.7396
	Background	0.9047		0.9872
Res50-UNet	Current transformer	0.4747	0.5906	0.5174
	Circuit breaker	0.4249		0.3700
	Background	0.8722		0.9689

下载: 导出CSV 

| 显示表格

4.   结论

本文研究了复杂背景下红外图像电气设备目标分割，以电流互感器和断路器为分割目标，构建Res-UNet系列网络模型对小样本的红外图像电气设备进行分割。通过对Deeplabv3+网络，UNet和Res-UNet网络在红外图像中电气设备的分割效果进行对比，发现广泛应用在医学图像分割的UNet模型对红外图像的分割效果较好，准确性优于Deeplabv3+模型。Res18-UNet比UNet的分割效果更好，在测试样本数量为876的数据集下，MIoU值超过89%，对电流互感器和断路器的分割准确率Precision超过93%。由于样本数量小，Res34-UNet和Res50-UNet两种更深层网络分割准确性反而下降，在样本量充足的情况下，深层Res-UNet网络可以提高电气设备的分割准确性。限于篇幅，本文只针对电气设备的分割问题展开了部分研究，对分割的目标后处理能进一步优化分割结果，如膨胀，腐蚀、轮廓区域提取和空洞填充，从而提取整个电气设备的完整轮廓，为后续电气故障缺陷自动检测提供准确的数据源。