EnFCM Clustering Segmentation Method for Infrared Image of Electrical Equipments Based on Fusion Reconstruction
-
摘要: 红外图像分割是电气设备红外故障诊断的关键环节，而电气设备的不均匀散热、较低的对比度与多源噪声的干扰，会导致目标区域过分割，严重影响分割精度。对此本文提出一种基于融合重构的EnFCM（Enhanced Fuzzy C-Means）聚类电气设备红外图像分割方法。首先对梯度图像进行自适应形态学重建操作，保证算法对噪声图像的分割能力；其次对图像进行显著性检测，将显著图与梯度图融合得到重构后的图像，凸显故障部位的特征，避免过分割；然后对重构后的图像进行分水岭分割获取超像素图像，最后对超像素图像直方图聚类得到分割结果。对电气设备红外图像的实验结果表明：本文算法在电气设备红外图像上能准确分割出故障区域，获取其位置与轮廓，有效改善了过分割现象，在选取的交并比与DICE系数指标对比中，本文方法对比选取的FRFCM、FCM、SFFCM、FCM_SICM、RSSFCA、AFCF平均提升了81%与79%；同时对噪声有较强的鲁棒性，在选取的分割准确率指标对比中，本文方法对比选取的FRFCM、FCM、SFFCM、FCM_SICM、RSSFCA、AFCF平均提升了73%，取得了较优的分割效果。Abstract: Infrared image segmentation plays a pivotal role in diagnosing faults in electrical equipment using infrared imagery. However, uneven heat dissipation, lower contrast, and interference from multiple sources of noise in electrical equipment can lead to over-segmentation of the target region, seriously affecting segmentation accuracy. In this study, we propose an Enhanced Fuzzy C-Means (EnFCM) clustering method based on fusion reconstruction for infrared image segmentation of electrical equipment. First, the gradient image was subjected to an adaptive morphological reconstruction operation to ensure the segmentation ability of the algorithm on noisy images; second, the image was tested for saliency, and the reconstructed image was obtained by fusing the saliency map with the gradient map to highlight the features of the fault site and avoid over-segmentation; then, watershed segmentation was performed on the reconstructed image to obtain the super-pixel image; finally, the histogram clustering of the super-pixel image was obtained by segmentation. The experimental results on the infrared image of electrical equipment show that the algorithm in this paper can accurately segment the fault area on it, obtain its location and contour, and effectively improve the phenomenon of over-segmentation and in the comparison of the selected intersection and concatenation ratio and DICE coefficient indexes, this paper's method improves 81% and 79% on average compared to selected FRFCM, FCM, SFFCM, FCM_SICM, RSSFCA, and AFCF; meanwhile, it is extremely robust to noise, and in the comparison of selected segmentation accuracy indexes, this paper's method achieves segmentation results that are on average 73% superior compared to selected FRFCM, FCM, SFFCM, FCM_SICM, RSSFCA, and AFCF, thus, superior segmentation results were achieved.
-
0. 引言
随着社会经济发展和生活质量的提高，汽车数量增长而带来的交通拥堵问题已经成为目前亟待解决的问题。HOV专用车道即高载客率多乘员车道，在规定的时间段只对多乘员开放。设置HOV专用车道，可以在不增加交通建设成本的情况下，有效利用现有的公共资源提高交通运输的效率，是解决城市拥堵的一种有效措施[1-2]。
目前HOV专用车道执法效率较低，针对汽车乘员数量检测领域的研究比较少，主要是因为汽车车窗贴过车膜后，普通相机很难获得其内部空间图像。当前可参考应用到车辆乘员数量检测的技术主要有雷达法和基于红外图像的目标检测法[3]。Fadel Adib等人[4]提出一种基于射频体反射的多人室内目标定位检测方法，该研究使用5对频率在5.46~7.25 GHz的信号接收-发射装置，将信号调整为连续波信号后，将这5对收发装置的时延-频率图（Time delay- frequency diagram）进行叠加，可以得到目标相对准确的空间位置。该方法虽然满足车辆乘员数量检测的条件和要求，但在实际的检测环境中，路边的行人、行驶的车辆对雷达检测的精度影响较大。在红外图像检测技术方面，马也等人[5]提出一种复杂背景下红外目标的检测算法。通过多权值高斯背景率除法对人体目标进行分割，然后对得到的候选区域采用融合边缘方向累加和特性的梯度方向直方图进行特征描述，通过对支持向量机进行训练来实现人体目标的判别，但在目标密集、目标遮挡等情况下检测精度还不能达到要求。以应用在成都HOV专用车道的红外热成像检测技术为例，只有当车窗摇下时才可获得驾驶室内部空间图像，大大降低了红外热成像检测的适用性，当汽车内部乘员较多时，乘员间相互遮挡会使目标的成像不规律，影响检测结果，红外图像质量的不确定性使得准确率难以保证。
随着红外技术与图像融合技术的发展[6-8]，为设计适用于HOV车道执法的检测技术提供了新的思路。本文在前期设计了一套多光谱红外成像装置，采用主动照明技术，由光源系统主动发射多个波长的红外光，形成多光谱人工照明环境。相机内置光学分光系统，通过感光器件形成各个波段的图像，利用图像层叠技术将多张图像合成为一张多光谱红外图像，从而解决了车窗贴膜普通相机不能成像的问题，成像效果如图 1所示。该视觉系统放置于车道一侧，与高架杆处卡口相机一同触发，卡口相机拍摄汽车的正面图像并识别车牌号码，两相机同时抓拍的照片便形成完整的执法证据。
通过对车内乘员数量的自动检测可以辅助完成HOV车道执法工作。在获得汽车内部空间的多光谱红外图像后，车内乘员数量可以通过目标检测算法来实现。深度学习领域出现了一批以Faster R-CNN[9]、YOLO（You Only Look Once）[10]、SSD（Single Shot MultiBox Detector）[11]为代表的目标检测算法，与传统算法相比在准确率上有很大的提升。与后两种算法相比，Faster R-CNN是一种典型的两步目标检测算法，两步法虽然在检测速度上慢了一些，但两步法网络的适用性强、准确率高、结构相对灵活，便于后期有针对性的调整。因此，本文在获得清晰汽车内部空间图像的基础上，以Faster R-CNN为基础，提出了基于多尺度特征预测方式、通过K-means聚类的方法学习目标框大小的几何先验知识来优化候选框的生成方式、通过用ROI-ALign代替ROI-Pooling完成目标的特征映射，用以解决因模型泛化能力不强而带来的误报、漏报问题，以达到提高检测精度的目的。
1. Faster R-CNN介绍
Faster R-CNN网络将目标检测网络中特征提取、候选区域生成、目标分类、目标定位等4个步骤融合到一个深度网络中，实现了端到端的训练，算法结构如图 2所示[12]。从网络结构上看，所有任务统一到一个任务中完成。在执行顺序上，数据在经过特征提取后，首先经过RPN网络生成候选区域，接着判断候选区域内容是否为前景，如果内容是前景，则最后经过ROI池化后送入后续的检测进行目标分类和位置回归，否则放弃该候选框。同时当判定为前景后，RPN网络的另一分支也会对候选框的大小和几何坐标进行调整。所以相比于YOLO、SSD等算法而言，Faster R-CNN是一个两步法的端到端的训练，所以在实际表现中准确率往往会更高一些。
RPN网络代替了传统的选择性搜索（selective search）方法[12]，卷积运算使得候选框生成的方式更加科学，提升了候选框生成效率和准确性。ROI池化操作实现了将不同尺寸的候选框映射成相同尺寸的特征图，可以有效地将RPN网络和目标检测网络的权值进行共享，避免了对候选区域进行重复的卷积运算，大大提升了网络的运算速度。
2. 网络改进
Faster R-CNN在Pascal Voc、Coco等数据集上实验效果很好，但当同一类别目标特征相差较大时，网络的泛化能力还有很大的提升空间[13]，特别是在本文中，因为天气、环境、光照等因素使得乘员目标间特征差异较大，前期实验中仍然存在漏报、误报等问题。此外，本章在前期实验的基础上，对本文研究图像的目标检测做出分析：①应调整网络结构使网络泛化能力得到提高，减少漏报、误报情况的出现。②原始RPN网络中Anchor的设置是针对一般目标的，不适合本文的乘员目标检测。③RPN网络中将对应于原图上的ROI区域映射到特征图上，ROI-Pooling经历两次取整，最终提取的特征和原图的ROI不再对齐，导致目标的细节信息丢失。
2.1 全卷积网络结构
全卷积神经网络（Fully Convolutional Networks，FCN）[14]是Jonathan Long等人在2015年提出用于语义分割的一种网络结构，已经被广泛地应用于计算机视觉研究领域。全卷积网络的3个核心思想：卷积化、上采样、跳跃结构，本文基于预训练的VGG-16[15]网络结合上述3个方面做出改进。在原有VGG-16参数的基础上通过调整原有卷积核的步长代替池化层实现数据的降维，通过Loss值的反向传播来学习采样区域的最佳表达信息，使得图像更多的细节信息得以保留。用1×1的卷积核代替全连接层，通过控制卷积核的数量实现通道数大小的放缩，同时非线性激活函数的引入使得网络的非线性得到增强。
图 3是本文采用的基于VGG-16特征提取网络结构，与改进前相比，本文采用了两种特征尺度输出，在两种特征尺度基础上分别连接RPN网络并分别进行目标特征映射、目标分类与位置回归，有效弥补了单一尺度特征预测的局限性，使得网络在提高检测精度的同时提高网络对小目标的检测能力。本文将Conv5_3输出的特征进行上采样并与Conv4_3输出的特征进行融合，由于反卷积会随着网络深度增加出现训练不稳定、难收敛的问题，所以本文采用双线性插值的方法进行上采样。融合后特征的通道数发生了改变，所以再将融合后的特征通过1×1卷积降维到与Conv5_3相同的通道数。跳跃结构的特征融合可以有效缓解原始网络在数据降维时细节特征丢失严重的问题，同时深层特征图中包含了目标丰富的语义信息，浅层特征图中包含了目标的位置信息，二者融合将有效提高后续的目标分类与位置回归的特征基础。
2.2 K-means聚类
RPN网络使用了候选框滑动窗口生成机制，实现了多个候选区域的同时预测。RPN网络结构如图 4所示，图右侧为在每个滑动窗口所产生的k个候选框，由于待测目标的尺寸、宽高比的差异，往往需要设定多种几何尺度的候选框。在原始RPN网络中，候选框大小由3种尺度（128, 256, 512）、3种宽高比（1:1, 1:2, 2:1）组合而成，共9种，分别用于检测不同大小的目标。
本文识别目标为乘员脸部，目标大小总体上差异并不大，原始尺寸的候选框并不适合本文应用，因此本文选取K＝6，避免生成多余无用尺寸的候选框，同时对RPN网络中生成候选框的方式作以改进。通过一个基于交并比的K-means聚类算法，对大量训练数据进行目标框几何大小的先验知识进行学习[16]，得到适合本文两种尺度特征预测的6种尺寸的候选框。以此为参考来生成候选框，可以降低RPN网络训练的初始误差，提升网络训练的速度和目标定位精度。
在将数据集中所有边界框聚集在一起之后，从所有标注边界框中随机选取K个作为初始质心框，采用K-means聚类算法对n个标注框和K个初始质心框在宽高平面上进行聚类，其中第l个质心边界框到第i个标注边界框的距离$d\left( {\overline {{B_l}} - {B_i}} \right)$，如(1)所示：
$$d({\bar B_l} - {B_i}) = 1 - {\rm{IoU}}({\bar B_l},{B_i})$$ (1) 其中：
$${\rm{IoU}}({\bar B_l},{B_i}) = \frac{{S({{\bar B}_l} \cap {B_i})}}{{S({{\bar B}_l} \cup {B_i})}}$$ (2) $S(\overline {{B_1}} \cap {B_1})$与$S(\overline {{B_1}} \cup {B_1})$分别表示第l个质心框与第i个标注框的相交面积与相并面积，则公式(2)表示第l个质心框与第i个标注框面积的交并。通过公式(1)(2)定义的距离，可生成K个簇，分别求出每个簇中所有边界框的宽中值与高中值来作为这一簇中新质心框的宽与高。不断重复上述过程，当每个簇的质心框的更新误差小于给定误差时，停止聚类。本文使用8000张数据集15000左右个目标进行候选框大小的聚类，聚类结果如图 5所示，c0~c5为最终获得按照从小到大顺序排列的6种候选框尺寸，横纵坐标分别代表候选框与图片宽高长度的比值。本文的特征提取网络有两种尺度特征图输出，小尺度特征图具有较大的感受野，适合大目标的预测，因此c3~c5为feature map1连接的RPN网络生成候选框的尺寸。大尺度特征图相对感受野较小，适合小目标的预测，所以c0~c2为feature map2连接的RPN网络生成候选框的尺寸。
2.3 ROI-Align
RPN网络会产生大小不同的候选框，并在ROI-Pooling层中映射为固定大小的特征图，具体过程如图 6所示。候选目标框首先映射到深层特征图获得该候选目标的特征图，为了方便后续目标分类与坐标回归网络的计算，还会继续映射成固定大小的输入尺寸，这两次量化过程中，会存在非整数倍的缩放。以将目标特征图映射成固定尺寸输入为例，在ROI-Pooling中采用的处理是浮点数取整，如图 6(a)所示，采样网格外的阴影部分便是取整后省略掉的特征信息，正是这一原因使得Faster R-CNN对小目标的检测能力不强，同时减少特征信息的丢失有利于提高网络的泛化能力[17-18]。本文检测目标为乘员脸部，几何面积较小、目标特征差异较大，因此引用了ROI-Align来对此改进，提升网络的泛化能力和检测精度。参考文献18对于此部分的研究内容，ROI-Align完成特征映射的过程如图 6(b)所示。
ROI-Align是在Mask RCNN[19]中使用以将候选目标的特征图映射产生固定大小的feature map时提出的，它增加了额外的网络分支用于语义分割任务，虽然目标检测的准确率得到了提升，但网络的检测速度却大大降低，因此本文只借鉴了它ROI-Align部分的改进。它与ROI-Pooling的区别是保留了非整数倍的缩放，对于缩放后坐标不能刚好为整数的候选框，最近邻插值法直接选择离目标点最近的整数点坐标去代替原始坐标。如图 6(b)所示，每一池化单元分为4等份，假设每一等份的中心点分别为a、b、c、d。
假设a点坐标为(i+u, j+v)，其中i，j均为非负整数，(u, v)为[0, 1]区间的浮点数，a点附近的4个圆点分别表示离a点最近且坐标为整数的点，它们的坐标分别为(i, j)，(i+1, j)，(i, j+1)，(i+1, j+1)，f(i, j)表示坐标为(i+1, j)的点的像素值。则a点的像素值的计算公式可以表示为：
$$\begin{array}{l} f\left( {i + u,j + v} \right) = \left( {1 - u} \right) \times \left( {1 - v} \right) \times f\left( {i,j} \right) + \\ \quad \quad \quad \quad \quad \quad \;\;\;\;\left( {1 - u} \right) \times v \times f\left( {i,j + 1} \right) + \\ \quad \quad \quad \quad \quad \quad \;\;\;\;u \times \left( {1 - v} \right) \times f\left( {i + 1,j} \right) + \\ \quad \quad \quad \quad \quad \quad \;\;\;\;u \times v \times f\left( {i + 1,j + 1} \right) \\ \end{array} $$ (3) 其他3个点b，c，d处的像素值计算类似。
分别求得各个等分中的像素值后再进行最大池化采样，使得候选区域的特征信息全部都得以利用，增大了特征图单元的感受野。大量的实验表明，在检测大目标时，两者方案差别不大；当检测小目标时，RoI-Align更精准。
3. 实验分析
实验部分主要从RPN网络的训练曲线、改进前后网络泛化能力和识别准确率、检测速度等方面作以分析，同时随着乘员人数的增多，检测过程中漏报和误报的概率增大，所以将不同人数下的准确率作以统计对比。本文实验的硬件环境为Intel i7-7600k处理器，12 GB内存，Nvidia GeForce GTX 1080Ti显卡。软件上采用PyCharm编译平台，TensorFlow深度学习框架，CUDA版本为9.0。
3.1 RPN网络训练曲线
本文特征提取网络输出的两种尺度特征分别连接了RPN网络，并分别进行训练，对于两个网络生成的候选框使用非极大值抑制的方法滤除相同目标框。本文采用学习率动态更替的训练方式，batch_size大小为128，对原始的RPN网络及本文的两种特征尺度为预测基础的RPN网络绘制了位置回归Loss曲线，如图 7所示。从图中可以看出，改进后两个RPN网络的初始误差与改进前相比缩小了将近2倍，说明聚类后得到的候选框大小与实际的候选框大小更加接近。改进后的两个RPN网络在迭代六千次以后趋于收敛，网络收敛速度有明显提升，并且在训练过程中，震荡较小，Loss值下降明显。
为了直观验证RPN网络改进的效果，本文对改进前后的网络在1000张数据集上测试生成候选框的准确率，统计结果如表 1所示。同时为了保证测试结果的可靠性，本文也对网络改进（1×1卷积代替全连接等）部分进行试验。
表 1 RPN改进前后对比Table 1. RPN Comparison before and after improvementMethod Regions AP/% Times/ms Ori_RPN 2000 69.00 235 Our_RPN1 2000 74.43 240 Our_RPN2 2000 75.52 241 Our_RPN1+Net-Improved
Our_RPN2+Net-Improved2000
200074.91
76.17237
237从表中分步试验的结果可以看出，本文改进后的两个RPN网络相比于改进前分别提高了5.91%和7.17%的精度，网络结构的改进分别使得网络提高了0.48%和0.65%的精度，这说明改进后的候选框的质量更高。此外从图 7和表 1也可以看到，RPN2网络无论从位置回归Loss曲线的训练过程还是候选框的生成质量都具有很好的表现，说明特征融合后提高了特征质量，特征尺度变大后更有利于本文人脸目标的检测。
3.2 检测结果对比
首先测试模型的泛化能力，选取了一些典型的乘员目标特征差异较大的数据进行测试，特征差异主要表现在乘员脸部曝光程度、明暗差异等等。改进前后的检测效果如图 8所示。
由图 8中可以看出，即使是当曝光程度较高导致面部信息缺失严重时、人脸纹理特征不明显时，改进后的网络也可以对乘员面部进行准确标记，并保持较高的识别分数。当车膜较厚时，相机的透光率不足导致整体成像灰暗，主背景层次不明显，改进后的网络也可以准确标记。此外，抓怕过程的随机性与乘员目标状态的不确定性，乘员面部容易被车窗中间的壁柱遮挡，并且乘员目标的帽子、口罩等因素都会对脸部发生遮挡，从实验中可以看出改进后的网络可以实现对存在遮挡的目标准确判别。从实际检测效果来看，在可能存在漏报的几种情况下，改进后的网络的可以很好的完成检测任务，同时也能避免对靠枕等非检测目标的误报。
同时为了量化验证本文的改进效果，选取了2500张图片，每类乘员数量（1~5）各500张，将改进后网络和目前主流的YOLOv3[20]、Mask R-CNN等检测算法分别进行实验，记录各类乘员数量下检测的准确率和检测速度，统计结果如表 2所示。
表 2 不同算法检测效果对比Table 2. Comparison of detection results of different algorithmsNetwork Accuracy/% Fps 1 2 3 4 5 Faster R-cnn 74.8 72.6 69.8 65.4 58.8 17 Ours 88.6 86.2 83.0 78.8 73.2 15 YOLOv3 68.6 65.2 61.8 57.4 51.2 30 Mask R-CNN 82.4 78.8 76.2 72.4 66.8 5 从表 2的数据可以看出，在准确率上，本文的模型比其它模型表现更好，原因在于本文结合了其它几种模型的优点，准确率提高的同时增强了模型的泛化能力，检测的速度比改进前略微降低，但并不影响检测的实时性。相比于改进前的网络，单乘员检测的准确率提高了13.8%，多乘员检测的准确率也随之有明显提高，基本能保持在70%以上。YOLOv3是目前较为优秀的目标检测网络，但其算法计算的基础是针对正方形的图像输入，图像识别前会经预处理裁减掉大部分的背景信息，得到的驾驶室图像多为长方形，需要压缩成正方形后再输入网络，压缩后图像质量降低，网络预测的准确率不佳。Mask R-CNN的实验结果表明实例分割的效果优于一般的目标检测算法，但准确率略低于本文，说明虽然都采用了ROI-Align，但本文网络结构的改进提升了检测精度，此外，单目标的准确率也可以达到行业内的规定标准，但是语义分割网络的加入使得网络整体的计算量增大，检测速度只有本文的1/3。从实验数据可以总结得知，随着人数的增加，图像成像的不确定因素增大，检测的准确率随检测人数增加呈下降趋势，当检测人数不超过3人时，本文可以基本满足行业规定标准。
4. 结语
结合已获得的多光谱红外图像，本文以Faster R-CNN网络模型为基础，通过对网络结构、候选框生成方式、目标特征图的池化方式等方面做出改进，网络模型的泛化能力得到明显的提高，对图像中目标曝光度过高、目标纹理不清晰、面部遮挡严重等可能存在误报、漏报的情况也可以准确识别。相比于改进之前，本文单乘员的检测准确率达到88.6%，提升了13.8%，满足了行业内的规定标准。但随着乘员人数的增加，检测的不确定因素也随之增加，多乘员之间容易发生相互遮挡，当检测人数大于3时，准确率还不能达到行业内的规定标准，也就不能够满足乘员超载情况的检测要求。此外，在检测速度上相比于YOLOv3还有很大差距，提高各类数量乘员检测精度的同时提升检测速度将作为以后主要的研究方向。
-
![]()
图 1 基于融合重构的EnFCM聚类分割方法整体框架
Figure 1. Integral framework of EnFCM cluster segmentation method based on fusion reconstruction
![]()
图 2 自适应形态学重建去噪效果。(a)含噪图像；(b)去噪结果
Figure 2. Adaptive morphological gradient reconstruction denoising effect. (a) noisy image; (b) denoising result
![]()
图 3 自适应形态学重建后梯度图像。(a)原梯度图像；(b)重建后的梯度图像
Figure 3. Gradient image after adaptive morphological reconstruction. (a) Original gradient image; (b) reconstructed gradient image
![]()
图 4 FCM方法分割效果。(a)定子匝间短路；(c)转子断条故障；(b)、(d)分割结果
Figure 4. Segmentation effect of FCM method. (a) Stator turn-to-turn short-circuit fault; (c) fault of the rotor break; (b)(d) segmentation results
![]()
图 5 融入了SR前后的梯度图像。(a)融入SR前的梯度；(b)融入SR后的梯度
Figure 5. Gradient images before and after SR are incorporated. (a) Gradient before integration into SR; (b) gradient after integration into SR
![]()
图 6 定子匝间短路（含噪声）。(a)原图；(b)AFCF；(c)FRFCM；(d)FCM；(e)SFFCM；(f)FCM_SICM；(g)RSSFCA；(h)本文算法
Figure 6. Stator turn-to-turn short-circuit fault (Contains noise). (a) Original iamge; (b) AFCF; (c) FRFCM; (d) FCM; (e) SFFCM; (f) FCM_SICM; (g) RSSFCA; (h) proposed
![]()
图 7 转子断条故障（含噪声）。(a)原图；(b)AFCF；(c)FRFCM；(d)FCM；(e)SFFCM；(f)FCM_SICM；(g)RSSFCA；(h)本文算法
Figure 7. Fault of the rotor break (Contains noise). (a) Original iamge; (b) AFCF; (c) FRFCM; (d) FCM; (e) SFFCM; (f) FCM_SICM; (g) RSSFCA; (h) proposed
![]()
图 8 刀闸故障（含噪声）。(a)原图；(b)AFCF；(c)FRFCM；(d)FCM；(e)SFFCM；(f)FCM_SICM；(g)RSSFCA；(h)本文算法
Figure 8. Breaker failure (Contains noise). (a) Original iamge; (b) AFCF; (c) FRFCM; (d) FCM; (e) SFFCM; (f) FCM_SICM; (g) RSSFCA; (h) proposed
![]()
图 9 线夹故障1（含噪声）。(a)原图；(b)AFCF；(c)FRFCM；(d)FCM；(e)SFFCM；(f)FCM_SICM；(g)RSSFCA；(h)本文算法
Figure 9. Contact terminal failure 1 (Contains noise). (a) Original iamge; (b) AFCF; (c) FRFCM; (d) FCM; (e) SFFCM; (f) FCM_SICM; (g) RSSFCA; (h) proposed
![]()
图 10 线夹故障2（含噪声）。(a)原图；(b)AFCF；(c)FRFCM；(d)FCM；(e)SFFCM；(f)FCM_SICM；(g)RSSFCA；(h)本文算法
Figure 10. Contact terminal failure 2 (Contains noise). (a) Original iamge; (b) AFCF; (c) FRFCM; (d) FCM; (e) SFFCM; (f) FCM_SICM; (g) RSSFCA; (h) proposed
![]()
图 11 电抗器故障（含噪声）。(a)原图；(b)AFCF；(c)FRFCM；(d)FCM；(e)SFFCM；(f)FCM_SICM；(g)RSSFCA；(h)本文算法
Figure 11. Inductor failure (Contains noise). (a) Original iamge; (b) AFCF; (c) FRFCM; (d) FCM; (e) SFFCM; (f) FCM_SICM; (g) RSSFCA; (h) proposed
表 1 不同分割方法的IOU与DICE系数值
Table 1 IOU and DICE coefficient values of different segmentation methods
Experimental results Index Methods FRFCM FCM SFFCM FCM_SICM RSSFCA AFCF Proposed Fig.6 IOU 0.5823 0.3658 0.4897 0.5431 0.3256 0.0827 0.9486 DICE 0.6521 0.4046 0.5215 0.6418 0.3391 0.8517 0.9587 Fig.7 IOU 0.7015 0.8019 0.7259 0.5681 0.4033 0.8002 0.9635 DICE 0.7825 0.8693 0.7652 0.5852 0.4231 0.8213 0.9635 Fig.8 IOU 0.8369 0.3845 0.3652 0.6485 0.4988 0.6378 0.9368 DICE 0.8722 0.4316 0.3596 0.6716 0.5021 0.6521 0.9465 Fig.9 IOU 0.8701 0.5864 0.3142 0.4163 0.4374 0.8115 0.9662 DICE 0.7711 0.6364 0.3212 0.4623 0.4516 0.8311 0.9732 Fig.10 IOU 0.8652 0.4562 0.3021 0.6523 0.6881 0.3225 0.9625 DICE 0.8699 0.4214 0.3124 0.7024 0.6557 0.3314 0.9718 Fig.11 IOU 0.8421 0.3022 0.6625 0.7968 0.3225 0.6337 0.9568 DICE 0.8235 0.3158 0.6538 0.8024 0.3126 0.6118 0.9589 
下载: 导出CSV
表 2 不同方法的分割准确率（SA）值
Table 2 Segmentation accuracy (SA) values of different methods
Experimental results FRFCM FCM SFFCM FCM_SICM RSSFCA AFCF Proposed Fig. 6 0.7654 0.4254 0.6535 0.5674 0.4885 0.8005 0.9654 Fig. 7 0.8243 0.7635 0.7224 0.7423 0.7214 0.7968 0.9824 Fig. 8 0.8535 0.4575 0.4635 0.5663 0.8957 0.5671 0.9633 Fig. 9 0.3525 0.4012 0.8026 0.4685 0.7135 0.8213 0.9736 Fig. 10 0.8221 0.4115 0.4021 0.6587 0.5425 0.5732 0.9689 Fig. 11 0.8365 0.4965 0.4215 0.6652 0.4002 0.5235 0.9775
下载: 导出CSV
-
[1] Kim H J, Lee J H, Baek D H, et al. A study on the thermal performance of batteries using thermal imaging and infrared radiation[J]. Journal of Industrial and Engineering Chemistry, 2017, 45: 360-365. DOI: 10.1016/j.jiec.2016.10.003
[2] 赵庆生, 王雨滢, 王旭平, 等. 基于新型阈值选择方法的变电站红外图像分割[J]. 光学学报, 2019, 39(8): 109-116. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201908014.htm ZHAO Qingsheng, WANG Yuying, WANG Xuping, et al. Substation infrared image segmentation based on novel threshold selection method[J]. Acta Optica Sinica, 2019, 39(8): 109-116. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201908014.htm
[3] 黄志鸿, 洪峰, 黄伟. 形状自适应低秩表示的电力设备热故障诊断方法研究[J]. 红外技术, 2022, 44(8): 870-874. http://hwjs.nvir.cn/article/id/8f0f8a69-4b47-46b4-bcdf-ea623287093f HUANG Zhihong, HONG Feng, HUANG Wei. Shape adaptation low rank representation for thermal fault diagnosis of power equipments[J]. Infrared Technology, 2022, 44(8): 870-874. http://hwjs.nvir.cn/article/id/8f0f8a69-4b47-46b4-bcdf-ea623287093f
[4] 朱惠玲, 牛哲文, 黄克灿, 等. 基于单阶段目标检测算法的变电设备红外图像目标识别及定位[J]. 电力自动化设备, 2021, 41(8): 217-224. https://www.cnki.com.cn/Article/CJFDTOTAL-DLZS202108032.htm ZHU Huiling, NIU Zhewen, HUANG Kecan, et al. Identification and location of infrared image for substation equipment based on single-stage object detection algorithm[J]. Electric Power Automation Equipment, 2021, 41(8): 217-224. https://www.cnki.com.cn/Article/CJFDTOTAL-DLZS202108032.htm
[5] 陈达, 何全才, 迪二镇, 等. 自适应权重的偏微分分割模型在变电设备红外图像中的应用[J]. 红外技术, 2022, 44(2): 179-188. http://hwjs.nvir.cn/article/id/24c18eab-82d8-4403-bb0a-891418242d98 CHEN Da, HE Quancai, DI Erzhen, et al. Application of partial differential segmentation model with adaptive weight in infrared image of substation equipment[J]. Infrared Technology, 2022, 44(2): 179-188. http://hwjs.nvir.cn/article/id/24c18eab-82d8-4403-bb0a-891418242d98
[6] 郭锋, 郑雷, 葛黄徐, 等. 基于相似度阈值模糊聚类的红外区域提取方法[J]. 红外技术, 2022, 44(8): 863-869. http://hwjs.nvir.cn/article/id/2db6a354-f9b9-4fd3-9e18-d032468a6ee6 GUO Feng, ZHEN Lei, GE Huangxu, et al. Infrared image segmentation method based on fuzzy clustering with similarity thresholding[J]. Infrared Technology, 2022, 44(8): 863-869. http://hwjs.nvir.cn/article/id/2db6a354-f9b9-4fd3-9e18-d032468a6ee6
[7] 王晓飞, 胡凡奎, 黄硕. 基于分布信息直觉模糊c均值聚类的红外图像分割算法[J]. 通信学报, 2020, 41(5): 120-129. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB202005013.htm WANG Xiaofei, HU Fankui, HUANG Shuo. Infrared image segmentation algorithm based on distribution information intuitionistic fuzzy c-means clustering[J]. Journal on Communications, 2020, 41(5): 120-129. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB202005013.htm
[8] 邢致恺, 贾鹤, 宋文龙. 基于莱维飞行樽海鞘群优化算法的多阈值图像分割[J]. 自动化学报, 2021, 47(2): 363-377. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202102009.htm XING Zhikai, JIA He, SONG Wenlong. Levy flight trajectory-based salpswarm algorithm for multilevel thresholding image segmentation[J]. Acta Automatica Sinica, 2021, 47(2): 363-377. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202102009.htm
[9] 李云红, 张秋铭, 周小计, 等. 基于形态学及区域合并的分水岭图像分割算法[J]. 计算机工程与应用, 2020, 56(2): 190-195. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202002028.htm LI Yunhong, ZHANG Qiuming, ZHOU Xiaoji, et al. Watershed image segmentation algorithm based on morphology and region merging[J]. Computer Engineering and Applications, 2020, 56(2): 190-195. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202002028.htm
[10] 周可慧, 廖志伟, 肖异瑶, 等. 基于改进CNN的电力设备红外图像分类模型构建研究[J]. 红外技术, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm ZHOU Kehui, LIAO Zhiwei, XIAO Yiyao, et al. Construction of infrared image classification model for power equipment based on improved CNN[J]. Infrared Technology, 2019, 41(11): 1033-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911007.htm
[11] Krinidis S, Chatzis V. A Robust fuzzy local information c-means clustering algorithm[J]. IEEE Transactions on Image Processing, 2010, 19(5): 1328-1337. DOI: 10.1109/TIP.2010.2040763
[12] GONG M G, ZHOU Z Q, MA J J. Change detection in synthetic aperture radar images based on image fusion and fuzzy clustering[J]. IEEE Transactions on Image Processing, 2012, 21(4): 2141-2151. DOI: 10.1109/TIP.2011.2170702
[13] 王小鹏, 张永芳, 王伟, 等. 基于自适应滤波的快速广义模糊C均值聚类图像分割[J]. 模式识别与人工智能, 2018, 31(11): 1040-1046. https://www.cnki.com.cn/Article/CJFDTOTAL-MSSB201811011.htm WANG Xiaopeng, ZHANG Yongfang, WANG Wei, et al. Image segmentation using fast generalized fuzzy c-means clustering based on adaptive filtering[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(11): 1040-1046. https://www.cnki.com.cn/Article/CJFDTOTAL-MSSB201811011.htm
[14] 李昌兴, 张晓璐, 雷柳. 基于粒子群优化非局部模糊聚类图像分割算法[J]. 光电子·激光, 2019, 30(7): 759-767. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201907013.htm LI Changxing, ZHANG Xiaolu, LEI Liu. Non-local fuzzy clustering image segmentation algorithm based on particle swarm optimization[J]. Journal of Optoelectronics Laser, 2019, 30(7): 759-767. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201907013.htm
[15] 火忠彩. 基于改进FCM的图像分割算法研究[D]. 兰州: 兰州交通大学, 2019. HUO Zhongcai. Research of Image Segmentation Algorithm Based on Improved FCM[D]. Lanzhou: Lanzhou Jiaotong University, 2019.
[16] WANG Qingsheng, WANG Xiaopeng, FANG Chao, et al. Robust fuzzy c-means clustering algorithm with adaptive spatial & intensity constraint and membership linking for noise image segmentation[J]. Applied Soft Computing, 2020, 92: 106318. DOI: 10.1016/j.asoc.2020.106318
[17] LEI Tao, JIA Xiaohong, ZHANG Yanning, et al. Significantly fast and robust fuzzy c-means clustering algorithm based on morphological reconstruction and membership filtering[J]. IEEE Transactions on Fuzzy Systems, 2018, 26(5): 3027-3041. DOI: 10.1109/TFUZZ.2018.2796074
[18] 刘剑秋, 阮秋琦. 形态学重建滤波器的研究与应用[J]. 通信学报, 2002(1): 116-121. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB200201016.htm LIU Jianqiu, RUAN Qiuqi. The research and application of morphological filter by reconstruction[J]. Journal on Communications, 2002(1): 116-121. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB200201016.htm
[19] 袁芊芊, 邓洪敏, 王晓航. 基于超像素快速模糊C均值聚类与支持向量机的柑橘病虫害区域分割[J]. 计算机应用, 2021, 41(2): 563-570. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202102039.htm YUAN Qianqian, DENG Hongmin, WANG Xiaohang. Citrus disease and insect pest area segmentation based on superpixel fast fuzzy C -means clustering and support vector machine[J]. Journal of Computer Applications, 2021, 41(2): 563-570. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202102039.htm
[20] 刘岳, 王小鹏, 王金全, 等. 基于形态学重建和梯度分层修正的分水岭脑肿瘤分割[J]. 计算机应用研究, 2015, 32(8): 2487-2491. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ201508061.htm LIU Yue, WANG Xiaopeng, WANG Jinquan, et al. Watershed algorithm for brain tumor segmentation based on morphological reconstruction and gradient layered modification[J]. Application Research of Computers, 2015, 32(8): 2487-2491. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ201508061.htm
[21] 王小鹏, 李新娜, 杨文婷. 自适应形态学重建的遥感图像道路提取[J]. 测绘科学, 2022, 47(5): 83-90. https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD202205011.htm WANG Xiaopeng, LI Xinna, YANG Wenting. Road extraction from remote sensing image based on adaptive morphological reconstruction[J]. Science of Surveying and Mapping, 2022, 47(5): 83-90. https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD202205011.htm
[22] LEI Tao, JIA Xiaohong, LIU Tongliang, et al. Adaptive morphological reconstruction for seeded image segmentation[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2019, 28(11): 5510-5523. DOI: 10.1109/TIP.2019.2920514
[23] 陈霄, 沈洪健, 李菲, 等. 基于谱残差与笔画宽度变换的显著性文本检测方法[J]. 吉林大学学报: 理学版, 2017, 55(6): 1528-1532. https://www.cnki.com.cn/Article/CJFDTOTAL-JLDX201706033.htm CHEN Xiao, SHEN Hongjian, LI Fei, et al. Salient text detection method based on spectral residual and stroke width transform[J]. Journal of Jilin University: Science Edition, 2017, 55(6): 1528-1532. https://www.cnki.com.cn/Article/CJFDTOTAL-JLDX201706033.htm
[24] 沈洪健. 基于农用车辆牌照特征识别系统研究[D]. 长春: 吉林农业大学, 2020. SHEN Hongjian. Research on the Feature Recognition System of Agricultural Vehicle License Plates[D]. Changchun: Jilin Agricultural University, 2020.
[25] 罗其俊, 曹志芬, 牛国臣. 基于加强模糊聚类的航空行李图像超像素分割[J]. 航空学报, 2020, 41(S2): 205-212. https://www.cnki.com.cn/Article/CJFDTOTAL-HKXB2020S2023.htm LUO Qijun, CAO Zhifen, NIU Guochen. Super-pixel segmentation of air baggage image based on enhanced fuzzy clustering[J]. Acta Aeronautica et Astronautica Sinica, 2020, 41(S2): 205-212. https://www.cnki.com.cn/Article/CJFDTOTAL-HKXB2020S2023.htm
[26] 张聪炫, 裴刘继, 陈震, 等. FRFCM聚类与深度优化的RGBD场景流计算[J]. 电子学报, 2020, 48(7): 1380-1386. https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU202007018.htm ZHANG Congxuan, PEI Liuji, CHEN Zhen, et al. RGBD scene flow estimation based on FRFCM clustering and depth optimization[J]. Acta Electronica Sinica, 2020, 48(7): 1380-1386. https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU202007018.htm
[27] JIA Xiaohong, LEI Tao, DU Xiaogang, et al. Robust self-sparse fuzzy clustering for image segmentation[J]. IEEE Access, 2020, 9: 146182-146195. http://www.xueshufan.com/publication/3048714307
[28] LEI Tao, LIU Peng, JIA Xiaohong, et al. Automatic fuzzy clustering framework for image segmentation[J]. IEEE Transactions on Fuzzy Systems, 2020, 9(28) : 2078-2092.
[29] LI Chunming, HUANG Rui, DING Zhaohua, et al. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI[J]. IEEE Transactions on Image Processing, 2011, 20(7): 2007-2016.
[30] 宋小鹏, 李国熊, 张权, 等. 结合局部和非局部信息的FCM图像分割算法[J]. 火力与指挥控制, 2020, 45(10): 28-33. https://www.cnki.com.cn/Article/CJFDTOTAL-HLYZ202010006.htm SONG Xiaopeng, LI Guoxiong, ZHANG Quan, et al. An FCM algorithm incorporating with local and non-local information for image segmentation[J]. Fire Control & Command Control, 2020, 45(10): 28-33. https://www.cnki.com.cn/Article/CJFDTOTAL-HLYZ202010006.htm
-
期刊类型引用(2)
1. 魏庆为，张丽红. 基于文本表达的指向性目标分割方法研究. 测试技术学报. 2022(01): 42-47+59 . 
百度学术
2. 张来伟，陈乃建，范振，包佳伟. 结合目标识别和定位的轮椅机械臂抓取研究. 山东工业技术. 2021(04): 10-16 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 75
- HTML全文浏览量: 13
- PDF下载量: 17
- 被引次数: 5
