基于模糊推理的电气设备红外图像分割

曾水玲; 唐敏之

基于模糊推理的电气设备红外图像分割

曾水玲^{1, 2,},
唐敏之¹

1.
吉首大学信息科学与工程学院, 湖南吉首 416000
2.
南京理工大学江苏省社会安全图像与视频理解重点实验室, 江苏南京 210094

基金项目:

国家自然科学基金项目 61363033

国家自然科学基金项目 61966014

湖南省研究生科研创新项目 CX20221107

江苏省社会安全图像与视频理解重点实验室开放课题 202212

吉首大学校级科研项目 Jdy22026

详细信息

作者简介:
曾水玲（1975-），女，博士，教授，研究方向为人工智能与模式识别。E-mail: zengflsl@163.com

中图分类号: TP391
计量
- 文章访问数: 176
- HTML全文浏览量: 29
- PDF下载量: 29
出版历程
- 收稿日期: 2022-03-29
- 修回日期: 2022-05-10
- 刊出日期: 2023-05-19

Infrared Image Segmentation for Electrical Equipment based on Fuzzy Inference

ZENG Shuiling^{1, 2,},
TANG Minzhi¹

1.
Jishou University, College of Information Science and Engineering, Jishou 416000, China
2.
Key Laboratory of Image and Video Understanding for Social Safety, Nanjing University of Science and Technology, Nanjing 210094, China

摘要

摘要: 使用模糊理论处理电气设备红外图像分割的不确定性，提出了一种基于模糊推理的电气设备红外图像分割算法。首先分别利用电气设备红外图像故障区域的像素灰度、像素点与图像质心的马氏距离以及图像膨胀操作定义了强度特征、全局故障可能性特征和局部灰度特征；然后根据特征的模糊语言值制定了27条模糊规则，设计了一种模糊推理红外图像分割算法；最后，从主观和客观评价指标上将算法与传统Otsu算法和FCM算法进行了对比。实验表明，该算法的分割精度和误分割率比其他两种算法都有一定的改善，同时该算法能够滤除图像中具有高亮度的干扰区域，对具有小亮度差和小面积故障区域的红外图像有较好的分割效果。
- 模糊推理 /
- 红外图像分割 /
- 马氏距离 /
- 图像膨胀
Abstract: Fuzzy theory is considered to address the uncertainty of infrared image segmentation of electrical equipment, and a new algorithm based on fuzzy inference for infrared image segmentation of electrical equipment is proposed in this paper. First, the intensity, global fault probability, and local grayscale features were defined using the pixel grayscale of the fault region in the infrared image of the electrical equipment, Mahalanobis distance between pixel points, image center of mass, and image dilation operation. Subsequently, 27 fuzzy rules were formulated based on the fuzzy language values of the features, and an infrared image segmentation algorithm based on fuzzy inference was designed. Finally, the algorithm was compared with the traditional Otsu and FCM algorithms in terms of subjective and objective evaluation indexes. Further, the experimental results show that the segmentation accuracy and misclassification error of the proposed algorithm are better than those of the other two algorithms. The algorithm can filter out interference regions with high luminance in infrared images, and exhibits a better segmentation effect on infrared images with small luminance differences and small fault areas.
- fuzzy inference /
- infrared image segmentation /
- Mahalanobis distance /
- image dilation

HTML全文

0. 引言

太阳光中包含各种波段的光，但是地球大气层中的臭氧层会对220~280 nm波段的紫外光进行吸收，因此该波段的光很难到达地球表面，该波段又被称为“日盲”紫外波段^[1]。我们通过220~280 nm紫外光的日盲特性对处于该波段的目标物进行检测成像，能够有效地排除掉阳光对其造成的影响。而高压输电线路由于其自身的故障会在大气中产生电晕，电晕放电会放射出波段为220~280 nm的紫外光^[2-6]。传统的电晕探测技术有红外热探测和超声波探测，日盲紫外电晕探测相比于这两种技术有极大的改进：和红外技术相比，在早期就能检测到高压输电线上的电晕放电现象，并且不受周边环境干扰；和超声波技术相比，能够探测的距离长，并且能够检测出电晕放电产生的位置。如今，国内的紫外检测技术飞速发展，以国产碲铯阴极紫外像增强器为核心的紫外成像仪能够对电力设备故障进行实时的检测^[7-9]。

1. 光子计数原理

在日盲紫外电晕成像探测过程中，一般是根据显示器上所显示的日盲紫外图像来主观判断电晕放电的程度，这样会带来很大的误差，所以需要通过具体的算法对日盲紫外电晕放电进行量化分析。考虑到日盲紫外电晕信号十分微弱，达到了单光子水平，普通的量化分析方法不能满足要求，因此需要设计合理的光子计数算法来对日盲紫外信号进行量化分析。

图 1是单光子探测的原理图。首先，光信号通过光学镜头进行光学聚焦；然后，前端光电探测器将光信号转化成电信号；其次，将电信号输入至信号处理模块进行处理；最后，后端读出电路模块将处理之后的信号进行输出。其中，因为日盲紫外信号十分微弱，传统的固体探测器件难以达到要求，因此一般会采用真空器件对信号进行光电转换和电子倍增。与此同时，当需要对目标信号强弱进行分析并对其进行成像时，采用像增强器作为光电转换和成像器件^[10]。

图 1 单光子探测原理框图

Figure 1. Block diagram of single photon detection

下载: 全尺寸图片幻灯片

当日盲紫外光子信号低于3×10^－15 W/cm²时，光电转换器就会产生离散脉冲信号，合适的CMOS传感器就能探测到光子信号，所以能够统计日盲紫外信号光子的数量来实现对目标源信号的定量化分析。光子的能量公式为：

$$ E = h\frac{c}{\lambda } $$

(1)

式中：h为普朗克常数；c为真空中的光速；λ为光的波长。其中日盲紫外波段为200~280 nm^[3]，通过计算得出一个日盲紫外光子的能量为7.1×10^－19~1×10^－18 J。

日盲紫外光光功率P表示为：

$$ P＝N×E $$

(2)

式中：N表示光子数；E表示单光子能量，所以单位时间内通过的光能量表示光流强度。

目标源信号的光功率可以通过统计一个截面上的光子数量来计算得到^[4-7]。由于图像传感器靶面尺寸约为1.56 cm²，通过对单位时间内探测到的紫外图像上出现的光斑进行计数统计，就能计算得出一帧图像的光子数以及日盲紫外信号源的光功率。

2. 测试系统

本文所设计的日盲紫外成像系统原理框图如图 2所示，成像系统主要由紫外ICMOS模组、可见光探测器、ARM+FPGA嵌入式处理系统组成。其中，紫外ICMOS模组用来采集日盲紫外微弱信号，并经过模数转换将数字图像信号输入嵌入式平台中；可见光探测器采集可见光图像为日盲紫外信号提供位置信息；ARM+FPGA嵌入式处理系统通过采集紫外数字图像信息，完成图像处理和光子计数算法，并将处理后的图像输出显示。

图 2 日盲紫外成像系统整体设计框图

Figure 2. Block diagram of overall design of solar blind ultraviolet imaging system

下载: 全尺寸图片幻灯片

图 3是所设计的日盲紫外成像系统整机实物图，尺寸（长×宽×高）为244 mm×135 mm×96 mm。其中1为相机窗口，2为LCD液晶屏，3为按键控制面板，4为电源充电口和TF卡槽，5为腕带。

图 3 日盲紫外成像系统整机实物图

Figure 3. The physical picture of the solar blind UV imaging system

下载: 全尺寸图片幻灯片

3. 日盲紫外光子计数算法设计

3.1 传统光子计数算法分析

传统的光子计数算法通常为连通域标记光子计数算法，其算法主要思路为：假设单光子经过像增强器倍增以后，在荧光屏上所显示的每一个光斑都未重合。那么每一个光斑就对应了一个光电子，因此只需要对一帧图像中光斑出现的数量，就可以得出一帧图像中日盲紫外光子数。在连通域标记算法中，对经过图像预处理后的紫外图像进行二值化处理，得到一幅二值化图像。每个由灰度255组成的连通域表示为一个光子事件，图 4为连通域标记算法的示意图。

图 4 连通域标记算法说明

Figure 4. Connected domain labeling algorithm description

下载: 全尺寸图片幻灯片

然后，对所采集到的一帧紫外图像进行连通域算法仿真分析，图 5为所采集到的日盲紫外图像和二值化后的图像。

图 5 紫外图像二值化

Figure 5. UV image binary processing

下载: 全尺寸图片幻灯片

通过对图进行连通域标记光子计数算法仿真，可以得出共有12个光子。通过分析二值化后的图像可知，连通域标记算法将光斑较大和较小的区域都默认为一个光子事件进行统计，这样显然影响了光子计数的准确度，因此需要对此光子计数算法进行改进。

3.2 基于时间相关的光子计数算法设计

弥散圆斑算法是一种从三维空间上统计光子数的方法，由于所设计的高帧频算法，可以使得光斑的变化在时间域上被捕获，因此本文在此基础上添加了时间因素，弥补光斑出现时间的随机性，找出四维空间中的最大点，约束条件如式(3)：

$$ \left\{ \begin{gathered} {f_x}'(x,y,z) \leqslant 0 \hfill \\ {f_y}'(x,y,z) \leqslant 0 \hfill \\ {f_t}'(x,y,z) \leqslant 0 \hfill \\ \end{gathered} \right. $$

(3)

由于加入了时间的约束，所以只有找出一段时间内几帧图像同一位置光斑的极大值点才能准确计算光子数。本文采用的CMOS传感器图像输出频率为3 ms每帧，而荧光屏的余晖时间为6 ms，即光斑在荧光屏上的起伏时间为6 ms，因此我们通过连续采样得到3帧图像就能得到光斑的变化范围，如图 6所示，其中a、b、c表示图像中光斑的灰度值。

图 6 单个光斑脉冲连续采样图

Figure 6. Continuous sampling of single spot pulse

下载: 全尺寸图片幻灯片

如图 6所示，中间一帧图像中b灰度值最大，可以将b记作一个光子数，因此只要中间帧图像中光斑的灰度值大于前后帧图像光斑的灰度值，就能将其记为一个光子数。

这样就能统计出一帧图像的光子数^[10]：

$$ n = \sum\limits_{k = 1}^f {\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {Y(i,j,k)} } } $$

(4)

式中：f为日盲紫外成像探测器的帧频；k为第k帧图像；(i, j)为二维空间坐标；Y(i, j, k)为四维空间中的极大值点。由于日盲紫外成像探测器能达到300帧/s的帧频，两帧之间的变化时间较小，因此Y(i, j, k)又能满足：

$$ B(i,j,k)≥B(i±i′,j±j′,k±k′) $$

(5)

式中：B(i, j, k)为第k帧(i, j)点的灰度值。由上式可见，极大值点Y(i, j, k)的约束条件为：B(i, j)在i′×j′矩阵像素中具有最大的灰度值，且在前后k′帧的同一位置的灰度值也是最大的。根据日盲紫外成像探测器的输出帧频，这里k′＝1，同时i′×j′矩阵可设定为3×3矩阵或5×5矩阵。

4. 实验流程与不确定性度分析

4.1 光子计数算法的仿真实验分析

首先，本文用日盲紫外成像探测器采集图像，然后运用Matlab软件分别对两种算法进行仿真，比较仿真结果来判断时间相关的光子计数算法能否提高计数精度。

首先选用260 nm波段的紫外光源，然后日盲紫外成像探测器的增益电压调节为2.5 V，调节紫外光源光功率密度，从3×10^－19 W/cm²每次往上增加一个数量级，采集3组不同光强的实验图像，每组实验记录3幅图像，如图 7所示。

图 7 日盲紫外三组实验图像

Figure 7. Three sets of experimental images of solar blind ultraviolet

下载: 全尺寸图片幻灯片

运用MATLAB软件对采集的图像仿真，得出的光子数如表 1所示。表 1中的两种算法为连通域计数算法和基于时间相关算法。

表 1 两种算法光子计数统计表

Table 1. Photon counting statistic table of two algorithm

	Connected domain labeling algorithm	Dispersion circular algorithm
Group 1	7	6
Group 2	78	78
Group 3	88	291

下载: 导出CSV

| 显示表格

结果显示，当信号源很弱时，光子就会分散分布，因此两种算法的计数结果比较相近。在增强紫外光源的光功率后，光斑会重叠，并且连通域标记光子计数算法得出的光子数量没有太大变化，而本文所设计的算法随着信号的增强，计数值不断增加，由此可知，弥散圆斑算法相对于连通域计数算法更加精确，可对日盲紫外单光子进行准确统计。

4.2 基于日盲紫外成像系统的光子计数算法实验及分析

通过对两种算法的仿真分析可知，本文所设计的光子计数算法更具准确性，但由于所设计成像系统的资源和速度限制，我们将日盲紫外图像的14 bit数据压缩成8 bit数据进行处理，因此会使得计数精度上有所偏差，所以通过对紫外光源的实验来验证硬件实现的效果。

实验采用氘灯作为日盲紫外目标源进行光子计数实验测试，紫外ICMOS模组的增益电压保持不变，进行了如下3组实验：

第一组，关闭日盲紫外信号源，实验结果如图 8所示。

图 8 第一组实验图像

Figure 8. The first set of experimental images

下载: 全尺寸图片幻灯片

通过采集3帧图像，所计算的光子数一直为0，说明所设计的成像系统暗计数良好。

第二组，打开氘灯光源，并调节光源强度到最弱，采集到的图像如图 9所示。

图 9 第二组实验图像

Figure 9. The second set of experimental images

下载: 全尺寸图片幻灯片

第三组，输出光源光功率密度加到1×10^－18 W/cm²，采集到的图像如图 10所示。

图 10 第三组实验图像

Figure 10. The third set of experimental images

下载: 全尺寸图片幻灯片

然后，我们利用Matlab对每组连续的3帧图像进行所设计的光子计数算法仿真，仿真结果与FPGA计算的结果如表 2所示。

表 2 四组光子计数实验结果

Table 2. Results of four groups of photon counting experiments

	Group1	Group 2	Group 3
FPGA output result	0	24	141
Matlab simulation result	0	23	149

下载: 导出CSV

| 显示表格

通过表 2可知，硬件实验的光子计数算法与仿真结果相近，证明了所设计的基于时间域的弥散圆斑光子计数算法在成像系统中可以硬件实现，并且效果良好。

5. 结论

日盲紫外电晕探测是近年来一种新型的电晕探测方式，但是紫外图像单靠人眼无法精确地判断电晕信号的强弱，因此本文研究了日盲紫外光子计数算法，通过对连通域标记算法和弥散圆斑算法进行分析提出了基于时间相关算法，然后使用Matlab对两种算法进行了实验仿真，结果显示基于时间相关算法对光子计数更加准确，最后，通过实验验证所设计的算法可以在成像系统中的FPGA硬件平台上实现，并且实现的效果良好，能够用于紫外成像仪中对信号进行量化分析。

图 1 模糊推理系统结构图

Figure 1. Structure diagram of fuzzy inference system

下载: 全尺寸图片幻灯片

图 2 强度特征隶属度函数

Figure 2. Intensity feature membership function

下载: 全尺寸图片幻灯片

图 3 马氏距离等高线

Figure 3. Mahalanobis distance contour

下载: 全尺寸图片幻灯片

图 4 欧氏距离等高线

Figure 4. Euclidean distance contour

下载: 全尺寸图片幻灯片

图 5 全局故障可能性特征隶属度函数

Figure 5. Global failure probability feature membership function

下载: 全尺寸图片幻灯片

图 6 局部灰度分布特征隶属度函数

Figure 6. Local gray distribution features membership function

下载: 全尺寸图片幻灯片

图 7 基于模糊推理的电气设备红外图像分割算法流程图

Figure 7. Flow chart of infrared image segmentation algorithm for electrical equipment based on fuzzy reasoning

下载: 全尺寸图片幻灯片

图 8 110 kV变电站红外图像

Figure 8. Infrared image of 110kV substation

下载: 全尺寸图片幻灯片

图 9 110 kV变电站红外灰度图像

Figure 9. Infrared gray level image of 110kV substation

下载: 全尺寸图片幻灯片

图 10 可能故障区域

Figure 10. Possible failure area

下载: 全尺寸图片幻灯片

图 11 强度特征图

Figure 11. Intensity characteristic map

下载: 全尺寸图片幻灯片

图 12 全局故障可能性特征图

Figure 12. Global fault possibility feature diagram

下载: 全尺寸图片幻灯片

图 13 局部灰度分布特征图

Figure 13. Local gray distribution feature

下载: 全尺寸图片幻灯片

图 14 模糊推理输出图像图

Figure 14. Fuzzy inference output image

下载: 全尺寸图片幻灯片

图 15 分割图像

Figure 15. Segmented image

下载: 全尺寸图片幻灯片

图 16 电气设备红外图像

Figure 16. Infrared image of electrical equipment

下载: 全尺寸图片幻灯片

图 17 Otsu算法分割效果

Figure 17. Segmentation effect of Otsu algorithm

下载: 全尺寸图片幻灯片

图 18 FCM算法分割效果

Figure 18. Segmentation effect of FCM algorithm

下载: 全尺寸图片幻灯片

图 19 本文算法的分割效果

Figure 19. The segmentation effect of the algorithm in this paper

下载: 全尺寸图片幻灯片

图 20 Ground Truth标准分割图像

Figure 20. Ground Truth standard segmentation image

下载: 全尺寸图片幻灯片

表 1 基于多特征改进的模糊规则

Table 1 Fuzzy rules based on multi-feature improvement

	Intensity characteristic	Global failure possibility characteristics	Local gray distributioncharacteristics	Failure membership characteristics
1	small	small	small	small
2	small	small	medium	small
3	small	small	big	medium
4	small	medium	small	small
5	small	medium	medium	medium
6	small	medium	big	medium
7	small	big	small	small
8	small	big	medium	small
9	small	big	big	big
10	medium	small	small	medium
11	medium	small	medium	medium
12	medium	small	big	medium
13	medium	medium	small	medium
14	medium	medium	medium	medium
15	medium	medium	big	big
16	medium	big	small	medium
17	medium	big	medium	medium
18	medium	big	big	big
19	big	small	small	medium
20	big	small	medium	medium
21	big	small	big	medium
22	big	medium	small	medium
23	big	medium	medium	medium
24	big	medium	big	big
25	big	big	small	medium
26	big	big	medium	medium
27	big	big	big	big

下载: 导出CSV

表 2 算法评价指标对比

Table 2 Algorithm evaluation index comparison

	Figure 1		Figure 2		Figure 3		Figure 4
	IOU	ME	IOU	ME	IOU	ME	IOU	ME
Otsu algorithm	0.59%	49.30%	0.30%	21.67%	83.55%	1.70%	25.64%	11.73%
FCM algorithm	1.52%	19.04%	0.56%	11.44%	91.60%	0.77%	91.27%	0.39%
Algorithm two in this paper	90.02%	0.03%	95.00%	0.01%	92.50%	0.67%	97.60%	0.10%

下载: 导出CSV

参考文献(14)

[1]	苏海锋, 赵岩, 武泽君, 等. 基于改进RetinaNet的电力设备红外目标精细化检测模型[J]. 红外技术, 2021, 43(11): 1104-1111. http://hwjs.nvir.cn/article/id/3233a6a1-cbf0-4110-baa5-2a56e551f092 SU Haifeng, ZHAO Yan, WU Zejun, et al. Refined infrared object detection model for power equipment based on improved RetinaNet[J]. Infrared Technology, 2021, 43(11): 1104-1111. http://hwjs.nvir.cn/article/id/3233a6a1-cbf0-4110-baa5-2a56e551f092
[2]	陈飞. 改进的交互式Otsu红外图像分割算法[J]. 计算机测量与控制, 2020, 28(9): 248- 251. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK202009049.htm CHEN Fei. An improved interactive Otsu infrared image segmentation algorithm[J]. Computer Measurement & Control, 2020, 28(9): 248-251. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK202009049.htm
[3]	YU X, ZHOU Z, GAO Q, et al. Infrared image segmentation using growing immune field and clone threshold[J]. Infrared Physics & Technology, 2018, 88: 184-193. http://www.sciencedirect.com/science/article/pii/S1350449517306308
[4]	冯振新, 周东国, 江翼, 等. 基于改进MSER算法的电力设备红外故障区域提取方法[J]. 电力系统保护与控制, 2019, 47(5): 123-128. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW201905015.htm FENG Zhenxin, ZHOU Dongguo, JIANG Yi, et al. Fault region extraction using improved MSER algorithm with application to the electrical system[J]. Power System Protection and Control, 2019, 47(5): 123-128. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW201905015.htm
[5]	HU F, CHEN H, WANG X. An intuitionistic Kernel-based fuzzy C-means clustering algorithm with local information for power equipment image segmentation[J]. IEEE Access, 2020, 8: 4500-4514. DOI: 10.1109/ACCESS.2019.2963444
[6]	QI C, LI Q, LIU Y, et al. Infrared image segmentation based on multi-information fused fuzzy clustering method for electrical equipment[J]. International Journal of Advanced Robotic Systems, 2020, 17(2): 1729881420909600. http://www.xueshufan.com/publication/3009600905
[7]	WEI D, WANG Z, SI L, et al. An image segmentation method based on a modified local-information weighted intuitionistic Fuzzy C-means clustering and gold-panning algorithm[J]. Engineering Applications of Artificial Intelligence, 2021, 101: 104209. DOI: 10.1016/j.engappai.2021.104209
[8]	BAI X, LIU M, WANG T, et al. Feature based fuzzy inference system for segmentation of low-contrast infrared ship images[J]. Applied Soft Computing, 2016, 46: 128-142. DOI: 10.1016/j.asoc.2016.05.004
[9]	王力斌, 刘树伟. 基于模糊推理的油门防误踩系统控制研究[J]. 控制工程, 2020, 27(8): 1462-1467. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202008026.htm WANG Libin, LIU Shuwei. Research on the control system of preventing false stepping the accelerating pedal based on the fuzzy theory[J]. Control Engineering of China, 2020, 27(8): 1462-1467. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202008026.htm
[10]	张洪群, 顾吟雪, 郭擎. 灰色关联分析与模糊推理边缘检测图像融合法[J]. 遥感信息, 2020, 35(1): 15-27. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXX202001003.htm ZHANG Hongqun, GU Yinxue, GUO Qing. Image fusion based edge detection of grey relational analysis and fuzzy inference[J]. Remote Sensing Information, 2020, 35(1): 15-27. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXX202001003.htm
[11]	Vijayakumar S, Santhi V. Speckle noise reduction in SAR images using fuzzy inference system[J]. International Journal of Fuzzy System Applications (IJFSA), 2019, 8(4): 60-83.
[12]	Arya K V. A new fuzzy rule based pixel organization scheme for optimal edge detection and impulse noise removal[J]. Multimedia Tools and Applications, 2020, 79(45): 33811-33837. DOI: 10.1007/s11042-020-08707-x?utm_source=xmol&utm_content=meta
[13]	BAI X, CHEN Z, ZHANG Y, et al. Infrared ship target segmentation based on spatial information improved FCM[J]. IEEE Transactions On Cybernetics, 2015, 46(12): 3259-3271. http://ieeexplore.ieee.org/document/7026038/
[14]	LONG J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.