Recognition of High-Voltage Isolation Switch Opening and Closing State Based on Image Fusion
-
摘要:
为了解决现有隔离开关分合闸状态识别率较低的问题，提出了一种基于NSST-PCNN-IFVSS的图像融合方法。在对红外和可见光图像的预处理阶段进行图像配准，再采用像素级融合来实现两图像的融合。在融合阶段采用非下采样剪切波变换将红外和可见光图像分解为高频子带图和低频子带图，在高频子带图部分采用脉冲耦合神经网络进行融合，在低频子带图部分采用基于视觉显著特性分割的图像融合方法进行融合，通过非下采样剪切波变换的逆变换将两个子带图像结合起来得到融合后的图。建立融合质量指标评价方案来对比本方案与常见的图像融合方案的效果。对融合后的图像进行像素积分投影算法进行处理，进而实现对高压隔离开关分合闸状态进行识别。通过实验仿真验证了NSST-PCNN-IFVSS（Non Subsampled Shearlet Transform-Pulse Coupled Neural Network-Image Fusion based on Visual Salience Segmentation）的图像融合效果优于常见的6种融合方法，且图像融合后的识别结果优于单一的可见光图像和红外图像。
-
关键词:
- 高压隔离开关 /
- 图像融合 /
- NSST-PCNN-IFVSS /
- 图像配准 /
- 像素积分投影
Abstract:To solve the low recognition rate problem of the existing isolation switch state identification, a method of image fusion based on NSST-PCNN-IFVSS is proposed. Image registration is performed in the preprocessing stage of infrared and visible light images; subsequently, pixels and fusion are used to achieve the fusion of the two images. In the fusion stage, the non-subsampled shearlet transform is used to decompose the infrared and visible light images into high- and low-frequency sub-band images. In the high-frequency sub-band image part, a pulse coupled neural network is used for fusion, whereas the image fusion method based on visual saliency segmentation is used for fusion in the low-frequency sub-band image part. The two sub-band images are combined by the inverse transform of the non-subsampled shearlet transform to obtain the fused image. A fusion quality index evaluation scheme is established to compare the effect of this method with common image fusion methods. The fused image is processed by a pixel integration projection algorithm to determine the state of the high-voltage isolation switch. Experimental simulation verifies that the image fusion effect of the non-subsampled shearlet transform-pulse coupled neural network-image fusion based on visual salience segmentation is better than six common fusion methods, and the recognition result after image fusion is better than that of the single visible light image and infrared image.
-
0. 引言
由两条金属线通过溅射的方式形成了一组窄缝，这组窄缝的距离小于入射光的波长，这就形成了亚波长金属光栅偏振器，它的体积属于纳米级别，但其偏振性能却非常好且容易集成，因此它被广泛应用于光通讯及液晶显示屏的制造中。其中双层金属纳米光栅偏振器属于纳米光栅偏振器件中的一种，由于其偏振效果更好得到人们的青睐。
纳米压印光刻技术在1995年首次由美国人提出[1]，是近20年才发展起来的新型的微细加工工艺，它是利用高分辨率的模板来复制加工微纳结构的一种新工艺，所以可以说这种技术首先建立在光刻技术上。第一个提出亚波长金属光栅具有检偏的偏振特性的是Hertz教授[2-3]，随后才相继出现了有关亚波长金属光栅相关理论及其制造方法。2005年，韩国LG电子研究院利用周期140 nm的硅基亚波长光栅作为压印模板制作了单层金属偏振光栅。2006年瑞士保罗谢尔研究所[4-5]在石英板上通过极紫外干涉光刻技术制备了周期为100 nm的亚波长光栅。随后几年，美国密歇根大学[6-7]开发一种可以连续制备周期为200 nm的亚波长结构的亚波长光栅，利用电子束在光栅上方沉积一层金属铝，经过测量其消光比为1000。这种压印技术在当时被认为是未来制备亚波长金属光栅的有效方法[8]。但是随着社会的快速发展，越来越多的曲面屏及可折叠屏成为了人们生活的主流[9-10]，这就让人不得不往柔性偏振器上思考。但是，目前对柔性纳米光栅偏振器的研究甚少。所以，通过对柔性纳米光栅偏振器在结构和制作工艺方面的研究，以制作出成本低、产出高的偏振器，这对柔性电子器件的工艺推进起到了很大的支撑作用。
基于以上分析，本文在严格耦合波理论[11]的基础上以复眼结构中的偏振敏感单元为模仿对象，利用微加工工艺制备了一种可用于仿生的偏振光光电传感器的偏振器。该偏振器是以柔性材料PC（Polycarbonate）作为基底利用纳米压印和磁控溅射技术制作而成的柔性双层金属光栅偏振器，并对制作的偏振器利用光谱测试系统进行偏振特性测试。
1. 实验
图 1为PC上制作的偏振器的模型图，将入射光中垂直和平行与于电场方向的光分别称为TM偏振光和TE偏振光。当TM偏振光照射在偏振器上时，由于电子振荡通过栅线方向时会受到阻碍，此时的光栅层就如同介质层可使TM光透过。电子会在TE光入射时以自由振荡的形式出现，导致TE光反射。
1.1 模板介绍
模板对于纳米压印相当重要，因此选择上海纳腾公司提供的模板，模板的周期是278 nm，线宽是139 nm，高度100 nm，模板的扫描电子显微镜图如图 2所示。模板防粘使用了来自Sigma-Aldrich公司的Trichloro (1H，1H，2H，2H-heptadecafluorodecyl) silane[12-13]。这种硅烷可以很好地与Si或SiO2表面的OH键结合形成含有C-F功能基单分子层，这种分子层在衬底表面表现出了很好的抗粘性能。做过表面处理的Si模版接触角从30°增大为110°，如图 3所示，表现出较好的疏水性能，将有利于压印时脱模。
![]()
图 2 模板的SEM图Figure 2. Scanning electron microscope (SEM) image of nanoimprint template1.2 双层金属纳米光栅偏振片的制作
在介质光栅的顶端和底端都沉积一层金属层的光栅称之为双层金属光栅。包含双层金属光栅的偏振器的制作只需在光栅上镀一次铝膜，比单层或包裹型金属光栅不仅降低了制作工艺难度，而且偏振和滤波效果更佳。①选择铝作为偏振器的金属层，是因为铝可以实现可见光波段的最优偏振特性；②0.5的占空比在同一波段具有最大的透射率和最大的消光比，由于透射率与金属的厚度成正比关系，但是，随着金属高度的增加，偏振器的消光比呈指数倍增大。但是，金属线栅高度的增加又会增大加工难度。因此，综合考虑，溅射金属铝的厚度为70 nm；③偏振器的消光比会因为金属光栅层之间距离的逐渐增大呈周期性震荡，根据文献[14]中的仿真本文选择金属光栅层的距离是50 nm；④光栅的周期和PC光栅高度是由模板决定的，目前的模板参数是周期278 nm，高度为100 nm[14]。
使用纳米压印的热压过程在柔性材料PC（聚碳酸酯）上压印纳米光栅。纳米压印技术最早由周郁教授提出的，它的优点在于可完成纳米结构的制作[15-16]。将模板与含有压印胶的基底紧密结合，等压印结束后小心地将模板和基底分开，这样就会在基底上形成模板上的图案。图 4所示为压印，脱模，和铝沉积的双层金属线栅偏振器的制造过程的示意图。本文使用的PC基底材料的厚度为0.2 mm。PC具备非常优异的性能，包括高透光率、高折射率、高抗冲性、尺寸稳定性及易加工成型等，因此PC被广泛应用于光学器件的制备中。另外，其热稳定性好，成型温度范围宽，是作为压印基底的一种理想材料。所使用的纳米压印仪（型号为NIL-150）是从中国上海纳腾仪器有限公司引进的最新微纳结构加工设备。
![]()
图 4 柔性双层金属光栅偏振器的制作工艺流程图Figure 4. Manufacturing process flow chart of flexible double layer metal grating polarizer实验前需要将去掉保护膜的PC基底材料裁剪为20 mm×20 mm的正方形备用。但是剪切下来的PC片表面并不是很平整，会使其在压印过程中不能和模板完全接触，这就会影响应力的分布在加压和保压的过程中不能使结构完全地转移到基底上。为了解决这个问题，如图 5所示在压印的过程中在PC基底下面又增加了一片1 mm厚的聚二甲基硅氧烷（Polydimethylsiloxane：PDMS）柔性薄膜，因为PDMS具有很好的柔韧性和高温稳定性，在高温施压的过程中可以很好地分散加载在硬质模板上的应力，同时对模板起到一个保护作用。
压印参数为：真空度为0.07 MPa，压力为0.65 MPa，压印温度为160℃，压印时间设定为5 min。等压印时间一到立马开启冷却水进行腔室的降温，直到操作面板上的温度显示40℃时关闭压力阀往里面充氮气，待室门自动开启后用镊子取出样品然后小心地将两者分开，就可得到光栅结构，实物图和SEM图如图 6所示。
最后，利用真空度为7×10－6 Mbar的磁控溅射在光栅结构上表面溅射一层厚度为70 nm的Al，加工参数如表 1所示。
表 1 柔性双层金属光栅偏振器的参数Table 1. Parameters of subwavelength metal grating polarizerMaterials and structures Materials and parameters Substrate materials PC Metallic materials Al Period/nm 278 Duty cycle 0.5 Aluminum thickness/nm 70 Distance between two metal grating layers/nm 50 PC grating height/nm 100 2. 结果和讨论
偏振器的性能由透过率和消光比决定，因此利用搭建的光谱测试系统对制造的金属光栅偏振器进行了透过率和消光比的测量[17]，光谱测试系统如图 7所示。
利用氙气灯发出的白光作为检测光源，经透镜聚光后再经过小孔光阑后作为点光源，非线偏光透过偏振片后形成线偏光。透过的偏振光直接垂直照射在光栅上，光栅后面放置爱万提斯光纤光谱仪，利用光纤探头测试透射光光谱。旋转偏振片的相应位置分别得到TE和TM偏振光的最大与最小透射强度。然后利用公式：
$$ {\rm{ER}}={T_{{\rm{TM}}}}/{T_{{\rm{TE}}}} $$ 计算得到消光比，式中TTM、TTE分别表示TM和TE偏振光的透射率。
应用严格耦合波理论对制造的柔性双层金属光栅偏振器进行了TM透射率及消光比的计算，由于一般只有TM偏振光才能透过偏振器，而且计算消光比也已用到TE偏振光的信息，所以文中不单独对TE偏振光进行分析。如图 8所示为本文制造的柔性双层金属光栅偏振器的性能测试图，从图上可以看出本文制造的偏振器在入射光波长范围为350~800 nm时的透过率可达48%，消光比可达100000，具有非常好的偏振效果，达到了用于偏振导航的需求。
![]()
图 8 柔性双层金属光栅偏振器的性能测试图Figure 8. Performance test chart of flexible double layer metal grating polarizer3. 结论
利用纳米压印技术和磁控溅射在柔性材料上通过简单的方法制作出了柔性双层金属光栅偏振器，并进行了透过率和消光比的测试。实验结果显示，当入射光的波长在350~800 nm之间，加工的偏振器性能优良，透过率和消光比分别高达48%和100000，具有较好的偏振效果，达到了用于偏振导航的要求。制作的柔性双层金属光栅偏振器只涉及纳米压印和磁控溅射两个工艺，并且不包括任何抗蚀剂旋涂、剥离和刻蚀工艺，制作过程是非常简单的，适合大批量生产。本文制造的柔性双层金属光栅偏振器有望应用到光学系统中，特别是在液晶显示器领域。
-
![]()
图 4 隔离开关像素积分投影计算模型
Figure 4. Calculation model of isolation switch pixel integral projection
表 1 不同融合方法得到的图像质量评价指标
Table 1 Image quality evaluation indicators obtained by different fusion methods
Fusion methods QAB/F IE MI VSI STD SSIM LAB 9.9351 5.8204 -6.37e-12 9945 27.3467 1 IHS 11.3684 6.1834 -8.00e-12 10030 32.3809 1 Weighted average fusion 9.1370 6.1181 -1.00e-11 9945 33.6583 1 Brovey 12.1616 5.3541 -6.10e-12 9944 38.2942 1 Wavelet transform fusion 8.1644 6.5108 -1.65e-11 9945 33.0885 1 PCA 8.7515 5.3947 -7.02e-12 10030 26.4476 1 NSST-PCNN-IFVSS 14.3917 6.5260 -1.03e-11 10030 38.5471 1 
下载: 导出CSV
表 2 不同类型图像识别准确率对比表
Table 2 Different types of image recognition accuracy comparison
Image type Opening accuracy Closing accuracy Infrared image 88% 87% Visible image 91% 89% Fused images 95% 94%
下载: 导出CSV
-
[1] XU J, LI Q, LUO Y, et al. State measurement of isolating switch using cost fusion and smoothness prior based stereo matching[J]. International Journal of Advanced Robotic Systems, 2020, 17(3): 172988142092529. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHB202405016.htm [2] LI Y, DONG X, LIU Z, et al. Design of grinding tool for isolating switch with multiple operating conditions in substation[J]. Journal of Physics: Conference Series, 2020, 1601(4): 042015-042019. DOI: 10.1088/1742-6596/1601/4/042015
[3] 曾小松, 罗菁, 姚强, 等. 500 kV GIS隔离开关触头温度监测及外壳温度传感器优化布置[J]. 高压电器, 2021, 57(10): 111-119. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202401004.htm ZENG Xiaosong, LUO Jing, YAO Qiang, et al. Temperature monitoring of 500 kv GIS isolation switch contacts and optimal placement of shell temperature sensor[J]. High Voltage Electrical Apparatus, 2021, 57(10): 111-119. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202401004.htm
[4] 陈富国, 蔡杰, 李中旗. 基于机器视觉的高压隔离开关设备状态判别与故障诊断技术[J]. 微型电脑应用, 2022, 38(2): 191-194. DOI: 10.3969/j.issn.1007-757X.2022.02.055 CHEN Fuguo, CAI Jie, LI Zhongqi. State identification and Fault diagnosis of High voltage isolation Switchgear based on machine vision [J]. Microcomputer Applications, 2022, 38(2): 191-194. DOI: 10.3969/j.issn.1007-757X.2022.02.055
[5] 腾云, 雷丞, 李洪涛, 等. 基于HOG和SVM的高压隔离开关分合闸状态自动识别技术研究[J]. 高压电器, 2020, 56(9): 246-252. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202009036.htm TENG Yun, LEI Cheng, LI Hongtao, et al. Research on automatic state recognition of high voltage isolation switch based on HOG and SVM [J]. High Voltage Electrical Apparatus, 2020, 56(9): 246-252. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202009036.htm
[6] 刘子英, 张靖, 邓芳明. 基于BP神经网络的高压隔离开关分合闸监测识别[J]. 电力系统保护与控制, 2020, 48(5): 134-140. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW202005018.htm LIU Ziying, ZHANG Jing, DENG Fangming. On-off monitoring and identification of high voltage isolation switch based on BP neural network [J]. Power System Protection and Control, 2020, 48(5): 134-140. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW202005018.htm
[7] 刘春来, 周涛涛, 马宏明, 等. 基于力矩与转角检测的GW4-126型隔离开关典型机械故障诊断[J]. 高压电器, 2020, 56(2): 232-239. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202002037.htm LIU Chunlai, ZHOU Taotao, MA Hongming, et al. Typical mechanical fault diagnosis of GW4-126 isolation switch based on torque and angle detection [J]. High Voltage Electrical Apparatus, 2020, 56(2): 232-239. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202002037.htm
[8] 于力, 曹双鹏, 荆澜涛, 等. 550 kV GIS内隔离开关机械故障仿真研究[J]. 高压电器, 2021, 57(10): 127-133. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202405001.htm YU Li, CAO Shuangpeng, JING Lantao, et al. Mechanical fault simulation of isolation switch in 550 kV GIS[J]. High Voltage Electrical Apparatus, 2021, 57(10): 127-133. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202405001.htm
[9] 刘仕兵, 宋陵灿, 郭文璟, 等. 基于定子电流特征与SVM高压隔离开关机构故障诊断[J]. 高压电器, 2020, 56(6): 289-295. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202006043.htm LIU Shibing, SONG Lingcan, GUO Wenjing, et al. Fault diagnosis of high voltage isolation switch based on stator current characteristics and SVM[J]. High Voltage Electrical Apparatus, 2020, 56(6): 289-295. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDQ202006043.htm
[10] CAO Y, TANG L, JIN R, et al. Grayscale image for broadband linear polarization measurement by an ultracompact metasurface[J]. Optics Letters, 2021, 46(5): 1117-1120. DOI: 10.1364/OL.415844
[11] Ehsan S M, Imran M, Ullah A, et al. A single image dehazing technique using the dual transmission maps strategy and gradient-domain guided image filtering[J]. IEEE Access, 2021, 9: 89055-89063. DOI: 10.1109/ACCESS.2021.3090078
[12] 谢文昕, 马伟, 杜雪雪, 等. 起重机械金属结构缺陷的热成像技术研究[J]. 红外技术, 2022, 44(7): 741-749. http://hwjs.nvir.cn/cn/article/id/ef131bfa-8ddb-49e8-827f-f1ea324eb408 XIE Wenxin, MA Wei, DU Xuexue, et al. Thermal imaging of metal structure defects in lifting machinery[J]. Infrared Technology, 2022, 44(7): 741-749. http://hwjs.nvir.cn/cn/article/id/ef131bfa-8ddb-49e8-827f-f1ea324eb408
[13] Jhan J P, Rau J Y. A generalized tool for accurate and efficient image registration of UAV multi-lens multispectral cameras by n-surf matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 6353-6362. DOI: 10.1109/JSTARS.2021.3079404
[14] 何凯, 刘坤, 沈成南, 等. 基于相似图像配准的图像修复算法[J]. 电子科技大学学报, 2021, 50(2): 207-213. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX202102008.htm HE Kai, LIU Kun, SHEN Chengnan, et al. Image restoration algorithm based on similar image registration[J]. Journal of University of Electronic Science and Technology of China, 2021, 50(2): 207-213. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX202102008.htm
[15] Dinesh K P, Jeetha B R. Canny edge detection and contrast stretching for facial expression detection and recognition using machine learning[J]. Far East Journal of Electronics and Communications, 2021, 24(1): 35-66. DOI: 10.17654/EC024010035
[16] Radha R, Pushpa M. A comparative analysis of SIFT, SURF and ORB on sketch and paint based images[J]. International Journal of Forensic Engineering, 2021(8): 102-110.
[17] Amir A, Mokhtar K. A deeper Newton descent direction with generalized Hessian matrix for SVMs: an application to face detection[J]. International Journal of Mathematical Modelling and Numerical Optimization, 2021, 11(2): 196-208. DOI: 10.1504/IJMMNO.2021.114485
[18] Levenberg K A. A method for the solution of certain non-linear problems in least squares[J]. Quarterly of Applied Mathematics, 2018, 2(4): 436-438.
[19] HU Peng, WANG Chenjun, LI Dequan, et al. An improved hybrid multiscale fusion algorithm based on NSST for infrared–visible images[J]. The Visual Computer, 2024, 40: 1245-1259. DOI: 10.1007/s00371-023-02844-8
[20] Basar S, Ali M, Ochoa-Ruiz G, et al. A novel defocused image segmentation method based on PCNN and LBP[J]. IEEE Access, 2021, 9: 87219-87240. DOI: 10.1109/ACCESS.2021.3084905
[21] 朱亚辉, 高逦. 基于复合分解与直觉模糊集的红外与可见光图像融合方法[J]. 西北工业大学学报, 2021, 39(4): 930-936. https://www.cnki.com.cn/Article/CJFDTOTAL-XBGD202104028.htm ZHU Yahui, GAO Li. Infrared and visible image fusion method based on composite decomposition and intuitive fuzzy set[J]. Journal of Northwestern Polytechnical University, 2021, 39(4): 930-936. https://www.cnki.com.cn/Article/CJFDTOTAL-XBGD202104028.htm
[22] 余映, 吴青龙, 邵凯旋, 等. 超复数域小波变换的显著性检测[J]. 电子与信息学报, 2019, 41(9): 2231-2238. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201909028.htm YU Ying, WU Qinglong, SHAO Kaixuan, et al. Significance detection of wavelet transform in hypercomplex domain[J]. Journal of Electronics and Information Technology, 2019, 41(9): 2231-2238. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201909028.htm
[23] ZHANG Y, HAN J. Differential privacy fuzzy C-means clustering algorithm based on Gaussian kernel function[J]. PLOS ONE, 2021, 16(3): 1-20.
[24] 郭全民, 柴改霞, 李翰山. 夜视抗晕光融合图像自适应分区质量评价[J]. 电子与信息学报, 2020, 42(7): 1750-1757. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202007025.htm GUO Quanmin, CHAI Gaixia, LI Hanshan. Quality evaluation of adaptive partition of night vision anti-halo fusion image[J]. Journal of Electronics and Information Technology, 2020, 42(7): 1750-1757. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202007025.htm
[25] 杜云, 郑羽纶, 孟凡华. 基于Otsu法和直方图规定化相结合的苹果图像分割研究[J]. 科技创新与应用, 2019(28): 15-17. https://www.cnki.com.cn/Article/CJFDTOTAL-CXYY201928004.htm DU Yun, ZHENG Yulun, MENG Fanhua. Research on apple image segmentation based on Otsu method and histogram regularization [J]. Science and Technology Innovation and Application, 2019(28): 15-17. https://www.cnki.com.cn/Article/CJFDTOTAL-CXYY201928004.htm
-
期刊类型引用(2)
1. 汪会达，张栋，肖焰辉，张潇云，刘宇，陈德明. 改进SSD算法的光伏板污损检测. 上海电机学院学报. 2025(01): 52-57 . 
百度学术
2. 李春亚，王建华，尹土兵，卢建飞，邹晓波，叶儒桦. 个人防护装备穿戴安全检测技术的进展与应用. 武汉理工大学学报. 2024(10): 149-155+162 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 48
- HTML全文浏览量: 5
- PDF下载量: 15
- 被引次数: 4
