Development of a Novel Polarization Low-light EMCCD Sensor
-
摘要:
随着图像传感器的发展，图像传感器需要探测更多维度的图像信息。为了解决偏振单元无法在低照度条件下成像的问题，设计了一种新型偏振-微光结构，新型结构单元的引入可以大幅度提高器件在低照度微光条件下的成像质量。完成了偏振-微光结构的工艺制作，同时利用多次高能离子注入及高温退火形成鞍形p型纵向抗晕结构，实现了EMCCD器件的光晕抑制。最后对器件成像性能进行了分析，器件在10－2 lx量级环境照度下成像质量几乎不下降，同时也能够获得足够的偏振信息，实现对目标的偏振探测。此新型偏振-微光结构能使图像传感器在低照度微光条件下完成对目标的多维度信息探测。
Abstract:The development of image sensors has made it necessary to detect more dimensions of image information. Hence, a new polarization low-light structure was designed to solve the problem in which polarization units cannot be imaged under low-illumination conditions. The introduction of this new structural unit significantly improves the imaging quality of the device under low illumination and light conditions. We completed the production process of a polarized low-light structure and utilized multiple high-energy ion implantation and high-temperature annealing to form a saddle-shaped, "p"-shaped, longitudinal antiblooming structure to achieve the halo suppression of EMCCD devices. Finally, the imaging performance of the device was analyzed, and it was found that the imaging quality of the device hardly decreased under low-illumination conditions, while sufficient polarization information was obtained to achieve polarization detection of the target. This new polarized low-light structure enables image sensors to detect multidimensional information from targets under low-illumination and low-light conditions.
-
Keywords:
- EMCCD /
- polarization /
- low light /
- antiblooming
-
0. 引言
变电站是电网系统中的非常关键的节点，变电站的安全性关系到电力系统的稳定运行。变压器、电压互感器、电流互感器和断路器等变电设备因长期户外使用易覆盖污渍、设备老化出现设备过热，容易导致大面积停电。因此，需要对这些带电设备进行定期检测。
近年来，利用无人机、巡检机器人为平台安装红外热相机拍摄带电设备的红外图像，利用智能算法自动识别红外图像中的设备故障已成为电力设备带电监测和故障诊断的重要手段。基于红外图像的故障诊断方法可以大致分为两类：一是根据红外图像的温度界定直接分割出过热区域，如康龙等[1]利用红外图像灰度直方图确定聚类中心和聚类个数，用遗传算法来确定最优聚类中心，最后用模糊C均值来分割过热区域；曾亮等[2]用大津算法和区域生长法分割过热区域；Hui Zou[3]等利用k均值聚类算法分割过热区域。另一类是根据需要检测的变电设备，在红外图像中检测出目标区域或者直接分割目标区域，对不同的目标区域根据规范[4]判断目标区域的状态，从而自动检测带电设备状态。目前，第二类是红外图像故障诊断的主流方法，学者们对其展开了许多研究。不同电气设备对温度的耐受力不同，需要准确定位变电设备的感兴趣区域（region of interest，ROI），因此查找红外图像的ROI是最关键的一步。
近年来，国内外学者已经开展了一系列针对红外缺陷智能诊断的研究。定位ROI区域主要有两类：①提取目标的手工特征，根据红外图像的颜色及纹理等特征，选择合适的阈值分割方法和特征提取方法分割目标，文献[5]利用阈值分割法提出三相分区块自动搜寻及温度对比的过热区域判定方法。Rahmani[6]等提取图像中电气设备的不变矩特征；文献[7]提取红外图像的热形状和温度分布作为图像特征；文献[8]对红外视频图像提取时空特征，利用基于沙普利加法特征归因聚类算法对时空特征聚类分割目标。②基于深度学习的目标检测或者分割方法。随着深度卷积神经网络（deep convolutional neural networks, DCNN）的快速发展，利用CNN网络提取图像的特征实现不同的应用，如目标检测与识别、图像分割等。文献[9]利用Faster RCNN对套管、避雷器等变电设备进行目标检测定位，根据温度阈值法实现缺陷检测。经典目标检测深度卷积神经网络也逐渐应用在红外图像变电设备故障检测中，如SSD[10]，YOLO[11]，Mask-RCNN[12]等网络在红外图像电气设备异常检测中取得了较好的检测结果。李文璞等[13]基于改进R3Det模型对瓷套进行旋转目标检测，基于Faster RCNN模型对变电设备区域进行识别。
上述基于深度学习的目标检测方法只是检测出目标区域，对检测简单背景下的变电设备效果较好，当变电设备处于复杂环境下，局部遮挡导致框选出的目标区域包含其他类型的设备，而不同设备对温度的耐受力不同。需要对电气设备进行准确分割及定位，减少背景及其他因素的干扰，再根据不同设备对温度的耐受情况准确检测出电气设备的故障。为了准确分割出ROI，语义分割方法逐渐从可见光图像处理中应用到红外图像电气设备故障诊断中，如文献[14]构建了FCN-32s、FCN-16s和FCN-8s三种模型对红外图像中劣化的绝缘子片进行分割，证明了FCN-8S的分割效果更好，但该方法只用在了实验室环境下拍摄的绝缘子片图像，并不适用于户外复杂环境下目标分割。文献[15]将深度残差网络ResNet与Deeplabv3+网络相结合，利用ResNet网络代替Deeplabv3+网络中VGG16模块实现编码，构建的Res-Deeplabv3+网络对红外图像中的电流互感器进行分割，其分割准确性优于FCN-8s，SegNet和Deeplabv3+网络。
本文结合ResNet和UNet网络的优势，构建Res-UNet网络对复杂环境下红外图像的变电设备进行语义分割，从复杂背景下准确分割、定位和识别出电气设备，为电气设备故障诊断提供准确的数据源。
1. 数据集来源及标注
数据集来源于某网省公司现场采集的红外图像，图像大小为640×480彩色图，原始样本图像数量为2860张。不同拍摄角度和环境，对同样的设备成像不同。因此，对样本进行扩充，包括旋转、缩放、调整图像亮度、饱和度等方法进行随机数据增强，以提高网络模型的鲁棒性和准确性，扩充后的样本数量为4380张。图 1为样本集中随机选取的几张红外图像及预处理效果，第一行图 1(a)为原图，第二行图 1(b)对应第一行的增强效果，其增强处理分别是调整温度区间、降低饱和度、降低亮度、提高色调。
样本数据中电流互感器和断路器两种变电设备的图像比较完整，其他变电设备图像不完整或者样本少，因此，以电流互感器和断路器为分割目标，使用Labelme工具分别对电流互感器和断路器两种电气设备进行标注。建立统一的标注规范是保证训练模型精度的基础，本文标注时将电流互感器和断路器分别标记为CT和QS，标记时尽量标记目标可见的全部像素，标注示例如图 2所示，对目标标注形成分割图像的标签（真值），并生成json文件，标签图像中绿色表示的是断路器，红色表示的是电流互感器。
2. 算法理论
图像语义分割是对每一个像素点进行分类，根据每个点的所属类别从而实现区域划分。目前，语义分割已被广泛应用于自动驾驶、医学图像分割等场景中。近年来，CNN已经在图像语义分割中取得了巨大的应用，比较经典的网络模型有FCN，Segnet，DeepLab和UNet系列等。UNet网络最早应用在医学图像分割中，相比于FCN，Segnet，Deeplab等系列的经典图像分割模型，UNet网络在训练样本较少的情况下能获得更准确的分割结果。在红外图像电气设备故障检测中，缺少公开数据集，属于小样本的目标分割，因此，本文利用UNet网络主体模型对红外图像中电气设备进行分割。
2.1 UNet网络
UNet网络结构简单，整个网络可以分为编码和解码，或者主干特征提取网络和加强特征提取网络，网络结构如图 3所示，在主干特征提取网络（编码）中利用3×3卷积模板进行5层卷积，卷积模板数分别是64、128、256、512和1024，2×2最大池化对卷积后的特征图下采样使图像特征图尺寸减小，且采用relu作为激活函数。
在加强特征提取（解码）网络中对特征图逐步上采样和卷积来恢复图像尺寸和特征图通道数，解码器和编码器之间通过跳跃连接进行特征图融合，融合后继续卷积，最后通过1×1×C卷积输出分割图像结果，其中C为通道数或图像分割类别。从图 3可以看出，UNet像一个U型结构，因此，将其称之为UNet网络。
2.2 ResNet
在深度卷积神经网络中，网络层数越多，越能够提取图像的深层特征，网络模型的分割效果越好，但是网络层数的增加容易导致浅层网络的学习效果不佳，阻碍模型的收敛[16]。深度残差网络ResNet为解决这一问题而诞生。该网络的一部分输入不经过卷积网络传到输出，保留了部分浅层信息，避免了因特征提取网络的加深而导致特征细节的丢失，在残差网络内部将输入与输出直接相连，有效缓解了深层网络中的梯度消失问题[15]。残差网络结构原型如图 4所示，设输入为x，期望输出为H(x)，实际输出为F(x)，通过跳跃连接将输入值x直接连接到输出，使实际输出变为F(x)+x，学习目标变为F(x)＝H(x)+x，从而使得网络学习的内容变为输入与输出的差值。深度残差系列网络有ResNet18，ResNet34，ResNet50，ResNet101等，18，34，50，101代表网络层数。
2.3 Res-UNet模型
UNet的编码部分实际上是VGG16网络的特征提取部分，利用ResNet代替VGG16实现对UNet网络中的编码模块，构建Res-UNet网络，如图 5所示，图 5中用ResNet18网络构建的UNet简称为Res18-UNet。
Res-UNet网络编码部分：编码部分分为4个模块，与UNet模块的编码部分保持一致，不同的是UNet中每层卷积及下采样模块用ResNet代替，如图 5的ResNet18，block_x（x＝1, 2, 3, 4），卷积模板均是3×3，每个模块的第二层卷积的strid＝2，从而实现下采样。每个模块的卷积核的数量与UNet模型一一对应。
解码部分：解码部分最后一层输出的特征图的数量为1024，对图像进行上采样及卷积，并与编码模块的特征进行特征拼接融合，逐层上采样，使输出的图像与输入图像的大小一致，最后通过1×1×C的卷积输出分割结果，其中C为图像中目标分割种类数，本文中C＝3。
3. 实验结果与分析
3.1 评价指标
为了评估分割效果，用平均交并比（mean intersection over union，MIoU）MIoU和精确率（Precision）[17]来评价红外图像目标分割效果。MIOU是语义分割效果的度量标准之一，通过计算两个集合的交集和并集（intersection over union，IoU）的比例来反映分割结果与真实值之间的重合程度，在图像语义分割中，这两个集合分别是真实值（标签）和预测值。MIOU的值范围为[0, 1]，其值越大表示分割效果越好。MIOU的定义如下：
$$ \mathrm{MIoU}=\frac{1}{k+1} \sum\limits_{i=0}^k \frac{p_{i i}}{\sum\limits_{j=0}^k p_{i j}+\sum\limits_{j=0}^k p_{j i}-p_{i i}}$$ (1) 式中：pij和pji分别表示预测结果为i、实际结果为j的像素总数和预测结果为j、实际结果为i的像素总数，而pii表示预测结果为i、真实结果也为i的像素总数[15]。
Precision表示语义分割的类别像素准确率，是在被所有预测为正的样本中实际为正样本的概率。精确率定义为：
$$ \text { Precision }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}} $$ (2) 式中：TP，FP分别表示真阳性和假阳性，表示被分为正例的示例中实际为正例的比例。
3.2 网络训练
模型训练平台操作系统Ubuntu 18.04，采用了tensorflow深度学习框架搭建的改进ResNet网络。硬件处理器为Intel(R) Core(TM) i5-9300H CPU @2.40 GHz（2400 MHz），显卡型号为NVIDIA Geforce GTX 1660Ti。本文分别利用ResNet18，ResNet34，ResNet50作为UNet的编码部分构建Res18-UNet，Res34-UNet，Res50-UNet网络，这些网络称之为Res-UNet系列网络。为了测试不同网络对复杂环境下的电气设备分割效果，将Res-UNet系列网络与UNet网络，Deeplabv3+网络进行了对比。文献[15]在研究红外图像电流互感器的分割方法时指出Deeplabv3+网络比segnet和FCN系列网络对电流互感器的分割效果更好，因此，本文选择与Deeplabv3+进行对比。
UNet、Deeplabv3+和Res-UNet系列网络均为在tensorflow学习框架下搭建的平台。将已标注的2300张红外图片作为训练样本，以4:1的比例随机分配训练集与测试集，两者的样本图数量分别是3504和876，样本图像中包含了电流互感器和断路开关。Res-UNet系列，UNet和Deeplabv3+网络都采用交叉熵作为损失函数，损失函数定义如下：
$$ E=\sum _c^C \omega_c \log _{10}\left(p_c\left(z_i\right)\right) $$ (3) 式中：ωc为类别c的损失权重；pc(zi)为像素zi属于真实类别c的概率。
3种方法训练得到的损失函数曲线如图 6所示，模型在epoch为100左右就达到收敛，Res18-UNet模型在epoch为10时基本达到收敛，收敛速度快，且收敛时其loss值更接近0。
相同的样本对不同的网络模型训练得到网络参数，输入测试样本得到分割预测结果，并且用MIoU和Precision来评价红外图像目标分割效果。图 7~10是在测试集中随机选择一些样本测试分割效果，图 7~10均是在某省变电站拍摄的红外图像，表 1是图 7~10分割结果对应的MIoU值。图 7、8的分割目标是电流互感器，图 9、10的分割目标是断路器。从图 7~10及表 1的结果可以看出，UNet网络的分割效果比Deeplabv3+网络分割效果更佳，Res-UNet系列网络中，Res18-UNet网络分割效果优于其他4个网络。图 7电流互感器所处背景简单，Res18-UNet网络的目标分割率为0.9315，图 8中电流互感器处于复杂环境下，除了有电流互感器以外，还存在其他电气设备，Res18-UNet网络能够在复杂背景下准确分割出目标，分割的准确率达到0.8839。图 9、10两张图都包含了3个断路器，个别断路器被局部遮挡或者被其背景干扰，断路器的纹理不清晰，Res18-UNet对两者的分割准确率在0.9左右，能分割出断路器的主要轮廓。
![]()
图 7 简单背景下电流互感器分割结果Figure 7. Segmentation results of current transformer with simple background![]()
图 8 复杂背景下电流互感器分割结果Figure 8. Segmentation results of current transformer with complex background![]()
图 9 背景干扰下断路器分割结果Figure 9. Segmentation results of circuit breaker image with complex background![]()
图 10 局部遮挡下断路器分割结果Figure 10. Segmentation results of circuit breaker with local occlusion表 1 不同分割方法得到的MIOU值Table 1. The MIOU values based on different segmentation methods表 2是不同网络对460张测试样本集分割准确率的统计结果，测试样本被分为了3类，分别是电流互感器、断路器和背景。利用MIoU和准确率来衡量不同样本对3类目标分割的准确性，其分割结果如表 2所示，从表 2的数据可知，UNet网络比Deeplabv3+网络的分割结果更准确，相比于其他4种网络，Res18-UNet对两种电气设备的分割效果更好，Res34-UNet和Res50-UNet两种网络的分割效果反而比UNet的分割效果更差。可见，利用ResNet网络作为UNet的编码部分提取特征构建的Res-UNet网络的确可以提高目标分割的准确性，但是深层网络（如Res34-UNet和Res50-UNet）因训练样本少导致的过拟合反而导致分割准确性下降。
表 2 测试数据集的准确率Table 2. The accuracy of the test datasetnetwork Segmentation object IoU MIoU Precision Deeplabv3+ Current transformer 0.79 0.8011 0.90 Circuit breaker 0.67 0.84 Background 0.95 0.97 UNet Current transformer 0.8023 0.8272 0.9150 Circuit breaker 0.7179 0.8960 Background 0.9615 0.9805 Res18-UNet Current transformer 0.8623 0.8963 0.9470 Circuit breaker 0.8579 0.9347 Background 0.9686 0.9907 Res34-UNet Current transformer 0.6306 0.7139 0.7110 Circuit breaker 0.6064 0.7396 Background 0.9047 0.9872 Res50-UNet Current transformer 0.4747 0.5906 0.5174 Circuit breaker 0.4249 0.3700 Background 0.8722 0.9689 4. 结论
本文研究了复杂背景下红外图像电气设备目标分割，以电流互感器和断路器为分割目标，构建Res-UNet系列网络模型对小样本的红外图像电气设备进行分割。通过对Deeplabv3+网络，UNet和Res-UNet网络在红外图像中电气设备的分割效果进行对比，发现广泛应用在医学图像分割的UNet模型对红外图像的分割效果较好，准确性优于Deeplabv3+模型。Res18-UNet比UNet的分割效果更好，在测试样本数量为876的数据集下，MIoU值超过89%，对电流互感器和断路器的分割准确率Precision超过93%。由于样本数量小，Res34-UNet和Res50-UNet两种更深层网络分割准确性反而下降，在样本量充足的情况下，深层Res-UNet网络可以提高电气设备的分割准确性。限于篇幅，本文只针对电气设备的分割问题展开了部分研究，对分割的目标后处理能进一步优化分割结果，如膨胀，腐蚀、轮廓区域提取和空洞填充，从而提取整个电气设备的完整轮廓，为后续电气故障缺陷自动检测提供准确的数据源。
-
![]()
![]()
图 4 在金属光栅和Si基片之间添加SiO2的结构示意图
Figure 4. Schematic diagram of adding SiO2 between metal grating and Si substrate
![]()
图 11 第一次推阱后光敏单元浓度分布图
Figure 11. Concentration distribution map of photosensitive units after the first trap push
![]()
图 12 第三次推阱后光敏单元浓度分布图
Figure 12. Concentration distribution diagram of photosensitive units after the third push well
![]()
图 13 光电二极管1 μm2面积内的电荷Npd与衬底电压Vsub之间的关系
Figure 13. The relationship between the charge Npd within the 1 μm2 area of the photodiode and the substrate voltage Vsub
![]()
图 14 偏振成像模组（左）及偏振EMCCD器件（右）
Figure 14. Polarization imaging module(left) and polarization EMCCD device(right)
![]()
图 16 不同偏振结构成像结果对比
Figure 16. Comparison of imaging results with different polarization structures
-
[1] Jeong J, Jung C, Kim T. Using machine learning to improve multi-qubit state discrimination of trapped ions from uncertain EMCCD measurements[J]. Optics Express, 2023, 31(21): 35113-35130. DOI: 10.1364/OE.491301
[2] 陈远金, 张猛蛟, 戴放, 等. 基于EMCCD的单兵综合侦察仪设计及作用距离研究[J]. 红外技术, 2017, 39(5): 399-403. http://hwjs.nvir.cn/article/id/hwjs201705003 CHEN Yuanjin, ZHANG Mengjiao, DAI Fang, et al. The design of the individual integrated reconnaissance instrument based on EMCCD and estimation of function distance[J]. Infrared Technology, 2017, 39(5): 399-403. http://hwjs.nvir.cn/article/id/hwjs201705003
[3] Gural P, Mills T, Mazur M, et al. Development of a very faint meteor detection system based on an EMCCD sensor and matched filter processing[J]. Experimental Astronomy, 2022, 53(3): 1085-1126. DOI: 10.1007/s10686-021-09828-3
[4] LV T, LI J, Arif N, et al. Polarization and external-field enhanced photocatalysis[J]. Matter, 2022, 5(9): 2685-2721. DOI: 10.1016/j.matt.2022.06.004
[5] 那启跃, 姜恺文, 徐建东, 等. 偏振-微光一体化EMCCD相机的设计与开发[J]. 应用光学, 2024, 45(2): 321-328. NA Qiyue, JIANG Kaiwen, XU Jiandong, et al. Design and development of polarization-low level light integrated EMCCD camera[J]. Journal of Applied Optics, 2024, 45(2): 321-328.
[6] WANG Shen, Douglas A Carpenter, Adam DeJager, et al. A 47 million pixel high-performance interline CCD image sensor[J]. IEEE Trans. on Electron Devices, 2016, 63: 174-181 DOI: 10.1109/TED.2015.2447214
[7] LI C, GUO C, HAN L, et al. Low-light image and video enhancement using deep learning: a survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(12): 9396-9416.
[8] Douglas A. Carpenter, et al. High performance 7.4-micron interline transfer CCD platform for applied imaging markets[C]//Proc. of SPIE, 2013, 8659(1) : 8
[9] Wilson A E, Parker V A, Feinberg M. Polarization in the contemporary political and media landscape[J]. Current Opinion in Behavioral Sciences, 2020, 34: 223-228. DOI: 10.1016/j.cobeha.2020.07.005
[10] LI Shujun, JIANG Huilin, ZHU Jingping, et al. Development status and key technologies of polarization imaging detection[J]. Chinese Optics, 2013, 6(6): 803-809.
[11] LUO Haibo, ZHANG Junchao, GAI Xingqin, et al. Development status and prospects of polarization imaging technology[J]. Infrared and Laser Engineering, 2022, 51(1): 109-118.
[12] WU Hao, WU Yuan, WU Wei, et al. Study on the digital low-light level night vision device technology[J]. Optoelectronic Technology, 2022, 42(1): 72-78.
[13] WU Xingxing, LIU Jinguo, ZHOU Huaide, et al. Spaceborne low light imaging based on EMCCD and CMOS[J]. Infrared and Laser Engineering, 2016, 45(5): 205-210.
[14] 陈远金, 张猛蛟, 戴放, 等. EMCCD集成偏振-微光一体化成像技术研究[J]. 应用光学, 2020, 41(2): 242-247. CHEN Yuanjin, ZHANG Mengjiao, DAI Fang, et al. Research on polarization-low level integrated imaging technology based on EMCCD[J]. Journal of Applied Optics, 2020, 41(2): 242-247.
[15] 何家维, 何昕, 魏仲慧, 等. 高灵敏度EMCCD导航相机的设计[J]. 光学精密工程, 2018, 26(12): 3019-3027. HE Jiawei, HE Xin, WEI Zhonghui, et al. Design of high-sensitivity EMCCD navigation camera[J]. Optics and Precision Engineering, 2018, 26(12): 3019-3027.
-
期刊类型引用(10)
1. 田文豪，汪繁荣，乔一航. 基于VMF-UNet的液基细胞制染机缺陷图像分割. 现代电子技术. 2025(05): 36-42 . 
百度学术
2. 郑铁华，王飞，赵格兰，杜春晖. 基于单分类支持向量机的煤矿防爆电气设备振动故障自动检测. 工矿自动化. 2025(02): 106-112 . 百度学术
3. 王琦，张欣唯，童悦，王昱晴，张锦，王咏涛，袁小翠. 一种复杂背景下电气设备红外图像精确分割方法. 激光与红外. 2025(03): 399-407 . 百度学术
4. 刘慧慧，裴庆庆. 改进U-Net网络的多视觉图像特征张量分割仿真. 计算机仿真. 2024(03): 237-241 . 百度学术
5. 于晓，姜晨慧. 基于深度学习的重叠红外刑侦目标提取算法研究. 黑龙江工业学院学报(综合版). 2024(02): 85-93 . 百度学术
6. 林颖，张峰达，李壮壮，郑文杰，戈宁. 基于大模型的红外图像电力设备交互式分割. 网络新媒体技术. 2024(02): 53-60+67 . 百度学术
7. 张宇，袁小翠，许志浩，康兵. 复杂背景下断路器红外图形精确分割方法. 江西电力. 2024(03): 1-7 . 百度学术
8. 严如强，周峥，杨远贵，李亚松，胡晨烨，陶治宇，赵志斌，王诗彬，陈雪峰. 可解释人工智能在工业智能诊断中的挑战和机遇：归因解释. 机械工程学报. 2024(12): 21-40 . 百度学术
9. 龚律凯，彭伊丽，陈绪兵，韩桂荣，李慧怡. 基于改进U-Net算法的焊缝特征识别研究. 现代制造工程. 2024(11): 18-25 . 百度学术
10. 林颖，张峰达，李壮壮，孙艺玮，于文牮. 基于交互式分割的电力设备红外图像自动标注方法. 山东电力技术. 2023(12): 20-25+44 . 百度学术
其他类型引用(10)
下载:
计量
- 文章访问数: 65
- HTML全文浏览量: 12
- PDF下载量: 22
- 被引次数: 20
