Study on Dither-caused Clutter for Staring Infrared Camera in Geostationary Orbit
-
摘要: 对于地球静止轨道凝视红外相机，相机视线抖动引起的杂波是背景特征、相机参数、相机视线抖动特性和背景抑制算法等因素综合影响的结果。为了定量化评估视线抖动引起杂波的强度，综合考虑抖动频谱、探测器积分时间、帧周期和帧间差分背景抑制算法这几项时间相关因素，将它们合并为与背景无关的抖动等效角，建立了抖动等效角与背景辐射强度梯度统计量相乘形式的抖动引起杂波模型。基于相机视线抖动特性地面测量实验，分析了制冷机和动量轮引起的相机视线抖动频谱，对视线抖动引起的杂波进行了仿真模拟和模型计算，验证了理论模型。结果显示，所建立的抖动引起杂波模型计算结果与仿真模拟结果的相对偏差小于15%，具有较好的通用性和高效性，适用于相机设计的迭代优化。Abstract: For a staring infrared camera in geostationary orbit, the dither-caused clutter results from the combined effects of background features, camera parameters, camera line-of-sight dither characteristics, and background suppression algorithms. To quantitatively evaluate the intensity of dither-caused clutter, several time-related factors, such as the dither spectrum, detector integration time, frame period, and interframe differential background suppression algorithm are considered. They are combined into a background-independent dither-equivalent angle, and the model of dither-caused clutter is established by multiplying the dither-equivalent angle and gradient statistics of the background radiation intensity. Based on ground measurement experiments on the camera line-of-sight dither characteristics, the spectrum of the camera line-of-sight dither caused by the cryocooler and momentum wheels are analyzed. The dither-caused clutter is also simulated and calculated to verify the theoretical model. The results show that the relative deviation between the calculated and simulated results was less than 15%. This indicates the high versatility and efficiency of the of model, which is suitable for the iterative optimization of camera design.
-
0. 引言
红外图像在电力设备的图像识别中应用广泛，可在带电状态下进行设备辨识和异常诊断，具有一定的实践效果[1-3]。电力设备大多安装在野外，在昼夜温差突变、覆冰污秽等环境作用下，可能会发生缺陷故障，引起局部放电、温度升高的现象，红外图像检测技术[4]可及时发现问题，为电力设备运维提供了技术支撑。红外图像技术[5-6]可应用于变压器高压套管的故障诊断研究，通过热像特征谱图查明故障原因。吕俊[7]等人通过变电站全景温度平台提取温度场的方法，结合各设备SIFT特征，实现了电力设备的有效识别。
电力设备红外图谱特征提取的方法主要包含图像处理和深度学习[8-11]。文献[12]基于多特征联合稀疏的方法，对电力设备的外观特征和局部问题进行特征识别。Faster RCNN算法提供了一种对多类变电设备进行目标识别的方法，并取得了一定的效果[13]。电力设备中绝缘子、套管为小目标群体，权重值较低，通过较深层的特征图进行分析提取，效果有待提升[14-15]。文献[16-17]提出了基于深度迁移学习的电力设备部件检测方法，开展了SSD和YOLO v3等算法的性能测试。
现有的研究多基于实验室环境或者选择背景简单的图像作为数据集[18]，然而在实际现场环境中，设备图像的背景往往比较复杂，诸如图像有遮挡、设备种类繁多，因此本文提出了一种改进YOLO v5的方法，可解决工程实际问题，为电力设备红外图像的识别提供一种新思路。
1. 识别原理
最新YOLOv5网络模型具有强大的计算能力，可实现红外图像实时处理，且权重数据文件仅为YOLO v4[19]的1/9。但该算法并不适应于尺寸大小繁杂的电力设备，识别效果有待改进。
1.1 多尺度融合
本文提出一种改进YOLO v5的红外图像识别方法，具体结构如图 1所示。该结构是基于YOLO v5s网络架构，首先训练背景复杂的电力设备可见光图像数据集，经过一系列连续的卷积和池化操作，对前面细节丰富的几层卷积进行层迁移，然后对电力设备红外图像数据集最后几层卷积层进行层迁移，保留全连接层以外的基础权重上进行模型微调，最终完成预训练模型，原YOLO v5s一般采用CSPDarknet+Focus作为基准网络，本网络采用MobileNetV2替换原有的CSPDarknet，具体表现为深度卷积与点卷积的堆叠，从而降低了网络的模型大小和参数量。接着，引入注意力机制[20]，通过提取可视化的特征，直接展示被关注的特征区域，同时通过自适应锚框，设计DIoU_NMS损失函数，增强了多种形态和尺寸目标的识别能力。最后，特征融合部分基于连续下采样上采样的方法，进行各层信息的融合学习，既保证了准确率，又减小了模型尺寸，最终输出尺寸为7×7、32×32和64×64三种特征图，从而实现不同尺度的电力设备识别。
1.2 注意力机制
本文方法采用三重注意力机制（triplet attention, TA）机制，即通过旋转操作和利用残差变换建立维度之间的依存关系，计算量相对较小。TA机制包含3个平行的分支，其中两个分支负责捕获通道C和空间维度W/H之间的跨通道交互，最后一个分支负责通道注意力权重计算，最终输出为3个分支的平均聚合，如图 2所示。
1.3 损失函数
针对众多目标框的筛选，采用加权非极大值抑制（non-maximum suppression, NMS）方法，自适应锚框获得最优的候选框，如图 3所示。实际测试中，电力设备部件较多，采集的红外图像可能存在部分遮挡的问题，各类设备距离较近，故损失函数采用改进的DIoU_NMS，计算公式为：
$$ L_{\text {DIoU }}=1-\mathrm{IoU}+R_{\text {DIoU }}\left(C, C_{\mathrm{p}}\right) $$ (1) 式中：IoU为预测框Cp和真实框C的交集和并集的比值；$ {R_{\text {DIoU }}}\left( {C,{C_{\mathrm{p}}}} \right) $是其惩罚项，计算公式为：
$$ {R_{\text {DIoU }}} = \frac{{{\rho ^2}\left( {c,{c_{\mathrm{p}}}} \right)}}{{{s^2}}} $$ (2) 式中：c和cp分别表示预测框Cp和真实框C的中心点；s是最小包围框的对角线长度；ρ()是欧几里得距离。
d是两个框的中心点距离，计算公式为：
$$ d = \rho \left( {c,{c_{\mathrm{p}}}} \right) $$ (3) 2. 模型搭建
2.1 环境搭建
本文基于改进的YOLO v5方法，对环境的要求较高，见表 1。深度学习框架采用最新的PyTorch 1.8版本，具有大规模训练和模型并行化的优势，适用于图像分割和目标检测等领域。
表 1 环境要求Table 1. Environment configurationItem Configuration OS Windows 11 CPU Intel Xeon Silver 4114T 12C GPU NVIDIA GTX1080Ti RAM 64 GB Deep learning framework PyTorch 1.8 Hard disk 1T 2.2 数据预处理
对某特高压换流站内的电力设备，采集红外图像数据，主要包括绝缘子、避雷器、电流互感器、电压互感器和套管5类电力设备，累计1200张图片，由于每张图片中所含多个目标对象，实际电力设备总数约为7000个，为便于分析，所有图片标准尺寸为640×480，训练样本、测试样本和验证样本的比例为8:1:1。网络结构策略中batch size定为8，优化器采用Adam，每个阶段训练epoch都是150。初始和截止学习率分别设置为1e-4、1e-6，随着迭代次数的增加，损失函数整体呈现下降的趋势，且无振荡过程，收敛性较好。
2.3 精确度衡量
为衡量本文算法的精确度，主要通过准确率（precision）和召回率（recall）进行计算。
$$ \text { precision }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$$ (4) $$\text { recall }=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} $$ (5) 式中：TP表示识别正确的正样本；FP表示识别正确的负样本；FN表示识别错误的负样本。为进一步衡量改进模型的优劣，计算准确率曲线与坐标轴所围成的面积（average precison, AP），召回率曲线与坐标轴所围成的面积，分别对其求平均值，即可得到平均精确度（mean average Precison, mAP）和平均召回率（mean recall, mRC），取值范围均为0~1。
3. 数据分析
3.1 不同改进方法的对比
以YOLO v5方法为主体框架，方法1添加迁移学习，方法2引入注意力机制，比较不同改进方法的识别效果，交互比取0.5，统计结果见表 2。
表 2 不同改进方法的识别效果Table 2. Recognition effect of different improvement methodsPower equipment Method 1 Method 2 Ours Insulator AP 0.85 0.87 0.95 Arrester AP 0.86 0.89 0.98 CT AP 0.89 0.97 0.99 PT AP 0.87 0.96 0.98 Transformer bushing AP 0.89 0.92 0.97 mAP 0.87 0.92 0.97 recognition time /ms 27 7.8 5.6 本文方法电力设备的识别准确率明显高于方法1和方法2，说明单独引进注意力机制或者迁移学习的方法，改善效果并不明显。由于绝缘子尺寸较小，容易出现漏检和误检的情况，所以电力设备中绝缘子的识别准确率普遍较低。方法2和本文方法的识别时间较小，说明注意力机制简化了计算量，大幅缩减了计算时间。
3.2 不同深度学习方法的识别效果
电力设备图像识别的主流方法一般为Faster R-CNN和目标检测方法（single shot multiBox detector, SSD），为了验证本文方法的性能，以较难识别的绝缘子为目标对象，开展3种方法识别效果的对比研究，统计数据见表 3。其中，Faster R-CNN和SSD均采用与本文方法相同的迁移学习模型，获得融合图像。
表 3 不同识别算法的效果Table 3. Effects of different recognition algorithmsMethods mAP mRC Recognition
time/msOurs 0.95 0.97 5.8 SSD 0.85 0.88 32 Faster R-CNN 0.91 0.93 78 由表 3可知，本文方法的mAP和mRC均高于其他方法，同时识别效率也明显较低，说明本文方法在保证准确率高的前提下，识别效率也较高，满足实时辨识电力设备的要求。
进一步，为验证复杂场景本文算法的适应性，对某特高压试验基地的电力设备开展目标识别，图 4为电力设备的可见光图，图 5为3种方法的目标识别结果。
图 5(a)识别出的电力设备包含电压互感器、电流互感器、绝缘子和避雷器，且标注名称跟可见光图一一对应，完全一致，准确率达到100%。图 5(b)识别出了所有的电力设备，但有一处电流互感器误认为电压互感器，这可能与该设备有遮挡有关系。图 5(c)未识别出所有的电力设备，遗漏了被遮挡的电流互感器。
相较于其他两种方法，本文方法能准确检测出有遮挡的、背景复杂的电力设备，误检率和漏检率均较低，适用于背景复杂环境下的多类电力设备识别。
3.3 轻量化实验
为了验证本模型的轻量化性能，与YOLO v5s、YOLO v4、Faster R-CNN和SSD等算法进行对比，统计数据见表 4。
表 4 不同方法的参数量与模型大小Table 4. Number of parameters and model size of different methodsMethods mAP@0.5 mAP@0.8 Parameter quantity /M FLOPs/G size/MB Ours 0.97 0.92 0.18 4.2 4.1 YOLO v5s 0.92 0.87 1.32 30.1 29 YOLO v4 0.94 0.83 9.83 323.9 257 Faster R-CNN 0.92 0.81 5.89 145.9 113 SSD 0.86 0.82 0.99 23.8 21.4 由表 4可知，在交互比取0.5和0.8的情况下，本文方法准确率最高；同时，参数量仅为0.18，每秒10亿次的浮点运算数（Giga floating-point operations per second, GFLOPs）计算量仅4.2，模型大小仅4.1 MB，相较于SSD缩减了80.8%，说明本文方法的参数量和计算量较小，实现了网络模型的轻量化。
4. 结论
本文提出了改进YOLOv5的轻量型网络模型，实现了复杂场景下电力设备的红外图像识别，形成结论如下：
1）本文方法以YOLO v5为框架的改进，优于其他改进方法，准确率和识别效率均较高。
2）相对于Faster R-CNN和SSD，本文方法的准确率、召回率和识别效率最高，且适应于复杂背景下的多类型电力设备识别。
3）该方法减小了网络模型，降低了网络计算量，为电力设备红外图像实时检测提供了新的思路。
-
![]()
图 1 瞬时视场范围（3×3）移动一个像素前后示意图
Figure 1. Schematic diagram of the IFOV (3×3) before and after moving by one pixel
![]()
图 2 制冷机引起相机视线在x方向上的抖动频谱
Figure 2. Dither spectra of the camera line-of-sight in the x direction caused by cryocooler
![]()
图 3 制冷机引起相机视线在y方向上的抖动频谱
Figure 3. Dither spectra of the camera line-of-sight in the y direction caused by cryocooler
![]()
图 4 动量轮引起相机视线在x方向上的抖动频谱
Figure 4. Dither spectra of the camera line-of-sight in the x direction caused by momentum wheels
![]()
图 5 动量轮引起相机视线在y方向上的抖动频谱
Figure 5. Dither spectra of the camera line-of-sight in the y direction caused by momentum wheels
![]()
图 7 不同背景的辐射强度梯度分布
Figure 7. Radiation intensity gradient distribution of different backgrounds
![]()
图 8 不同背景下仿真模拟的抖动杂波强度分布
Figure 8. Simulated dither-caused clutter intensity distribution of different backgrounds
表 1 相机参数
Table 1 The sensor parameters
Item Value Average wavelength/μm 2.85 Quantum efficiency 0.6 Planck constant/J⋅s 6.626×10-34 Speed of light/m⋅s－1 3×108 System transmittance 0.6 Ground sample distance/m 600 Detector size/μm 15×15 Optical aperture/m 0.35 Distance from sensor to Earth/km 35786 Integration time/s 0.4 Frame period/s 1 
下载: 导出CSV
表 2 不同扰动源引起的相机视线抖动等效角
Table 2 The dither-equivalent angle caused by different disturbance sources
x Direction y Direction Total angle Jitter-equivalent angle caused by cryocooler/μrad 0.00027 0.0016 0.00163 Jitter-equivalent angle caused by momentum wheel/μrad 0.0747 0.0829 0.112
下载: 导出CSV
表 3 不同背景下的平均抖动杂波强度
Table 3 Average clutter intensity of different backgrounds
Background RMS background radiation
intensity gradient statistics/(W/sr/m)CET calculated from
the model/(W/sr)CET simulated/
(W/sr)Relative deviation Sea 0.0624 0.25 0.23 8.7% Land 0.2671 1.07 1.01 5.9% Clouds 0.6382 2.57 2.86 10.1%
下载: 导出CSV
-
[1] 胡方明, 王晓蕊, 张建奇, 等. 运动效应和背景杂波对红外成像系统性能评估的修正[J]. 红外与毫米波学报, 2004, 23(1): 59-63. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYH200401012.htm HU F M, WANG X R, ZHANG J Q, et al. Modification of motion and background clutter on IR imaging system performance model[J]. J. Infrared Millim. Waves, 2004, 23(1): 59-63. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYH200401012.htm
[2] Pohlman R T. Staring mosaic sensor noise sources[C]//Proc. of SPIE, 1976, 95: 138-147.
[3] Pohlman R T. Noise effects in a staring mosaic sensor mounted on a moving platform[C]//Proc. of SPIE, 1977, 124: 10-16.
[4] Rapier J L. Background clutter leakage estimation in a mosaic sensor whose field of view moves relative to the background[C]//Proc. of SPIE, 1977, 124: 23-32.
[5] Rapier J L. Scaling methods for rapid estimation of background clutter leakage[C]//Proc. of SPIE, 1987, 819: 14-21.
[6] Myers K N. Performance of a staring infrared mosaic sensor against a high reflectance background[C]//Proc. of SPIE, 1984: 209-217.
[7] Fraedrich D S. Analytic evaluation of frame difference processing on terrain clutter at MWIR wavelengths[C]//Proc. of SPIE, 1987, 781: 26-32.
[8] Casey E J, Kafesjian S L. Infrared sensor modeling for improved system design[C]//Proceedings of SPIE - The International Society for Optical Engineering, 1996: 23-34. DOI: 10.1117/12.241947.
[9] Schroeder G, Lee G. Noise spectrum caused by pointing error[J]. Applied Optics, 1976, 15(3): 604-605. DOI: 10.1364/AO.15.000604
[10] Lee G, Fluchel R. Low frequency background rejection techniques[J]. IEEE Transactions on Aerospace and Electronic Systems, 1977, 13(6): 654-658.
[11] LIANG A C. Statistical modeling of infrared (IR) background due to spacecraft-induced line-of-sight jitter[C]//Proc. of SPIE, 1979, 197: 30-34.
[12] HU R, HO C Q. Performance evaluation of step stare sensor for space-based air vehicle detection[C]//Proc. of SPIE, 1978, 156: 30-35.
[13] LU D J, ZHANG H. Stochastic Processes and Their Applications[M]. Beijing: Tsinghua University Press, 2012: 112-113. [14] 庞世伟, 潘腾, 毛一岚, 等. 某型号卫星微振动试验研究及验证[J]. 航天器环境工程, 2016, 33(3): 305-311. https://www.cnki.com.cn/Article/CJFDTOTAL-HTHJ201603016.htm PANG S W, PAN T, MAO Y L, et al. Study and verification of micro-vibration test for a satellite[J]. Spacecraft Environment Engineering, 2016, 33(3): 305-311. https://www.cnki.com.cn/Article/CJFDTOTAL-HTHJ201603016.htm
[15] 庞世伟, 郭倩蕊, 贺玮, 等. 某遥感卫星微振动对成像质量影响分析[J]. 航天器环境工程, 2019, 36(1): 47-55. https://www.cnki.com.cn/Article/CJFDTOTAL-HTHJ201901009.htm PAN S W, GUO Q R, HE W, et al. Influence of micro-vibration on image quality of a remote sensing satellite[J]. Spacecraft Environment Engineering, 2019, 36(1): 47-55 https://www.cnki.com.cn/Article/CJFDTOTAL-HTHJ201901009.htm
[16] 于登云, 练敏隆, 周峰, 等. 微振动对高轨(GEO)遥感卫星图像质量的影响[J]. 中国科学, 2019, 49(1): 74-86. https://www.cnki.com.cn/Article/CJFDTOTAL-PZKX201901005.htm YU D Y, LIAN M L, ZHOU F, et al. Influence of micro-vibration on the image quality of a GEO remote sensor [J]. Sci. Sin. Inform. , 2019, 49(1): 74-86. https://www.cnki.com.cn/Article/CJFDTOTAL-PZKX201901005.htm
[17] 李林, 王栋, 徐婧, 等. 飞轮组件微振动对高分辨率光学卫星光轴的影响[J]. 光学精密工程, 2016, 24(10): 2515-2522. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201610021.htm LI L, WANG D, XU J, et al. Influence of micro-vibration of flywheel components on optical axis of high resolution optical satellite[J]. Optics and Precision Engineering, 2016, 24(10): 2515-2522. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201610021.htm
[18] 白绍竣, 唐绍凡, 聂云松, 等. 空间机械制冷机微振动研究[J]. 航天返回与遥感, 2013, 34(6): 51-56. https://www.cnki.com.cn/Article/CJFDTOTAL-HFYG201306010.htm BAI S J, TANG S F, NIE Y S, et al. Investigation of Micro-vibration of Space Cryocoolers[J]. Spacecraft Recovery and Remote Sensing, 2013, 34(6): 51-56. https://www.cnki.com.cn/Article/CJFDTOTAL-HFYG201306010.htm
-
期刊类型引用(4)
1. 周运磊，董效杰，刘三军，刘承毅. 基于改进YOLOv11n的轻量级电力设备过热故障红外图像检测算法. 湖北民族大学学报(自然科学版). 2025(01): 114-118+140 . 
百度学术
2. 余明阳，金波，查志勇，余铮. 图像识别在电力信息化中的应用方法研究. 科技视界. 2024(19): 78-81 . 百度学术
3. 周坤，李鹤健，李海山. 基于改进Densenet的输电线路杆号牌识别模型. 云南电力技术. 2024(06): 50-54+70 . 百度学术
4. 张立成，范鹏，卢金宝，李振，程国然，谢涛. 基于图像特征识别和激光点云的施工机械安全距离预警方法研究. 国外电子测量技术. 2024(12): 224-230 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 144
- HTML全文浏览量: 57
- PDF下载量: 37
- 被引次数: 4
