基于FPGA微型红外热电堆探测器空间应用

刘奇, 盖芳钦, 叶有时, 刘波, 施蕾

刘奇, 盖芳钦, 叶有时, 刘波, 施蕾. 基于FPGA微型红外热电堆探测器空间应用[J]. 红外技术, 2020, 42(7): 611-617.
引用本文: 刘奇, 盖芳钦, 叶有时, 刘波, 施蕾. 基于FPGA微型红外热电堆探测器空间应用[J]. 红外技术, 2020, 42(7): 611-617.
LIU Qi, GAI Fangqin, YE Youshi, LIU Bo, SHI Lei. Micro-Infrared Thermopile Detector Space Applications Based on FPGA[J]. Infrared Technology , 2020, 42(7): 611-617.
Citation: LIU Qi, GAI Fangqin, YE Youshi, LIU Bo, SHI Lei. Micro-Infrared Thermopile Detector Space Applications Based on FPGA[J]. Infrared Technology , 2020, 42(7): 611-617.

基于FPGA微型红外热电堆探测器空间应用

基金项目: 航天系统部装备部课题(30508030101)
详细信息
  • 中图分类号: TN216

Micro-Infrared Thermopile Detector Space Applications Based on FPGA

  • 摘要: 红外地球敏感器是卫星控制分系统的重要姿态测量部件,提供卫星相对于地球辐射圆盘俯仰和滚动方向的姿态信息.为进行新一代微型红外地球敏感器研制,开展了基于FPGA的微型红外热电堆探测器空间应用研究,介绍了红外热电堆技术,采用探测器技术指标,对探测器的圆环效应、温度补偿、响应补偿、非均匀校正、盲元处理进行了研究,实现了红外地球敏感器图像处理系统的方案设计与FPGA设计.测试结果表明,姿态测量偏差小于0.2°,基于FPGA微型红外热电堆探测器设计,能够应用于卫星姿态测量,具有小型化、低功耗、低成本特点,具有替代传统机械扫描式红外地球敏感器潜力,具有广阔的应用前景.
  • 变电站是电网系统中最重要的组成部分,保证其安全可靠运行对电力系统稳定有着十分重要的现实意义。根据电网的运行分析报道,变电站设备中的高压套管、避雷器、绝缘子等关键的电压致热型变电设备因异常发热引起的故障在电气设备故障中超半数以上,极易造成大面积停电事故[1]。因此,及时精准地识别变电站电气设备,有利于帮助工作人员分析设备状态及故障情况,为后续设备的智能监测提供基础保障。

    目前,在变电站的设备监控中,红外检测技术因其可以达到非接触且及时监控的效果,被普遍应用到对电力设备日常运行维护作业中。近些年,工作人员采用巡检机器人、无人机等专业设备对电力系统的电气设备进行智能巡检。但红外图像越多就越需要大量人力资源来进行后期分析,存在效率低下、分析效果不好等问题[2]。因此,对变电站设备进行智能化识别分析具有较大的现实意义。

    随着深度学习的快速发展,国内外许多研究学者选择将深度学习和变电站电气设备结合起来实际应用到监测分析中[3]。目前主流的目标检测算法主要分为单阶段算法和两阶段算法两种,单阶段目标检测算法中具有代表性的是SSD(Single Shot Multibox Detector)[4]和YOLO(You Only Look Once)[5],而两阶段目标检测算法中主要有R-CNN(Region-Convolutional Neural Network)、Fast R-CNN以及Faster R-CNN[6-8]等。文献[9]基于Faster RCNN网络模型对电力系统中的变压器、电流互感器等7种电气设备进行目标检测及精准定位,紧接着采用温度阈值法实现对设备的缺陷识别。文献[10]采用改进的Retinex算法对变电设备红外图像进行图像增强处理,再通过改进特征融合网络和损失函数的YOLOv3网络对变电设备进行识别,使得检测精度更高。文献[11]提出了一种基于改进YOLOv5的检测网络,通过引入Ghost卷积实现网络的轻量化处理,提升了检测速度;在特征融合阶段引入了注意力机制提升了目标检测的精度;还利用优化的损失函数来提升收敛速度,进一步提升了识别精度。尽管上述研究对识别电气设备红外图像有一定的研究贡献,但对于目标检测精准定位的问题还有待进一步研究。

    为实现变电站电气设备智能巡检高精度、高效率的效果,本文提出一种基于改进YOLOv7的变电站电气设备红外图像识别方法。该方法将CoordConv层引入卷积网络,增强位置细节信息,减少空间特征的损失;引入CA注意力模块来加强网络的特征表达能力,并通过性能更佳的WIoU损失函数提高回归时的定位精度,有效解决变电设备红外图像识别精度低的问题。

    YOLOv7属于YOLO系列检测模型,其速度和精度超过了所有已知的5~160 FPS之间的目标检测模型,完美地平衡了速度和精度,使其受到业界的青睐[12]。YOLOv7的结构主要由3部分组成:输入部分、主干特征提取网络和检测头部分。

    YOLOv7网络模型的主干网络部分是由卷积、E-ELAN(Extended-ELAN)、MPConv以及SPPCSPC模块构成,主要通过E-ELAN和MP结构的骨干部分提取图像特征。E-ELAN只改变了计算模块的结构,而过渡层的结构完全没有改变,在不破坏原有梯度路径的前提下,利用扩展、随机组合、合并基数策略不断增强网络学习能力;与YOLO之前的网络结构不同,YOLOv7网络结构中的MP层同时使用Maxpooling和3×3卷积进行下采样,通过Concat将输出连接起来,使网络能够更好地提取特征。

    在检测头部分,SPPCSPC模块在一串卷积中加入并行的多次MaxPool操作,还引入了ELAN结构中的PAN模块以及RepConv模块,避免出现图像处理操作所造成的图像失真等现象,同时解决了卷积神经网络提取到图像重复特征的难题。

    针对变电站内电气设备种类多,识别难度较大的问题,本文将CoordConv[13]层引入卷积层,增加坐标细节,丰富网络层的特征信息。CoordConv就是在输入的feature map后面增加了两个coordinate通道,一个表示原始输入的x坐标,另一个表示y坐标,然后再进行传统的卷积过程,从而使得卷积过程可以获得feature map的空间信息。CoordConv层的具体结构如图 1所示。CoordConv层可以实现对标准卷积过程的简单扩展,其中实例化coordinate通道并填充坐标信息,然后把它们按各个通道级联到输入表示形式并应用到标准的卷积层。

    图  1  CoordConv结构图
    Figure  1.  CoordConv structure diagram

    CoordConv层继承了传统卷积层参数少、计算高效两个特性,而平移不变性会根据网络的学习情况选择保持或丢弃。如果CoordConv的坐标通道没有学习到任何信息,那么CoordConv此时就等价于传统卷积,具备了完全的平移不变性;而如果坐标通道学习到了一定的空间信息,那么此时CoordConv就具备了一定的平移依赖性。因此,在需要感知空间信息的时候使用CoordConv,一方面不会增加任何的计算量,另一方面对平移不变性也并没有完全消除,而是让网络根据不同学习的程度地去选择平移不变性和平移依赖性。看似这会损害网络模型的训练能力,但取出一部分网络容限能力去选择平移不变性,实际上会提升模型的泛化能力[13]

    为了使网络能够更有效地提取到感兴趣区域的信息,避免被其他信息所干扰,精确有效(Coordinate Attention)注意力机制[14]引入YOLOv7网络中。常用的注意力机制有SENeT(Squeeze-and-Excitation Network)[15]、ECA(Efficient Channel Attention)[16]、CBAM(Convolutional Block Attention Module)[17]等,而CA注意力机制与这3种注意力机制不同的是,将位置信息嵌入到了通道信息中,利用位置信息可以更快地定位到关键位置,使网络能够在大范围内关注感兴趣的信息,同时避免产生大量的计算,提升了定位的精确性[14]

    CA注意力机制是把通道注意力分解成为两个部分,这两个部分按照各自的方向进行一维的特征编码,然后再根据两个空间方向把特征合并起来。CA注意力机制的具体结构如图 2所示。

    图  2  CA注意力机制
    Figure  2.  Principle of CA attention mechanism

    具体来说,给定输入X,使用池化核的两个空间尺寸(H, 1)和(1, W)来分别沿着水平坐标和垂直坐标对每个通道进行编码。因此,第c个通道在高度为h处的输出可以表示为:

    $$ Z_{c}^{h}(h)=\frac{1}{W} \sum\limits_{0 \leqslant i < W} x_{c}(h, i) $$ (1)

    类似地,第c个通道在宽度为w处的输出可以表示为:

    $$ Z_{c}^{w}(w)=\frac{1}{H} \sum\limits_{0 \leq i < H } x_{c}(j, w) $$ (2)

    经过这种沿着两个空间方向进行特征聚合可以获得一对方向感知的特征图。在转换的过程中,首先将这两种聚合特征图连接起来,用1×1的卷积函数F1进行变换,具体表示为:

    $$ f=\delta\left(F_{1}\left(\left[Z^{k}, Z^{w}\right]\right)\right) $$ (3)

    式中:δ为非线性激活函数;fRC/r×(H+W)是在水平和垂直方向上的对空间信息进行编码的中间特征图;r表示用来控制SE block大小的缩减率。

    其次,沿着空间维度把f分成两种独立的张量fhRC/r×HfwRC/r×W,利用另外两个1×1的卷积变换FhFw分别将fhfw变换为相同通道数的张量到输入X,具体过程可以表示为:

    $$ g^{h}=\sigma\left(F_{h}\left(f^{h}\right)\right) $$ (4)
    $$ g^{w}=\sigma\left(F_{w}\left(f^{w}\right)\right) $$ (5)

    式中:σ表示sigmoid激活函数。

    最后,将输出ghgw展开分别用作注意力权重,CA注意力机制的最终输出Y可以表示为:

    $$ y_{c}(i, j)=x_{c}(i, j)^{*} g_{c}^{h}(i) * g_{c}^{w}(j) $$ (6)

    为了将注意力机制在网络中的作用最大化,本文将CA注意力机制融入C3模块放入YOLOv7的Backbone结构中,C3CA模块相较单独的CA注意力机制模块来说,可以不改变网络的总层数,降低参数量,能够更加专注于关键信息的定位,提升检测网络的精度。

    YOLOv7的损失函数主要由式(7)所示的3种损失函数构成,其中回归损失是目标检测中不可缺少的一部分。

    $$ L=L_{\rm{WIoU}}+L_{\rm{Focal}}+L_{\rm{BCE}} $$ (7)

    式中:LWIoU是回归损失,本文采用的是Wise-IoU Loss[18]LFocal是分类损失Focal Loss,采用的是交叉熵损失;LBCE是置信度损失,采用的是二元交叉熵损失。

    其中,Wise-IoU Loss是动态非单调聚焦机制的边界框损失,采用了动态聚焦机制对不同的边界框样本进行加权。IoU损失存在预测框和真实框没有交集面积时值为0的问题,现存的GIoU[19]、DIoU、CIoU[20]等损失为解决这一问题引入与边界框相关的几何因素,而WIoU损失不仅仅考虑了预测框和真实框的重叠面积、中心点距离以及纵横比这几类几何因素,还降低了高质量边界框样本的竞争力,掩盖了低质量样本的影响,在一定程度上提高了目标检测的精度,并且模型也具有更好的泛化性能[18]。WIoU损失函数的表达式如式(8)所示:

    $$ \begin{aligned} & L_{\mathrm{WIoU}}=\gamma R_{\mathrm{WIoU}} L_{\mathrm{IoU}} \\ = & \frac{\beta}{\delta \alpha^{\beta-\delta}} \exp \left(\frac{\left(x-x_{\mathrm{gt}}\right)^2+\left(y-y_{\mathrm{gt}}\right)^2}{\left(W_g^2+H_g^2\right)}\right)(1-\mathrm{IoU}) \end{aligned} $$ (8)

    式中:IoU表示的是预测框和真实框之间的交并比;xxgtyygt为真实框和预测框的宽和高的差值;WgHg分别表示能包围两框的最小矩形的宽度和高度;α=1.9, δ=3;β定义为离群度,用来描述锚框的质量,离群度越小意味着锚框的质量越高,其具体的表达式为:

    $$ \beta=\frac{L_{\mathrm{IoU}}}{L_{\mathrm{IoU}}} \in[0,+\infty) $$ (9)

    式中:$ \bar{L}_{\mathrm{IoU}} $是动量m的运动平均值;对于数据批数为n、训练次数为t的训练,建议将动量设置为:

    $$ m=1-\sqrt[6]{0.5}, \quad t n>7000 $$ (10)

    改进的损失函数对红外图像中目标设备的定位更加精准,识别更加清晰,有效地屏蔽了训练过程中的负面影响,提高了模型训练的精确度。

    在YOLOv7网络的基础上,通过本文提出的方法改进得到的网络结构如图 3所示。首先,将收集到的变电站设备红外图像数据集输入到改进YOLOv7网络中,在主干特征提取网络中添加C3CA注意力机制增强模型对目标电气设备的关注,提升检测性能;其次,在YOLOv7颈部卷积层加入CoordConv层,提高目标检测的精度和鲁棒性;此外,训练过程采用WIoU损失函数可以更加准确地衡量识别结果的准确性。通过改进YOLOv7网络对输入电气设备的红外图像进行目标检测,输出检测结果中包含电气设备类别和置信度。本文所提出的改进方法可以有效地提高设备红外图像识别的准确性和鲁棒性,实现对变电站设备红外图像的快速、准确检测和识别,为后续工作人员分析设备状态及故障情况提供可靠的基础依据。

    图  3  改进YOLOv7结构
    Figure  3.  Structure diagram of improved YOLOv7

    目标检测网络中用平均精度均值(Mean Average Precision, mAP)作为评价网络检测性能的重要指标,本文采用的是IoU阈值为0.5时所有类别AP的均值作为评价指标,还采用了FPS(frames per second)来分析模型的检测速度。AP计算的是精确率(Precision, P)和召回率(Recall, R)曲线下围成的面积,AP的值越大,表示目标检测网络的精度越高。

    精确率P表示预测是正样本中实际正样本所占的数量,计算公式如下:

    $$ P=\frac{T_{p}}{T_{p}+F_{p}} $$ (11)

    式中:TP为正确预测的正样本数量;FP为错误预测的正样本数量。

    召回率R表示实际正样本中被预测为正样本所占的数量,计算公式如下:

    $$ R=\frac{T_{P}}{T_{P}+F_{N}} $$ (12)

    式中:FN为错误预测的负样本数量。

    本文所采用的变电站红外数据集来自于新疆维吾尔自治区某市变电站红外测温发热图谱合集以及带电检测下获得的图像,从中主要选取了避雷器、变压器高压套管、电压互感器、电流互感器以及绝缘子这5种设备来构建变电站红外图像数据集,共获得1674张电气设备红外图像样本,具体构成如表 1所示,部分设备图像如图 4所示。为了较好地评估网络性能、验证模型训练测试的泛化性能,本文将数据集样本按照7:1:2的比例分成了训练集、验证集、测试集。

    表  1  变电站设备红外数据集构成
    Table  1.  Composition of infrared data set of substation equipment
    Target equipment Number/sheet Ratio/%
    Transformer HV bushing 308 18.7
    Current transformer 351 21.3
    Voltage transformer 287 17.4
    Lightning arrester 336 20.4
    Insulator 365 22.2
    下载: 导出CSV 
    | 显示表格
    图  4  不同变电设备红外图像
    Figure  4.  Infrared images of different substation equipment

    本文的深度学习实验平台如下:操作平台系统为Windows11,64位;显卡型号为NVDIA GeForce RTX 3060,内存16GB;CPU型号为AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz;深度学习框架为Python3.8.5,CUDA版本为11.6。训练时,设置网络迭代次数共200轮,batch-size设置为4,初始学习率为1×10-2

    使用本文提出的改进YOLOv7的检测算法在1647张变电站设备红外图像上进行训练,具体地对各类目标设备识别的结果如表 2所示,从数据中可以看出在各个设备上本文算法都能够达到较好的识别精度。

    表  2  各类设备识别结果
    Table  2.  Identification results of various types of equipment
    Type of equipment P/% R/% mAP/%
    Lightning arrester 93.5 95.6 95.5
    Transformer HV bushing 94.5 89.6 96.3
    Current transformer 96.9 95.3 98.4
    Voltage transformer 96.9 93.1 98.4
    Insulator 87.5 95.5 97.0
    All types 92.8 94.2 97.1
    下载: 导出CSV 
    | 显示表格

    训练过程中训练集和验证集的损失函数变化曲线如图 5所示,其中包括训练集和验证集的定位损失(box_loss)、置信度损失(obj_loss)和分类损失(cls_loss)。各项评价指标变化曲线如图 6所示,其中包括精确率(P)、召回率(R)和mAP0.5。从图中可以看出,训练过程中网络在迭代次数结束前达到收敛状态。

    图  5  损失函数变化曲线
    Figure  5.  Variation curves of loss function
    图  6  各项评价指标变化曲线
    Figure  6.  Variation curves of evaluation indexes

    综上所述,针对变电站设备红外图像中设备种类多、图像清晰度不均衡的问题,本文提出的改进YOLOv7模型可以准确有效地识别出各个电气设备,能保证所有设备识别的平均精度均值为97.1%。

    为了客观、精准地验证本文提出方法的有效性,选择在YOLOv7的基础上用同一变电站设备红外数据集进行了消融实验,实验结果如表 3所示。

    表  3  消融实验
    Table  3.  Ablation experiment
    Models CoordConv C3CA WIoU P/% mAP/% FPS
    YOLOv7 86.0 87.3 35.7
    YOLOv7-A 90.4 95.2 28.5
    YOLOv7-B 93.5 94.9 30.1
    YOLOv7-C 89.8 91.9 36.7
    YOLOv7-D 91.4 95.1 31.8
    Improved-YOLOv7 92.8 97.1 32.7
    下载: 导出CSV 
    | 显示表格

    表 3中可以看出:在YOLOv7-A模型中引入CoordConv到YOLOv7的卷积层,损失函数选取IoU,平均精度均值提升了7.9%,但FPS下降了7.2;YOLOv7-B模型引入C3CA注意力机制模块,损失函数选取IoU,平均精度均值提升了7.6%,但FPS下降了5.6;YOLOv7-C模型把损失函数换成WIoU后,平均精度均值和FPS都提升了,分别是4.6%和1;YOLOv7-D同时引入C3CA注意力机制以及WIoU损失函数后,平均精度均值提升了7.8%,FPS下降了3.9,但在此网络模型上引入CoordConv层后,平均精度均值上升到了97.1%,FPS较YOLOv7-D模型也有所提升。

    综上所述,改进的YOLOv7模型在变电站设备红外图像上能够精确、有效地识别目标设备,速度上会有所下降,但模型的精度达到了最佳的效果。

    为了检验C3CA注意力机制和其他注意力机制对YOLOv7网络性能提升的能力,本文选择SE、CBAM、ECA三种注意力机制与本文使用的方法进行对比,对比实验结果如表 4所示。

    表  4  不同注意力机制对比实验结果
    Table  4.  Comparative experimental results of different attention mechanisms
    Attention mechanisms P/% R/% mAP0.5/%
    SE 89.1 81.4 89.8
    CBAM 89.3 83.5 90.5
    ECA 90.8 87.7 92.1
    C3CA 93.5 90.2 94.9
    下载: 导出CSV 
    | 显示表格

    表 4中可以看出,SE、CBAM、ECA和C3CA注意力机制都能够提升网络的检测能力,但本文使用的方法在4种注意力机制中改善网络性能的效果更为明显,达到了94.9%的平均检测精度。

    为了验证模型在同类型算法中的优越性,本文在同一变电设备红外数据集下选择目前较为经典的一阶段和二阶段目标检测算法与本文提出的方法进行对比,其中包括SSD、Faster R-CNN、YOLOv5、YOLOv7、YOLOv7-tiny以及YOLOv7-W6六种算法,实验结果如表 5所示。

    表  5  不同方法对比实验结果
    Table  5.  Comparison of experimental results by different methods
    Target detection methods P/% R/% mAP0.5/%
    SSD 92.1 72.1 89.7
    Faster R-CNN 62.8 93.9 92.4
    YOLOv5 83.1 67.8 83.3
    YOLOv7 86.0 80.8 87.3
    YOLOv7-tiny 90.9 90.8 93.1
    YOLOv7-W6 92.3 92.5 94.5
    Ours 92.8 94.2 97.1
    下载: 导出CSV 
    | 显示表格

    表 5中可以看出,本文提出的改进YOLOv7模型在变电站红外数据集上的识别精确率达到了92.8%,相比于其他6种方法分别提高了0.7%、30%、9.7%、6.8%、1.9%、0.5%,召回率达到了94.2%,较其他方法提高了22.1%、0.3%、26.4%、13.4%、3.4%、1.7%,最重要的是阈值在0.5下的mAP达到了97.1%,在所有网络模型里达到了最佳效果。因此本文方法在识别精度上有着明显的优势,能够较为准确地识别设备红外图像,具有一定的可行性。

    为客观评价本文提出的方法,选择3张图片在不同网络上进行测试,部分方法在图片上识别的效果如图 7所示。在图 7(a)中的单个设备场景下,每个网络模型都够有效地识别目标设备;在图 7(b)的复杂场景下,YOLOv7模型出现了误检现象;在图 7(c)的多个设备场景下,SSD模型出现了漏检现象,Faster R-CNN和YOLOv7-tiny模型出现了误检现象。而YOLOv5、YOLOv7-W6和本文方法在各类场景下均能有效地识别出来,但改进的YOLOv7的识别精度更高。

    图  7  不同方法识别结果图
    Figure  7.  Identification results of different methods

    针对变电站电气设备红外图像的精准有效识别问题,提出了一种改进YOLOv7的变电站电气设备红外图像检测方法。通过CoordConv卷积层增加位置坐标信息,丰富网络的特征信息;使用CA注意力机制模块提升特征表达能力,提升网络检测精度;WIoU损失函数加快网络收敛速度,提高模型定位性能。在各类电气设备红外图像数据集上具备较好的识别效果,平均精度均值可以达到97.1%,能有效精准地识别变电设备,实现了智能化巡检的高效准确性。通过对比,在相同的实验条件下利用本文方法与其他4种经典目标检测算法进行实验,该方法不但在识别精度上胜于SSD、Fater R-CNN、YOLOv5、YOLOv7、YOLOv7-tiny和YOLOv7-W6,还能够有效解决其他方法中出现的漏检误检问题。

    实验结果表明本文方法能有效识别电气设备红外图像,但后续研究工作将着重于模型的轻量化处理,在保证高精度识别的情况下减小模型的大小,达到提升检测速度的目的。

  • 期刊类型引用(0)

    其他类型引用(1)

计量
  • 文章访问数:  187
  • HTML全文浏览量:  20
  • PDF下载量:  30
  • 被引次数: 1
出版历程

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日