基于改进高斯卷积核的变电站设备红外图像检测方法

吴添权, 郭竞, 苟先太, 黄勤琴, 周维超

吴添权, 郭竞, 苟先太, 黄勤琴, 周维超. 基于改进高斯卷积核的变电站设备红外图像检测方法[J]. 红外技术, 2021, 43(3): 230-236.
引用本文: 吴添权, 郭竞, 苟先太, 黄勤琴, 周维超. 基于改进高斯卷积核的变电站设备红外图像检测方法[J]. 红外技术, 2021, 43(3): 230-236.
WU Tianquan, GUO Jing, GOU Xiantai, HUANG Qinqin, ZHOU Weichao. Method of Detecting Substation Equipment in Infrared Images Based on Improved Gaussian Convolution Kernel[J]. Infrared Technology , 2021, 43(3): 230-236.
Citation: WU Tianquan, GUO Jing, GOU Xiantai, HUANG Qinqin, ZHOU Weichao. Method of Detecting Substation Equipment in Infrared Images Based on Improved Gaussian Convolution Kernel[J]. Infrared Technology , 2021, 43(3): 230-236.

基于改进高斯卷积核的变电站设备红外图像检测方法

基金项目: 

四川省人工智能重大专项项目 2018GZDZX0043

中国南方电网科技项目 035100KK52190003

详细信息
    作者简介:

    吴添权(1977-),男,广东潮州人,高级工程师,主要从事电气设备试验工作,主要研究方向为电气试验技术

    通讯作者:

    苟先太(1971-),男,四川三台人,副教授,博士,主要研究方向为电网智能化、人工智能技术。E-mail: 491098063@qq.com

  • 中图分类号: TM727

Method of Detecting Substation Equipment in Infrared Images Based on Improved Gaussian Convolution Kernel

  • 摘要: 在无锚点算法CenterNet模型的基础上,针对基于红外图像的目标检测算法检测精度低、耗时长的问题,给出了一种基于改进高斯卷积核的变电站设备红外图像检测方法,该目标检测方法模型网络结构精简,模型计算量较小。通过现场变电站巡检机器人设备收集数据样本,进行算法模型的训练及验证,实现红外图像变电站设备精准识别及定位。本文以变电站巡检机器人搭配红外热成像仪采集到的红外图像库为基础,用深度学习方法对数据集进行训练和测试,研究变电站红外图像的目标检测技术。通过深度学习技术判断设备中心点位实现目标分类和回归。实验结果表明,该方法提高了变电站目标检测方法的识别定位精度,为变电站设备红外图像智能检测提供了新的思路。
    Abstract: Slow and inaccurate target detection algorithms used to analyze infrared images are the focus of this study. An infrared image detection method is proposed for substation equipment using an improved Gaussian convolution kernel, which is based on the CenterNet algorithm without an anchor point. In brief, data samples were first collected using on-site substation inspection robot equipment, the algorithm model was trained and verified, and finally, accurate identification and positioning of infrared image substation equipment was achieved. Specifically, based on the infrared image library collected by the substation inspection robot and the infrared thermal imager, methods of deep learning were applied to train and test a model using the dataset, the target detection technology of substation infrared images was studied, and the equipment center was accurately judged through deep learning technology to achieve target classification and regression. The identification and positioning accuracy of the substation target detection were improved by adopting this proposed method, and it provides new ideas for the intelligent detection of infrared images for substation equipment.
  • 在工业生产中,及时掌握设备的工作状态是十分必要的。好多情况下,物体表面温度可以间接地反映设备的工作状态,因此开展依据物体表面温度对工业设备运行状态进行检测和监测的理论与方法研究具有重要的意义[1-2]

    对于设备表面温度分布的测量,最常用的设备为红外热像仪。通过红外热像仪进行测温,一般要求正对测量表面。然而在狭小空间或由其他原因造成可达性较差的位置进行测量时,如舰船的机舱,常常无法满足红外热成像测温的要求,因此就需要人们对特殊测量条件下所测得的温度分布进行修正。造成红外热像测温误差的因素很多,相关的研究包括红外热像仪的测温的影响因素分析及误差的计算[1, 3]、太阳、大气等环境的影响[1, 4-5],周围高温物体的影响[6-7]、测量距离及视角的影响[8-9]、探测器温度的影响[10]等。对于本文讨论的非平设备表面,尤其在热像仪处于被测点的天顶角的50°范围之外时,发射率将发生明显的变化。因此,对于设为恒定表面发射率的热像仪,必将会产生显著的测温误差。因此,开展非平表面红外温度测量的修正研究具有重要的应用价值。

    本文针对利用红外热像仪大角度测温或对非平表面进行测温因无法或部分无法处于表面各点定向发射率恒定的天顶角范围内时热像仪的测温误差进行研究,并基于物体表面定向发射率的变化规律,通过对所测表面进行3D建模,建立实际表面和热像图之间的坐标对应关系,提出热像仪所测温度分布的修正方法。方法通过实验进行验证。

    根据红外热像仪温度计算公式[1]

    $$ {T_0} = {\left\{ {\frac{1}{\varepsilon }\left[ {\frac{1}{{{\tau _{\rm{a}}}}}T_{\rm{r}}^n - \left( {1 - a} \right)T_{\rm{u}}^n - \frac{{{\varepsilon _{\rm{a}}}}}{{{\tau _{\rm{a}}}}}T_{\rm{a}}^n} \right]} \right\}^{\frac{1}{n}}} $$ (1)

    式中:ε为物体表面发射率; τa为大气的光谱透射率; Tr为热像仪指示的辐射温度; εa为大气辐射率; Tu为环境温度。在3~5μm,n=9.2554;在8~12μm,n=3.9889。

    由式(1)可知,温度测量值与被测物体的发射率ε密切相关。在测量复杂物体表面时,需在热像仪上将发射率设为一固定值,通常为该表面材料的法向发射率。天顶角是某个方向和天顶方向的夹角,通常记为θ(见图 1)。本文中利用天顶角来描述热像仪测量物体表面中点的温度时,热像仪成像中心点相对于物体表面的位置关系。在一次测量时,热像仪所处的位置,对于非平表面上不同的点具有不同的天顶角θ。当角θ超出一定范围(如大于50°)时,定向发射率的变化必然对红外测温的准确性产生影响。

    图  1  热像仪机位与其对应的天顶角
    Figure  1.  Position of thermal imager and corresponding zenith angle

    根据菲涅尔定律[1],光谱方向反射率表示为:

    $$ \rho (\tilde n, \theta ) = \frac{1}{2}({\left| {\frac{{\tilde n\cos \theta - \cos \theta '}}{{\tilde n\cos \theta + \cos \theta '}}} \right|^2} + {\left| {\frac{{\cos \theta - \tilde n\cos \theta '}}{{\cos \theta + \tilde n\cos \theta '}}} \right|^2}) $$ (2)

    式中:$\tilde n = n\left( \lambda \right) - i \cdot k\left( \lambda \right)$表示材料的复折射系数。

    根据Snell定律,折射角与入射角满足:

    $$ \sin \theta ' = (1/\tilde n)\theta $$ (3)

    根据Kirchhoff定律:

    $$ \varepsilon (\tilde n, \theta ) = \alpha (\tilde n, \theta ) = 1 - \rho (\tilde n, \theta ) $$ (4)

    表 1[11]中铝(Al)、黄铜(Brass)、聚乙烯(PS)、聚苯乙烯(PE)4种材料分别在3~5 μm与8~12 μm工作波段的复折射率可计算出其定向发射率随天顶角变化的理论值。

    表  1  材料各波段复折射率
    Table  1.  Complex refractive indexes of the materials in each wave bands
    Al Brass PS PE
    band/μm 3-5 8-13 3-5 8-13 3-13 3-13
    n 6.62 23.19 4.77 17.21 1.57 1.52
    k 37.77 85.04 23.73 51.85 0 0
    下载: 导出CSV 
    | 显示表格

    式(4)的计算结果如图 2所示,可观察到金属与非导电体定向发射率随天顶角的变化规律:各类材料定向发射率在被测点天顶角大于50°附近开始出现明显的变化。

    图  2  定向发射率随天顶角的变化
    Figure  2.  Variation of direction emissivity with zenith angle

    在工程测量中,需在测量前设定被测物体表面的发射率,通常设为其法向发射率ε。对于相对平整的表面,可使用ε代表所有点的发射率。当热像仪处于被测点的天顶角大于50°的位置范围时,需采用该角度的定向发射率。对于不同角度的定向发射率εθ,根据(1)式可知实际温度T0与测量温度T1的关系为:

    $$ {T_{\rm{1}}} = {\left\{ {\frac{{{\varepsilon _ \bot }}}{{{\varepsilon _\theta }}}} \right\}^{\frac{1}{n}}}{T_0} $$ (5)

    定义修正系数为:

    $$ c\left( \theta \right) = {\left\{ {\frac{{{\varepsilon _ \bot }}}{{{\varepsilon _\theta }}}} \right\}^{\frac{1}{n}}} $$ (6)

    则可得修正系数曲线如图 3所示。

    图  3  温度修正系数随天顶角的变化
    Figure  3.  Temperature correction factors vs. zenith angles

    图 3观察得出,对于金属表面温度测量结果的修正系数在天顶角大于50°时减小,在90°附近上升迅速,而非导电体在天顶角大于70°时迅速增加,最大时测温误差可达50%。因此,需要对红外热像图中不同位置的温度值依据其对应实际点的修正系数进行修正。

    如前所述,要计算被测表面各个点的修正系数,必须首先计算各个点红外测温时热像仪所处的天顶角θ

    利用3D建模或3D扫描技术可获取被测物体的空间结构,存储格式为.stl文件。将所得.stl文件使用Meshlab软件进行网格划分处理后可获得该被测物体的点云数据,存储为.xyz文件。.xyz文件为一组六维向量,前三维是点云中各点世界坐标系下坐标${p_{\rm{w}}} = {[{x_{\rm{w}}}, {y_{\rm{w}}}, {z_{\rm{w}}}]^{\rm{T}}}$,后三维是该点的法向量坐标$\mathop N\limits^ \to = {\left[ {{n_x}, {n_y}, {n_z}} \right]^{\rm{T}}}$。

    以一锅炉为例,绘制出其点云坐标和法向量如图 4所示。

    图  4  某锅炉点云坐标与法向量示例
    Figure  4.  Point cloud coordinates and normal vectors

    本文将建模过程中的模型原点作为世界坐标系原点。可知热像仪机位中心坐标\$。

    由热像仪机位中心坐标与空间坐标可得测量方向向量:$\overrightarrow {{p_{\rm{w}}}I} = {\left[ {{x_{\rm{c}}} - {x_{\rm{w}}}, {y_{\rm{c}}} - {y_{\rm{w}}}, {z_{\rm{c}}} - {z_{\rm{w}}}} \right]^{\rm{T}}}$

    则可计算天顶角为:

    $$ \theta ({p_{\rm{w}}}, I) = \langle \mathop N\limits^ \to , \overrightarrow {{p_{\rm{w}}}I} \rangle = \arccos (\frac{{\mathop N\limits^ \to \cdot \overrightarrow {{p_{\rm{w}}}I} }}{{\left| {\mathop N\limits^ \to } \right| \cdot \left| {\overrightarrow {{p_{\rm{w}}}I} } \right|}}) $$ (7)

    由空间几何关系可知,对于天顶角小于90°的被测点,由于透视关系无法在热像仪上成像,因此可得可视部分如图 5所示。

    图  5  锅炉的红外热像仪可视点
    Figure  5.  Visible points of boiler for the infrared imager

    其中坐标为(-0.75, 0.12, 0.1)的点为红外热像仪中心所在点,黄色部分为锅炉表面在该位置关系下热像仪的可视点,蓝色为不可视点。

    由该位置关系可计算得出各点对应天顶角θ。由于实际工程应用中,通常在金属表面填涂一层非导电涂料,且非导电体在法向发射率相较于导电体更大,理论的光谱定向发射率与实际相差不大,因此以8~13 μm的PS(Poly styrene)材料作为被测物体材料。在图 4的位置关系下,计算得出该锅炉的修正系数c的频率分布直方图如图 6所示。经计算可得,该位置关系下修正系数大于1.2的点占比44.1%。由此可见,对实际非平表面测温时的定向发射率进行修正是非常必要的。

    图  6  不同温度修正系数对应的被测点所占总被测点的比例
    Figure  6.  Percentage of points with different temperature correction coefficients

    天顶角与成像点的实际位置和其法向量密切相关。因此,针对红外热像仪所测温度的修正需明确各成像点在世界坐标中的实际位置。

    世界坐标系下被测点pw经红外热像仪投影至平面像素点pp=[u, v]T,在成像过程中经过两次坐标变换,分别是由世界坐标系到热像仪坐标系的变换和由热像仪坐标系到像素坐标系的变换[12],两个变换分别通过外参矩阵和内参矩阵来实现。

    世界坐标pw到热像仪坐标pi的转换关系为:

    $$ \left[ {\begin{array}{*{20}{c}} {{p_{\rm{c}}}}\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} R&t\\ {\rm{0}}&{\rm{1}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{p_{\rm{w}}}}\\ 1 \end{array}} \right] $$ (8)

    其中:

    $$ \left[ {\begin{array}{*{20}{c}} R&t\\ {\rm{0}}&{\rm{1}} \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{R_{\rm{i}}}}&I\\ {\rm{0}}&{\rm{1}} \end{array}} \right]^{ - 1}} = \left[ {\begin{array}{*{20}{c}} {{R_{\rm{i}}}^{\rm{T}}}&{ - {R_{\rm{i}}}^{\rm{T}}I}\\ 0&1 \end{array}} \right] $$ (9)

    为热像仪的外参矩阵,Ri为热像仪的基坐标在世界坐标系的坐标,描述热像仪在世界坐标系中的姿态,I为热像仪中心在世界坐标系中的位置。

    获取热像仪的外参矩阵需确定热像仪姿态,热像仪在成像过程中一般固定角度。假设热像仪在实际测量中热像仪x轴始终与水平面平行,仅存在俯角γ与转角β。则可知当热像仪对准被测物体中心$\overline {{p_{\rm{w}}}} = {[\overline {{x_{\rm{w}}}} , \overline {{y_{\rm{w}}}} , \overline {{z_{\rm{w}}}} ]^{\rm{T}}}$时,热像仪中心指向被测点中心向量$\overrightarrow {C\overline {{p_{\rm{w}}}} } = {[\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}, \overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, \overline {{z_{\rm{w}}}} - {z_{\rm{c}}}]^{\rm{T}}}$为热像仪坐标z轴方向,热像仪坐标系x轴与水平面平行,y轴方向垂直于x轴和z轴。由数学关系可得3个方向的标准基为:

    $$ \begin{array}{l} {e_{\rm{1}}} = {\left[ {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, {x_{\rm{c}}} - \overline {{x_{\rm{w}}}} , 0} \right]^{\rm{T}}}/{\left( {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}} \right)^2} + {\left( {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}} \right)^2}\\ {e_{\rm{2}}} = {e_3} \times {e_1}/\left| {{e_1}} \right|\left| {{e_3}} \right|\\ {e_{\rm{3}}} = {\left[ {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}, \overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, \overline {{z_{\rm{w}}}} - {z_{\rm{c}}}} \right]^{\rm{T}}}/\\ {\rm{ }}{\left( {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}} \right)^2} + {\left( {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}} \right)^2} + {\left( {\overline {{z_{\rm{w}}}} - {z_{\rm{c}}}} \right)^2} \end{array} $$ (10)

    计算可得Ri=[e1, e2, e3]为热像仪在世界坐标系旋转到当前姿态的旋转矩阵。

    当热像仪角度变化时,可根据热像仪的俯角与转角求得热像仪坐标系z轴与水平面的交点:

    $$ {p_0} = {\left[ {\left( {{x_{\rm{c}}} + {z_{\rm{c}}}/\tan \gamma } \right)\sin \beta , \left( {{y_{\rm{c}}} + {z_{\rm{c}}}/\tan \gamma } \right)\cos \beta , 0} \right]^{\rm{T}}} $$ (11)

    将上述计算过程中被测点中心$\overline {{p_{\rm{w}}}} $替换为p0即可根据热像仪实际姿态确定外参矩阵。

    在世界坐标转换为热像仪坐标后,需将热像仪坐标转换为像素坐标,完成三维到二维的转变。

    热像仪坐标pi到像素坐标pp的转换关系为:

    $$ \left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right] = \frac{1}{{{z_{{p_{\rm{c}}}}}}}\left[ {\begin{array}{*{20}{c}} {{k_x}}&0&{{c_x}}\\ 0&{{k_y}}&{{c_y}}\\ 0&0&1 \end{array}} \right]{p_{\rm{c}}} $$ (12)

    式中:$\mathit{\boldsymbol{K}} = \left[ {\begin{array}{*{20}{c}} {{k_x}}&0&{{c_x}}\\ 0&{{k_y}}&{{c_y}}\\ 0&0&1 \end{array}} \right]$为热像仪的内参矩阵,$\frac{1}{{{z_{{p_{\rm{c}}}}}}}$为尺度因子,描述成像位置与热像仪中心的距离。

    内参矩阵与热像仪的型号和图像的分辨率有关,kxky为热像仪xy方向的像素焦距,cxcy为图片主点偏移,内参矩阵均以像素为单位。

    fxfy为热像仪xy方向的毫米焦距,对于毫米焦距和像素焦距的转换关系有:

    $$ \begin{array}{l} {f_x}{\rm{ }} = {\rm{ }}{k_{\rm{u}}}{\rm{ }}*{\rm{ d}}x\\ {f_y}{\rm{ }} = {\rm{ }}{k_{\rm{v}}}{\rm{ }}*{\rm{ d}}y\\ \;{\rm{d}}x{\rm{ }} = {\rm{ (}}1/{\rm{ccd}}\_{\rm{size }}*{\rm{ }}24.5{\rm{ }}*\\ \quad \;{\rm{image}}\_x{\rm{ }}/{\rm{ image}}\_y{\rm{) }}/{\rm{ image}}\_x\\ \;{\rm{d}}y{\rm{ }} = {\rm{ (}}1/{\rm{ccd\_size }}*{\rm{ }}24.5{\rm{ }}*\\ \quad \;{\rm{image}}\_x{\rm{ }}/{\rm{ image\_}}y{\rm{) }}/{\rm{ image}}\_y \end{array} $$ (13)

    式中:ccd_size是热像仪厂商给出的CCD尺寸,以英寸为单位; image_x、image_y是图像xy方向的像素数,与成像的分辨率有关。

    在工程应用中,外参矩阵主要通过机位的计算得出,内参矩阵经热像仪标定得出。

    对于热像仪标定,一般使用张氏标定法[13]。通过Matlab软件自带的热像仪标定程序camera calibrator可对单目热像仪进行标定。可见光相机标定需打印棋盘格,对于红外热像仪,将棋盘格用金属板代替。黑色部分使用隔热胶带,白色部分使用金属板或锡纸。

    在程序中输入标定板在不同角度下的红外热像图,可得到热像仪中心与标定板相对位置和热像仪内参、外参、图片尺寸等参数。本文主要使用标定得到的热像仪内参矩阵K

    总体的温度修正计算流程如图 7所示。

    图  7  温度修正流程图
    Figure  7.  Flow chart of temperature compensation

    据式(7)计算出天顶角,查得该天顶角下的发射率,然后计算式(6)得到世界坐标系下各测温点的修正系数c(pw)。经热像仪成像后,测温点由世界坐标pw映射到成像平面坐标pp=[u, v]Tpwpp的转换关系由3.3节标定的热像仪矩阵计算得出。经上述转换关系可得测温点在二维平面坐标对应的修正系数c(pp)。

    热像仪拍摄的温度图像将温度以矩阵的形式存储,因此,应当将pp从离散的点云转换为与热像图格式相同的pi, j,其中,pi, j代表像素块(i, j)的坐标。

    对于修正系数在像素块范围内梯度较小的点,该像素块的修正系数取像素块内的平均值。对在热像图上像素位置为(i, j)的点,该像素的修正系数为:

    $$ {c_{i, j}}\left( {{p_{\rm{p}}}} \right) = \frac{{\sum\limits_{k = 1}^m {{c_0}\left( {u, v} \right)} }}{m}, \{ u \in [i, i + 1), v \in [j, j + 1)\} $$ (14)

    当像素内修正系数梯度变化较大的,可采用该像素内修正系数最大值附近点取平均值的方法,在此像素块内凸显该形状非光滑点。

    $$ {c_{i, j}}\left( {{p_p}} \right) = \max \left( {{c_0}\left( {u, v} \right)} \right), \{ u \in [i, i + 1), v \in [j, j + 1)\} $$

    对于红外热像仪,其所测温度矩阵为T0(pp)。修正后的温度矩阵为所测温度矩阵与温度修正系数矩阵做基本积(哈达玛积):

    $$ {T_{i, j}}\left( {{p_{\rm{p}}}} \right) = {T_{0i, j}}\left( {{p_{\rm{p}}}} \right) * {c_{i, j}}\left( {{p_{\rm{p}}}} \right) $$ (15)

    所得温度T(pp)即修正后的温度。

    本文通过一个热水桶表面的温度测量实验来验证该算法有效性。首先使用Solidworks软件进行几何建模,获得被测物体几何信息,经Meshlab软件求得热像仪可视表面的点云及各点处的法向量,再经Matlab计算出各点温度的修正系数以及各点对应的热像图中的坐标,最后将红外热像仪直接测得的温度分布信息导入Matlab进行修正得到水桶表面的修正后的温度。

    本文选用Fluke Ti400型号热像仪进行测温,测温表面为一聚乙烯塑料桶侧面,塑料桶底部外径为18 cm,顶部外径为20.5 cm,高为20 cm。塑料桶中为热水,热像仪在世界坐标系中的坐标为$C{\rm{ = [}} - {\rm{0}}{\rm{.75, 0}}{\rm{.12, 0}}{\rm{.10}}{{\rm{]}}^{\rm{T}}}$,热像仪正对塑料桶中心,位置关系如图 8所示。测得塑料桶外表面可视部分的红外热像图见图 9

    图  8  热像仪机位
    Figure  8.  Position of thermal imager
    图  9  红外热像图与温度截线
    Figure  9.  Infrared thermal image and temperature crossing line

    使用热像仪拍摄红外标定板(如图 10所示),获取标定板的红外热像图,将热像图输入标定程序,获得热像仪内参矩阵K

    图  10  红外热像仪的标定
    Figure  10.  Calibration of infrared thermal imager

    通过Solidworks软件建模并将得到的水桶表面的云数据导入Matlab软件中,可得到水桶表面与热像仪在空间中的位置关系,如图 11所示(黄色点为被测表面的可视点,蓝色为被测表面的非可视点)。本实验中,略去了接近桶口的外径较大的部分。

    图  11  热像仪与被测表面的位置关系
    Figure  11.  Positions of thermal imager and measured surface

    依据热像仪与可视点的空间位置关系,据式(7)可计算得各可视点的天顶角,据图 2可得不同天顶角时,所对应的发射率。然后据式(6)算得每个可视点的修正系数。如4.1节所述,对空间中可视点进行热像仪矩阵的变换,映射至平面可得出热像图中各点对应的修正系数,见图 12。进而依据式(15)得到热像图中各点修正后的温度分布。

    图  12  修正系数分布
    Figure  12.  Correct factors distribution

    为了更好地显示本文方法对红外热像仪所测得的温度分布,本节在所研究的可视表面高度方向的中心,取与图 9中相同位置的截线进行展示,修正系数如图 13所示。将所得修正系数与成像截线温度相乘得到修正后的截线温度,修正前后温度的对比如图 14所示。

    图  13  截线上各点的修正系数
    Figure  13.  Correction factors of points in cross-line
    图  14  截线上温度分布修正前和修正后的对比
    Figure  14.  Comparison of temperature distributions before and after correction of points in the cross-line

    图 14可见,修正前最大误差近40℃,真实温度为335℃,相对误差约为12.4%;修正后,集中在两侧大角度测量时的误差不超过5.0℃,相对误差小于1.5%。从此可见该方法的有效性。值得说明的是图 13中修正系数分布曲线并不完全对称,主要原因是该图的横坐标为非常微小的像素点,研究过程中像素点的选取没有完全对称所致。更多的平行截线结果均表明,该修正方法较好地消除了非平表面在红外热像测温时部分因为测量角度过大而引起的发射率变化所造成的误差。

    针对使用红外热像仪测量非平表面温度时不同被测量点的定向发射率的变化对测温结果的影响,本文依据物体表面定量发射率的变化规律,给出了各个测量点的修正系数。同时,通过点云三维建模,利用热像仪通用几何成像原理推导出红外热像图像素与实际物体的被测表面之间各个测量点的对应关系,给出了红外热像测温过程中非平表面上的大天顶角被测点的温度测量结果的误差修正方法。实验证明了该方法的有效性。

  • 图  1   训练数据集部分样本

    Figure  1.   Somesamples of the training data set

    图  2   目标检测流程图

    Figure  2.   Flow chart of target detection

    图  3   通过中心点预测候选框

    Figure  3.   The candidate box is predicted by the center point

    图  4   多个满足条件的候选框

    Figure  4.   Several candidate boxes that satisfy the criteria

    图  5   预测框与GT box三种不同位置关系图

    Figure  5.   Three different position relation diagrams of prediction box and GT box

    图  6   高斯卷积核改进前后的Boundingbox和Heatmap示意图

    Figure  6.   Bounding box and Heat map before and after the improvement of Gaussian convolution kernel

    图  7   σ=1的高斯核函数

    Figure  7.   The Gaussian kernel at σ=1

    图  8   σ=5的高斯核函数

    Figure  8.   The Gaussian kernel at σ=5

    图  9   部分检测结果图

    Figure  9.   Some detection result graph

    表  1   红外图像数据集

    Table  1   Infrared image data set

    Classname Label name Picture numbers
    Arrester Arrester 123
    Breaker Breaker 166
    Current transformer Current transformer 137
    Disconnector Disconnector 73
    Electricreactor Electricreactor 150
    Voltage transformer Voltage transformer 303
    Aerial conductor Aerial conductor 86
    Condenser Condenser 236
    Main transformer Main transformer 224
    Tubular busbar Tubular busbar 72
    下载: 导出CSV

    表  2   计算机硬件配置

    Table  2   Computer hardware configuration

    Name Type
    CPU Intel Core I7 9700K
    GPU Nvidia RTX 2080 Ti
    hard disk 4T SAS 7.2K*1
    memory 512 G
    下载: 导出CSV

    表  3   红外图像数据集测试结果

    Table  3   Test results of infrared image data set

    bn Model mAP Epoch hm_loss wh_loss off_loss Loss
    DLA-34 before 0.685 200 1.2178887 3.385998 0.229195 1.646682
    after 0.705 200 1.1233817 2.775918 0.212195 1.415212
    Res-101 before 0.661 200 0.396270 3.179799 0.244151 1.138400
    after 0.723 200 0.521400 1.897403 0.232067 1.043208
    Res-18 before 0.463 200 0.451421 2.713203 0.262212 0.994953
    after 0.582 200 0.813421 2.113203 0.256721 0.87198
    下载: 导出CSV

    表  4   针对变电站真实条件下的性能试验记录表

    Table  4   Performance test record for substation

    Type Picture numbers Target numbers Correct detection
    number
    Average accuracy Miss raio Fallout ratio Total time
    Aerialconductor 12 16 12 0.750 0.250 0 1.080
    Arrester 38 62 54 0.871 0.129 0 3.040
    Breaker 45 125 114 0.912 0.024 0.064 4.562
    Condenser 83 83 71 0.855 0.133 0.012 8.088
    Currenttransformer 33 91 83 0.912 0.030 0.058 2.699
    Disconnector 16 16 13 0.813 0.187 0 1.746
    Electricreactor 34 65 56 0.862 0.138 0 2.919
    Maintransformer 42 42 36 0.857 0.143 0 3.606
    Tubular busbar 8 15 12 0.800 0.200 0 0.874
    Voltagetransformer 76 146 133 0.911 0.048 0.041 6.519
    下载: 导出CSV
  • [1]

    Junwei Hsieh, Yungtai Hsu, Hongyuan Mark Liao, et al. Video-based human movement analysis and its application to surveillance systems[J]. IEEE Transactions on Multimedia, 2008, 10(3): 372-384. DOI: 10.1109/TMM.2008.917403

    [2] 黄文清, 汪亚明, 周志宇. 计算机视觉技术在工业领域中的应用[J]. 浙江理工大学学报: 自然科学版, 2002, 19(2): 28-32. https://www.cnki.com.cn/Article/CJFDTOTAL-ZJSG200202005.htm

    HUANG Wenqing, WANG Yaming, ZHOU Zhiyu. Application of computer vision technology in the field of industry[J]. Journal of Zhejiang Institute of Science and Technology, 2002, 19(2): 28-32. https://www.cnki.com.cn/Article/CJFDTOTAL-ZJSG200202005.htm

    [3]

    Leonid Sigal, Michael J Black. Guest editorial: state of the art in image- and video-based human pose and motion estimation[J]. International Journal of Computer Vision, 2010, 87(1): 1-3. http://dl.acm.org/citation.cfm?id=1713483

    [4]

    Yuki Kitahara, Seiji Takahashi, Noriyuki Kuramoto. Ion attachment mass spectrometry combined with infrared image furnace for thermal analysis: evolved gas analysis studies[J]. Analytical Chemistry, 2009, 81(8): 3155-3158. DOI: 10.1021/ac802746d

    [5] 王勇, 梅生伟, 何光宇. 变电站一次设备数字化特征和实现[J]. 电力系统自动化, 2010, 34(13): 94-99. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXT201013019.htm

    WANG Yong, MEI Shengwei, HE Guangyu. The characteristics and realization of digitization of primary equipment in substations[J]. Automation of Electric Power Systems, 2010, 34(13): 94-99. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXT201013019.htm

    [6]

    Felzenszwalb P F, Girshick R B, Mcallester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Software Engineering, 2010, 32(9): 1627-1645. http://ieeexplore.ieee.org/document/5255236

    [7] 方路平, 何杭江, 周国民. 目标检测算法研究综述[J]. 计算机工程与应用, 2018, 54(13): 11-18. DOI: 10.3778/j.issn.1002-8331.1804-0167

    FANG Luping, HE Hangjiang, ZHOU Guomin. Research overview of object detection methods[J]. Computer Engineering and Applications, 2018, 54(13): 11-18. DOI: 10.3778/j.issn.1002-8331.1804-0167

    [8] 阮激扬. 基于YOLO的目标检测算法设计与实现[D]. 北京: 北京邮电大学, 2019.

    RUAN Jiyang. Design and Implementation of Target Detection Algorithm Based on YOLO[D]. Beijing: Beijing University of Posts and Telecommunications, 2019.

    [9] 李鹏飞, 刘瑶, 李珣, 等. YOLO9000模型的车辆多目标视频检测系统研究[J]. 计算机测量与控制, 2019, 27(8): 21-24. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201908006.htm

    LI Pengfei, LIU Yao, LI Xun, et al. A detection method of multi-target for vehicles based on YOLO9000 model[J]. Computer Measurement & Control, 2019, 27(8): 21-24. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201908006.htm

    [10] 季航, 贾镕, 刘晓, 等. 一种基于YOLOv3的红外目标检测系统[J]. 电子设计工程, 2019, 27(22): 61-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GWDZ201922013.htm

    JI Hang, JIA Rong, LIU Xiao, et al. An infrared target detection system based on YOLOv3[J]. Electronic Design Engineering, 2019, 27(22): 61-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GWDZ201922013.htm

    [11] 栾浩, 王力, 姜敏, 等. 基于改进SSD的目标检测方法[J]. 软件, 2020, 41(1): 29-35. https://www.cnki.com.cn/Article/CJFDTOTAL-RJZZ202001008.htm

    LUAN Hao, WANG Li, JIANG Min, et al. Object detection method based on improved SSD[J]. Computer Engineering & Software, 2020, 41(1): 29-35. https://www.cnki.com.cn/Article/CJFDTOTAL-RJZZ202001008.htm

    [12] 谢奇芳, 姚国清, 张猛. 基于Faster R-CNN的高分辨率图像目标检测技术[J]. 国土资源遥感, 2019, 31(2): 38-43. https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201902006.htm

    XIE Qifang, YAO Guoqing, ZHANG Meng. Research on high resolution image object detection technology based on Faster R-CNN[J]. Remote Sensing for Land & Resources, 2019, 31(2): 38-43. https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201902006.htm

    [13]

    DUAN K, BAI S, XIE L, et al. CenterNet: keypoint triplets for object detection[C]//IEEE International Conference on Computer Vision, 2019: 6569-6578.

    [14] 杨海燕, 蒋新华, 聂作先. 基于并行卷积神经网络的人脸关键点定位方法研究[J]. 计算机应用研究, 2015, 32(8): 283-285. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ201508068.htm

    YANG Haiyan, JIANG Xinhua, NIE Zuoxian. Facial key points location based on parallel convolutional neural network[J]. Application Research of Computers, 2015, 32(8): 283-285. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ201508068.htm

    [15] 刘云鹏, 裴少通, 武建华, 等. 基于深度学习的输变电设备异常发热点红外图片目标检测方法[J]. 南方电网技术, 2019, 13(2): 27-33. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201902006.htm

    LIU Yunpeng, PEI Shaotong, WU Jianhua, et al. Deep learning based target detection method for abnormal hot spots infrared images of transmission and transformation equipment[J]. Southern Power System Technology, 2019, 13(2): 27-33. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201902006.htm

    [16] 林海波, 王浩, 张毅. 改进高斯核函数的人体姿态分析与识别[J]. 智能系统学报, 2015, 10(3): 436-441. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201503021.htm

    LIN Haibo, WANG Hao, ZHANG Yi. Human postures recognition based on the improved Gauss kernel function[J]. CAAL Transactions on Intelligent Systems, 2015, 10(3): 436-441. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201503021.htm

    [17]

    WU Jiajun, XUE Tianfan, Joseph J. Lim. Single image 3D interpreter network[C]// European Conference on Computer Vision, 2016: 1-18.

    [18] 莫邵文, 邓新蒲, 王帅, 等. 基于改进视觉背景提取的运动目标检测算法[J]. 光学学报, 2016(6): 196-205. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201606025.htm

    MO Shaowen, DENG Xinpu, WANG Shuai, et al. Moving object detection algorithm based on improved visual background extractor[J]. Acta Optica Sinica, 2016(6): 196-205. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201606025.htm

    [19] 朱伯伟, 庾农, 肖松. 红外极小目标检测算法研究[J]. 航空电子技术, 2011, 42(3): 5-11. https://www.cnki.com.cn/Article/CJFDTOTAL-HKDZ201103001.htm

    ZHU Bowei, YU Nong, XIAO Song. Approaches on infrared point targets detection algorithm[J]. Avionics Technology, 2011, 42(3): 5-11. https://www.cnki.com.cn/Article/CJFDTOTAL-HKDZ201103001.htm

  • 期刊类型引用(2)

    1. 宋宏伟,刘塑,李海英,于洪有,史圣兵,郭秀丽,李昊岚,张亚平,王向前. 中波红外640×512(25μm)探测器组件可靠性验证试验. 红外技术. 2024(08): 879-882 . 本站查看
    2. 何邦盛,王忠华. 基于结构张量筛选和局部对比度分析的空中红外小目标检测算法. 红外技术. 2023(12): 1169-1176 . 本站查看

    其他类型引用(1)

图(9)  /  表(4)
计量
  • 文章访问数:  553
  • HTML全文浏览量:  154
  • PDF下载量:  50
  • 被引次数: 3
出版历程
  • 收稿日期:  2020-04-15
  • 修回日期:  2020-12-27
  • 刊出日期:  2021-04-01

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日