A Temperature Compensation and Calibration Method for Thermal Infrared Array Sensor
-
摘要:
针对远红外矩阵式温度传感器提出一种可显著提高温度测量精度的补偿及校准方法,该方法建立了基于矩阵式红外阵列温度检测的最值补偿模型,并提出一种距离归一化校准方法,利用该温度补偿及校准方法可对矩阵式红外温度传感器在任意角度,任意距离下的测量误差进行补偿和校准。实验结果表明,该方法能够减少测量角度及距离对温度测量的影响,显著提高矩阵式红外温度传感器的测量精度,并具备实用价值。
-
关键词:
- 红外矩阵式感温传感器 /
- 角度补偿 /
- 距离补偿 /
- 距离校准 /
- 距离归一化
Abstract:A temperature compensation and calibration method of the thermal infrared radiometer array sensor were introduced to improve the measurement accuracy. A maximum temperature calibration model were established based on the matrix IR temperature sensor, and a distance uniform method were introduced in this paper. By using the method, measurement error can be calibrated without the limitation of the angle and distance of the IR array sensor. Test results showed that this method can reduce the influences of the angle or distance of the measurement, and improve the accuracy.
-
0. 引言
在电力输电线路巡检中,红外成像技术作为探测设备故障的远距离检测的重要工具,具有检测非接触式、安全性强、准确率高以及操作简便等优点[1]。然而,因巡检人员针对现场环境,需要实时录入检测到的故障信息等,不仅加长其巡检时间,且极易出现漏检、误录入等情况[2-3],使得巡检效率受到了不同程度的影响。
目前,图像处理技术作为辅助手段已经成为提升巡检自动化水平的重要一环。随着巡检无人机以及无人车在电力公司、电网公司的大力推广使用,红外图像处理技术越来越受到关注。众所周知,红外辐射能量的强弱是与物体表面温度大小密切相关的,当物体表面温度越高,其红外辐射强度越大,所体现在红外图像上的灰度值也越大。一般而言,输电线巡检中的电气设备,其故障大多以高温、高热特性为主,为红外图像故障检测提供了潜在的区分特性。早期,阈值划定故障界限通常是研究人员最为关注的一种解决方法。例如,在文献[4]中,提出一种采用经典的最大类间方差法(Otsu)自适应阈值图像分割方法,显然对于温差比较大的区域而言,这种方式简单高效。文献[5]提出了一种新型阈值的选择方法,该方法对目标图像先拟合具有N个相邻点的线性模型计算斜率差的变化趋势,通过在斜率差分布谷值中挑选适合不同类型故障区域的最佳阈值,以及利用形态学迭代腐蚀提取目标区域。针对红外图像背景复杂、信噪比低,文献[6]提出了一种基于Otsu和区域生长相结合的故障分割方法,较好地提取出故障区域。实际上,区域生长是一种类似聚类的方法。基于此,文献[7]提出了采用基于加权切比雪夫距离的K-means算法对输电线路上的变电站电气设备红外图像进行分割。进一步地,文献[8]中提出了基于PCNN分层聚类迭代的故障区域自动提取方法,该方法需要通过设置PCNN模型内在参数并引入聚类机理,从而获得较高的故障区域提取性能。此外,针对不同的红外场景图像,也涌现出了一系列图像处理算法[9-13]。
然而,针对输电线上不同红外对象以及不同场景的红外图像,现有的一些算法适应性都在一定程度上具有局限,其主要体现在红外图像的特性上,例如故障区域的大小以及灰度分布范围。通常,故障区域较小,阈值的选择往往会偏向于低灰度值[14];灰度分布范围过大,则会将背景中的其他区域产生混叠,增加了阈值选择难度。其次,故障区域与非故障区域存在一定的边界,使得阈值机制得不到发挥。基于此,本文提出采用一种基于最大相似度阈值框架,并融合脉冲耦合神经元同步点火机制,使得脉冲耦合神经网络(Pulse-coupled neural network)阈值以及参数得到进一步优化,从而使PCNN模型具有更好的图像处理能力。最后通过真实电力设备红外图像验证本文方法的有效性。
1. MST框架
针对红外图像,灰度阈值分割机制通常具有高效性,便于快速检测,其中最大相似度阈值(Maximum Similarity Thresholding,MST)[15]机制起源于Otsu算法。不失一般性,可将Otsu算法规则定义为:
$$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left( {\chi , \gamma \left( t \right)} \right)} \right\} $$ (1) 式中:S(χ, γ(t))表示对原始图像提取的图像信息χ和在阈值t下获得的图像信息γ(t)之间的相似度度量,即:
$$ S\left( {\chi , \gamma } \right) = \frac{{\sum\nolimits_{i = 1}^N {\left( {{x_i} - {\mu _\chi }} \right)\left( {{w_i} - {\mu _\gamma }} \right)} }}{{\sqrt {\sum\nolimits_{i = 1}^N {{{\left( {{x_i} - {\mu _\chi }} \right)}^2}\sum\nolimits_{i = 1}^N {{{\left( {{w_i} - {\mu _\gamma }} \right)}^2}} } } }} $$ (2) 式中:xi和wi分别对应图像χ和γ中第i个像素值;μχ和μγ表示图像χ和γ的均值。从式中不难看出,当S=1时表示当图像χ和γ相同;相反,其值越小,代表差异越大,即越不相似。
考虑到不同的相似度度量函数对图像处理性能的差异性,例如Otsu方法,采用的类间方差最大或类内方差最小的原则建立阈值选择机制。然而,在式(1)直接度量下,极易发生阈值偏移引发欠分割或过分割。为了增强相似度度量的普适性,MST框架定义为:
$$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left[ {T\left( \chi \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (3) 式中:T和H表示转换函数,通常在实际图像处理中,转换函数T和H需要做相应的设置。不同的转换函数,其处理的结果必然存在一定的差异性,这也使得模型变得更加灵活。
2. MST框架下PCNN红外图像分割模型
2.1 PCNN简化模型
脉冲耦合神经网络模型(PCNN)[16-17]作为第三代神经网络,其内在的同步点火特性受到了国内外学者的青睐,特别是在图像分割、区域提取等领域,PCNN模型可以通过一定程度的简化,配合内在参数的优化,使得模型的有效性和适用性大大提升。图 1为一种经典的简化PCNN模型[16]。
在图 1中,这种经典的PCNN模型中输入层、耦合层以及脉冲发放层是一个循环级联的架构,神经元其内在活动激励随着迭代不断调节,直到神经元同步发放脉冲不再变化为止。因此,相比于其他神经网络图像处理,其不再需要训练和学习,只需要内在参数的调节,即可获得最终的输出。
其次,耦合层调节当前点火神经元的邻域神经元的活动项,这种机制有助于将具有相同特性的神经元进行聚类,从而便于分割图像区域。
此外,脉冲发放层是阈值分割机制的体现,是提升图像处理效率较为关键的一个环节,在一定程度上最终奠定了图像的分割结果。
为了更好地描述图 1的PCNN简化模型,输入层由反馈输入Yi和外部激励Ii组成,其中外部输入Ii与图像区域Ω中第i个像素的灰度值一一对应,即:
$$ {F_i}\left[ n \right] = {I_i}, i \in \varOmega $$ (4) 而反馈输入Yi通过内在的权重Wij,形成连接输入Li:
$$ {L_i}\left[ n \right] = \sum\limits_j {{{\boldsymbol{ W}}_{ij}}{{\boldsymbol{ Y}}_j}\left[ {n - 1} \right]} $$ (5) 式中:n代表迭代次数索引;Wij为神经元i和j之间的连接权系数矩阵。通常,相邻神经元欧氏距离的倒数作为权重系数值[16],即:
$$ {{\boldsymbol{ W}}_{ij}} = \left\{ {\begin{array}{*{20}{l}} {0, \quad \quad \quad \;\, i = j} \\ {\frac{1}{{{{\left\| {i - j} \right\|}_2}}}, \quad i \ne j} \end{array}} \right. $$ (6) 在耦合层,连接输入和外部输入通过线性耦合方式调节邻域神经元内在活动项Ui:
$$ U_{i}[n]=F_{i}[n]\left\{1+\beta L_{i}[n]\right\} $$ (7) 式中:β为连接强度系数。
由于PCNN的迭代结果的输出最终由阈值进行控制。在阈值调节机制上,更多考虑区域特性以及熵等规则[8, 16]。通常,可将阈值设置为:
$$ {\theta _i}\left[ n \right] = {\hat \theta _i}\left[ {n - 1} \right] $$ (8) 式中:$ {\hat \theta _i}\left[ {n - 1} \right] $为区域的估计值,例如区域均值。
连接系数β,其主要作用是调节邻域神经元的内部活动激励,如式(7)所示。为了能够捕获邻域相似神经元,本文采用聚类方差最小方式设置系数β:
$$ \begin{gathered} \mathop {\min }\limits_\beta \sum\limits_{i = 0}^1 {\sum\limits_{x \in {X_i}} {{{\left( {{V_x} - {m_i}\left( n \right)} \right)}^2}} } \quad {\text{s}}{\text{.t}}. \hfill \\ \begin{array}{*{20}{c}} {{V_x} = {I_x}\left( {1 + \beta {L_x}} \right)\quad {\text{if}}\quad x \in {X_0}} \\ {{V_x} = {I_x}\quad \quad \quad \quad \;\;{\text{if}}\quad x \in {X_1}} \end{array} \hfill \\ \end{gathered} $$ (9) 式中:X0表示当前点火区域的8邻域像素,即为具备内在激励的神经元;X1表示未点火区域的8邻域像素;m0(n)和m1(n)分别代表未点火区域和点火区域在当前迭代时刻n的均值。由此,通过搜素β值,使得式(9)具有最小值,代表局部区域神经元聚类方差最小。
然后,通过阈值机制,得到脉冲输出:
$$ {Y_i}\left[ n \right] = \left\{ {\begin{array}{*{20}{l}} {1, \quad {U_i}\left[ n \right] > {\theta _i}\left[ {n - 1} \right]} \\ {0, \quad {\text{otherwise}}} \end{array}} \right. $$ (10) 即当内部活动项Ui大于阈值时,神经元点火,输出脉冲;反之,输出值Yi[n]为零。
此外,关于迭代次数n的选择,在现有的一些文献中[16],通常依赖于判断规则,即在PCNN脉冲输出序列中寻找判断规则决定最佳的脉冲输出。然而,这种规则的好坏,决定了最终的提取结果。
2.2 MST框架下的PCNN模型阈值的改进
在阈值部分,PCNN模型通常采用式(8)所示的阈值估计,即采用区域的均值替代估计,从而使得PCNN模型在迭代过程中能够合理地将邻域相似的神经元进行聚类。然而,由于红外图像边界的模糊性,容易引起低灰度值的像素进行聚类,从而引起均值θi[n]发生偏差,使得迭代过程变得冗长,并导致最终得不到较好的分割结果。
为此,本文采用MST框架,对PCNN阈值设置进行优化,利用式(3)的优化方式替代式(8)的阈值,即:
$$ \mathop {\max }\limits_{{\theta _i}\left[ n \right] = t} \left\{ {S\left[ {T\left( x \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (11) 考虑到红外图像中故障区域与非故障区域存在边界,因此将转换函数T选择为梯度边界函数:
$$ T\left( \chi \right) = \left\| {\nabla G\left( {x, y;\sigma } \right)*\chi } \right\| $$ (12) 式中:*表示卷积;∇为梯度算子;σ表示尺度大小;G为高斯函数:
$$ G\left( {x, y;\sigma } \right) = \frac{1}{{\sqrt {2{\text{π }}} \sigma }}{{\text{e}}^{ - \left( {{x^2} + {y^2}} \right)/2\sigma _{}^2}} $$ (13) 由此可以看出,当图像χ经T变换后,得到的结果与图像中梯度信息密切相关。显然,区域分割结果的变换函数H要求具备边界信息。本文采用形态学算子对分割后的二值图像进行处理,则得到:
$$ H(A)=A-(A \Theta B) $$ (14) 式中:A为阈值下的二值图像;B为形态学算子(4邻域);Θ表示腐蚀算子。
为了便于实现,图 2给出了整个算法的处理流程,最终通过选择最大相似度的PCNN时间序列输出作为故障区域提取结果。
3. 实验结果及分析
为了验证文中方法的图像处理性能,图 3给出了5幅在输电线路巡检中获取的具有代表性的红外图像及其梯度图像,并与经典的Otsu,MST[15]以及现有的PCNN模型[8]进行比较,所有算法均在Intel(R) Core(TM) i5 CPU 4 GB内存PC机Matlab (2010b)上编程实现。
图 4~图 10分别给出了Otsu、MST、现有的PCNN模型以及本文PCNN模型得到的结果图。由于经典的Otsu算法阈值的选取依赖于类内方差最小或类间方差最大原则,因此,得到的阈值并不与图像边界等特征信息有关联,使得其分割结果与期望结果产生偏差,如图 4所示。而MST方法在此基础上融入了相似度法则,经过T变换和H变换,再通过相似度来选择阈值,使得阈值的选择融合了图像的边界以及区域特性,相对来讲,这种方式有利于提取具有边界的目标区域。然而,对于红外图像,得到的结果更倾向于分离背景,而实际的故障区域被目标区域所覆盖,引起故障区域得不到分离,如图 5中图像2,图像4和图像5的结果。另外,从图 6所得到的阈值相似度曲线不难发现,图 6(b),(d)和(e)所得到的曲线存在两个峰值,这代表故障区域和非故障区域也存在边界,表明采用最佳的阈值相似度并不能较好地分割故障区域。
图 7为文献[8]中PCNN分层聚类方法分割结果,其得到的分层结果均较为理想。然而,从第3幅图像的分割结果中,连接端子部分因PCNN阈值和连接系数的相关性,使得阈值设置发生了一定的偏移,导致该区域未被分割出来,如图 8所示。而本文方法融入了MST框架,在PCNN自适应迭代获得分割结果后(如图 9),再根据阈值相似度原则设置PCNN阈值,重新再迭代后得到最终的结果,从而避免了阈值设置的不当,最终结果如图 10所示。进一步地,从表 1中不难发现,重新迭代后的相似度结果在很大程度上要优于最先的PCNN迭代后的结果,进而表明本文方法参数设置的有效性,具有较好分离故障区域与非故障区域的能力。
表 1 阈值相似度评价Table 1. Evaluation of threshold similarityImage 1 Image 2 Image 3 Image 4 Image 5 Original value 0.4081 0.0910 0.5794 0.3050 0.3497 Final value 0.4440 0.1830 0.6010 0.3497 0.3358 此外,表 2给出了各个方法在时间复杂度上的对比。Otsu方法时间消耗最小,而当融合相似度计算时,即采用MST方法时,其时间消耗就会有所增加。而文献[8]PCNN方法中,需要对整幅图像进行分层聚类,最后再通过合并等操作,因此,其时间复杂度最高。相比于文献[8]的方法,本文PCNN方法在融合MST框架后,其时间复杂度明显得到了降低。
表 2 时间复杂度度量Table 2. Evaluation of time complexs Image 1 Image 2 Image 3 Image 4 Image 5 Otsu 0.1395 0.1109 0.0028 0.0021 0.1245 MST 0.9271 2.8334 0.9680 0.2569 3.0357 PCNN 1.7231 14.9229 4.4648 1.2141 46.8639 Proposed 0.9528 6.0775 0.8206 0.2679 13.874 4. 结语
本文提出了一种基于MST框架的PCNN模型输电线路红外图像热故障区域提取方法。该方法融合了MST框架技术,为PCNN阈值最优设置提供了理论基础。同时,在邻域像素同步点火参数的设置上,采用最小聚类方差,使得PCNN模型的参数能够进一步优化,最终获取红外图像中热故障区域。最后针对电气设备红外图像,且与一些常用的算法以及现有的PCNN模型相比,本文方法能较好地提取故障区域。此外,本文方法在图像处理时间上,要优于现有的PCNN方法。在下一步工作中,我们也将继续对此进行优化,使得本文方法能够更好地应用于现场。
-
表 1 水平x方向补偿数据汇总
Table 1 Compensation on horizontal direction
Column index Sensor 1 Sensor 2 Sensor 3 Avg. Avg. Comp. Avg. Comp. Avg. Comp. 2 80.917 1.165 81.547 1.159 80.464 1.184 1.161 4 84.217 1.119 85.353 1.107 83.725 1.137 1.119 6 87.823 1.073 87.723 1.077 87.422 1.089 1.080 8 89.250 1.056 89.550 1.055 89.652 1.062 1.058 9 91.997 1.025 90.147 1.048 92.263 1.032 1.036 11 92.330 1.021 91.477 1.033 93.592 1.018 1.022 13 94.017 1.003 94.067 1.004 95.093 1.001 1.004 16 94.267 1.000 94.473 1.000 95.229 1.000 1.000 17 94.267 1.000 94.317 1.000 95.225 1.000 1.000 20 93.187 1.012 93.660 1.007 94.876 1.004 1.007 22 93.053 1.013 92.993 1.014 93.815 1.015 1.017 24 90.920 1.037 90.650 1.040 91.763 1.038 1.039 25 89.870 1.049 90.190 1.046 90.162 1.056 1.049 27 86.167 1.094 87.390 1.079 87.612 1.087 1.081 29 84.783 1.112 85.347 1.105 85.603 1.112 1.105 31 79.800 1.181 81.057 1.164 80.881 1.177 1.164 表 2 不同距离补偿值
Table 2 Compensation of different distances
de Φ10 cm 40 cm×60 cm 80 cm×120cm Avg. c(d) d1 Avg. c(d) d2 Avg. c(d) 2.5 84.82 0.92 10.00 85.68 0.91 20.00 80.67 0.92 5.0 83.947 0.93 20.00 84.62 0.92 40.00 79.88 0.92 7.5 83.06 0.94 30.00 83.54 0.94 60.00 79.20 0.93 10.0 82.22 0.95 40.00 82.70 0.94 80.00 78.27 0.94 15.0 80.81 0.96 60.00 81.29 0.96 120.00 77.13 0.96 20.0 80.01 0.97 80.00 80.03 0.98 160.00 75.86 0.97 25.0 79.42 0.98 100.00 79.60 0.98 200.00 75.39 0.98 30.0 78.92 0.99 120.00 78.98 0.99 240.00 75.09 0.98 35.0 78.53 0.99 140.00 78.46 1.00 280.00 74.02 1.00 40.0 77.90 1.00 160.00 78.08 1.00 320.00 73.81 1.00 表 3 实验验证数据
Table 3 Test of different distances and angles with compensation
H/cm d/cm de/cm x y T0/℃ e0% Tr/℃ er% Tl/℃ Φ10 cm 30 30 8 31 85.1 -13.2 99.0 0.99 98 30 30 21 10 90.6 -7.5 97.0 -1.03 98 40 40 4 24 85.9 -9.6 96.2 1.24 95 40 40 4 6 82.1 -13.6 95.2 0.26 95 40 cm×60 cm 80 20 10 5 84.5 -6.2 89.9 -0.15 90 80 20 20 28 83.8 -6.9 91.3 1.45 90 100 25 15 9 95.5 -2.6 97.9 -0.12 98 100 25 7 29 88.7 -9.5 99.3 1.30 98 80 cm×120 cm 240 30 19 8 73.1 -8.7 81.3 1.60 80 240 30 7 27 71.2 -11.0 81.4 1.72 80 160 20 6 19 91.7 -6.5 95.7 -2.35 98 160 20 19 21 91.8 -6.3 95.6 -2.42 98 -
[1] 何天文, 汪同庆, 刘建胜. 医用红外热图像信息处理系统的实现[J]. 重庆邮电学院学报, 2002, 14(4): 51-54. HE Tianwen, WANG Tongqing, LIU Jiansheng. Implementation of medical infrared image information processing system[J]. Journal of Chongqing University of Posts and Telecommunications Science, 2002, 14(4): 51-54.
[2] 李云红, 孙晓刚, 原桂彬. 红外热像仪精确测温技术[J]. 光学精密工程, 2007, 15(9): 1336-1341. DOI: 10.3321/j.issn:1004-924x.2007.09.005 LI Yunhong, SUN Xiaogang, YUAN Guibin. Accurate temperature measurement by infrared thermal imager[J]. Optical Precision Engineering, 2007, 15(9): 1336-1341. DOI: 10.3321/j.issn:1004-924x.2007.09.005
[3] 杨立. 红外热像仪测温计算与误差分析[J]. 红外技术, 1999, 21(4): 20-24. YANG Li. Temperature measurement calculation and error analysis of infrared thermal imager[J]. Infrared Technology, 1999, 21(4): 20-24.
[4] 隋修宝, 陈钱, 顾国华. 环境温度对红外图像非均匀性影响的研究[J]. 光子学报, 2008, 12(1): 2572-2575. SUI Xiubao, CHEN Qian, GU Guohua. Study on the influence of ambient temperature on the non-uniformity of infrared image[J]. Journal of Photonics, 2008, 12(1): 2572-2575.
[5] 屈惠民, 陈钱. 红外焦平面阵列二元非线性的非均匀性理论模型[J]. 电子学报, 2008, 11(36): 2150-2153. QU Huimin, CHEN Qian. Nonuniformity theoretical model for binary nonlinearity of infrared focal plane arrays[J]. Journal of Electronics, 2008, 11(36): 2150-2153.
[6] 郑兆平, 曾汉生, 丁翠娇. 红外热成像测温技术及其应用[J]. 红外技术, 2003, 25(1): 96-98. DOI: 10.3969/j.issn.1001-8891.2003.01.024 ZHENG Zhaoping, ZENG Hansheng, DING Cuijiao. Infrared thermal imaging temperature measurement technology and its application[J]. Infrared Technology, 2003, 25(1): 96-98. DOI: 10.3969/j.issn.1001-8891.2003.01.024
[7] 胡贵红, 陈钱, 沈晓燕. 红外焦平面探测器响应非线性的测定[J]. 光电子&激光, 2003, 14(5): 489-492. DOI: 10.3321/j.issn:1005-0086.2003.05.013 HU Guihong, CHEN Qian, SHEN Xiaoyan. Measurement of nonlinear response of infrared focal plane detectors[J]. Photoelectron & Laser, 2003, 14(5): 489-492. DOI: 10.3321/j.issn:1005-0086.2003.05.013
[8] DAI Shaosheng, YAN Xiaohui, ZHAN Tianqi. Study on high-precision temperature measurement of infrared thermal imager [J]. Infrared Physics & Technology, 2010, 53: 396-398.
[9] 叶玮琳, 郑传涛, 王一丁. 中红外甲烷检测仪稳定性实验及温度补偿研究[J]. 光学学报, 2014, 34(3): 0323003. YE Weilin, ZHENG Chuantao, WANG Yiding. Study on stability experiment and temperature compensation of mid-infrared methane detector[J]. Journal of Optics, 2014, 34(3): 0323003.
[10] 李庆, 刘上乾, 赖睿, 等. 一种基于场景的红外焦平面阵列非均匀性校正算法[J]. 光子学报, 2006, 35(5): 720723. LI Qing, LIU Shanggan, LAI Rui, et al. A scene-based nonuniformity correction algorithm for infrared focal plane arrays[J]. Journal of Photonics, 2006, 35(5): 720723.