Compensation Method for Temperature Distribution Measured by Infrared Thermography for Non-flat Surfaces
-
摘要: 利用红外热像仪测温需先设定被测表面的法向发射率，该发射率通常为定值。而当热像仪处于被测点的天顶角大于50°的位置范围时，由于被测点定向发射率的变化，必造成这些点的测温误差。对于非平表面，这样的点大量存在。因此，必须对其测温结果进行修正。本文针对使用单目红外热像仪测量非平表面温度时由于各点定向发射率的变化引起的测量误差进行研究，并依据物体表面定量发射率的变化规律，给出了测量点的温度修正系数。同时，通过点云三维建模，利用热像仪的几何成像原理推导出红外热像图与实际被测表面中点与点的对应关系，给出了通过红外热像仪测量非平表面的温度分布的误差修正方法。实验证明了该方法的有效性。Abstract: When employing an infrared thermal imager to measure surface temperature, the emissivity of the surface to be measured should be set first and kept constant during the measurement process. However, when the infrared imager is placed in the range of more than 50° of the zenith angle of the points to be measured, the emissivities of the points in this angle will vary significantly; hence, temperature measurement errors will occur, especially for points on non-flat surfaces. In view of the measurement error caused by the variation of emissivity of different points in the measured non-flat surface when using a monocular infrared thermal imager, this paper provides a compensation factor based on the variation rules of the emissivity with the measuring angle. In addition, based on 3D modeling technology, the relationship between the positions of the points in the thermographic image and those in the actual surface is determined. The compensation method of the temperature measurements for a non-flat surface is presented. The feasibility of the method was verified through experiments.
-
0. 引言
图像融合可以将多幅不同成像机制的同一场景图像通过融合算法合成为一张新的图像，以有利于人眼观察和计算机处理[1]，目前已经在医学[2]、遥感[3]、军事[4]等邻域得到广泛运用。红外图像和可见光图像融合旨在利用图像融合算法运用红外图像和可见光图像的不同成像特点得到场景内目标更全面、清晰、准确的图像[5]。红外获取的图像不依赖于光照条件，抗干扰能力较强，但通常对比度和分辨率都较低，不能有效获取目标场景的细节信息[6]。可见光图像通常分辨率较高，边缘纹理等细节信息丰富，但依赖于光照条件[7]。红外图像与可见光图像之间有很强的信息互补性，充分利用两种图像信息的互补性，将这两种图像进行融合，可以得到目标场景清晰的图像。红外图像和可见光图像融合技术在军事、安全等邻域已经有较为广泛的运用[8]。
像素级的图像融合方法包含空间域融合和变换域融合方法。空间域的融合方法在像素层面上进行融合，复杂度低，但融合图像通常信息保留不完整[9]。变换域融合方法是基于多尺度变换理论将图像进行多层分解，得到源图像的低频近似子带和高频细节子带[10]。利用低频子带和高频子带的不同特点将低频子带和高频子带分别采用不同的融合规则融合，最后通过逆变换得到重构的融合图像。常用的多尺度变换如：金字塔变换、小波变换、轮廓波变换、非下采样Contourlet变换[11]等。金字塔变换的数据冗余度高且缺乏方向性[12]; 小波变换克服了金字塔变换的缺点，在不同尺度上具有水平、垂直和对角线3个方向的分解信息[13]; 在一定程度上提高了图像融合的效果; 但在二维奇异曲线的表示上还具有局限性; Curvelet变换[14]的提出旨在更好地解决曲线奇异性问题; 轮廓波变换是文献[15]提出的一种图像二维表示方法，能够更好地表示图像轮廓，但低频子带和高频子带中存在频谱混叠现象[16]，为消除轮廓波变换的频谱混叠现象，文献[17]中提出的非下采样轮廓波变换（non-subsampled contourlet transform, NSCT），删除了下采样操作，具有更好的频谱特性[18]。
本文算法对源图像首先进行初处理，然后对其进行NSCT分解。低频子带利用红外图像显著性图进行加权融合，在获取显著性图时，对传统FT算法进行基于引导滤波的改进以突出边界显著性; 对高频子带采用基于马氏距离加权的拉普拉斯能量和取大的融合规则以获得更多的细节信息。实验结果表明，本文算法相较传统小波变化和NSCT变换等算法而言，不仅在主观视觉上表现较好，在客观评价上也有较好的表现。
1. 非下采样Contourlet变换
轮廓波变换不具有平移不变性的原因就在于拉普拉斯金字塔和方向滤波器组中存在的上采样和下采样。在NSCT中，为保留变换的方向和多尺度属性，拉普拉斯金字塔被替换为非下采样金字塔滤波器组（non-subsampled pyramid filter banks, NSP）以保留多尺度属性，以及将非下采样方向滤波器组（non-subsampled direction filter banks, NSDFB）用于方向性分解。在图像进行S层NSCT变换后，我们可以得到1个低频子带图像和$\sum\nolimits_{s = 1}^S {{2^{{k_s}}}} $个方向子带，其中s是分解层数，ks是第s层的方向分解级数。
进行NSCT分解时，对源图像首先经过塔形分解为高通和低通，对高通部分再进行多方向分解，低通部分继续进行二层分解[19]。如图 1为NSCT两层分解的示意图。
2. 对比度受限的自适应直方图均衡化
可见光成像容易受光照等条件的影响，获取的图像有时对比度较低，使用这样的源图像进行融合会丢掉很多图像目标细节信息，因此需要对源可见光图像进行对比度增强[20-21]。对比度受限的自适应直方图均衡（contrast limited adaptive histogram equalization，CLAHE）将图像划分为若干个小块，对每个子块的直方图做裁剪，然后将裁剪的部分均匀地分布在整个灰度区间上。在将图像进行分块处理时，图像容易出现块状效应，为解决这个问题，每个子块上像素点的值由它周围4个子块的映射函数进行双线性插值得到，角点处像素点由该子块的映射函数得到，边缘子块的像素值则以相邻两个子块的映射函数做线性插值得到。
本文采用CLAHE算法对可见光图像进行对比度增强，分别使用传统直方图均衡化算法（histogram equalization, HE）和CLAHE算法对可见光图像增强的结果如图 2所示。
3. 引导滤波改进的图像显著性图
人眼在观察一幅图像时，有些区域会引起人眼极大的兴趣，有些区域则会被忽略。而红外图像中的目标通常为人眼视觉的显著性区域，以人类视觉机制为基础，构建图像显著性模型[21]，将人眼对图像各区域感兴趣的程度使用灰度信息进行量化，即可获得图像的显著性图。
FT算法是提取图像显著性图的一种常用算法，FT算法获取图像显著性图的算法如下式(1)所示：
$$ S(i, j) = |{I_{\rm{ \mathsf{ μ} }}} - {I_{{\rm{gauss}}}}(i, j)| $$ (1) 式中：Iμ为输入图像I的均值; Igauss(i, j)为输入图像经高斯滤波后的图像在点(i, j)处的像素值。
高斯模糊在对图像进行细节平滑滤波时会使图像边缘也变得模糊，而引导滤波作为一种可以保持图像边缘的滤波方法可以有效地在滤波过程中保持图像的边缘，可以有效突出图像显著性区域的边界，基于此，本文使用引导滤波对传统FT算法进行改进，提出基于引导滤波的红外图像显著性图提取方法。引导滤波是一种自适应滤波器，能够在平滑图像的同时起到保持边界的作用[22]。引导滤波处理图像时，通过一张引导图I对输入图像p进行滤波处理，滤波后的输出图像与输入图像的纹理部分与引导图像相似。在使用引导滤波时，如果引导图像与输入图像相同，此时引导滤波成为一个保持边缘的滤波操作。在局部窗口内使用线性模型，使得滤波器输出结果与引导图在局部窗口内的梯度一致。引导滤波函数的输入和输出在一个局部窗口内满足线性关系如下式(2)：
$$ {q_i} = {a_k}{I_i} + {b_k}, \forall i \in {\omega _k} $$ (2) 式中：I为引导图像; q为输出图像; ωk是中心像素点为k的局部窗口; ak和bk为当前窗口通过最小成本函数E(ak, bk)获得，如下式(3)所示：
$$ E({a_k}, {b_k}) = \sum\limits_{i \in {\omega _k}} {({{({a_k}{I_i} + {b_k} - {p_i})}^2} + \varepsilon a_k^2)} $$ (3) 式中：ε是用来调节ak，防止ak过大的参数，对代价函数进行求解，可以得到ak、bk得最优解。
$$\left\{ {\begin{array}{*{20}{c}} {{a_k} = \frac{{\frac{1}{{|\omega |}}\sum\nolimits_{i \in {\omega _k}} {{I_i}{p_i} - {\mu _k}{{\bar p}_k}} }}{{\sigma _k^2 + \varepsilon }}}\\ {{b_k} = {p_k} - {a_k}{\mu _k}} \end{array}} \right.$$ (4) 式中：μk为局部窗口内引导图像I的均值; σk为局部窗口内引导图像I的方差; |ω|为局部窗口大小; pk为输入图像在局部窗口内的均值。由于滤波窗口滑动，同一个像素会出现在不同的窗口中，对同一像素位置在不同窗口下的ak、bk取平均值得到该像素位置的滤波参数，则某一像素点的滤波输出为：
$${q_i} = {\bar a_i}{I_i} + {\bar b_i}$$ (5) 其中：
$$\left\{ {\begin{array}{*{20}{c}} {{{\bar a}_i} = \frac{1}{{|\omega |}}\sum\nolimits_{k:i \in {\omega _k}} {{a_k}} }\\ {{{\bar b}_i} = \frac{1}{{|\omega |}}\sum\nolimits_{k:i \in {\omega _k}} {{b_k}} } \end{array}} \right.$$ (6) 假设G(x, y)为红外图像同时作为引导图像和输入图像输入到引导滤波中的输出图像，将此输出图像代替公式(1)中的高斯滤波图像，因此，基于引导滤波改进的FT算法显著性图计算公式如下：
$${S_{\rm{g}}}(i, j) = |{I_{\rm{ \mathsf{ μ} }}} - G(i, j)|$$ (7) 将获得的红外图像显著性图进行归一化：
$${S_{\rm{m}}}(i, j) = \frac{{{S_{\rm{g}}}(i, j) - \min {S_{\rm{g}}}}}{{\max {S_{\rm{g}}} - \min {S_{\rm{g}}}}}$$ (8) 式中：maxSg和minSg分别为Sg的最大灰度值和最小灰度值。最后对归一化的显著性图做对比度拉伸得到最后的红外图像显著性图，拉伸函数如下式(9)：
$${S_{{\rm{ir}}}}(i, j) = \frac{1}{{1 + {{(\frac{1}{{2{S_{\rm{m}}}(i, j)}})}^{10}}}}$$ (9) 4. 马氏距离加权的拉普拉斯能量和
传统的拉普拉斯能量和（sum of modified Laplacian, SML）[23]使用水平和垂直两个方向来计算拉普拉斯能量值，为获得更好的细节信息表征效果，本文计算4个方向上的拉普拉斯能量值，其计算方式如下式(10)：
$$\begin{array}{c} {\rm{ML}}(i, j) = |2I(i, j) - I(i - 1, j) - I(i + 1, j)| + \\ |2I(i, j) - I(i, j - 1) - I(i, j + 1)| + \\ |2I(i, j) - I(i - 1, j - 1) - I(i - 1, j + 1)| + \\ |2I(i, j) - I(i + 1, j + 1) - I(i + 1, j - 1)| \end{array}$$ (10) 马氏距离可以计算样本到样本“重心”之间的距离，样本到样本“重心”的距离越大[24-25]，表明该样本与总体偏离越远，与样本的相关度越低，使用马氏距离对拉普拉斯能量进行加权求和。设以点(x, y)为中心的3×3邻域Qx, y内ML的均值和协方差为μ、σ，则邻域内的点(i, j)到该邻域内基于拉普拉斯能量ML的马氏距离为：
$$ d(i, j) = \sqrt {{{({\rm{ML}}(i, j) - \mu )}^{\rm{T}}}*{\sigma ^{ - 1}}*({\rm{ML}}(i, j) - \mu )} $$ (11) 使用函数1/ex将马氏距离映射到[0, 1]区间内计算拉普拉斯能量求和的权值，但指数函数运算给计算机硬件实现带来了极大的不便，因此采用麦克劳林公式对指数函数ex进行分式展开如下：
$${e^x} = 1 + x + \frac{{{x^2}}}{{2!}} + ... + \frac{{{x^n}}}{{n!}} + o({x^n})$$ (12) 由此，使用1/ex的逼近函数1/(1+x)计算拉普拉斯能量和的权值：
$$w(i, j) = \frac{1}{{1 + d(i, j)}}$$ (13) 则使用马氏距离加权计算的点(x, y)的改进拉普拉斯能量和SL为：
$${\rm{SL}}(x, y) = \sum\limits_{(i, j) \in {Q_{x, y}}} {w(i, j)*{\rm{ML}}(i, j)} $$ (14) 5. 融合算法
本文结合NSCT变换的系数特点和可见光与红外图像的成像特点，首先对可见光图像进行对比度增强处理，并将红外图像与CLAHE处理后可见光图像经过NSCT变换分解为低频近似图像和一系列高频细节图像; 低频图像是源图像的一个近似图像，对低频图像使用红外显著性图融合; 高频图像中包含了图像的细节纹理信息，使用马氏距离对拉普拉斯能量和进行改进，对高频采用改进拉普拉斯能量和取大的融合规则进行融合; 融合的低频图像和高频图像经过NSCT逆变换后获得最终融合图像。如图 3为本文算法融合框架图。
对CLAHE增强后的可见光图像VIS和红外图像IR进行NSCT多层分解，设CLvis和CLir分别为VIS和IR的低频系数，Cs, kvis和Cs, kir分别表示VIS和IR的第s层第k个方向的高频系数。对低频系数采用红外图像的显著性图进行加权融合，其融合规则为：
$$C_{\rm{L}}^{\rm{F}}(i, j) = {w_1}(i, j)*C_{\rm{L}}^{{\rm{ir}}}(i, j) + {w_2}*C_{\rm{L}}^{{\rm{vis}}}(i, j)$$ (15) 其中权值：
$$\left\{ {\begin{array}{*{20}{c}} {{w_1}(i, j) = {S_{{\rm{ir}}}}(i, j)}\\ {{w_2}(i, j) = 1 - {w_1}(i, j)} \end{array}} \right.$$ (16) 对高频系数采用马氏距离加权改进的拉普拉斯能量和取大的规则进行融合。
$$C_{s, k}^{\rm{F}}(i, j) = \left\{ {\begin{array}{*{20}{c}} {C_{s, k}^{{\rm{ir}}}(i, j), {\rm{SL}}_{s, k}^{{\rm{ir}}}(i, j) > {\rm{SL}}_{s, k}^{{\rm{vis}}}(i, j)}\\ {C_{s, k}^{{\rm{vis}}}(i, j), {\rm{SL}}_{s, k}^{{\rm{ir}}}(i, j) \le {\rm{SL}}_{s, k}^{{\rm{vis}}}(i, j)} \end{array}} \right.$$ (17) 6. 实验结果分析
为验证本文算法的有效性，将本文算法（NSCT-M）与多种融合算法融合的红外图像和可见光图像进行实验对比，如图 4所示为可见光图像和红外图像源图像。第一组图像为白天拍摄的远距离海上船只的图像，第二组图像为白天拍摄的目标与背景难以区分的图像，第三组图像为夜间拍摄的街道场景。
如图 5为3组实验图像对比结果，对比实验设置为：小波变换（DWT）融合方法的源图像采用二维离散小波变换分解，低频采用取均值的融合规则、高频采用区域能量取大的融合规则。基于NSCT分解的融合算法以及本算法采用三层分解。NSCT融合低频采用取均值的融合规则、高频采用区域能量取大的融合规则; NSCT-FT融合低频采用红外图像FT显著性图提取加权融合的规则、高频采用区域能量取大的融合规则。NSCT-M为本文所提的融合框架算法。
从主观视觉上看，本文所提算法在图像清晰度以及细节边缘的保持上都优于其他3组融合算法。为进一步验证实验的有效性，使用信息熵（information entropy, EI）、标准差（standard deviation, SD）、平均梯度（average gradient, AG）和空间频率（spatial frequency, SF）图像融合客观评价指标对3组实验融合图像进行客观评价。从表 1的客观评价指标上分析，本文算法相对其他算法保留的图像信息更多、图像清晰度更高、细节纹理信息也更丰富。
表 1 融合图像客观评价结果Table 1. Objective evaluation results of fusion imageImage name Fusion method EI SD AG SF Ship DWT 4.9016 10.4666 1.4100 3.1531 NSCT 4.9139 10.4807 1.3980 3.1546 NSCT-FT 5.9540 21.1184 1.6376 3.9024 NSCT-M 6.5735 25.8154 4.7976 10.1821 Man DWT 6.5266 31.5238 2.9829 5.5125 NSCT 6.5491 31.7851 3.2272 6.3206 NSCT-FT 7.1864 61.6516 3.4935 7.1168 NSCT-M 7.6698 58.7864 8.8359 15.5185 Street DWT 5.9299 20.6524 3.1668 7.7725 NSCT 5.9442 21.8888 3.7054 12.7396 NSCT-FT 5.5269 33.4513 4.0396 13.8090 NSCT-M 6.8136 41.2933 8.4553 20.3821 7. 结语
本文算法利用NSCT变换的系数特点，利用可见光图像与红外图像之间信息的互补性与冗余性，对红外图像和可见光图像进行融合。针对可见光对比度低的问题，采用对比度受限的直方图均衡算法调整可见光图像的对比度。在对低频图像进行融合时，使用引导滤波改进的FT显著性图提取算法对红外图像提取显著性图，利用红外图像显著性图对低频图像做加权融合; 在对高频图像进行融合时，针对传统算法通过四领域计算拉普拉斯能量的局限，本文使用八邻域计算拉普拉斯能量，并使用马氏距离对邻域内的拉普拉斯能量进行加权求和，最后使用改进的拉普拉斯能量和取大的规则对高频图像进行融合。理论分析与实验结果及指标表明，本文算法在主观视觉图像上和客观评价指标上都有较好的表现。
-
![]()
图 6 不同温度修正系数对应的被测点所占总被测点的比例
Figure 6. Percentage of points with different temperature correction coefficients
![]()
图 14 截线上温度分布修正前和修正后的对比
Figure 14. Comparison of temperature distributions before and after correction of points in the cross-line
表 1 材料各波段复折射率
Table 1 Complex refractive indexes of the materials in each wave bands
Al Brass PS PE band/μm 3-5 8-13 3-5 8-13 3-13 3-13 n 6.62 23.19 4.77 17.21 1.57 1.52 k 37.77 85.04 23.73 51.85 0 0 
下载: 导出CSV
-
[1] 杨立, 杨桢. 红外热成像测温原理与技术[M]. 北京: 科学出版社, 2016. YANG Li, YANG Zhen. Theory and Technology of Temperature Measurement by Infrared Thermography[M]. Beijing: Beijing Science Press, 2016.
[2] 范春利. 几何形状导热反问题方法与应用[M]. 北京: 科学出版社, 2015. FAN Chunli. Geometric Inverse Heat Conduction Problems: Methods and Applications[M]. Beijing: Science Press, 2015.
[3] 廖盼盼, 张佳民. 红外测温精度的影响因素及补偿方法的研究[J]. 红外技术, 2017, 39(2): 173-177. http://hwjs.nvir.cn/article/id/hwjs201702012 LIAO Panpan, ZHANG Jiamin. Research on influence factors for measuring and method of correction in infrared thermometer[J]. Infrared Technology, 2017, 39(2): 173-177. http://hwjs.nvir.cn/article/id/hwjs201702012
[4] 刘慧开, 杨立. 太阳辐射对红外热像仪测温误差的影响[J]. 红外技术, 2002, 24(1): 34-37. DOI: 10.3969/j.issn.1001-8891.2002.01.010 LIU Huikai, YANG Li. Effect of radiation of the sun on infrared temperature measurement[J]. Infrared Technology, 2002, 24(1): 34-37. DOI: 10.3969/j.issn.1001-8891.2002.01.010
[5] 吕游, 杨波, 魏仲慧, 等. 大气与环境影响分析的红外比色测温方法[J]. 红外与激光工程, 2015, 44(8): 2321. DOI: 10.3969/j.issn.1007-2276.2015.08.015 LV You, YANG Bo, WEI Zhonghui, et al. Middle infrared colorimetric temperature measurement method considered influence of atmosphere and ambient[J]. Infrared and Laser Engineering, 2015, 44(8): 2321. DOI: 10.3969/j.issn.1007-2276.2015.08.015
[6] 石东平, 吴超, 李孜军, 等. 基于反射温度补偿及入射温度补偿的红外测温影响分析[J]. 红外与激光工程, 2015, 44(8): 0204006. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201508016.htm SHI Dongping, WU Chao, LI Zijun, et al. Analysis of the influence of infrared temperature measurement based on reflected temperature compensation and incidence temperature compensation[J]. Infrared and Laser Engineering, 2015, 44(8): 0204006. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201508016.htm
[7] 张健, 杨立, 刘慧开. 环境高温物体对红外热像仪测温误差的影响[J]. 红外技术, 2005, 27(5): 419-422. DOI: 10.3969/j.issn.1001-8891.2005.05.017 ZHANG Jian, YANG Li, LIU Huikai. Effect of environmental object on infrared temperature measurement[J]. Infrared Technology, 2005, 27(5): 419-422. DOI: 10.3969/j.issn.1001-8891.2005.05.017
[8] 周志成, 魏旭, 谢天喜, 等. 观测距离及视角对红外热辐射检测的影响研究[J]. 红外技术, 2017, 39(1): 86-90. http://hwjs.nvir.cn/article/id/hwjs201701016 ZHOU Zhicheng, WEI Xu, XIE Tianxi, et al. Influence of observation distance and angle of view on the detection accuracy of infrared thermal radiation[J]. Infrared Technology, 2017, 39(1): 86-90. http://hwjs.nvir.cn/article/id/hwjs201701016
[9] 杜玉玺, 胡振琪, 葛运航, 等. 距离对不同强度热源红外测温影响及补偿[J]. 红外技术, 2019, 41(10): 976-981. http://hwjs.nvir.cn/article/id/hwjs201910014 DU Yuxi, HU Zhenqi, GE Yunhang, et al. Distance influence and compensation of infrared temperature measurement with different intensity heat sources[J]. Infrared Technology, 2019, 41(10): 976-981. http://hwjs.nvir.cn/article/id/hwjs201910014
[10] 范春利, 杨立, 华顺芳. 热探测器温度对红外热像仪测温的影响[J]. 红外技术, 2002, 24(5): 22-24. DOI: 10.3969/j.issn.1001-8891.2002.05.006 FAN Chunli, YANG Li, HUA Shunfang. Effect of temperature of thermal detector on temperature measurement of uncooled infrared thermography[J]. Infrared Technology, 2002, 24(5): 22-24. DOI: 10.3969/j.issn.1001-8891.2002.05.006
[11] Mikhail Polyanskiy. Refractiveindex.info database[DB/OL].[2020-04-01] https://refractiveindex.info/2008-2020.
[12] 马颂德, 张正友. 计算机视觉: 计算理论与算法基础[M]. 北京: 科学出版社, 1998. MA S, ZHANG Z. Computer Vision Algorithms and the Theoretical Calculation Based[M]. Beijing: Science Press, 1998.
[13] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334. http://dl.acm.org/citation.cfm?id=357025
-
期刊类型引用(1)
1. 花文波，赵城慷，高大友，花文涛. 一种温度补偿调焦红外系统丢包检测方法. 红外技术. 2024(09): 1081-1086 . 
本站查看
其他类型引用(0)
计量
- 文章访问数: 217
- HTML全文浏览量: 48
- PDF下载量: 47
- 被引次数: 1
