0.   引言

近年来，我国的航空工业取得了长足的进步，其中航空发动机叶片的突破扮演了重要的角色^[1]。在航空发动机叶片的研制过程中，实时、精确地掌握航空发动机叶片的工作温度，有着重要的研究价值。本文旨在提出一种基于红外热成像测温的温度校准算法和三维温度场重建算法，在保证测温范围、测温精度的同时，又还原了空间的位置信息，具有较强的创新性和应用前景。

测温技术发展较早，目前已经建成完善的测温体系。总体上，测温技术可以分为接触式和非接触式两种。接触式测温以热电偶、热电阻、测温晶体和示温漆为代表，非接触式测温以红外测温、光纤测温等为代表^[2-3]。热电偶和热电阻具有实时性、响应快、准确高等优点，示温漆可以用于一般测温手段难以覆盖的区域，测温晶体体积小、测温上限高^[4-5]。这些优点红外测温大多兼具，且红外测温由点及面，能够覆盖整个目标区域^[6]，应用范围广，不用直接接触被测物体，且不会破坏目标物体表面温度场^[7]。

红外测温也面临一些挑战，测温精度容易受到测温物体表面工况、光洁度、清洁度和大气折射与散射的影响。为了提升红外测温的精度，大量的滤波算法被运用以强化成像质量。稀疏表示理论基于图片噪声不能稀疏化这一假设，能够有效地去除图片噪声^[8-9]。多尺度双边滤波同时考虑灰度域和空间域的影响，实现保留图片边缘的同时平滑图片，在提升红外测温精度上也有不俗的表现^[10-11]。除此之外，一些动态参考技术也应用在了红外图像的温度校正上，解决了红外成像非均匀性随环境变化的问题^[12]。近年来随着机器学习技术的快速发展，将人工智能算法应用于红外测温精度提升也取得了令人瞩目的成就^[13]。

此外，红外测温还存在天然的缺陷。由热成像仪得到的红外图像，属二维平面图像，失去了被测温度场的空间信息。具有空间位置信息的三维温度场分布能够帮助科研人员更精准、形象地掌握被测物体的温度信息，更立体地判断被测物的工作状态。因此，一种由红外热像仪得到目标物三维温度场分布的技术便越来越受到人们的关注。通常，人们通过设置多个红外热像仪对被测物体同时成像，然后融合多视角红外图像，以恢复在红外成像过程中丢失的深度信息^[14-15]。

本文首先通过多层感知机(multi-layer percep-tron, MLP)网络，实现了对红外温度的高精度校准。在此基础上，创造性地提出了基于被测物体三维建模的单视角下红外图像三维温度场重构算法，实现了只需一台红外热像仪就能完成高精度温度场三维重构的设想。

1.   基于MLP的红外温度校准模型

实时掌握航空发动机叶片精确的温度场分布，对航空发动机的研制和应用有着重要意义。由于航空发动机叶片的工作环境温度极高(最高可达2000℃)，常规的测温方式一般是非实时点状式测温，得到某个区域完整的温度分布依然存在巨大挑战。通过拍摄航空发动机叶片的实时红外图像，实现温度的测量，是一种较为理想的途径。然而由于红外相机自身精度和环境因素的影响，红外图像所展示的温度与实际温度往往具有较大的偏差。为了弥补红外图像测温精度不足的问题，本文提出了基于MLP的红外温度校准策略及模型。通过构建MLP网络拟合红外测温误差与温度分布的函数关系，实现了对航空发动机叶片红外温度测量的校准。

1.1   红外温度校准策略

我们假定初次获得的红外温度图片上的温度信息是准确的，为了模拟真实红外图像拍摄，我们针对红外图像增加高斯噪声。图 1展示了原始红外图像及添加高斯噪声后的红外图像，可以很明显地看到添加高斯噪声后，图片变得模糊。

图  1  添加噪声前后红外图像

Figure  1.  Infrared images before and after adding noise

下载: 全尺寸图片 幻灯片

根据物体的三维热传导方程：

式中：u＝u(t, x, y, z)代表物体温度；k是热扩散率，决定于材料的热导率、密度与热容。由以上方程可知温度分布是连续的，并且某一个点的温度与且只与其周围一个邻域内的温度分布有关。我们的任务是建立起一个点的真实温度与这个点周围(包括其自身)带误差的温度分布函数关系：

式中：T_{(h, k})′代表红外图像中像素坐标(h, k)的真实温度；Φ代表像素位置(h, k)周围的某一邻域；(m_i, n_j)表示该邻域内的像素坐标。

图 2展示了整个温度校准流程。采用窗口滑动的方法，通过一个矩形窗口来框定目标像素的邻域范围，目标像素点位于矩形窗口的中心位置。我们选择的目标像素邻域是该像素点前后左右4个像素范围内的像素点的集合，即以该像素点为中心的一个9×9的矩阵。窗口每滑动到一个位置，我们就将这个窗口覆盖的矩阵中的81个温度值展开成一个向量，并将其作为温度校准模型的输入，模型的输出为该像素点温度的校准值。这样窗口每到达一个位置，就实现了对窗口中心位置的红外温度进行校准，我们记录每一个校准值并将其填充到一个与原始图片大小一致的矩阵A的对应位置上。当窗口滑动的轨迹铺满整张红外图片时，矩阵A的每个位置均被填入了一个校准值，这样便实现了对整张红外图像温度的校准。

图  2  温度校准流程图

Figure  2.  Flow chart of temperature calibration

下载: 全尺寸图片 幻灯片

1.2   MLP模型的建立

我们的目标就是要找出目标点邻域内的温度分布与目标点真实温度之间的函数关系。考虑到在红外摄影中影响温度精度的因素比较多，难以直接建立温度校准的数学模型。我们试图借助神经网络强大的函数拟合能力，来建立目标点的真实温度与该点周围温度分布之间的数学联系。

本实验采用的神经网络模型如图 3所示。该模型是一个4层的MLP模型。模型的输入层包含81个神经元，第一个隐藏层包含1000个神经元，第二个隐藏层包含100个神经元，输出层含1个神经元。模型输入层的81个神经元对应包括目标像素在内的周围9×9矩阵的81个元素(红外温度值)，模型的输出直接为目标像素的温度校准值。第一个隐藏层神经元以Sigmoid函数作为激活函数，其余层均以线性函数作为激活函数。在模型的训练过程中，模型的参数通过误差反向传播(back propagation, BP)算法进行修正，使得模型的输出值越来越接近真实温度值。尽管神经网络模型的可解释性较差，但其具备拟合复杂函数的能力，以便于实际应用。

图  3  MLP网络结构

Figure  3.  MLP network structure

下载: 全尺寸图片 幻灯片

2.   红外温度场三维重建

对红外图像进行了温度校准之后，需要恢复红外图像上各点的空间位置信息，以便达到对二维温度分布到三维温度分布的重建工作。其中，本工作亟需解决以下两个问题，即对红外图像中的航空发动机叶片轮廓的识别和二维图像与三维模型之间的位置映射关系的确立。图 4(a)和(b)是航空发动机叶片模型实物，(c)是航空发动机叶片3D模型。

图  4  叶片实物和叶片3D模型

Figure  4.  Real image and 3D model of the aero-engine blade

下载: 全尺寸图片 幻灯片

2.1   轮廓识别

所谓轮廓识别，就是找出红外图像中目标成像物体与背景之间边界像素位置的集合。为了完整地提取航空发动机叶片对应的成像区域，我们先对图片进行了灰度处理，然后进行了二值化处理。如图 5所示，通过设立一个合理的阈值，将图片中灰度值大于该阈值的像素值设为1，图片中灰度值小于该阈值的像素值设为0。图 5(a)展示了红外图像二值化处理后的图片。红外图像在二值化后，图片中目标物体与背景之间的界限便非常清晰。通过识别图片中黑白区域的边界，便实现了对目标物体轮廓的识别。图 5(b)勾勒了航空发动机的轮廓曲线。

图  5  红外图像二值化和轮廓识别

Figure  5.  Infrared image binarization and contour recognition

下载: 全尺寸图片 幻灯片

2.2   三维温度场重建

在获取航空发动机叶片红外图像轮廓后，我们将轮廓范围内的像素映射至航空发动机叶片3D模型上，以达到建立三维温度场分布的目的。其步骤如下：

① 对被测航空发动叶片进行3D建模，并获取航空发动机叶片单视角红外图像(设航空发动机叶片在红外图像中占据的像素行数为m)；

② 根据步骤①中所构建的3D模型，获取模型表面的三维点云数据，共取M个三维点；

③ 根据步骤①中的红外图像，获取航空发动机叶片红外图像的外围轮廓像素位置(每一行像素记录一个左端点和一个右端点，即[L_j, R_j]，其中j表示所拍摄红外图像中航空发动机叶片所占据部分图像的第j行像素)；

④ 根据红外相机拍摄位置及角度，确定红外相机成像所在平面的法向量及所成图像的像素行、像素列的单位向量；

⑤ 根据步骤④所得红外图像的像素列的单位向量，计算步骤②中各点在红外图像的像素列的单位向量上的投影值a_i(i取值为1~M)，并排序(投影值范围为[p, q])；

⑥ 根据红外图像包含的像素行数m，将投影值([p, q])等距划分为m个区间，投影值处于同一个区间内的三维点对应红外图像的同一行像素；

⑦ 分别计算步骤⑥中每个区间中所有三维点在步骤④所得红外图像像素行的单位向量上的投影值b_{j, r}(投影值范围为[h, k]，其中j表示对应航空发动机叶片所占红外图像第j行像素，r表示处于该区间的第r个三维点)，根据b_{j, r}在[h, k]范围中的相对位置，计算该三维点对应在红外图像中像素列的坐标G。计算公式如下：

式中：$ \left\lfloor {} \right\rfloor $表示向下取整操作；

⑧ 判断每一个三维点是否存在被遮挡的情况，若存在遮挡则该点不能够被红外相机拍摄，即不能赋予温度信息。判断方法为，若三维点法向量与成像平面法向量的内积大于某个阈值，则存在被遮挡的情况；

⑨ 根据步骤⑥、步骤⑦和步骤⑧，可以确定任意一个三维点在航空发动机红外图像对应点的像素位置，并确定其温度；

⑩ 在每一个三维点完成获取红外温度信息后，对三维点云进行表面重建。

上述过程整体上是通过投影法来实现的，其内积操作和排序操作的目的就是为了在红外相机所在平面确定三维点云正确的投影位置。在三维点云有序地、正确地投影在红外摄像头所在平面上之后，将投影点与红外图像目标轮廓内的像素一一建立联系，这样便实现了二维温度场到三维温度场的重构工作。图 6展示了上述温度场重构过程。

图  6  三维温度场重建过程

Figure  6.  Reconstruction process of 3D temperature field

下载: 全尺寸图片 幻灯片

3.   结果与数据分析

3.1   温度校准精度

本次实验采集的航空发动机叶片模型的红外图像样本共有33份，其中28份样本作为训练集，5份样本作为测试集。模型训练的迭代次数设为300。图 7展示了模型训练过程中单份测试样本所有像素位置误差总和的变化曲线，当迭代次数接近300时，单份测试样本所有像素位置误差总和在40附近摆动。图 8展示了5份测试样本校准前后的对比情况，实验证明本文提出的温度校准模型成功地去除了噪点，达到了温度校准的目的。表 1是样本平均误差，从表中可以看出，5份测试样本单个像素位置温度误差分别为1.08℃、1.83℃、0.97℃、0.95℃和1.37℃，单个像素位置平均温度误差为1.24℃。

图  7  训练过程中模型的loss曲线

Figure  7.  The loss curve of the model during the training process

下载: 全尺寸图片 幻灯片

图  8  五个测试样本温度校准对比

Figure  8.  Temperature calibration comparison of five test samples

下载: 全尺寸图片 幻灯片

表  1  样本平均温度误差E/mm

Table  1.  Average temperature error of test samples

Test sample	Average temperature error of sample/℃	Average value/℃
1	1.0770	1.24
2	1.8330
3	0.9736
4	0.9483
5	1.3708

下载: 导出CSV 

| 显示表格

3.2   温度场重建效果

图 9展示了最终三维温度场重建的温度分布图像，我们的工作成功地将二维温度分布转化为三维温度场分布，使得在获取温度信息的同时，还能获取观测区域的位置信息。这为掌握航空发动机工作状态提供了新的解决方案，不仅兼顾了无接触、实时性等优势，而且保证了一定的测量精度。

图  9  三维温度场重建

Figure  9.  Reconstruction of 3D temperature field

下载: 全尺寸图片 幻灯片

为了更加客观地评价我们三维重构的精度，我们设计了相应的实验进行验证。我们的思路是在3D模型和拍摄的红外图像上分别找出一个三维点D和其在红外图像上精确对应的像素S，之后再利用我们的温度场重构算法将像素S的温度信息赋予到三维点D′。我们将D和D′坐标之间距离作为温度场重构的误差，并以此来评估我们算法的性能。误差计算公式如下：

式中：x、y、z分别表示三维点的坐标分量。我们将D点设置在航空发动机叶片模型正面的中心位置，并在其红外图像的中心位置找到对应像素S，之后计算误差E并用不同的红外图像重复了10次。图 10展示了10次温度场重建的误差，实验结果表明，我们的温度场重建算法，在叶片模型尺寸为100 mm×200 mm、红外拍摄距离为1 m的条件下，平均误差为3.53 mm。依据红外温度场重构原理，误差的主要来源为轮廓识别，要实现更加精确的温度场重构，需要开发出更加精确的轮廓识别技术，这也是我们未来研究的方向。

图  10  温度场重构样本误差

Figure  10.  Error of samples in temperature field reconstruction

下载: 全尺寸图片 幻灯片

4.   结论

本文提出了一种基于MLP网络的航空发动机叶片红外温度校准模型，在此基础上，通过建立二维红外图像和三维模型之间的位置映射关系，实现了由二维温度分布到三维温度场的重构工作。在红外温度校准的工作中，将目标点周围81个紧邻像素位置的温度作为MLP模型的输入，模型的输出值作为温度的校正值，成功地去除了人工添加的高斯噪声，实现了单幅红外图像平均校正误差1.24℃，达到了温度校准的目的。在温度场三维重建的工作中，利用投影法对投影值进行排序，配合法向量估计，建立了二维红外图像到三维模型的空间映射关系，成功实现了红外温度场的三维重构，平均重构误差为3.53 mm。