Thermal Imaging Technology for Metal Structure Defects of Lifting Machinery
-
摘要: 对起重机械金属结构裂纹缺陷的识别是红外热成像检测技术的新方向。介绍了脉冲红外热成像技术检测原理，设计了脉冲红外热成像检测系统，并根据脉冲红外热成像检测系统搭建了脉冲红外热成像检测系统实验平台。采用中值滤波和巴特沃斯低通滤波对实验中采集到的红外图像进行图像处理，并针对以上算法处理后缺陷轮廓边缘模糊的问题，提出了巴特沃斯带通滤波算法。对图像进行阈值分割、边缘检测后提取出缺陷轮廓特征，根据平板试件的实际尺寸和轮廓特征图像像素之间的换算关系，最终得到裂纹缺陷的识别精度。经过对比验证，脉冲红外热成像技术可以满足对起重机械金属结构裂纹缺陷检测的检测需求。Abstract: The identification of cracks in the metal structure of lifting machinery is a new direction for infrared thermal imaging detection technology. In this study, the detection principle of pulsed infrared thermal imaging was introduced, and a pulsed infrared thermal imaging detection system was designed; the experimental platform was constructed on the basis of these. Median filtering and Butterworth low-pass filtering were used to process the images collected in the experiment. To address the problem of blurring at the edges of the defects after processing the above algorithms, a Butterworth band-pass filtering algorithm was proposed. After threshold segmentation and edge detection, the defect contour feature was extracted, and using the conversion relationship between the actual size of the flat specimen and the contour feature image pixels, the recognition accuracy of the crack defect was finally obtained. The comparison and verification demonstrated that the pulsed infrared thermal imaging technology can meet the requirements of crack defect detection in crane metal structures.
-
0. 引言
近年来，我国的航空工业取得了长足的进步，其中航空发动机叶片的突破扮演了重要的角色[1]。在航空发动机叶片的研制过程中，实时、精确地掌握航空发动机叶片的工作温度，有着重要的研究价值。本文旨在提出一种基于红外热成像测温的温度校准算法和三维温度场重建算法，在保证测温范围、测温精度的同时，又还原了空间的位置信息，具有较强的创新性和应用前景。
测温技术发展较早，目前已经建成完善的测温体系。总体上，测温技术可以分为接触式和非接触式两种。接触式测温以热电偶、热电阻、测温晶体和示温漆为代表，非接触式测温以红外测温、光纤测温等为代表[2-3]。热电偶和热电阻具有实时性、响应快、准确高等优点，示温漆可以用于一般测温手段难以覆盖的区域，测温晶体体积小、测温上限高[4-5]。这些优点红外测温大多兼具，且红外测温由点及面，能够覆盖整个目标区域[6]，应用范围广，不用直接接触被测物体，且不会破坏目标物体表面温度场[7]。
红外测温也面临一些挑战，测温精度容易受到测温物体表面工况、光洁度、清洁度和大气折射与散射的影响。为了提升红外测温的精度，大量的滤波算法被运用以强化成像质量。稀疏表示理论基于图片噪声不能稀疏化这一假设，能够有效地去除图片噪声[8-9]。多尺度双边滤波同时考虑灰度域和空间域的影响，实现保留图片边缘的同时平滑图片，在提升红外测温精度上也有不俗的表现[10-11]。除此之外，一些动态参考技术也应用在了红外图像的温度校正上，解决了红外成像非均匀性随环境变化的问题[12]。近年来随着机器学习技术的快速发展，将人工智能算法应用于红外测温精度提升也取得了令人瞩目的成就[13]。
此外，红外测温还存在天然的缺陷。由热成像仪得到的红外图像，属二维平面图像，失去了被测温度场的空间信息。具有空间位置信息的三维温度场分布能够帮助科研人员更精准、形象地掌握被测物体的温度信息，更立体地判断被测物的工作状态。因此，一种由红外热像仪得到目标物三维温度场分布的技术便越来越受到人们的关注。通常，人们通过设置多个红外热像仪对被测物体同时成像，然后融合多视角红外图像，以恢复在红外成像过程中丢失的深度信息[14-15]。
本文首先通过多层感知机(multi-layer percep-tron, MLP)网络，实现了对红外温度的高精度校准。在此基础上，创造性地提出了基于被测物体三维建模的单视角下红外图像三维温度场重构算法，实现了只需一台红外热像仪就能完成高精度温度场三维重构的设想。
1. 基于MLP的红外温度校准模型
实时掌握航空发动机叶片精确的温度场分布，对航空发动机的研制和应用有着重要意义。由于航空发动机叶片的工作环境温度极高(最高可达2000℃)，常规的测温方式一般是非实时点状式测温，得到某个区域完整的温度分布依然存在巨大挑战。通过拍摄航空发动机叶片的实时红外图像，实现温度的测量，是一种较为理想的途径。然而由于红外相机自身精度和环境因素的影响，红外图像所展示的温度与实际温度往往具有较大的偏差。为了弥补红外图像测温精度不足的问题，本文提出了基于MLP的红外温度校准策略及模型。通过构建MLP网络拟合红外测温误差与温度分布的函数关系，实现了对航空发动机叶片红外温度测量的校准。
1.1 红外温度校准策略
我们假定初次获得的红外温度图片上的温度信息是准确的，为了模拟真实红外图像拍摄，我们针对红外图像增加高斯噪声。图 1展示了原始红外图像及添加高斯噪声后的红外图像，可以很明显地看到添加高斯噪声后，图片变得模糊。
根据物体的三维热传导方程：
$$ \frac{{{\text{d}}u}}{{{\text{d}}t}} = {\text{div}}\left( {{U_{\text{u}}}} \right) = k(\frac{{{\partial ^2}u}}{{\partial {x^2}}} + \frac{{{\partial ^2}u}}{{\partial {y^2}}} + \frac{{{\partial ^2}u}}{{\partial {z^2}}}) $$ (1) 式中：u＝u(t, x, y, z)代表物体温度；k是热扩散率，决定于材料的热导率、密度与热容。由以上方程可知温度分布是连续的，并且某一个点的温度与且只与其周围一个邻域内的温度分布有关。我们的任务是建立起一个点的真实温度与这个点周围(包括其自身)带误差的温度分布函数关系：
$$ \left\{ {\begin{array}{*{20}{c}} {T_{(h, k)}^{'} = f\left( {{T_{\left( {{m_1}, {{\text{n}}_1}} \right)}}, \cdots , {T_{\left( {{m_M}, {n_N}} \right)}}} \right)} \\ {\left( {{m_i}, {n_j}} \right) \in \Phi } \end{array}} \right. $$ (2) 式中：T(h, k)′代表红外图像中像素坐标(h, k)的真实温度；Φ代表像素位置(h, k)周围的某一邻域；(mi, nj)表示该邻域内的像素坐标。
图 2展示了整个温度校准流程。采用窗口滑动的方法，通过一个矩形窗口来框定目标像素的邻域范围，目标像素点位于矩形窗口的中心位置。我们选择的目标像素邻域是该像素点前后左右4个像素范围内的像素点的集合，即以该像素点为中心的一个9×9的矩阵。窗口每滑动到一个位置，我们就将这个窗口覆盖的矩阵中的81个温度值展开成一个向量，并将其作为温度校准模型的输入，模型的输出为该像素点温度的校准值。这样窗口每到达一个位置，就实现了对窗口中心位置的红外温度进行校准，我们记录每一个校准值并将其填充到一个与原始图片大小一致的矩阵A的对应位置上。当窗口滑动的轨迹铺满整张红外图片时，矩阵A的每个位置均被填入了一个校准值，这样便实现了对整张红外图像温度的校准。
1.2 MLP模型的建立
我们的目标就是要找出目标点邻域内的温度分布与目标点真实温度之间的函数关系。考虑到在红外摄影中影响温度精度的因素比较多，难以直接建立温度校准的数学模型。我们试图借助神经网络强大的函数拟合能力，来建立目标点的真实温度与该点周围温度分布之间的数学联系。
本实验采用的神经网络模型如图 3所示。该模型是一个4层的MLP模型。模型的输入层包含81个神经元，第一个隐藏层包含1000个神经元，第二个隐藏层包含100个神经元，输出层含1个神经元。模型输入层的81个神经元对应包括目标像素在内的周围9×9矩阵的81个元素(红外温度值)，模型的输出直接为目标像素的温度校准值。第一个隐藏层神经元以Sigmoid函数作为激活函数，其余层均以线性函数作为激活函数。在模型的训练过程中，模型的参数通过误差反向传播(back propagation, BP)算法进行修正，使得模型的输出值越来越接近真实温度值。尽管神经网络模型的可解释性较差，但其具备拟合复杂函数的能力，以便于实际应用。
2. 红外温度场三维重建
对红外图像进行了温度校准之后，需要恢复红外图像上各点的空间位置信息，以便达到对二维温度分布到三维温度分布的重建工作。其中，本工作亟需解决以下两个问题，即对红外图像中的航空发动机叶片轮廓的识别和二维图像与三维模型之间的位置映射关系的确立。图 4(a)和(b)是航空发动机叶片模型实物，(c)是航空发动机叶片3D模型。
2.1 轮廓识别
所谓轮廓识别，就是找出红外图像中目标成像物体与背景之间边界像素位置的集合。为了完整地提取航空发动机叶片对应的成像区域，我们先对图片进行了灰度处理，然后进行了二值化处理。如图 5所示，通过设立一个合理的阈值，将图片中灰度值大于该阈值的像素值设为1，图片中灰度值小于该阈值的像素值设为0。图 5(a)展示了红外图像二值化处理后的图片。红外图像在二值化后，图片中目标物体与背景之间的界限便非常清晰。通过识别图片中黑白区域的边界，便实现了对目标物体轮廓的识别。图 5(b)勾勒了航空发动机的轮廓曲线。
2.2 三维温度场重建
在获取航空发动机叶片红外图像轮廓后，我们将轮廓范围内的像素映射至航空发动机叶片3D模型上，以达到建立三维温度场分布的目的。其步骤如下：
① 对被测航空发动叶片进行3D建模，并获取航空发动机叶片单视角红外图像(设航空发动机叶片在红外图像中占据的像素行数为m)；
② 根据步骤①中所构建的3D模型，获取模型表面的三维点云数据，共取M个三维点；
③ 根据步骤①中的红外图像，获取航空发动机叶片红外图像的外围轮廓像素位置(每一行像素记录一个左端点和一个右端点，即[Lj, Rj]，其中j表示所拍摄红外图像中航空发动机叶片所占据部分图像的第j行像素)；
④ 根据红外相机拍摄位置及角度，确定红外相机成像所在平面的法向量及所成图像的像素行、像素列的单位向量；
⑤ 根据步骤④所得红外图像的像素列的单位向量，计算步骤②中各点在红外图像的像素列的单位向量上的投影值ai(i取值为1~M)，并排序(投影值范围为[p, q])；
⑥ 根据红外图像包含的像素行数m，将投影值([p, q])等距划分为m个区间，投影值处于同一个区间内的三维点对应红外图像的同一行像素；
⑦ 分别计算步骤⑥中每个区间中所有三维点在步骤④所得红外图像像素行的单位向量上的投影值bj, r(投影值范围为[h, k]，其中j表示对应航空发动机叶片所占红外图像第j行像素，r表示处于该区间的第r个三维点)，根据bj, r在[h, k]范围中的相对位置，计算该三维点对应在红外图像中像素列的坐标G。计算公式如下：
$$ G = \left\lfloor {{L_j}{\text{ + }}\left( {{R_j} - {L_j}} \right) \times \left( {{b_{j{\text{, }}r}} - h} \right) \times \left( {k - h} \right)} \right\rfloor $$ (3) 式中：$ \left\lfloor {} \right\rfloor $表示向下取整操作；
⑧ 判断每一个三维点是否存在被遮挡的情况，若存在遮挡则该点不能够被红外相机拍摄，即不能赋予温度信息。判断方法为，若三维点法向量与成像平面法向量的内积大于某个阈值，则存在被遮挡的情况；
⑨ 根据步骤⑥、步骤⑦和步骤⑧，可以确定任意一个三维点在航空发动机红外图像对应点的像素位置，并确定其温度；
⑩ 在每一个三维点完成获取红外温度信息后，对三维点云进行表面重建。
上述过程整体上是通过投影法来实现的，其内积操作和排序操作的目的就是为了在红外相机所在平面确定三维点云正确的投影位置。在三维点云有序地、正确地投影在红外摄像头所在平面上之后，将投影点与红外图像目标轮廓内的像素一一建立联系，这样便实现了二维温度场到三维温度场的重构工作。图 6展示了上述温度场重构过程。
3. 结果与数据分析
3.1 温度校准精度
本次实验采集的航空发动机叶片模型的红外图像样本共有33份，其中28份样本作为训练集，5份样本作为测试集。模型训练的迭代次数设为300。图 7展示了模型训练过程中单份测试样本所有像素位置误差总和的变化曲线，当迭代次数接近300时，单份测试样本所有像素位置误差总和在40附近摆动。图 8展示了5份测试样本校准前后的对比情况，实验证明本文提出的温度校准模型成功地去除了噪点，达到了温度校准的目的。表 1是样本平均误差，从表中可以看出，5份测试样本单个像素位置温度误差分别为1.08℃、1.83℃、0.97℃、0.95℃和1.37℃，单个像素位置平均温度误差为1.24℃。
表 1 样本平均温度误差E/mmTable 1. Average temperature error of test samplesTest sample Average temperature error of sample/℃ Average value/℃ 1 1.0770 1.24 2 1.8330 3 0.9736 4 0.9483 5 1.3708 3.2 温度场重建效果
图 9展示了最终三维温度场重建的温度分布图像，我们的工作成功地将二维温度分布转化为三维温度场分布，使得在获取温度信息的同时，还能获取观测区域的位置信息。这为掌握航空发动机工作状态提供了新的解决方案，不仅兼顾了无接触、实时性等优势，而且保证了一定的测量精度。
为了更加客观地评价我们三维重构的精度，我们设计了相应的实验进行验证。我们的思路是在3D模型和拍摄的红外图像上分别找出一个三维点D和其在红外图像上精确对应的像素S，之后再利用我们的温度场重构算法将像素S的温度信息赋予到三维点D′。我们将D和D′坐标之间距离作为温度场重构的误差，并以此来评估我们算法的性能。误差计算公式如下：
$$ E = \sqrt[2]{{{{\left( {{x_D} - {x_{D{\text{'}}}}} \right)}^2} + {{\left( {{y_D} - {y_{D{\text{'}}}}} \right)}^2} + {{\left( {{z_D} - {z_{D{\text{'}}}}} \right)}^2}}} $$ (4) 式中：x、y、z分别表示三维点的坐标分量。我们将D点设置在航空发动机叶片模型正面的中心位置，并在其红外图像的中心位置找到对应像素S，之后计算误差E并用不同的红外图像重复了10次。图 10展示了10次温度场重建的误差，实验结果表明，我们的温度场重建算法，在叶片模型尺寸为100 mm×200 mm、红外拍摄距离为1 m的条件下，平均误差为3.53 mm。依据红外温度场重构原理，误差的主要来源为轮廓识别，要实现更加精确的温度场重构，需要开发出更加精确的轮廓识别技术，这也是我们未来研究的方向。
4. 结论
本文提出了一种基于MLP网络的航空发动机叶片红外温度校准模型，在此基础上，通过建立二维红外图像和三维模型之间的位置映射关系，实现了由二维温度分布到三维温度场的重构工作。在红外温度校准的工作中，将目标点周围81个紧邻像素位置的温度作为MLP模型的输入，模型的输出值作为温度的校正值，成功地去除了人工添加的高斯噪声，实现了单幅红外图像平均校正误差1.24℃，达到了温度校准的目的。在温度场三维重建的工作中，利用投影法对投影值进行排序，配合法向量估计，建立了二维红外图像到三维模型的空间映射关系，成功实现了红外温度场的三维重构，平均重构误差为3.53 mm。
-
![]()
图 2 脉冲红外热成像硬件系统框图
Figure 2. The diagram of pulsed infrared thermal testing hardware system
![]()
图 3 脉冲红外热成像检测系统实验平台
Figure 3. Experimental platform of pulsed infrared thermal testing system
![]()
图 4 不同脉冲强度下被检试件表面温度变化情况
Figure 4. Temperature field of the specimen surface after different pulsed intensities
![]()
图 12 改进的巴特沃兹带通滤波算法处理后的图像
Figure 12. Infrared images aftert the improved Butterworth bandpass filtering algorithm
![]()
图 13 改进巴特沃斯带通滤波算法处理后
Figure 13. The binary image after the improved Butterworth band pass filtering algorithm
表 1 各种滤波后图像的峰值信噪比
Table 1 Peak signal-to-noise ratio of various filtered images
Test subject Median Filter SNR Butterworth Low Pass Filtering Algorithm SNR Butterworth Bandpass Filtering Algorithm SNR Metal specimens with crack defects 43.3848 38.9708 68.9181 
下载: 导出CSV
表 2 裂纹缺陷的特征识别参数及其精度
Table 2 Identification parameters and accuracy of rack defects features
Parameter category Parameters Parameter value Attributes PIXS/pixel 2692 PIXL/pixel 192 PIXD/pixel 18 Actual parameters of crack defect Actual area/mm2 20 Actual length/mm 20 Actual width/mm 1 Crack defect calculation parameters Area-calculation/mm2 19.88 Length-calculation/mm 16.50 Width-calculation/mm 1.55 Crack defect calculation error Area-calculation error/% 0.60 % Length-calculation error/% 17.50 % Width-calculation error/% 55.00 %
下载: 导出CSV
-
[1] 周俊光. 浅谈起重机械安全隐患及缺陷[J]. 智能城市, 2019, 5(6): 176-177. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNCS201906111.htm ZHOU Junguang. Talking about the hidden dangers and defects of hoisting machinery[J]. Intelligent City, 2019, 5(6): 176-177. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNCS201906111.htm
[2] 贾文晶. 基于红外图像处理的钢轨裂纹检测研究[D]. 兰州: 兰州交通大学, 2017. JIA Wenjing. Research on Rail Crack Detection Based on Infrared Image Processing[D]. Lanzhou: Lanzhou Jiaotong University, 2017.
[3] Avdelidis N P, Almond D P, Dobbinson A, et al. Aircraft composites assessment by means of transient thermal NDT[J]. Progress in Aerospace Sciences, 2004, 40(3): 143-162. DOI: 10.1016/j.paerosci.2004.03.001
[4] MIAN A, HAN X, Islam S. Fatigue damage detection in graphite/epoxy composites using sonic infrared imaging technique[J]. Composites Science & Technology, 2004, 64(5): 657-666.
[5] ZOU H, HUANG F Z. A novel intelligent fault diagnosis method for electrical equipment using infrared thermography[J]. Infrared Physics and Technology, 2015, 73: 29-35. DOI: 10.1016/j.infrared.2015.08.019
[6] 秦雷, 刘俊岩, 龚金龙, 等. 超声红外锁相热像技术检测金属板材表面裂纹[J]. 红外与激光工程, 2013, 42(5): 1123-1130. DOI: 10.3969/j.issn.1007-2276.2013.05.003 QIN Lei, LIU Junyan, GONG Jinlong, et al. Testing surface crack defects of sheet metal with ultrasoniclock-in thermography[J]. Infrared and Laser Engineering, 2013, 42(5): 1123-1130. DOI: 10.3969/j.issn.1007-2276.2013.05.003
[7] 胡海林, 任煜文, 郭迪, 等. 基于红外热成像的物体缺陷检测方法研究[J]. 沈阳理工大学学报, 2020, 39(2): 83-89. HU Hailin, REN Yuwen, GUO Di, et al. Research on object defect detection method based on infrared thermal imaging[J]. Journal of Shenyang Ligong University. 2020, 39(2): 83-89.
[8] Chatterjee K, Tuli S, Pickering S G, et al. A comparison of the pulsed, lock-in and frequency modulated thermography nondestructive evaluation techniques[J]. NDT and E International, 2011, 44(7): 655-667. DOI: 10.1016/j.ndteint.2011.06.008
[9] Moskovchenko A I, Vavilov V P, Bernegger R, et al. Detecting delaminations in semitransparent glass fiber composite by using pulsed infrared thermography[J]. Journal of Nondestructive Evaluation, 2020, 39(3): 69. DOI: 10.1007/s10921-020-00717-x
[10] Marinetti S, Vavilov V. Thermographic detection and characterization of hidden corrosion in metals: General analysis[J]. Corrosion Science, 2009, 52(3): 865-872.
[11] Subhani S, Suresh B, Ghali VS. Orthonormal projection approach for depth-resolvable subsurface analysis in non-stationary thermal wave imaging[J]. Insight, 2016, 58(1): 42-45. DOI: 10.1784/insi.2016.58.1.42
[12] 张勇, 张金玉, 黄建祥. 基于红外热波检测理论模型的红外热像数据拟合方法[J]. 红外, 2012, 33(4): 38-41. DOI: 10.3969/j.issn.1672-8785.2012.04.007 ZHANG Yong, ZHANG Jinyu, HUANG Jianxiang. Infrared thermal imaging data fitting method based ontheoretical model of infrared thermal wave detection[J]. Infrared, 2012, 33(4): 38-41. DOI: 10.3969/j.issn.1672-8785.2012.04.007
[13] Kaur K, Mulaveesala R. Experimental investigation on noise rejection capabilities of pulse compression favourable frequency-modulated thermal wave imaging[J]. Electronics Letters, 2019, 55(6): 352. DOI: 10.1049/el.2018.8047
[14] Koltsov P P. Comparative analysis of image processing algorithms[J]. Pattern Recognition and Image Analysis, 2012, 22(1): 39. DOI: 10.1134/S1054661812010245
[15] 张德丰. 数字图像处理(MATLAB版)[M]. 北京: 人民邮电出版社, 2015. ZHANG Defeng. Digital Image Processing (MATLAB)[M]. Beijing: Posts & Telecom Press Co. . LTD, 2015.
[16] 陈观应. 基于机器视觉的干电池缺陷并行检测方法研究[D]. 广州: 广东工业大学, 2016. CHEN Guanying. Research of Battery Defects Parallel Detecting Methods Based on Machine Vision[D]. Guangdong: Guangdong University of Technology, 2016.
[17] Arunmuthu K, Kumar P A, Saravanan T. Image processing of radiographs of tube-to-tubesheet weld joints for enhanced detectability of defects[J]. Insight, 2008, 50(6): 298-303. DOI: 10.1784/insi.2008.50.6.298
[18] XUE J H, ZHANG Y J. Ridler and Calvard's, Kittler and Illingworth's and Otsu's methods for image thresholding[J]. Pattern Recognition Letters, 2012, 33(6): 793-797. DOI: 10.1016/j.patrec.2012.01.002
[19] LEE W Y, KIM Y W, KIM S Y. Edge detection based on morphological amoebas[J]. Imaging Science Journal, 2012, 60(3): 172-183. DOI: 10.1179/1743131X11Y.0000000013
[20] 朱光忠, 黄云龙, 余世明. 边缘检测算子在汽车牌照区域检测中的应用[J]. 计算机技术与发展, 2006(3): 161-162. https://www.cnki.com.cn/Article/CJFDTOTAL-WJFZ200603056.htm ZHU Guangzhong, HUANG Yunlong, YU Shiming. Application of edge detection operators in regiondetection of automobile license plate[J]. Computer Technology and Development, 2006(3): 161-162. https://www.cnki.com.cn/Article/CJFDTOTAL-WJFZ200603056.htm
[21] 杜雪雪, 殷晨波, 童欣, 等. 红外热成像技术在大型起重机械金属裂纹探伤中的应用[J]. 现代制造工程, 2021(4): 121-125. https://www.cnki.com.cn/Article/CJFDTOTAL-XXGY202104023.htm DU Xuexue, YIN Chenbo, TONG Xin, et al. Application of infrared thermal imaging technology in metal crackdetection of large lifting machinery[J]. Modern Manufacturing Engineering, 2021(4): 121-125. https://www.cnki.com.cn/Article/CJFDTOTAL-XXGY202104023.htm
-
期刊类型引用(1)
1. 范锦珑，王高，李建民. 温敏荧光材料YAG:Tm在高温系统中的发光特性. 电子制作. 2024(24): 87-89+10 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 211
- HTML全文浏览量: 72
- PDF下载量: 26
- 被引次数: 1
