Defect Detection of Eddy Current Thermal Imaging of Workpiece Based on Deep Learning and Domain Adaptation
-
摘要: 机械设备运行过程中，标记的故障样本量小，导致建立的模型故障诊断准确率低，为此本文提出一种结合深度学习与域自适应的工件涡流热成像的缺陷检测方法。首先将注意力机制引入深度残差网络ResNet50中，加强模型的特征提取能力；然后将源域和目标域数据送入改进的ResNet50网络中提取深度特征，并且在网络的全连接层中引入局部最大均值差异，用于缩小两域特征间的分布差异，以此实现相关子域的分布对齐；最后在网络的Softmax分类器中实现对工件金属材料的缺陷检测。在公开的磁瓦数据集和本文实验采集的金属板涡流红外图像数据集上进行实验，结果表明，本文方法对涡流红外图像的裂纹缺陷检测识别准确率较高，通过t分布随机邻居嵌入方法对分析结果可视化，验证了本文方法的优越性。Abstract: When operating mechanical equipment, the number of fault samples marked is small, which leads to low accuracy of the fault diagnosis of the established model. Therefore, this study proposes a defect detection method for eddy current thermal imaging of a workpiece that combines depth learning and domain adaptation. First, the attention mechanism is introduced into the deep residual network ResNet50 to enhance the feature extraction capability of the model. Then, the source and target domain data are sent into the improved ResNet50 network to extract the depth features. The local maximum mean difference is introduced into the full connection layer of the network to reduce the distribution difference between the two domain features to achieve the distribution alignment of related sub-domains. Finally, workpiece metal material defects were detected in the Softmax classifier of the network. The experiment was conducted on the open magnetic tile dataset and eddy current infrared image dataset of the metal plate collected during the experiment. The results show that the method proposed in this paper is highly accurate in detecting and recognizing crack defects in eddy current infrared images. The advantages of the method in this study were verified by visualizing the analysis results using the t-distribution random neighbor embedding method.
-
0. 引言
在工业生产中，及时掌握设备的工作状态是十分必要的。好多情况下，物体表面温度可以间接地反映设备的工作状态，因此开展依据物体表面温度对工业设备运行状态进行检测和监测的理论与方法研究具有重要的意义[1-2]。
对于设备表面温度分布的测量，最常用的设备为红外热像仪。通过红外热像仪进行测温，一般要求正对测量表面。然而在狭小空间或由其他原因造成可达性较差的位置进行测量时，如舰船的机舱，常常无法满足红外热成像测温的要求，因此就需要人们对特殊测量条件下所测得的温度分布进行修正。造成红外热像测温误差的因素很多，相关的研究包括红外热像仪的测温的影响因素分析及误差的计算[1, 3]、太阳、大气等环境的影响[1, 4-5]，周围高温物体的影响[6-7]、测量距离及视角的影响[8-9]、探测器温度的影响[10]等。对于本文讨论的非平设备表面，尤其在热像仪处于被测点的天顶角的50°范围之外时，发射率将发生明显的变化。因此，对于设为恒定表面发射率的热像仪，必将会产生显著的测温误差。因此，开展非平表面红外温度测量的修正研究具有重要的应用价值。
本文针对利用红外热像仪大角度测温或对非平表面进行测温因无法或部分无法处于表面各点定向发射率恒定的天顶角范围内时热像仪的测温误差进行研究，并基于物体表面定向发射率的变化规律，通过对所测表面进行3D建模，建立实际表面和热像图之间的坐标对应关系，提出热像仪所测温度分布的修正方法。方法通过实验进行验证。
1. 红外测温及修正系数的计算
根据红外热像仪温度计算公式[1]：
$$ {T_0} = {\left\{ {\frac{1}{\varepsilon }\left[ {\frac{1}{{{\tau _{\rm{a}}}}}T_{\rm{r}}^n - \left( {1 - a} \right)T_{\rm{u}}^n - \frac{{{\varepsilon _{\rm{a}}}}}{{{\tau _{\rm{a}}}}}T_{\rm{a}}^n} \right]} \right\}^{\frac{1}{n}}} $$ (1) 式中：ε为物体表面发射率; τa为大气的光谱透射率; Tr为热像仪指示的辐射温度; εa为大气辐射率; Tu为环境温度。在3~5μm，n＝9.2554;在8~12μm，n＝3.9889。
由式(1)可知，温度测量值与被测物体的发射率ε密切相关。在测量复杂物体表面时，需在热像仪上将发射率设为一固定值，通常为该表面材料的法向发射率。天顶角是某个方向和天顶方向的夹角，通常记为θ（见图 1）。本文中利用天顶角来描述热像仪测量物体表面中点的温度时，热像仪成像中心点相对于物体表面的位置关系。在一次测量时，热像仪所处的位置，对于非平表面上不同的点具有不同的天顶角θ。当角θ超出一定范围（如大于50°）时，定向发射率的变化必然对红外测温的准确性产生影响。
根据菲涅尔定律[1]，光谱方向反射率表示为：
$$ \rho (\tilde n, \theta ) = \frac{1}{2}({\left| {\frac{{\tilde n\cos \theta - \cos \theta '}}{{\tilde n\cos \theta + \cos \theta '}}} \right|^2} + {\left| {\frac{{\cos \theta - \tilde n\cos \theta '}}{{\cos \theta + \tilde n\cos \theta '}}} \right|^2}) $$ (2) 式中：$\tilde n = n\left( \lambda \right) - i \cdot k\left( \lambda \right)$表示材料的复折射系数。
根据Snell定律，折射角与入射角满足：
$$ \sin \theta ' = (1/\tilde n)\theta $$ (3) 根据Kirchhoff定律：
$$ \varepsilon (\tilde n, \theta ) = \alpha (\tilde n, \theta ) = 1 - \rho (\tilde n, \theta ) $$ (4) 据表 1[11]中铝（Al）、黄铜（Brass）、聚乙烯（PS）、聚苯乙烯（PE）4种材料分别在3~5 μm与8~12 μm工作波段的复折射率可计算出其定向发射率随天顶角变化的理论值。
表 1 材料各波段复折射率Table 1. Complex refractive indexes of the materials in each wave bandsAl Brass PS PE band/μm 3-5 8-13 3-5 8-13 3-13 3-13 n 6.62 23.19 4.77 17.21 1.57 1.52 k 37.77 85.04 23.73 51.85 0 0 式(4)的计算结果如图 2所示，可观察到金属与非导电体定向发射率随天顶角的变化规律：各类材料定向发射率在被测点天顶角大于50°附近开始出现明显的变化。
在工程测量中，需在测量前设定被测物体表面的发射率，通常设为其法向发射率ε⊥。对于相对平整的表面，可使用ε⊥代表所有点的发射率。当热像仪处于被测点的天顶角大于50°的位置范围时，需采用该角度的定向发射率。对于不同角度的定向发射率εθ，根据(1)式可知实际温度T0与测量温度T1的关系为：
$$ {T_{\rm{1}}} = {\left\{ {\frac{{{\varepsilon _ \bot }}}{{{\varepsilon _\theta }}}} \right\}^{\frac{1}{n}}}{T_0} $$ (5) 定义修正系数为：
$$ c\left( \theta \right) = {\left\{ {\frac{{{\varepsilon _ \bot }}}{{{\varepsilon _\theta }}}} \right\}^{\frac{1}{n}}} $$ (6) 则可得修正系数曲线如图 3所示。
由图 3观察得出，对于金属表面温度测量结果的修正系数在天顶角大于50°时减小，在90°附近上升迅速，而非导电体在天顶角大于70°时迅速增加，最大时测温误差可达50%。因此，需要对红外热像图中不同位置的温度值依据其对应实际点的修正系数进行修正。
2. 被测表面各点天顶角的计算
如前所述，要计算被测表面各个点的修正系数，必须首先计算各个点红外测温时热像仪所处的天顶角θ。
2.1 坐标与法向量的获取
利用3D建模或3D扫描技术可获取被测物体的空间结构，存储格式为.stl文件。将所得.stl文件使用Meshlab软件进行网格划分处理后可获得该被测物体的点云数据，存储为.xyz文件。.xyz文件为一组六维向量，前三维是点云中各点世界坐标系下坐标${p_{\rm{w}}} = {[{x_{\rm{w}}}, {y_{\rm{w}}}, {z_{\rm{w}}}]^{\rm{T}}}$，后三维是该点的法向量坐标$\mathop N\limits^ \to = {\left[ {{n_x}, {n_y}, {n_z}} \right]^{\rm{T}}}$。
以一锅炉为例，绘制出其点云坐标和法向量如图 4所示。
本文将建模过程中的模型原点作为世界坐标系原点。可知热像仪机位中心坐标\$。
2.2 天顶角的计算
由热像仪机位中心坐标与空间坐标可得测量方向向量：$\overrightarrow {{p_{\rm{w}}}I} = {\left[ {{x_{\rm{c}}} - {x_{\rm{w}}}, {y_{\rm{c}}} - {y_{\rm{w}}}, {z_{\rm{c}}} - {z_{\rm{w}}}} \right]^{\rm{T}}}$
则可计算天顶角为：
$$ \theta ({p_{\rm{w}}}, I) = \langle \mathop N\limits^ \to , \overrightarrow {{p_{\rm{w}}}I} \rangle = \arccos (\frac{{\mathop N\limits^ \to \cdot \overrightarrow {{p_{\rm{w}}}I} }}{{\left| {\mathop N\limits^ \to } \right| \cdot \left| {\overrightarrow {{p_{\rm{w}}}I} } \right|}}) $$ (7) 由空间几何关系可知，对于天顶角小于90°的被测点，由于透视关系无法在热像仪上成像，因此可得可视部分如图 5所示。
其中坐标为(－0.75, 0.12, 0.1)的点为红外热像仪中心所在点，黄色部分为锅炉表面在该位置关系下热像仪的可视点，蓝色为不可视点。
2.3 温度修正系数的分布
由该位置关系可计算得出各点对应天顶角θ。由于实际工程应用中，通常在金属表面填涂一层非导电涂料，且非导电体在法向发射率相较于导电体更大，理论的光谱定向发射率与实际相差不大，因此以8~13 μm的PS（Poly styrene）材料作为被测物体材料。在图 4的位置关系下，计算得出该锅炉的修正系数c的频率分布直方图如图 6所示。经计算可得，该位置关系下修正系数大于1.2的点占比44.1%。由此可见，对实际非平表面测温时的定向发射率进行修正是非常必要的。
![]()
图 6 不同温度修正系数对应的被测点所占总被测点的比例Figure 6. Percentage of points with different temperature correction coefficients3. 被测点在图像的映射
天顶角与成像点的实际位置和其法向量密切相关。因此，针对红外热像仪所测温度的修正需明确各成像点在世界坐标中的实际位置。
世界坐标系下被测点pw经红外热像仪投影至平面像素点pp＝[u, v]T，在成像过程中经过两次坐标变换，分别是由世界坐标系到热像仪坐标系的变换和由热像仪坐标系到像素坐标系的变换[12]，两个变换分别通过外参矩阵和内参矩阵来实现。
3.1 外参矩阵的获取
世界坐标pw到热像仪坐标pi的转换关系为：
$$ \left[ {\begin{array}{*{20}{c}} {{p_{\rm{c}}}}\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} R&t\\ {\rm{0}}&{\rm{1}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{p_{\rm{w}}}}\\ 1 \end{array}} \right] $$ (8) 其中：
$$ \left[ {\begin{array}{*{20}{c}} R&t\\ {\rm{0}}&{\rm{1}} \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{R_{\rm{i}}}}&I\\ {\rm{0}}&{\rm{1}} \end{array}} \right]^{ - 1}} = \left[ {\begin{array}{*{20}{c}} {{R_{\rm{i}}}^{\rm{T}}}&{ - {R_{\rm{i}}}^{\rm{T}}I}\\ 0&1 \end{array}} \right] $$ (9) 为热像仪的外参矩阵，Ri为热像仪的基坐标在世界坐标系的坐标，描述热像仪在世界坐标系中的姿态，I为热像仪中心在世界坐标系中的位置。
获取热像仪的外参矩阵需确定热像仪姿态，热像仪在成像过程中一般固定角度。假设热像仪在实际测量中热像仪x轴始终与水平面平行，仅存在俯角γ与转角β。则可知当热像仪对准被测物体中心$\overline {{p_{\rm{w}}}} = {[\overline {{x_{\rm{w}}}} , \overline {{y_{\rm{w}}}} , \overline {{z_{\rm{w}}}} ]^{\rm{T}}}$时，热像仪中心指向被测点中心向量$\overrightarrow {C\overline {{p_{\rm{w}}}} } = {[\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}, \overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, \overline {{z_{\rm{w}}}} - {z_{\rm{c}}}]^{\rm{T}}}$为热像仪坐标z轴方向，热像仪坐标系x轴与水平面平行，y轴方向垂直于x轴和z轴。由数学关系可得3个方向的标准基为：
$$ \begin{array}{l} {e_{\rm{1}}} = {\left[ {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, {x_{\rm{c}}} - \overline {{x_{\rm{w}}}} , 0} \right]^{\rm{T}}}/{\left( {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}} \right)^2} + {\left( {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}} \right)^2}\\ {e_{\rm{2}}} = {e_3} \times {e_1}/\left| {{e_1}} \right|\left| {{e_3}} \right|\\ {e_{\rm{3}}} = {\left[ {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}, \overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, \overline {{z_{\rm{w}}}} - {z_{\rm{c}}}} \right]^{\rm{T}}}/\\ {\rm{ }}{\left( {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}} \right)^2} + {\left( {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}} \right)^2} + {\left( {\overline {{z_{\rm{w}}}} - {z_{\rm{c}}}} \right)^2} \end{array} $$ (10) 计算可得Ri＝[e1, e2, e3]为热像仪在世界坐标系旋转到当前姿态的旋转矩阵。
当热像仪角度变化时，可根据热像仪的俯角与转角求得热像仪坐标系z轴与水平面的交点：
$$ {p_0} = {\left[ {\left( {{x_{\rm{c}}} + {z_{\rm{c}}}/\tan \gamma } \right)\sin \beta , \left( {{y_{\rm{c}}} + {z_{\rm{c}}}/\tan \gamma } \right)\cos \beta , 0} \right]^{\rm{T}}} $$ (11) 将上述计算过程中被测点中心$\overline {{p_{\rm{w}}}} $替换为p0即可根据热像仪实际姿态确定外参矩阵。
3.2 内参矩阵的获取
在世界坐标转换为热像仪坐标后，需将热像仪坐标转换为像素坐标，完成三维到二维的转变。
热像仪坐标pi到像素坐标pp的转换关系为：
$$ \left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right] = \frac{1}{{{z_{{p_{\rm{c}}}}}}}\left[ {\begin{array}{*{20}{c}} {{k_x}}&0&{{c_x}}\\ 0&{{k_y}}&{{c_y}}\\ 0&0&1 \end{array}} \right]{p_{\rm{c}}} $$ (12) 式中：$\mathit{\boldsymbol{K}} = \left[ {\begin{array}{*{20}{c}} {{k_x}}&0&{{c_x}}\\ 0&{{k_y}}&{{c_y}}\\ 0&0&1 \end{array}} \right]$为热像仪的内参矩阵，$\frac{1}{{{z_{{p_{\rm{c}}}}}}}$为尺度因子，描述成像位置与热像仪中心的距离。
内参矩阵与热像仪的型号和图像的分辨率有关，kx、ky为热像仪x与y方向的像素焦距，cx、cy为图片主点偏移，内参矩阵均以像素为单位。
fx、fy为热像仪x与y方向的毫米焦距，对于毫米焦距和像素焦距的转换关系有：
$$ \begin{array}{l} {f_x}{\rm{ }} = {\rm{ }}{k_{\rm{u}}}{\rm{ }}*{\rm{ d}}x\\ {f_y}{\rm{ }} = {\rm{ }}{k_{\rm{v}}}{\rm{ }}*{\rm{ d}}y\\ \;{\rm{d}}x{\rm{ }} = {\rm{ (}}1/{\rm{ccd}}\_{\rm{size }}*{\rm{ }}24.5{\rm{ }}*\\ \quad \;{\rm{image}}\_x{\rm{ }}/{\rm{ image}}\_y{\rm{) }}/{\rm{ image}}\_x\\ \;{\rm{d}}y{\rm{ }} = {\rm{ (}}1/{\rm{ccd\_size }}*{\rm{ }}24.5{\rm{ }}*\\ \quad \;{\rm{image}}\_x{\rm{ }}/{\rm{ image\_}}y{\rm{) }}/{\rm{ image}}\_y \end{array} $$ (13) 式中：ccd_size是热像仪厂商给出的CCD尺寸，以英寸为单位; image_x、image_y是图像x、y方向的像素数，与成像的分辨率有关。
3.3 热像仪标定
在工程应用中，外参矩阵主要通过机位的计算得出，内参矩阵经热像仪标定得出。
对于热像仪标定，一般使用张氏标定法[13]。通过Matlab软件自带的热像仪标定程序camera calibrator可对单目热像仪进行标定。可见光相机标定需打印棋盘格，对于红外热像仪，将棋盘格用金属板代替。黑色部分使用隔热胶带，白色部分使用金属板或锡纸。
在程序中输入标定板在不同角度下的红外热像图，可得到热像仪中心与标定板相对位置和热像仪内参、外参、图片尺寸等参数。本文主要使用标定得到的热像仪内参矩阵K。
4. 温度修正计算流程
4.1 温度修正系数矩阵
总体的温度修正计算流程如图 7所示。
据式(7)计算出天顶角，查得该天顶角下的发射率，然后计算式(6)得到世界坐标系下各测温点的修正系数c(pw)。经热像仪成像后，测温点由世界坐标pw映射到成像平面坐标pp＝[u, v]T。pw到pp的转换关系由3.3节标定的热像仪矩阵计算得出。经上述转换关系可得测温点在二维平面坐标对应的修正系数c(pp)。
热像仪拍摄的温度图像将温度以矩阵的形式存储，因此，应当将pp从离散的点云转换为与热像图格式相同的pi, j，其中，pi, j代表像素块(i, j)的坐标。
对于修正系数在像素块范围内梯度较小的点，该像素块的修正系数取像素块内的平均值。对在热像图上像素位置为(i, j)的点，该像素的修正系数为：
$$ {c_{i, j}}\left( {{p_{\rm{p}}}} \right) = \frac{{\sum\limits_{k = 1}^m {{c_0}\left( {u, v} \right)} }}{m}, \{ u \in [i, i + 1), v \in [j, j + 1)\} $$ (14) 当像素内修正系数梯度变化较大的，可采用该像素内修正系数最大值附近点取平均值的方法，在此像素块内凸显该形状非光滑点。
$$ {c_{i, j}}\left( {{p_p}} \right) = \max \left( {{c_0}\left( {u, v} \right)} \right), \{ u \in [i, i + 1), v \in [j, j + 1)\} $$ 4.2 成像温度修正
对于红外热像仪，其所测温度矩阵为T0(pp)。修正后的温度矩阵为所测温度矩阵与温度修正系数矩阵做基本积（哈达玛积）：
$$ {T_{i, j}}\left( {{p_{\rm{p}}}} \right) = {T_{0i, j}}\left( {{p_{\rm{p}}}} \right) * {c_{i, j}}\left( {{p_{\rm{p}}}} \right) $$ (15) 所得温度T(pp)即修正后的温度。
5. 实验验证
本文通过一个热水桶表面的温度测量实验来验证该算法有效性。首先使用Solidworks软件进行几何建模，获得被测物体几何信息，经Meshlab软件求得热像仪可视表面的点云及各点处的法向量，再经Matlab计算出各点温度的修正系数以及各点对应的热像图中的坐标，最后将红外热像仪直接测得的温度分布信息导入Matlab进行修正得到水桶表面的修正后的温度。
5.1 红外测温与热像仪标定
本文选用Fluke Ti400型号热像仪进行测温，测温表面为一聚乙烯塑料桶侧面，塑料桶底部外径为18 cm，顶部外径为20.5 cm，高为20 cm。塑料桶中为热水，热像仪在世界坐标系中的坐标为$C{\rm{ = [}} - {\rm{0}}{\rm{.75, 0}}{\rm{.12, 0}}{\rm{.10}}{{\rm{]}}^{\rm{T}}}$，热像仪正对塑料桶中心，位置关系如图 8所示。测得塑料桶外表面可视部分的红外热像图见图 9。
使用热像仪拍摄红外标定板（如图 10所示），获取标定板的红外热像图，将热像图输入标定程序，获得热像仪内参矩阵K。
5.2 测温结果的修正
通过Solidworks软件建模并将得到的水桶表面的云数据导入Matlab软件中，可得到水桶表面与热像仪在空间中的位置关系，如图 11所示（黄色点为被测表面的可视点，蓝色为被测表面的非可视点）。本实验中，略去了接近桶口的外径较大的部分。
依据热像仪与可视点的空间位置关系，据式(7)可计算得各可视点的天顶角，据图 2可得不同天顶角时，所对应的发射率。然后据式(6)算得每个可视点的修正系数。如4.1节所述，对空间中可视点进行热像仪矩阵的变换，映射至平面可得出热像图中各点对应的修正系数，见图 12。进而依据式(15)得到热像图中各点修正后的温度分布。
为了更好地显示本文方法对红外热像仪所测得的温度分布，本节在所研究的可视表面高度方向的中心，取与图 9中相同位置的截线进行展示，修正系数如图 13所示。将所得修正系数与成像截线温度相乘得到修正后的截线温度，修正前后温度的对比如图 14所示。
![]()
图 14 截线上温度分布修正前和修正后的对比Figure 14. Comparison of temperature distributions before and after correction of points in the cross-line由图 14可见，修正前最大误差近40℃，真实温度为335℃，相对误差约为12.4%;修正后，集中在两侧大角度测量时的误差不超过5.0℃，相对误差小于1.5%。从此可见该方法的有效性。值得说明的是图 13中修正系数分布曲线并不完全对称，主要原因是该图的横坐标为非常微小的像素点，研究过程中像素点的选取没有完全对称所致。更多的平行截线结果均表明，该修正方法较好地消除了非平表面在红外热像测温时部分因为测量角度过大而引起的发射率变化所造成的误差。
6. 结论
针对使用红外热像仪测量非平表面温度时不同被测量点的定向发射率的变化对测温结果的影响，本文依据物体表面定量发射率的变化规律，给出了各个测量点的修正系数。同时，通过点云三维建模，利用热像仪通用几何成像原理推导出红外热像图像素与实际物体的被测表面之间各个测量点的对应关系，给出了红外热像测温过程中非平表面上的大天顶角被测点的温度测量结果的误差修正方法。实验证明了该方法的有效性。
-
![]()
图 3 CBAM_ResNet50和子域自适应网络模型
Figure 3. CBAM_ResNet50 and subdomain adaptive network model
![]()
图 4 涡流加热设备（左）和缺陷金属板（右）
Figure 4. Eddy current heating equipment (left) and defective metal plate (right)
![]()
图 7 不同方法的精确度对比图
Figure 7. Accuracy comparison chart of different methods
Magnetic tile data set→sheet metal data set
表 1 添加CBAM的ResNet50网络结构
Table 1 ResNet50 network structure with CBAM added
Network layer Parameters Activation function Conv1 64×7×7 Relu CBAM 64×1×1
7×7Sigmoid Conv2_x $ \left. {\begin{array}{*{20}{c}} {64 \times 1 \times 1} \\ {64 \times 3 \times 3} \\ {256 \times 1 \times 1} \end{array}} \right\} \times 3 $ Relu Conv3_x $ \left. {\begin{array}{*{20}{c}} {128 \times 1 \times 1} \\ {128 \times 3 \times 3} \\ {512 \times 1 \times 1} \end{array}} \right\} \times 4 $ Relu Conv4_x $ \left. {\begin{array}{*{20}{c}} {256 \times 1 \times 1} \\ {256 \times 3 \times 3} \\ {1024 \times 1 \times 1} \end{array}} \right\} \times 6 $ Relu Conv5_x $ \left. {\begin{array}{*{20}{c}} {512 \times 1 \times 1} \\ {512 \times 3 \times 3} \\ {2048 \times 1 \times 1} \end{array}} \right\} \times 3 $ Relu CBAM 2048×1×1
7×7Sigmoid FC 2 Softmax 
下载: 导出CSV
表 2 不同模型的检测精度
Table 2 Detection accuracy of different models
% Methods Magnetic tile→sheet metal Sheet metal→magnetic tile Average accuracy ResNet50 63.93 59.18 61.56 DAN 78.19 73.53 75.86 ResNet50_LMMD 88.29 86.10 87.20 This paper 90.11 86.93 88.52
下载: 导出CSV
-
[1] 李宝芸, 范玉刚, 高阳. 基于OTSU和Canny算子的红外图像特征提取[J]. 陕西理工大学学报: 自然科学版, 2019, 35(6): 33-40. https://www.cnki.com.cn/Article/CJFDTOTAL-SXGX201906007.htm LI Baoyun, FAN Yugang, GAO Yang. Infrared image feature extraction based on OTSU and Canny operator[J]. Journal of Shaanxi University of Technology: Natural Science Edition, 2019, 35(6): 33-40. https://www.cnki.com.cn/Article/CJFDTOTAL-SXGX201906007.htm
[2] PENG Y, HUANG S, HE Y, et al. Eddy current pulsed thermography for noncontact nondestructive inspection of motor winding defects[J]. IEEE Sensors Journal, 2020, 20(5): 2625-2634. DOI: 10.1109/JSEN.2019.2952691
[3] YI Q, Malekmohammadi H, TIAN G Y, et al. Quantitative evaluation of crack depths on thin aluminum plate using eddy current pulse-compression thermography[J]. IEEE Transations on Industrial Informatics, 2021, 16(6): 3963-3973.
[4] 董绍江, 朱朋, 裴雪武, 等. 基于子领域自适应的变工况下滚动轴承故障诊断[J]. 吉林大学学报: 工学版, 2022, 52(2): 288-295. https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY202202004.htm DONG Shaojiang, ZHU Peng, PEI Xuewu, et al. Fault diagnosis of rolling bearing under variable operating conditions based on subdomain adaptation[J]. Journal of Jilin University: Engineering and Technology Edition, 2022, 52(2): 288-295. https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY202202004.htm
[5] 姜万录, 岳毅, 张淑清, 等. 基于特征迁移学习的变工况下轴向柱塞泵故障诊断[J]. 农业工程学报, 2022, 38(5): 45-55. https://www.cnki.com.cn/Article/CJFDTOTAL-NYGU202205005.htm JIANG Wanlu, Yue Yi, ZHANG Shuqing, et al. Axial piston pump fault diagnosis under variable working conditions based on feature transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(5): 45-55. https://www.cnki.com.cn/Article/CJFDTOTAL-NYGU202205005.htm
[6] LONG M S, CAO Y, WANG J, et al. Learning transferable features with deep adaptation networks[C]//International Conference on Machine Learning, 2015: 97-105.
[7] Ganin Y, Ustinova E, Ajakan H, et al. Domain-adversarial training of neural networks[J]. Journal of Machine Learning Research, 2016, 17(1): 2096-2030.
[8] 陈佛计, 朱枫, 吴清潇, 等. 生成对抗网络及其在图像生成中的应用研究综述[J]. 计算机学报, 2021, 44(2): 347-369. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJX202102007.htm CHEN Foji, ZHU Feng, WU Qingxiao, et al. A survey about image generation with generative adversarial nets[J]. Chinese Journal of Computers, 2021, 44(2): 347-369. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJX202102007.htm
[9] 王格格, 郭涛, 余游, 等. 基于生成对抗网络的无监督域适应分类模型[J]. 电子学报, 2020, 48(6): 1190-1197. https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU202006021.htm WANG Gege, GUO Tao, YU You, et al. Unsupervised domain adaptation classification model based on generative adversarial network[J]. Acta Electronica Sinica, 2020, 48(6): 1190-1197. https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU202006021.htm
[10] ZHU Y C, ZHUANG F Z, WANG J D, et al. Deep subdomain adaptation network for image classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020(99): 1-10.
[11] Gretton A, Borgwardt K M, Rasch M J, et al. A kernel two-sample test[J]. Journal of Machine Learning Research, 2012, 13: 723-773.
[12] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision, 2018: 3-19.
[13] 郝帅, 张旭, 马旭, 等. 基于CBAM-YOLOv5的煤矿输送带异物检测[J]. 煤炭学报, 2021, 1644: 1-11. https://www.cnki.com.cn/Article/CJFDTOTAL-MTXB202211026.htm HAO Shuai, ZHANG Xu, MA Xu, et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J]. Journal of China Coal Society, 2021, 1644: 1-11. https://www.cnki.com.cn/Article/CJFDTOTAL-MTXB202211026.htm
[14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision & Pattern Recognition, 2016: 770-778.
[15] 吴静然, 刘建华, 崔冉. 子域适应无监督轴承故障诊断[J]. 振动与冲击, 2021, 40(15): 34-40. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202115005.htm WU Jingran, LIU Jianhua, CUI Ran. Sub-domain adaptive unsupervised bearing fault diagnosis[J]. Journal of Vibration and Shock, 2021, 40(15): 34-40. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDCJ202115005.htm
[16] HUANG Y B, QIU C Y, YUAN K. Surface defect saliency of magnetic tile[J]. The Visual Computer, 2020, 36(1): 85-96. DOI: 10.1007/s00371-018-1588-5
[17] Laurens V D M, Hinton G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2008, 9(2605): 2579-2605.
-
期刊类型引用(2)
1. 宋宏伟，刘塑，李海英，于洪有，史圣兵，郭秀丽，李昊岚，张亚平，王向前. 中波红外640×512(25μm)探测器组件可靠性验证试验. 红外技术. 2024(08): 879-882 . 
本站查看
2. 何邦盛，王忠华. 基于结构张量筛选和局部对比度分析的空中红外小目标检测算法. 红外技术. 2023(12): 1169-1176 . 本站查看
其他类型引用(1)
计量
- 文章访问数: 84
- HTML全文浏览量: 24
- PDF下载量: 27
- 被引次数: 3
