Deep Learning Method for Action Recognition Based on Low Resolution Infrared Sensors
-
摘要: 近年来动作识别成为计算机视觉领域的研究热点，不同于针对视频图像进行的研究，本文针对低分辨率红外传感器采集到的温度数据，提出了一种基于此类红外传感器的双流卷积神经网络动作识别方法。空间和时间数据分别以原始温度值的形式同时输入改进的双流卷积神经网络中，最终将空间流网络和时间流网络的概率矢量进行加权融合，得到最终的动作类别。实验结果表明，在手动采集的数据集上，平均识别准确率可达到98.2%，其中弯腰、摔倒和行走动作的识别准确率均达99%，可以有效地对其进行识别。Abstract: In recent years, action recognition has become a popular research topic in the field of computer vision. In contrast to research on video or images, this study proposes a two-stream convolution neural network method based on temperature data collected by a low-resolution infrared sensor. The spatial and temporal data were input into the two-stream convolution neural network in the form of collected temperature data, and the class scores of the spatial and temporal stream networks were late weighted and merged to obtain the final action category. The results indicate that the average accuracy of recognition can reach 98.2% on the manually collected dataset and 99% for bending, falling, and walking actions, indicating that the proposed net can recognize actions effectively.
-
Keywords:
- action recognition /
- two-stream CNN /
- low resolution infrared sensor /
- deep learning
-
0. 引言
利用红外技术监测运行中的电气设备，对保障电力系统正常运行具有重大意义。但由于电气设备运行环境较为复杂，使得监测过程中所获取的红外图像存在背景复杂的问题，从而会增加故障电气设备的图像分割难度，降低获取故障电气设备的准确性[1-2]。并且，故障电气设备红外图像分割质量的好坏，对故障状态的深入诊断等后续工作有直接影响。因此，针对复杂背景下故障电气设备的红外图像分割处理方法，是电气设备动态监测领域的难题[3-6]。目前，电气设备的红外图像分割处理方法主要分为以下3类：
1）故障区域分割方法主要利用故障区域温度较高，呈高亮度的特点进行分割。文献[7]利用OTSU算法去除大量背景，并结合故障区域的特点改进区域生长法，完成对电气设备多处故障区域的分割。文献[8]结合SLIC算法的标签功能，通过计算超像素块内均值，结合故障区域的特点完成对故障区域的分割。
2）设备整体分割方法主要利用电气设备红外图像的灰度值离散性、近似性和边缘特征等进行分割。一般先获取图像中的目标设备，再对目标设备状态进行诊断。文献[9]通过切比雪夫距离改进K-means聚类算法，然后结合二维最大熵算法实现对电气设备的整体分割。文献[10]将快速模糊C均值算法与NSCT的随机游走算法结合，完成对电气设备的整体分割。
3）红外图像三区域分割方法主要利用多重阈值，将图像分割为背景区域、故障区域、电气设备正常运行区域3个部分，再对分割后的各区域进行分析。文献[11]将遗传算法和灰度直方图的FCM算法相结合，并对目标函数进行改进，完成对图像三区域的分割。文献[12]通过改进K-means算法，根据密度阈值不断调整聚类中心，实现对图像三区域的分割。
故障区域的分割，将诊断范围缩小为带故障的感兴趣区域，不利于结合设备种类进行精确的故障诊断，只适合于带故障设备的进一步诊断。而对设备进行整体分割或三区域分割可以结合设备种类、温度关系等方面对故障进行精确诊断。但在实际电气设备红外监测过程中，所获取的电气设备红外图像存在背景复杂的问题，即相似电气设备、钢架、电线等干扰，导致对图像中故障电气设备的整体分割比较困难。
针对上述电气设备红外图像存在背景复杂的问题，本文提出一种结合SLIC超像素分割算法、Otsu算法及区域生长法（Region Growing）的复合分割算法。首先，利用SLIC超像素[13-14]分割算法对图像进行分割，完成Lab颜色空间转换，根据阈值判断是否存在故障并获取故障区域。然后，处理包含故障的红外图像，选取其最大联通量中较亮点作为初始种子，通过Otsu原理控制种子数目，改进区域生长法，提取图像中的目标主体设备。最后，将故障区域与目标主体设备进行阈值比较分析，最终完成在复杂背景下对故障电气设备的整体分割。
1. 相关理论
1.1 SLIC算法
超像素[15]指在颜色、亮度等方面具有一定相似性的不规则小区域。相对于Mean-shift、Normalized cuts等超像素分割算法，SLIC超像素分割算法计算简单且效率较高，生成的超像素块较紧凑、目标轮廓信息较清晰。
SLIC算法将图像从RGB颜色空间转换为Lab颜色空间。其中Lab颜色空间由L（亮度）、a（红色到绿色）、b（黄色到蓝色）三元素构成。SLIC算法将每个像素点的颜色值(L, a, b)和坐标位置(x, y)组成特征空间[L, a, b, x, y]，然后计算像素的颜色空间和位置空间的向量距离，对图像的像素进行聚类[16]。SLIC算法先将大小为N的图像分为K个面积为N/K的正方形，初始K个种子均匀分布在正方形中心并设置相应的标签，根据公式(1)计算相邻种子距离S。然后根据公式(2)~(4)计算像素点到聚类中心的距离判定像素标签。
$$ S = \sqrt {N/K} $$ (1) $$ {d_{\text{c}}} = \sqrt {{{\left( {{l_j} - {l_i}} \right)}^2} + {{\left( {{a_j} - {a_i}} \right)}^2} + {{\left( {{b_j} - {b_i}} \right)}^2}} $$ (2) $$ {d_{\text{s}}} = \sqrt {{{\left( {{x_j} - {x_i}} \right)}^2} + {{\left( {{y_j} - {y_i}} \right)}^2}} $$ (3) $$ D = \sqrt {{{\left( {\frac{{{d_{\text{c}}}}}{{{N_{\text{c}}}}}} \right)}^2} + {{\left( {\frac{{{d_{\text{s}}}}}{{{N_{\text{s}}}}}} \right)}^2}} = \sqrt {{{\left( {\frac{{{d_{\text{c}}}}}{m}} \right)}^2} + {{\left( {\frac{{{d_{\text{s}}}}}{S}} \right)}^2}} $$ (4) 式(2)~(4)中：dc、ds分别为像素j到聚类中心i的颜色距离和空间距离。Nc为最大颜色距离，一般采用常数m代替，m∈[0, 40]。Ns为内类最大空间距离，Ns＝S。D为像素点j与聚类中心i的相似度。
根据公式(2)~(4)，计算出每个聚类中心的2S×2S邻域内像素点与聚类中心的距离，并根据最大相似度原则，将像素与聚类中心进行标签分类。对上述过程进行多次迭代，直至最大迭代量或像素聚类标签不再变化。一般大约迭代10次后即完成聚类分割。最后，利用超像素区域的连通性，将分割面积过小、孤立点等区域与相邻区域，按照相距距离最小进行合并，以提高分割区域的连通性并完成图像超像素分割。
1.2 区域生长算法
区域生长算法由Zucker提出[17]。该算法通过在图像中选取像素点作为生长点，然后根据最大相似生长准则将待评判像素与种子点进行比较，不断生长合并，直至生长结束，完成对目标对象的分割[18]。该算法基本原理如下：
假设图像大小为M×N，坐标(i, j)处像素点的灰度值为G(i, j)。Fij为像素的标记，Fij＝1, 0分别表示像素点(i, j)已判定属于生长区域或者不属于生长区域。则设定的生长规则定义如下：
$$\left\{\begin{array}{l} S(G(i, j), G(i, j-1))<T \quad(0 \leq i \leq M, 0 \leq j \leq N) \\ F_{i, j-1}=0 \end{array}\right. $$ (5) 式中：T表示相似度的判断阈值。若像素点(i, j－1)满足上述公式(5)，则将像素标记Fi, j-1＝1，并将像素点(i, j－1)作为新的种子，对其邻域再次进行判断并标记。
区域生长算法简单高效，能依据像素相似特征进行合并分割。但该算法分割结果对于种子的选取、生长准则和生长停止条件的设定具有极大的依赖性[19]。同时，传统的区域生长算法用于电气设备的故障检测，需要手动选定种子，不能达到故障自动定位的要求。因此，需要根据分割对象的特点对传统区域生长算法进行改进，以达到分割要求。
1.3 Otsu算法
Otsu算法由日本学者大津在1979年提出，又称类间最大方差法[20]。该算法通过遍历灰度等级将图像分割为目标和背景两个部分，然后计算两部分的类间方差，类间方差最大时所对应的阈值即为最佳分割阈值。其原理如下：
假设图像的灰度等级为[0, L－1]，其中灰度等级为i像素有ni，且i∈[0, L－1]，则像素总数为：
$$ N = \sum\limits_{i = 0}^{L - 1} {{n_i}} $$ (6) 每个灰度等级的概率为：
$$ {p_i} = \frac{{{n_i}}}{N} $$ (7) 当阈值T将图像分为S1和S2两部分时，区域S1和S2的概率分别为P1、P2，即：
$$ {P_1} = \sum\limits_{i = 0}^{T - 1} {{p_i}} $$ (8) $$ {P_2} = \sum\limits_{i = T}^{L - 1} {{p_i}} = {\text{1}} - {P_1} $$ (9) 区域S1和S2的平均灰度分别为μ1、μ2，即：
$$ {\mu _{\text{1}}} = \frac{{\text{1}}}{{{P_1}}}\sum\limits_{i = 0}^{T - 1} {i{p_i}} = \frac{{\mu \left( T \right)}}{{{P_{\text{1}}}}} $$ (10) $$ {\mu _{\text{2}}} = \frac{{\text{1}}}{{{P_2}}}\sum\limits_{i = T}^{L - 1} {i{p_i}} = \frac{{\mu - \mu \left( T \right)}}{{1 - {P_{\text{1}}}}} $$ (11) 上述两式中，μ(T)表示灰度等级为T时的灰度累计值；μ为整幅图的平均灰度值，即：
$$ \mu \left( T \right) = \sum\limits_{i = 0}^{T - 1} {i{p_i}} $$ (12) $$ \mu = \sum\limits_{i = 0}^{L - 1} {i{p_i}} = {P_1}{\mu _1} + {P_2}{\mu _2} $$ (13) 则阈值T对应两区域S1, 2的类间方差为：
$$ \begin{gathered} {\sigma ^2} = {P_1}{\left( {{\mu _1} - \mu } \right)^2} + {P_2}{\left( {{\mu _2} - \mu } \right)^2} \hfill \\ {\text{ }} = {P_1}{P_2}{\left( {{\mu _1} - {\mu _2}} \right)^2} \hfill \\ \end{gathered} $$ (14) 当类间方差σ2最大时，对应的阈值T为最佳阈值，此时分割效果最好，背景与目标相差最大。
2. 本文算法
本文提出的在复杂背景下的故障电气设备整体分割算法，首先通过SLIC超像素预分割，并将超像素块转换为Lab颜色空间，利用设备故障区域的红外图像呈黄色接近白色的特点，对Lab颜色空间的三分量进行阈值分析，判定是否存在故障并完成故障区域分割。然后，再对包含故障的红外图像进行处理。针对电气设备的复杂背景，改进区域生长算法，选取最大联通量中较亮点作为区域生长的种子；利用OTSU原理控制种子数目，结合双阈值判定规则改进区域生长法，分割出图像中的目标主体设备。最后，将分割的故障区域和目标主体设备进行交集运算，并与阈值进行比较，从而完成在复杂背景下对故障电气设备的判断和整体分割。
2.1 基于SLIC算法的故障区域分割
根据故障电气设备红外图像的特点，本文通过SLIC超像素分割将红外图像中温度相似的像素区域进行合并，然后转换为Lab颜色空间，设定相应阈值，判断是否存在故障并完成对故障区域的分割。
红外图像通过伪彩色显示为RGB颜色空间，电气设备故障区域的颜色主要呈黄色接近白色，其中在RGB颜色空间中黄色分量的特点为R≈G≥B，白色分量的特点为R≈G≈B≈255。Lab颜色空间可以通过RGB颜色空间值进行转换，转换公式为(15)~(19)。
$$ \begin{gathered} R' = {\text{gamma}}\left( {\frac{R}{{255}}} \right) \hfill \\ G' = {\text{gamma}}\left( {\frac{G}{{255}}} \right) \hfill \\ B' = {\text{gamma}}\left( {\frac{B}{{255}}} \right) \hfill \\ \end{gathered} $$ (15) $$ {\text{gamma}}\left( x \right)\left\{ {\begin{array}{*{20}{c}} {{{\left( {\frac{{x + 0.055}}{{1.055}}} \right)}^{^{2.4}}}}&{x > 0.04045} \\ {\frac{x}{{12.92}}}&{{\text{ otherwise}}} \end{array}} \right. $$ (16) $$ \left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {0.4124}&{0.3576}&{0.1805} \\ {0.2126}&{0.7125}&{0.0722} \\ {0.0193}&{0.1192}&{0.9505} \end{array}} \right]*\left[ {\begin{array}{*{20}{c}} R \\ G \\ B \end{array}} \right] $$ (17) $$ \begin{gathered} L = 116f\left( {Y/{Y_n}} \right) - 16 \hfill \\ a = 500\left[ {f\left( {X/{X_n}} \right) - f\left( {Y/{Y_n}} \right)} \right] \hfill \\ b = 500\left[ {f\left( {Y/{Y_n}} \right) - f\left( {Z/{Z_n}} \right)} \right] \hfill \\ \end{gathered} $$ (18) $$f(t)= \begin{cases}t^{\frac{1}{3}} & t>\left(\frac{6}{29}\right)^3 \\ \frac{1}{3}\left(\frac{29}{6}\right)^2 t+\frac{4}{29} & \text { otherwise }\end{cases}$$ (19) 公式(18)中，Xn＝0.95047，Yn＝1.0，Zn＝1.08883。
算法步骤如下：
1）初始化聚类中心Ck＝[lk, ak, bk, xk, yk]，将聚类中心以距离S均匀分配于图像中，并对中心3×3邻域的梯度进行计算，将中心移到梯度最小的位置。
2）通过计算聚类中心2S×2S邻域的相似度，对像素点进行标记，更新聚类中心。
3）对分割聚类后的超像素块进行处理，计算出像素块的平均值，并根据转换公式计算出L、a、b的值。通过设置阈值，当L、a、b满足75＜L＜100，－10＜a＜100，1＜b＜30时，R＝G＝B＝0，判断是否存在故障并分割出设备的故障区域。算法流程图如图 1所示。
![]()
图 1 基于SLIC故障区域分割算法流程图Figure 1. Flow chart for fault region segmentation based on SLIC algorithm2.2 复杂背景下故障电气设备分割
电气设备红外图像中的复杂背景增加了故障电气设备的分割难度。实际分割过程中，充分考虑到分割的目标电气设备具有分布相对集中、所占分配比较大，设备温度明显高于环境温度等特点，对区域生长法进行改进，选择最大联通量中亮度较大的k个像素点作为种子，根据OTSU原理控制种子数k，并设置双阈值生长准则，实现对图像中目标主体设备的分割。
1）种子点的获取
由于故障设备分割质量的好坏会直接影响后续对故障的诊断效果。又因为目标电气设备应处于图像中心且在图像中相对于背景呈现高亮的特点，因此本文采用图像最大联通量中亮度较大的k个点作为区域生长的种子。
利用3×3的矩阵遍历图像中最大联通量，计算矩阵内像素均值。通过公式(20)计算点(x, y)处的3×3邻域内像素均值g(x, y)。选取均值较大的k个点，即较亮点，作为生长种子。利用均值可以避免图像中出现多个同样亮度点时给分割带来的干扰。然后采用类间方差σ2作为衡量图像分割效果的判定条件。避免种子数过少或者过多时，造成的欠分割或过分割现象。本文通过设置双阈值作为生长规则，选取类间方差最大时对应的种子数即为最佳种子数k。选取最佳种子数k的具体过程为：首先根据公式(20)将图像最大联通量中均值最大的点即最亮点作为种子，根据生长规则进行生长，直到最后没有满足生长规则的像素可被合并进来为止。并计算分割后目标区域与背景两部分的类间方差。然后选取图像最大联通量中次亮点，并根据已生长的标记，排除已生长区域中的次亮点作为种子，再次进行生长。每次种子完成生长后，计算分割后目标区域与背景两部分的类间方差，对比上次生长后的类间方差，判断是否再次选择种子进行生长。若本次的类间方差大于上次生长后的类间方差，则继续寻找下一个较亮点进行生长，直至找到类间方差最大时对应的种子数，或者达到预设最大种子数（本文为设置为12），即为最佳种子数k，并完成分割。
$$ g\left( {x,y} \right) = \frac{1}{9}\sum\limits_{u = - 1}^{u = 1} {\sum\limits_{v = - 1}^{v = 1} {g\left( {x + u,x + v} \right)} } $$ (20) 式中：g(x, y)为点(x, y)处的3×3邻域内像素均值。
2）设置生长规则
记已生长的区域为Rs，则已生长区域的均值M的计算公式如下：
$$ M = \frac{1}{n}\sum\limits_{(x,y) \in {R_{\text{s}}}} {f\left( {x,y} \right)} $$ (21) 式中：f(x, y)为已经生长的区域Rs的像素点，n为生长区域内的像素总数。
待生长的像素点g(i, j)与已生长区域作相似性判断分析，保证生长区域的一致性。并与OTSU获取的最佳阈值T2进行比较，避免过分割。若满足生长规则，则将待生长的像素点g(i, j)纳入生长区域。生长规则如下：
$$ \left\{ {\begin{array}{*{20}{c}} {\left| {g(i,j) - M} \right| \lt {T_1}} \\ {g\left( {i,j} \right) \gt {T_2}} \end{array}} \right. $$ (22) 式中：T1为相似性判断阈值；g(i, j)为待生长像素点。
3）故障设备的判断
对分割后的主体设备结果进行形态学修复，使设备边缘更加完整，内部更加充实。最后将故障区域R1和目标主体设备R2进行交集阈值判断，满足(R1∩R2) ≥0.8R1时，则该目标主体设备为存在故障的电气设备，若不满足，则说明该故障区域不属于图像中的主体设备。
本文利用SLIC算法对电气设备红外图像进行超像素分割，通过转换为Lab颜色空间，预先判断出图像中是否存在故障，并分割出故障区域R1。然后，对包含故障的红外图像做进一步处理。针对电气设备红外图像中背景复杂的问题，选取最大联通量中亮度较大的像素点作为区域生长的种子，利用最大类间方差控制种子数，设置双阈值生长规则，改进区域生长算法，实现对目标主体设备R2的分割。最终通过对故障区域R1和目标主体设备R2交集阈值比较，完成在复杂背景下对红外图像中故障电气设备的整体分割。
2.3 算法步骤
本文算法的流程如图 2所示。算法的主要步骤为：
步骤1：输入红外图像，对图像进行SLIC超像素分割，并进行Lab颜色空间转换。根据故障区域的特点，通过阈值判断图像中是否存在故障，并分割出故障区域。
步骤2：输入步骤1中已判断出包含故障的红外图像，选取图像的最大联通量中亮度较大的像素点作为种子，通过计算每次种子生长后的类间方差，选择最大类间方差对应的种子数为最佳种子数k。并设置双阈值生长准则，完成复杂背景下对目标主体设备的分割。
步骤3：将步骤1中获取的故障区域R1和步骤2中获取的目标主体设备R2进行交集判断，若满足(R1∩R2)≥0.8R1，则判断该目标主体设备为存在故障的电气设备。
3. 实验结果和分析
在Windows10系统下使用Matlab 2019a对开关接头、变压器支柱、电压互感器、电流互感器以及两种避雷器等电气设备的红外图像进行实验分析研究。选取的红外图像大小为240×320。上述红外图像中存在相似电气设备、钢架及电缆线等复杂背景。实验研究过程中，将基于本文算法、Otsu算法、标记分水岭算法（Marked Watershed Algorithm）以及区域生长算法（Region Growing Algorithm）得到的分割结果进行对比分析。本文将立足于故障区域定位结果和故障设备整体分割结果进行相关分析。
3.1 故障区域定位结果分析
图 3为利用SLIC超像素分割法获得的电气设备故障区域定位结果图。本文选取开关接头、变压器支柱、电压互感器、避雷器和电流互感器5种不同类型的带故障电气设备和1种正常电气设备避雷器的红外图像作为实验研究对象，如图 3从上至下所示。图 3(a)为上述6种电气设备原始红外图像。图 3(b)为SLIC超像素的分割结果。图 3(c)为电气设备的故障定位结果。由实验结果可知，在不同复杂程度背景条件下，对于5种不同的带故障电气设备以及1种正常电气设备，该算法均可以准确判断设备是否存在故障，并能完成对故障区域的定位。
3.2 故障设备整体分割结果分析
图 4为本文改进区域生长法对带故障电气设备整体分割时，不同种子数分割后的类间方差结果图。图中picture1~picture5，分别对应上述带故障的开关接头、变压器支柱、电压互感器、避雷器和电流互感器。对带故障电气设备图像进行区域生长法分割，通过选取图像最大联通量中较亮点作为种子进行分割，然后计算每次种子生长分割完成后目标区域与背景的类间方差，其最大类间方差对应的种子数即为最佳种子数k，从而实现对种子数进行控制，完成对目标主体设备的整体分割。由图 4可知，在改进区域生长法分割过程中，分割后的类间方差大小随着种子数先增加后减少，类间方差最大时对应种子数即为最佳种子数k，其中各图像分割时最佳种子数的数据点已在图 4中突出显示。从而说明本文改进的区域生长法，可以通过类间方差控制种子数目，完成对目标主体设备的整体分割。
![]()
图 4 不同种子数分割后的类间方差Figure 4. Variances between classes after segmentation of different seed numbers图 5为基于本文算法、OTSU算法、标记分水岭算法以及区域生长算法对上述带故障电气设备图像分割处理的结果。图中从上至下分别为picture1~picture5，分别对应带故障的开关接头、变压器支柱、电压互感器、避雷器和电流互感器。图 5(a)为带故障的红外图像，图 5(b)为预处理结果，图 5(c)、(d)、(e)及(f)分别为OTSU算法、标记分水岭算法、区域生长算法和本文算法的分割处理结果。本文将从定性和定量两个方面对设备分割结果进行分析。
3.2.1 定性分析
由图 5可知，本文选取存在相似电气设备、钢架及电缆线等复杂背景下的5组典型红外图像。图 5(c)可以看出OTSU算法对图像中的电气设备分割效果较好，但基本无法消除复杂背景的干扰。图 5(d)可以看出标记分水岭算法对复杂背景的干扰有部分消减作用，但效果不佳且易产生过分割，如picture4、picture5的分割结果。图 5(e)可以看出区域生长法对复杂背景的干扰有部分消减作用，但效果不佳。图 5(f)可以看出本文算法在处理包含不同复杂程度背景的电气设备红外图像时，对目标设备整体分割效果相对较好。当红外图像中包含相似电气设备、钢架及电缆线等复杂背景时，本文算法能大幅度消减上述复杂背景的干扰，准确地分割出故障电气设备。同时，从本文算法的分割处理结果图像中可以看出，分割的故障电气设备边缘细节较清晰，分割质量较好，有利于对故障电气设备作进一步诊断分析等后续工作。
3.2.2 定量分析
为客观评价不同算法对包含故障电气设备红外图像的分割处理效果，本文采用精确率（Precision）和召回率（Recall）对实验中红外图像分割算法结果进行定量分析。精确率与召回率计算公式分别为式(23)与式(24)：
$$ \Pr {\text{ecision}} = \frac{{{\text{TP}}}}{{{\text{TP + FP}}}} $$ (23) $$ {\text{Recall}} = \frac{{{\text{TP}}}}{{{\text{TP + FN}}}} $$ (24) 上述二式中，TP（True Positive）表示分割后目标区域中判断正确的像素数；FP（False Positive）表示分割后目标区域中判断错误的像素数；FN（False Negative）表示分割后非目标区域中判断错误的像素总数。
表 1为4种不同算法的实验结果。从表 1的对比数据可以看出，Otsu算法召回率较高，其均值为0.9110，说明Otsu算法对于电气设备的轮廓提取效果较好。但Otsu算法精确率却较低，均值为0.4895，因为Otsu几乎无法消除复杂背景的干扰，从而精确率较低。标记分水岭算法在picture 2红外图像处理过程中分割效果较好，其精确率和召回率分别为0.8060和0.9148，但该方法在其他4种红外图像处理过程中分割效果均不理想。这是因为标记分水岭算法受噪声影响较大，同时，该方法易因为梯度图像的不规则性导致过分割，从而分割效果不佳。区域生长法在5种红外图像的精确率和召回率都较高，均值分别为0.7521和0.8640，但该方法对于种子的选择有较大依赖性，导致算法自适性较低，同时，在复杂背景条件下，对干扰物的割舍效果也不佳。本文分割算法在精确率和召回率两方面相对于其他算法都较好，二者均稳定在0.9以上。在存在相似电气设备或钢架电缆线等不同复杂背景下，都能更好地整体分割出带有故障的电气设备，从而确立了本文算法在复杂背景下对故障电气设备红外图像的整体分割优势。
表 1 4种算法的实验结果Table 1. Experimental results due to four algorithmsSegmentation method OTSU Marked watershed Region growing Ours Precision Recall Precision Recall Precision Recall Precision Recall Picture1 0.4259 0.9271 0.3190 0.4037 0.9360 0.7686 0.9596 0.9240 Picture2 0.8438 0.8425 0.8060 0.9148 0.7244 0.8680 0.9324 0.9660 Picture3 0.4325 0.8945 0.4327 0.9192 0.7109 0.8136 0.9394 0.9393 Picture4 0.4924 0.9582 0.5474 0.9306 0.7032 0.9454 0.9485 0.9218 Picture5 0.2527 0.9322 0.4624 0.9261 0.6862 0.9244 0.9682 0.9388 4. 结论
本文针对电气设备背景复杂的特点，提出了一种复杂背景下对故障电气设备红外图像整体分割的方法。利用SLIC算法对图像进行分割，通过转换为Lab颜色空间，根据阈值判断是否存在故障，并获取相应的故障区域。然后对包含故障的红外图像进行目标主体设备分割，选取图像中最大联通区域的较亮点作为区域生长的初始种子，改进区域生长法，提取图像中目标主体设备。最后将故障区域与目标主体设备进行交集阈值比较，从而获取图像中的故障电气设备。研究结果表明，本文算法能预先判断图像中是否存在故障，并在不同复杂背景下对故障电气设备的整体分割效果相比其他方法较好，其分割的精确率和召回率均能达到为0.9以上，明显提高了对于故障电气设备整体分割的精度。同时，本文通过预先判断红外图像中是否存在故障，在一定程度上提高了对故障电气设备的诊断效率。
-
表 1 不同环境温度、安装场景下的阈值对比
Table 1 Comparison of thresholds under different ambient temperatures and installation spaces
Ambient temperature Laboratory Living room 22℃ 1.66 1.65 26℃ 1.71 1.73 30℃ 1.75 1.76 
下载: 导出CSV
表 2 单流、双流CNN识别准确率
Table 2 Accuracy of one-stream and two-stream
Temporal one-stream Spatial one-stream Two-stream Bend 97% 88% 99% Fall 96% 91% 99% Sit 84% 85% 96% Stand 91% 81% 98% Walk 98% 97% 99% Accuracy 93.2% 88.4% 98.2%
下载: 导出CSV
-
[1] 张艳梅, 马晓霞, 赫继梅, 等. 失能老人跌倒的影响因素及长期照护服务需求[J]. 中国老年学杂志, 2019, 39(17): 4355-4357. DOI: 10.3969/j.issn.1005-9202.2019.17.076 ZHANG Yanmei, MA Xiaoxia, HE Jimei, et al. Influencing factors of falls and demand for long-term care services in the disabled elderly[J]. Chinese Journal of Gerontology, 2019, 39(17): 4355-4357. DOI: 10.3969/j.issn.1005-9202.2019.17.076
[2] Hsieh Chungyang, LIN Weiyang. Video-based human action and hand gesture recognition by fusing factored matrices of dual tensors[J]. Multimedia Tools and Applications, 2017, 76(6): 7575-7594. DOI: 10.1007/s11042-016-3407-1
[3] 王玉坤, 高炜欣, 王征, 等. 基于加速度传感器的人体姿态实时识别[J]. 计算机工程与设计, 2016, 37(11): 3092-3096. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201611041.htm WANG Yukun, GAO Weixin, WANG Zheng, et al. Real-time human activity pattern recognition based on acceleration[J]. Computer Engineering and Design, 2016, 37(11): 3092-3096. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201611041.htm
[4] 杜英魁, 姚俊豪, 刘鑫, 等. 基于电阻式薄膜压力传感器组的人体坐姿感知终端[J]. 传感器与微系统, 2020, 39(1): 78-81. https://www.cnki.com.cn/Article/CJFDTOTAL-CGQJ202001022.htm DU Yingkui, YAO Junhao, LIU Xin, et al. Human body sitting posture sensing terminal based on resistive thin film pressure sensor groups[J]. Transducer and Microsystem Technologies, 2020, 39(1): 78-81. https://www.cnki.com.cn/Article/CJFDTOTAL-CGQJ202001022.htm
[5] Kobiyama Yuta, ZHAO Qiangfu, Omomo Kazuk, et al. Analyzing correlation of resident activities based on infrared sensors[C]//IEEE International Conference on Awareness Science and Technology, 2015: 1-6.
[6] Mashiyama S, HONG J, Ohtsuki T. Activity recognition using low resolution infrared array senso[C]//IEEE International Conference on Communications, 2015: 495-500.
[7] 杨任兵, 程文播, 钱庆, 等. 红外图像中基于多特征提取的跌倒检测算法研究[J]. 红外技术, 2017, 39(12): 1131-1138. http://hwjs.nvir.cn/article/id/hwjs201712011 YANG Renbin, CHEN Wenbo, QIAN Qing, et al. Fall detection algorithm based on multi feature extraction in infrared image[J]. Infrared Technology, 2017, 39(12): 1131-1138. http://hwjs.nvir.cn/article/id/hwjs201712011
[8] 张昱彤, 翟旭平, 汪静. 一种基于低分辨红外传感器的动作识别方法[J]. 红外技术, 2022, 44(1): 47-53. http://hwjs.nvir.cn/article/id/5bca603e-2b3d-471c-a852-70344620d4bc ZHANG Yutong, ZHAI Xuping, WANG Jing. Activity recognition approach using a low-resolution infrared sensor[J]. Infrared Technology, 2022, 44(1): 47-53. http://hwjs.nvir.cn/article/id/5bca603e-2b3d-471c-a852-70344620d4bc
[9] Akula A, Shah A K, Ghosh R. Deep learning approach for human action recognition in infrared images[J]. Cognitive Systems Research, 2018, 50(8): 146-154.
[10] 王召军, 许志猛. 基于低分辨率红外阵列传感器的人体身份和动作识别[J]. 电气技术, 2019, 20(11): 6-10, 26. DOI: 10.3969/j.issn.1673-3800.2019.11.004 WANG Zhaojun, XU Zhimeng. Human identity and motion recognition based on low resolution infrared array sensor[J]. Electrical Engineering, 2019, 20(11): 6-10, 26. DOI: 10.3969/j.issn.1673-3800.2019.11.004
[11] Takayuki Kawashima, Yasutomo Kawanishi, IchiroIde Hiroshi Murase. Action recognition from extremely low-resolution thermal image sequence[C]//2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017: 1-6, Doi: 10.1109/AVSS.2017.8078497.
[12] FAN Xiuyi, ZHANG Huiguo, LEUNG Cyril, et al. Robust unobtrusive fall detection using infrared array sensor[J]. IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), 2017, 5(4): 194-199.
[13] Polla F, Laurent H, Emile B. Action recognition from low-resolution infrared sensor for indoor use: a comparative study between deep learning and classical approaches[C]//2019 20th IEEE International Conference on Mobile Data Management (MDM), 2019: 409-414.
[14] Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos[J]. Advances in Neural Information Processing Systems, 2014, 1(4): 568-576.
[15] Feichtenhofer C, Pinz A, Zisserman A. Convolutional two-stream network fusion for video action recognition[C]//IEEE International Conference on Computer Vision and Pattern Recognition CVPR, 2016: 1933-1941.
[16] Trofimova A A, Masciadri A, Veronese F, et al. Salice, indoor human detection based on thermal array sensor data and adaptive background estimation[J]. Journal of Computer and Communications, 2017, 5(4): 16-28. DOI: 10.4236/jcc.2017.54002
[17] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]//ICLR, 2015: 1-14.
[18] WANG L, ZANG J, ZHANG Q, et al. Action recognition by an attention-aware temporal weighted convolutional neural network[J]. Sensors, 2018, 18(7): 1979. DOI: 10.3390/s18071979
[19] HE K, ZHANG X, Ren S, et al. Deep residual learning for image recognition[C]//CVPR, 2016: 770-778. Doi: 10.1109/CVPR.2016.90.
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 219
- HTML全文浏览量: 125
- PDF下载量: 41
- 被引次数: 1
