基于改进空时双流网络的红外行人动作识别研究

蒋一, 侯丽萍, 张强

蒋一, 侯丽萍, 张强. 基于改进空时双流网络的红外行人动作识别研究[J]. 红外技术, 2021, 43(9): 852-860.
引用本文: 蒋一, 侯丽萍, 张强. 基于改进空时双流网络的红外行人动作识别研究[J]. 红外技术, 2021, 43(9): 852-860.
JIANG Yi, HOU Liping, ZHANG Qiang. Infrared Pedestrian Action Recognition Based on Improved Spatial-temporal Two-stream Convolution Network[J]. Infrared Technology , 2021, 43(9): 852-860.
Citation: JIANG Yi, HOU Liping, ZHANG Qiang. Infrared Pedestrian Action Recognition Based on Improved Spatial-temporal Two-stream Convolution Network[J]. Infrared Technology , 2021, 43(9): 852-860.

基于改进空时双流网络的红外行人动作识别研究

基金项目: 

装备预研基金 

详细信息
    作者简介:

    蒋一(1983-), 男, 汉族, 河南信阳人, 学士, 讲师, 主要研究方向:计算机视觉、红外应用技术。E-mail: 85112285@qq.com

  • 中图分类号: TP391.4

Infrared Pedestrian Action Recognition Based on Improved Spatial-temporal Two-stream Convolution Network

  • 摘要: 为了提升复杂背景下红外序列的行人动作识别精度,本文提出了一种改进的空时双流网络,该网络首先采用深度差分网络代替时间信息网络,提高时空特征的表征能力与提取效率;然后,采用基于决策级特征融合机制的代价函数对模型进行训练,可以更大限度地保留不同网络帧间图像的时空特征,更加真实地反映行人的动作类别。仿真结果表明,本文提出的改进网络在自建的红外视频数据集上获得了81%的识别精度,且计算效率也提升了25%,具有较高的工程应用价值。
    Abstract: This study proposes an improved spatial-temporal two-stream network to improve the pedestrian action recognition accuracy of infrared sequences in complex backgrounds. First, a deep differential network replaces the temporal stream network to improve the representation ability and extraction efficiency of spatio-temporal features. Then, the improved softmax loss function based on the decision-making level feature fusion mechanism is used to train the model, which can retain the spatio-temporal characteristics of images between different network frames to a greater extent and reflect the action category of pedestrians more realistically. Simulation results show that the proposed improved network achieves 87% recognition accuracy on the self-built infrared dataset, and the computational efficiency is improved by 25%, which has a high engineering application value.
  • 在我国军事及航天事业中,电子部件的质量可靠性是武器装备有效发挥作用的核心关键,焊点是电路板的一种典型组成单元,是航空、航天器电源结构中传递电信号,提供机械连接的结构单元,其质量优劣对于武器装备的寿命及服役可靠性也至关重要[1-2]。焊点虚焊是电路板生产过程中的一种常见缺陷,会给电路的使用带来重大隐患。因此在焊点检测中,虚焊缺陷的有效检出对于武器装备的服役特别重要[3]。红外热像检测主要依靠过余温度进行虚焊类缺陷辨识,但虚焊类缺陷对应的过余温度信号与正常焊点差别较小,导致焊点虚焊缺陷本征热阻信号难以辨识;此外,背景热辐射干扰较大,单纯放大或降倍的方法,可能会造成缺陷信息淹没或丢失,增大虚焊本征信号的提取难度。因此需要对焊点的温度时间变化数据进行一定程度的处理,降低噪音及激励不均的影响,才能建立虚焊缺陷信息与热参数之间的有效联系[4-7]。数据处理得到的数学特征参数,能够更加有效地反映虚焊特征。温度信号趋势分析法在复合材料的红外无损检测上已经有所应用,并取得良好的效果[8-9],但仍未应用于焊点检测。由于焊点面积较小且排布密集,直接套用趋势分析的数据处理的参数和工艺流程难以获得良好的效果。因此,研究红外图像序列趋势分析处理算法对于获取虚焊特征信息十分重要。

    本文采用红外热像方法获取激光激励焊点表面的时间温度数据,通过分析虚焊缺陷和温度时间数据拟合特征参量之间的关系实现了虚焊缺陷的有效识别。

    根据焊点虚焊试验需求,自研红外热像自动化检测平台,如图 1所示。试验台为大理石台面并铺设整体电路;上方为带有遮光玻璃的可拆卸式窗口,能够在直接观察试验过程的同时保证红外热像仪不受外界光线的干扰。平台内部包含600 mm×600 mm二维移动平台,808 nm半导体激光器、中波制冷性红外热像仪、电路板的夹装结构以及用于辅助试验的电子显微镜、温度传感器、散热设备等。

    图  1  红外热像自动化检测平台
    Figure  1.  The infrared thermography automatic detection platform

    为保证试验的合理性及可重复性,试件、激励装置、热像仪之间的距离在逐点试验过程中保持不变,优化后的试验参数设置如下:采集频率50 Hz、激光激励功率5 W、激光光斑尺寸1.5 mm×0.5 mm@300 mm、激光加热时间200 ms。

    首先制定检测计划包括设定检测对象参数、选择检测焊点和定位,建立激光器加热功率、时间等参数。定位至首个检测点;执行扫描计划逐点检测;然后执行检测计划,激光加载源按照检测计划中指定的参数进行热加载,红外热像仪进行数据采集;最后对采集到的红外热像图进行处理、分析。

    在印制电路板上设计缺失相应比例大小的焊盘并用网焊阻焊剂来模拟对应比例的虚焊缺陷,焊接过程中焊料与阻焊剂不浸润导致焊料和焊盘之间会形成一层空气间隙,难以融合成合金,焊料只是简单地依附在焊盘上,缺陷试件设计图如图 2所示。

    图  2  焊点虚焊缺陷设计
    Figure  2.  Design drawing of pseudo soldering

    提供的焊点类型为PCB印刷电路板上的表面贴装电子元器件,尺寸约为2 mm×0.8 mm,且同一块PCB印刷电路板上有较多的同类型贴装电子元器件,其相互之间因间隔较宽故影响可以忽略不计。根据试验方案设计,可以分析简化出焊点模型的主要示意图,如图 3所示。

    图  3  焊点模型示意图
    Figure  3.  Schematic diagram of solder joint model
    1− electron components(SMT); 2− Solder joint; 3− Pseudo soldering(Air void); 4−copper layer(pad & wire); 5− Circuit board(PCB)

    本文所使用的试验数据为同一批次下电路板的200余个焊点试验结果。由于设备之间的通讯、设备自身的误差以及试验条件的影响,试验中设定的物理参数有可能存在一定的误差值,但可作为先验参数进行参考。

    采集到的热像序列在读取后显示的图像较大,截取典型加热部分画面如图 4所示。对提取获得的焊点平均温升曲线进行进一步的处理,并设置阈值条件进行判别,剔除无法使用或误差较大的试验数据,保留可以进行焊点虚焊检测的正常试验数据。首先对同一批次获得的试验数据提取出的焊点平均温升曲线进行绘图,如图 5所示。虽然大部分试验数据的变化程度和变化趋势相似,但存在一些非正常的试验数据需要进行处理。

    图  4  焊点热像原始图
    Figure  4.  Original thermal image of solder joint
    图  5  同一批次试验数据焊点温度随时间变化曲线
    Figure  5.  Time dependence curve of solder joint temperature of the same batch of experimental data

    温度变化程度异常包括两种情况:一是激光器光斑位置打偏,没有对准焊点,激励位置落于电子元器件或PCB电路板上,表现为激励开始时刻温度迅速急剧升高,甚至有可能超过规定的温度上限80℃;二是温升过低,或是曲线变化过于平缓。温度过高、温升过高或过低通过设定相应的阈值剔除。而温度波动的异常无法直接采取温度阈值方式进行异常判断,需要利用导数、方差等方式进行挑选。

    对焊点平均温升曲线进行求导运算,设定温升速率允许的最大值为10,超过该值的试验数据即为异常。同时,计算焊点平均温升曲线的整体方差,将方差小于1且曲线全段温度变化率不超过0.5的试验数据进行剔除。在实际的操作过程中,检测到出现温升速度过快的异常数据如图 6所示,可以看出大多数异常数据存在温度的断崖式变化;而温升过低、曲线平缓的数据常常也伴随着焊点加热结束时间无规律,予以剔除。

    图  6  温度变化程度异常的试验数据
    Figure  6.  Experimental data of abnormal temperature variation

    对经过筛选后的正常焊点试验数据使用趋势分析法进行数据处理,提取出与焊点虚焊程度相关的特征参数。

    激光激励焊点后,虚焊缺陷焊点与焊接良好的焊点的热传导有所差异,在焊点的表面温度随时间变化的趋势上得以体现,即加热结束开始降温时的温度变化率。为求得温度变化率,则需要对焊点表面降温段曲线进行拟合,分析提取可以表征焊点虚焊信息的温升趋势的特征参数。

    脉冲激励红外无损检测试验过程中针对过余温度-时间曲线进行温升趋势分析的常用试验数据处理方法有多项式拟合法、多项式拟合求导法、对数多项式拟合及求导法等。

    多项式拟合法是依靠最小二乘原则,对给定的数据散点(xi, yi)(i=1, 2, …, n),求得多项式${P_n}\left( x \right) = \mathop \sum \limits_{k = 0}^n {a_k}{x^k} \in \emptyset $,使得残差平方和:

    $$ I = \mathop \sum \limits_{i = 0}^n {\left[ {{P_n}\left( {{x_i}} \right) - {y_i}} \right]^2} = \mathop \sum \limits_{i = 0}^n {\left( {\mathop \sum \limits_{k = 0}^m {a_k}x_i^k - {y_i}} \right)^2} = {\text{min}} $$ (1)

    达到最小值。而对数多项式拟合法先对数据的自变量t和因变量T分别进行取对数操作,对于变换后的对数数据散点(xi=lnti, yi=lnTi) (i=1, 2, …, n),求最小二乘拟合多项式${P_N}(x) = \sum\limits_{k = 0}^N {{a_k}{x^k}} $,(k=1, 2, …, N),使得:

    $$ \sum\limits_{i = 0}^n {{\delta ^2} = } \sum\limits_{i = 0}^n {{{[{P_N}({x_i}) - {y_i}]}^2}} = \min $$ (2)

    达到最小值,最终的拟合结果为:

    $$ y = \exp [{P_N}(x)] = \exp \sum\limits_{k = 0}^N {{a_k}{x^k}} $$ (3)

    按照(3)式对数据进行拟合,并寻找拟合曲线上与虚焊程度相关的参量征虚焊缺陷。

    图 5可知,不同焊点受激励后温升曲线趋势类似,因此先对单一曲线进行趋势分析法分析,选择较佳的拟合方式后再对所有数据进行分析,提取特征参数。对仿真数据典型温升曲线降温段进行3阶~8阶多项式拟合,拟合结果如图 7所示。

    图  7  仿真数据降温段3阶至8阶多项式拟合结果
    Figure  7.  Third to eighth order polynomial fitting results of cooling section of simulation data

    表 1中列出了各阶多项式拟合的3类评价指标,包括误差平方和(Sum of Squares of Errors,SSE)、确定系数(R-Square)以及均方根(Root Mean Square,RME)。其中,SSE和RMSE随阶次的升高逐渐减少,而R-Square也在不断上升至接近1,表明多项式拟合阶次越高,拟合结果越好,残差越小。但即便是以8阶多项式拟合,其R-Square仍不足0.95且残差数量级依然较高,可见多项式拟合结果不佳。从图 7中也可以看出,各彩色拟合曲线在曲线的开始和末端与原始温度序列相距虽逐渐缩小但仍然有一定差距,且在放大图中也可以看出其空隙较大。

    表  1  仿真数据降温段3阶至8阶多项式拟合评价指标
    Table  1.  Evaluation index of third to eighth order polynomial fitting in cooling section of simulation data
    Fitting Order Sum of Squares of Errors(SSE) R-Square Root Mean Square(RMSE)
    3 1407.1 0.7753 2.6136
    4 1012.9 0.8375 2.2228
    5 762.77 0.8770 1.9337
    6 592.89 0.9039 1.7090
    7 470.74 0.9234 1.5266
    8 378.84 0.9380 1.3729
    下载: 导出CSV 
    | 显示表格

    虽然多项式拟合结果不尽人意,但利用对数多项式拟合则有较好的拟合效果。在对温度序列取对数后,利用五阶多项式进行拟合已经十分接近原始序列,如图 8所示。

    图  8  对数五阶多项式拟合
    Figure  8.  Logarithmic fifth order polynomial fitting

    其拟合评价指标SSE为0.5218,R-Square达到0.9924,RMSE降低至0.0506。虽然经过取对数操作也会使得残差的数量级降低,但不显著。因此,对数多项式拟合可以大幅度降低残差数量级,且其确定系数已经大于0.99,具有较好的拟合结果。

    对对数五阶多项式拟合结果进行求导,取温度变化率绝对值最大值,即加热结束时刻的降温速率,绘制与虚焊程度的散点图,如图 9所示,可以看出,降温速率最大值与虚焊程度之间存在正相关关系,可以作为虚焊的特征值。

    图  9  拟合降温速率最大值与虚焊程度散点图
    Figure  9.  Scatter diagram of fitting the maximum cooling rate and the degree of false welding

    采用微焦点激光激励焊点,并采用红外热像仪采集焊点表面的热像序列图,激励开始的时刻标记为0 s,正常焊点和虚焊缺陷焊点的时域温度变化(0.2 s、0.4 s、0.6 s、0.8 s、1.2 s、1.6 s)热像图如图 10图 11所示。热像图中的椭圆区域的中心为焊点的位置,即激励区域,热像图中的右侧的温度标识显示的是热像采集区域内的峰值辐射温度。未激励前的热辐射温度峰值为26.8℃,可以看出焊点区域并非热辐射的峰值温度,未激励前的焊点区域温度低于26.8℃,随着激光激励,热量注入焊点区域,焊点区域在激励时段温度是上升的,在激励结束点0.2 s的时刻温度达到最高值,激励结束后激励位置随热量的扩散而呈现温度逐渐下降的趋势,而由于激励位置的微小偏差以及焊点结构的微小差异导致不同焊点的温升和变化趋势有所不同,因此单纯依靠时域温度变化难以分辨焊点内部是否存在虚焊缺陷。不同时间点原始热像图中可以看到热量逐渐沿着元器件和导线方向扩散,因此通过热像图目视观测热场变化亦难以分辨正常焊点和缺陷焊点之间的差异。

    图  10  不同时间点的正常焊点原始热像图
    Figure  10.  Original thermal image at normal solder joint
    图  11  不同时间点的虚焊焊点原始热像图
    Figure  11.  Original thermal image of pseudo solder joint at different time

    对单一的试验数据曲线进行趋势分析法分析,试验数据降温段3阶~8阶多项式拟合结果如图 12所示。拟合结果显示拟合效果较好,曲线较为平滑。

    图  12  试验数据降温段3阶~8阶多项式拟合结果
    Figure  12.  Third to eighth order polynomial fitting results for cooling section of experimental data

    表 2列出了试验数据各降温段各阶次拟合的评价指标。与表 1对比可以发现,试验数据的多项式拟合结果优于仿真数据的拟合结果,其SSE和RMSE降低了若干个数量级,R-Square也十分接近于1,对应图 10中各拟合曲线已经基本与原始温度序列重叠。同时,试验数据的多项式拟合结果也遵从阶次越高拟合结果越好的规律,可选取七阶多项式进行拟合。同样的,对试验数据也进行对数多项式拟合并分析,如图 13所示。

    表  2  试验数据降温段3阶~8阶多项式拟合评价指标
    Table  2.  Evaluation index of third to eighth order polynomial fitting in cooling section of experimental data
    Fitting Order SSE R-Square RMSE
    3 1.5125 0.9897 0.1091
    4 0.4450 0.9970 0.0594
    5 0.1359 0.9991 0.0330
    6 0.0583 0.9996 0.0217
    7 0.0324 0.9998 0.0162
    8 0.0272 0.9998 0.0149
    下载: 导出CSV 
    | 显示表格
    图  13  对数三阶多项式拟合
    Figure  13.  Fitting of logarithm third order polynomials

    其拟合评价指标SSE为0.0386,R-Square达到0.9983,RMSE降低至0.0174,与七阶多项式的拟合结果十分接近。值得注意的是,仿真数据采取的是对数五阶多项式进行拟合,而试验数据仅采取对数三阶多项式就已经有较好的拟合结果。

    对试验数据的七阶多项式拟合以及对数三阶多项式拟合结果进行求导,取其绝对值的最大值绘制与虚焊程度的散点图,如图 14所示。

    图  14  拟合结果导数绝对值最大值与虚焊程度散点图
    Figure  14.  Scatter diagram of maximum absolute value of derivative of fitting results and false soldering degree

    图 14可知,七阶多项式拟合与对数三阶多项式拟合的绝对值的最大值与虚焊程度之间基本存在正相关关系。对比图 14(a)(b)可知,七阶多项式拟合结果更为紧凑,对数三阶多项式拟合结果出现区间扩大及略微模糊化的特点。因此,七阶多项式拟合的绝对值的最大值更适于作为不同程度虚焊缺陷判定的特征参数,20%虚焊程度的缺陷辨识度较低而40%和60%阈值分割较为明显,大致可以划分出阈值进行虚焊程度的判别。七阶多项式拟合的绝对值最大值能够摒除信号噪声,有效表征虚焊程度。

    本文提出了基于趋势分析方法的虚焊缺陷红外热像数据处理技术。通过对热像数据的分析,从趋势分析拟合结果中选择了具有代表性的趋势走向拟合方式,并绘制了虚焊程度散点图寻找能够表征虚焊程度的特征值及其之间的关系。结果显示提取的七阶多项式拟合绝对值的最大值特征参数与虚焊程度之间存在正相关关系,能够有效判别40%和60%阈值虚焊缺陷。

    致谢: 本文所有数据来自中国科学院沈阳自动化研究所提供的光电跟踪取证系统;本文研究得到了北京工商大学吴晓波副教授的帮助,在此一并表示感谢。
  • 图  1   双流网络结构

    Figure  1.   Two-stream network

    图  2   LSTM网络结构

    Figure  2.   LSTM structure

    图  3   改进的双流网络

    Figure  3.   Improved two-stream network

    图  4   差分关键帧与对应的光流图

    Figure  4.   Differential keyframe and corresponding optical-flow

    图  5   训练过程中的模型损失值变化趋势

    Figure  5.   Change trend of loss value during training

    图  6   训练过程中的模型识别精度变化趋势

    Figure  6.   Trend of precision variation during training

    表  1   数据集类别及其数量

    Table  1   Classes and quantities of data-sets

    NO Categories Total
    1 Walk 152
    2 Stand 203
    3 climb 186
    4 Jog 265
    5 Jump 174
    5 Punch 128
    7 Lying 295
    8 Wave1 168
    9 Wave2 177
    10 Crouch 312
    11 Sitting 268
    12 Handclapping 208
    13 Push 158
    14 Fight 119
    15 Handshake 134
    16 Hug 168
    下载: 导出CSV

    表  2   不同模块性能分析

    Table  2   Performance analysis of different modules

    DDN IS DF Pr/% FPS
    77.12 13.9
    77.83 18.1
    79.91 13.8
    79.78 12.7
    81.79 17.8
    82.09 18.5
    81.83 11.6
    83.01 17.7
    下载: 导出CSV

    表  3   不同对比算法的性能分析

    Table  3   Performance analysis of different comparison models

    Categories IDT C3D SCNN-3G L-LSTM Ts-3D OFGF Our
    Pr Mr Rr Pr Mr Rr Pr Mr Rr Pr Mr Rr Pr Mr Rr Pr Mr Rr Pr Mr Rr
    Walk 64 27 70 66 21 72 68 23 72 74 19 77 76 27 74 79 16 80 78 10 80
    Stand 72 20 75 76 19 77 76 19 74 82 19 87 84 20 75 84 16 85 85 20 86
    climb 50 36 61 53 31 63 61 34 66 66 25 67 71 36 61 76 24 81 78 16 81
    Jog 66 28 70 68 23 75 70 23 70 67 28 76 71 28 70 76 19 78 86 8 90
    Jump 60 32 65 61 31 68 67 34 67 60 32 74 72 32 65 72 22 77 71 16 80
    Punch 41 50 44 41 40 43 46 51 48 51 40 58 60 50 64 61 30 64 67 22 69
    Lying 56 36 60 57 31 66 59 33 65 56 36 67 70 30 67 66 22 69 67 16 70
    Wave1 65 31 65 68 29 68 68 30 68 65 31 76 72 23 75 75 11 80 82 11 85
    Wave2 68 28 69 70 30 71 71 23 76 68 28 87 78 28 79 81 17 86 88 8 88
    Crouch 41 29 41 43 34 45 44 23 46 41 29 58 53 20 50 60 22 61 68 26 71
    Sitting 70 24 78 73 28 80 72 28 79 71 24 81 78 19 81 80 15 88 82 14 87
    Handclap 37 33 38 38 34 42 38 30 33 37 33 50 45 23 58 67 22 68 72 23 76
    Push 41 46 44 44 47 46 42 42 47 41 46 57 66 30 64 71 23 74 71 16 79
    Fight 53 35 57 58 30 58 56 31 58 53 35 67 67 29 67 63 15 77 80 13 80
    Handshake 62 29 67 65 31 70 66 26 70 62 29 76 71 20 77 75 19 87 76 22 81
    Hug 67 26 69 66 27 72 61 28 74 76 28 74 74 26 78 78 25 79 81 14 85
    Mixed dataset 57 31 60 59 30 63 60 29 63 60 30 70 69 27 69 72 18 77 77 15 80
    下载: 导出CSV
  • [1]

    Karpathy A, Toderici G, Shetty S, et al. Large- scale video classification with convolutional neural networks[C]// CVPR, 2014: 1725-1732.

    [2]

    Tran D, Bourdev L D, Fergus R, et al. Learning spatiotem-poral features with 3d convolutional networks[C]//ICCV, 2015: 4489-4497.

    [3]

    ZHANG B, WANG L, WANG Z, et al. Real-time action recognition with enhanced motion vector CNNs[C]//CVPR, 2016: 2718-2726.

    [4]

    Niebles J C, CHEN C W, LI F F. Modeling temporal structure of decomposable motion segments for activity classification[C]// ECCV, 2010: 392-405.

    [5]

    Tumas P, Nowosielski A, Serackis A. Pedestrian detection in severe weather conditions[J]. IEEE Access, 2020, 8: 62775-62784. DOI: 10.1109/ACCESS.2020.2982539

    [6] 魏丽, 丁萌, 曾丽君. 红外图像中基于似物性与稀疏编码的行人检测[J]. 红外技术, 2016, 38(9): 752-757. http://hwjs.nvir.cn/article/id/hwjs201609007

    WEI Li, DING Meng, ZENG Lijun. Pedestrian Detection Based on Objectness and Sparse Coding in a Single Infrared Image[J]. Infrared Technology, 2016, 38(9): 752-757. http://hwjs.nvir.cn/article/id/hwjs201609007

    [7]

    Fernando B, Gavves E M, Ghodrati J O, et al. Modeling video evolution for action recognition[C]//CVPR, 2015: 5378-5387.

    [8]

    Varol G, Laptev I, Schmid C. Long-term temporal convolutions for action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 40(6): 1510-1517.

    [9]

    Donahue J, Anne Hendricks L, Guadarrama S, et al. Long-term Recurrent Convolutional Networks for Visual Recognition and Description[M]. Elsevier, 2015: 2625-2634.

    [10]

    Soomro K, Zamir A R, Shah M. A dataset of 101 human actions classes from videos in the wild[J/OL]. Computer Vision and Pattern Recognition, arXiv: 1212.0402, 2012.

    [11]

    Kuehne H, Jhuang H, Garrote E, et al. HMDB: A large video database for human motion recognition[C]//ICCV, 2011: 2556-2563.

    [12]

    Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//ICML, 2015: 448-456.

    [13]

    WANG L, QIAO Y, TANG X. Video action detection with relational dynamic- poselets[C]//ECCV, 2014: 565-580.

    [14]

    GAN C, YAO T, YANG K, et a. You lead, we exceed: Labor-free video concept learning by jointly exploiting web videos and images[C]//CVPR, 2016: 923-932.

    [15]

    Simonyan K, Zisserman A. Two-Stream Convolutional Networks for Action Recognition in Videos[J]. Advances in Neural Information Processing Systems, 2014, 150: 109-125. http://de.arxiv.org/pdf/1406.2199

    [16] 冉鹏, 王灵, 李昕, 等. 改进Softmax分类器的深度卷积神经网络及其在人脸识别中的应用[J]. 上海大学学报: 自然科学版, 2018, 24(3): 352-366. https://www.cnki.com.cn/Article/CJFDTOTAL-SDXZ201803004.htm

    RAN Peng, WANG Ling, LI Xin, et al. Deep convolution neural network based on improved softmax classifier and its application in face recognition[J]. Journal of Shanghai University: Natural Science Edition, 2018, 24(3): 352-366. https://www.cnki.com.cn/Article/CJFDTOTAL-SDXZ201803004.htm

    [17]

    Yasin H, Hussain M, Weber A. Keys for Action: An Efficient Keyframe-Based Approach for 3D Action Recognition Using a Deep Neural Network[J]. Sensors, 2020, 20(8): 2226. DOI: 10.3390/s20082226

    [18]

    GAO Chenqiang, DU Yinhe, LIU Jiang, et al. InfAR dataset: Infrared action recognition at different times[J]. Neurcomputing, 2016, 212: 36-47. DOI: 10.1016/j.neucom.2016.05.094

    [19]

    WANG H, SCHMID C. Action recognition with improved trajectories[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway: IEEE, 2013: 3551-3558.

    [20]

    Du Tran, Lubomir Bourdev, Rob Fergus, et al. Learning spatiotemporal features with 3D convolutional networks[C]//Proceedings of the 2015 IEEE, International Conference on Computer Vision. Piscataway: IEEE, 2015: 4489-4497.

    [21] 杨天明, 陈志, 岳文静. 基于视频深度学习的时空双流人物动作识别模型[J]. 计算机应用, 2018, 38(3): 895-899. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201803050.htm

    YANG T M, CHENG Z, YU, W J, et al. Spatio-temporal two-stream human action recognition model based on video deep learning[J]. Journal of Computer Applications, 2018, 38(3): 895-899, 915. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201803050.htm

    [22]

    LIN S, JIA K, CHEN K, et al. Lattice long short-term memory for human action recognition[C]// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway: IEEE, 2017: 2166-2175.

    [23]

    Carrlira J, Gisslrman A. Quo vadis. action recognition? A new model and the kinetics dataset[C]//Proceedings of the 2017 IEEE, Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017: 4724-4733.

    [24]

    SUN S, KUANG Z, SHENG L, et al. Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recognition[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018: 20118-20132.

  • 期刊类型引用(1)

    1. 周潘伟,于洋,李范鸣,叶锡生. 基于直线运动机构的大变倍比红外变焦成像系统(英文). 红外与毫米波学报. 2023(06): 845-852 . 百度学术

    其他类型引用(3)

图(6)  /  表(3)
计量
  • 文章访问数:  213
  • HTML全文浏览量:  41
  • PDF下载量:  37
  • 被引次数: 4
出版历程
  • 收稿日期:  2020-12-26
  • 修回日期:  2021-08-23
  • 刊出日期:  2021-09-19

目录

/

返回文章
返回