一种基于低分辨红外传感器的动作识别方法

张昱彤, 翟旭平, 汪静

张昱彤, 翟旭平, 汪静. 一种基于低分辨红外传感器的动作识别方法[J]. 红外技术, 2022, 44(1): 47-53.
引用本文: 张昱彤, 翟旭平, 汪静. 一种基于低分辨红外传感器的动作识别方法[J]. 红外技术, 2022, 44(1): 47-53.
ZHANG Yutong, ZHAI Xuping, WANG Jing. Activity Recognition Approach Using a Low-Resolution Infrared Sensor[J]. Infrared Technology , 2022, 44(1): 47-53.
Citation: ZHANG Yutong, ZHAI Xuping, WANG Jing. Activity Recognition Approach Using a Low-Resolution Infrared Sensor[J]. Infrared Technology , 2022, 44(1): 47-53.

一种基于低分辨红外传感器的动作识别方法

详细信息
    作者简介:

    张昱彤(1996-),男,江苏盐城人,硕士研究生,主要从事基于红外图像的人体动作识别算法研究工作,E-mail:zyt164819285@163.com

  • 中图分类号: TP319.4

Activity Recognition Approach Using a Low-Resolution Infrared Sensor

  • 摘要: 如今,世界各国人口老龄化问题日益严重,为了避免独居老人发生意外,老人日常动作监测和识别算法成为了研究热点。本文设计了一种基于低分辨红外传感器的动作识别方法,通过红外传感器采集探测区的温度分布数据,对温度分布数据进行处理,从时间、温度、形变和轨迹4个方面提取多个特征,最后通过K近邻算法对“行走”、“弯腰”、“坐下”、“站起”和“摔倒”5种动作进行分类。实验结果表明平均识别准确率可达到97%,其中摔倒动作的识别准确率为100%。
    Abstract: The worldwide problem of population aging is becoming increasingly critical. To avoid accidents involving the elderly living alone, the study of the daily activities of the elderly using recognition and monitoring algorithms has become a research hotspot. This paper proposes an action recognition approach using a low-resolution infrared sensor. The proposed approach uses an infrared sensor to collect temperature distribution data in the detection area, and then processes the temperature distribution data, extracting multiple features in the four dimensions of time, temperature, deformation, and trajectory. Finally, the K-nearest neighbors algorithm is used to identify the five poses of "walking, " "bending, " "sitting, ""standing, " and "falling." Experimental results demonstrate that the average accuracy can reach 97% and that the accuracy for falling is 100%.
  • 得益于铝合金的材料特性,铝合金反射镜的优势有如下几点:一是加工周期短、成本低,铝合金反射镜可以通过金刚石直接铣削成型,相较于陶瓷材料的烧结制胚等流程方便快速;二是可以制成一体化的结构,相较于联接件装调简单;三是铝合金密度相对较低,反射镜的整体质量小,发射成本低。铝合金反射镜在光机系统中得到了广泛应用[1-3],国内外对其结构形式进行了研究。图 1为荷兰Astron公司提出的轻量化方法,该结构形式的轻量化率可以达到85%以上[4]图 2为德国Jena Optronik公司委托Fraunhofer实验室设计加工的封闭结构反射镜,在保证镜体整体刚度的同时,减重可以达到50%以上[5]。在国内,范磊等人对316 mm口径的铝反射镜进行了设计分析,RMS可以达到41 nm左右,符合其系统指标[6];谭双龙等人设计的126 mm口径的可见光级铝反射镜自重状态下RMS可以达到6.1 nm[7];翟岩等人对铍铝合金反射镜组件进行了针对性研究,使得750 mm大口径反射镜组件RMS能够满足λ/20(λ=632.8 nm)[8]

    图  1  Astron公司的轻量化结构形式
    Figure  1.  Astron's lightweight structure
    图  2  Fraunhofer实验室的封闭结构形式
    Figure  2.  Fraunhofer's closed structure

    目前,国内对于铝反射镜的结构特征及支撑特性分析较少。在此基础上,本文针对某一体化反射镜的支撑结构进行了设计与详细的特性分析。其口径为300 mm,材料为AL6061,工作于可见光波段,要求面形精度RMS值小于λ/50(λ=632.8 nm)。在一定经验基础上,拟采用内圈作为主要支撑结构,外圈利用辅助筋板均匀面形,背部三点支撑的形式。先通过拓扑优化的方法建立了初始模型,再进行参数化优化,分析其支撑特性。

    由于结构的多样性,在设计优化时往往需要设计人员大量的经验作为基础并进行试验。而拓扑优化的优势在于,给定载荷、边界条件等必要约束后,计算机通过算法能够给出设计域中相对最优的空间布局。这不仅降低了设计经验的门槛,减少了工作量,还能够得到约束条件下更为合理的结构形式或思路。因此,变密度法实现连续结构体拓扑在光机系统的结构设计中被广泛应用[9-12]。计算机通过引入可变密度的假定材料单元,将设计变量变为单元密度,建立单元密度与材料弹性模量的关系,最终通过插值模型实现优化过程。具体过程为假设单元内均为各向同性的材料,但其相对密度为0~1之间,通过插入惩罚因子对单元密度进行判定保留或者去除,得到一定材料总量下,结构柔性最小的最佳材料分布形式。其静力状态下的数学模型为:

    $$ \begin{array}{l} {V_{\min }}(x) = \sum\nolimits_{i = 1}^n {{x_i}{v_i}(i = 1,2, \cdots ,n)} \hfill \\ {\text{s}}{\text{.t}}{\text{.:}} \hfill \\ \left\{ {\begin{array}{*{20}{c}} {C(x) = {\boldsymbol{U}^{\text{T}}}\boldsymbol{KU} \leqslant {C^ * }} \\ {\boldsymbol{KU} = \boldsymbol{F}} \\ {{\text{0}} < {x_{\min }} \leqslant {x_i} \leqslant 1} \end{array}} \right. \hfill \\ \end{array} $$

    式中:V为结构总体积;vi为单元体积;xi为单元变量;n为变量单元总数;C(x)为结构整体柔度;K表示总体刚度;U为位移列阵;F为作用力;xmin为单元变量下限。

    图 3为反射镜的有限元模型,浅色部分为待优化的设计区域,深色部分包括支撑点和镜体表面,为非设计区域。AL6061的材料属性以及反射镜结构参数分别如表 1表 2所示。由于影响径向自重条件下面形的最主要因素为质心与支撑点间的位置差距导致的倾覆力矩,所以支撑位置选用距离上表面8 mm位置处。在一定经验基础上,拟采用背部三点支撑的形式,内圈作为主要支撑结构,外圈利用辅助筋板均匀面形。在更难满足面形精度的轴向重力工况下,以镜面节点总位移量代替结构柔度作为约束,以体积最小作为优化目标进行计算。

    图  3  反射镜有限元模型
    Figure  3.  Finite element model of reflector
    表  1  Al6061的材料属性
    Table  1.  Material properties of Al6061
    Material Density/(g·cm-3) Young's modulus/GPa Thermal conductivity/
    (W·m-3·K-1)
    Coefficient of thermal
    expansion/10-6K-1
    Poisson's ratio
    Al6061 2.7 71 154.3 22.4 0.25
    下载: 导出CSV 
    | 显示表格
    表  2  反射镜结构参数
    Table  2.  Structural parameters of reflector
    External diameter/mm Internal diameter/mm Radius of curvature/mm Height/mm
    300 80 610 45
    下载: 导出CSV 
    | 显示表格

    经过迭代,拓扑优化的结果如图 4所示,图 5为设计区域的底部。总结拓扑结构特征为中心六边形支撑结构与半封闭结构。建立初始模型如图 6。采用有限元分析的方法和面形拟合,得到初始模型其轴向与径向重力下的RMS分别为7.136 nm和5.779 nm。以轴向重力工况为例,图 7图 8分别为初始模型的有限元仿真结果和面形拟合结果。

    图  4  拓扑优化的结果
    Figure  4.  Result of topology optimization
    图  5  设计区域底部
    Figure  5.  Bottom of design area
    图  6  初始模型
    Figure  6.  Initial model
    图  7  轴向自重仿真结果
    Figure  7.  Simulation results of axial self-weight
    图  8  轴向自重RMS值
    Figure  8.  RMS value of axial self-weight

    反射镜的各主要特征参数如图 9所示,其中镜高对反射镜的整体质量影响最大。针对本文中的反射镜参数,镜体高度范围定在40~55 mm之间。根据图 10中的优化数据可以得知,随镜高与质量的增加,轴向重力工况下的面形变优明显,但是到达一定高度后,自重因素影响成为主导,面形下降,在镜高为52.5 mm时综合面形达到最优,RMS为7.015 nm,PV(Peak to Valley)值为35.625 nm。

    图  9  反射镜主要特征参数
    Figure  9.  Main characteristic parameters of reflector
    图  10  镜体高度对面形的影响
    Figure  10.  The influence of the height of the mirror body on the surface shape

    针对基础模型的形式,中心六边形的筋板是主要的支撑结构,对六边形结构的大小进行了参数优化。如图 11,当六边形结构的高度在75~90 mm之间变化时,轴向重力下RMS值变化量最大可达1.9 nm。综合不同方向重力条件,六边形高度为80 mm时在面形最优,RMS为6.370 nm,此时六边形高度与直径比值在0.26左右,即为最佳支撑位置。

    图  11  中心六边形大小对面形的影响
    Figure  11.  The influence of the size of the central hexagon on the surface shape

    其他特征参数包括辅助筋板位置、圆孔大小及翻边的相关参数,具体范围与优化步长如表 3所示。综合考虑两个方向自重条件下的RMS,最终得到了最佳参数。在优化过程中,辅助筋板位置、筋板厚度与翻边大小对面形影响效果明显,圆孔大小与翻边厚度决定了整体结构刚度强弱,对径向重力方向下面形提升有明显贡献。

    表  3  其他特征参数的优化
    Table  3.  Optimization of other characteristic parameters
    Features Auxiliary rib plate position
    Lf/mm
    Round hole size
    D/mm
    Flanging size
    L1/mm
    Flanging thickness
    H1/mm
    Rib plate thickness
    Tj/mm
    Range 60-70 20-30 2-6 1-8 3-7
    Step 1 2 1 1 0.5
    Optimum 66 30 6 3 6
    下载: 导出CSV 
    | 显示表格

    参数优化的结果如图 12所示,总质量为2.08 kg、轴向重力与径向重力下的RMS分别为5.888 nm和5.884 nm、轻量化率达到70%。

    图  12  优化结果
    Figure  12.  Optimization results

    为了更好地体现半封闭结构与六边形支撑结构特征的优势,建立了中心圆形支撑、开放圆孔、开放三角形筋板等结构并进行了相关参数的优化(图 13~15),对比结果如表 4所示。

    图  13  中心圆形支撑结构
    Figure  13.  Center circular support structure
    图  14  无翻边开放圆孔结构
    Figure  14.  Structure of open circular hole without flanging
    图  15  内圈三角形筋板结构
    Figure  15.  Structure of triangular rib plate in inner ring
    表  4  对比结果
    Table  4.  Comparison results
    Z: RMS/nm Z: PV/nm Y: RMS/nm Y: PV/nm
    Optimization results 5.888 26.039 5.884 32.884
    Center circular support structure 9.235 40.451 4.454 22.964
    Structure of open circular hole without flanging 6.232 27.737 7.203 39.019
    Structure of triangular rib plate in inner ring 8.297 35.722 5.042 27.561
    下载: 导出CSV 
    | 显示表格

    拓扑结构的优化过程及几种不同结构的对比结果表明,相较于轴向重力工况,径向重力工况下的面形精度在设计中更容易满足要求。调整中心六边形结构大小与翻边相关参数的过程表明,在尽量减小支撑点与质心有差距而导致的倾覆力矩后,反射镜的背部支撑结构刚度对径向重力下面形精度起到决定性作用。对比结构中,中心圆形与内圈三角筋板两种结构的筋板厚度更大,分布更密集,提升了整体刚度,故其径向重力下面形精度表现更优异。

    在轴向重力工况下,比较不同的对比结构结果,可见中心六边形与半封闭的翻边结构对降低RMS值有极大贡献。由于3个支撑点与圆形反射镜的搭配本身存在着不均匀性,六边形结构能够更好地均匀面形。与开放式筋板结构相比较,半封闭的翻边结构能够有效地减少支撑点位置的应力集中,形成双层的承力结构,提升一体化反射镜的稳定性。

    本文针对一体化铝合金反射镜进行了设计与特性分析。通过拓扑优化得到了基本特征并依此建立了初始结构。对初始结构中镜高、中心六边形高度等在内的不同特征参数进行了优化,最终得到自重下的RMS为5.9 nm、轻量化率为70%的反射镜优化模型。从优化过程分析铝合金反射镜的支撑特性,在对面形影响更大的轴向重力条件下,随自身质量增加,反射镜刚度增强可以提高面形精度,但超过一定范围,自重影响变为主导,使得RMS增大。中心六边形结构存在最佳位置,即正六边形高度与直径比值为0.26左右时,面形精度最高。在此基础上,与其他3种对比结构进行比较,得出了中心六边形与半封闭结构在自重条件下提高面型精度的独特优势,对铝合金反射镜的轻量化设计提供了重要参考。

  • 图  1   动作识别方法流程图

    Figure  1.   Flowchart of the proposed activity recognition approach

    图  2   前景提取算法结果

    Figure  2.   Foreground extraction results

    图  3   各动作的最大温度方差和运动持续帧

    Figure  3.   Maximum temperature variance and motion duration frames for each action

    图  4   人体外接矩形

    Figure  4.   Human body circumscribed rectangle

    图  5   垂直角度示意图

    Figure  5.   Vertical angle diagram

    图  6   准确率混淆矩阵图

    Figure  6.   Accuracy confusion matrix

    表  1   不同环境温度、安装空间下的阈值对比

    Table  1   Comparison of thresholds under different ambient temperatures and installation spaces

    Ambient temperature Laboratory Living room
    22℃ 1.66 1.65
    26℃ 1.71 1.73
    30℃ 1.75 1.76
    下载: 导出CSV

    表  2   欧氏距离交叉验证结果

    Table  2   Euclidean distance cross-validation results

    Test: Train K=3 K=5 K=7 K=9 K=11 K=13 K=15
    1:1 96.67% 96.8% 96.4% 96% 95.6% 95.2% 95.2%
    1:4 97.33% 97.67% 97.33% 97% 96.67% 96.33% 96%
    1:9 94.67% 95.33% 95.33% 95.33% 94% 93.33% 93.33%
    下载: 导出CSV

    表  3   曼哈顿距离交叉验证结果

    Table  3   Manhattan distance cross-validation results

    Test: Train K=3 K=5 K=7 K=9 K=11 K=13 K=15
    1:1 97.73% 97.73% 97.20% 96.53% 96.93% 96.53% 96.4%
    1:4 98% 97.67% 97.67% 97.67% 96.67% 96% 96%
    1:9 96.67% 96% 96% 96% 95.33% 95.33% 94.68%
    下载: 导出CSV

    表  4   5种分类算法结果对比

    Table  4   Comparison of the results of five classification algorithms

    KNN SVM RF DT NN
    Bend 96.7% 92.8% 96.6% 97.9% 97.5%
    Stand 98.3% 97.3% 95.4% 96.3% 90.9%
    Sit 91.7% 75.8% 88.7% 91.3% 83.3%
    Fall 100% 99.1% 98.2% 96.3% 100%
    Walk 98.3% 95.6% 97.4% 96.7% 95.4%
    Accuracy 97% 92.12% 95.26% 95.7% 93.42%
    下载: 导出CSV

    表  5   3种方法结果对比

    Table  5   Comparison of the results of three algorithms

    Ours Method in paper [10] Method in paper [11]
    Bend 96.7% 88.7% 94.7%
    Stand 98.3% 87.3% 93.5%
    Sit 91.7% 78.8% 90.5%
    Fall 100% 97.6% 96.7%
    Walk 98.3% 95.4% 100%
    Accuracy 97% 89.6% 95.1%
    下载: 导出CSV
  • [1] 陈泰昌, 尤帅. 新时代我国人口老龄化的发展态势和战略研究[J]. 老龄科学研究, 2019, 7(4): 11-20. DOI: 10.3969/j.issn.2095-5898.2019.04.002

    CHEN Taichang, YOU Shuai. Research on the development trends and strategies of China's population ageing in the new Era[J]. Scientific Research on Aging, 2019, 7(4): 11-20. DOI: 10.3969/j.issn.2095-5898.2019.04.002

    [2] 张艳梅, 马晓霞, 赫继梅, 等. 失能老人跌倒的影响因素及长期照护服务需求[J]. 中国老年学杂志, 2019, 39(17): 4355-4357. DOI: 10.3969/j.issn.1005-9202.2019.17.076

    ZHANG Yanmei, MA Xiaoxia, HE Jimei, et al. Influencing factors of falls and demand for long-term care services in the disabled elderly[J]. Chinese Journal of Gerontology, 2019, 39(17): 4355-4357. DOI: 10.3969/j.issn.1005-9202.2019.17.076

    [3] 郑潇, 彭晓东, 王嘉璇. 基于姿态时空特征的人体行为识别方法[J]. 计算机辅助设计与图形学学报, 2018, 30(9): 1615-1624. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201809004.htm

    ZHENG Xiao, PENG Xiaodong, WANG Jiaxuan. Human action recognition based on pose pose spatio-temporal features[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(9): 1615-1624. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201809004.htm

    [4] 王玉坤, 高炜欣, 王征, 等. 基于加速度传感器的人体姿态实时识别[J]. 计算机工程与设计, 2016, 37(11): 3092-3096. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201611041.htm

    WANG Yukun, GAO Weixin, WANG Zheng, et al. Real-time human activity pattern recognition based on acceleration[J]. Computer Engineering and Design, 2016, 37(11): 3092-3096. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201611041.htm

    [5] 杜英魁, 姚俊豪, 刘鑫, 等. 基于电阻式薄膜压力传感器组的人体坐姿感知终端[J]. 传感器与微系统, 2020, 39(1): 78-81. https://www.cnki.com.cn/Article/CJFDTOTAL-CGQJ202001022.htm

    DU Yingkui, YAO Junhao, LIU Xin, et al. Human body sitting posture sensing terminal based on resistive thin film pressure sensor groups[J]. Transducer and Microsystem Technologies, 2020, 39(1): 78-81. https://www.cnki.com.cn/Article/CJFDTOTAL-CGQJ202001022.htm

    [6] 李仲华, 臧春华, 杨刚. 基于噪声嵌入的跌倒检测系统的设计[J]. 微机处理, 2017(2): 74-76. https://www.cnki.com.cn/Article/CJFDTOTAL-WCLJ201702017.htm

    LI Zhonghua, ZANG Chunhua, YANG Gang. Design of fall detection system based on embedded noise[J]. Microprocessors, 2017(2): 74-76. https://www.cnki.com.cn/Article/CJFDTOTAL-WCLJ201702017.htm

    [7]

    Kobiyama Yuta, ZHAO Qiangfu, Omomo Kazuk, et al. Analyzing correlation of resident activities based on infrared sensors[C]//IEEE International Conference on Awareness Science and Technologys, 2015: 1-6.

    [8]

    Mashiyama S, HONG J, Ohtsuki T. Activity Recognition Using Low Resolution Infrared Array Sensor[C]//IEEE International Conference on Communications, 2015: 495-500.

    [9]

    Akira Hayashida, Vasily Moshnyaga, Koji Hashimoto, The Use of Thermal IR Array Sensor for Indoor Fall Detection[C]//IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2017: 594-599.

    [10] 杨任兵, 程文播, 钱庆, 等. 红外图像中基于多特征提取的跌倒检测算法研究[J]. 红外技术, 2017, 39(12): 1131-1138. http://hwjs.nvir.cn/article/id/hwjs201712011

    YANG Renbin, CHEN Wenbo, QIAN Qing, et al. Fall detection algorithm based on multi feature extraction in infrared image[J]. Infrared Technology, 2017, 39(12): 1131-1138. http://hwjs.nvir.cn/article/id/hwjs201712011

    [11] 王召军, 许志猛, 陈良琴. 基于红外阵列传感器的人体行为识别系统研究[J]. 红外技术, 2020, 42(3): 231-237. http://hwjs.nvir.cn/article/id/hwjs202003005

    WANG Zhaojun, XU Zhimeng, CHEN Liangqin. Human behavior recognition system based on infrared array sensors[J]. Infrared Technology, 2020, 42(3): 231-237. http://hwjs.nvir.cn/article/id/hwjs202003005

    [12]

    Trofimova A A, Masciadri A, Veronese F, et al. Indoor Human Detection Based on Thermal Array Sensor Data and Adaptive Background Estimation[J]. Journal of Computer and Communications, 2017, 5(4): 16-28. DOI: 10.4236/jcc.2017.54002

    [13] 李亚, 王颖. 基于一维最大熵的视频图像运动背景减除[J]. 计算机与现代化, 2018(3): 44-47, 53. DOI: 10.3969/j.issn.1006-2475.2018.03.008

    LI Ya, WANG Ying. Moving background subtraction of video image based on 1-D Maximum Entropy[J]. Computer and Modernization, 2018(3): 44-47, 53. DOI: 10.3969/j.issn.1006-2475.2018.03.008

    [14] 薛丽霞, 罗艳丽, 王佐成. 基于帧间差分的自适应运动目标检测方法[J]. 计算机应用研究, 2011, 28(4): 1551-1552. DOI: 10.3969/j.issn.1001-3695.2011.04.098

    XUE Lixia, LUO Yanli, WANG Zuocheng, et al. Detection algorithm of adaptive moving objects based on frame difference method[J]. Application Research of Computers, 2011, 28(4): 1551-1552. DOI: 10.3969/j.issn.1001-3695.2011.04.098

    [15] 黄大卫, 胡文翔, 吴小培, 等. 改进单高斯模型的视频前景提取与破碎目标合并算法[J]. 信号处理, 2015(3): 299-307. DOI: 10.3969/j.issn.1003-0530.2015.03.007

    HUANG Dawei, HU Wenxiang, WU Xiaopei, et al. The algorithm of video foreground extraction via improved single gauss model and merge of broken targets[J]. Journal of Signal Processing, 2015(3): 299-307. DOI: 10.3969/j.issn.1003-0530.2015.03.007

    [16]

    WEI Hanchen, Hsi PinMa. A Fall Detection System Based on Infrared Array Sensors with Tracking Capability for the Elderly at Home[C]//International Conference on E-health Networking, Application & Services (Health Com), 2015: 428-434.

    [17] 任家东, 刘新倩, 王倩, 等. 基于KNN离群点检测和随机森林的多层入侵检测方法[J]. 计算机研究与发展, 2019, 56(3): 566-575. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201903012.htm

    REN Jiadong, LIU Xinqian, WANG Qian, et al. An multi-Level intrusion detection method based on KNN outlier detection and random forests[J]. Journal of Computer Research and Development, 2019, 56(3): 566-575. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201903012.htm

  • 期刊类型引用(4)

    1. 陈材,韩潇,杨三强,邓浩,蒋疆,祁俊峰. 空间反射镜选区激光熔化成形工艺研究. 航天制造技术. 2025(01): 72-78 . 百度学术
    2. 王连强,刘洋,王灵杰,曾雪锋,周頔,张德浩. 可快速、大批量研制的金属基铍铝反射镜分级设计方法. 军民两用技术与产品. 2025(02): 43-49 . 百度学术
    3. 张楚鹏,杨贤昭,陈肖. 轻量化铝反射镜拓扑优化与加工试验研究. 应用光学. 2024(05): 1034-1041 . 百度学术
    4. 张成成,何斌,吕阳,聂婷,贺玉坤. 小卫星空间跟踪遥感相机二维摆镜组件优化设计. 仪器仪表学报. 2022(07): 54-62 . 百度学术

    其他类型引用(3)

图(6)  /  表(5)
计量
  • 文章访问数:  531
  • HTML全文浏览量:  42
  • PDF下载量:  53
  • 被引次数: 7
出版历程
  • 收稿日期:  2020-11-23
  • 修回日期:  2021-01-31
  • 刊出日期:  2022-01-19

目录

/

返回文章
返回