Infrared Image Human Fall Detection Algorithm Based on Improved Alphapose
-
摘要: 红外图像中的人体摔倒检测不受环境光照射的影响，在智能安防领域有着重要的研究意义和应用价值。现有的摔倒检测方法没有充分考虑人体关键点的位置变化规律，容易对类摔倒动作造成误检。针对这一问题，本文提出一种基于改进Alphapose的红外图像摔倒检测算法。该算法使用Yolo v5s目标检测网络，在提取人体目标框输入姿态估计网络的同时，对人体姿态进行直接分类，再结合人体骨架关键点的位置信息和姿态特征进行判断。通过实验证明，该算法在准确度和实时性方面都有良好的表现。Abstract: Human fall detection in infrared images is not affected by ambient light and has important research and application value in intelligent security. Existing fall detection methods do not fully consider the position change law of key points on the human body, which can easily cause false detections of similar fall movements. To solve this problem, we propose an infrared image fall detection algorithm based on an improved alpha pose. The algorithm uses the YOLO v5s object detection network to directly classify human poses while extracting the human body target frame and inputting the pose estimation network. It then evaluates it in combination with the position information and posture characteristics of the key points of the human skeleton. Experiments showed that the algorithm exhibited good performance in terms of accuracy and real-time performance.
-
Keywords:
- infrared images /
- fall detection /
- key points /
- object detection
-
0. 引言
随着红外制导技术的不断发展，装有红外传感器的导弹是飞机的最主要威胁，据统计，1973-2001年有49%的飞机损失来自红外导弹，其中1984-2001年90%的飞机损失来自红外导弹[1-2]。为保护飞机免受红外制导导弹的攻击，红外干扰弹应运而生，现今发展的红外干扰弹包括多点源红外干扰弹和面源红外干扰弹。多点源红外干扰弹依靠烟火药柱产生一个与飞机红外辐射特性类似，但能量大于飞机辐射能量2~10倍的热源，以质心干扰的方式达到欺骗来袭红外制导导弹的目的[3]；面源红外干扰弹依靠在空间形成大面积红外辐射云团，使飞机“淹没”在红外辐射云团中，以掩盖飞机自身的红外辐射特征，导致红外导引头无法分辨飞机红外辐射源和面源红外干扰弹辐射源[4-5]，飞机采用机动规避的方式逃逸出导引头视场，从而免遭红外制导导弹的攻击；多点源红外干扰弹在空中形成强红外辐射源诱骗红外导引头，面红外辐射源在空中形成大面积红外辐射源掩盖飞机自身的红外辐射源，两者结合，可有效迷惑红外制导导引头，提高载机的自卫对抗能力。
飞机的红外辐射特性是红外制导导弹识别、捕获、跟踪、摧毁飞机的信号来源，飞机的红外辐射信号主要由机身蒙皮、尾喷管和尾焰组成[4]，其中尾焰和尾喷管是飞机红外辐射的主要来源，红外制导导弹从不同方向攻击飞机时，由于方向不同，导致导引头探测目标的辐射强度和辐射面积差异很大，飞机投放干扰弹的时机和种类也不同。因此，探测飞机在不同方向的辐射特征对干扰弹弹种选择具有重要意义。
本文采用光谱辐射计、中波红外热像仪、长波红外热像仪对飞机在不同方向上的红外辐射性能进行测试，研究飞机发动机工作时在不同方向上的红外辐射性能，指导飞机应对不同方向来袭的红外制导导弹时红外干扰弹投放使用策略。
1. 测试
1.1 测试场景
选择飞机0°、正侧向90°、尾后180°三个测试角度，选择合适测试点，飞机发动机处于正常工作状态，测试场景示意图如图 1所示，测试距离300 m，飞机包络尺寸为不大于50 m×50 m×10 m，飞机发动机直径不大于1 m，因此，在测试场景下飞机可当作点目标。
1.2 测试方法
1.2.1 光谱辐射计标定
试验前应对光谱辐射计进行标定，在同一测试条件下，对黑体和被测试目标进行测试，标定对应温度下的黑体温度。
$$ I（\lambda ）=\frac{({V}_{\rm{s}}-{V}_{\rm{b}}){R}^{2}}{({V}_{\rm{BB}}-{V}_{\rm{Bb}}){L}^{2}}\times M({T}_{\rm{BB}})\times \frac{\rm{π}{D}^{4}}{4}$$ (1) 式中：Vs、Vb分别为飞机的信号、飞机附近的背景信号；VBB、VBb分别为黑体的信号、背景信号；R为测试距离；L为黑体标定距离；TBB为黑体温度；M(TBB)为黑体在TBB的光谱辐射出射度；D为光阑口径。
1.2.2 测试方法
选定不同方位（迎头、正侧向、尾后），架好仪器设备，发动机处于正常工作状态下，测试飞机的中/长波红外辐射强度、辐射面积。
1.3 数据处理
1.3.1 光谱辐射计测试数据处理
辐射计测试时，首先采用标准黑体源对光谱辐射计进行标定，得到光谱辐射计的光谱响应曲线；随后，采用标定后的光谱辐射计对待测对象进行测试，经过光谱强度积分和大气修正得到测试飞机的辐射强度曲线[6]。
按式(2)计算光谱响应系数：
$$K\left( \lambda \right) = \frac{{\Delta {V_{\rm{c}}}\left( \lambda \right) \cdot {{\left( {{L_{\rm{c}}}} \right)}^2}}}{{{A_{{\rm{bb}}}} \cdot P\left( {\lambda ,{T_{\rm{c}}}} \right)}}$$ (2) 式中：K(λ)为标定系数，V/(W/(μm·m2))；ΔVc(λ)为标定电压，V；Lc为标定距离，m；Abb为黑体腔口面积，m2；P(λ, Tc)为黑体的光谱辐亮度，W/(μm·sr·m2)；Tc为黑体温度，K。
按式(3)计算红外辐射强度：
$$I = \frac{1}{{{\tau _{\rm{a}}}}}\int_{{\lambda _{\min }}}^{{\lambda _{\max }}} {\frac{{\Delta {V_{\rm{m}}}\left( \lambda \right) \cdot {{\left( {{L_{{\rm{ob}}}}} \right)}^2}}}{{K\left( \lambda \right)}}} {\rm{d}}\lambda $$ (3) 式中：I为辐射强度，W/sr；ΔVm(λ)为测试电压，V；Lob为测试距离，m；λmin、λmax分别为波段的波长下限和上限，μm；τa为大气透过率（采用Lowtran大气模型根据实时气象条件计算）。
1.3.2 中长波红外热像仪测试数据处理
热像仪测试时，首先采用标准黑体源对热像仪进行标定，得到热像仪的辐射响应定标文件（定期进行）；采用热像仪对待测对象进行测试，得到飞机在不同方向上的温度分布图像，根据测试距离、视场角分辨率及图像像元数计算特征辐射面积S：
$$ \mathit{S}{\rm{ = }}{\mathit{n}_{\rm{T}}}{\rm{\cdot}}\mathit{\gamma }{\rm{\cdot}}\mathit{d} $$ (4) 式中：nT为视场内温度为某特定值或特定范围内的像元数目；γ为仪器角分辨率，rad/像元；d为测试距离，m。可根据需要，提取热像中目标的温度分布特征和目标图像特征。
1.4 测试结果
1.4.1 测试数据
1）光谱辐射计测试结果（迎头）
按照上述测试方法和数据处理方法，对光谱辐射计测试数据进行处理，得到飞机在中长波红外的辐射强度随时间的关系如图 2所示。
![]()
图 2 迎头测试中长波红外辐射强度随时间的关系图Figure 2. Plot of middle-long wave infrared radiation intensity over time in head-on test由图 2可知，测试时，3~5 μm的光谱辐射强度和8~14 μm的光谱辐射强度值均较低，这是由于测试时，机身遮挡，导致尾焰的辐射强度大部分被遮挡。
2）中红外热像仪测试结果（迎头）
按照1.3.2测试方法和数据处理方法，对中红外热像仪测试数据进行处理，得到飞机在中红外的特征辐射面积时间变化关系如图 3所示。
![]()
图 3 中波红外特征辐射面积随时间的变化关系图Figure 3. Middle wave infrared characteristic radiation area over time由图 3可知，中红外热像仪测试得到辐射面积最大为3.68 m2，且辐射面积随时间变化。这是由两种原因造成的，第一是飞行员操作时，不可能保证飞机发动机一直处于同一种工作状态，而是在某一工作状态附近波动；第二是由于气候原因，由于风速、风向等时刻变化，导致发动机尾焰在与大气环境传热传质过程中一直处于变化状态，从而导致特征辐射面积发生变化。
3）长波红外热像仪测试结果（迎头）
按照1.3.2测试方法和数据处理方法，对长波红外热像仪测试数据进行处理，得到飞机在长波红外的辐射面积随时间变化关系如图 4所示。
![]()
图 4 长波红外辐射面积随时间的变化关系图Figure 4. Long wave infrared characteristic radiation area over time由图 4可知，长波红外热像仪测试得飞机的最大红外特征辐射面积约为5.4 m2，比中红外辐射面积高，这也是由于飞机发动机尾焰的大部分红外辐射被飞机机身遮挡，而机身蒙皮在长波红外的辐射特征比中红外的辐射特征明显。
1.4.2 数据分析
用同样的方式测试飞机在同样工作状态下，正测向、尾向的红外辐射特征。将测试数据用同样的方式处理，得到测试结果如表 1所示。
表 1 飞机红外辐射特征测试结果汇总Table 1. Summary of aircraft radiation characteristics test resultsTest direction and angle Wave length Radiation intensity/(W/Sr) Radiation area/m2 Head-on 0° 3 to 5 μm 50.00 3.68 8 to 14 μm 50.00 5.40 Lateral 90° 3 to 5 μm 68.00 25.90 8 to 14 μm 150.00 12.53 Stern 180° 3 to 5 μm 140.00 8.85 8 to 14 μm 80.00 1.05 测试数据可得如下结论：①飞机正侧向的中长波红外辐射面积比迎头和尾后都高，这是由于正侧向时，飞机最大截面与红外热像仪视场垂直，导致红外辐射面积最大；②飞机尾后的中长波红外辐射强度远远高于正侧向和迎头，尤其是中红外辐射强度达到最高，说明发动机工作时，尾焰和尾喷管能显著提高飞机的红外辐射特征，但是辐射面积较小；③由于飞机机身的遮挡作用，飞机的红外辐射强度和面积均最小。
2. 红外干扰弹使用策略
2.1 红外干扰机理
2.1.1 面源红外干扰弹干扰红外导弹机理分析
面源红外干扰弹投放后在载机附近迅速扩散开来形成红外干扰云团，其与被保护载机的红外图像相似，或改变载机的红外图像特征，欺骗红外成像制导导弹，继而诱使红外成像制导导弹偏离被保护的载机。面源红外干扰弹对抗红外成像制导导弹，各个阶段可以采用不同的方式进行干扰[7]。
目标搜索阶段，导弹距离目标通常很远，目标机形成的红外图像很小，处于点目标阶段，当面源红外干扰弹连续投放后，在真目标附近形成大面积红外辐射云团，掩盖目标的红外辐射特征，使红外成像制导导弹导引头无法锁定真目标，面源红外干扰弹起到“隐真示假”的作用。
目标跟踪阶段初期，弹目距离逐渐缩短，目标形成的红外图像逐渐变大，且逐渐显示目标的外形特征，此时，红外成像制导导弹使用形心跟踪或是质心跟踪方式跟踪目标。当连续投放面源红外干扰弹后，在目标附近形成大面积红外辐射云团，其红外特征与目标相似，并与目标融合在一起形成共同的目标信息，甚至完全掩盖目标的红外辐射特征，从而改变导弹视场内的目标红外辐射特征，常用的灰度、面积、长宽比、圆度等识别特征均发生较大变化，制导系统难以识别出真目标，此时，实际目标的特征或运动参数将以不稳定或“非目标”的方式变化（如机动逃逸），而面源红外干扰弹的特征保持稳定（持续燃烧或连续投放），此时，成像导弹的识别系统将会锁定假目标，而达到干扰目的。
目标跟踪阶段后期，弹目距离很近，目标在导引头视场内外形特征清楚，导引头可根据目标的外形特征（面积、长宽比、圆度等）对目标进行跟踪。此时，连续投放面源红外干扰弹后，面源红外干扰弹形成大面积红外辐射云团，与目标红外辐射特征融合，增大了整个红外辐射云团的辐射面积，改变目标的外形特征，增大导引头识别算法的运算量和识别难度，使其难以识别真目标，导致成像导引头无法通过目标的面目标特征识别出目标，从而有效降低其命中目标概率。
2.1.2 点源红外干扰弹干扰红外导引头机理分析
点源红外干扰弹发射后形成单个热点目标，连续投放后形成多个点目标，通过质心干扰的方式诱骗红外制导导引头哦。由于点源红外干扰弹能量高，远大于飞机的红外辐射强度，在对抗早期第一代、第二代红外制导导引头时有效；随着具有辐射强度阈值鉴别能力的第三代、第四代红外制导导引头的装备，点源红外干扰弹由于能量太高，且干扰源数量少，干扰效能不高的缺点越来越明显。因此，点源红外干扰弹逐步被多点源红外干扰弹取代。
2.1.3 多点源红外干扰弹干扰红外导弹机理分析
多点源红外干扰弹发射后形成多个分散的点源红外干扰弹，连续投放后形成多个点状发热体。采用多发齐射或多方位齐射时，可迅速在一定空域形成红外高辐射区，在导引头瞬时视场内形成持续的多个干扰源，将目标信号淹没，且多点源红外干扰弹的辐射能量比点源红外干扰弹的小，略高于飞机，导引头无法通过强度阈值鉴别滤除干扰，导引头必须处理多组脉冲信号，降低了其检测目标的概率，红外导引头即使启动了抗干扰措施，但因探测器的噪声几何级数增大，而难以提取有效的制导信号，从而起到保护载机的作用[8]。
2.2 干扰策略分析
根据飞机发动机工作时，飞机不同方向上的红外辐射特征数据，以及多点源红外干扰弹、面源红外干扰弹的特点，可分析出飞机在面临不同方向成像红外导弹导引头时红外干扰弹的使用策略[9]。
1）当来袭红外制导导弹从尾后攻击飞机时，开始导弹距飞机较远，飞机在红外导引头中显示为一个热点，此时采用多点源红外干扰弹，以质心干扰的方式诱骗红外导引头；随着来袭导弹与飞机距离缩短，飞机在导引头中面积逐渐增大，采用面源红外干扰弹，其红外辐射云团与飞机融合，改变目标的红外辐射特征和在导引头视角下的面目标特征，使导引头分辨不出目标，从而形成有效干扰。多点源红外干扰弹和面源红外干扰弹组合使用，两者结合可有效干扰红外导引头。
2）当来袭红外制导导弹侧向攻击飞机时，由于飞机在红外导引头中显示的面积较大，且能量较高，此时可采用面源红外干扰弹有效掩盖目标的红外辐射特征，干扰来袭导弹导引头。
3）当来袭红外制导导弹迎头攻击飞机时，由于此时飞机在红外导引头中显示的面积和能量均很低，此时采用多点源红外干扰弹和面源红外干扰弹组合使用，通过多点源红外干扰弹的质心干扰，形成假目标，结合面源红外干扰弹的大面积特征，掩盖目标的红外辐射特征，隐藏真实目标特征，点和面结合，达到“隐真示假”的效果，可有效干扰红外制导导弹导引头。
3. 结论
本文以飞机为研究对象，采用光谱辐射计、中长波红外热像仪测试了飞机发动机工作时，飞机迎头、正侧向、尾向3个不同方向上的红外辐射特征，根据红外辐射特征，结合多点源红外干扰弹、面源红外干扰弹的特点，分析了飞机在面临不同方向来袭红外制导导弹时干扰弹的投放策略。当来袭导弹从尾后攻击时，远距时采用多点源红外干扰弹、中近距时采用面源红外干扰弹；侧向攻击时，采用面源红外干扰弹；迎头攻击时，采用点源、面源组合使用，可形成有效干扰。
-
![]()
图 5 姿态分类：(a) 直坐；(b) 躺下；(c) 下蹲；(d) 站立；(e) 弯腰；(f) 撑地；(g) 坐地；(h) 遮挡
Figure 5. Posture classification: (a) Sit straight; (b) Lie; (c) Squat;(d) Stand; (e) Bend; (f) Push up; (g) Sit flat; (h) Cover
![]()
图 7 遮挡状态标注与预测图：(a) 标注时不含遮挡物；(b) 无遮挡物标注方式检测无遮挡状态；(c) 无遮挡物标注方式检测遮挡状态；(d) 标注时含部分遮挡物；(e) 含遮挡物标注方式检测无遮挡状态；(f) 含遮挡物标注方式检测遮挡状态
Figure 7. Annotated and predicted images under occlusion: (a) No obstructions included when labeling; (b) Detection of unobstructed state using unobstructed object annotation method; (c) Detection of occlusion status using unobstructed object annotation method; (d) Include partial obstructions when labeling; (e) Detection of unobstructed state using labeling method with occluded objects; (f) Detection of occlusion status using labeling method with occluded objects
![]()
图 8 实验结果：(a) Alphapose检测自建红外数据集；(b) Ours检测自建红外数据集；(c) Ours检测MOTIID红外测试集；(d) Ours检测FLIR_ADAS数据集
Figure 8. Experimental results: (a) Alphapose for detecting self built infrared datasets; (b) Ours for detecting self built infrared datasets; (c) Ours for detecting MOTIID dataset; (d) Ours for detecting FLIR_ADAS datasets
![]()
图 9 摔倒检测结果：(a) Th=0.03时，真实摔倒动作检测结果；(b) Th=0.03时，伪摔倒动作检测结果；(c)Th=0.01时，伪摔倒动作检测结果
Figure 9. Fall detection results: (a) Detection result of real fall movements when Th=0.03; (b) Detection result of false fall action when Th=0.03; (c) Detection result of false fall action when Th=0.01
表 1 YOLO v5各版本参数对比
Table 1 Comparison of parameters between different versions of YOLO v5
Model Size
/pixelsSpeedV100/ms Params(M) YOLO v5s 640 2.0 7.3 YOLO v5m 640 2.7 21.4 YOLO v5l 640 3.8 47.0 YOLO v5x 640 6.1 87.7 
下载: 导出CSV
表 2 实验结果
Table 2 Experimental results
Method DIoU_average Time_average/s Alphapose 0.910 0.085 Ours 0.926 0.068
下载: 导出CSV
表 3 不同Th下检测结果
Table 3 Experimental results under different Th values
Th TP FN TN FP Accuracy 0.01 36 0 41 10 88.5% 0.02 36 0 47 4 95.4% 0.03 36 0 50 1 98.9% 0.04 34 2 51 0 97.7% 0.05 32 4 51 0 95.4% 0.06 29 7 51 0 92.0% 0.07 25 11 51 0 87.4%
下载: 导出CSV
-
[1] 禹明娟. 基于视频的室内老人摔倒检测研究[D]. 杭州: 杭州电子科技大学, 2016. YU M J. Research of Indoor Fall Detection for Elderly Based on Video[D]. Hangzhou: Hangzhou Dianzi University, 2016.
[2] 陈永彬, 何汉武, 王国桢, 等. 基于机器视觉的老年人摔倒检测系统[J]. 自动化与信息工程, 2019, 40(5): 37-41. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXG201905009.htm CHEN Y B, HE H W, WANG G Z, et al. Fall detection system for the elderly based on machine vision[J]. Automation & Information Engineering, 2019, 40(5): 37-41. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXG201905009.htm
[3] 杨碧瑶. 基于计算机视觉的独居老人摔倒检测方法研究[D]. 西安: 陕西科技大学, 2020. YANG B Y. Research on Fall Detection Method of Elderly Living Alone Based on Computer Vision[D]. Xi'an: Shaanxi University of Science & Technology, 2020.
[4] 马照一. 用于老年人居家养老的智能视频终端的设计与实现[D]. 沈阳: 辽宁大学, 2017. MA Z Y. The Design and Implementation of Intelligent Video Terminal for The Aged Home Care[D]. Shenyang: Liaoning University, 2017.
[5] 徐世文. 基于红外图像特征的人体摔倒检测方法[D]. 绵阳: 西南科技大学, 2020. XU S W. Detection Method of Human Fall Based on Infrared Image Features[D]. Mianyang: Southwest University of Science and Technology, 2020.
[6] 徐传铎. 夜间模式下基于人体姿态的安全监控研究[D]. 上海: 东华大学, 2017. XU C D. Research on Safety Monitoring Based on Human Posture for Night Vision[D]. Shanghai: Donghua University, 2017.
[7] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]//IEEE Conference on Computer Vision & Pattern Recognition, 2017: 6517-6525.
[8] ZHAO L, LI S. Object detection algorithm based on improved YOLO v3[J]. Electronics, 2020, 9(3): 537.
[9] 李昭慧, 张玮良. 基于改进YOLO v4算法的疲劳驾驶检测[J]. 电子测量技术, 2021, 44(13): 73-78. https://www.cnki.com.cn/Article/CJFDTOTAL-DZCL202310005.htm LI Z H, ZHANG W L. Fatigue driving detection based on improved YOLOv4 algorithm[J]. Electronic Measurement Technology, 2021, 44(13): 73-78. https://www.cnki.com.cn/Article/CJFDTOTAL-DZCL202310005.htm
[10] Girshick R, Donahue J, Darrell T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 38(1): 142-158
[11] Girshick R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 1440-1448.
[12] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems, 2015: 91-99.
[13] WANG C Y, Mark Liao H Y, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 390-391.
[14] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8759-8768.
[15] FANG H S, XIE S, TAI Y W, et al. RMPE: regional multi-person pose estimation[C]//Proceedings of the 2017 IEEE International Conference on Computer Vision, 2017: 4321-4331.
-
期刊类型引用(4)
1. 周萍，代威，陆浩然，常晓华，李强，廖传军，宋海英. 航天装备主动防御隐身技术综述. 安全与电磁兼容. 2025(02): 18-34 . 
百度学术
2. 王东，高俊光，陈磊，张恒伟，路亚旭. 喷气式飞机尾喷管及尾焰红外辐射特性测量分析. 激光与红外. 2024(07): 1097-1101 . 百度学术
3. 王东，李武周，樊仁杰，刘小虎. 运输机迎头飞行状态红外辐射特性测量及分析. 光学与光电技术. 2023(02): 114-119 . 百度学术
4. 胡长德，张海波，王朝晖，王林旭，李子杨，刘婕. 一种红外辐射特性测量教学训练系统. 光学仪器. 2022(04): 10-15 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 123
- HTML全文浏览量: 54
- PDF下载量: 37
- 被引次数: 5
