Non-contact Vital Signs Measurement by Thermal Imaging Technology
-
摘要: 针对目前临床上监测生命体征设备的不便携带、接触人体等问题实现了一种将红外热成像仪作为信息采集设备，通过分析人体面部血管模型及鼻孔位置温差变化得到心率值和呼吸信息的方法。首先对获取的热像图序列提取前景目标以缩短在整幅图像中进行人脸检测的时间，再利用各向异性扩散滤波法增强感兴趣区域内血管位置的对比度，并利用形态学处理获得人脸血管部位的灰度均值形成初始心率信号。最终通过趋势消除、小波阈值去噪方法去除时间序列中的趋势项和随机噪声获取最终的心率波形图和动态心率、呼吸值。与医院专用设备对比试验得出该方法可控制心率误差小于4%，平均的均值误差为$ \left| {\bar d} \right| $=0.718次/min。呼吸误差在1次/min内，具有较高的准确性和鲁棒性，能够满足实际需求。Abstract: To solve the problems of inconvenient carrying and contact with the human body when using current clinical vital signs monitoring equipment, a method of estimating heart rate and respiratory information is proposed by analyzing the facial vascular model and temperature difference of the nostril position using an infrared thermal imager as a transmission device. First, the foreground target is extracted from the obtained thermal image sequence to shorten the time of face detection in the entire image. Anisotropic diffusion is then used to enhance the contrast of the vascular position in the region of interest, and the gray mean of the vascular position in the face is obtained by morphological processing to form the initial heart rate signal. Finally, trend elimination, wavelet threshold denoising, and other filtering methods were used to remove the trend item and random noise in the time series to obtain the final heart rate waveform, dynamic heart, and respiration values. Compared with specialized equipment in the hospital, it was found that the method exhibited a heart rate error of less than 4%, and the average error of the average value was 0.718 beats/min. The breathing error is within 1 beat/min, showing high accuracy and robustness and that the method can meet actual needs.
-
0. 引言
大视场多目标监视是目前红外搜索跟踪领域研究的热点，该领域正朝着高分辨率、超大视场成像的方向发展[1-3]。对应大视场下多目标的监视与跟踪任务，视场的增大，红外图像的背景成分变得极其复杂，又加上来自地面建筑物、地杂波等的干扰，极其容易在图像区域产生伪目标，造成红外全景搜索跟踪系统的虚警[4-7]。在实施全景搜索跟踪的任务过程中，视场中难免出现虚假运动目标，其中既有静止物体，也可能包含运动方向与真实目标不一致的物体。如果不能对以上虚假目标及时进行识别并剔除，将会严重影响后续搜索跟踪任务的执行。
针对红外搜索跟踪容易遇到的上述问题，王卫华[8]等人提出了一种基于兴趣区（region of interest）提取的目标实时监测算法，根据目标运动特性与灰度特性快速提取目标可能存在的兴趣区，再针对兴趣区内的局部目标图像切片，进一步剔除虚假目标干扰；陈炳文[9]提出一种基于时空融合与粒子滤波的弱目标检测算法，首先利用像素点的帧间和邻域相关性，采用短程非参数核建模算法检测候选目标，接着使用粒子滤波跟踪候选目标，以剔除虚假目标得到真实航迹；王雪梅[10]等提出了基于背景检测的单帧检测弱小目标改进算法，结合多方向多极梯度算法，对背景预测初步检测出来的可能目标点进一步检测，从而排除虚假目标；罗举平[11]等针对红外目标检测任务，提出了变门限检测与跟踪的方法，减少了虚假量测的数量。张艳艳[12]等引入Lucas-Kanade（LK）光流法，对光流结果进行最大类间方差分割，视光流不连续区域为真实运动目标；西北工业大学[13]利用Lucas-Kanade光流法对连续帧红外图像检测疑似运动区域，再通过SVD（singular value decomposition）分解与目标背景重构检测弱小目标；Lei Wang[14]等利用先验概率降低视频中目标检测的误报率；Recchia Giuseppe[15]等将Lucas-Kanade光流法应用于无人机光电视避系统，有效降低了误警率与虚警率。然而上述方法并不专门针对全景图像，因此对于全景图像中同一运动目标帧间距离过大造成的影响，这些方法并不能有效解决。类似方法甚至会错把真实运动目标当作虚假目标加以剔除，因而并不适用于降低红外搜跟系统的虚警率。本文针对以上问题提出了一种基于Lucas-Kanade光流特征的红外全景系统虚假目标甄别与剔除的方法。
1. 建立图像金字塔
选取前后相邻两帧红外全景图像I和J，为图像I和J分别建立金字塔表达${\{ {I^L}\} _{L = 0,...{L_m}}}$和${\{ {J^L}\} _{L = 0,...{L_m}}}$，这里Lm通常取为3，也就是金字塔层数一般为4。把原始图像作为第0层，通过高斯滤波并令宽高缩小2L倍的图像作为第L层，多层图像组合类似金字塔，如图 1所示。
2. 计算前后帧图像光流
由于红外全景搜索跟踪系统的任务在于利用360°全景影像实现对周围环境态势感知的能力，因此往往将目标定为包括人、车辆、舰船以及飞机等相比环境温度较高的物体。在实际图像中该类目标一般呈现较高的灰度值，因此本文利用二值化将图像中的高亮目标都事先提取出来，在这些高亮目标区域中随机选择若干像素记为该目标对应的像素点u，接下来利用LK光流法思想依次从最高层开始计算目标像素点u对应的LK光流dL，并取LK光流dL对应层光流初始值gL的和为下一层光流的初始值，直至迭代到原始图像层（第0层），最终获取目标像素点u在原始图像层的光流值按照如下步骤计算图像光流d，接着利用光流d的模值与角度为主要特征，使用聚类算法将真实运动目标和虚假运动目标区分开来。首先计算前后帧图像间的光流：
初始化最高层光流的初始值${g^{{L_m}}} = {\left[ {0\;\;0} \right]^{\text{T}}}$，令L＝Lm，每迭代一次，L减1，直到L＝0：
由于图像金字塔建立过程中，图像的长宽依次缩小一倍，因此针对第L层图像，计算图像IL中像素点u对应的位置：$u{\text{ = [}}u_x^L\;\;u_y^L{\text{] = }}u{\text{/}}{{\text{2}}^L}$；
计算图像IL在x方向的梯度：
$$ I_x^L(x,y) = \frac{{{I^L}(x + 1,y) - {I^L}(x - 1,y)}}{2} $$ (1) 计算图像IL在y方向的梯度：
$$ I_y^L(x,y) = \frac{{{I^L}(x,y + 1) - {I^L}(x,y - 1)}}{2} $$ (2) 计算空间矩阵：
$$ \boldsymbol{G} = \sum\limits_{x = u_x^L - {w_x}}^{x = u_x^L + {w_x}} {\sum\limits_{y = u_y^L - {w_y}}^{y = u_y^L + {w_y}} {\left[ {\begin{array}{*{20}{c}} {I_x^{\text{L}}I_x^{\text{L}}}&{I_x^LI_y^L} \\ {I_x^LI_y^L}&{I_y^LI_y^L} \end{array}} \right]} } $$ (3) 式中：wx、wy表示u处具有相同光流邻域的大小。
初始化迭代LK光流初始值d0＝[0 0]T；
令k＝1，每迭代一次k加1，直到匹配差异向量$ \left| {{\eta ^k}} \right| $小于1：
定义此时(x, y)处前后两帧图像的差异δI(x, y)，则有：
$$ \delta {I^k}(x,y) = {I^L}(x,y) - {J^L}(x + g_x^L + d_x^{k - 1},y + g_y^L + d_y^{k - 1}) $$ (4) 计算图像差异：
$$ {b_k} = \sum\limits_{x = u_x^L - {w_x}}^{x = u_x^L + {w_x}} {\sum\limits_{y = u_y^L - {w_y}}^{y = u_y^L + {w_y}} {\left[ {\begin{array}{*{20}{c}} {\delta {I^k}(x,y){I_x}(x,y)} \\ {\delta {I^k}(x,y){I_y}(x,y)} \end{array}} \right]} } $$ (5) 计算匹配差异向量：
$$ η^{k}=\boldsymbol{ G}^{−1}b_{k} $$ (6) 计算光流：
为下一次迭代提供初始值dk＝dk−1+ηk；
结束k上的迭代，得到第L层图像上的光流优化值dL＝dk；
为第L－1层图像提供光流初始值gL−1＝2(gL+dL)；
结束L上的迭代，最终计算得到光流d＝g0+d0；
得到图像J中对应点坐标v＝u+d。
3. 重新表达目标光流
上述步骤求得前帧图像I中目标区域像素点u在前后两帧图像对应的光流d，以及该像素点在后帧图像J中的位置v。其中光流d为一个二维向量，该向量标识图像平面内由位置u指向位置v的运动位移。而同一个运动目标其运动位移应该是一致的，这就给区分真实运动目标和虚假运动目标带来了先决条件。针对图像I中经过二值化后获得的目标区域，每个区域选择m个像素点（u1, u2, …, um），本方案根据图像视场范围以及处理器运算能力综合考量选择m＝5。对于每一个像素点ui，按照第2章所述方法得到对应的光流d(ui)，然后利用算术平均值来求取对应目标区域Φ的光流dΦ：
$$ {d_\varPhi } = \frac{{\sum\limits_{i = 1}^m {d({u_i}} )}}{m} $$ (7) 4. 目标分类
对于地面建筑或者地杂波等产生的虚假目标，由于全景成像系统镜头本身的运动，造成其通过上述计算也会产生光流值，但该光流值并不能反映像素点的实际运动。虚假目标光流值与真实目标光流值会有显著不同，这主要表现在光流向量的方向和大小两个方面。
1）虚假目标由于本身静止或运动范围很小，在叠加了红外摄像机自身旋转运动后，其光流方向会有高度趋同性，而真实运动目标的光流方向应与其实际位移方向一致，从而造成虚假目标与运动目标在运动方向上的显著区别；
2）虚假目标因为本身基本处于静止状态，表征运动位移的光流仅反映红外摄像机自身的运动，实际观察光流值大小应不大于10个像素，这也是区别于实际运动物体的显著特征。
设$\overrightarrow d = (x,y)$，令$\left| d \right| = \sqrt {{x^2} + {y^2}} $表示光流向量的大小，令θ表示光流向量的方向，其中：
$$ \theta = \left\{ \begin{array}{l} \arccos \frac{x}{{\sqrt {{x^2} + {y^2}} }},y \geqslant 0 \hfill \\ 2{\text{π }} - \arccos \frac{x}{{\sqrt {{x^2} + {y^2}} }},y < 0 \hfill \\ \end{array} \right. $$ (8) 创建向量$\vec L = (\left| d \right|,\theta )$用于重新表达光流，目的在于后续根据光流区分真实运动目标与静止虚假目标。根据前述第3章中的分析，虚假静止目标的表征向量$\vec L$会具有很小的$\left| d \right|$值，且θ值会比较接近，将其标注到二维直角坐标系中虚假静止目标的向量L坐标会高度集中，而真实运动目标则会大范围随机分布，如图 2所示。
最后利用聚类算法将得到的目标光流进行分类，由图 2可以发现真实运动目标与虚假运动目标的光流分布区域有较大区别，为了把二者快速区分开来，首先在离θ轴较近的光流表征向量$\vec L$中随机选择一个作为第一个初始聚类中心，然后选择距离该中心最远的一个光流表征向量$\vec L$作为第二个初始聚类中心，通过计算各光流表征向量$\vec L$与初始化聚类中心的距离，将这些光流表征向量$\vec L$重新划归至距离最近的类别，并以新类别中各光流表征向量$\vec L$的均值作为新的聚类中心，持续迭代直至光流表征向量的分配聚类情况没有更新，以实现最终把真实运动目标（类别1）与虚假静止目标（类别2）分开的目的。
5. 实验结果
为验证本文的虚警率降低方法是否具有普遍性，项目组利用研发成功的红外全景成像设备采集不同环境下（室内、室外）的中波红外全景图像，在Windows操作系统下使用Visual C++开发环境将本文算法实现，将不同场景下前后两帧全景图作为输入，以验证算法有效性。
观察图 3和图 4可以发现，无论室外还是室内环境，复杂背景下总会引入干扰，同时搜索跟踪系统自身旋转导致其中的高亮物体都会得到表征运动的光值，因此很多由于干扰产生的伪目标极易被搜索跟踪系统误判为真实运动目标。引入本文算法后，系统对输入的前后两帧全景图像计算LK光流，随后将重点区域光流进行包括大小与方向的比对，按照聚类思想将其实施二分类，重复迭代直至真实运动物体被区分出来。根据图 3与图 4中处理后图像可以发现，红外全景图像中的真实运动物体均以实线框标记出来，而由于干扰造成的虚假运动目标被虚线框标记出来，由此可见本文算法较好地将红外搜索跟踪系统所获全景场景中的虚假运动目标加以抑制，从而有效降低了该类系统的虚警率。
6. 结论
红外全景监控设备是未来红外热像系统化发展的主要趋势，而大视场的引入必然加大后续图像处理设备的工作量，对于嵌入式图像处理系统由于本身运算能力有限，因此在预处理阶段自动排除虚假目标以减轻后续处理运算的压力就显得尤为必要。本文所述方法通过对实际采集的红外全景序列图像加以分析，很好地剔除了造成干扰的虚假运动目标，实验结果也验证了该方法的有效性。未来将把该方法向以GPU/FPGA+DSP为主处理器的嵌入式平台移植，同时针对特征提取阶段做更为深入的研究融入更多特征以提升虚假目标检测效果，为红外搜索跟踪系统等产品提供有效的技术支持。
-
表 1 检测生命体征的非接触式方法对比
Table 1 Comparison of non-contact methods for vital signs detection
Non-contact measurement method Advantage Shortcoming Radar Strong penetrability and accurate measurement results Long-term radiation is harmful, susceptible to electromagnetic wave interference IPPG Strong portability, low cost, comfortable and non-invasive Easily affected by light, cannot detect at night Thermal imaging technology Non-invasive, all-day, all-weather detection; night-time detection; support for telemedicine The image details are not clear and the resolution is poor 
下载: 导出CSV
表 2 残差序列ADF检验
Table 2 Residual sequence ADF test
Value t-statistic P-value Augmented Dickey-Fuller
test statistic−5.640742 0.000001 Critical value 1% level
5% level
10%level−3.605565
−2.937069
−2.606986
下载: 导出CSV
表 3 男性测试者动态心率结果对比
Table 3 Comparison of dynamic heart rate results in male
Time/s 1 2 3 4 5 M/bpm R/bpm M/bpm R/bpm M/bpm R/bpm M/bpm R/bpm M/bpm R/bpm 5 65 65 70 72 75 77 65 63 69 70 10 66 64 70 71 74 75 65 65 69 69 15 64 64 69 72 73 75 67 65 70 68 20 62 64 72 70 73 73 66 65 68 67 25 65 63 72 72 72 72 65 64 66 65 30 63 64 71 73 71 73 63 63 65 65 35 65 64 70 71 72 73 64 63 67 65 40 65 65 69 70 72 72 64 65 65 67 45 63 64 69 69 73 72 63 63 65 65 50 64 65 70 70 73 71 63 63 66 66 55 64 65 70 71 72 72 64 63 68 67 60 65 64 71 72 71 72 63 64 66 67
下载: 导出CSV
表 4 女性测试者动态心率结果对比
Table 4 Comparison of dynamic heart rate results in female
Time/s 6 7 8 9 10 M/bpm R/bpm M/bpm R/bpm M/bpm R/bpm M/bpm R/bpm M/bpm R/bpm 5 78 78 80 81 68 70 82 85 80 78 10 76 77 79 81 69 69 85 86 80 79 15 77 76 78 80 68 68 81 84 81 78 20 78 75 79 79 67 68 82 83 82 78 25 79 76 78 79 68 67 84 84 80 82 30 78 78 80 78 68 67 83 85 82 81 35 80 78 81 80 65 67 81 85 84 83 40 79 77 80 82 64 65 82 83 83 81 45 78 76 79 80 65 65 82 84 85 83 50 78 76 78 79 68 66 82 85 83 82 55 77 76 79 79 67 65 82 82 82 82 60 77 75 79 79 66 65 81 83 81 82
下载: 导出CSV
表 5 对10个测试者心率均值偏差分析
Table 5 Deviation analysis of the mean heart rate of 10 testers
Number $ {\bar M_{{\text{estimate}}}} $/
(times/min)$ {\bar M_{{\text{true}}}} $/
(times/min)d/
(times/min)1 64.25 64.25 0 2 70.25 71.08 −0.83 3 72.58 73.08 −0.5 4 64.33 63.83 0.5 5 67 66.75 0.25 6 77.92 76.5 1.42 7 79.16 79.75 −0.59 8 66.92 66.83 0.09 9 82.25 84.08 −1.83 10 81.92 80.75 1.17
下载: 导出CSV
表 6 测试者呼吸平均值结果对比
Table 6 Comparison of the average results of the tester's breath
Number MBR/
(times/min)MBR′/
(times/min)RBR/
(times/min)error/
(times/min)1 13.92 14 13 +1 2 13.58 14 14 0 3 16.5 17 16 +1 4 12.33 12 12 0 5 13.5 14 14 0 6 15.91 16 16 0 7 17.83 18 18 0 8 12.33 12 13 -1 9 19.33 19 19 0 10 17.66 18 17 +1
下载: 导出CSV
-
[1] Chekmenev S Y, Farag A A, Essock E A. Multiresolution Approach for Non-Contact Measurements of Arterial Pulse using Thermal Imaging[C]//2006 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW'06), 2006: 129-129, doi: 10.1109/CVPRW.2006.139
[2] Garbey M, Sun N, Merla A, et al. Contact-free measurement of cardiac pulse based on the analysis of thermal imagery[J]. IEEE Trans. Biomed. Eng. , 2007, 54(8): 1418-1426. DOI: 10.1109/TBME.2007.891930
[3] Gault T R, Farag A A. A fully automatic method to extract the heart rate from thermal video[C]// 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2013: 336-341.
[4] 梁智敏, 陈骐, 肖书明, 等. 利用热成像技术对心率进行无接触检测的研究[J]. 中国体育科技, 2018, 54(1): 136-145. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTY201801019.htm LIANG Zhimin, CHEN Qi, XIAO Mingshu. Research on non-contact heart rate detection using thermal imaging[J]. China Sport Science and Technology, 2018, 54(1): 136-145. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTY201801019.htm
[5] 景斌, 李海云. 基于红外序列图像的心率无损检测方法研究[J]. 中国生物医学工程学报, 2010, 29(6): 943-946. DOI: 10.3969/j.issn.0258-8021.2010.06.024 JING Bin, LI Haiyun. Study on nondestructive detection method of heart rate based on infrared sequence image[J]. Chinese Journal of Biomedical Engineering, 2010, 29(6): 943-946. DOI: 10.3969/j.issn.0258-8021.2010.06.024
[6] 王建明, 王彦召. 基于红外热像图估计心率和心率波形的新方法[J]. 北京师范大学学报: 自然科学版, 2019(3): 324-328. https://www.cnki.com.cn/Article/CJFDTOTAL-BSDZ201903005.htm WANG Jianming, WANG Yanzhao. A new method for estimating heart rate and heart rate waveform based on infrared thermography[J]. Journal of Beijing Normal University: Natural Science, 2019(3): 324-328. https://www.cnki.com.cn/Article/CJFDTOTAL-BSDZ201903005.htm
[7] 张栋, 高惠合, 温宝珠, 等. 人体正常红外面部图像和温度分布[J]. 自然杂志, 1992, 15(5): 398-399. https://www.cnki.com.cn/Article/CJFDTOTAL-ZRZZ199205027.htm ZHANG Dong, GAO Huihe, WEN Baozhu. Normal infrared facial image and temperature distribution of human body[J]. Nature, 1992, 15(5): 398-399. https://www.cnki.com.cn/Article/CJFDTOTAL-ZRZZ199205027.htm
[8] TANG Q, DAI S G, YANG J. Object tracking algorithm based on Camshift combining background subtraction with three frame difference[J]. Applied Mechanics & Materials, 2013, 373-375: 1116-1119.
[9] Akula A, Khanna N, Ghosh R, et al. Adaptive contour-based statistical background subtraction method for moving target detection in infrared video sequences[J]. Infrared Physics & Technology, 2014, 63: 103-109.
[10] SUN D, Roth S, Black M J. a quantitative analysis of current practices in optical flow estimation and the principles behind them[J]. International Journal of Computer Vision, 2014, 106(2): 115-137. DOI: 10.1007/s11263-013-0644-x
[11] 谢刚. 红外图像人脸识别方法研究进展[J]. 计算机工程与设计, 2008, 29(18): 4801. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ200818051.htm XIE Gang. Research progress of infrared image face recognition method[J]. Computer Engineering and Design, 2008, 29(18): 4801. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ200818051.htm
[12] 曾华. 红外人脸图像识别研究[D]. 武汉: 武汉工程大学, 2011. ZENG Hua. Research on Infrared Face Image Recognition[D]. Wuhan: Wuhan Institute of Technology, 2011.
[13] 刘鸿宇. HP滤波方法原理及其应用情况浅析[J]. 课程教育研究, 2018(34): 150-151. https://www.cnki.com.cn/Article/CJFDTOTAL-KCJY201834152.htm LIU Hongyu. HP filter principle and its application[J]. Research on Curriculum Education, 2018(34): 150-151. https://www.cnki.com.cn/Article/CJFDTOTAL-KCJY201834152.htm
[14] 陈海龙, 王钧婷, 张岩. 时间序列平稳性检验方法分析及应用研究[EB/OL]. 中国科技论文在线[2015-09-02] [2015-09-29]. http://www.paper.edu.cn/releasepaper/content. CHEN Hailong, WANG Junting, ZHANG Yan. Analysis and application of time series stationarity test method[EB/OL]. science & technology magazine online. [2015-09-02] [2015-09-29]. http://www.paper.edu.cn/releasepaper/content.
[15] 王瑞. 小波变换在红外图像处理中的应用研究[D]. 淮南: 安徽理工大学, 2016. WANG Rui. Application of Wavelet Transform in Infrared Image Processing[D]. Huainan: AnHui University of Science and Technology, 2016.
[16] 李庆华, 山拜·达拉拜, 孙全富. 基于自适应小波阈值的心电信号去噪算法[J]. 计算机仿真, 2013, 30(10): 368-371. DOI: 10.3969/j.issn.1006-9348.2013.10.084 LI Qinghua, Senbai Dalabaev, SUN Quanfu. A denoising algorithm of ECG signal based on adaptive wavelet threshold[J]. Computer Simulation, 2013, 30(10): 368-371. DOI: 10.3969/j.issn.1006-9348.2013.10.084
[17] QI C, WANG Z, HAN J, et al. Wavelet threshold denoising of thermal image from transmission joints[C]//2011 International Conference of Information Technology, Computer Engineering and Management Sciences, 2011: 108-111.
[18] 王盛波. 基于视频实时持续心率检测及可视化[D]. 杭州: 杭州师范大学, 2015. WANG Shengbo. Continuous Heart Rate Detection Visualization Based on Video[D]. Hangzhou: Hangzhou Normal University, 2015.
[19] 石超, 王永锋, 王正军. 复杂背景下前景目标提取算法研究[J]. 中国水运, 2019, 19(6): 58-59. https://www.cnki.com.cn/Article/CJFDTOTAL-ZSUX201906032.htm SHI Chao, WANG Yongfeng, WANG Zhengjun. Research on foreground target extraction algorithm under complex background[J]. China Water Transport, 2019, 19(6): 58-59. https://www.cnki.com.cn/Article/CJFDTOTAL-ZSUX201906032.htm
-
期刊类型引用(1)
1. 花文波，赵城慷，高大友，花文涛. 一种温度补偿调焦红外系统丢包检测方法. 红外技术. 2024(09): 1081-1086 . 
本站查看
其他类型引用(0)
计量
- 文章访问数: 240
- HTML全文浏览量: 123
- PDF下载量: 47
- 被引次数: 1
