Silent Live Face Detection in Near-Infrared Images Based on Optimized LeNet-5
-
摘要: 针对当前交互式活体检测过程繁琐、用户体验性差的问题，提出了一种优化LeNet-5和近红外图像的静默活体检测方法。首先，采用近红外光摄像头构建了一个非活体数据集；其次，通过增大卷积核、增加卷积核数目、引入全局平均池化等方法对LeNet-5进行了优化，构建了一个深层卷积神经网络；最后，将近红外人脸图片输入到模型中实现活体静默活体检测。实验结果表明，所设计的模型在活体检测数据集上有较高的识别率，为99.95%，整个静默活体检测系统的运行速度约为18~22帧/s，在实际应用中鲁棒性较高。Abstract: An improved method of silent liveness detection for LeNet-5 and near-infrared images is proposed to overcome the problem of the interactive liveness detection process and poor user experience. First, a face attack dataset was constructed using a near-infrared camera. Second, the LeNet-5 was optimized by increasing the number of convolution kernels and introducing global average pooling to construct a deep convolutional neural network. Finally, the near-infrared face image is input to the model to realize silent liveness detection. The experimental results show that the proposed model has a higher recognition rate for the liveness detection dataset, reaching 99.95%. The running speed of the silent liveness detection system is approximately 18-22 frames per second, which shows high robustness in practical applications.
-
0. 引言
太阳光中包含各种波段的光，但是地球大气层中的臭氧层会对220~280 nm波段的紫外光进行吸收，因此该波段的光很难到达地球表面，该波段又被称为“日盲”紫外波段[1]。我们通过220~280 nm紫外光的日盲特性对处于该波段的目标物进行检测成像，能够有效地排除掉阳光对其造成的影响。而高压输电线路由于其自身的故障会在大气中产生电晕，电晕放电会放射出波段为220~280 nm的紫外光[2-6]。传统的电晕探测技术有红外热探测和超声波探测，日盲紫外电晕探测相比于这两种技术有极大的改进：和红外技术相比，在早期就能检测到高压输电线上的电晕放电现象，并且不受周边环境干扰；和超声波技术相比，能够探测的距离长，并且能够检测出电晕放电产生的位置。如今，国内的紫外检测技术飞速发展，以国产碲铯阴极紫外像增强器为核心的紫外成像仪能够对电力设备故障进行实时的检测[7-9]。
1. 光子计数原理
在日盲紫外电晕成像探测过程中，一般是根据显示器上所显示的日盲紫外图像来主观判断电晕放电的程度，这样会带来很大的误差，所以需要通过具体的算法对日盲紫外电晕放电进行量化分析。考虑到日盲紫外电晕信号十分微弱，达到了单光子水平，普通的量化分析方法不能满足要求，因此需要设计合理的光子计数算法来对日盲紫外信号进行量化分析。
图 1是单光子探测的原理图。首先，光信号通过光学镜头进行光学聚焦；然后，前端光电探测器将光信号转化成电信号；其次，将电信号输入至信号处理模块进行处理；最后，后端读出电路模块将处理之后的信号进行输出。其中，因为日盲紫外信号十分微弱，传统的固体探测器件难以达到要求，因此一般会采用真空器件对信号进行光电转换和电子倍增。与此同时，当需要对目标信号强弱进行分析并对其进行成像时，采用像增强器作为光电转换和成像器件[10]。
当日盲紫外光子信号低于3×10－15 W/cm2时，光电转换器就会产生离散脉冲信号，合适的CMOS传感器就能探测到光子信号，所以能够统计日盲紫外信号光子的数量来实现对目标源信号的定量化分析。光子的能量公式为：
$$ E = h\frac{c}{\lambda } $$ (1) 式中：h为普朗克常数；c为真空中的光速；λ为光的波长。其中日盲紫外波段为200~280 nm[3]，通过计算得出一个日盲紫外光子的能量为7.1×10－19~1×10－18 J。
日盲紫外光光功率P表示为：
$$ P＝N×E $$ (2) 式中：N表示光子数；E表示单光子能量，所以单位时间内通过的光能量表示光流强度。
目标源信号的光功率可以通过统计一个截面上的光子数量来计算得到[4-7]。由于图像传感器靶面尺寸约为1.56 cm2，通过对单位时间内探测到的紫外图像上出现的光斑进行计数统计，就能计算得出一帧图像的光子数以及日盲紫外信号源的光功率。
2. 测试系统
本文所设计的日盲紫外成像系统原理框图如图 2所示，成像系统主要由紫外ICMOS模组、可见光探测器、ARM+FPGA嵌入式处理系统组成。其中，紫外ICMOS模组用来采集日盲紫外微弱信号，并经过模数转换将数字图像信号输入嵌入式平台中；可见光探测器采集可见光图像为日盲紫外信号提供位置信息；ARM+FPGA嵌入式处理系统通过采集紫外数字图像信息，完成图像处理和光子计数算法，并将处理后的图像输出显示。
![]()
图 2 日盲紫外成像系统整体设计框图Figure 2. Block diagram of overall design of solar blind ultraviolet imaging system图 3是所设计的日盲紫外成像系统整机实物图，尺寸（长×宽×高）为244 mm×135 mm×96 mm。其中1为相机窗口，2为LCD液晶屏，3为按键控制面板，4为电源充电口和TF卡槽，5为腕带。
3. 日盲紫外光子计数算法设计
3.1 传统光子计数算法分析
传统的光子计数算法通常为连通域标记光子计数算法，其算法主要思路为：假设单光子经过像增强器倍增以后，在荧光屏上所显示的每一个光斑都未重合。那么每一个光斑就对应了一个光电子，因此只需要对一帧图像中光斑出现的数量，就可以得出一帧图像中日盲紫外光子数。在连通域标记算法中，对经过图像预处理后的紫外图像进行二值化处理，得到一幅二值化图像。每个由灰度255组成的连通域表示为一个光子事件，图 4为连通域标记算法的示意图。
然后，对所采集到的一帧紫外图像进行连通域算法仿真分析，图 5为所采集到的日盲紫外图像和二值化后的图像。
通过对图进行连通域标记光子计数算法仿真，可以得出共有12个光子。通过分析二值化后的图像可知，连通域标记算法将光斑较大和较小的区域都默认为一个光子事件进行统计，这样显然影响了光子计数的准确度，因此需要对此光子计数算法进行改进。
3.2 基于时间相关的光子计数算法设计
弥散圆斑算法是一种从三维空间上统计光子数的方法，由于所设计的高帧频算法，可以使得光斑的变化在时间域上被捕获，因此本文在此基础上添加了时间因素，弥补光斑出现时间的随机性，找出四维空间中的最大点，约束条件如式(3)：
$$ \left\{ \begin{gathered} {f_x}'(x,y,z) \leqslant 0 \hfill \\ {f_y}'(x,y,z) \leqslant 0 \hfill \\ {f_t}'(x,y,z) \leqslant 0 \hfill \\ \end{gathered} \right. $$ (3) 由于加入了时间的约束，所以只有找出一段时间内几帧图像同一位置光斑的极大值点才能准确计算光子数。本文采用的CMOS传感器图像输出频率为3 ms每帧，而荧光屏的余晖时间为6 ms，即光斑在荧光屏上的起伏时间为6 ms，因此我们通过连续采样得到3帧图像就能得到光斑的变化范围，如图 6所示，其中a、b、c表示图像中光斑的灰度值。
如图 6所示，中间一帧图像中b灰度值最大，可以将b记作一个光子数，因此只要中间帧图像中光斑的灰度值大于前后帧图像光斑的灰度值，就能将其记为一个光子数。
这样就能统计出一帧图像的光子数[10]：
$$ n = \sum\limits_{k = 1}^f {\sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {Y(i,j,k)} } } $$ (4) 式中：f为日盲紫外成像探测器的帧频；k为第k帧图像；(i, j)为二维空间坐标；Y(i, j, k)为四维空间中的极大值点。由于日盲紫外成像探测器能达到300帧/s的帧频，两帧之间的变化时间较小，因此Y(i, j, k)又能满足：
$$ B(i,j,k)≥B(i±i′,j±j′,k±k′) $$ (5) 式中：B(i, j, k)为第k帧(i, j)点的灰度值。由上式可见，极大值点Y(i, j, k)的约束条件为：B(i, j)在i′×j′矩阵像素中具有最大的灰度值，且在前后k′帧的同一位置的灰度值也是最大的。根据日盲紫外成像探测器的输出帧频，这里k′＝1，同时i′×j′矩阵可设定为3×3矩阵或5×5矩阵。
4. 实验流程与不确定性度分析
4.1 光子计数算法的仿真实验分析
首先，本文用日盲紫外成像探测器采集图像，然后运用Matlab软件分别对两种算法进行仿真，比较仿真结果来判断时间相关的光子计数算法能否提高计数精度。
首先选用260 nm波段的紫外光源，然后日盲紫外成像探测器的增益电压调节为2.5 V，调节紫外光源光功率密度，从3×10－19 W/cm2每次往上增加一个数量级，采集3组不同光强的实验图像，每组实验记录3幅图像，如图 7所示。
运用MATLAB软件对采集的图像仿真，得出的光子数如表 1所示。表 1中的两种算法为连通域计数算法和基于时间相关算法。
表 1 两种算法光子计数统计表Table 1. Photon counting statistic table of two algorithmConnected domain labeling algorithm Dispersion circular algorithm Group 1 7 6 Group 2 78 78 Group 3 88 291 结果显示，当信号源很弱时，光子就会分散分布，因此两种算法的计数结果比较相近。在增强紫外光源的光功率后，光斑会重叠，并且连通域标记光子计数算法得出的光子数量没有太大变化，而本文所设计的算法随着信号的增强，计数值不断增加，由此可知，弥散圆斑算法相对于连通域计数算法更加精确，可对日盲紫外单光子进行准确统计。
4.2 基于日盲紫外成像系统的光子计数算法实验及分析
通过对两种算法的仿真分析可知，本文所设计的光子计数算法更具准确性，但由于所设计成像系统的资源和速度限制，我们将日盲紫外图像的14 bit数据压缩成8 bit数据进行处理，因此会使得计数精度上有所偏差，所以通过对紫外光源的实验来验证硬件实现的效果。
实验采用氘灯作为日盲紫外目标源进行光子计数实验测试，紫外ICMOS模组的增益电压保持不变，进行了如下3组实验：
第一组，关闭日盲紫外信号源，实验结果如图 8所示。
通过采集3帧图像，所计算的光子数一直为0，说明所设计的成像系统暗计数良好。
第二组，打开氘灯光源，并调节光源强度到最弱，采集到的图像如图 9所示。
第三组，输出光源光功率密度加到1×10－18 W/cm2，采集到的图像如图 10所示。
然后，我们利用Matlab对每组连续的3帧图像进行所设计的光子计数算法仿真，仿真结果与FPGA计算的结果如表 2所示。
表 2 四组光子计数实验结果Table 2. Results of four groups of photon counting experimentsGroup1 Group 2 Group 3 FPGA output result 0 24 141 Matlab simulation result 0 23 149 通过表 2可知，硬件实验的光子计数算法与仿真结果相近，证明了所设计的基于时间域的弥散圆斑光子计数算法在成像系统中可以硬件实现，并且效果良好。
5. 结论
日盲紫外电晕探测是近年来一种新型的电晕探测方式，但是紫外图像单靠人眼无法精确地判断电晕信号的强弱，因此本文研究了日盲紫外光子计数算法，通过对连通域标记算法和弥散圆斑算法进行分析提出了基于时间相关算法，然后使用Matlab对两种算法进行了实验仿真，结果显示基于时间相关算法对光子计数更加准确，最后，通过实验验证所设计的算法可以在成像系统中的FPGA硬件平台上实现，并且实现的效果良好，能够用于紫外成像仪中对信号进行量化分析。
-
![]()
图 5 活体检测系统示例
注：系统测试对象均未在数据集中出现过
Figure 5. Examples of live detection systems
Note: None of the system test objects have appeared in the dataset
表 1 模型结构参数
Table 1 Model structure parameters
Layer Name Layer Type Output Size/Strides Kernel Size Input Input layer 128×128×3/- - C1 Convolution 128×128×32/1 7 P1 Max Pooling 64×64×32/2 2 C2 Convolution 64×64×64/1 7 P2 Max Pooling 32×32×64/2 2 C3 Convolution 32×32×128/1 5 P3 Max Pooling 16×16×128/2 2 C4 Convolution 16×16×256/1 5 P4 Max Pooling 8×8×256/2 2 C5 Convolution 8×8×512/1 5 P5 Max Pooling 4×4×512/2 2 GAP GAP 1×1×512/1 4 Softmax Softmax 2/- - 
下载: 导出CSV
表 2 10折交叉验证结果
Table 2 10-fold cross-validation results
Category Test Dadaset 1 2 3 4 5 6 7 8 9 10 Liveness 99.97 99.97 99.97 100 100 99.97 99.97 99.97 100 99.95 Non-liveness 99.98 99.95 99.91 99.98 99.88 99.93 99.86 99.93 99.91 99.83 Overall 99.96 99.95 99.94 99.95 99.98 99.95 99.91 99.95 99.96 99.90
下载: 导出CSV
表 3 三种算法结果比较
Table 3 Comparison of the results of the three algorithms
Algorithm Accuracy/% Average prediction time for a single picture/ms GPU CPU SVM 96.67 - 4.43 LeNet-5 98.23 2.03 7.57 LeNet_Liveness 99.95 10.77 31.08
下载: 导出CSV
表 4 不同文献结果比较
Table 4 Comparison of results from different literature
Detection type Literature Algorithm Equipment Accuracy/% Interactive [2] Head posture + mouth opening and closing detection Visible light camera 99.25 [4] Random emoji commands Visible light camera 95.85 [5] Blink detection + smile detection + open mouth detection VTM camera 97.67 Silent [13] LBP+Gabor+SVM Visible light camera 98.00 [14] SVM+3D point cloud reconstruction+Face key point Binocular camera(Near infrared light+visible light) 99.00 [15] CNN(double-mean pooling +multiple types of activation function) Visible light camera 99.67 This article CNN (LeNet-5 improvements) near-infrared camera(Near infrared light) 99.95
下载: 导出CSV
-
[1] Singh A K, Joshi P, Nandi G C. Face recognition with liveness detection using eye and mouth movement[C]//Proceedings of the 2014 International Conference on Signal Propagation and Computer Technology (ICSPCT), IEEE, 2014: 592-597.
[2] 张进, 张娜娜. 优化特征提取的互动式人脸活体检测研究[J]. 计算机工程与应用, 2019, 55(13): 193-200. DOI: 10.3778/j.issn.1002-8331.1804-0227 ZHANG Jin, ZHANG Nana. Research on Interactive Face Detection Based on Optimized Feature Extraction[J]. Computer Engineering and Applications, 2019, 55(13): 193-200. DOI: 10.3778/j.issn.1002-8331.1804-0227
[3] V David, A Sanchez. Advanced support vector machines and kernel methods[J]. Neurocomputing, 2003, 55(1/2): 5-20. http://www.onacademic.com/detail/journal_1000035125251010_2624.html
[4] Ng E S, Chia Y S. Face verification using temporal affective cues[C]// Proceedings of the 21st International Conference on Pattern Recognition, Piscataway, 2012: 1249-1252.
[5] 马钰锡, 谭励, 董旭, 等. 面向VTM的交互式活体检测算法[J]. 计算机工程, 2019, 45(3): 256-261. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201903043.htm MAYuxi, TAN Li, DONG Xu, et al. Interactive Liveness Detection Algorithm for VTM[J]. Computer Engineering, 2019, 45(3): 256-261. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201903043.htm
[6] Lecun Y, Bottou L. Gradient-based learning applied to document recognition[C]//Proceedings of the IEEE, 1998, 86(11): 2278-2324.
[7] 李文宽, 刘培玉, 朱振方, 等. 基于卷积神经网络和贝叶斯分类器的句子分类模型[J]. 计算机应用研究, 2020, 37(2): 333-336, 341. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202002003.htm LI Wenkuan, LIU Peiyu, ZHU Zhenfang, et al. Sentence classification model based on convolution neural network and Bayesian classifier[J]. Application Research of Computers, 2020, 37(2): 333-336, 341. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202002003.htm
[8] 程淑红, 周斌. 基于改进CNN的铝轮毂背腔字符识别[J]. 计算机工程, 2019, 45(5): 182-186. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201905029.htm CHENG Shuhong, ZHOU Bing. Recognition of Characters in Aluminum Wheel Back Cavity Based on Improved Convolution Neural Network[J]. Computer Engineering, 2019, 45(5): 182-186. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201905029.htm
[9] LIN M, CHEN Q, YAN S. Network In Network[EB/OL]. [2014-03-04]. https://arxiv.org/pdf/1312.4400.pdf.
[10] ZHANG B, ZHANG L, ZHANG D, et al. Directional binary code with application to PolyU near-infrared face database[J]. Pattern Recognition Letters, 2010, 31(14): 2337-2344. DOI: 10.1016/j.patrec.2010.07.006
[11] ZHANG K, ZHANG Z, LI Z, et al. Joint Face detection and alignment using multitask cascaded Convolutional Networks[J]. IEEE Signal Processing Letters, 2016, 23(10): 1499-1503. DOI: 10.1109/LSP.2016.2603342
[12] KINGMA D P, BA J. Adam: a method for stochastic optimization[EB/OL]. [2014-12-22]. https://arxiv.org/pdf/1412.6980v8.pdf.
[13] Määttä J, Hadid A, Pietikäinen M. Face spoofing detection from single images using micro-texture analysis[C]//Proceedings of the International Joint Conference on Biometrics, IEEE, 2011: 1-7.
[14] 邓茜文, 冯子亮, 邱晨鹏. 基于近红外与可见光双目视觉的活体人脸检测方法[J]. 计算机应用, 2020, 40(7): 2096-2103. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202007038.htm DENG Qianwen, FENG Ziliang, QIU Pengchen. Face liveness detection method based on near-infrared and visible binocular vision[J]. Journal of Computer Applications, 2020, 40(7): 2096-2103. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202007038.htm
[15] 龙敏, 佟越洋. 应用卷积神经网络的人脸活体检测算法研究[J]. 计算机科学与探索, 2018, 12(10): 1658-1670. DOI: 10.3778/j.issn.1673-9418.1801009 LONG Min, TONG Yueyang. Research on Face Liveness Detection Algorithm Using Convolutional Neural Network[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(10): 1658-1670. DOI: 10.3778/j.issn.1673-9418.1801009
-
期刊类型引用(1)
1. 杨晓超，郝慧良. 矿用电缆放电监测系统研究设计. 中国煤炭. 2024(S1): 406-410 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 201
- HTML全文浏览量: 44
- PDF下载量: 49
- 被引次数: 2
