High-Security Finger Vein Recognition System Using Lightweight Neural Network
-
摘要: 针对特殊材料能伪造手指静脉从而欺骗识别系统，以及利用卷积神经网络进行手指静脉识别计算量大的问题，设计了具有活体检测功能和轻量化卷积神经网络结构的手指静脉识别系统。采用光容积法检测手指脉搏波的变化，从而判断被采集对象是否为活体；利用剪枝及通道恢复方法改进了ResNet-18卷积神经网络，并结合L1正则化增加卷积神经网络的特征选择能力，在提升算法准确率的基础上，能有效地降低计算资源的消耗。实验表明，使用改进的剪枝及通道恢复优化结构，参数量降低了75.6%，计算量降低了25.6%，在山东大学和香港理工大学手指静脉数据库上得到的等误率分别为0.025%、0.085%，远低于ResNet-18得到的等误率(0.117%、0.213%)。Abstract: Special materials can fake finger veins to deceive recognition systems, and the large amount of computation is required for finger vein recognition using convolutional neural networks. In this study, a finger vein recognition system with an in vivo detection function and a lightweight convolutional neural network structure was designed. Changes in finger pulse waves were detected using Photo Plethysmo Graphy to determine whether the object was living. The ResNet-18 convolutional neural network was improved using a pruning and channel recovery method, and L1 regularization was combined to improve the feature selection ability of the convolutional neural network. On the basis of improving the accuracy of the algorithm, the network can effectively reduce the consumption of computing resources. The experimental results show that by using the improved pruning and channel recovery optimization structure, the number of parameters decreases by 75.6%, the amount of calculations decreases by 25.6 %, and the iso-error rates obtained in the Shandong University and Hong Kong Polytechnic University finger vein databases are 0.025% and 0.085%, respectively, which are significantly lower than those of RESNET-18 (0.117% and 0.213%).
-
Keywords:
- finger vein recognition system /
- vivo detection /
- pruning /
- channel recovery
-
0. 引言
离轴四反光学系统具有多光合一的特点，符合机载观瞄系统未来发展的方向，已成为国内外相关领域研究的热点[1]。离轴反射式成像系统相较于传统成像系统更容易实现大口径、长焦距的设计目标，并且能实现多种波段的宽光谱范围的共口径多光合一成像，也不存在中心遮挡问题[2]，是一种较优的多光合一机载观瞄系统的解决方案[3]。黄辰旭等人设计了基于自由曲面的大视场离轴四反光学系统[4]，其成像质量接近衍射极限；操超等人设计了一种基于自由曲面的大视场离轴反射光学系统[5]，所采用的设计方法可以降低大视场自由曲面离轴反射光学系统的设计难度；丁学专等人设计了一种离轴四反射镜光学系统[6]，达到很好的光学性能。
然而离轴四反光学系统对其自由曲面反射面的面型精度和空间姿态要求较高，温度变化会导致其反射面的面型和空间姿态发生变化，最终导致光学系统的光学性能不能达到设计目标[7-8]。
因此针对离轴四反光学系统进行光机热仿真分析，可以预测光学系统在不同环境条件下的变形情况及光学性能，从而针对该系统进行结构优化，进一步提高光学系统在极端条件下工作的稳定性[9-10]。
然而传统的光机热仿真分析需要将光学系统的光学表面热变形结果进行面型拟合，将拟合结果导入光学仿真软件中，在光学软件中进行该光学系统的光学性能仿真。整个过程涉及多个软件间的数据传输和转换，导致仿真过程受到面型拟合误差和数据传输误差的影响，并且针对不同的软件编写接口程序也会进一步延长仿真分析时间和成本[11-16]。
本文基于多物理场有限元仿真软件COMSOL Multiphysics（以下称COMSOL），提出了一种光机热多物理场耦合建模方法，实现了光学系统的光机热一体化仿真分析。
1. 光机热仿真分析流程
本文的光机热仿真模型的分析流程如图 1所示，以一种离轴四反光学系统为例，根据光学设计与机械结构设计的结果，利用三维建模软件建立其三维光机模型。然后将模型导入有限元仿真分析软件COMSOL中进行模型的简化，以提高模型的收敛性和时效性。随后生成装配体有限元模型，并添加固体传热物理场、固体力学物理场和几何光学物理场进行多物理场耦合仿真，该仿真模型可以模拟不同温度条件下的光机结构的变形和应力分布情况，并且可进行热变形后的光学系统的光线追迹仿真，得到光学系统点列图和像差图的变化情况。
2. 多物理场耦合模型建模与仿真
2.1 几何模型与材料
由图 2可知，该光学系统主要包含离轴四反光学系统、可见光成像系统、短波成像系统以及中波成像系统，其中，离轴四反光学系统的设计主要是为了实现机载光学系统的多波段、大口径、小型化和轻量化方向的目标，并提高光学系统优化自由度以及像差平衡能力。
![]()
图 2 离轴四反共体三光合一光学系统Figure 2. Off-axis four-reflection catadioptric tri-light fusion optical system由于光学系统在仿真原理上具有相似性，所以本文仅以离轴四反光学系统为研究对象，意义在于提出一种新的光机热多物理场耦合仿真建模方法，为光机热一体化仿真提供一种新的解决思路，本团队后续会进行多轮的试验测试以验证该方法的有效性。
离轴四反光学系统的结构如图 3所示，该光学系统采用一体化加工技术进行制作，免去了反射镜的装调工作。该模型涉及到几何光学、固体力学以及固体传热学，通过固体力学提供一定位置约束，固体传热学提供模型的指定温度，并导致模型产生热膨胀变形，几何光学通过光线追迹判断结构热变形后的模型光学性能的变化。光学系统的材料采用材料库中的Aluminum 3003-H18材料，其属性为热膨胀系数23.2e-6 K−1、恒压热容893 J/(kg⋅K)、相对介电常数1、密度2730 kg/m3、导热系数155 W/(m⋅K)、杨氏模量69e9 Pa、泊松比0.33。该模型的默认初始温度为293.15 K。
2.2 网格
整个离轴四反光学系统在不同的区域采用了不同大小的四面体网格，用以平衡计算效率和精算精度，网格结果如图 4所示。
在几何光学仿真过程中，当光线接触到表面的边界网格中的网格元素时，它们会与表面相互作用。当光线需要关于它们所击中表面的信息时，例如控制反射和折射光线方向的表面法线方向，这些信息也会在边界网格上进行评估。因此，拥有一个高质量的网格是高精度模拟光学系统性能的重要前提。
由于本模型存在4个自由曲面，表面曲率不一致，所以不能通过粗网格进行表面模拟，需要针对自由曲面进行网格细化操作，以至于网格很好地贴合自由曲面。
本模型的网格通过针对自由曲面表面添加网格大小限制工具，对非规则的表面进行网格细化，最后添加自由四面体网格工机针对其余非敏感区域进行网格划分，从而实现了光学仿真精度和模型计算难度的平衡。
通过网格信息统计工具进行网格质量分析，由图 5(a)可知，整个光学系统的平均网格质量为0.6654，其中1表示理想和优化的网格，0代表退化网格元素。针对反射表面进行网格分析如图 5(b)所示，平均网格质量为0.9337，由此可知，高质量网格比例较高并且分布在光学敏感表面，其余区域通过大体积网格减少计算成本，从而实现一个较优的仿真模型网格。
2.3 多物理场
本模型涉及固体力学物理场、固体传热学物理场和几何光学物理场，通过固体力学提供一定位置约束，固体传热学提供模型的指定温度，并导致模型产生热膨胀变形，几何光学通过光学追迹判断结构热变形后的模型光学性能的变化。
1）固体力学物理场
固体力学物理场可以提供光机系统的力学性能仿真，为后续与热学仿真耦合实现热膨胀及热应力构建基础。本模型将系统的温度变化过程看作多个稳态过程的间断变化，所以固体力学模块的仿真是基于稳态的仿真。
固体力学模型的物体形变、位移是通过空间坐标(x, y, z)表示，空间坐标在初始条件下与材料坐标(X, Y, Z)完全重合，在模型发生形变和位移时，模型的变形和位移按照下述公式表示：
$$x=x(X, t)=X+u(X, t)$$ (1) 式中：x表示空间坐标的x分量；X表示材料坐标的X分量；u代表材料坐标在X方向上的变形量；t代表时间尺度。
由于本模型是一个小变形和有限变形的结构分析模型，所以其分析过程遵循拉格朗日动力方程，计算方程为：
$$ 0={\mathit{\nabla}} \cdot ({\mathit{\boldsymbol{FS}}})^{\text{T}}+{\mathit{\boldsymbol{F}}}v $$ (2) $$ F = I + \nabla u = I + \frac{{\partial u}}{{\partial X}} $$ (3) 式中：F表示模型的变形梯度；S表示模型的位移场；v表示速度；I表示模型张量。
由于整个光学系统并不存在运动和旋转，所以不需要包含惯性项，因此固体力学模块中的结构瞬态特性设置为准静态；由于光学系统需要有一个固定位置以保证系统的稳定性，所以通过边界固定约束的方式提供一个光学系统的固定位置。
2）固体传热学物理场
固体传热物理场可以提供光机系统的热学性能仿真，为后续与力学耦合实现热膨胀及热应力构建基础。
由于本模型仿真的是多个连续稳态的温度情况，即：
$$ T = {T_0} + \frac{{\int q \cdot {\rm{d}}t}}{k} $$ (4) $$ \rho {C_{\rm{P}}}u \cdot \nabla T + \nabla \cdot q = Q + {Q_{{\text{ted}}}} $$ (5) $$q=-k {\mathit{\nabla}} T$$ (6) 式中：T代表设定温度；T0代表初始温度；q代表热通量；t代表时间；k代表导热系数；ρ代表模型的密度；Q代表热源；Qted热弹性阻尼。由于本模型的传热过程是多个稳态过程，不存在热源，所以式(4)的后项的值为0。
本模型的初始温度设置为293.15 K，通过添加温度边界条件以实现光学系统处于不同环境温度的目的，温度的值设置temp，temp为一个全局温度变量，后续通过参数化扫描方式实现光机系统由－40℃~+60℃的温度变化。
3）几何光学物理场
几何光学物理场可以提供光机系统的光学性能仿真，实现光机系统的热变形前后的光学性能对比，以评估光机系统是否满足设计指标，并为后续的光机系统优化奠定基础。
几何光学的射线跟踪算法是通过几何光学界面求解单个射线的位置和波矢量，当光线与表面相互作用时，判断表面属性，具体有镜面反射、漫反射、折射和几种不同类型的吸收，计算方程如下所示：
$$ \frac{{{\rm{d}}q}}{{{\rm{d}}t}} = \frac{{\partial \omega }}{{\partial k}} $$ (7) $$ \frac{{{\rm{d}}k}}{{{\rm{d}}t}} = - \frac{{\partial \omega }}{{\partial q}} $$ (8) 式中：q代表射线的空间位置；t代表时间；k代表波矢量；ω代表角频率。
本模型仅模拟单色光成像性能，所以几何光学物理场的释放射线的波长分布设置为单色，然后针对四面反射镜表面添加全反射属性，由于本模型的研究内容忽略了光线传输过程中的杂散光，所以针对多自由曲面共体光学系统的表面（除了4个反射镜表面），添加壁属性并设置为消失，即光线到达该类表面就被全吸收。添加一个六边环形格栅光源，光源中心位置qc和圆柱周向rc可根据实际模型需要自行设置，用以控制入射光线的特点。
3. 仿真结果及分析
该光学系统的系统温度由－40℃逐渐变化到+60℃，由于材料的热胀冷缩原理并且光学系统的底部有强约束的存在，所以会在约束区域产生如图 6所示的应力集中情况，并且由于光学系统底部存在一个方形槽（用于放置后端成像光学系统），所以该区域会存在较为明显的应力集中情况，但是由于约束区域的强度足够，所以应力集中对于整个系统稳定性的影响很小。
图 7显示了该系统的热变形情况，由于光学系统整体变形量较小，为了较为清晰地看到光学系统的变形，图片针对变形结果做了一定比例的放大，其中线框图为光学系统变形前的结构。由图可知，在温度T=＝－40℃条件下光学系统以固定约束点为中心进行收缩，最大位移达到了0.336 mm；在温度T＝+60℃条件下光学系统以固定约束点为中心进行膨胀，最大位移达到了0.225 mm。
图 8显示了光学系统第一反射表面在高低温条件下的变形情况，黑色线框代表常温条件下的几何形状，彩色区域代表不同温度条件下的变形情况。以低温T＝－40℃为例，当温度降低时，第一反射镜表面整体向下，最大位移量达到0.54 mm，这一特性会导致低温条件下光学系统的光线传播发生改变，最终导致光学系统成像质量发生变化。后续优化可以此为依据，以减小温度变化带来的反射镜位置的变化。
图 9显示了光机系统在不同温度条件下的点列图分布情况，20℃默认为常温条件，光机系统点列图的均方差为5.0 μm，－40℃温度条件下，光机系统点列图的均方差为44.4 μm，+60℃温度条件下光机系统的点列图均方差为34.1 μm。该光学系统在低温条件下像面的漂移情况比高温下更严重，后续的结构优化可以将点列图的均方值作为一个优化目标，以实现更高热稳定性的光学系统的优化设计。
4. 结论
本文基于COMSOL有限元仿真软件，通过同时考虑固体传热物理场、固体力学物理场和几何光学物理场，开展了离轴四反光学系统在不同环境温度条件下的结构变形及光学性能变化情况的仿真研究，提出了一种适用于离轴四反光学系统的多物理场耦合仿真建模方法。通过仿真分析发现，环境温度的变化会引起光学支撑结构和光学表面发生形变，且形变量的大小与温差成正相关；光学系统的变形趋势皆以固定约束区域为中心进行膨胀或收缩，可以用过增加部分区域的刚度实现光学系统热稳定性的提高；该光学系统在不同温度下，最佳聚焦位置会产生漂移，可通过增加调焦机构对像面位置进行调节，以提升光学系统的成像质量；通过仿真分析证明了该仿真建模方法相较于传统仿真建模方法减少了不同软件之间的数据处理和数据传输，进一步简化了仿真过程并且提高了一体化仿真程度，为进一步深入了解光学系统在不同温度下的变形情况、成像性能以及光学系统性能优化提供了一种有效手段。
-
![]()
图 7 手指静脉图像采集部分结构：(a) 图像采集装置结构图；(b) 脉搏传感器；(c) 图像传感器
Figure 7. The structure of image acquisition device: (a) The structure of image (b) Pulse sensor; (c) Imaging sensor acquisition device
![]()
图 11 SDUMLA和HkpolyU数据集上EER值对比
Figure 11. Comparison of EER values on SDUMLA and HkpolyU datasets
表 1 不同识别方法的比较
Table 1 Comparison of different recognition methods
Methods Accuracy/% Parameters Flops SDUMLA HKpolyU AlexNet 96.32 92.28 26.7×106 1.7×108 Hong’s method[23] 95.77 95.83 44.0×106 32×108 ResNet-18 97.79 96.26 19.7×106 4.3×108 PRC 98.46 98.28 4.8×106 3.2×108 PRC+L1 99.42 98.86 4.8×106 3.2×108 
下载: 导出CSV
-
[1] Jain A, Bolle R, Pankanti S. Biometrics: Personal Identification in Networked Sciety[M]. Springer Science & Business Media, 1999.
[2] 黄易豪. 基于手部静脉图像的身份识别关键技术研究[D]. 绵阳: 西南科技大学, 2021. HUANG Yihao. Research on Key Technologies of Identity Recognition Based on Hand Vein Images[D]. Mianyang: Southwest University of Science and Technology, 2021.
[3] Mohsin A H, Zaidan A A, Zaidan B B, et al. Finger vein biometrics: Taxonomy analysis, open challenges, future directions, and recommended solution for decentralised network architectures[J]. IEEE Access, 2020, 8: 9821-9845. DOI: 10.1109/ACCESS.2020.2964788
[4] Ahmad Radzi S, Khalil-Hani M, Bakhteri R. Finger-vein biometric identification using convolutional neural network[J]. Turkish Journal of Electrical Engineering and Computer Sciences, 2016, 24(3): 1863-1878.
[5] Das R, Piciucco E, Maiorana E, et al. Convolutional neural network for finger-vein-based biometric identification[J]. IEEE Transactions on Information Forensics and Security, 2019, 14(2): 360-373. DOI: 10.1109/TIFS.2018.2850320
[6] HONG H G, Lee M B, Park K R. Convolutional neural network-based finger-vein recognition using NIR image sensors[J]. Sensors, 2017, 17(6): 1297-1318. DOI: 10.3390/s17061297
[7] LI R, SU Z, ZHANG H, et al. Application of improved GCNs in feature representation of finger-vein[J]. Journal of Signal Processing, 2020, 36(4): 550-561.
[8] HE X, CHEN X. Finger vein recognition based on improved convolution neural network[J]. Comput. Eng. Design, 2019, 40: 562-566.
[9] DAI Y, HUANG B, LI W, et al. A method for capturing the finger-vein image using nonuniform intensity infrared light[C]//2008 Congress on Image and Signal Processing, 2008: 501-505.
[10] YU X, YANG W, LIAO Q, et al. A novel finger vein pattern extraction approach for near-infrared image[C]//2009 2nd International Congress on Image and Signal Processing, 2009: 1-5.
[11] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.
[12] 陈鹤森. 基于深度学习的细粒度图像识别研究[D]. 北京: 北京邮电大学, 2018. CHEN Hesen. Research on Fine-Grained Image Recognition Based on Deep Learning[D]. Beijing: Beijing University of Posts and Tele-Communications, 2018.
[13] LIU J, ZHUANG B, ZHUANG Z, et al. Discrimination-aware network pruning for deep model compression[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(8): 4035-4051.
[14] HAN K, WANG Y, TIAN Q, et al. Ghostnet: more features from cheap operations[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 1580-1589.
[15] 弓雷. ARM嵌入式Linux系统开发详解[M]. 2版: 北京: 清华大学出版社, 2014. GONG Lei. ARM Embedded Linux System Development Details[M]. 2nd edition: Beijing: Tsinghua University Publishing House Co. Ltd., 2014.
[16] CHEN X, HUANG M, FU Y. Simultaneous acquisition of near infrared image of hand vein and pulse for liveness dorsal hand vein identification[J]. Infrared Physics & Technology, 2021, 115: 103688.
[17] WU W, YUAN W, LIN S, et al. Selection of typical wavelength for palm vein recognition[J]. Acta Optica Sinica, 2012, 32(12): 1211002. DOI: 10.3788/AOS201232.1211002
[18] LIU J, YAN B P-Y, DAI W-X, et al. Multi-wavelength photo-plethysmography method for skin arterial pulse extraction[J]. Biomedical Optics Express, 2016, 7(10): 4313-4326. DOI: 10.1364/BOE.7.004313
[19] YIN Y, LIU L, SUN X. SDUMLA-HMT: a multimodal biometric database[C]// Chinese Conference on Biometric Recognition(CCBR), 2011: 260-268.
[20] Kumar A, ZHOU Y. Human identification using finger images[J]. IEEE Transactions on Image Processing, 2011, 21(4): 2228-2244.
[21] 罗建豪. 面向深度卷积神经网络的模型剪枝算法研究[D]. 南京: 南京大学, 2020. LUO Jianhao. Research on Model Pruning Algorithmsfor Deep Convolutional NeuralNetworks[D]. Nanjing: Nanjing University, 2020.
[22] LI H, Kadav A, Durdanovic I, et al. Pruning filters for efficient convnets[J/OL]. arXiv preprint arXiv: 1608.08710, 2016.
[23] HONG H G, Lee M B, Park K R. Convolutional neural network-based finger-vein recognition using NIR image sensors[J]. Sensors, 2017, 17(6): 1297. DOI: 10.3390/s17061297
计量
- 文章访问数: 95
- HTML全文浏览量: 67
- PDF下载量: 37
