0.   引言

随着智慧时代的到来，人们的生产生活中越来越多地应用到个人身份认证，并且各项应用对身份认证系统的准确性和安全性要求越来越高。传统的密码输入、刷卡识别等方式无法满足高安全性的要求，逐渐被生物特征识别技术所取代。目前已有的生物特征识别技术包括人脸、虹膜、指纹等^[1]。相比于这些生物特征，手指静脉图像由近红外光作为光源采集，图像的纹理特征具有安全性较高，且不易受到外部环境影响等优点，成为身份认证技术中的重要研究内容^[2]，并成功地应用于生产实际中，例如煤矿工作人员打卡系统、银行金融门禁、监狱门禁和汽车安全系统^[3]。

手指静脉识别系统被广泛研究，相比于传统方法，更鲁棒、泛化能力更好的卷积神经网络(convolutional neural network, CNN)逐渐被用于手指静脉识别问题中。Radzi^[4]等人使用结合了改进随机对角线算法的4层CNN来分类识别手指静脉图像，该网络模型收敛速度更快，且在自建数据库中训练获得了较高的识别准确率，但其泛化能力较差。Das^[5]等人将CNN提升到5层来分类识别手指静脉图像，并在多个公共数据库中得到了较好的识别精度，但模型训练时间较长。Hong^[6]等人使用VGG网络对手指静脉进行识别，发现随着训练样本数量的增加，识别准确率会提高，但VGG模型整体的计算复杂度较高、参数量较大。Li^[7]等人使用改进的图卷积网络识别手指静脉图像，获得了很好的识别精度，但需要进行图像预处理来构造手指静脉的加权图，增加了系统的复杂度。He^[8]等人尝试增加更多卷积层来增强网络的特征提取能力，在训练样本较少的情况下提高了识别精度，同时也增加了网络的复杂度。

事实上，对于手指静脉识别任务来说，网络的复杂度提升，不利于在较少计算资源的边缘设备上进行部署。针对传统模型参数量大、检测实时性差等问题，对轻量化模型展开研究具有重要意义。

并且研究发现，利用特殊材料(如：传统的有机化合物、碳纳米材料)打印的静脉图片能够对识别系统进行欺骗干扰^[9-10]，这些欺骗和干扰技术严重地威胁到了手指静脉识别系统的安全。因此，如何将防欺骗技术融合至手指静脉识别系统中，也是系统安全的关键问题。

为了进一步提升手指静脉识别系统的安全性，降低模型的复杂度，本文重点设计了活体检测方法和基于结构化剪枝及通道恢复(pruning and restoring channels, PRC)的CNN结构。在活体检测部分，使用光电式脉搏传感器采集手指脉搏波信号，将该信号对比正常人体脉搏来判断目标是否为活体样本，系统的安全性得以提升。在网络模型设计部分，以ResNet-18模型为基础网络，针对在模型训练过程中的冗余计算，使用卷积核参数的L₂范数值来指导模型的卷积核剪枝，通过裁剪不重要的卷积核来减少模型的计算量；再对剪枝后卷积核映射的特征图进行简单的线性变换，利用线性变换的特征图补充因裁剪而缺失的特征通道；另外，卷积核剪枝过程中存在对特征提取有较大贡献的权重参数被误剪的情况，为了减少误剪率，使用正则化筛选高权重参数，提高改进模型结构的分类识别能力。

1.   基于ResNet的PRC优化模型结构

1.1   经典ResNet网络模型

“非跳跃连接”的卷积网络在训练时，随着网络层数的加深，除了容易出现梯度消失和梯度爆炸等问题，网络的性能还可能在收敛、饱和后迅速退化。为了解决这些问题，何凯明等人提出一种深度卷积神经网络架构——ResNet^[11]，主要由卷积层堆叠而成的残差单元组成。残差结构块如图 1所示，输出X_L+1由输入X_L的两层卷积结果F(X_L)再加上X_L本身得来，图中的F(X_L)为网络的残差映射函数，残差模块最终得到的结果为：

图  1  残差结构示意图

Figure  1.  Schematic diagram of residual structure

下载: 全尺寸图片 幻灯片

式中：$ F\left(X_L,\left\{W_i\right\}\right)=W_2 \delta\left(W_1 X_L\right) $，其中δ表示激活函数，W₁和W₂分别为图 1中第一个卷积层和第二个卷积层中卷积核的权重参数。ReLU和BN分别表示ReLU激活函数和批归一化(batch normalization, BN)。

在一般的识别任务中，“非跳跃连接”的卷积网络能通过前向传播和反向传递调优参数，提取到待识别图像中的纹理特征。因不同手指静脉图像之间可能具有相对较高的相似度，所以需要卷积网络提取到更加细粒度的区分特征才能实现准确识别^[12]。相对于普通CNN，跳连接结构在参数保持不变的前提下，可以学到新的特征，这种特点有利于手指静脉图像数据的特征提取，因此本文选择ResNet作为基础网络模型。

1.2   PRC优化模型结构

为了进一步降低网络模型结构的复杂度，便于后续在嵌入式设备上进行部署；相比于其他ResNet结构，本文选择了参数量较小的ResNet-18进行优化设计。由于CNN的计算消耗主要是在卷积层上，所以主要对目标卷积层做出改进。优化后的恒等结构如图 2所示。

图  2  优化恒等结构

Figure  2.  Optimized identity structure

下载: 全尺寸图片 幻灯片

图中PRC Conv为本文设计的剪枝及通道恢复卷积，其具体结构如图 3所示。

图  3  PRC Conv结构图

Figure  3.  The structure of PRC Conv

下载: 全尺寸图片 幻灯片

图 3中c、h和w分别为输入特征图的通道数、高和宽，Pruning Conv为结构化局部剪枝^[13]，裁剪不重要的卷积核。剪枝后的卷积核对输入特征图进行卷积运算后，得到通道数减半的中间层特征图F1。然后，再利用深度卷积生成新的特征图F2。最后，将F1和F2进行通道方向的级联，将通道数量恢复为c个通道。

1.2.1   Pruning Conv流程

上述方法中，我们用到了卷积核结构化剪枝来进行网络的轻量化改进。Pruning Conv流程图如图 4所示。

图  4  Pruning Conv流程

Figure  4.  Flow chart of Pruning Conv

下载: 全尺寸图片 幻灯片

图 4中X_i表示第i层特征图，h_i、w_i、C_i分别为特征图的高、宽和通道数，f_i+1表示第i+1层的卷积层，k表示卷积核的尺寸。输入特征图$ X_{i} \in \mathbb{R}^{C_{i} \times h_{i} \times w_{i}} $经过卷积层f_i的C_i+1个卷积核卷积输出第i+1层的特征图$ X_{i+1} \in \mathbb{R}^{{C}_{i+1} \times h _{i} \times w_{i}} $。在剪枝时，以卷积核权重的L₂范数作为评价指标，根据指标裁剪不重要的卷积核。卷积核的L₂范数$ \|f\|_{2} $被定义为：

式中：θ_{m, n}中的θ_{m, :} 表示参数矩阵θ的第m行，θ_{: , n}表示参数矩阵θ的第n列。通过卷积层f_i映射得到特征图时，需要消耗的计算量为$ C_{i} \times C_{i+1} \times k^{2} \times h_{i} \times w_{i} $，如图 4中，剪去阴影标记的卷积核后，可直接减少$ C_{i} \times k^{2} \times h_{i} \times w_{i} $的计算量，并且后续的一个特征映射的过程减少$ C_{i+2} \times k^{2} \times h_{i} \times w_{i} $的计算量。

1.2.2   权重稀疏化

网络训练过程中，如果仅通过设置阈值的方式裁剪具有较小权重参数的卷积核，以此减少冗余的卷积层，那么被裁剪的卷积核中仍可能存在权值较高的参数被误裁剪。因此，为了降低高权重参数的误剪率，我们利用带约束条件的凸优化方法预先进行卷积核权重稀疏化。具体为，使用L₁正则化方法对网络训练参数的更新添加约束，使得参数稀疏化。模型权重参数W的L₁正则化项Ω(W)被定义为：

式中：W_i为第i层卷积核的参数。正则化的目标函数$ \tilde{J}(W ; X, y) $如下所示：

式中：J(W; X, y)为网络的经验损失；X是输入数据；y是标签；α∈[0, +∞)是用来缩放惩罚项的超参数。

对应的梯度函数$ \mathit{\nabla}_{w} \tilde{J}(W ; X, y) $为：

式中：∇_W表示函数对W求偏导。网络反向传播时，参数W更新如下：

式中：η表示学习率。参数更新时，L₁正则化参与更新的值为一个定值ηαsign(W)，迭代若干次后，可以将卷积核中更多的权值参数限制在一个零邻域内，从而达到了权重稀疏和重要特征选择的目的。

1.2.3   通道恢复

虽然剪枝减少了卷积网络的计算量，但是剪枝过程中造成的通道缺失却会影响ResNet结构中跳连接的实现。为了解决这个问题，受文献[14]的启发，设计了通道恢复模块。该方法在剪枝结构去除冗余信息的基础上，将保留的重要信息进行再利用，有效地恢复了分类网络的性能。通道恢复具体的步骤如图 5所示。

图  5  通道恢复流程

Figure  5.  Flow chart of channel recovery

下载: 全尺寸图片 幻灯片

图 5中黑色阴影部分为裁剪卷积核后缺失的特征图，$ X_i^1 \in \mathbb{R}^{m \times h_i \times w_i}$为剪枝后卷积得到的特征图，Φ₁~Φ_m为对应特征图通道的映射函数，m表示特征图的通道数。为了增加卷积过程中有用的特征信息，同时补偿损失的特征图，将X_i¹通过Φ₁~Φ_m函数映射得到$X_i^{1^{\prime}} \in \mathbb{R}^{m \times h_i \times w_i} $，X_i¹和$ X_i^{1^{\prime}}$在通道上进行拼接，获得输出特征图$ X_{\mathrm{i}}^2 \in \mathbb{R}^{2 m \times h_i \times w_i} $。Φ₁~Φ_m所对应的线性变换部分是分组数为m的分组卷积。该卷积层增加的计算量为$ m \times k^2 \times h_i \times w_i$，而卷积层剪枝直接减少的计算量为$C_i \times k^2 \times h_i \times w_i $，并且m＜C_i。显然相较于普通卷积，PRC优化模型的计算复杂度有很大程度的优化。

2.   手指静脉识别系统整体流程

2.1   开发环境

本文使用的嵌入式系统开发环境为NVIDIA的Jetson Nano，搭载Ubuntu18.0系统，使用PyQt5、OpenCV4.5.0开发图形界面，MongoDB数据库存储手指静脉特征向量^[15]。

2.2   工作原理及组成

完整的嵌入式手指静脉识别系统包含图像采集、图像质量评估、特征提取和特征匹配4个模块，如图 6所示。

图  6  手指静脉识别系统结构

Figure  6.  The structure of finger vein recognition system

下载: 全尺寸图片 幻灯片

2.2.1   图像采集

对于图像采集部分，针对利用特殊材料欺骗识别系统的问题，我们加入活体检测功能，使用指尖脉搏波来辅助判断待识别目标是否为活体，并且考虑到手指静脉识别装置的体积和图像采集的实时性要求，使用光容积法实时测量指尖脉搏波^[16-17]，判断是否为伪造手指静脉信号。

手指静脉图像采集部分结构如图 7所示。图 7(a)为该采集部分的总体结构示意图，其中包括红外LED(light emitting diode，波长为850 nm^[18])、脉搏传感器(如图 7(b))、近红外光摄像机(如图 7(c))。该结构在保持装置便携性的同时，可以实现指尖脉搏波的实时采集，保证短时间内完成活体识别和样本采集。活体识别数据采集后经过A/D转换为数字信号，再通过IIC数据总线传输到Jetson；手指静脉图像数据在采集后经过CSI接口传输到Jetson。

图  7  手指静脉图像采集部分结构：(a) 图像采集装置结构图；(b) 脉搏传感器；(c) 图像传感器

Figure  7.  The structure of image acquisition device: (a) The structure of image (b) Pulse sensor; (c) Imaging sensor acquisition device

下载: 全尺寸图片 幻灯片

2.2.2   图像质量评估

在手指摆放位置不正确或其他环境因素影响下，拍摄的手指静脉图像可能出现质量较差的情况。为了在图像采集阶段，排除低质量图像对后续识别的影响，划分质量“好”和“差”数据集，采用二分类方法在PC端训练一个简单的CNN，将输出的ONNX模型移植到Jetson，并使用TensorRT加速该模型，在采集图像时筛除阈值范围内的低质量图像。

2.2.3   特征提取及特征匹配

在身份信息注册阶段采用MongoDB数据库，在PC端训练PRC结构优化的CNN，将训练得到的ONNX模型移植到Jetson，并使用TensorRT加速该模型提取手指静脉图像的特征，再将CNN提取到的特征向量存储到静脉特征数据库中；在身份识别阶段，提取待识别手指的静脉图像特征会和数据库中的手指静脉特征计算距离来匹配，特征成功匹配后得到对应的身份标签，完成身份识别。

3.   实验结果

3.1   实验平台及参数设置

1) 实验平台

本文实验在Windows 10平台下完成，深度学习框架为Pytorch1.13版本，处理器为Intel E5-2660@2.00 GHz，内存为64 G、显卡为NVIDIA GeForce GTX1080，显存为8 G。

2) 参数设置：

本文的模型在训练时选用Adam优化器，学习率为3e－4；L₁正则化的超参数设定为1e－4。

3.2   实验数据

为了对本文优化的网络结构进行验证，本文在两个公开的数据库上进行实验。一是山东大学机器学习与数据挖掘实验室公开的指静脉数据集(SDUMLA，SDUMLA-HMT Database)^[19]。其中包括106位测试者的手指静脉(食指、中指、无名指各12张图片)，共计636类。二是香港理工大学指静脉数据集(HKpolyU，The Hong Kong Ploytechnic University Finger Image Database)^[20]。HkpolyU分为两次采集，表示为HkpolyU-1、HkpolyU-2。HkpolyU-1样本总数为2520张图片，每类样本数为12张，类别数为210；HkpolyU-2样本总数为612张图片，每类样本数为6张，类别数为102。

为了尽可能地减少手指静脉图像的背景信息，使网络更关注于静脉纹理特征，使用Sobel算子检测手指上下边缘，对手指静脉图片进行感兴趣区域(ROI，region of interest)的提取，保留主要静脉区域。手指静脉ROI提取图像如图 8所示。

图  8  SDUMLA和HKpolyU静脉示例图

Figure  8.  Example diagram of veins in SDUMLA and HKpolyU

下载: 全尺寸图片 幻灯片

3.3   实验结果

3.3.1   PRC优化模型性能测试

为了验证PRC优化模型的有效性，以图 8中SDUMLA数据库左一的手指静脉图为例，分别使用ResNet-18和PRC优化模型提取特征图，又由于浅层特征图更能直观体现模型提取的特征，所以选取展示第3个卷积层20个通道的特征图。并且，为了在裁剪更多冗余卷积核的同时保证网络性能不会损失太多，设置PRC优化模型的剪枝率为50%^[21-22]。特征图如图 9(a)、(b)所示。

图  9  不同结构提取的浅层特征

Figure  9.  Shallow feature maps extracted from different structures

下载: 全尺寸图片 幻灯片

对比图 9(a)和图 9(b)，如红色箭头指示部分所示，(b)中有明显优于(a)的手指静脉纹理特征，可以推断PRC结构提取到更为丰富的手指静脉纹理信息，从而提升了网络的分类识别性能。

3.3.2   卷积核权重稀疏化分析

为了研究L₁正则化对CNN权重参数的影响，比较PRC优化模型在不同正则化放缩比例下权重参数的分布。经过50轮训练后，可视化部分卷积层中权重参数值的分布，分别如图 10(a)~(i)所示。

图  10  L₁正则化对比

Figure  10.  Comparison of L₁ regularization

下载: 全尺寸图片 幻灯片

图中，横轴为L₁正则化的超参数值α，纵轴为卷积核的权重参数值。由图 10(a)~(i)对比可以得出，L₁正则化具有特征选择的能力，部分权值被限制在一个很小的零邻域内；这就意味着，在结构化剪枝时，较小权重参数将更容易被裁剪，从而降低了高权重参数的误剪率，能够提升PRC优化模型的分类能力。当α＞1e－4时，损失值较大，不利于模型收敛；随着α减小，L₁正则化的参数稀疏能力也随之减弱，所以超参数α的值设定为1e－4。

3.3.3   在SDUMLA-HMT、HkpolyU数据集下的识别等误率评估

等误率(equal error rate, EER)是手指静脉识别任务中模型分类能力高低的重要指标之一。EER反应了分类算法的错误拒绝率(false reject rate, FRR)和错误接受率(false accept rate, FAR)的平衡关系，当FRR＝FAR时达到平衡点，得到EER值，EER的值越低，表示模型的性能越好。在SDUMLA-HMT和HkpolyU数据库上分别使用ResNet-18、PRC优化模型(简写为：PRCNet)、L₁正则化PRC优化模型(简写为：PRCNet+L₁)得到的EER值如图 11(a)、(b)所示。

图  11  SDUMLA和HkpolyU数据集上EER值对比

Figure  11.  Comparison of EER values on SDUMLA and HkpolyU datasets

下载: 全尺寸图片 幻灯片

图 11(a)、(b)中直角坐标系下，经过(0, 0)和(1, 1)两点的直线与曲线相交的点为FRR＝FAR的平衡点。在SDUMLA-HMT、HkpolyU数据集上分别测试的结果可以看出，使用PRC结构优化ResNet-18模型和加入L₁正则化约束PRC优化结构的参数，改进后的EER都取得了更小的值，说明模型的性能更好。

3.3.4   不同网络模型在手指静脉识别上的性能指标对比

在ROI提取后的SDUMLA和HKpolyU数据集上对不同的识别网络模型进行训练，得到其识别性能指标。识别准确率(accuracy)指标的计算公式为：

式中：TP代表同类的手指静脉图像匹配成功的个数；FN代表同类的手指静脉图像匹配失败的个数；FP代表不同类的手指静脉图像匹配成功的个数；TN代表不同类的手指静脉图像匹配失败的个数。

不同模型的识别准确率(Accuracy)、模型参数量(Parameters)和模型的浮点计算量(Flops)对比结果如表 1所示。

表  1  不同识别方法的比较

Table  1.  Comparison of different recognition methods

Methods	Accuracy/%		Parameters	Flops
	SDUMLA	HKpolyU
AlexNet	96.32	92.28	26.7×106	1.7×108
Hong’s method[23]	95.77	95.83	44.0×106	32×108
ResNet-18	97.79	96.26	19.7×106	4.3×108
PRC	98.46	98.28	4.8×106	3.2×108
PRC+L1	99.42	98.86	4.8×106	3.2×108

下载: 导出CSV 

| 显示表格

从表 1中可以看出，本文提出的PRC优化结构能得到更高的识别准确率，并且参数量和计算量有明显的减少；相比于ResNet-18基础网络，识别准确率提高，参数量降低了75.6%，计算量降低了25.6%。在PRC优化结构的基础上，添加L₁正则化约束权重参数的方法，识别准确率分别提升了0.96%、0.48%，说明本文提出的PRC模块结合L₁正则化优化的方法有效提升了卷积网络对于手指静脉识别问题的分类能力。

4.   总结

本文在ResNet-18的跳连接结构上设计了PRC优化模型。一方面，用卷积核权重参数的L₂范数指导卷积核剪枝，使用L₁正则化提高剪枝操作的可靠性；再对保留的卷积核进行通道上一一对应地线性映射，并在通道上拼接，恢复特征通道数。在公开的SDUMLA和HKpolyU数据集上的实验可以看出，本文方法在减少参数量和消耗计算量的基础上，网络的性能还得到了提升。另一方面，在系统集成时，采用脉搏波生物特征辅助判断，避免了伪造静脉信息对系统的欺骗和干扰。将本文的优化模型应用于算力较小的边缘设备上，将有效节省身份识别时网络前向预测的时间。