Silent Live Face Detection in Near-Infrared Images Based on Optimized LeNet-5
-
摘要: 针对当前交互式活体检测过程繁琐、用户体验性差的问题，提出了一种优化LeNet-5和近红外图像的静默活体检测方法。首先，采用近红外光摄像头构建了一个非活体数据集；其次，通过增大卷积核、增加卷积核数目、引入全局平均池化等方法对LeNet-5进行了优化，构建了一个深层卷积神经网络；最后，将近红外人脸图片输入到模型中实现活体静默活体检测。实验结果表明，所设计的模型在活体检测数据集上有较高的识别率，为99.95%，整个静默活体检测系统的运行速度约为18~22帧/s，在实际应用中鲁棒性较高。Abstract: An improved method of silent liveness detection for LeNet-5 and near-infrared images is proposed to overcome the problem of the interactive liveness detection process and poor user experience. First, a face attack dataset was constructed using a near-infrared camera. Second, the LeNet-5 was optimized by increasing the number of convolution kernels and introducing global average pooling to construct a deep convolutional neural network. Finally, the near-infrared face image is input to the model to realize silent liveness detection. The experimental results show that the proposed model has a higher recognition rate for the liveness detection dataset, reaching 99.95%. The running speed of the silent liveness detection system is approximately 18-22 frames per second, which shows high robustness in practical applications.
-
0. 引言
在推进实施“双碳”目标的背景下，光伏发电产业得到了快速发展，光伏架设面积迅速增长，随之而来的是日益严峻的光伏电站维护压力。一方面，受自然环境和人为因素的影响，光伏面板在使用过程中不可避免地会受到损伤，从而导致如碎裂、异物遮挡和气泡等[1]缺陷的产生，进而影响发电效率，甚至引发火灾。因此运维人员需及时发现缺陷并施行相应的维护措施；另一方面，光伏电站复杂的地形和日益增长的装机规模使得传统的人工目视检查方式变得越来越困难，运维人员开始寻求光伏面板自动化检测方法。一部分研究者利用电流监测器[2]或电致成像设备[3]实现光伏面板缺陷的自动化检测，但是电流监测不能判断缺陷具体位置，而电致成像需要将光伏面板拆卸后进行，所以这些方法在光伏电站日常运维过程中并未得到普及。
同时，国内外研究者对基于机器视觉的光伏面板缺陷检测方法进行了广泛研究。Li等[4]提出一种基于深度学习的缺陷检测方法，该方法利用Kirsch算子识别缺陷区域，然后利用卷积神经网络和支持向量机进行缺陷分类。Espinosa等[5]提出一种利用卷积神经网络对RGB图像进行语义分割和分类的光伏物理故障自动分类方法。虽然这些方法对外部缺陷的检测效果明显，但并不能检测出内部缺陷。邓堡元等[6]提出一种基于光流法的光伏面板红外图像处理方法，通过深度卷积神经网络实现缺陷的有效识别。孙智权等[7]提出一种基于改进的形态学凸性分析与相对灰度差动态阈值分割的缺陷特征提取方法，实现太阳能电池自动检测。但这些方法只能应用于光伏面板制造过程中，不能应用在光伏面板使用维护过程中。He等[8]提出一种针对光伏电池和组件的主动电磁感应红外热斑缺陷检测方法，通过快速傅里叶变换等图像处理方法实现对光伏电池和组件中的缺陷检出任务。郭梦浩等[9]运用改进的Faster RCNN方法对红外图像进行分析，实现97.34%的热斑检测准确率。但是由于红外图像没有丰富的纹理信息，这些方法不能实现缺陷分类。
综上所述，使用单一种类的图像难以满足光伏面板的缺陷检测需求，基于多源图像融合的检测方法在一定程度上能够弥补基于单一图像的方法难以解决的技术难题，但也存在一些其他问题。基于深度学习的图像融合检测技术多使用两个分支分别对两种图像进行处理，此时两个分支相互独立，参数不共享。然后在某一阶段将两个分支的输出采取特定融合策略进行融合，并对融合层的输出进一步处理获取最终检测结果。已有的图像融合检测方法对融合的最佳时机进行了探索。像素级融合检测方法[10-12]是在图像输入特征提取模块前获取融合图像，这类方法的融合对象是两幅图像中的对应像素，要求图像严格对齐，对本文获取的数据集来说很难实现。像素级融合检测融合时保留融合图像的全部信息，这将保留较多的干扰信息并造成信息冗余。特征级融合检测方法[13-15]是当下比较流行的方法，首先使用两个独立的特征提取模块分别对两种图像进行特征提取，并在特征提取的过程中融合某一层特征图或对某几层特征图分别进行融合。与像素级融合检测方法相比，特征级融合检测方法不要求图像严格对齐，融合更多高层语义信息，能够降低多源图像融合的信息冗余。决策级融合检测方法[16-18]的融合对象是两个网络分支的决策。该方法利用两个相互独立的网络分别对两种图像检测，再通过对两个检测结果综合分析获取最终的缺陷位置和缺陷类别。决策级融合检测方法虽然对硬件系统的计算能力要求较低，但在融合过程中丢失了较多的细节信息，检测效果相对前两种方式较差。
本文对基于图像融合的光伏面板缺陷检测方法进行研究，结合光伏面板可见光图像和红外图像的互补信息，提出特征融合检测网络，完成鲁棒的光伏面板缺陷检测任务。
1. 多源图像融合检测网络框架
1.1 基于特征融合的检测网络结构
红外图像是一种红外遥感器接收地物反射或自身发射的红外线而形成的图像，异常的光伏面板与其周围完好的光伏面板在发热性能上差异较大，使成像结果中出现明显热斑，如图 1所示。然而由于红外图像缺少丰富的纹理信息，仅使用红外图像难以识别光伏面板的缺陷类别，这使其在缺陷检测任务中依然存在局限性。而可见光图像依靠光反射成像，具有丰富的纹理细节，但仅利用可见光图像难以发现光伏面板内部缺陷。本文利用红外图像和可见光图像信息互补的原理，提出基于深度学习的光伏面板缺陷检测方法，利用卷积神经网络同时提取两种图像特征，设计图像融合检测网络的融合模块，对光伏面板的不同种类缺陷进行有效检测。缺陷类型包括碎裂、阴影、异物遮挡、气泡和内部缺陷。各类缺陷本身以及缺陷之间的尺寸相差较大，分布在10像素×10像素~70像素×70像素之间。
本文运用特征级融合检测的思想提出一种基于多源图像融合的光伏面板缺陷检测方法，具体公式表示为：
$$ \text { output }=C_2\left[C_1^{\mathrm{V}}\left(O_{\mathrm{V}}\right)+C_1^{\mathrm{I}}\left(O_{\mathrm{I}}\right)\right] $$ (1) 式中：OV和OI分别为输入的可见光图像和红外图像；C1V和C1I分别为可见光图像和红外图像的特征融合前的网络结构；C2表示特征融合后直到输出结果的网络结构；output为输出结果。
所提出的光伏面板缺陷网络主要包含两个部分：MF-Net特征提取模块和基于权值自适应融合模块。两个模块生成特征图通过检测模块得到缺陷检测结果。图 2为所述融合检测网络的结构，输入为配准完成的可见光图像和红外图像，输出为图像中缺陷的类别、置信度和位置。其主干网络包含两个特征提取模块，分别把两种图像送入融合检测网络的两个特征提取模块，两个特征提取模块结构相同，参数不共享。传统的特征级融合检测方法只使用特征提取模块的最后一层输出进行融合，该方式融合的结果包含的有用信息较少，不利于光伏面板的缺陷检测。为提高检测精度和对不同尺寸待检测目标的适用度，本文在特征提取中进行多层融合。MF-Net特征提取模块增加卷积层数量和检测尺度以提高检测精度，引入密集块结构以增强参数传递和减少过拟合。并将特征提取模块的高层卷积层和密集块结构输出进行融合，其中，第9卷积层和密集块结构输出层为改进前主干网络特征图输出层，第9卷积层输出特征图进行一次上采样与第7卷积层的输出尺寸相同，因此选择第7卷积层的输出进行融合。为提高融合结果的特征显著性，引入一种权值自适应融合模块。融合完成后，在3个融合层输出阶段引入特征金字塔网络。将特征金字塔网络输出的3个特征图分别输入检测模块，检测模块输出缺陷分类结果和位置回归结果。
1.2 MF-Net特征提取模块
针对光伏面板纹理特征重复度高、缺陷尺寸小、检测速度要求高的特点，MF-Net特征提取模块由YOLOv3 tiny改进后再进行融合得到。YOLOv3 tiny[19]是一种实时性较高的目标检测网络，该网络通过将YOLOv3中的darknet-53缩减为7个卷积层和6个池化层有效降低计算量。YOLOv3 tiny精简的结构能有效提升网络检测速度，但是也一定程度地牺牲了检测精度。针对光伏面板缺陷检测任务，为提高检测精度，首先通过改进得到单主干网络，再融合其特定输出层得到MF-Net特征提取模块，具体单主干网络结构如图 3所示。
在特征提取阶段，由于可见光图像和红外图像低层视觉特征冗余，相关缺陷特征难以凸显。设计相同步长的卷积层代替原池化层进行下采样，以增加网络的卷积深度，从而获取更高层的语义特征信息。在提取高层语义特征的同时，为提高网络对不同尺度目标的适用度，采用52×52、26×26、13×13三尺度融合代替原网络的双尺度融合来完成检测任务。此外，为缓解梯度消失和加强参数传递，在特征提取的最后几层引入密集块结构。密集块结构由Huang等[20]提出，该结构在每个3×3卷积层之前引入1×1卷积层用于特征降维，并将每个3×3卷积层的输出作为其后所有1×1卷积层的输入，具体结构如图 4所示。
改进的网络模型尺寸、浮点计算量与原网络以及YOLOv3的对比如表 1所示，改进后的模型相比YOLOv3 tiny模型略微增加了模型尺寸和计算量，但仍远小于YOLOv3网络。
表 1 改进前后网络模型对比Table 1. Comparison parameters of network model before and after improvementNetwork model Model size/Mb FLOPS/Gb YOLOv3 245.3 63.20 YOLOv3 tiny 33.4 5.56 MF-Net 35.6 6.02 1.3 基于权值自适应的融合模块
在图像融合检测网络中，融合策略对光伏面板缺陷检测至关重要。现有融合检测网络的融合策略主要包括通道拼接融合策略和通道相加融合策略等。通道拼接融合策略直接将两个待融合特征图的通道并联，以此增加特征图的数量，增大缺陷在特征图中检测的概率。然而通道并联生成了两倍通道数的特征图，这改变了特征图的通道数，导致不能通过复制单主干网络预训练模型权重获取融合网络预训练模型权重，因此不适用于本文的融合检测网络。通道相加融合策略将红外图像特征图和可见光图像特征图对应通道的像素值进行简单相加求平均值，具体公式如下所示：
$$ \begin{array}{c}{\text{out}}^{d}(x, y)=\frac{1}{2}({f}_{1}^{d}(x, y)+{f}_{2}^{d}(x, y)), \\ d\in \left\{1, 2, \dots \text{，}D\right\}\end{array} $$ (2) 式中：(x, y)表示特征图像素坐标；d表示特征图的第d个通道；D为其最大通道数，在3个融合层取值分别为128，256和256；f1d(x, y)和f2d(x, y)表示两个被融合特征图在对应通道和坐标的像素值；outd(x, y)表示与其对应的融合结果。
两个特征提取模块的特征图对于缺陷特征所包含的信息不同，可见光图像特征提取模块的特征图主要包含缺陷的纹理信息，红外图像特征提取模块的特征图主要包含缺陷的轮廓信息，两种信息对融合结果所做的贡献不同。为降低融合特征图的冗余信息，提高融合结果的特征显著性，本文在通道相加融合策略的基础上提出一种自适应融合策略，如图 5所示，图中n为特征图尺寸，λ1(x, y)和λ2(x, y)为相加系数。该策略可以根据待融合像素局部特征信息自适应为该像素分配相加系数，有效降低信息冗余。
首先，将两个待融合特征图各自的所有通道相加，获得两个矩阵T1和T2，如式(3)所示：
$$ {{\boldsymbol{T}}_i}{\it{(}}x, y{\it{)}} = \sum\limits_{d = 1}^D {f_i^d(x, y), i \in \left\{ {1, 2} \right\}} $$ (3) 式中：(x, y)表示特征图像素坐标，特征图在3个融合层的尺寸分别为52，26和13。自适应融合时，在Ti上选择以(x, y)为中心的3×3窗口内的元素分别求和获得$ {\text{su}}{{\text{m}}_{{T_1}}} $和$ {\text{su}}{{\text{m}}_{{T_2}}} $，如式(4)：
$$ {\text{su}}{{\text{m}}_{{T_i}}}(x, y) = \sum\limits_{p = - 1}^1 {\sum\limits_{q = - 1}^1 {{{\boldsymbol{T}}_{\boldsymbol{i}}}(x + p, y + q)} , i \in \left\{ {1, 2} \right\}} $$ (4) 则两个特征图在坐标(x, y)处的权值λ1和λ2表示为式(5)：
$$ {\lambda _i}(x, y) = \frac{{{\text{su}}{{\text{m}}_{{T_i}}}(x, y)}}{{{\text{su}}{{\text{m}}_{{T_1}}}(x, y) + {\text{su}}{{\text{m}}_{{T_2}}}(x, y)}}, i \in \left\{ {1, 2} \right\} $$ (5) 自适应融合后的特征图表示为式(6)：
$$ \begin{gathered} {\text{ou}}{{\text{t}}^d}(x, y) = {\lambda _1}(x, y)f_1^d(x, y) + {\lambda _2}(x, y)f_2^d(x, y), \\ d \in \left\{ {1, 2, \ldots , D} \right\} \\ \end{gathered} $$ (6) 2. 实验结果分析与评估
2.1 数据采集与预处理
实验所用数据在国内某渔光互补光伏电站采集获取，数据采集硬件设备主要由无人机飞行平台、可见光相机及红外相机组成。如图 6所示，该电站面积约2 km2，硬件设备使用大疆创新公司的经纬M300RTK无人机搭配禅思H20T云台相机。H20T云台相机包含多种传感器，其中红外相机可自动将采集到的图像渲染为三通道图像。飞行平台执行提前规划完成的航线约7 h完成数据采集任务，采集对象包括固定式光伏面板和感光旋转式光伏面板。
光伏面板的缺陷在获取的可见光图像和红外图像中并不能很好地相互对应，如图 7(a)和(b)所示，为了更好地检测缺陷，需对可见光图像和红外图像进行配准，使二者缺陷位置一一对应。首先采用基于拉普拉斯算子的模糊度检测算法[21]剔除低质量图像。然后对原始图像进行图像去畸变和配准，本文采用文献[22]中基于轮廓特征的方法配合手动调整参数进行配准，随后在可见光图像中截取红外图像对应的部分（如图 7(c)所示），并将截取后的可见光图像与红外图像作为融合检测网络的输入。虽然图 7中(a)和(c)仅仅是粗略的特征对齐，但由于深度学习方法的泛化性，处理后的数据对本文检测算法的性能影响较小。
数据采集实验中，无人机共获取可见光图像和红外图像各7348张。配准完成后，对图像数据进行筛选和标注，得到具有热斑的红外图像659张，共计热斑1367处。映射到对应可见光图像上，得到碎裂103处，阴影398处，异物遮挡367处，气泡96处，内部缺陷403处，其中内部缺陷表现为在红外图像上显示热斑，在可见光图像上为正常区域。由于某些类型的缺陷数据较少导致缺陷数量不均衡，本文对不同类别的缺陷数据分别进行数据增强，调整不同类别的缺陷数量使其基本一致。主要的数据增强操作包括：扰动图片亮度、对比度、饱和度和色相；复制图像缺陷区域到其他图像；对图像某区域进行擦除等。最终获得含有缺陷的图像1000对，训练集、验证集和测试集的比例为7:1:2，具体数据信息如表 2所示。
表 2 数据集分配统计Table 2. Distributions of our datasetNumber of images/pairs Crazing Shadow Covering Bubble Internal Filtered images 659 103 398 367 96 403 Enhanced images 1000 544 552 534 537 565 Training set 700 366 363 349 356 371 Validation set 100 60 63 61 59 64 Test set 200 118 126 124 122 130 2.2 实验参数及评价指标
本文实验在Ubuntu16.04，64位操作系统中运行，该系统配置NVIDIA GeForce GTX 1080显卡（8 Gb显存容量），i7-8700k处理器，16 Gb运行内存。训练基于Python3.7和飞桨深度学习框架进行。本文使用ImageNet[23]数据集训练改进后的YOLOv3 tiny网络模型获取单主干网络预训练模型参数。然后通过克隆融合层之前层的网络模型参数，获取融合检测网络的预训练模型参数。获取预训练模型参数后，使用本文数据集进行训练，如表 3，输入图像的大小为416×416，batch size设置为2，学习率设置为0.0005，采用liner-warm-up方式训练，训练过程使用GPU加速。
表 3 网络训练参数Table 3. Network training parametersParameter Value Parameter Value Input size 416×416 Epoch 200 Batch size 2 Momentum 0.9 Learning rate 0.0005 Confidence 0.65 对于实验结果，采用每秒处理帧数（Frame Per Second, FPS）评估网络的检测速度；使用所有类标签平均精确率（Mean Average Precision, mAP）和单类标签平均精确率（Average precision, AP）评价算法精度。精确率表示正确预测为正样本占所有预测为正样本的比例，召回率衡量正确预测为正样本占所有正样本的比例，F1 score表示二者调和平均值；并计算P-R曲线提供精确率和召回率的统计结果。
2.3 实验结果分析
实验主要包括3个部分：主干网络改进模型的消融实验、不同网络框架的对比实验和不同缺陷检测结果与分析实验。其中，消融实验表明对主干网络的改进能使其更加适用于光伏面板缺陷检测场景；对比实验表明应用多源图像融合检测的必要性、自适应融合模块的有效性以及本文方法的先进性；最后检测结果能直观地表明本文方法对光伏面板缺陷检测的有效性。
1）主干网络改进模型消融实验
本文对主干网络的改进主要为以下3点：卷积层替换、三尺度检测和密集块。首先在融合检测网络框架基础上进行了3种改进的消融实验，均使用通道相加融合策略。实验结果如表 4。使用基于YOLOv3 tiny的融合检测网络时mAP为75.93%，单独进行卷积层替换时mAP为82.02%，单独将双尺度检测改为三尺度检测时mAP为76.21%，单独在网络中加入密集块结构时mAP为80.96%，同时加入3种改进时mAP为83.34%，检测精度高于基线模型。实验结果表明，卷积层替换和密集块都明显地增加了模型的mAP，三尺度检测对模型的mAP增加幅度较小。消融实验的结果表明针对光伏面板缺陷检测任务的改进能有效提升缺陷检测的精度。
表 4 消融实验结果Table 4. Results of ablation experiencesS/N Replace Conv. Three scale detection Dense Block mAP FPS 1 75.93% 11.23 2 √ 82.02%(+6.09%) 8.13(-3.10) 3 √ 76.21%(+0.28%) 9.43(-1.80) 4 √ 80.96%(+5.03%) 11.36(+0.13) 5 √ √ √ 83.34%(+7.41%) 7.41(-3.82) 2）不同网络框架对比实验
为了验证利用融合检测技术代替单一图像检测技术检测光伏面板缺陷的有效性，进行基于单一图像的缺陷检测和基于多源图像融合的缺陷检测对比实验。首先使用改进的YOLOv3 tiny框架分别对可见光图像和红外图像进行单一图像检测实验，然后使用MF-Net融合检测网络和通道相加融合策略对多源图像进行检测。实验测试集详细信息如表 2，各类缺陷共620处。
表 5为置信度设置为0.65时各个检测结果的正确检出数量、正确分类数量、FPS以及所有类的F1 score。对比实验1~3发现，仅使用可见光图像检测的缺陷数量为320，其中正确分类的为297，仅使用红外图像检测缺陷的数量为497，但正确分类的缺陷仅有103，红外图像中光伏面板缺陷显示为特征差别较小的热斑导致其缺陷分类效果较差。虽然单一图像能够进行缺陷检测，但是融合检测的效果在检测数量与正确分类的数量上均高于单一图像的检测结果。
表 5 不同网络框架对比评估Table 5. Comparative evaluation of different networksS/N Model Input Correct detection Correct classification FPS F1 score 1 Improved YOLOv3 tiny Visible image 320 297 12.61 0.53 2 Improved YOLOv3 tiny Infrared image 497 103 12.63 0.17 3 MF-Net and channel addition strategy Multi-source image 553 516 7.41 0.82 4 SSD Multi-source image 512 446 1.31 0.72 5 Ours Multi-source image 559 538 7.39 0.86 为验证自适应融合模块的有效性，设计不同的融合策略对比实验。使用自适应融合策略代替通道相加融合策略进行实验，其检测结果的mAP为85.48%，相比通道相加融合策略提高了2.14%。置信度阈值设置为0.65时结果如表 5实验5。通过对比实验3与实验5发现，自适应融合策略的各项指标均优于通道相加融合策略，证明提出的自适应融合策略在光伏面板缺陷检测任务中优于通道相加融合策略。实验5表明本文方法的FPS达到了7.39，满足光伏电站运维需求。
为进一步验证本文方法的先进性，选用一种检测光伏面板图像时不易发生梯度消失的网络即SSD（Single Shot MultiBox Detector）网络进行对比实验。首先将SSD网络第一卷积层由3通道改变为6通道并复制该层的预训练模型权重，然后将可见光图像和红外图像通道并联作为该网络的输入进行实验。实验结果如表 5实验4，对比实验4和实验5可知，本文方法的FPS和F1 score均优于实验4，验证了本文方法的先进性。
3）不同缺陷检测结果与分析
图 8为主干网络改进模型消融实验中5种框架以及本文方法共6种融合检测网络针对5种缺陷类型检测结果的P-R曲线。其中卷积层替换和密集块在5种缺陷上的P-R曲线均优于未改进的网络；三尺度检测对于碎裂缺陷的P-R曲线与未改进网络相差较小，这是碎裂缺陷目标尺度普遍较大导致的。对比自适应融合策略和直接相加融合策略的实验结果发现，直接相加融合策略的内部缺陷检测结果与自适应融合策略基本一致，这是内部缺陷的可见光图像在缺陷区域无明显特征变化造成的；对于其他缺陷，自适应融合策略明显优于直接相加融合策略；总体结果表明自适应融合策略能使网络有更好的检测结果。
![]()
图 8 五种缺陷在不同融合检测网络中的P-R测试曲线Figure 8. P-R curves of five kinds of defects in different fusion detection networks最后，利用基于改进的YOLOv3 tiny网络的单一图像检测方法和本文提出的融合检测方法对数据进行测试。部分检测结果如图 9所示，其中包含5种常见缺陷类型。图中(a)为基于可见光图像的检测结果；(b)为基于红外图像的检测结果；(c)为本文方法检测结果；(d)为实际缺陷类型及位置。通过对比(a)和(c)可以看出，基于可见光图像无法检出内部缺陷，对其他缺陷分类基本正确，但置信度小于本文方法的检测结果；对比(b)和(c)发现，相较于基于红外图像的检测结果，本文方法能够更好地对缺陷进行分类；对比(c)和(d)，(c)的缺陷检测结果和(d)显示的实际缺陷一致，说明本文提出的方法能有效检测出光伏面板各类缺陷。综上所述，本文方法对于光伏面板缺陷的检测与分类精度明显优于单一图像检测方法。
![]()
图 9 基于单一图像或多源图像对不同缺陷的检测结果对比（(a)基于可见光图像检测结果；(b)基于红外图像检测结果；(c)本文方法检测结果；(d)实际缺陷类型及位置）Figure 9. Comparison of detection results of different defects based on single image or multi-source image((a) Detection results based on visible image; (b) Based on infrared image detection results; (c) Detection results of this method; (d) Actual defect type and location)3. 结论
本文提出一种基于多源图像融合的光伏面板缺陷检测方法，介绍从数据采集和预处理、网络设计与训练到缺陷检测的整体流程，实现在不接触光伏面板的情况下进行光伏面板的高效率高精度的缺陷检测。通过与基于单一图像检测方法的对比，表明提出的融合检测方法的有效性，以及在缺陷检出和缺陷分类方面的优势。
提出一种基于图像融合的光伏面板缺陷检测网络，即MF-Net。该网络以YOLOv3 tiny为基础，并创新性地提出以下3点改进以提高检测精度：使用相同步长的卷积层替换池化层；将双尺度检测改为三尺度检测；在网络中引入密集块结构。消融实验表明3种方法分别使改进网络的mAP提高6.09%、0.28%和5.03%，验证了本文改进方法的有效性。此外提出自适应融合模块，该模块使得改进后的网络mAP提升2.14%。相比于直接相加融合策略，自适应融合策略能更好地完成特征融合任务，降低融合过程中的信息冗余，凸显缺陷特征，更有利于光伏面板缺陷检测任务。
本文方法的局限性在于：实验中，对于配准完成的图像网络能很好地完成缺陷检测任务，但图像数据的配准过程依然需要较多的人工干预。因此，后续的工作将聚焦于多源图像自动化配准任务，以满足光伏电站自动化运维需求。
-
![]()
图 5 活体检测系统示例
注：系统测试对象均未在数据集中出现过
Figure 5. Examples of live detection systems
Note: None of the system test objects have appeared in the dataset
表 1 模型结构参数
Table 1 Model structure parameters
Layer Name Layer Type Output Size/Strides Kernel Size Input Input layer 128×128×3/- - C1 Convolution 128×128×32/1 7 P1 Max Pooling 64×64×32/2 2 C2 Convolution 64×64×64/1 7 P2 Max Pooling 32×32×64/2 2 C3 Convolution 32×32×128/1 5 P3 Max Pooling 16×16×128/2 2 C4 Convolution 16×16×256/1 5 P4 Max Pooling 8×8×256/2 2 C5 Convolution 8×8×512/1 5 P5 Max Pooling 4×4×512/2 2 GAP GAP 1×1×512/1 4 Softmax Softmax 2/- - 
下载: 导出CSV
表 2 10折交叉验证结果
Table 2 10-fold cross-validation results
Category Test Dadaset 1 2 3 4 5 6 7 8 9 10 Liveness 99.97 99.97 99.97 100 100 99.97 99.97 99.97 100 99.95 Non-liveness 99.98 99.95 99.91 99.98 99.88 99.93 99.86 99.93 99.91 99.83 Overall 99.96 99.95 99.94 99.95 99.98 99.95 99.91 99.95 99.96 99.90
下载: 导出CSV
表 3 三种算法结果比较
Table 3 Comparison of the results of the three algorithms
Algorithm Accuracy/% Average prediction time for a single picture/ms GPU CPU SVM 96.67 - 4.43 LeNet-5 98.23 2.03 7.57 LeNet_Liveness 99.95 10.77 31.08
下载: 导出CSV
表 4 不同文献结果比较
Table 4 Comparison of results from different literature
Detection type Literature Algorithm Equipment Accuracy/% Interactive [2] Head posture + mouth opening and closing detection Visible light camera 99.25 [4] Random emoji commands Visible light camera 95.85 [5] Blink detection + smile detection + open mouth detection VTM camera 97.67 Silent [13] LBP+Gabor+SVM Visible light camera 98.00 [14] SVM+3D point cloud reconstruction+Face key point Binocular camera(Near infrared light+visible light) 99.00 [15] CNN(double-mean pooling +multiple types of activation function) Visible light camera 99.67 This article CNN (LeNet-5 improvements) near-infrared camera(Near infrared light) 99.95
下载: 导出CSV
-
[1] Singh A K, Joshi P, Nandi G C. Face recognition with liveness detection using eye and mouth movement[C]//Proceedings of the 2014 International Conference on Signal Propagation and Computer Technology (ICSPCT), IEEE, 2014: 592-597.
[2] 张进, 张娜娜. 优化特征提取的互动式人脸活体检测研究[J]. 计算机工程与应用, 2019, 55(13): 193-200. DOI: 10.3778/j.issn.1002-8331.1804-0227 ZHANG Jin, ZHANG Nana. Research on Interactive Face Detection Based on Optimized Feature Extraction[J]. Computer Engineering and Applications, 2019, 55(13): 193-200. DOI: 10.3778/j.issn.1002-8331.1804-0227
[3] V David, A Sanchez. Advanced support vector machines and kernel methods[J]. Neurocomputing, 2003, 55(1/2): 5-20. http://www.onacademic.com/detail/journal_1000035125251010_2624.html
[4] Ng E S, Chia Y S. Face verification using temporal affective cues[C]// Proceedings of the 21st International Conference on Pattern Recognition, Piscataway, 2012: 1249-1252.
[5] 马钰锡, 谭励, 董旭, 等. 面向VTM的交互式活体检测算法[J]. 计算机工程, 2019, 45(3): 256-261. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201903043.htm MAYuxi, TAN Li, DONG Xu, et al. Interactive Liveness Detection Algorithm for VTM[J]. Computer Engineering, 2019, 45(3): 256-261. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201903043.htm
[6] Lecun Y, Bottou L. Gradient-based learning applied to document recognition[C]//Proceedings of the IEEE, 1998, 86(11): 2278-2324.
[7] 李文宽, 刘培玉, 朱振方, 等. 基于卷积神经网络和贝叶斯分类器的句子分类模型[J]. 计算机应用研究, 2020, 37(2): 333-336, 341. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202002003.htm LI Wenkuan, LIU Peiyu, ZHU Zhenfang, et al. Sentence classification model based on convolution neural network and Bayesian classifier[J]. Application Research of Computers, 2020, 37(2): 333-336, 341. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202002003.htm
[8] 程淑红, 周斌. 基于改进CNN的铝轮毂背腔字符识别[J]. 计算机工程, 2019, 45(5): 182-186. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201905029.htm CHENG Shuhong, ZHOU Bing. Recognition of Characters in Aluminum Wheel Back Cavity Based on Improved Convolution Neural Network[J]. Computer Engineering, 2019, 45(5): 182-186. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC201905029.htm
[9] LIN M, CHEN Q, YAN S. Network In Network[EB/OL]. [2014-03-04]. https://arxiv.org/pdf/1312.4400.pdf.
[10] ZHANG B, ZHANG L, ZHANG D, et al. Directional binary code with application to PolyU near-infrared face database[J]. Pattern Recognition Letters, 2010, 31(14): 2337-2344. DOI: 10.1016/j.patrec.2010.07.006
[11] ZHANG K, ZHANG Z, LI Z, et al. Joint Face detection and alignment using multitask cascaded Convolutional Networks[J]. IEEE Signal Processing Letters, 2016, 23(10): 1499-1503. DOI: 10.1109/LSP.2016.2603342
[12] KINGMA D P, BA J. Adam: a method for stochastic optimization[EB/OL]. [2014-12-22]. https://arxiv.org/pdf/1412.6980v8.pdf.
[13] Määttä J, Hadid A, Pietikäinen M. Face spoofing detection from single images using micro-texture analysis[C]//Proceedings of the International Joint Conference on Biometrics, IEEE, 2011: 1-7.
[14] 邓茜文, 冯子亮, 邱晨鹏. 基于近红外与可见光双目视觉的活体人脸检测方法[J]. 计算机应用, 2020, 40(7): 2096-2103. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202007038.htm DENG Qianwen, FENG Ziliang, QIU Pengchen. Face liveness detection method based on near-infrared and visible binocular vision[J]. Journal of Computer Applications, 2020, 40(7): 2096-2103. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202007038.htm
[15] 龙敏, 佟越洋. 应用卷积神经网络的人脸活体检测算法研究[J]. 计算机科学与探索, 2018, 12(10): 1658-1670. DOI: 10.3778/j.issn.1673-9418.1801009 LONG Min, TONG Yueyang. Research on Face Liveness Detection Algorithm Using Convolutional Neural Network[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(10): 1658-1670. DOI: 10.3778/j.issn.1673-9418.1801009
-
期刊类型引用(1)
1. 宋加文，朱大明，左小清，付志涛，陈思静. 一种结合结构与能量信息的全色与多光谱图像融合方法. 红外技术. 2023(07): 696-704 . 
本站查看
其他类型引用(1)
计量
- 文章访问数: 201
- HTML全文浏览量: 44
- PDF下载量: 49
- 被引次数: 2
