Pupil Diopter Detection Approach Based on Improved YOLOv3
-
摘要: 针对瞳孔区域屈光度识别准确率低、检测效率低等问题,本文提出一种基于改进YOLOv3深度神经网络的瞳孔图像检测算法。首先构建用于提取瞳孔主特征的二分类检测网络YOLOv3-base,强化对瞳孔特征的学习能力。然后通过迁移学习,将训练模型参数迁移至YOLOv3-DPDC(Deep Pupil Diopter Classify),降低样本数据分布不均衡造成的模型训练困难以及检测性能差的难题,最后采用Fine-tuning调参快速训练YOLOv3多分类网络,实现了对瞳孔屈光度快速检测。通过采集的1200张红外瞳孔图像进行实验测试,结果表明本文算法屈光度检测准确率达91.6%,检测速度可达45 fps,优于使用Faster R-CNN进行屈光度检测的方法。Abstract: To address the problems of low diopter recognition accuracy and low detection efficiency in the pupil area, this paper proposes a pupil image detection algorithm based on an improved YOLOv3 deep neural network. First, a two-class detection network YOLOv3 base for extracting the main features of the pupil is constructed to strengthen the learning ability of the pupil characteristics. Subsequently, through migration learning, the training model parameters are migrated to YOLOv3-DPDC to reduce the difficulty of model training and poor detection performance caused by the uneven distribution of sample data. Finally, fine-tuning is used to quickly train the YOLOv3 multi-classification network to achieve accurate pupil diopter detection. An experimental test was performed using the 1200 collected infrared pupil images. The results show that the average accuracy of diopter detection using this algorithm is as high as 91.6%, and the detection speed can reach 45 fps; these values are significantly better than those obtained using Faster R-CNN for diopter detection.
-
Keywords:
- pupil diopter detection /
- deep learning /
- YOLOv3 /
- multi-scale features /
- machine vision
-
0. 引言
超二代像增强器是一种真空光电成像器件[1-2],除具有图像亮度增强功能外,还具有图像传输功能,因此分辨力是最重要的性能指标。超二代像增强器在制作完成后,每支均需进行性能测试,其中就包括分辨力。所测得的数值即为超二代像增强器所能达到的具体指标,称为标称指标。根据相关测试标准[3-4],超二代像增强器分辨力是在最佳工作(输入)照度(约10-2 lx)下测量的,因此所测得的分辨力实际上是超二代像增强器所能达到的最高分辨力,即极限分辨力,而不是超二代像增强器在使用过程中的分辨力。超二代像增强器在使用过程中的分辨力随着照度的变化而变化。因此,如果采用极限分辨力作为参数来估算微光夜视系统在不同照度下的视距时,往往会出现较大的偏差。另外,对于极限分辨力相同的2支超二代像增强器,如果其他性能参数不同,如信噪比(signal-to-noise ratio,SNR)或等效背景照度(equivalent background illumination,EBI)不同,那么其在不同照度下的分辨力也不同。这说明超二代像增强器在不同照度下的分辨力不仅与极限分辨力有关,还与信噪比及等效背景照度有关。目前关于超二代像增强器在不同照度下的分辨力变化规律以及极限分辨力、信噪比及等效背景照度对不同照度下分辨力的影响还未见报道,因此有必要进行研究。
1. 分辨力测量原理
超二代像增强器分辨力随照度的变化规律可以通过样品实测的方法获得,即在不同输入照度下分别测量超二代像增强器的分辨力,即可获得像增强器分辨力随照度的变化规律。分辨力测量采用传统的测量仪器。该仪器包括光源、滤光片组、分辨力靶板、投影物镜、测量样品(超二代像增强器)以及显微目镜,其结构示意见图 1。测量仪器的光源为卤钨灯,色温为2856 K。滤光片组由不同中性密度(neutral density,ND)的衰减滤光片组成,通过不同的中性密度滤光片组合,可以获得不同的输入照度。
测量仪器的分划板为USAF-1951(US Air Force-1951)分划板。分划板的每一块靶板由两组相互垂直的分化线组成,而每一组分化线又由3条亮线和暗线组成,并且亮暗的对比度为100%,USAF-1951分划板的图形见图 2。在图 2中的分划板中,每6块靶板组成1组。分划板最外周的右下角为0组分划板的第1块靶板,最外周的左边分别为0组分划板的第2至第6块靶板。分划板最外周的右边(0组分划板的第1块靶板上面)分别为第1组分划板的第1至第6块靶板。分划板内部是更小尺寸的分辨力靶板,排列方式与外周相同。如2组分划板的排列方式与0组分划板的排列方式相同,而3组分别板的排列方式与1组分划板的排列方式相同。
靶板经投影物镜投射在像增强器的光电阴极上,经微通道板增强以后在荧光屏上成像,该图像再被显微目镜放大供人眼观察。观察时,人眼所能分辨最小靶标的线对数即为分辨力。测量超二代像增强器不同照度下的分辨力时,输入照度从高到低,每改变一次照度,测量一次分辨力,从4.3×10-2 lx开始,一直到4.3×10-7 lx为止,这样就可测出超二代像增强器不同照度下的分辨力(R)。超二代像增强器测试样品的输入窗为玻璃,有效阴极直径为18 mm,光电阴极为Na2KSb(Cs)多碱阴极,输出窗为光纤倒像器,荧光屏为镀铝荧光屏,荧光粉牌号为P43,倍增机构为微通道板(microchannel plate,MCP),电子聚焦为双近贴聚焦。测量样品共4支,具体性能指标,如增益(G)、极限分辨力(Rm)、信噪比(SNR)及等效背景照度(EBI)见表 1。另外所选超二代像增强器样品的增益(定义为像增强器荧光屏输出亮度与光电阴极输入照度之比)均为15000 cd⋅m-2⋅lx-1。
表 1 试验样品参数Table 1. Parameters of samples for resolution measurementSample G/(cd·m-2·lx-1) Rm/(lp·mm-1) SNR EBI/lx 5327# 15000 64 24.7 1.5×10-7 4525# 15000 57 24.4 1.7×10-7 3533# 15000 64 29.1 1.4×10-7 3445# 15000 64 28.9 0.1×10-7 2. 分辨力随照度变化规律
图 3为4支样品在不同照度下的测量结果。为叙述方便,以下将5×10-2 lx~5×10-3 lx之间的照度称为高照度(简称高照);将5×10-3 lx~5×10-6 lx之间的照度称为低照度(简称低照);将5×10-6 lx~5×10-7 lx之间的照度称为极低照度(简称极低照)。
从图 3可看出,在高照区间,4支不同性能参数样品的分辨力均不随着照度的降低而降低,均等于其极限分辨力。这说明超二代像增强器在高照下的分辨力由其极限分辨力所决定。超二代像增强器的极限分辨力越高,其在高照区间的分辨力也越高。但在低照及极低照下,4支不同性能参数样品的分辨力均随着照度的降低而降低,所不同的仅仅是分辨力曲线降低的速率。
超二代像增强器分辨力由人眼来判断,因此是一个主观指标。人眼分辨目标遵从科尔特曼定律[5],即亮度L、对比度C及最小分辨角α之间服从式(1)的关系,其中K为常数。
$$ L⋅C^{2}⋅α^{2}=K $$ (1) 对于超二代像增强器而言,随着输入照度的降低,其输出亮度会随之降低。在分辨力的测量过程中,如果超二代像增强器输出图像的对比度C保持不变,那么当分辨力靶板在超二代像增强器荧光屏上的亮度L降低以后,根据式(1),人眼的最小分辨角α随之增大。人眼分辨角α增大,意味着所测量的分辨力将会减小。在高照度区间,由于人眼的分辨角还能满足对超二代像增强器极限分辨力的分辨,因此在高照度区间,超二代像增强器的分辨力不随照度的降低而降低。但在低照及极低照区间,随着人眼分辨角的进一步增大,人眼的分辨角开始影响对超二代像增强器极限分辨力的分辨,使得在低照及极低照区间,超二代像增强器的分辨力随输入照度的降低而降低。所以要提高超二代像增强器在低照及极低照下的分辨力,需要进一步提高超二代像增强器的增益,从而增加超二代像增强器的输出亮度。但对于超二代像增强器,增益机构为MCP。MCP的增益越高,像增强器的增益越高,但目前提高MCP的增益采用提高MCP工作电压的方法。MCP的工作电压越高,其噪声因子越大,像增强器的信噪比越低。因此考虑到像增强器增益对信噪比的影响,目前超二代像增强器的增益为15000 cd⋅m-2⋅lx-1。为了进一步提高超二代像增强器的增益,需要解决高MCP工作电压和高增益与低MCP噪声因子的矛盾,这需要研制出高增益和低噪声的MCP[6-8]。
3. 影响分辨力变化因数分析
3.1 极限分辨力
为分析极限分辨力对分辨力随输入照度变化的影响[9-13],对5327#和4525#样品的分辨力曲线进行比较。5327#样品的极限分辨力为64 lp⋅mm-1,信噪比为24.7,等效背景照度为1.5×10-7 lx;4525#样品的极限分辨力为57 lp⋅mm-1,信噪比为24.4,等效背景照度为1.7×10-7 lx。2支样品的信噪比及等效背景照度基本相同,主要区别在于极限分辨力,因此比较这两支像增强器的分辨力曲线即可分析极限分辨力对不同照度下分辨力的影响。比较图 3中5327#和4525#样品的分辨力曲线,可看出在低照及极低照区间,随着照度的降低,其分辨力均随输入照度的降低而降低。在分辨力降低过程中,在约2×10-5 lx照度时两条分辨力曲线达到相交,之后随着照度的进一步降低,其分辨力曲线的变化基本相同,并且在4.3×10-7 lx时趋于0。另外通过比较5327#和4525#样品的分辨力曲线还可以看出,在低照区间,极限分辨力高的,不同照度下的分辨力也越高,并且照度越高,分辨力越高。但在极低照区间,不同极限分辨力的样品却具有相同的分辨力。
超二代像增强器的极限分辨力实际上是指其电子光学系统[14]的分辨力。超二代像增强器的电子光学成像链包括阴极近贴聚焦距离、阳极近贴聚焦距离、微通道板、荧光屏以及光纤倒像器。限于工艺制造水平的限制,目前超二代像增强器的阴极近贴聚焦距离控制在约0.15 mm,阳极近贴聚焦距离控制在约0.5 mm。如果再进一步减小距离,会降低超二代像增强器生产的良品率。因此在通过减小阴极和阳极近贴聚焦距离来提高分辨力方面困难较大。而在提高荧光屏分辨力方面,考虑到荧光屏的分辨力与发光效率之间存在一定的矛盾,因此进一步提高荧光屏的分辨力困难也较大。所以目前在提高超二代像增强器的极限分辨力方面,较可行的办法是进一步减小微通道板的孔径及荧光屏输出窗光纤面板的丝径。
3.2 信噪比
为了解信噪比[15-16]对不同输入照度下分辨力的影响,对图 3中5327#和3533#样品的分辨力曲线进行比较。3533#样品的极限分辨力为64 lp⋅mm-1,信噪比为29.1,等效背景照度为1.4×10-7 lx,与5327#样品相比,极限分辨力和等效背景照度基本相同,主要的区别为信噪比(见表 1),因此比较这两支像增强器的分辨力曲线即可分析信噪比对不同照度下的分辨力影响。从图 3可看出,2支样品在低照及极低照区间,分辨力随输入照度降低而降低的速率并不相同。3533#样品分辨力降低的速率相对较慢,并且分辨力均高于5327#样品。但3533#样品的分辨力在4.3×10-7 lx时也趋于0。5327#和3533#样品在低照及极低照区间分辨力不同的原因是信噪比不同。因为在低照及极低照度下,光子涨落噪声对分辨力的影响逐步显现。图 4(a)、4(b)和4(c)分别为3533#样品在4.3×10-2 lx、4.3×10-4 lx以及4.3×10-5 lx照度下的分辨力靶板图像。图 4(a)图像中分化线的亮度均匀且稳定,未出现明显的涨落噪声,所以涨落噪声未对分辨力产生影响。图 4(b)图像中分化线的亮度不均匀且闪烁,即出现明显的涨落噪声,因此对分辨力的影响开始显现,这样图像中心区域的2组及以下的靶板由于涨落噪声的影响而不能分辨,仅能分清最外周左右两边0组和1组的靶板,因此分辨力降低了。图 4(c)图像中分化线的亮度更加不均匀且更加闪烁,分划线完全由随机出现的亮点(闪烁点)所组成,涨落噪声更加明显,对分辨力的影响更显著。与图 4(b)相比,不仅图像中心区域的2组和3组的靶板由于涨落噪声的影响而不能分辨,而且图像左右两边的0组和1组的靶板的轮廓也较模糊,因此分辨力更低。所以涨落噪声在低照及极低照下会影响分辨力。信噪比与涨落噪声相关,在相同的信号强度下,涨落噪声越高,信噪比越低;涨落噪声越低,信噪比越高。5327#样品的信噪比为24.4,而3533#样品的信噪比为29.1,3533#样品具有更高的信噪比,因此在相同的照度下,涨落噪声更低,所以在低照及极低照区间,具有更高的分辨力。
3.3 等效背景照度影响
为了分析等效背景照度对不同照度下分辨力的影响,对图 3中5327#和3445#样品的分辨力曲线进行比较。3445#样品的极限分辨力为64 lp⋅mm-1,信噪比为28.9,等效背景照度为0.1×10-7 lx,与5327#样品相比较,2支样品的极限分辨力以及信噪比基本相同,其主要区别在于3445#样品的等效背景照度较5327#样品低了一个数量级(见表 1),因此分析这两支像增强器的分辨力曲线可得出等效背景照度对不同照度下分辨力的影响。从图 3可看出,2支样品在4.3×10-4 lx以上照度区间的分辨力基本相同,但在4.3×10-4 lx以下的照度区间,3445#样品的分辨力均高于5327#样品,特别是在极低照度区间,区别更明显。如在4.3×10-7 lx照度时,3445#样品的分辨力为10 lp⋅mm-1,但5327#样品的分辨力却为0,因此2支样品等效背景照度不同是造成其分辨力在5×10-7 lx照度下不同的原因。如果超二代像增强器的输入照度为E,光电阴极的灵敏度为S,面积为A,那么光电阴极所产生的光电流Ip和暗电流Id分别由式(2)、式(3)给出:
$$ I_{\rm p}=E⋅S⋅A $$ (2) $$ I_{\rm d}={\rm EBI}⋅S⋅A $$ (3) 光电阴极是一个光电转换器件,它的作用是将光信号转变为电(电流)信号。根据对比度的定义,光电阴极输出电信号的对比度C由式(4)表示:
$$ C = \frac{{{I_\rm p} - {I_\rm d}}}{{{I_\rm p} + {I_\rm d}}} $$ (4) 将式(2)、式(3)代入式(4),可得出式(5):
$$ C = \frac{{E -\rm EBI}}{{E +\rm EBI}} $$ (5) 从式(5)可看出等效背景照度会降低电信号的对比度。在超二代像增强器中,输入图像经光电阴极转换,电信号再经MCP倍增和荧光屏转换。在此过程中,假设MCP倍增和荧光屏转换过程中不损失电信号对比度,那么荧光屏上图像的对比度就等于光电阴极输出电信号的对比度,所以等效背景照度会影响超二代像增强器荧光屏输出图像的对比度。当输入照度E远远大于光电阴极的等效背景照度时(例如高于1个数量级),等效背景照度对电信号对比度的影响较小;输入光的照度与光电阴极的等效背景照度相近时,等效背景照度对电信号对比度的影响较大。在4.3×10-7 lx照度条件下,假设输入图像的对比度为100%,那么根据式(5)可以分别计算出3445#和5327#样品电信号对比度分别为54%和96%。假设微通道板的倍增以及荧光屏的转换不损失对比度,那么3445#和5327#样品荧光屏上图像的对比度也分别为54%和96%。因为分辨力测量是用人眼观察,所以图像的对比度越高,图像越容易被人眼分辨,分辨力越高。5327#样品具有较高的对比度,因此具有更高的分辨力。所以在极限分辨力及信噪比相同的条件下,在5×10-4 lx以下的照度区间,等效背景照度的影响开始显现,等效背景照度越低,分辨力越高。超二代像增强器的等效背景照度主要由光电阴极的暗发射所决定。长期以来,人们对多碱阴极的灵敏度研究主要集中在提高其灵敏度方面[17-19],并且在提高多碱阴极灵敏度方面取得了较大的进展,使得多碱阴极的灵敏度得到了较大的提高[20-21],并且超过了1000 μA⋅lm-1。与多碱阴极灵敏度的提高相比,在降低多碱阴极暗发射方面的研究却较少,因此在降低多碱阴极暗发射方面所取得的进展也不大,暗发射仍然维持在原有水平。所以为了提高超二代像增强器在低照及极低照下的分辨力,在进一步提高多碱阴极灵敏度的同时,需要进一步降低多碱阴极的暗发射。
4. 结论
通常情况下,超二代像增强器所标称的分辨力实际上是指其极限分辨力,并不是超二代像增强器在实际使用过程中的分辨力。超二代像增强器只有在高照下使用时,分辨力才等于其极限分辨力;在低照及极低照下,分辨力随照度降低而降低。
超二代像增强器的极限分辨力越高,在高照下的分辨力也越高。但在低照及极低照下,超二代像增强器的分辨力不仅与极限分辨力有关,而且还与信噪比及等效背景照度有关。信噪比越高、等效背景照度越低,分辨力越高。在低照区间,信噪比对分辨力的影响更大,但在极低照区间,等效背景照度对分辨力的影响更大。
超二代像增强器主要在弱光下使用,所以在提高超二代像增强器极限分辨力的同时,还需要提高超二代像增强器在低照及极低照下的分辨力,而这需要在提高极限分辨力的同时,提高信噪比和降低等效背景照度。
-
表 1 瞳孔数据集C的划分
Table 1 The division of pupil data set C
Diopter grade Initial number of samples Number of
samples after
amplificationTraining samples Validation
samplesR1 120 2000 1600 400 R1 780 5000 4000 1000 R3 300 4000 3200 800 表 2 实验参数设置
Table 2 Experimental parameter settings
Parameter Parameter value Training image size/pixel 416×416 Number of iterations 9000 GPU quantity 1 IOU 0.6 The initial learning rate of
the previous stage0.001 The initial learning rate of
the latter stage0.0001 表 3 不同算法数据对比
Table 3 Data of different algorithms
Algorithm model Precision/% Recall/% Time/ms F1-score/% SSD 82.5 84.7 20.3 84.7 RetinaNet 84.7 82.4 32.6 82.4 Faster R-CNN 86.8 88.9 109.6 88.9 Our algorithm 91.6 90.5 22.3 90.5 表 4 传统算法数据统计
Table 4 Statistics of traditional algorithms
Algorithm model Accuracy/% Time/ms Traditional algorithm 71.5 130 表 5 本文算法得出的分类混淆矩阵
Table 5 The classification confusion matrix obtained by the algorithm in this paper
R1 R2 R3 R1 19 1 0 R2 1 17 2 R3 0 1 19 -
[1] 薛烽, 李湘宁. 一种基于图像处理的屈光度测量方法[J]. 光电工程, 2009, 36(8): 62-66, 74. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC200908017.htm XUE Feng, LI Xiangning. A method of diopter measurement based on image processing[J]. Photoelectric Engineering, 2009, 36(8): 62-66, 74. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC200908017.htm
[2] 胡志轩. 基于红外图像的眼视力屈光度检测系统[D]. 武汉: 华中师范大学, 2018. HU Zhixuan. An Eye Vision Diopter Detection System Based On Infrared Image[D]. Wuhan: Center China Normal University, 2018.
[3] 谢娟英, 侯琦, 史颖欢, 等. 蝴蝶种类自动识别研究[J]. 计算机研究与发展, 2018, 55(8): 1609-1618. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201808003.htm XIE Juanying, HOU Qi, SHI Yinghuan, et al. Research on automatic recognition of butterfly species[J]. Computer Research and Development, 2018, 55(8): 1609-1618. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201808003.htm
[4] Redmon J, Divvala S, Girshick R, et al. You only look once: unified real-time object detection[C]//Proceedings of the Conference on Computer Vision and Pattern Recognition, 2016: 779-788.
[5] Kaur P, Khehra B S, Pharwaha A. Deep transfer learning based multi way feature pyramid network for object detection in images[J]. Mathematical Problems in Engineering, 2021, 2021: 1-13.
[6] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C]//IEEE International Conference on Computer Vision, 2015: 5119-5127.
[7] 刘智, 黄江涛, 冯欣. 构建多尺度深度卷积神经网络行为识别模型[J]. 光学精密工程, 2017, 25(3): 799-805. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703035.htm LIU Zhi, HUANG Jiangtao, FENG Xin. Building a multi-scale deep convolutional neural network behavior recognition model[J]. Optics and Precision Engineering, 2017, 25(3): 799-805. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703035.htm
[8] 王娟, 刘嘉润, 李瑞瑞. 基于深度学习的红外相机视力检测算法[J]. 电子测量与仪器学报, 2019, 33(11): 36-43. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201911005.htm WANG Juan, LIU Jiarun, LI Ruirui. Infrared camera vision detection algorithm based on deep learning[J]. Journal of Electronic Measurement and Instrument, 2019, 33(11): 36-43. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201911005.htm
[9] LIU Y P, JI X X, PEI S T, et al. Research on automatic location and recognition of insulators in substation based on YOLOv3[J]. High Voltage, 2020, 5(1): 62-68. DOI: 10.1049/hve.2019.0091
[10] Murugan A, Nair S, Kumar K. Detection of skin cancer using SVM, random forest and KNN classifiers[J]. Journal of Medical Systems, 2019, 43(8): 683-686.
[11] ZHU S G, DU J P, REN N, et al. Hierarchical-Based object detection with improved locality sparse coding[J]. Chinese Journal of Electronics, 2016, 25(2): 290-295. DOI: 10.1049/cje.2016.03.015
[12] 温江涛, 王涛, 孙洁娣, 等. 基于深度迁移学习的复杂环境下油气管道周界入侵事件识别[J]. 仪器仪表学报, 2019, 40(8): 12-19. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201908002.htm WEN Jiangtao, WANG Tao, SUN Jiedi, et al. Intrusion event identification of oil and gas pipeline perimeter in complex environment based on deep migration learning[J]. Chinese Journal of Scientific Instrument, 2019, 40(8): 12-19. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201908002.htm
[13] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[14] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//Proceedings of European Conference on Computer Vision, 2016: 21-37.
-
期刊类型引用(4)
1. 李亚情,杨壮,高天礼,周盛涛,李晓露,宝元喜,杜培德,戴靖昊,何俊,张立昀,宋奇庚,王光凡,许灵吉,张旭. 自动门控电源对像增强器性能的影响. 红外技术. 2025(04): 421-428 . 本站查看
2. 王贺. 用于X射线像增强器便携成像的观瞄目镜设计研究. 长春大学学报. 2024(02): 15-20 . 百度学术
3. 李晓峰,何雁彬,常乐,王光凡,徐传平. 超二代与三代像增强器性能的比较研究. 红外技术. 2022(08): 764-777 . 本站查看
4. 彭华兴,闫保军,刘术林,张斌婷,韦雯露. 电子倍增器脉冲信号图形化离线分析软件. 应用光学. 2022(06): 1107-1116 . 百度学术
其他类型引用(0)