Optical Aspheric Surface Profile Testing Technology
-
摘要: 随着科技的进步,尖端产品和先进光电系统对光学系统的成像质量要求越来越高,光学非球面元件能有效地校正像差、减少系统所需光学元件数量、减轻系统重量,因此被广泛应用。其特殊的面形特征决定了它的加工和检测相对于球面更加困难,而检测精度直接决定了加工精度,非球面检测技术的重要性显而易见。根据测量原理对光学非球面的检测技术进行了概述;根据目前直接面形轮廓法在光学非球面的加工中应用最广的情况,结合最新检测手段,重点介绍了非球面直接面形轮廓法测量技术;并介绍了近年来日益受到人们关注的自由曲面及面形轮廓法在自由曲面检测的应用;最后总结了光学非球面检测技术的现状和发展趋势。Abstract: With the progress of science and technology, cutting-edge products and advanced photoelectric systems have increasingly higher requirements regarding the imaging quality of the optical system. Optical aspheric elements, which are widely used, can effectively correct the aberration, reduce the number of optical elements required by the system, and reduce the weight of the system. Because of the specific surface characteristics, machining and testing such systems are more difficult than for spherical particles; the testing accuracy directly determines the processing accuracy, and the importance of aspheric testing technology is obvious. Herein, the testing technology of optical aspheric surface is summarized according to measuring principle; As direct surface profilometry is widely used in optical aspheric surface machining, combined with the latest testing methods, the measurement technology of aspheric surface direct surface profilometry is mainly introduced; The application of freeform surface and surface profilometry in freeform surface testing, which has attracted increasing attention in recent years, is introduced; Finally, the present situation and development trend of aspheric surface testing technology are summarized.
-
0. 引言
伴随COVID-19全面爆发,预防病毒的传播成各个国家关键问题。在此期间社会需要重新组织社交环境,以应对病毒的传播。由于病毒引起患者常见的症状是发热,各个国家规定在进入人口流动性大的场所以及公共建筑区域前都需要体温检测[1]。因此非接触、快速测温的红外热成像仪被广泛使用于这些区域[2],红外热成像体温筛查成为预防病毒传播的有效方式之一[3]。病毒传播得到控制后,各个国家就要面临组织学生返校,工人复工等问题[4]。预防这些区域的病毒传播同样需要红外热像仪的筛查,一般校园或者工厂门口都是临时搭建的待检通道,处于室外环境中,室外环境下热成像中的背景温度过热会导致前景目标特征区域边界模糊,同时热图像受噪声干扰大,极大地降低了目标区域检测的准确率,继而影响发热筛查的效果。现阶段的研究大多关注室内场所下内眼角定位,针对室外环境下内眼角定位的文献相对较少。
内眼角作为面部最温暖的区域[5],在测量人体发热筛查中起至关重要的作用,同时是发热筛查的最佳位置[6]。尽管目前对于测量内眼角温度能否代表人体温度还存在争议,但是这是一个非常可靠的区域[7],能够以非接触、快速的方式进行体温的识别与筛查。在病毒传播期间,能更好地替代传统的额头或者腋下测温来进行巨大人流量的体温筛查工作。
2002年Friedrich等人[8]首次将眼角作为研究对象,通过红外热图像独有热特征用于识别,指出眼睛区域一些特征,比如:眼睛是面部最温暖的区域;眉毛是脸部最寒冷的区域,最后使用传统的直方图进行眼角特征检测。Budzan等人[9]对内眼角定位做了全面的研究,提出基于随机化霍夫变换(RHT, Randomize the Hough Transform)人脸和眼睛的定位算法,使用形态学操作对内眼角区域进行分割。Amanda[10]提出基于知识的方法定位内眼角,根据热图像中眼睛之间的距离与头宽的比值,内眼角在眼部区域位置之间的距离,并将具有特定距离的两个高温点作为内眼角。Chenna等人[11]研究了多模态图像配准的方法来定位内眼角,将可见光图像与热图像检测到的边缘结合起来,一旦获得配准图像,热图像中内眼角位置可以通过可见光图像中位置来定位。尽管上述方法的定位效果都存在一定的优势,但是室外环境下图像噪声更大,边缘的纹理也更加模糊,内眼角区域特征更加难以捕捉。
随着Viola等人[12]在面部检测方面引入了哈尔特征(Haar-Like Features),简称HAAR。Martinez等人[13]研究热图像中人脸各部区域检测,分析了HAAR特征结合Gentle-AdaBoost分类器比结合支持向量机(Support Vector Machines,SVM)分类器的优势更大,也有效地验证了HAAR特征在人眼检测方面的可行性。Wong等人[14]基于前人研究的经验将HAAR特征用于眼睛定位,一旦定位到眼睛,再针对眼睛的x轴四分之一区域进行眼角搜索,测量眼角的温度有效地用于发热筛查。
相对于上述方法,本文算法针对室外环境下红外热图像内眼角的定位,考虑到外界环境下目标边界模糊、噪声大等特点,在利用Gentle-AdaBoost与Haar特征相结合的人脸、人眼粗定位基础上,引入几何校正方法对眼睛区域精确定位。同时外界环境下内眼角区域属于弱小目标,无明显纹理特征,提出了区域精化与区域生长分割相结合来定位算法。实验有效证明了在复杂场景下红外热图像内眼角的定位的可行性,同时解决了室外环境下目标边界模糊、噪声大,小目标定位等复杂性问题。
1. 面部特征提取与定位
1.1 整体定位框架
本文提出的定位算法由4个模块组成,包括面部倾斜校正、基于HAAR特征级联分类的人脸与人眼粗定位、人眼几何校正精确定位和内眼角定位,整体流程图如图 1所示。
1.2 面部倾斜校正预处理
采集的红外热图像中受试者大多会出现头部的左右摆动现象,尤其在实时检测中更加容易出现,这将造成受试者面部倾斜,也不利于实验中眼睛的精确定位。针对这一问题,需要将倾斜的面部图像通过面部所倾斜的角度旋转过来。为了解决面部倾斜的角度,引入双前沿主动轮廓(dual-front active contour, DFAC)分割结合区域中分线算法。
主动轮廓分割最早由Kass等人[15]提出,其不仅在轮廓提取得到广泛运用,在图像分割中也发挥重要作用,而DFAC是Cohen等人[16]提出最短路径理论,主要用于医学图像分割。本文引入该方法主要是其鲁棒性好,速度较快等特点。室外环境下,受背景温度以及周围环境的影响,传统的阈值处理很难准确分割出红外热图像中的人脸。而DFAC分割本质是求局部区域内的某能量泛函的全局最小值,由两条主动轮廓一条内向外不断膨胀,另一条由外向内不断收缩,以两者相遇之处作为新轮廓来分割目标区域,针对复杂的图像具有不错的分割效果,其速度也因使用快速扫描法而更快。其演化过程如图 2所示。
其中图 2中(a)表示初始轮廓C将图像分为两个区域分别为内部区域Rin与外部区域Rout,(b)中Rn由C通过形态学膨胀而来,Rn有内边界Cin与外边界Cout组成,通过运算,前沿从两个边界同时开始演化,相遇之处即为所求曲线Cnew((c)的中实线)。Cnew即为新分割的区域。
为了提高DFAC分割面部的精度,初始化轮廓奠定了整个区域分割的基础,由于室外场景复杂场所下,人脸在镜头下不是一直固定,因此本文在初始化轮廓之前首先加入HAAR特征的人脸检测,将检测的人脸区域作为初始化轮廓,这样区域的精确性得到保障,接着围绕初始轮廓构造狭窄的活动区域,提取其内外边界。进行上述演化过程得到全局最小分割曲线Cnew,直到收敛(即Cnew与C的差别最小,进行替代)。
面部左右倾斜其特点是面部的器官没有发生变化,只是相对的位置的改变,因此只需将图像按旋转角反向旋转就完成校正。由于面部器官没改变,一般情况下,面部是左右对称的,面部中分线在没有旋转的情况下与x轴成90°。而一旦面部旋转,中分线与x轴就会形成夹角θ。θ1表示旋转角度,具体如式(1)所示:
$$ {\theta }_{1}=\left\{ \begin{array}{l} 左倾斜, \;(\theta -90^ \circ ) < 0\\ 正\;\;常, \;(\theta -90^ \circ )=0\\ 右倾斜, \;(\theta -90^ \circ ) > 0 \end{array} \right. $$ (1) 由式(1)可知,旋转校正主要受夹角θ的影响,因此中分线的位置是检测目标是否倾斜与校正的关键,由于人脸面部近似于一个椭圆,采用图像处理regionprops中的属性Orientation来确定人脸面部的中分线与x轴的夹角。其校正效果见表 4与图 6所示。
1.3 人脸、人眼区域粗定位
Kopaczka等人[17]的研究比较了机器学习中使用红外热成像人脸检测算法的性能,其研究表明红外热成像下的人脸检测算法大多是从图像中提取特征进行分类。针对室外环境下红外热成像下人脸检测,热图像中的纹理特征尤为重要。为了提高目标检测率,需缩小感兴趣区域(ROI,regions of interest)的搜索范围,消除室外环境中大量无用的背景和噪声。针对室外环境下红外热图像所存在的一些特性,采用HAAR特征作为分类器的检测可以有效解决热图像中灰度变化带来的影响,能更好运用这些灰度特性进行特征分类。近年来,AdaBoost算法已经得到不断的发展与完善,检测率也达到了较高的水平。AdaBoost的核心就是训练出若干个不同的弱分类器,通过这些弱分类器构成表征好的强分类器来区分人脸特征与背景特征。但是针对室外环境下热图像中背景复杂、面部特征模糊,样本区分困难度大,易导致过拟合。而Gentle-AdaBoost算法[18]是在AdaBoost的基础之上对权重进行过优化,在与AdaBoost分类器对比其优势在于稳定性好、对噪声的影响小,对样本的训练有更好的拟合数据。其人脸检测步骤为:首先对样本集进行预处理,接着弱分类器对样本集进行不断地迭代处理保留正确样本,训练出不同的弱分类器并组合起来形成强分类器,最后将训练得到的各级强分类器以级联的方式进行串联,形成一个更为强大的HAAR级联分类器,这样的级联分类器会使目标检测率得到进一步提升。能够排除大量非人脸图像,进而缩短对特征定位速度。如图 3所示,是HAAR级联分类器筛查的过程。
在人脸定位基础上,再利用HAAR级联分类器进行眼睛定位。针对热图像中眼睛区域特征模糊,外观复杂度高等问题,在人脸检测HAAR特征基础上又增加了3种特征来提取样本中的显著特征,如图 4所示,分别是一个中心环绕特征(e)和两个线性特征(f)、(g)。
上述新加入的特征都是基于眼睛在热图像中的结构所设计的,与可见光图像眼睛定位相比是有区别的,一些细节特征在眼睛区域更加容易体现,比如眉毛与鼻子区域的温度较低,两个眼睛是对称,眼球温度低于眼睛四周区域,新加入的特征能更好的表征眼睛区域一些特性,也更加有利于眼睛区域的定位。人脸、人眼分别训练级联分类器,具体参数如表 1所示,将样本图像中感兴趣区域分别缩放至不同的窗口大小来训练HAAR级联分类器,通过HAAR级联分类器进行筛查判别。
表 1 HAAR级联分类器训练参数Table 1. HAAR cascading classifier training parametersRegion Size of sample Feature Detection rate Fall-out ratio Number Eye 19×19 4 0.999 0.5 63960 Eye 12×16 7 0.999 0.5 23408 1.4 眼睛几何校正
基于上述方法眼睛区域定位很容易受到面部其他区域特征的影响比如:眉毛、鼻梁、嘴巴以及面颊等区域的影响。为了进一步减少误检窗口对眼睛区域定位的影响,本文引入几何校正的方法来提高眼睛定位的准确率。几何特征是基于面部知识,如两只眼睛是对称关系,两眼之间的距离在一定的范围内,两个眼睛位置大致在同一水平线上。具体步骤如下:
步骤1 输入检测样本集N;
步骤2 通过HAAR级联分类器结合VJ算法检测出人眼区域,计算窗口个数;
步骤3 判断窗口个数并作筛查处理,筛查操作如下:
① 在人眼检测中,窗口个数n小于等于1时,认为检测结果正确,直接输出。
② 窗口个数n等于2时,可能存在误检窗口,采用几何特性进行判断,如发现有异常两眼距离过小或者两眼不在同一水平区域,说明结果误检测。否则输出正确结果,检测关系如式(2)、(3)所示:
$$ {n_1} = \{ \max (w) \leqslant |{x_1} - {x_2}| < 2 \times \min (w)\} $$ (2) $$ {n_2} = \{ \left| {{y_1} - {y_2}} \right| \leqslant 0.5 \times \min (h)|\min ({y_1}, {y_2})\} $$ (3) ③ 窗口个数n大于2时,一定存在误检窗口,基于上述②中的关系,同时还要满足公式(6),直到检测结果正确,检测关系如下(4)、(5)、(6)所示。
$$ \begin{aligned} &n_1=\left\{\max (w) \leq\left|x_i-x_j\right|<2 \times \min (w)\right\} \\ &x_i=1, 2, 3, \cdots, n, \quad x_j=1, 2, 3, \cdots, n \end{aligned} $$ (4) $$ \begin{aligned} &n_2=\left\{\left|y_i-y_j\right| \leq 0.5 \times \min (h) \mid \min (y)\right\} \\ &y_i=1, 2, 3, \cdots, n, \quad y_j=1, 2, 3, \cdots, n \end{aligned} $$ (5) $$ {n_3} = \{ y < 0.75 \times \max (h)|y > 1.5 \times \min (h)\} $$ (6) 步骤4 若上述筛查处理完成后仍然存在误检窗口,则需要缩小检测范围。在重复公式(4)、(5)的基础上,对公式(6)的范围进行更改,检测关系如公式(7)所示:
$$ {n_4} = \{ y < 0.25 \times \max (h)|y > 1.75 \times \min (h)\} $$ (7) 式中:x表示检测到的所有窗口的横坐标;y表示检测到的所有窗口的纵坐标;w表示检测到的所有窗口的宽;h表示检测到的所有窗口的高;左眼窗口坐标为(x1, x2),右眼窗口坐标为(y1, y2);n1、n2、n3、n4为新检测出的眼睛窗口。上述方法检测到的眼睛区域作为定位的结果。在不影响检测精度和速度的前提下,几何校正方法引入提高了定位精度。
1.5 内眼角定位及提取
眼睛区域温度与人体体温相比误差较大,影响测温的准确性。众多研究表明,内眼角区域的温度是最接近人体的体温。因此,针对室外环境下内眼角的定位提出了区域精化与区域生长分割相结合的算法。
Levine等人[19]首先提出将区域生长法成功运用于图像分割方法中。与Otsu等阈值分割的方法相比,区域生长分割充分考虑了分割目标的位置信息,它主要有2个显著的特点:
1)种子点的选择需要有一定的代表性,否则难以分割目标区域,具有依耐性。
2)生长准则的取值对内眼角区域内温度影响较大,需要选择合理的阈值T,如果邻域内的像素值小于T,则纳入目标区域。其公式(8)如下。
$$ \begin{array}{c} K[n] = \{ (i, j)|{\rm{abs}}(f(x, y) - f(i, j)) < T\} \\ f(x, y) \ne 1 \end{array} $$ (8) 式中:K[n]表示目标区域;f(x, y)表示种子点的像素值;f(i, j)表示邻域像素值。
3)生长停止条件的阈值T1决定区域的大小,T1较小内眼角欠分割,T1较大内眼角过分割。
首先种子点的选择,在可控室内场景下内眼角温度最接近人体温度,直接选择眼睛区域最大像素作为种子点是可行的[9],而红外热像仪在复杂室外环境下采集的图像内眼角区域属于弱小目标,无明显纹理特征,受到严重的噪声干扰,上述方法种子点的选择是不可取的。为了应对室外环境下内眼角定位,种子点的选择融入区域精化处理的方法。具体步骤如下:
1)迭代阈值分割:眼睛区域采用改进的自适应迭代阈值分割的方法,找到像素强度接近于眼睛区域最大强度值时更新为新的阈值T2,分割采用公式(9)所示。
$$ I(x, y) = \left\{ {\begin{array}{*{20}{c}} {1, f(x, y) \geqslant {T_2}} \\ {0, f(x, y) < {T_2}} \end{array}} \right. $$ (9) 式中:f(x, y)表示区域像素的灰度值;T2表示迭代产生的新阈值;I(x, y)表示分割后的二值图像。二值图像白色区域为像素强度较大的区域,也叫热区域。
2)基于知识的热区域筛查:由内眼角特性可知,左眼的内眼角在右边,右眼的内眼角在左边。对二值图像中的热区域进行剔除处理,算法步骤如下:
步骤1 输入二值图像P;
步骤2 判断图像P处于面部位置,左眼为P1,右眼为P2;
步骤3 如果为P1,扫描P1中所有像素,将P1中左半边区域P1(x, y)中所有热区域像素剔除,否则为P2,扫描P2中所有像素,将P2中右半边区域P2(x, y) 中所有热区域像素剔除;
步骤4 输出步骤1或者步骤2中的二值图像P3。
3)连通域选择[20]:基于先验知识,热区域中绝大多数区域是受噪声影响产生的,这些区域通常较小。引入连通域进行区域筛查,通过比较热区域中各个连通域的面积,选择热区域面积最大的连通域。经过上述精化处理后对内眼角区域粗定位,在此区域内将像素值最大的作为种子点。
接着生长准则的选择,为了保证内眼定位的准确性,区域生长采用8邻域不断合并,邻域的像素值与每个新的种子像素值差别太大会拉低整个内眼角区域温度,因此本文阈值T设为3。就是将种子点与其邻域内待测点之差的绝对值小于3的像素点合并为种子区域。合并的区域都是内眼角区域像素值最大的点。
最后生长停止的条件,Fitriyah等人[21]采用最高9个像素点作为内眼角区域温度检测的标准,内眼角斑点的面积必须最小为9个像素。Budzan等人[9]则是采用9×16的区域作为内眼角区域进行温度检测的,内眼角区域要小,这是为了防止内眼角区域过大,影响内眼角作为温度检测的标准,因此本文条件是当起始的种子点的值与整个种子区域内最小种子点的差值大于阈值T1停止生长。T1设为5,这样区域内最小像素点与最大像素点差值最大为4,保证内眼角温度检测的准确性,T1过大会导致区域更大。
2. 实验与结果分析
2.1 数据集处理
为了验证实验对面部特征区域定位有效性,实验运行环境为Intel(R) Core(TM) i5-7300HQ CPU,平台为MATLAB R2018b和Python OpenCV库,使用了4个数据集,分别是The Tufts Face中的红外人脸热图像数据集(http://tdface.ece.tufts.edu/)、OTCBVS中的人脸红外数据集、Sciebo中的红外人脸热图像数据集(https://rwth-aachen.sciebo.de/s/AoSNdkGBRCt WIzX)以及采用FLIR E40红外热成像仪自行采集的校园门口行人的面部数据集。根据Budzan等人[9]的研究表明热成像仪镜头距离面部1.5 m左右体温检测的效果最好,有利于提高区域定位的精确性,同时也提高内眼角测温的准确度。因此E40镜头与目标的距离固定为1.5 m左右进行拍摄,样本中成像仪温度覆盖了校园门口背景环境0℃~45℃下的热图像。其中The Tufts Face和Sciebo两个数据集是室内环境下的,不属于室外场景,只用于实验训练。基本信息如表 2所示。
表 2 测试与训练数据的基本信息Table 2. Basic information of test and train dataDataset Number/sheet Resolution Filming spot Train-OTC 22419 320×240 - Train-Sci 3000 1024×768 - Test-TTF 1400 336×256 - Test-E40 1000 320×240 School gate OTCBVS数据集包含了22419张图片,其图片来自不同的环境下拍摄的红外人脸。手动分割出5000人脸区域用作人脸检测训练集样本,使用The Tufts Face与OTCBVS数据集分别作为测试集样本。眼睛样本集通过手动分割Sciebo数据集中的眼睛区域,测试集样本采用The Tufts Face与FLIR E40拍摄的数据集分别进行测试。使用跨数据集的实验方式进行人脸、人眼定位,能充分证明方法的稳定性有效性。如图 5所示,是FLIR E40拍摄室外不同温度区间下的样本。
2.2 评价标准
人体红外热图像内眼角温度测量的本质就是各区域的定位效果,因此准确率是衡量算法的指标。验证其定位的准确率,即:
$$ {\rm{Acc}} = \frac{{{T_{\rm{c}}}}}{{{T_n}}} \times 100\% $$ (10) 式中:Acc是定位的准确率;Tc是检测到的正确图像个数;Tn是图像总个数。
其次考虑内眼角定位的实时性,将每张图片平均内眼角定位的时间也作为评价标准,即:
$$ t = \frac{T}{N} $$ (11) 式中:T是定位耗费时间;N是图片张数。
2.3 可行性分析
表 3给出了各区域在跨数据集实验中的定位结果,其中LE表示左眼,RE表示右眼,LIC表示左内眼角,RIC表示右内眼角。
表 3 感兴趣区域定位平均准确率Table 3. Average accuracy of region of interest locationRegion Test Number/sheet ACC/% Face OTC 400 96.8 TTF 400 100 Eye TTF 400 LE 97.5 RE 97.3 E40 collected 400 LE 94.2 RE 93.4 Inner-Canthus TTF 400 LIC 100 RIC 100 E40 collected 400 LIC 98.7 - RIC 98.2 各个区域定位实验分别在两个不同的数据集上进行,每个数据集都抽取人脸正面图像400张进行测试。从表 3结果可以看出,不同场景下的数据集都可以获得较好的定位效果,但也同样存在一定的差异。人脸检测实验中,在OTC数据集实现了96.8%的准确率,而在TTF数据集上实现了100%的准确率。这是由于OTC数据集本身比TTF数据集大得多,其次OTC采集的是复杂环境下红外图像,其受背景环境影响导致检测的准确率有所下降。而TTF数据集是采集标准的室内环境下人脸热图像并且控制了镜头与面部距离,因此定位效果非常精确。OTC数据集的训练和测试的准确率略低于TTF数据集是合理的。而人眼与内眼角的定位,表 3中在TTF数据集上检测的准确率依然高于E40数据集,这是由于E40数据集在室外环境下受环境影响较大,眼睛区域的特征纹理更难捕捉到,内眼角区域受噪声影响大、区域小导致定位效果低于TTF数据集是必然的,也是合理的。
针对面部倾斜校正方法的可行性分析,本文从TTF数据集与E40数据集分别选用400张图片进行测试。表 4给出两组实验测试的结果。
表 4 面部倾斜校正的结果Table 4. Results of facial tilt correctionData set Number/sheet Correct revise Mistake revise TTF 400 396 4 E40 400 397 3 表 4验证了面部倾斜校正可行性,实验表明TTF数据集与E40数据都有不错的校正效果,TTF数据集的效果较差于E40是因为TTF数据集中包含了大量女性人脸图像,部分女性长发遮面,直接影响面部中分线的划分,导致校正效果受到影响,是合理的。实验效果如图 6所示。
为了验证眼睛几何校正方法可行性,选用TTF数据集中的400张图片进行测试,表 5是原始分类器模型与引入了几何校正分类器模型的检测结果对比,图 7是实验效果图,用几何校正的方法在不影响检测结果的基础上排除了大量的误检窗口,保证了实验的可行性。
表 5 几何校正前后检测结果对比Table 5. Comparison of test results before and afterModel Eyes Number of tests False detection Origin 800 1178 401 Geometric correction 800 786 9 图 7 实验效果图(从左往右,从上往下)(a) TTF数据集图;(b) 人脸、人眼定位;(c) 几何校正;(d) 内眼角定位;(e) FLIR E40采集图;(f) 人脸、人眼定位;(g) 几何校正;(h) 内眼角定位Figure 7. Experimental renderings from left to right, top to bottom (a) TTF data set; (b) Face and human eye positioning; (c) Geometric correction; (d) Inner corner of the eye positioning; (e) FLIR E40 acquisition map; (f) Face and human eye positioning; (g) Geometric correction; (h) Inner corner of the eye positioning2.4 与基本算法定位效果之间的比较
针对算法的有效性验证,在E40数据集进行对比实验,分别对HAAR级联分类器结合区域生长分割(RG)是否进行特征种类的选择,是否采用几何校正,是否进行区域精化处理,定位结果如表 6所示。
表 6 本文方法与基本算法定位效果对比Table 6. Comparison of positioning results with the basic algorithmAlgorithm Eyes Inner-Canthus ACC/% t/ms HAAR(4 species)+RG 59.1 62.0 72.1 HAAR(7 species)+RG 69.0 66.5 91.1 HAAR(7 species)+ geometric correction +RG 98.1 67.4 228.3 HAAR(7 species)+ regional refinement +RG 68.7 97.7 321.5 Proposed 98.1 97.7 238.7 定位结果表明与基本HAAR(7 species)级联分类器结合区域生长分割的内眼角定位算法相比较,本文方法在眼睛区域定位的准确率提高了29.1%,在内眼角定位的准确率提高了31.2%。准确率的上升导致定位时间的上升,若每人测温驻留时间为1 s,则算法所占时间比为0.238:1,一般可满足实时性要求,可见算法在室外场景下具有较好的实用性。这主要源于HAAR分类器模型上引入了几何校正算法,在进行内眼角定位前对眼睛区域进行了区域精化处理来提高定位的准确率。
2.5 与其他算法的定位效果对比
在各个数据集上将本文眼睛、内眼角定位算法与其他相关的算法比较,分别是基本HAAR算法、阈值分割(Threshold Segmentation, TS)结合基于知识的面部比例算法(Facial Proportions, FP)[22]、随机霍夫变换(Randomize the Hough Transform,RHT)结合区域生长分割算法(Region growing, RG)[9]以及基于Neural Network定位算法[23],其定位结果如表 7所示,其中L表示左眼,R表示右眼。
表 7 5种算法定位效果对比Table 7. Comparison of positioning effect of 5 algorithmsAlgorithm Data set Eyes AACC/% Inner-Canthus AACC/% t/ms HAAR+RG TTF 85.0 74.8 166.9 E40 69.0 66.5 91.1 TS+FP 45 thermal images of complex places 80.0 100 - RHT+RG 125 thermal images of faces with the up-right position L 97.1 L 97.5 - R 97.1 R 97.5 Neural Network+RG Thermal images included 198 thermograms which invloving 128 subjects 88.0 77.4 70.4 Proposed TTF L 97.5 L 100 230.1 R 97.3 R 100 E40 L 94.2 L 98.7 238.7 R 93.4 R.98.2 由表 7可以得出以下结论:
1)本文算法比采用单一的HAAR特征结合RG算法,从人脸、眼睛和内眼角的定位准确率都得到了很大程度的提高。同时在与其他算法在室内场景比较中,眼睛的准确率略占优势,而内眼角定位的准确率到达100%,充分说明了方法在环境可控的室内场景下与室外环境下的内眼角定位均有一定的有效性。
2)眼睛区域纹理特征在室外环境中更加模糊,本文算法在室外环境下与RHT算法在室内环境下相比较准确率低了3%左右,与TS算法在复杂环境下相比较却高出了14%左右。而内眼角定位的准确率无论室内、外环境都要比其它算法更具有优势,充分表明本文算法在室外场景下的内眼角定位稳定性更高。
3)室外环境对比室内可控环境下热成像的内眼角定位各方面的准确率都有所降低,主要受背景环境热源复杂,室外环境复杂等影响因素。但是本文算法在内眼角定位上通过区域精化算法有效地降低了误定位,提升了准确率。在定位速度上不及Neural Network算法,这主要两方面因素,一方面受处理器性能约束,另一方面受室外环境复杂度影响,导致检测速率下降,但对于实时性定位的要求还是能够满足。
3. 结论
针对室外环境下背景热源过高,外界环境干扰的情况,本文在采用HAAR特征级联分类器粗定位人脸、人眼区域的基础上,引入了几何校正算法对眼睛区域进行筛查精定位,并提出区域精化处理算法结合区域生长分割定位内眼角。与标准的方法相对比,在人脸、眼睛以及内眼角定位的准确率上都有大幅度提升,具有出色的适应性。同时与TS、RHT、Neural Network等方法在实际环境中进行比对,实验结果表明,本文方法在针对室外环境背景热源过高,外界环境干扰的情况下均有一定优势,这也为内眼角在室外环境下红外热成像发热筛查中提供了新的可能性。
但是本算法依然存在不足之处,如:面部倾斜校正抗干扰能力差、针对人眼区域遮挡无法做出判断、复杂场景下的鲁棒性与准确性以及定位速度有待进一步提高。
-
[1] 张小兵. 非球面光学元件加工及检测技术综述[J]. 兵器材料科学与工程, 2014, 37(2): 106-111. https://www.cnki.com.cn/Article/CJFDTOTAL-BCKG201402038.htm ZHANG Xiaobing. Review on machining and testing technology of aspheric optical elements[J]. Ordnance Materials Science and Engineering, 2014, 37(2): 106-111. https://www.cnki.com.cn/Article/CJFDTOTAL-BCKG201402038.htm
[2] FORBES G W. Shape specification for axially symmetric optical surfaces[J]. Optics Express, 2007, 15(8): 5218-5226. DOI: 10.1364/OE.15.005218
[3] 谢启明. 单点金刚石切削在红外光学的应用[D]. 昆明: 昆明物理研究所, 2002. XIE Qiming. Application of Single Point Diamond Cutting in Infrared Optics[D]. Kunming: Kunming Institute of Physics, 2002.
[4] 师途, 杨甬英, 张磊, 等. 非球面光学元件的面形检测技术[J]. 中国光学, 2014, 7(1): 26-46. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201401002.htm SHI Tu, YANG Yongying, ZHANG Lei, et al. Surface shape detection technology of aspherical optics[J]. Chinese Optics, 2014, 7(1): 26-46. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201401002.htm
[5] 闫峰涛, 范斌, 侯溪, 等. 基于子孔径拼接的Hindle球检测法[J]. 强激光与粒子数, 2012, 24(11): 2555-2559. https://www.cnki.com.cn/Article/CJFDTOTAL-QJGY201211010.htm YAN Fengtao, FAN Bin, HOU Xi, et al Hindle ball detection method based on sub aperture stitching[J]. Intense Laser and Particle Number, 2012, 24(11): 2555-2559 https://www.cnki.com.cn/Article/CJFDTOTAL-QJGY201211010.htm
[6] ALIKENS D M, WOLFE C R. Use of power spectral density(PSD) functions in specifying optics for the National Ignition Facility[C]//Proc. of SPIE, 1995, 2576: 2812292.
[7] BRAY M. Stitching interferometry: how and why it works[C]//Proc. of SPIE, 1999, 3739: 259-273.
[8] 刘崇. 非球面环形子孔径拼接干涉测试方法研究[D]. 南京: 南京理工大学, 2009. LIU Chong. Research on Measurement Method of Aspheric Ring Subaperture Splicing Interference[D]. Nanjing: Nanjing University of Science and Technology, 2009.
[9] 潘君骅. 光学非球面的设计、加工与检测[M]. 苏州: 苏州大学出版社, 2004. PAN Junhua. Design, Machining and Testing of Optical Aspheric Surface [M]. Suzhou: Soochow University Press, 2004.
[10] 王洪臣. 二次旋转曲面法线等距离线加工法及机床研制[D]. 长春: 长春理工大学, 2007. WANG Hongchen. Normal Isometric Machining Method of Quadratic Rotary Surface and Machine Tool Development[D]. Changchun: Changchun University of Science and Technology, 2007.
[11] 贾世奎, 李成贵, 杨辉, 等. 非球面光学元件面形检测方法[J]. 上海计量测试, 2009, 36(5): 2-6. https://www.cnki.com.cn/Article/CJFDTOTAL-SJLC200905005.htm JIA Shikui, LI Chenggui, YANG Hui, et al. Surface shape detection method of aspherical optical elements[J]. Shanghai Metrological Measurement, 2009, 36(5): 2-6. https://www.cnki.com.cn/Article/CJFDTOTAL-SJLC200905005.htm
[12] 杨志文. 光学测量[M]. 北京: 北京理工大学出版社, 1995. YANG Zhiwen. Optical Measurement[M]. Beijing: Beijing Institute of Technology Press, 1995.
[13] 普里亚耶夫. 光学非球面检验[M]. 北京: 科学出版社, 1982. Priayev. Optical Aspherical Testing[M]. Beijing: Science Press, 1982.
[14] 马天宇. 基于激光干涉测量原理的轮廓测量系统[D]. 杭州: 浙江理工大学, 2018. MA Tianyu. Profile Measurement System Based on Laser Interferometry Principle[D]. Hangzhou: Zhejiang Sci-Tech University, 2018.
[15] 王孝坤. 激光跟踪仪检验非球面面形的方法[J]. 光子学报, 2012, 41(4): 379-383. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201204002.htm WANG Xiaokun. A method to test aspheric surface shape with laser tracker[J]. Acta Photonica Sinica, 2012, 41(4): 379-383. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201204002.htm
[16] 李静, 杨辉, 李杰. 自由曲面光学元件检测方法研究[J]. 航空精密制造技术, 2019, 55(3): 31-33. https://www.cnki.com.cn/Article/CJFDTOTAL-HJZJ201903009.htm LI Jing, YANG Hui, LI Jie. Research on testing methods for free form surface optical elements[J] Aerospace Precision Manufacturing Technology, 2019, 55(3): 31-33 https://www.cnki.com.cn/Article/CJFDTOTAL-HJZJ201903009.htm
[17] 重庆孚纳科技有限公司. NMF高精度非接触三维轮廓仪产品手册[Z]. 2021. Chongqing Funa Technology Co. LTD. NMF High Precision Non-contact 3D Profiler Product Manual[Z]. 2021.
[18] 张磊, 刘东, 师途, 等. 光学自由曲面面形检测技术[J]. 中国光学, 2017, 10(3): 283-299. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201703001.htm ZHANG Lei, LIU Dong, SHI Tu, et al. Surface shape detection technology of optical free-form surface[J]. Chinese Optics, 2017, 10(3): 283-299. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201703001.htm
[19] 吴仍茂. 自由曲面照明设计方法的研究[D]. 杭州: 浙江大学, 2013. WU Renmao. Research on Design Method of Free-form Surface Lighting[D]. Hangzhou: Zhejiang University, 2013.
[20] TIAN F, YIN Z, LI S. Fast tool servo diamond turning of optical freeform surfaces for rear-view mirrors[J]. The International Journal of Advanced Manufacturing Technology, 2015, 80(9): 1759-1765. DOI: 10.1007%2Fs00170-015-7152-9.pdf
[21] 孟祥翔, 刘伟奇, 张大亮, 等. 双自由曲面大视场头盔显示光学系统设计[J]. 红外与激光工程, 2016, 45(4): 196-201. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201604029.htm MENG Xiangxiang, LIU Weiqi, ZHANG Daliang, et al. Design of dual-free-form helmet display optical system with large field of view[J]. Infrared and Laser Engineering, 2016, 45(4): 196-201. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201604029.htm
[22] 刘军, 黄玮. 反射式自由曲面头盔显示器光学系统设计[J]. 红外与激光工程, 2016, 45(10): 150-155. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201610023.htm LIU Jun, HUANG Wei. Optical system design of reflective free-form helmet-mounted display[J]. Infrared and Laser Engineering, 2016, 45(10): 150-155. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201610023.htm
[23] WANG Q F, CHENG D W, WANG W T, et al. Design, tolerance, and fabrication of an optical see-through head-mounted display with free-form surface elements[J]. Applied Optics, 2013, 52(7): C88. http://www.opticsinfobase.org/ao/abstract.cfm?uri=ao-52-7-C88
[24] 赵伟, 刘旭, 李海峰. 基于自由曲面阵列的激光投影显示照明系统设计[J]. 光学学报, 2018, 38(6): 291-297. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201806039.htm ZHAO Wei, LIU Xu, LI Haifeng. Design of laser projection display lighting system based on free-form surface array[J]. Acta Optica Sinica, 2018, 38(6): 291-297. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201806039.htm
[25] 于百华. 基于自由曲面的超短焦投影物镜关键技术研究[D]. 长春: 中国科学院大学(中国科学院长春光学精密机械与物理研究所), 2019. YU Baihua. Research on Key Technologies of Ultra-short focal projection objective Based on Free-form Surface[D]. Changchun: University of Chinese Academy of Sciences(Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences), 2019.
[26] 朱日宏, 孙越, 沈华. 光学自由曲面面形检测方法进展与展望[J]. 光学学报, 2021, 41(1): 161-178. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202101012.htm ZHU Rihong, SUN Yue, SHEN Hua. Advances and prospects of surface shape detection methods for optical free-form surfaces[J]. Acta Optica Sinica, 2021, 41(1): 161-178. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202101012.htm
[27] MENG Q Y, WANG H Y, LIANGW J, et al. Design of off-axis three-mirror systems with ultrawide field of view based on an expansion process of surface free-form and field of view[J]. Applied Optics, 2019, 58(3): 609-615.