二类超晶格红外焦平面探测器的研究进展

李俊斌, 李东升, 吴圣娟, 周旭昌, 李艳辉, 杨春章, 杨雯, 蒋志, 常超, 任洋

李俊斌, 李东升, 吴圣娟, 周旭昌, 李艳辉, 杨春章, 杨雯, 蒋志, 常超, 任洋. 二类超晶格红外焦平面探测器的研究进展[J]. 红外技术, 2021, 43(11): 1034-1043.
引用本文: 李俊斌, 李东升, 吴圣娟, 周旭昌, 李艳辉, 杨春章, 杨雯, 蒋志, 常超, 任洋. 二类超晶格红外焦平面探测器的研究进展[J]. 红外技术, 2021, 43(11): 1034-1043.
LI Junbin, LI Dongsheng, WU Shengjuan, ZHOU Xuchang, LI Yanhui, YANG Chunzhang, YANG Wen, JIANG Zhi, CHANG Chao, REN Yang. The Research Progress in Type Ⅱ Superlattices Infrared Focal Plane Array Detectors[J]. Infrared Technology , 2021, 43(11): 1034-1043.
Citation: LI Junbin, LI Dongsheng, WU Shengjuan, ZHOU Xuchang, LI Yanhui, YANG Chunzhang, YANG Wen, JIANG Zhi, CHANG Chao, REN Yang. The Research Progress in Type Ⅱ Superlattices Infrared Focal Plane Array Detectors[J]. Infrared Technology , 2021, 43(11): 1034-1043.

二类超晶格红外焦平面探测器的研究进展

详细信息
    作者简介:

    李俊斌(1989-),男,云南昌宁人,博士,工程师,主要从事红外光电材料与器件方面的研究工作。E-mail:junbin_lee666@163.com

  • 中图分类号: TN215

The Research Progress in Type Ⅱ Superlattices Infrared Focal Plane Array Detectors

  • 摘要: 近几年,二类超晶格红外探测器在材料生长、器件结构设计、器件制备上经历了快速的发展,使得二类超晶格成为除碲镉汞外最受关注的红外探测器材料。本文简要介绍了二类超晶格的优势,总结了国际上二类超晶格红外探测器研究进展,回顾了二类超晶格红外探测器的技术发展历程,并分析了国内二类超晶格材料与器件中存在的技术问题。
    Abstract: In recent years, the type Ⅱ superlattices (T2SL) infrared detector has experienced incredible improvements in material growth, device structure design, device fabrication techniques, which make the T2SL become the most popular infrared detector material, besides HgCdTe. This article briefly introduces the advantage of the T2SL material, summarizes the international research status in T2SL-based photodetectors, reviews the history of technology development of T2SL-based photodetectors and analyzes the drawback of the research of T2SL material and device technology in China.
  • 伴随COVID-19全面爆发,预防病毒的传播成各个国家关键问题。在此期间社会需要重新组织社交环境,以应对病毒的传播。由于病毒引起患者常见的症状是发热,各个国家规定在进入人口流动性大的场所以及公共建筑区域前都需要体温检测[1]。因此非接触、快速测温的红外热成像仪被广泛使用于这些区域[2],红外热成像体温筛查成为预防病毒传播的有效方式之一[3]。病毒传播得到控制后,各个国家就要面临组织学生返校,工人复工等问题[4]。预防这些区域的病毒传播同样需要红外热像仪的筛查,一般校园或者工厂门口都是临时搭建的待检通道,处于室外环境中,室外环境下热成像中的背景温度过热会导致前景目标特征区域边界模糊,同时热图像受噪声干扰大,极大地降低了目标区域检测的准确率,继而影响发热筛查的效果。现阶段的研究大多关注室内场所下内眼角定位,针对室外环境下内眼角定位的文献相对较少。

    内眼角作为面部最温暖的区域[5],在测量人体发热筛查中起至关重要的作用,同时是发热筛查的最佳位置[6]。尽管目前对于测量内眼角温度能否代表人体温度还存在争议,但是这是一个非常可靠的区域[7],能够以非接触、快速的方式进行体温的识别与筛查。在病毒传播期间,能更好地替代传统的额头或者腋下测温来进行巨大人流量的体温筛查工作。

    2002年Friedrich等人[8]首次将眼角作为研究对象,通过红外热图像独有热特征用于识别,指出眼睛区域一些特征,比如:眼睛是面部最温暖的区域;眉毛是脸部最寒冷的区域,最后使用传统的直方图进行眼角特征检测。Budzan等人[9]对内眼角定位做了全面的研究,提出基于随机化霍夫变换(RHT, Randomize the Hough Transform)人脸和眼睛的定位算法,使用形态学操作对内眼角区域进行分割。Amanda[10]提出基于知识的方法定位内眼角,根据热图像中眼睛之间的距离与头宽的比值,内眼角在眼部区域位置之间的距离,并将具有特定距离的两个高温点作为内眼角。Chenna等人[11]研究了多模态图像配准的方法来定位内眼角,将可见光图像与热图像检测到的边缘结合起来,一旦获得配准图像,热图像中内眼角位置可以通过可见光图像中位置来定位。尽管上述方法的定位效果都存在一定的优势,但是室外环境下图像噪声更大,边缘的纹理也更加模糊,内眼角区域特征更加难以捕捉。

    随着Viola等人[12]在面部检测方面引入了哈尔特征(Haar-Like Features),简称HAAR。Martinez等人[13]研究热图像中人脸各部区域检测,分析了HAAR特征结合Gentle-AdaBoost分类器比结合支持向量机(Support Vector Machines,SVM)分类器的优势更大,也有效地验证了HAAR特征在人眼检测方面的可行性。Wong等人[14]基于前人研究的经验将HAAR特征用于眼睛定位,一旦定位到眼睛,再针对眼睛的x轴四分之一区域进行眼角搜索,测量眼角的温度有效地用于发热筛查。

    相对于上述方法,本文算法针对室外环境下红外热图像内眼角的定位,考虑到外界环境下目标边界模糊、噪声大等特点,在利用Gentle-AdaBoost与Haar特征相结合的人脸、人眼粗定位基础上,引入几何校正方法对眼睛区域精确定位。同时外界环境下内眼角区域属于弱小目标,无明显纹理特征,提出了区域精化与区域生长分割相结合来定位算法。实验有效证明了在复杂场景下红外热图像内眼角的定位的可行性,同时解决了室外环境下目标边界模糊、噪声大,小目标定位等复杂性问题。

    本文提出的定位算法由4个模块组成,包括面部倾斜校正、基于HAAR特征级联分类的人脸与人眼粗定位、人眼几何校正精确定位和内眼角定位,整体流程图如图 1所示。

    图  1  内眼角定位流程
    Figure  1.  Flow chart of positioning of inner-canthus

    采集的红外热图像中受试者大多会出现头部的左右摆动现象,尤其在实时检测中更加容易出现,这将造成受试者面部倾斜,也不利于实验中眼睛的精确定位。针对这一问题,需要将倾斜的面部图像通过面部所倾斜的角度旋转过来。为了解决面部倾斜的角度,引入双前沿主动轮廓(dual-front active contour, DFAC)分割结合区域中分线算法。

    主动轮廓分割最早由Kass等人[15]提出,其不仅在轮廓提取得到广泛运用,在图像分割中也发挥重要作用,而DFAC是Cohen等人[16]提出最短路径理论,主要用于医学图像分割。本文引入该方法主要是其鲁棒性好,速度较快等特点。室外环境下,受背景温度以及周围环境的影响,传统的阈值处理很难准确分割出红外热图像中的人脸。而DFAC分割本质是求局部区域内的某能量泛函的全局最小值,由两条主动轮廓一条内向外不断膨胀,另一条由外向内不断收缩,以两者相遇之处作为新轮廓来分割目标区域,针对复杂的图像具有不错的分割效果,其速度也因使用快速扫描法而更快。其演化过程如图 2所示。

    图  2  双前沿演化过程,从左到右:(a) 初始轮廓;(b) 形态学膨胀;(c) 新分割区域
    Figure  2.  Double frontier evolution process from left to right: (a) initial contour; (b) morphological expansion; (c) newly segmented region

    其中图 2中(a)表示初始轮廓C将图像分为两个区域分别为内部区域Rin与外部区域Rout,(b)中RnC通过形态学膨胀而来,Rn有内边界Cin与外边界Cout组成,通过运算,前沿从两个边界同时开始演化,相遇之处即为所求曲线Cnew((c)的中实线)。Cnew即为新分割的区域。

    为了提高DFAC分割面部的精度,初始化轮廓奠定了整个区域分割的基础,由于室外场景复杂场所下,人脸在镜头下不是一直固定,因此本文在初始化轮廓之前首先加入HAAR特征的人脸检测,将检测的人脸区域作为初始化轮廓,这样区域的精确性得到保障,接着围绕初始轮廓构造狭窄的活动区域,提取其内外边界。进行上述演化过程得到全局最小分割曲线Cnew,直到收敛(即CnewC的差别最小,进行替代)。

    面部左右倾斜其特点是面部的器官没有发生变化,只是相对的位置的改变,因此只需将图像按旋转角反向旋转就完成校正。由于面部器官没改变,一般情况下,面部是左右对称的,面部中分线在没有旋转的情况下与x轴成90°。而一旦面部旋转,中分线与x轴就会形成夹角θθ1表示旋转角度,具体如式(1)所示:

    $$ {\theta }_{1}=\left\{ \begin{array}{l} 左倾斜, \;(\theta -90^ \circ ) < 0\\ 正\;\;常, \;(\theta -90^ \circ )=0\\ 右倾斜, \;(\theta -90^ \circ ) > 0 \end{array} \right. $$ (1)

    由式(1)可知,旋转校正主要受夹角θ的影响,因此中分线的位置是检测目标是否倾斜与校正的关键,由于人脸面部近似于一个椭圆,采用图像处理regionprops中的属性Orientation来确定人脸面部的中分线与x轴的夹角。其校正效果见表 4图 6所示。

    Kopaczka等人[17]的研究比较了机器学习中使用红外热成像人脸检测算法的性能,其研究表明红外热成像下的人脸检测算法大多是从图像中提取特征进行分类。针对室外环境下红外热成像下人脸检测,热图像中的纹理特征尤为重要。为了提高目标检测率,需缩小感兴趣区域(ROI,regions of interest)的搜索范围,消除室外环境中大量无用的背景和噪声。针对室外环境下红外热图像所存在的一些特性,采用HAAR特征作为分类器的检测可以有效解决热图像中灰度变化带来的影响,能更好运用这些灰度特性进行特征分类。近年来,AdaBoost算法已经得到不断的发展与完善,检测率也达到了较高的水平。AdaBoost的核心就是训练出若干个不同的弱分类器,通过这些弱分类器构成表征好的强分类器来区分人脸特征与背景特征。但是针对室外环境下热图像中背景复杂、面部特征模糊,样本区分困难度大,易导致过拟合。而Gentle-AdaBoost算法[18]是在AdaBoost的基础之上对权重进行过优化,在与AdaBoost分类器对比其优势在于稳定性好、对噪声的影响小,对样本的训练有更好的拟合数据。其人脸检测步骤为:首先对样本集进行预处理,接着弱分类器对样本集进行不断地迭代处理保留正确样本,训练出不同的弱分类器并组合起来形成强分类器,最后将训练得到的各级强分类器以级联的方式进行串联,形成一个更为强大的HAAR级联分类器,这样的级联分类器会使目标检测率得到进一步提升。能够排除大量非人脸图像,进而缩短对特征定位速度。如图 3所示,是HAAR级联分类器筛查的过程。

    图  3  HAAR级联分类器筛查过程
    Figure  3.  HAAR cascading classifier screening process

    在人脸定位基础上,再利用HAAR级联分类器进行眼睛定位。针对热图像中眼睛区域特征模糊,外观复杂度高等问题,在人脸检测HAAR特征基础上又增加了3种特征来提取样本中的显著特征,如图 4所示,分别是一个中心环绕特征(e)和两个线性特征(f)、(g)。

    图  4  矩阵特征其中(a)、(b)边缘特征;(d)、(f)、(g)线性特征;(c)对角线特征;(e)中心环绕特征
    Figure  4.  Matrix features Where (a), (b) Edge features; (d), (f), (g) Linear features; (c) Diagonal features; (e) Center surround feature

    上述新加入的特征都是基于眼睛在热图像中的结构所设计的,与可见光图像眼睛定位相比是有区别的,一些细节特征在眼睛区域更加容易体现,比如眉毛与鼻子区域的温度较低,两个眼睛是对称,眼球温度低于眼睛四周区域,新加入的特征能更好的表征眼睛区域一些特性,也更加有利于眼睛区域的定位。人脸、人眼分别训练级联分类器,具体参数如表 1所示,将样本图像中感兴趣区域分别缩放至不同的窗口大小来训练HAAR级联分类器,通过HAAR级联分类器进行筛查判别。

    表  1  HAAR级联分类器训练参数
    Table  1.  HAAR cascading classifier training parameters
    Region Size of sample Feature Detection rate Fall-out ratio Number
    Eye 19×19 4 0.999 0.5 63960
    Eye 12×16 7 0.999 0.5 23408
    下载: 导出CSV 
    | 显示表格

    基于上述方法眼睛区域定位很容易受到面部其他区域特征的影响比如:眉毛、鼻梁、嘴巴以及面颊等区域的影响。为了进一步减少误检窗口对眼睛区域定位的影响,本文引入几何校正的方法来提高眼睛定位的准确率。几何特征是基于面部知识,如两只眼睛是对称关系,两眼之间的距离在一定的范围内,两个眼睛位置大致在同一水平线上。具体步骤如下:

    步骤1  输入检测样本集N

    步骤2  通过HAAR级联分类器结合VJ算法检测出人眼区域,计算窗口个数;

    步骤3  判断窗口个数并作筛查处理,筛查操作如下:

    ① 在人眼检测中,窗口个数n小于等于1时,认为检测结果正确,直接输出。

    ② 窗口个数n等于2时,可能存在误检窗口,采用几何特性进行判断,如发现有异常两眼距离过小或者两眼不在同一水平区域,说明结果误检测。否则输出正确结果,检测关系如式(2)、(3)所示:

    $$ {n_1} = \{ \max (w) \leqslant |{x_1} - {x_2}| < 2 \times \min (w)\} $$ (2)
    $$ {n_2} = \{ \left| {{y_1} - {y_2}} \right| \leqslant 0.5 \times \min (h)|\min ({y_1}, {y_2})\} $$ (3)

    ③ 窗口个数n大于2时,一定存在误检窗口,基于上述②中的关系,同时还要满足公式(6),直到检测结果正确,检测关系如下(4)、(5)、(6)所示。

    $$ \begin{aligned} &n_1=\left\{\max (w) \leq\left|x_i-x_j\right|<2 \times \min (w)\right\} \\ &x_i=1, 2, 3, \cdots, n, \quad x_j=1, 2, 3, \cdots, n \end{aligned} $$ (4)
    $$ \begin{aligned} &n_2=\left\{\left|y_i-y_j\right| \leq 0.5 \times \min (h) \mid \min (y)\right\} \\ &y_i=1, 2, 3, \cdots, n, \quad y_j=1, 2, 3, \cdots, n \end{aligned} $$ (5)
    $$ {n_3} = \{ y < 0.75 \times \max (h)|y > 1.5 \times \min (h)\} $$ (6)

    步骤4  若上述筛查处理完成后仍然存在误检窗口,则需要缩小检测范围。在重复公式(4)、(5)的基础上,对公式(6)的范围进行更改,检测关系如公式(7)所示:

    $$ {n_4} = \{ y < 0.25 \times \max (h)|y > 1.75 \times \min (h)\} $$ (7)

    式中:x表示检测到的所有窗口的横坐标;y表示检测到的所有窗口的纵坐标;w表示检测到的所有窗口的宽;h表示检测到的所有窗口的高;左眼窗口坐标为(x1, x2),右眼窗口坐标为(y1, y2);n1n2n3n4为新检测出的眼睛窗口。上述方法检测到的眼睛区域作为定位的结果。在不影响检测精度和速度的前提下,几何校正方法引入提高了定位精度。

    眼睛区域温度与人体体温相比误差较大,影响测温的准确性。众多研究表明,内眼角区域的温度是最接近人体的体温。因此,针对室外环境下内眼角的定位提出了区域精化与区域生长分割相结合的算法。

    Levine等人[19]首先提出将区域生长法成功运用于图像分割方法中。与Otsu等阈值分割的方法相比,区域生长分割充分考虑了分割目标的位置信息,它主要有2个显著的特点:

    1)种子点的选择需要有一定的代表性,否则难以分割目标区域,具有依耐性。

    2)生长准则的取值对内眼角区域内温度影响较大,需要选择合理的阈值T,如果邻域内的像素值小于T,则纳入目标区域。其公式(8)如下。

    $$ \begin{array}{c} K[n] = \{ (i, j)|{\rm{abs}}(f(x, y) - f(i, j)) < T\} \\ f(x, y) \ne 1 \end{array} $$ (8)

    式中:K[n]表示目标区域;f(x, y)表示种子点的像素值;f(i, j)表示邻域像素值。

    3)生长停止条件的阈值T1决定区域的大小,T1较小内眼角欠分割,T1较大内眼角过分割。

    首先种子点的选择,在可控室内场景下内眼角温度最接近人体温度,直接选择眼睛区域最大像素作为种子点是可行的[9],而红外热像仪在复杂室外环境下采集的图像内眼角区域属于弱小目标,无明显纹理特征,受到严重的噪声干扰,上述方法种子点的选择是不可取的。为了应对室外环境下内眼角定位,种子点的选择融入区域精化处理的方法。具体步骤如下:

    1)迭代阈值分割:眼睛区域采用改进的自适应迭代阈值分割的方法,找到像素强度接近于眼睛区域最大强度值时更新为新的阈值T2,分割采用公式(9)所示。

    $$ I(x, y) = \left\{ {\begin{array}{*{20}{c}} {1, f(x, y) \geqslant {T_2}} \\ {0, f(x, y) < {T_2}} \end{array}} \right. $$ (9)

    式中:f(x, y)表示区域像素的灰度值;T2表示迭代产生的新阈值;I(x, y)表示分割后的二值图像。二值图像白色区域为像素强度较大的区域,也叫热区域。

    2)基于知识的热区域筛查:由内眼角特性可知,左眼的内眼角在右边,右眼的内眼角在左边。对二值图像中的热区域进行剔除处理,算法步骤如下:

    步骤1  输入二值图像P

    步骤2  判断图像P处于面部位置,左眼为P1,右眼为P2

    步骤3  如果为P1,扫描P1中所有像素,将P1中左半边区域P1(x, y)中所有热区域像素剔除,否则为P2,扫描P2中所有像素,将P2中右半边区域P2(x, y) 中所有热区域像素剔除;

    步骤4  输出步骤1或者步骤2中的二值图像P3

    3)连通域选择[20]:基于先验知识,热区域中绝大多数区域是受噪声影响产生的,这些区域通常较小。引入连通域进行区域筛查,通过比较热区域中各个连通域的面积,选择热区域面积最大的连通域。经过上述精化处理后对内眼角区域粗定位,在此区域内将像素值最大的作为种子点。

    接着生长准则的选择,为了保证内眼定位的准确性,区域生长采用8邻域不断合并,邻域的像素值与每个新的种子像素值差别太大会拉低整个内眼角区域温度,因此本文阈值T设为3。就是将种子点与其邻域内待测点之差的绝对值小于3的像素点合并为种子区域。合并的区域都是内眼角区域像素值最大的点。

    最后生长停止的条件,Fitriyah等人[21]采用最高9个像素点作为内眼角区域温度检测的标准,内眼角斑点的面积必须最小为9个像素。Budzan等人[9]则是采用9×16的区域作为内眼角区域进行温度检测的,内眼角区域要小,这是为了防止内眼角区域过大,影响内眼角作为温度检测的标准,因此本文条件是当起始的种子点的值与整个种子区域内最小种子点的差值大于阈值T1停止生长。T1设为5,这样区域内最小像素点与最大像素点差值最大为4,保证内眼角温度检测的准确性,T1过大会导致区域更大。

    为了验证实验对面部特征区域定位有效性,实验运行环境为Intel(R) Core(TM) i5-7300HQ CPU,平台为MATLAB R2018b和Python OpenCV库,使用了4个数据集,分别是The Tufts Face中的红外人脸热图像数据集(http://tdface.ece.tufts.edu/)、OTCBVS中的人脸红外数据集、Sciebo中的红外人脸热图像数据集(https://rwth-aachen.sciebo.de/s/AoSNdkGBRCt WIzX)以及采用FLIR E40红外热成像仪自行采集的校园门口行人的面部数据集。根据Budzan等人[9]的研究表明热成像仪镜头距离面部1.5 m左右体温检测的效果最好,有利于提高区域定位的精确性,同时也提高内眼角测温的准确度。因此E40镜头与目标的距离固定为1.5 m左右进行拍摄,样本中成像仪温度覆盖了校园门口背景环境0℃~45℃下的热图像。其中The Tufts Face和Sciebo两个数据集是室内环境下的,不属于室外场景,只用于实验训练。基本信息如表 2所示。

    表  2  测试与训练数据的基本信息
    Table  2.  Basic information of test and train data
    Dataset Number/sheet Resolution Filming spot
    Train-OTC 22419 320×240 -
    Train-Sci 3000 1024×768 -
    Test-TTF 1400 336×256 -
    Test-E40 1000 320×240 School gate
    下载: 导出CSV 
    | 显示表格

    OTCBVS数据集包含了22419张图片,其图片来自不同的环境下拍摄的红外人脸。手动分割出5000人脸区域用作人脸检测训练集样本,使用The Tufts Face与OTCBVS数据集分别作为测试集样本。眼睛样本集通过手动分割Sciebo数据集中的眼睛区域,测试集样本采用The Tufts Face与FLIR E40拍摄的数据集分别进行测试。使用跨数据集的实验方式进行人脸、人眼定位,能充分证明方法的稳定性有效性。如图 5所示,是FLIR E40拍摄室外不同温度区间下的样本。

    图  5  样本示例:(a) 0℃~10℃区间拍摄;(b) 10℃~20℃区间拍摄;(c) 20℃~30℃区间拍摄
    Figure  5.  Sample diagram (a) Shooting at 0℃-10℃; (b) Shooting at 10℃-20℃; (c) Shooting at 20℃-30℃

    人体红外热图像内眼角温度测量的本质就是各区域的定位效果,因此准确率是衡量算法的指标。验证其定位的准确率,即:

    $$ {\rm{Acc}} = \frac{{{T_{\rm{c}}}}}{{{T_n}}} \times 100\% $$ (10)

    式中:Acc是定位的准确率;Tc是检测到的正确图像个数;Tn是图像总个数。

    其次考虑内眼角定位的实时性,将每张图片平均内眼角定位的时间也作为评价标准,即:

    $$ t = \frac{T}{N} $$ (11)

    式中:T是定位耗费时间;N是图片张数。

    表 3给出了各区域在跨数据集实验中的定位结果,其中LE表示左眼,RE表示右眼,LIC表示左内眼角,RIC表示右内眼角。

    表  3  感兴趣区域定位平均准确率
    Table  3.  Average accuracy of region of interest location
    Region Test Number/sheet ACC/%
    Face OTC 400 96.8
    TTF 400 100
    Eye TTF 400 LE 97.5
    RE 97.3
    E40 collected 400 LE 94.2
    RE 93.4
    Inner-Canthus TTF 400 LIC 100
    RIC 100
    E40 collected 400 LIC 98.7
    - RIC 98.2
    下载: 导出CSV 
    | 显示表格

    各个区域定位实验分别在两个不同的数据集上进行,每个数据集都抽取人脸正面图像400张进行测试。从表 3结果可以看出,不同场景下的数据集都可以获得较好的定位效果,但也同样存在一定的差异。人脸检测实验中,在OTC数据集实现了96.8%的准确率,而在TTF数据集上实现了100%的准确率。这是由于OTC数据集本身比TTF数据集大得多,其次OTC采集的是复杂环境下红外图像,其受背景环境影响导致检测的准确率有所下降。而TTF数据集是采集标准的室内环境下人脸热图像并且控制了镜头与面部距离,因此定位效果非常精确。OTC数据集的训练和测试的准确率略低于TTF数据集是合理的。而人眼与内眼角的定位,表 3中在TTF数据集上检测的准确率依然高于E40数据集,这是由于E40数据集在室外环境下受环境影响较大,眼睛区域的特征纹理更难捕捉到,内眼角区域受噪声影响大、区域小导致定位效果低于TTF数据集是必然的,也是合理的。

    针对面部倾斜校正方法的可行性分析,本文从TTF数据集与E40数据集分别选用400张图片进行测试。表 4给出两组实验测试的结果。

    表  4  面部倾斜校正的结果
    Table  4.  Results of facial tilt correction
    Data set Number/sheet Correct revise Mistake revise
    TTF 400 396 4
    E40 400 397 3
    下载: 导出CSV 
    | 显示表格

    表 4验证了面部倾斜校正可行性,实验表明TTF数据集与E40数据都有不错的校正效果,TTF数据集的效果较差于E40是因为TTF数据集中包含了大量女性人脸图像,部分女性长发遮面,直接影响面部中分线的划分,导致校正效果受到影响,是合理的。实验效果如图 6所示。

    图  6  实验效果图(a)、(b)为E40采集的原图像,(c)、(d)为其校正后的图像
    Figure  6.  Experimental renderings (a) and (b) are the original images collected by E40, and (c) and (d) are the corrected images

    为了验证眼睛几何校正方法可行性,选用TTF数据集中的400张图片进行测试,表 5是原始分类器模型与引入了几何校正分类器模型的检测结果对比,图 7是实验效果图,用几何校正的方法在不影响检测结果的基础上排除了大量的误检窗口,保证了实验的可行性。

    表  5  几何校正前后检测结果对比
    Table  5.  Comparison of test results before and after
    Model Eyes Number of tests False detection
    Origin 800 1178 401
    Geometric correction 800 786 9
    下载: 导出CSV 
    | 显示表格
    图  7  实验效果图(从左往右,从上往下)(a) TTF数据集图;(b) 人脸、人眼定位;(c) 几何校正;(d) 内眼角定位;(e) FLIR E40采集图;(f) 人脸、人眼定位;(g) 几何校正;(h) 内眼角定位
    Figure  7.  Experimental renderings from left to right, top to bottom (a) TTF data set; (b) Face and human eye positioning; (c) Geometric correction; (d) Inner corner of the eye positioning; (e) FLIR E40 acquisition map; (f) Face and human eye positioning; (g) Geometric correction; (h) Inner corner of the eye positioning

    针对算法的有效性验证,在E40数据集进行对比实验,分别对HAAR级联分类器结合区域生长分割(RG)是否进行特征种类的选择,是否采用几何校正,是否进行区域精化处理,定位结果如表 6所示。

    表  6  本文方法与基本算法定位效果对比
    Table  6.  Comparison of positioning results with the basic algorithm
    Algorithm Eyes Inner-Canthus ACC/% t/ms
    HAAR(4 species)+RG 59.1 62.0 72.1
    HAAR(7 species)+RG 69.0 66.5 91.1
    HAAR(7 species)+ geometric correction +RG 98.1 67.4 228.3
    HAAR(7 species)+ regional refinement +RG 68.7 97.7 321.5
    Proposed 98.1 97.7 238.7
    下载: 导出CSV 
    | 显示表格

    定位结果表明与基本HAAR(7 species)级联分类器结合区域生长分割的内眼角定位算法相比较,本文方法在眼睛区域定位的准确率提高了29.1%,在内眼角定位的准确率提高了31.2%。准确率的上升导致定位时间的上升,若每人测温驻留时间为1 s,则算法所占时间比为0.238:1,一般可满足实时性要求,可见算法在室外场景下具有较好的实用性。这主要源于HAAR分类器模型上引入了几何校正算法,在进行内眼角定位前对眼睛区域进行了区域精化处理来提高定位的准确率。

    在各个数据集上将本文眼睛、内眼角定位算法与其他相关的算法比较,分别是基本HAAR算法、阈值分割(Threshold Segmentation, TS)结合基于知识的面部比例算法(Facial Proportions, FP)[22]、随机霍夫变换(Randomize the Hough Transform,RHT)结合区域生长分割算法(Region growing, RG)[9]以及基于Neural Network定位算法[23],其定位结果如表 7所示,其中L表示左眼,R表示右眼。

    表  7  5种算法定位效果对比
    Table  7.  Comparison of positioning effect of 5 algorithms
    Algorithm Data set Eyes AACC/% Inner-Canthus AACC/% t/ms
    HAAR+RG TTF 85.0 74.8 166.9
    E40 69.0 66.5 91.1
    TS+FP 45 thermal images of complex places 80.0 100 -
    RHT+RG 125 thermal images of faces with the up-right position L 97.1 L 97.5 -
    R 97.1 R 97.5
    Neural Network+RG Thermal images included 198 thermograms which invloving 128 subjects 88.0 77.4 70.4
    Proposed TTF L 97.5 L 100 230.1
    R 97.3 R 100
    E40 L 94.2 L 98.7 238.7
    R 93.4 R.98.2
    下载: 导出CSV 
    | 显示表格

    表 7可以得出以下结论:

    1)本文算法比采用单一的HAAR特征结合RG算法,从人脸、眼睛和内眼角的定位准确率都得到了很大程度的提高。同时在与其他算法在室内场景比较中,眼睛的准确率略占优势,而内眼角定位的准确率到达100%,充分说明了方法在环境可控的室内场景下与室外环境下的内眼角定位均有一定的有效性。

    2)眼睛区域纹理特征在室外环境中更加模糊,本文算法在室外环境下与RHT算法在室内环境下相比较准确率低了3%左右,与TS算法在复杂环境下相比较却高出了14%左右。而内眼角定位的准确率无论室内、外环境都要比其它算法更具有优势,充分表明本文算法在室外场景下的内眼角定位稳定性更高。

    3)室外环境对比室内可控环境下热成像的内眼角定位各方面的准确率都有所降低,主要受背景环境热源复杂,室外环境复杂等影响因素。但是本文算法在内眼角定位上通过区域精化算法有效地降低了误定位,提升了准确率。在定位速度上不及Neural Network算法,这主要两方面因素,一方面受处理器性能约束,另一方面受室外环境复杂度影响,导致检测速率下降,但对于实时性定位的要求还是能够满足。

    针对室外环境下背景热源过高,外界环境干扰的情况,本文在采用HAAR特征级联分类器粗定位人脸、人眼区域的基础上,引入了几何校正算法对眼睛区域进行筛查精定位,并提出区域精化处理算法结合区域生长分割定位内眼角。与标准的方法相对比,在人脸、眼睛以及内眼角定位的准确率上都有大幅度提升,具有出色的适应性。同时与TS、RHT、Neural Network等方法在实际环境中进行比对,实验结果表明,本文方法在针对室外环境背景热源过高,外界环境干扰的情况下均有一定优势,这也为内眼角在室外环境下红外热成像发热筛查中提供了新的可能性。

    但是本算法依然存在不足之处,如:面部倾斜校正抗干扰能力差、针对人眼区域遮挡无法做出判断、复杂场景下的鲁棒性与准确性以及定位速度有待进一步提高。

  • 图  1   InAs/GaSb二类超晶格的Ⅱ型能带排列

    Figure  1.   Type-Ⅱ band alignment of InAs/GaSb T2SL system

    图  2   AIM InAs/GaSb超晶格中波二极管截面示意图

    Figure  2.   Schematic cross section of an InAs/GaSb SL MWIR diode of AIM

    图  3   AIM InAs/GaSb超晶格256×256中波焦平面成像系统拍摄的照片

    Figure  3.   Thermal images taken with the InAs/GaSb superlattice 256×256 MWIR FPA camera system of AIM

    图  4   美国西北大学中波焦平面探测器在120 K(a)和150 K(b)下的成像照片,(c) 86-150 K下焦平面的NTED

    Figure  4.   Images taken with a MWIR FPA detector of Northwestern University operating at (a) 120 K and (b) 150 K (c) NEDT measured from 86 to150 K

    图  5   休斯实验室1 k×2 k/5 μm焦平面在150 K下拍摄的照片

    Figure  5.   Image captured by a 1 k×2 k/5 μm MWIR FPA of HRL operated at 150 K

    图  6   JPL 640×512规格InAs/InAsSb超晶格中波红外焦平面拍摄的照片

    Figure  6.   Images taken at 160 K and 170 K using a 640×512 format InAs/InAsSb superlattice MWIR focal plane array of JPL

    图  7   p-π-M-N超晶格二极管的器件结构与能带图

    Figure  7.   Device structure and band diagram of a p-π-M-N superlattice photodiode

    图  8   美国西北大学1 k×1 k长波焦平面在81 K和68 K拍摄的照片

    Figure  8.   Image taken with the 1 k×1 k LWIR FPA of Northwestern University at 81 K and 68 K

    图  9   CBIRD器件结构的能带示意图

    Figure  9.   Schematic band diagram of the CBIRD device structure

    图  10   JPL InAs/GaSb超晶格长波红外焦平面拍摄的照片

    Figure  10.   Image taken with the InAs/GaSb LWIR superlattice infrared FPA of JPL

    图  11   JPL InAs/InAsSb超晶格长波红外焦平面探测器拍摄的照片

    Figure  11.   Image taken with the InAs/InAsSb LWIR superlattice infrared FPA detector of JPL

    图  12   pBp器件结构的能带示意图

    Figure  12.   Schematic band diagram of a pBp device

    图  13   SCD Pelican-D LW焦平面拍摄的照片

    Figure  13.   Image registered with SCD's Pelican-D LW FPA

    图  14   AIM 384×288中波双色二类超晶格焦平面成像效果

    Figure  14.   Bispectral infrared image taken with 384×288 MWIR dual-band T2SL FPA of AIM

    图  15   美国西北大学320×256超晶格中长波双色焦平面拍摄的照片

    Figure  15.   Imaging taken with 320×256 MWIR-LWIR dual-color T2SL FPA of Northwestern University

    (a) MWIR (b) LWIR

    图  16   休斯实验室中长双色焦平面探测器在80 K温度和f/4条件下拍摄的照片

    Figure  16.   Pictures acquired with a MW/LW FPA of HRL at 80 K and f/4

    (a) MWIR (b) LWIR

    图  17   休斯实验室89个焦平面的NETD有效像元率

    Figure  17.   NETD operability of 89 FPAs of HRL

    图  18   二类超晶格红外探测器发展历程

    Figure  18.   Roadmap of type-Ⅱ superlattice infrared photodetectors development

    表  1   不同探测波段探测器及焦平面性能参数

    Table  1   Performance parameter of detector and FPA under different detection regime

    Research Institute Device structure Operation temperature/K Cut-off wavelength/μm Quantum efficiency/% Dark current/A/cm-2 Detectivity/Jones FPA format/pitch NETD/mK Operability/% Publish year
    MWIR
    AIM n-i-p 77 5.4
    (5% cutoff)
    30 256×256/40 μm 11.1 99.42 2005
    Northwestern University p-π-M-N 150 4.2 1.05×1012 320×256 11.0@120 K 2011
    HRL 150 5.0 50 without AR coating 6.3×10-6 2 k×1 k/5 μm < 20@150 K, f/2.3, with subframe
    averaging
    99.9 2017
    JPL nBn 150 5.4 52 4.5×10-5 640×512/24 μm 18.7 99.7 2018
    LWIR
    Northwestern University p-π-M-N 77 11.0 >50 5.5×10-5 1 k×1 k/18 μm 27 @81 K
    19@68 K
    2010
    JPL CBIRD 80 11.5 21 1 k×1 k/17.5 μm 53 2010
    JPL nBn 60 11.2 37 1×10-5 640×512 21 99.7% 2018
    SCD pBp 77 9.5 ~50 4.4×10-5 640×512/18 μm 15 (with 8 frame average) >99% 2016
    Dual color IR
    AIM 77 4 (Blue)
    5 (Red)
    2.2×10-7
    1.9×10-7
    384×288/40 μm 29.5(Blue)
    16.5 (Red)
    2006
    Northwestern University 5.2 @160 K for MW
    11.2
    @77K for LW
    40-50@160K for MW
    > 30
    @77K for LW
    7.0×1012@160K for MW
    2.0×1011
    @77K for LW
    320×256 10 (MW)
    30 (LW)
    2012
    HRL 80 1280×720/
    12μm
    27.44 (MW)
    27.62(LW)
    99.4(MW)
    99.09(LW)
    2017
    Note:Unless otherwise indicated, the cut-off wavelength refers to 50% cut-off wavelength
    下载: 导出CSV
  • [1]

    Sai-halasz G A, Tsu R, Esaki L. A new semiconductor superlattice[J]. Appl. Phys. Lett., 1977, 30: 651. DOI: 10.1063/1.89273

    [2]

    Sai-halasz G A, Esaki L, Harrison W A. InAs/GaSb superlattice energy structure and its semiconductor-semimetal transition[J]. Phys. Rev. B, 1978, 18: 2812. DOI: 10.1103/PhysRevB.18.2812

    [3]

    Smith D L, Mailhiot C. Proposal for strained type Ⅱ superlattice infrared detectors[J]. J. Appl. Phys., 1987, 62: 2545. DOI: 10.1063/1.339468

    [4]

    Johnson J L, Samoska L A, Gossard A C, et al. Electrical and optical properties of infrared photodiodes using the InAs/Ga1−xInxSb superlattice in heterojunctions with GaSb[J]. J. Appl. Phys., 1996, 80: 1116. DOI: 10.1063/1.362849

    [5]

    Rogalski A, Kopytko M, Martyniuk P. InAs/GaSb type-Ⅱ superlattice infrared detectors: three decades of development[C]//Proc. of SPIE, 2017, 10117: 1017715.

    [6]

    Plis E A, InAs/GaSb type-Ⅱ superlattice detectors[J]. Adv. Electron., 2014, 2014: 246769

    [7] 尚林涛, 王静, 邢伟荣, 等. 红外探测Ⅱ类超晶格技术概述(一)[J]. 激光与红外, 2021, 51(4): 404. DOI: 10.3969/j.issn.1001-5078.2021.04.002
    [8] 尚林涛, 王静, 邢伟荣, 等. 红外探测Ⅱ类超晶格技术概述(二)[J]. 激光与红外, 2021, 51(5): 548. DOI: 10.3969/j.issn.1001-5078.2021.05.002
    [9]

    Walther M, Rehm R, Fuchs F, et al, 256×256 Focal Plane Array Midwavelength Infrared Camera Based on InAs/GaSb Short-Period Superlattices[J]. J. Electron. Mater., 2005, 34: 722. DOI: 10.1007/s11664-005-0010-z

    [10]

    Rehm R, Walther M, Schmitz J, et al. 2nd and 3rd Generation Thermal Imagers based on Type-Ⅱ Superlattice Photodiodes[C]//Proc. of SPIE, 2006, 6294: 629404.

    [11]

    Pour S A, HUANG E K, CHEN G, et al. High operating temperature midwave infrared photodiodes and focal plane arrays based on type-Ⅱ InAs/GaSb superlattices[J]. Appl. Phys. Lett., 2011, 98: 143501. DOI: 10.1063/1.3573867

    [12]

    Sharifi H, Roebuck M, Terterian S, et al. Advances in Ⅲ-Ⅴ Bulk and Superlattice-based High Operating Temperature MWIR Detector Technology[C]//Proc. of SPIE, 2017, 10177: 101770U.

    [13]

    TING D Z, Soibel A, Khoshakhlagh A, et al. Mid-w avelength high operating temperature barrier infrared detector and focal plane arrays[J]. Appl. Phys. Lett., 2018, 113: 021101. DOI: 10.1063/1.5033338

    [14]

    Ting D Z, Soibel A, Khoshakhlagh A, et al. Antimonide type-Ⅱ superlattice barrier infrared detectors[C]//Proc. of SPIE, 2018, 10177: 101770N.

    [15]

    Manurkar P, Ramezani-Darvish S, Nguyen B M, et al. High performance long wavelength infrared mega-pixel focal plane array based on type-Ⅱ superlattices[J]. Appl. Phys. Lett., 2010, 97: 193505. DOI: 10.1063/1.3514244

    [16]

    Razeghi M, Haddadi A, Hoang A M, et al. Antimonide-Based Type Ⅱ Superlattices: A Superior Candidate for the Third Generation of Infrared Imaging Systems[J]. J. Electron. Mater., 2014, 43: 2802-2807. DOI: 10.1007/s11664-014-3080-y

    [17]

    Gunapala S D, Ting D Z, Hill C J, et al. Demonstration of a 1024×1024 Pixel InAs-GaSb Superlattice Focal Plane Array[J]. IEEE Photonic Tech. Lett., 2010, 22: 1856. DOI: 10.1109/LPT.2010.2089677

    [18]

    Ting D Z, Soibel A, Khoshakhlagh A, et al. Antimonide e-SWIR, MWIR, and LWIR barrier infrared detector and focal plane array development[C]//Proc. of SPIE, 2018, 10624: 1062410.

    [19]

    Klipstein P C, Avnon E, Benny Y, et al. Type-Ⅱ superlattice detector for long-wave infrared imaging[C]//Proc. of SPIE, 2015, 9451: 94510K.

    [20]

    Rehm R, Walther M, Schmitz J, et al. Dual-colour thermal imaging with InAs/GaSb superlattices in mid-wavelength infrared spectral range[J]. Electron. Lett., 2006, 42: 577. DOI: 10.1049/el:20060878

    [21]

    Wörl A, Rutz F, Rehm R, et al. Electro-Optical Properties of InAs/GaSb Superlattice Infrared Photodiodes for Bispectral Detection[C]//Proceedings IRS, 2013: 37-42.

    [22]

    Rutz F, Walther M, Schmitz J, et al. InAs/GaSb superlattices for advanced infrared focal plane arrays[J]. Infrared Phys. Techn., 2009, 52: 344. DOI: 10.1016/j.infrared.2009.09.005

    [23]

    HUANG E K, HOANG M A, CHEN G, et al. Highly selective two-color mid-wave and long-wave infrared detector hybrid based on Type-Ⅱ superlattices[J]. Opt. Lett., 2012, 37: 4744. DOI: 10.1364/OL.37.004744

    [24]

    Delaunay P Y, Nosho B Z, Gurga A R, et al. Advances in Ⅲ-Ⅴ Based Dual-Band MWIR/LWIR FPAs at HRL[C]//Proc. of SPIE, 2017, 10177: 101770T.

    [25]

    Gurga A R, Nosho B Z, Terterian S, et al. Dual-Band MWIR/LWIR Focal Plane Arrays based on Ⅲ-Ⅴ Strained-Layer Superlattices[C]//Proc. of SPIE, 2018, 10624: 106240O.

    [26]

    Hill C J, Li J V, Mumolo J M, Gunapala S D, MBE grown type-Ⅱ MWIR and LWIR superlattice photodiodes[J]. Infrared Phys. Techn., 2007, 50: 187. DOI: 10.1016/j.infrared.2006.10.033

    [27]

    Ting D Z, Hill C J, Soibel A, et al. A high-performance long wavelength superlattice complementary barrier infrared detector[J]. Appl. Phys. Lett., 2009, 95: 023508. DOI: 10.1063/1.3177333

    [28]

    Soibel A, Nguyen J, Höglund L, et al. InAs/GaSb superlattice based long-wavelength infrared detectors: Growth, processing, and characterization[J]. Infrared Phys. Techn., 2011, 54: 247. DOI: 10.1016/j.infrared.2010.12.023

    [29]

    Höglund L, Soibel A, Ting D Z, et al. Minority carrier lifetime and photoluminescence studies of antimony based superlattices[C]//Proc. of SPIE, 2012, 8511: 851106.

    [30]

    Ting D Z, Soibel A, Khoshakhlagh A, et al. Complementary barrier infrared detector (CBIRD) with double tunnel junction contact and quantum dot barrier infrared detector (QD-BIRD)[J]. Infrared Phys. Techn., 2013, 59: 146. DOI: 10.1016/j.infrared.2012.12.030

    [31]

    Ting D Z, Soibel A, Gunapala S D, Hole effective masses and subband splitting in type-Ⅱ superlattice infrared detectors[J]. Appl. Phys. Lett., 2016, 108: 183504. DOI: 10.1063/1.4948387

    [32]

    Ting D Z, Soibel A, Khoshakhlagh A, et al. Antimonide type-Ⅱ superlattice barrier infrared detectors[C]//Proc. of SPIE, 2017, 10177: 101770N.

    [33]

    Gunapala S D, TING D Z, Rafol S, et al. Antimonides T2SL Mid-Wave and Long-Wave Infrared Focal Plane Arrays for Earth Remote Sensing Applications[C]//Proc. of SPIE, 2020, 11288: 112880K.

    [34]

    Wei Y, Gin A, Razeghi M, et al. Type Ⅱ InAs/GaSb superlattice photovoltaic detectors with cutoff wavelength approaching 32 μm[J]. Appl. Phys. Lett., 2002, 81: 3675. DOI: 10.1063/1.1520699

    [35]

    Nguyen B-M., Razeghi M, Nathan V, et al. Type-Ⅱ "M" Structure Photodiodes: An Alternative Material Design for Mid-Wave to Long Wavelength Infrared Regimes[C]//Proc. of SPIE, 2007, 6479: 64790S.

    [36]

    Delaunay P-Y, Nguyen B M, Hoffman D, et al. 320×256 infrared Focal Plane Array based on Type Ⅱ InAs/GaSb superlattice with a 12 µm cutoff wavelength[C]//Proc. of SPIE, 2007, 6542: 654204.

    [37]

    Livneh Y, Klipstein P C, Klin O, et al. k·p model for the energy dispersions and absorption spectra of InAs/GaSb type-Ⅱ superlattices[J]. Phys. Rev. B, 2012, 86, 235311. DOI: 10.1103/PhysRevB.86.235311

    [38]

    Klipstein P C, Avnon E, Benny Y, et al. InAs/GaSb Type Ⅱ superlattice barrier devices with a low dark current and a high quantum efficiency. [C]//Proc. of SPIE, 2014, 9070: 90700U.

    [39]

    Grein C H, Garland J, Flatte M E. Strained and unstrained layer superlattices for infrared detection[J]. J. Electron. Mater., 2009, 38: 1800. DOI: 10.1007/s11664-009-0757-8

图(18)  /  表(1)
计量
  • 文章访问数:  661
  • HTML全文浏览量:  71
  • PDF下载量:  286
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-05-17
  • 修回日期:  2021-08-02
  • 刊出日期:  2021-11-19

目录

/

返回文章
返回