基于YOLOX和Swin Transformer的车载红外目标检测

楼哲航, 罗素云

楼哲航, 罗素云. 基于YOLOX和Swin Transformer的车载红外目标检测[J]. 红外技术, 2022, 44(11): 1167-1175.
引用本文: 楼哲航, 罗素云. 基于YOLOX和Swin Transformer的车载红外目标检测[J]. 红外技术, 2022, 44(11): 1167-1175.
LOU Zhehang, LUO Suyun. Vehicle Infrared Target Detection Based on YOLOX and Swin Transformer[J]. Infrared Technology , 2022, 44(11): 1167-1175.
Citation: LOU Zhehang, LUO Suyun. Vehicle Infrared Target Detection Based on YOLOX and Swin Transformer[J]. Infrared Technology , 2022, 44(11): 1167-1175.

基于YOLOX和Swin Transformer的车载红外目标检测

详细信息
    作者简介:

    楼哲航(1999-),男,硕士研究生,主要从事无人驾驶车辆环境感知方向的研究。E-mail:15968194691@163.com

    通讯作者:

    罗素云(1975-),女,副教授,主要从事无人驾驶汽车环境感知及控制的研究。E-mail:lsyluo@163.com

  • 中图分类号: TP391.4

Vehicle Infrared Target Detection Based on YOLOX and Swin Transformer

  • 摘要: 红外图像因为存在噪声大、对比度不佳等问题,容易导致目标检测时的精度降低,本文结合YOLOX和Swin Transformer,提出了一种改进的YOLOX的模型。改进的模型采用Swin Transformer替换YOLOX中的CSPDarknet主干提取网络,减少YOLOX中Neck和Head部分的激活函数以及标准化层,以提高特征的提取能力,优化网络结构。对改进的模型在艾瑞光电数据集和FILR数据集上均进行了测试,实验结果显示,改进后的YOLOX网络,在两个数据集上的平均检测精度都有明显提升,更加适合红外图像的目标检测。
    Abstract: Owing to the problems of high noise and poor contrast in infrared images, the accuracy of target detection is easily reduced. Here, an improved YOLOX model combined with YOLOX and a Swin Transformer is proposed. To improve the feature extraction ability, reduce the activation functions and standardization layers of the neck and head parts in YOLOX, and optimize the network structure, the Swin Transformer is used to replace the CSPDarknet backbone extraction network in YOLOX. This study tests the improved model on both the InfiRay and FILR datasets. The obtained experimental results indicate that the improved YOLOX network has significantly improved the average detection accuracy on both datasets and is more suitable for infrared image target detection.
  • 自2019年12月以来,2019冠状病毒病(简称COVID-19)席卷世界,截止到2021年8月18日,疫情已蔓延至全球几乎所有国家和地区,确诊人数超过两亿,并已导致其中逾400万人死亡[1]。COVID-19疫情是近百年来全球最严重的公共卫生事件,对人类的身体健康构成严重威胁,并给世界经济造成了巨大负面影响。世界各国在抗击疫情过程中不论采取何种措施,都是为了降低疫情传播速度,减少疫情传播范围,避免更多的人被感染。COVID-19的典型症状为发热、乏力、干咳等,其中发热是比例最高的症状,因此发热筛查成为COVID-19疫情中的重要防疫手段,通过鉴别发热者,及时切断病毒传染路径,可以有效阻止疫情传播[2]

    发热筛查的检测工具主要有3类——水银体温计、额温计、发热筛查热成像系统。测量体温最准确的当属水银体温计,但其测量一次需耗时数分钟,无法实现快速筛查,主要用于居家检测与体温复测确认。额温计需要贴近被测对象操作,测量一个人需耗时几秒钟,适用于人流量不是特别大的场所,如商超、住宅区、高速公路的出入口等。发热筛查热成像系统基于先进的红外焦平面成像技术,可以同时完成对多人的非接触式体温检测,适用于人流量大的场所,如机场、火车站、地铁站、写字楼、医院等。在此次疫情中,发热筛查热成像系统大规模用于交通枢纽等重点区域,除了在现场直接发现发热人员外,还具有重要的间接作用——可以警示有症状者取消出行计划,从而降低疾病传播风险,同时也提高了公众对疫情的警觉度。

    发热筛查热成像系统每天都要对数量庞大的人群进行体温检测,必须将漏报率和误报率控制在很低的水平才具有实用意义。而发热者与正常人的体温差异最低仅有零点几度,因此发热筛查热成像系统需要具有很高的测温准确性。热成像系统的测温准确性受到诸多因素的影响,既有来自热成像系统自身的内因,也有来自使用环境和检测目标的外因。对影响测温准确性的各种因素进行深入分析,可以指导发热筛查热成像系统的设计与制造,制定合理的使用规范和操作流程,从而确保该系统在实际工作时满足人体测温的准确性要求,切实起到发热筛查的防疫作用。

    发热筛查热成像系统作为目前唯一可用于大规模人群快速发热筛查的工具[3],在机场、车站、边境口岸等人流量大的地方构筑了第一道筛查防线。自2000年以来,发热筛查热成像系统在以发热为特征的流行病防疫中起到了越来越重要的作用,已经得到专业机构和公众的广泛认可。

    热成像技术首次大规模用于发热筛查始于2003年的严重急性呼吸综合征(SARS)疫情[4]。发热是SARS患者的最主要症状之一,当年在中国、新加坡、香港等地的交通枢纽首次大规模采用红外热像仪作为发热筛查设备,起到了显著效果。仅据中国的统计数据,从2003年4月至6月间,就有三千万人次接受了红外体温筛查,其中检出9292人发热,并最终有21人确诊[5]。SARS之后人类又接连遭遇了2009年H1N1型流感大爆发[6],2012年中东呼吸综合征(MERS-CoV)爆发[7],2014年埃博拉病毒爆发[8],在这些疫情中,发热筛查热成像系统为控制疾病传播发挥了重要作用。

    随着发热筛查热成像系统的大规模应用,国际标准化组织(ISO)于2007年、国际电工委员会(IEC)于2008年分别制订了发热筛查热成像系统的使用与设计规范,对相关技术做了标准化规定。2017年ISO和IEC又分别发布了这两份文件的第二版,分别是《ISO/TR 13154:2017医用电气设备使用筛查热像仪识别发热人体的布置、实施和操作指南》[9]和《IEC 80601-2-59:2017医用电气设备第2~59部分:用于人体发热筛查热像仪的基本安全和性能专用要求》[10]。这两份标准化文件规定了发热筛查热成像系统的最低性能和安全要求,给出了操作和使用指南,为红外热成像技术在发热筛查应用上的推广提供了标准化支持。

    发热筛查热成像系统的主要组成为:热像仪、黑体参考源、数据处理单元、监视器等,如图 1所示[11]

    图  1  发热筛查热成像系统示意图
    Figure  1.  Schematic diagram of fever screening thermograph

    1)热像仪

    热像仪是发热筛查热成像系统的核心。热像仪分为制冷型和非制冷型两大类,制冷型热像仪的灵敏度很高,具有优异的探测性能。非制冷型热像仪灵敏度不如制冷型,但具有体积小、重量轻、功耗低、寿命长、成本相对较低等优点,更适合大批量制造。另一方面,根据维恩位移定律,物体的温度与其辐射峰值波长成反比,温度越低辐射峰值波长越长,人体表面温度范围(35℃~41℃)对应的辐射峰值波长大约在9.3 μm附近,正好位于非制冷型热像仪工作的波段。综合以上原因,发热筛查热成像系统一般都采用非制冷型热像仪,以非制冷红外焦平面探测器作为核心部件。

    2)黑体参考源

    红外测温系统按照测温对象和应用场合的不同,主要分为两类测温应用——工业测温和人体发热筛查。这两类应用对于测温准确性的要求差别明显,工业测温的准确性要求是不超过±2℃或被测温度的±2%(取绝对值大者)[12],而人体发热筛查要求不超过±0.5℃[10]。一般仅依靠热像仪自身就可以满足工业测温的准确性要求,但很难满足人体测温的要求,因此发热筛查热成像系统大都选择借助温度参考源来提高热像仪的测温准确性,一般采用黑体辐射源作为热像仪的温度参考源。黑体的温度和红外辐射都非常稳定,将黑体温度设置为接近人体表面温度的固定值(如35.0℃),放置在热像仪成像的视场范围内,热像仪同时采集目标与黑体参考源的红外辐射信号,以黑体的红外辐射数据为参考基准计算得到目标的精确温度。图 2是人体测温的红外成像示例[9],画面左下角的圆形物体就是作为温度参考源的黑体图像。

    图  2  发热筛查红外成像示例
    Figure  2.  Infrared imaging of fever screening thermograph

    3)数据处理单元和监视器

    数据处理单元和监视器一般指发热筛查热成像系统配套的计算机。热像仪通过网络接口或USB接口与计算机连接,将图像和测温数据实时传送到计算机上,经过专用软件处理后在计算机屏幕上显示红外图像和测温结果。计算机还能实现数据存储、声光报警等功能。操作人员通过计算机可以方便地操控热像仪,如设置热像仪工作参数,校准热像仪测温精度等。

    热像仪将其接收到的红外辐射能量转换成电信号实现成像和测温。物体发出的红外辐射能量与其表面温度密切相关,根据斯蒂芬-玻尔兹曼定律,黑体的辐射出射度为[13]

    $$ {\mathit{E}_{\rm{b}}}{\rm{ = }}\mathit{\sigma } \cdot {\mathit{T}^4} $$ (1)

    式中:σ为斯蒂芬-玻尔兹曼常数;T为黑体的绝对温度。考虑到一般目标都不是黑体,而是发射率小于1的灰体,并考虑到大气对红外辐射的衰减,目标的辐射出射度为:

    $$ {\mathit{E}_{\rm{obj}}}{\rm{ = }}{\mathit{\varepsilon }_{{\rm{obj}}}} \cdot {\mathit{\tau }_{{\rm{atm}}}} \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{obj}}}}^4 $$ (2)

    式中:εobj是目标的发射率;τatm是目标到热像仪间的大气透过率;Tobj是目标的绝对温度。实际中热像仪接收到的红外辐射不仅有目标自身的辐射,还包括目标反射的环境辐射,以及空气的辐射[14],如图 3所示。

    图  3  热像仪接收到的红外辐射
    Figure  3.  Radiation received by the infrared camera

    因此热像仪对目标成像时接收到的全部红外辐射为Wtot[14]

    $$ \begin{array}{l} {\mathit{W}_{{\rm{tot}}}}{\rm{ = }}{\mathit{\varepsilon }_{{\rm{obj}}}} \cdot {\mathit{\tau }_{{\rm{atm}}}} \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{obj}}}}^4 + (1 - {\mathit{\varepsilon }_{{\rm{obj}}}}) \cdot {\mathit{\tau }_{{\rm{atm}}}} \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{refl}}}}^4 + \\ \;\;\;\;\;\;(1 - {\mathit{\tau }_{{\rm{atm}}}}) \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{atm}}}}^4 \end{array} $$ (3)

    式中:Trefl是由目标反射的环境辐射的等效绝对温度;Tatm是大气的绝对温度。

    根据发热筛查热成像系统的工作条件,式(3)可以进行合理简化。由于发热筛查时目标与热像仪的距离较近,可近似认为τatm=1。由于环境组成很复杂,Trefl不易精确计算,可以采用容易获取的环境温度Tamb来代替Trefl对目标反射的环境辐射进行近似简化。这种近似简化带来的误差可以忽略,分析如下:首先,环境中的大部分物体温度接近环境温度Tamb,但由于大多数物体不是黑体,因此被测目标接收到的环境总辐射略小于σ·Tamb4;其次,使用环境中不可避免地存在热源,特别是发热筛查热成像系统一般用于人员密度较大的场所,对测温对象而言,其周围的其他人员可视为高于环境温度的干扰热源,干扰热源与环境温度物体发出的辐射形成了互补,综合起来的等效环境总辐射就更接近σ·Tamb4;更重要的是,由于测温对象是人体表面皮肤,其发射率εobj约为0.98[15],(1-εobj)只有0.02,因此采用Tamb代替Trefl所带来的误差被进一步大幅减小。由此可将式(3)简化为式(4):

    $$ {\mathit{W}_{{\rm{tot}}}}{\rm{ = }}{\mathit{\varepsilon }_{{\rm{obj}}}} \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{obj}}}}^4 + (1 - {\mathit{\varepsilon }_{{\rm{obj}}}}) \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{amb}}}}^4 $$ (4)

    由式(4)就可以得到目标温度的计算公式(5):

    $$ {\mathit{T}_{{\rm{obj}}}} = \sqrt[4]{{\frac{{{\mathit{W}_{{\rm{tot}}}} - (1 - {\mathit{\varepsilon }_{{\rm{obj}}}}) \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{amb}}}}^4}}{{{\mathit{\varepsilon }_{{\rm{obj}}}} \cdot \mathit{\sigma }}}}} $$ (5)

    热像仪是通过其内部的红外探测器将红外辐射能量转换为电信号的,因此2.1节中的Wtot实际上对应的是红外探测器的传感器阵列接收到的红外辐射能量。入射到红外探测器的传感器阵列上的红外辐射除了来自热像仪外界的红外辐射,还有来自热像仪自身的一部分红外辐射,这部分红外辐射与目标无关,主要来源于热像仪的光学和机械结构部件,还包括红外探测器自己的壳体。热像仪自身部件对红外探测器的传感器阵列产生的红外辐射通常称为热像仪的“内辐射”。热像仪的红外探测器传感器阵列接收到的红外辐射来源组成如图 4所示。

    图  4  探测器的传感器阵列接收到的所有红外辐射
    Figure  4.  All infrared radiation received by detector sensor arrays

    在考虑了热像仪内辐射的影响后,式(4)修正为:

    $$ {\mathit{W}_{{\rm{tot1}}}}{\rm{ = }}{\mathit{\varepsilon }_{{\rm{obj}}}} \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{obj}}}}^4 + (1 - {\mathit{\varepsilon }_{{\rm{obj}}}}) \cdot \mathit{\sigma } \cdot {\mathit{T}_{{\rm{amb}}}}^4 + {\mathit{E}_{{\rm{inner}}}} $$ (6)

    式中:Wtot1是热像仪的探测器传感器阵列接收到的总红外辐射;Einner是探测器传感器阵列接收到的热像仪内辐射。内辐射的辐射源在空间位置上很靠近探测器传感器阵列,因而对探测器输出信号的影响较大,在考虑Einner的影响后,式(5)修正为:

    $${T_{{\rm{obj}}}} = \sqrt[4]{{\frac{{{W_{{\rm{tot}}}}_1 - (1 - {\varepsilon _{{\rm{obj}}}}) \cdot \sigma \cdot {T_{{\rm{amb}}}}^4 - {E_{{\rm{inner}}}}}}{{{\varepsilon _{{\rm{obj}}}} \cdot \sigma }}}}$$ (7)

    Einner与热像仪自身温度、热像仪内部结构件形状及其发射率、热像仪内部结构件与探测器的相对位置等因素有关,一般很难直接计算得到。热像仪工作过程中自身会发热,同时会受到环境温度和周围空气流动的影响,导致热像仪自身温度发生漂移与波动,导致内辐射Einner也随之变化,其对测温结果准确性的影响很大。目前几乎所有测温热像仪在出厂前都必须对内辐射的影响进行标定,在实际使用过程中根据热像仪自身温度的变化对目标温度计算值进行修正。这种出厂前对热像仪内辐射进行标定的方法可大幅降低内辐射对测温结果准确性的影响,其效果在工业测温应用中已得到验证,可以满足±2℃或±2%(取绝对值大者)的测温精度要求。

    热像仪的内辐射标定方法需要考虑很多影响因素,实际工作时的条件很难与标定试验条件完全一致,这会影响内辐射标定方法的实际修正效果,导致测温结果的偏差。这种偏差对于工业测温应用尚可接受,但无法满足发热筛查应用的要求。为实现人体测温的高精度要求,发热筛查热成像系统通常采用黑体参考源来对热像仪内辐射的影响进行校正。黑体参考源置于热像仪成像的视场范围内,参考式(6),并考虑到黑体发射率为1,探测器传感器阵列探测到的黑体参考源的总红外辐射为Wtot2

    $$ {\mathit{W}_{{\rm{tot2}}}}{\rm{ = }}\mathit{\sigma } \cdot {\mathit{T}_{{\rm{ref}}}}^4 + {\mathit{E}_{{\rm{inner}}}} $$ (8)

    式中:Tref是黑体参考源的绝对温度。因为内辐射与目标无关,所以Wtot2中依然包含内辐射Einner的影响。如图 2所示,被测目标与黑体参考源都位于发热筛查热成像系统的成像视场范围内,因此可以同时得到Wtot1Wtot2,以及式(6)、(8)中的Einner。由式(8)得到Einner的计算表达式,代入式(7)中就可以消除内辐射对测温结果的影响,如式(9)所示:

    $${T_{{\rm{obj}}}} = \sqrt[4]{{\frac{{{W_{{\rm{tot1}}}} - {W_{{\rm{tot2}}}} - (1 - {\varepsilon _{{\rm{obj}}}}) \cdot \sigma \cdot {T_{{\rm{amb}}}}^4 + \sigma \cdot {T_{{\rm{ref}}}}^4}}{{{\varepsilon _{{\rm{obj}}}} \cdot \sigma }}}}$$ (9)

    式中:Wtot1Wtot2分别是热像仪对被测目标和黑体参考源的输出信号,当已知目标发射率εobj、黑体参考源温度Tref和环境温度Tamb时,就可以计算出不受内辐射影响的目标温度Tobj

    文献[10]中对发热筛查热成像系统的测温准确性要求是:用热成像系统测量黑体校准源的温度,测量结果的总偏差不超过0.5℃。测温准确性评价模型如下:

    $$\left| {{t_{{\rm{ST}}}} - {t_{{\rm{SC}}}}} \right| + \left| u \right| \leqslant 0.5$$ (10)

    式中:tST是热成像系统对黑体校准源温度的测量值;tSC是黑体校准源温度的准确值;u是热成像系统测量结果的总偏差,其组成如下:

    $$ {\mathit{u}^2} = {\mathit{u}_{\rm{CS}}}^2{u_{\rm{ST}}}^2 $$ (11)
    $$ {u_{{\rm{ST}}}}^2 = {u_{\rm{D}}}^2 + {u_{\rm{s}}}^2 + {u_{\rm{U}}}^2 + {u_{{\rm{ER}}}}^2 + {u_{{\rm{MRTD}}}}^2 + {u_{{\rm{others}}}}^2 $$ (12)

    式中:uCS是黑体校准源温度的不确定度(要求≤0.2℃);uST是热成像系统测温结果的综合不确定度,包括了影响测温结果的所有不确定性因素。发热筛查热成像系统的测温准确性实质上由uST决定,其组成参数的含义及取值要求见表 1

    表  1  测温结果不确定度的组成参数
    Table  1.  Parameters of uncertainty of temperature measurement results
    Parameters of uncertainty Parameter content Value requirements
    uD Drift of screening thermograph The combined effect of drift and instability≤0.2℃
    uS Instability of screening thermograph
    uU Non-uniformity of screening thermograph ≤0.2℃
    uMRTD MRTD of screening thermograph ≤0.1℃
    uER External temperature reference source In the range of 33℃-40℃:
    Temperature accuracy≤0.3℃
    The combined effect of drift and instability≤0.1℃
    uothers Other factors Not given
    下载: 导出CSV 
    | 显示表格

    漂移uD与波动uS表现为热成像系统输出信号随时间的变化,反映的是热成像系统的时间噪声;空间非均匀性uU表现为热成像系统在面对均匀辐射时其输出信号在空间上的不均匀分布,反映的是热成像系统的空间噪声;uMRTD由MRTD指标决定,与热成像系统的时间噪声和空间噪声均有关系。黑体参考源的温度不确定度uER反映了黑体参考源的温度准确性与稳定性。uothers代表除了热像仪和黑体参考源以外的其他影响测温结果的因素,主要反映的是周围环境和被测目标对测温准确性的影响,因其不好量化所以没有给出定量要求。

    文献[10]中对漂移uD与波动uS的要求是两者综合起来不能大于0.2℃。该标准给出了漂移的测试方法与要求:每隔5~15 s测量一次黑体校准源温度,持续测量8 h,计算所有测量值的平均值和标准偏差,要求标准偏差的3倍不能大于0.1℃。对于波动的测试方法与要求是:在14天或系统校准周期内(选时间长的),每天进行漂移的测试,每天漂移测试平均值的波动不能超过0.1℃。从测试方法可以看出,漂移与波动指标实际上是热像仪的输出数据随时间缓慢变化的幅度,对应的是热像仪的时间低频噪声。

    热像仪工作过程中由于自身发热会导致光机结构部件和探测器壳体的温度逐渐升高,热像仪所处环境温度变化或周围空气流动也会引起热像仪自身温度变化,这些因素都会导致热像仪内辐射的变化。由于光机结构部件和探测器壳体具有一定的热容,所以它们的温度变化比较缓慢,因此热像仪内辐射的变化是时间低频噪声的主要来源。

    如前文所述,仅采用内辐射标定的方法抑制热像仪的低频时间噪声有其局限性,如果实际使用环境的温度或空气流动条件与出厂前标定的试验条件不一致,就会使内辐射标定方法的效果打折扣。为了解决这个问题,发热筛查热成像系统在热像仪视场范围内设置了黑体参考源。如前文的分析,引入黑体参考源在理论上可以消除热像仪内辐射变化对目标测温结果的影响,从而使热成像系统的漂移和波动指标满足表 1中测温结果不确定度的要求。

    发热筛查热成像系统的测温对象与黑体参考源成像于探测器传感器阵列的不同位置(如图 3所示),测温对象一般成像于图像中心区域,黑体参考源成像于图像四角区域,因此在图像不同区域间存在的空间非均匀性会影响黑体参考源对测温结果的修正效果。文献[10]对发热筛查热成像系统提出了空间非均匀性的要求,其实质是为了确保整个成像视场范围内的一致性。

    文献[10]对空间非均匀性uU的测试方法与要求是:取红外图像中心和四角共5个位置,在整个图像上再随机选取至少24个位置,将黑体校准源依次成像于选取出的这些位置,记录测得的温度,所有选取位置测量结果中的最大值和最小值的差异不能超过0.2℃。从测试方法可以看出,这里的空间非均匀性实际上对应的是热像仪的空间低频噪声。红外图像空间低频噪声的来源主要有两个,一是由于红外光学系统透过率在空间分布上存在非均匀性,导致来自外界的红外辐射经过光学系统后在空间分布上发生变化;二是由于产生内辐射的光机结构部件与探测器传感器阵列的相对位置关系复杂,导致内辐射在探测器传感器阵列上的空间分布存在非均匀性。采用标准的两点校正法可以校正热像仪的空间低频噪声,对于发热筛查应用而言,建议两点校正标定时选取的黑体温度分别为20℃、50℃,既可以完全覆盖人体表面皮肤温度范围,又兼顾了使用环境温度和热像仪发热的影响。红外光学系统的透过率对探测器传感器阵列接收外界红外辐射的影响是乘性的,两点校正法的增益系数矩阵可以校正红外光学系统透过率的非均匀性。内辐射对探测器传感器阵列接收红外辐射的影响是加性的,因此通过两点校正法的偏移系数矩阵可以抑制内辐射带来的空间低频噪声。

    热像仪在实际工作过程中是通过挡片校正来获得偏移系数矩阵的,根据档片安装位置的不同可分为外挡片和内挡片两种形式,安装位置如图 4所示。挡片安装在镜头之外时被称为外挡片,显然用外挡片获得的偏移校正系数矩阵包含了全部内辐射因素,因此可以完全消除内辐射带来的空间低频噪声。内挡片位于探测器和热像仪的光机结构之间,用内挡片获得的偏移校正系数矩阵只包含了探测器壳体的内辐射,而不包含热像仪光机结构的内辐射,因此单纯依靠内挡片无法消除源于光机结构的空间低频噪声。从上述分析可以看出,采用外挡片的热像仪更容易满足空间非均匀性uU的要求,因而也更容易满足测温准确性的要求。但是外挡片比内挡片的结构形式更复杂,体积也更大,会给产品的设计带来一定挑战,因此现在不少厂家采用内挡片形式的热像仪,事先对热像仪光机结构带来的空间低频噪声进行标定,计算得到校正数据并存储在热像仪内部,实际工作时需要在两点校正法的基础上结合事先标定得到的校正数据,才能对空间低频噪声获得较好的校正效果。

    采用外挡片执行两点校正法的热成像系统,其空间非均匀性指标较容易满足表 1中测温结果不确定度的要求;采用内挡片执行两点校正法的热成像系统,需要按照实际使用的环境温度范围对热像仪的内辐射进行精确的标定,才能够满足表 1中测温结果不确定度的要求。热像仪所处环境的温度变化或空气扰动都会导致热像仪的内辐射发生变化,从而引起空间低频噪声的改变。因此不论是采用外挡片还是内挡片,均需要在工作过程中定期执行挡片校正操作,使偏移系数矩阵跟随空间低频噪声的变化。在两次挡片校正的间隔期,要尽量避免热像仪周围的空气扰动,以保持内/外挡片校正后的效果。

    MRTD指标涵盖了热像仪成像的所有客观因素和观察者的主观因素,同时反映了热像仪的灵敏度和空间分辨率性能。文献[10]要求发热筛查热成像系统的MRTD指标不能大于0.1℃,根据该标准中有关MRTD的说明,实际上是要求热像仪对黑体参考源的温度分辨率达到0.1℃。该标准同时还规定了黑体参考源的成像面积不小于20×20像素且不大于人脸成像面积的10%。因此该标准实际上是要求热像仪对于中等空间频率目标的温度分辨率达到0.1℃,其侧重考察的是热像仪的温度分辨率而非空间分辨率。

    热像仪的MRTD指标主要由红外光学系统和探测器决定,对于中等空间频率的目标,MRTD指标几乎不受红外光学系统制约,而主要由探测器的噪声决定。因为人眼具有积分效应,所以探测器的时间噪声对MRTD测试结果影响较小,MRTD主要受探测器空间噪声的影响。对于黑体参考源这类中等空间频率的测试目标,影响MRTD的主要是探测器的空间中频噪声。目前主流非制冷探测器的空间中频噪声都远小于0.1℃,因此基于主流非制冷探测器的热像仪的MRTD指标可以满足表 1中测温结果不确定度的要求。

    黑体参考源是发热筛查热成像系统的重要组成部分。由于人体皮肤的发射率εobj=0.98,因此式(9)中的(1-εobjσ·Tamb4对目标温度影响较小。实际使用中一般将黑体参考源温度设置为接近人体皮肤的温度35℃,此时式(9)中的Wtot1Wtot2很接近,根据式(9)计算出来的目标温度Tobj就近似等于黑体温度Tref,因此Tref的准确性就决定了测温结果的准确性。假如黑体的实际准确温度与其读数显示值偏差了0.1℃,就意味着计算得到的目标温度结果与其准确值也会近似偏差0.1℃。文献[10]在综合考虑各种影响测温结果的因素后,对黑体参考源的温度准确性给出了表 1中的定量要求。因此在选择用于发热筛查热成像系统的黑体参考源时,要特别注意黑体参考源的温度精度和温度稳定性指标。应采用高精度面源黑体辐射源,确认其性能指标在33℃~40℃这个很窄的温度段内可以满足表 1中对uER的要求。目前用于人体测温应用的黑体参考源必须针对人体温度范围进行优化设计,才可满足这些要求。例如国内较知名的武汉凯尔文光电技术有限公司的JQ-D70Z热成像人体测温黑体[15],其温度精度达到0.2℃,稳定性达到0.1℃,满足表 1中测温结果不确定度对于黑体的要求。在实际使用中仍需特别关注黑体参考源的温度精度与稳定性,建议每次在系统启动时要先对黑体参考源进行温度准确性检查,确认无误后方可开始发热筛查工作。

    文献[10]没有对测温准确性模型中的其他影响因素uothers给出定量要求,但为了确保发热筛查热成像系统的测温准确性,有必要对其他影响因素进行研究,并采取有针对性的应对措施。

    1)使用环境的影响

    发热筛查热成像系统的测温精度要求很高,因此对环境的影响很敏感。环境温度的波动、空气流动、干扰热源等因素都会影响系统的测温准确性。

    环境温度波动和空气流动会导致热像仪温度变化进而使内辐射发生变化,也不利于黑体参考源的稳定,还会造成被测人员体表温度的改变,这些都对测温准确性带来不利影响。因此发热筛查热成像系统的安放位置就显得非常重要,安放处的环境温度应尽量稳定,并避开空气流动,远离自然或人工造成的空气对流区域。在室内使用时,其安放位置应避开建筑物的大门口、窗户、空调出风口等空气流动明显的区域。发热筛查热成像系统不能直接在空旷的室外环境中使用,如果必须在室外使用则应搭建帐篷等临时封闭空间,将系统置于其中工作。

    使用环境中还可能存在一些与人体测温无关的干扰热源,如阳光、加热器、强光照明(如白炽灯、卤素灯、石英灯等)、电子设备等,这些干扰热源发出的红外辐射如果进入热像仪,经由热像仪的光学和结构部件的漫反射等过程,高温的干扰热源很可能对热像仪的测温结果造成干扰,因此发热筛查热成像系统的成像视场选择非常重要。设定热像仪镜头的朝向时,既要避免干扰热源直接进入热像仪的成像视场范围,也要避免干扰热源经过环境反射后进入热像仪的成像视场范围。尽量避免让热像仪正对玻璃或物体的光滑表面,如无法完全避免,则应在玻璃或物体表面覆盖反射率低的遮光材料。

    2)被测目标生理特征的影响

    发热筛查热成像系统能否准确快速地筛查出发热人员,除了与热成像系统自身有关外,还与被测人员体表温度的生理特征密切相关。

    热成像技术通过非接触方式测量人体表面温度时,测温部位的选择十分重要。一般选择面部皮肤作为测温对象,一方面是因为面部皮肤比较薄,血管紧邻皮肤表面,因而面部皮肤温度接近人体内部温度;另一方面,面部皮肤显然比身体其他部位的皮肤更便于测量。从生理角度看,面部适用于测温的部位主要包括前额、太阳穴、内眼角。内眼角部位的温度相对更接近人体内部温度[16],然而内眼角区域面积很小,又容易被眼镜遮挡;太阳穴区域位于面部两侧且面积也较小,不易被热像仪捕获到;前额区域位于面部正面且面积较大,因此发热筛查热成像系统基本都选取前额作为测温部位。

    皮肤是人体内部与环境之间热交换的介质,皮肤表面温度受人体自身和环境的影响。被测人员出汗、运动、服药、吹空调等行为会导致血管舒张或收缩,使皮肤温度偏离人体内部温度,这时发热筛查检测的正确性会受到影响。人刚从热环境进入冷环境时或者出汗时都不应立即进行温度检测,因此发热筛查检测通道的设计也很重要,例如设置回形隔离带,可以使被测人员在稳定环境中停留一段时间后再接受检测,从而降低人员自身生理因素对测温结果准确性的影响。

    发热筛查热成像系统用于人体测温时面临诸多影响因素,除了上述已讨论的各项主要因素外,还存在一些影响较小的因素,例如热像仪对于红外辐射响应特性的稳定性(其主要由红外探测器的信号响应特性决定)。目前主流非制冷红外探测器的温度分辨率已达到0.04℃,但诸多影响因素叠加在一起的综合性影响远超探测器的温度分辨率,导致目前业内公认的人体测温准确性指标为0.5℃。接下来的研究工作应针对表 1中影响测温准确性的各项因素分别进行分析与优化,任何一项影响因素的减弱都有助于提高发热筛查热成像系统的测温准确性。

    发热筛查热成像系统采用基于热辐射原理的非接触式测温方法,测温效率高,适于在人流量大的场所进行快速发热筛查,在以发热为特征的流行病防疫中发挥了重要作用。热像仪根据探测器接收到的热辐射实现测温,来自热像仪光机结构和探测器壳体的内辐射会干扰探测器输出的数据,影响测温结果的准确性。发热筛查热成像系统通过采用外置黑体参考源的方式来对热像仪的内辐射影响进行校正,使其满足人体测温的精度要求。文献[10]给出了人体测温的准确性模型,详细描述了与测温准确性有关的五方面指标及要求,包括漂移与波动、空间非均匀性、MRTD、黑体参考源、其他因素等。漂移与波动对应的是热像仪的时间低频噪声,通过在测温算法中引入黑体参考源可以抑制热像仪的时间低频噪声;空间非均匀性对应的是热像仪的空间低频噪声,采用基于外挡片的两点校正法可以有效消除空间低频噪声的影响;对MRTD、黑体参考源的指标要求在现有技术条件下较容易满足;对使用环境和被测目标生理特征的影响因素也应严格控制。在采取上述措施后,发热筛查热成像系统可以满足文献[10]提出的0.5℃的人体测温准确性要求。

  • 图  1   YOLOX的Backbone

    Figure  1.   YOlOLX's Backbone

    图  2   YOLOX的Head部分

    Figure  2.   YOlOLX's Head

    图  3   Transformer组件

    Figure  3.   Transformer blocks

    图  4   窗口滑动机制(左:滑动前,右:滑动后)

    Figure  4.   Window sliding mechanism(Left: before sliding, right: after sliding)

    图  5   改进YOLOX模型结构

    Figure  5.   Improve YOLOX model structure

    图  6   优化后的CSP层和Head结构

    Figure  6.   Optimized CSP layer and Head structure

    图  7   扩充后的数据集

    Figure  7.   The augmented dataset

    图  8   原始艾瑞光电数据集上损失函数对比

    Figure  8.   Comparison of loss functions on the original Inf iRay dataset

    图  9   扩充后艾睿光电数据集上损失函数对比

    Figure  9.   Comparison of loss functions on the augmented Inf iRay dataset

    图  10   测试效果(上:原图,中:YOLOX,下:本文所改进的模型)

    Figure  10.   Tested and results show (top: original picture, middle: YOLOX, bottom: improved model)

    图  11   MAP及AP值

    Figure  11.   MAP and AP values

    表  1   不同的Swin Transformer参数

    Table  1   Different Swin Transformer parameters

    Input dim Head number Block’s number
    of layers
    Swin-T 96 (3, 6, 12, 24) (2, 2, 6, 2)
    Swin-S 96 (3, 6, 12, 24) (2, 2, 18, 2)
    Swin-B 128 (4, 8, 16, 32) (2, 2, 18, 2)
    Swin-L 192 (6, 12, 24, 48) (2, 2, 18, 2)
    下载: 导出CSV

    表  2   主流目标检测对比及消融实验

    Table  2   Comparison of current target detection method and ablation experiment

    Methods Dataset AP/% MAP/%
    Car Person Bicycle/bus
    Faster R-CNN(VGG16)[20] FILR 74.15 62.14 43.58 59.96
    YOLOV3[20] FILR 77.69 57.47 39.74 58.02
    YOLOV3([20] improved)[20] FILR 81.90 72.60 49.00 66.80
    YOLOV4-Tiny[21] FILR 78.65 61.84 32.85 57.78
    YOLOV4-Tiny([21] improved)[21] FILR 81.89 69.56 42.04 64.50
    YOLOV5-s[22] FILR 87.10 46.80 41.00 58.30
    YOLOV5-s([22] improved)[22] FILR 87.50 53.60 44.10 61.70
    YOLOX original Inf iRay dataset 55.38 11.57 23.04 29.51
    YOLOX augmented Inf iRay dataset 47.32 33.06 38.44 57.34
    YOLOX FILR 84.70 69.45 43.25 65.80
    +Replaced Backbone FILR 87.64 79.23 47.46 71.54
    +Neck and Head optimization FILR 84.32 73.23 44.50 67.35
    Our model original Inf iRay dataset 59.16 19.12 23.43 33.74
    Our model augmented Inf iRay dataset 85.01 66.21 76.40 79.55
    Our model FILR 87.20 82.06 58.83 76.03
    Note: The categories corresponding to the FILR dataset are Car, Person and Bicycle; The corresponding categories of Inf iRay dataset (including before and after expansion) are Car, Person and bus. See Figure 11 for the results of trunk and cyclist categories in the Inf iRay dataset.
    下载: 导出CSV
  • [1]

    Caniou J. Passive Infrared Detection: Theory and Applications[M]. Springer Science & Business Media, 2013.

    [2] 任章, 李露, 蒋宏. 基于红外图像序列的运动目标检测算法研究[J]. 红外与激光工程, 2007, 36(9): 136-140. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ2007S2032.htm

    REN Zhang, LI Lu, JIANG Hong Research on moving target detection algorithm based on infrared image sequence[J]. Infrared and Laser Engineering, 2007, 36(9): 136-140. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ2007S2032.htm

    [3] 吴燕茹, 程咏梅, 赵永强. 利用KPCA特征提取的Adaboost红外标检测[J]. 红外与激光工程, 2011, 40(2): 338-343. DOI: 10.3969/j.issn.1007-2276.2011.02.032

    WU Yanru, CHENG Yongmei, ZHAO Yongqiang. Adaboost infrared target detection using KPCA feature extraction[J]. Infrared and Laser Engineering, 2011, 40(2): 338-343. DOI: 10.3969/j.issn.1007-2276.2011.02.032

    [4] 陈炳文. 特定视场中红外成像目标检测关键技术研究[D]. 武汉: 武汉大学, 2013.

    CHEN Bingwen. Research on Key Technologies of Infrared Imaging Target Detection in Specific Field of View[D] Wuhan: Wuhan University, 2013.

    [5]

    James W Davis, Vinay Sharma. Robust background-subtraction for person detection in thermal imagery[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004: 1-8.

    [6]

    Ei Baf Fida, Bouwmans Thierry, Vachon Bertrand. Fuzzy foreground detection for infrared video[C]//IEEE Computer society Conference on Computer Vision and Pattern Recognition, 2008: 1-6.

    [7] 于杰. 基于红外摄像机的夜间场景监控方法研究与实现[D]. 北京: 北京邮电大学, 2013.

    YU Jie. Research and Implementation of Night Scene Monitoring Method Based on Infrared Camera[D]. Beijing: Beijing University of Posts and Telecommunications, 2013.

    [8] 易诗, 聂焱, 张洋溢, 等. 基于红外热成像与YOLOv3的夜间目标识别方法[J]. 红外技术, 2019, 41(10): 970-975. http://hwjs.nvir.cn/article/id/hwjs201910013

    YI Shi, NIE Yan, ZHANG Yangyi, et al. Night target recognition method based on infrared thermal imaging and YOLOv3[J]. Infrared Technology, 2019, 41(10): 970-975. http://hwjs.nvir.cn/article/id/hwjs201910013

    [9] 聂霆. 基于红外图像的前方车辆识别与车距检测[D]. 西安: 西安电子科技大学, 2015.

    NIE Ting. Forward Vehicle Recognition and Distance Detection Based on Infrared Image[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2015.

    [10] 陈谧. 基于深度学习的红外目标检测方法研究与实现[D]. 成都: 电子科技大学, 2021.

    CHEN Mi. Research and Implementation of Infrared Target Detection Method Based on Depth Learning[D]. Chengdu: University of Electronic Science and Technology, 2021.

    [11] 舒朗, 张智杰, 雷波. 一种针对红外目标检测的Dense-Yolov5算法研究[J]. 光学与光电技术, 2021, 19(1): 69-75. https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD202101010.htm

    SHU Lang, ZHANG Zhijie, LEI Bo. Research on Dense-Yolov5 algorithm for infrared target detection[J]. Optics and Optoelectronics, 2021, 19(1): 69-75. https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD202101010.htm

    [12]

    LIU Z, LIN Y T, CAO Y, et al. Swin transformer: hierarchical vision transformer using shifted windows[J/OL]. arXiv Preprint arXiv, 2103.14030.

    [13]

    GE Z, LIU S, WANG F, et al. Yolox: Exceeding yolo seriesin[J/OL]. arXiv Preprint arXiv, 2107.08430.

    [14]

    Redmon J, Farhadi A. YOLO V3: an incremental improvement[J/OL]. arXiv Preprint arXiv, 1804.02767.

    [15]

    Bochkovskiy A, WANG C Y, LIAO H M. YOLOv4: optimal speed and accuracy of object detection[J/OL]. arXiv Preprint arXiv, 2004.10934.

    [16]

    ZHUANG L, Hanzi M, CHAO Yuan W, et al. A ConvNet for the 2020s[J/OL]. arXiv Preprint arXiv, 2201.03545.

    [17] 王周春, 崔文楠, 张涛. 基于支持向量机的长波红外目标分类识别算法[J]. 红外技术, 2021, 43(2): 153-161. http://hwjs.nvir.cn/article/id/73b78f5d-26f5-4da8-8b5c-93aa7a7a40e2

    WANG Zhouchun, CUI Wennan, ZHANG Tao. Long wave infrared target classification and recognition algorithm based on support vector machine [J]. Infrared Technology, 2021, 43(2): 153-161. http://hwjs.nvir.cn/article/id/73b78f5d-26f5-4da8-8b5c-93aa7a7a40e2

    [18]

    Inf iray. Double light vehicle scene database[EB/OL]. [2022-04-02]. http://iray.iraytek.com:7813/apply/Double_light_vehicle.html/.

    [19]

    Flir. FLIR Thermal Data Set[EB/OL]. [2022-04-02]. https://www.flir.com/oem/adas/adas-dataset-form/.

    [20] 张汝榛, 张建林, 祁小平, 等. 复杂场景下的红外目标检测[J]. 光电工程, 2020, 47(10): 128-137. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202010010.htm

    ZHANG Ruzhen, ZHANG Jianlin, QI Xiaoping, et al. Infrared target detection in complex scenes[J]. Optoelectronic Engineering, 2020, 47(10): 128-137. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202010010.htm

    [21] 张鹏辉, 刘志, 郑建勇, 等. 面向嵌入式系统的复杂场景红外目标实时检测算法[J]. 光子学报, 2022, 51(2): 203-212. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202202021.htm

    ZHANG Penghui, LIU Zhi, ZHENG Jianyong, et al. Real time infrared target detection algorithm for embedded systems in complex scenes[J]. Acta Photonica Sinica, 2022, 51(2): 203-212. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202202021.htm

    [22] 宋甜, 李颖, 王静. 改进YOLOv5s的车载红外图像目标检测[J]. 现代计算机, 2022, 28(2): 21-28. https://www.cnki.com.cn/Article/CJFDTOTAL-XDJS202202003.htm

    SONG Tian, LI Ying, WANG Jing. Improved vehicle infrared image target detection of YOLOv5s[J]. Modern Computer, 2022, 28(2): 21-28. https://www.cnki.com.cn/Article/CJFDTOTAL-XDJS202202003.htm

  • 期刊类型引用(1)

    1. 计燕,周晶晶,覃迪,陶坤明. 手持式红外热成像仪对开腹手术后病人低体温的诊断价值研究. 全科护理. 2024(14): 2663-2665 . 百度学术

    其他类型引用(3)

图(11)  /  表(2)
计量
  • 文章访问数:  269
  • HTML全文浏览量:  70
  • PDF下载量:  82
  • 被引次数: 4
出版历程
  • 收稿日期:  2022-06-09
  • 修回日期:  2022-08-09
  • 刊出日期:  2022-11-19

目录

/

返回文章
返回