红外人体测温精度补偿方法研究

卢知非, 刘浩宇, 陈文亮, 王向军

卢知非, 刘浩宇, 陈文亮, 王向军. 红外人体测温精度补偿方法研究[J]. 红外技术, 2021, 43(9): 895-901.
引用本文: 卢知非, 刘浩宇, 陈文亮, 王向军. 红外人体测温精度补偿方法研究[J]. 红外技术, 2021, 43(9): 895-901.
LU Zhifei, LIU Haoyu, CHEN Wenliang, WANG Xiangjun. Accuracy Compensation Method for Infrared Human Body Temperature Measurement Accuracy[J]. Infrared Technology , 2021, 43(9): 895-901.
Citation: LU Zhifei, LIU Haoyu, CHEN Wenliang, WANG Xiangjun. Accuracy Compensation Method for Infrared Human Body Temperature Measurement Accuracy[J]. Infrared Technology , 2021, 43(9): 895-901.

红外人体测温精度补偿方法研究

基金项目: 

抗新冠应急攻关项目 

详细信息
    作者简介:

    卢知非(1998-), 男, 山东人, 硕士研究生。主要研究方向为图像处理、计算机视觉等。E-mail:1337237120@qq.com

    通讯作者:

    王向军(1955-), 男, 黑龙江人, 教授, 博士, 主要从事光电传感与测试、计算机视觉与图像分析、微小型光机电系统及MEMS方面的研究。E-mail:xdocuxjw@vip.163.com

  • 中图分类号: TH811

Accuracy Compensation Method for Infrared Human Body Temperature Measurement Accuracy

  • 摘要: 针对现有人体测温方案测量精度低,使用条件受限等问题,研究了基于红外热成像的无接触人体测温精度补偿方法。综合考虑测温器件,测温环境对测量精度的影响,为解决常规测量方法存在的红外相机输出值随时间发生漂移,红外相机存在周期性斩波信号,温度测量距离不断变化,温度输出值存在频域噪声等多种问题,提出了综合性的温度测量精度补偿方法,有效降低了温度测量的误差。实验表明,通过本文的精度补偿方法,在不同距离下的人体温度测量误差不超过±0.2℃,可以实现人体温度的精确测量。
    Abstract: To address the problems of low measurement accuracy and limited use conditions of existing human body temperature measurement schemes, a non-contact human body temperature measurement accuracy compensation method based on infrared thermal imaging is studied. Considering the influence of temperature measurement devices and environments on the measurement accuracies, we need to solve the problems of infrared camera output values drifting with time, periodic signal chopping of an infrared camera, constant change in temperature measurement distance, and frequency domain noise of the temperature output value. To solve these problems, a comprehensive temperature measurement accuracy compensation method is proposed to effectively reduce the temperature measurement error. The experiment showed that the errors in human body temperature measurement under different distances were less than 0.2℃ using the precision compensation method in this study, which can realize accurate human body temperature measurement.
  • 红外舰船目标检测在海上救援、海上军事活动等方面都具有十分重要的意义,尤其在军事领域,由于红外成像系统受光照条件影响小、成像稳定以及工作距离远等优点,因此红外舰船目标检测对于海战场的战场监测与侦察具有深远的研究价值。目前基于深度学习的目标检测算法在近年来取得了很大的突破,检测精度与速度与传统算法相比都有着质的飞跃,并在各个方面都有着十分广泛的应用,因此提出一种基于深度学习目标检测算法的红外舰船目标检测方法,将深度学习的方法应用到红外成像领域。

    目前主流的目标检测算法可以分成两大类[1],One-stage算法与Two-stage算法,R-CNN[2]是最早被提出的Two-stage算法,同时也是将卷积神经网络应用到目标检测领域的开山之作,但检测速度较慢,随后提出的Fast R-CNN[3]、Mask-R-CNN[4]与Faster R-CNN[5],使目标检测的精度不断提高,Faster R-CNN还创新性地提出并使用了RPN(region proposal network)网络以生成候选区域,Two-stage类型的算法较之于One-stage算法速度相对较慢,但是优点在于精度较高。One-stage算法基于回归的思想,使用CNN卷积特征,直接产生物体的类别概率和位置坐标值(无region proposal),经过单次检测可以得到最终的检测结果,结构更加简洁,比较典型的算法有Redmon J.于2015年提出的YOLO V1[6]、2016年提出的YOLO V2[7]、Liu W.提出的SSD(single shot multi box detector)[8],2017年提出的DSSD(deconvolutional single shot multibox detector)[9]以及2018年提出的YOLO V3[10],不足之处在于小目标检测精度不高并会出现漏检误检的问题。

    深度学习目标检测算法发展迅速,在红外图像领域也有所应用,李慕锴在文献[11]中,提出了一种基于YOLO V3的红外行人目标检测算法,并在原有算法的基础上进行优化,准确率达到了85.89%;崔少华在文献[12]中提出了一种改进的卷积神经网络用于检测红外行人目标,选择LeNet-7作为检测网络,提高了检测效率; 但是针对红外舰船目标的检测,仍旧是基于传统方法,向涛在文献[13]中提出了一种基于显著区域提取和目标精确分割相结合的红外舰船目标检测方法,提升了检测的准确率; 邢莎在文献[14]中提出了基于局部边缘梯度特征分析的舰船目标检测方法,通过采用自适应滤波、多尺度搜索等方法进行红外舰船目标检测; 宫剑在文献[15]中提出了一种基于引导滤波和自适应尺度局部对比度的舰船目标检测方法,应用于红外偏振图像,具有较高的准确性和鲁棒性; 上述红外舰船目标检测方法虽然都取得了不错的效果,但是仍需手动提取特征,耗时耗力,因此本文提出了一种改进的Faster R-CNN目标检测算法,对红外舰船目标进行检测,并通过改进网络结构、基于数据集进行Anchor的改进以及优化损失函数的方法对原算法进行改进,使得改进后的算法更适用于红外舰船目标检测。

    Faster R-CNN是在R-CNN与Fast R-CNN的基础上进行改进得到的。在Faster R-CNN中,引进了Region Proposal Networks(RPN网络)代替Selective search生成候选区域检测框,同时引入Anchor box的概念。简言之就是采用一个卷积神经网络来提取候选区域,并将其与Fast R-CNN检测网络合并成一个网络进行训练和检测,提高速度。

    网络架构简图如图 1所示。

    图  1  Faster R-CNN网络结构图
    Figure  1.  Faster R-CNN network structure diagram

    具体的算法步骤为:

    1)使用一组基础卷积层提取待检测图片的feature map(特征图),该特征图同时被输入后续的网络与RPN网络,共享卷积特征;

    2)RPN网络根据特征图生成region proposals(候选区域),输出候选框矩阵及其得分;

    3)ROI pooling层收集前步得到的feature map以及RPN传输的region proposals,池化操作得到proposal feature map,送入后续的全连接层;

    4)全连接层利用proposal feature map进行分类,同时进行边框回归(Bounding box regression)得到最终检测框的位置以及得分信息。

    Faster R-CNN的主干网络是VGG-16,图 2是VGG-16的参数列表。

    图  2  VGG-16网络参数列表图
    Figure  2.  VGG-16 network parameter list diagram

    VGG16将卷积网络分成了5段,每一段由两至三个卷积层和池化层组成,MaxPool代表池化层,FC_4096代表全连接层,4096代表有4096个神经节点; Softmax代表最后的分类器。一般都选取VGG-16作为Faster R-CNN的特征提取网络,也可以采用Res Net、Inception Net等来代替。

    Faster R-CNN最大的创新点就是引入了RPN网络,其主要作用是目标物体的精确定位,利用VGG16的第五段卷积层Conv5-3上的特征图产生多个Anchor建议框,再利用Softmax函数判断属于目标物体或者属于背景的概率,引入Anchor的概念用以候选区域生成,Anchor是9个由代码生成的矩形框,涵盖了一张图片上的所有区域。RPN网络究其本质是通过卷积神经网络生成候选区域,输入任意尺寸的图像都可输出目标候选框矩阵及得分。具体示意图如图 3所示:主干网络VGG-16对原输入图片进行卷积操作,提取特征并在第五段卷积之后得到该输入图片的卷积特征图,然后使用一个滑动窗口(即3×3卷积核)在得到的特征图上进行滑动,得到一个512维的特征向量,并将此特征向量输入下一层的两个平行的全连接层进行分类和位置回归,由于每个滑动窗口的中心点对应k种Anchor(在Faster R-CNN中,k=9),因此对于分类层来说输出2k个结果,即每个候选框的目标以及背景概率,而边框回归层共输出4k个结果,即每个候选框的位置坐标信息{x, y, w, h},并对得分信息进行非极大抑制(non maximum suppression, NMS)后输出得分较高的边框信息。

    图  3  RPN网络结构示意图
    Figure  3.  Schematic diagram of RPN network structure

    而Anchor则是一组固定大小的参考窗口,分为3组,面积分别为1282、2562、5122; 而每种面积依据长宽比又分为3组,分别为2:1、1:2、1:1,共有9个,相当于一组模板,在任意图像的任意位置都采用这组模板,如图 4所示。

    图  4  Anchor示意图
    Figure  4.  Anchor schematic diagram

    对每个滑窗位置可计算滑窗中心点对应原图中心点,通过中心点和Anchor大小得到滑窗位置与原图位置的映射关系,继而让RPN网络学习此Anchor是否含有待检测物体。

    在Faster R-CNN中,采用边框回归来实现Anchor box到近似Ground truth box(GT)的过渡,示例图如图 5所示。图 5中,虚线矩形框A代表代表原始的预测Anchor,实线矩形框G代表目标的真实值GT,而边框回归的作用就是将红色的框进行微调,并寻找一种函数关系,使得原始预测框经过映射得到一个跟真实值G更加接近的回归窗口G',也就是图 5中的点划线预测框。

    图  5  Bounding box regression示例说明
    Figure  5.  Bounding box regression example description

    图 5中,给定A=(Ax, Ay, Aw, Ah),GT=(Gx, Gy, Gw, Gh),Bounding box regression则试图寻找一种映射关系f,使得f(Ax, Ay, Aw, Ah)=(Gx', Gy', Gw', Gh'),其中,(Gx', Gy', Gw', Gh')≈(Gx, Gy, Gw, Gh)。通过采取平移和缩放变换得到最终的结果:首先对A做平移操作:

    $$ \begin{array}{l} G{'_x}{\rm{ = }}{A_w}{\rm{d}}x(A) + {A_x}\\ G{'_y}{\rm{ = }}{A_h}{\rm{d}}y(A) + {A_y} \end{array} $$ (1)

    接下来做缩放:

    $$\begin{array}{l} G{'_w}{\rm{ = }}{A_w} \times {\rm{exp(d}}w(A))\\ G{'_h}{\rm{ = }}{A_w} \times {\rm{exp(d}}h(A)) \end{array}$$ (2)

    上述公式中,需要学习得到的是dx(A),dy(A),dw(A),dh(A)这4个变换,相应的平移因子(tx, ty)、(tx*, ty*)和缩放因子(tw, th)、(tw*, th*)如公式(3)所示:

    $$\begin{array}{l} {t_x} = \left( {x - {x_a}} \right)/{w_a},{t_y} = \left( {y - {y_a}} \right)/{h_a}\\ {t_w} = \lg \left( {w/{w_a}} \right),{t_h} = \lg \left( {h/{h_a}} \right)\\ t_x^* = \left( {{x^*} - {x_a}} \right)/{w_a},t_y^* = \left( {{y^*} - {y_a}} \right)/{h_a}\\ t_w^* = \lg \left( {{w^*}/{w_a}} \right),t_h^* = \lg \left( {{h^*}/{h_a}} \right) \end{array}$$ (3)

    式中:(x, y, w, h)、(xa, ya, wa, ha)、(x*, y*, w*, h*)分别对应预测框、Anchor box以及Ground truth box中心点的坐标及宽和高。上述公式的意义就在于将Anchor box拟合回归到附近的真实边界框GT,并将经过回归变换后的Anchor box输出成为预测框。

    在卷积神经网络中,低层卷积主要提取目标的细节信息,在网络位置中靠前,高层卷积主要用来提取抽象的语义信息[16],在网络结构中位置比较靠后,通过运行CNN解释器[17]得到卷积过程中的可视化特征图,不同层级的特征图对比如图 6所示。

    图  6  不同层级卷积后特征图对比
    Figure  6.  Comparison of characteristic graphs after convolution at different levels

    其中,图 6(a)为红外舰船原图,图 6(b)为VGG-16中经过第1段卷积Conv1后输出的特征图,图 6(c)为VGG-16中第3段卷积模块Conv3后输出的特征图,图 6(d)为VGG-16中第5段卷积模块Conv5后输出的特征图。从图 6可以明显得看出,低层卷积输出的特征图相比于高层卷积输出的特征图细节信息更加丰富,特征也要更加明显。

    基于此提出了一种多尺度提取特征的方法,选取VGG-16作为主干网络,去除全连接层,利用VGG-16中的卷积层进行特征提取,选取3段卷积后不同尺度的特征图进行特征拼接并输入RPN网络生成检测候选区域,改进后的网络结构如图 7所示。

    图  7  改进后网络结构图
    Figure  7.  Improved network structure diagram

    在改进后的Faster R-CNN网络结构中,选取Conv1、Conv3、Conv5卷积层后提取的特征图作为多尺度特征图,以Conv3特征图为基准,并对Conv1的特征图进行池化操作缩小至相同尺寸、Conv5的特征图进行反卷积增大至相同尺寸,再进行特征拼接,因为同一尺寸大小的特征图便于进行特征拼接,然后输入至RPN网络进行候选区域生成,拼接后特征图如图 8所示。

    图  8  特征拼接后特征图
    Figure  8.  Feature map after feature stitching

    图 8可以看出,特征拼接使得待检测目标的细节信息变得更加丰富。并且对于Conv5特征图所进行的反卷积操作是卷积的反向过程,也是一种上采样的方式,但不同于基于插值的上采样方法,反卷积操作可以在训练过程中反向传播学习、调整参数,使得上采样参数更加合理。因此放大图片的尺寸的同时,提供了一种最优的“上采样”方式,使得反卷积过后的特征图较之前相比,具有更加丰富的细节特征。

    图 7改进后的网络结构中,RPN网络则根据特征拼接后的多尺度特征图生成region proposals(候选区域),输出候选框矩阵及其得分,ROI pooling层收集前步得到的多尺度特征图以及RPN传输的region proposals,池化操作得到proposal feature map,送入后续的全连接层,全连接层利用proposal feature map进行分类,同时进行边框回归(Bounding box regression)得到最终检测框的位置以及得分信息。

    Faster R-CNN采用Anchor box作为每个滑窗位置的先验框并对目标物体进行检测,Anchor的本质其实就是一组矩形框模板,本文在此基础上,结合红外舰船目标的特性,对Anchor的尺寸和个数进行改进,由于红外图片与可见光图片相比,具有分辨率低、对比度低、目标反射特征少等特点,目标与背景中一些细微的差异很难被分辨,因此原算法中,针对可见光图片中通用目标而设置的9种尺寸比例大小的Anchor,并不适用于红外舰船目标的检测,对此本文针对红外舰船目标的特性,重新设置Anchor的尺寸和个数。

    在原算法中,Anchor的尺寸大小共有9种,考虑到过多的Anchor对于目标检测会带来多余的参数计算,为避免冗余参数计算带来检测速度的变慢,将改进后的Anchor尺寸比例大小减少为两个尺度,长宽比为3种,共6种不同的Anchor boxes:

    首先增大Anchor初始感受野大小,用以弥补红外舰船目标反射特征少的特点,将Anchor初始感受野base_size大小设置为32×32(原算法中为16×16),并将Anchor感受野进行23=8、24=16两种倍数的放大,参数设置为scales=2*np.arange(3, 5),此时16×16区域变成256×256与512×512,然后将宽高比例大小设置为0.5、1、3,参数设置为ratios=[0.5, 1, 3],将上述的两个区域按1:2、1:1、3:1进行变换,共得到改进后的6个不同的Anchor,如图 9所示。

    图  9  改进后的Anchor示意图
    Figure  9.  Improved Anchor schematic diagram

    依据Anchor box和Ground truthbox的IOU(Intersection over Union,意为交并比,即Anchor box与GT(Ground truth box)重叠面积与总面积的比例)来进行下一步操作,如果IOU>0.7,则认为此Anchor中大概率包含目标,如果IOU≤0.7,则认为此Anchor为背景,如果0.3>IOU≥0.7,则认为此Anchor没有作用,在检测及训练过程中丢弃,避免增加冗余计算参数。

    整个损失函数由分类损失与回归损失两部分构成,根据前文对网络结构的改进,借鉴主干网络VGG-16与R-CNN的损失函数,对Faster R-CNN的损失函数进行优化改进,在回归损失中加入平方项,使其在零点处导数变得更为平滑; 分类损失部分采用对数函数表达分类误差。改进后的损失函数具体如下所示:

    1)分类损失Lcls

    $$\begin{array}{l} {L_{{\rm{cls}}}} = \frac{1}{{{N_{{\rm{cls}}}}}}\sum\limits_i {{L_{{\rm{cls}}}}} \left( {{p_i},p_i^*} \right)\\ \;\quad \, = \frac{1}{{{N_{{\rm{cls}}}}}}\sum\limits_i { - {\rm{lg}}\left[ {p_i^*{p_i} + \left( {1 - p_i^*} \right)\left( {1 - {p_i}} \right)} \right]} \end{array}$$ (4)

    在公式(4)中Ncls代表Anchor个数,在网络训练过程中,会选取256个Anchor,因此Ncls=256;pi代表第i个Anchor为预测目标的概率,pi*是GT的预测概率,即当第i个Anchors与GT间IOU>0.7,认为该Anchor中大概率包含目标,pi*=1;Lcls(pi, pi*)是目标与背景的损失,选取对数函数表达这部分的误差。公式(4)的含义就是计算每一个Anchor的对数损失,然后除以训练中挑选的总Anchor数,得到平均损失。

    2)回归损失Lreg

    $$ {L_{{\rm{reg}}}}{\rm{ = }}\lambda \frac{1}{{{N_{{\rm{reg}}}}}}\sum\limits_i {p_i^*{L_{{\rm{reg}}}}} \left( {{t_i},t_i^*} \right) $$ (5)

    在公式(5)中,常见的回归误差一般选择平方损失函数,但该损失函数误差惩罚过高,因此在这里选择smooth L1 loss代表损失误差,计算公式为:

    $$ \begin{array}{l} {L_{{\rm{reg}}}}\left( {{t_i},t_i^*} \right){\rm{ = }}\sum\limits_{i \in \left\{ {x,y,w,h} \right\}} {{\rm{smoot}}{{\rm{h}}_{L1}}\left( {{t_i} - t_i^*} \right)} \\ = \sum\limits_{i \in \left\{ {x,y,w,h} \right\}} {\left\{ \begin{array}{l} {\left( {\sigma x} \right)^2} \times {\raise0.7ex\hbox{$1$} \!\mathord{\left/ {\vphantom {1 2}}\right.} \!\lower0.7ex\hbox{$2$}}\;\;\;\;\;{\rm{if}}\left| x \right| < {\raise0.7ex\hbox{$1$} \!\mathord{\left/ {\vphantom {1 {{\sigma ^2}}}}\right.} \!\lower0.7ex\hbox{${{\sigma ^2}}$}}\\ \left| x \right| - {\raise0.7ex\hbox{${0.5}$} \!\mathord{\left/ {\vphantom {{0.5} {{\sigma ^2}}}}\right.} \!\lower0.7ex\hbox{${{\sigma ^2}}$}}\;\;\;\;\;{\rm{otherwise}} \end{array} \right.} , \end{array} $$

    在RPN网络中σ=3,在Fast R-CNN中σ=1;而pi*Lreg(ti, ti*)这一项代表着只有当pi*=1,也就是有目标时,才有回归损失,其他情况下,这一项均为0;ti=(tx, ty, tw, th)是一个向量,代表预测框的4个坐标; ti*是预测框对应的真实值GT的4个坐标; 前面的参数λ则用来平衡回归损失与分类损失,使两者差距不宜过大,Nreg≈2400,Ncls≈256,因此λ=10,起到平衡权重的作用。

    将上述分类损失与回归损失相加便可得整个网络的损失函数:

    $$ {\rm{Loss}} = \frac{1}{{{N_{{\rm{cls}}}}}}\sum\limits_i {{L_{{\rm{cls}}}}} \left( {{p_i},p_i^*} \right) + \lambda \frac{1}{{{N_{{\rm{reg}}}}}}\sum\limits_i {p_i^*{L_{{\rm{reg}}}}} \left( {{t_i},t_i^*} \right)。 $$

    在这部分选用的训练集是从网上、工厂搜集的1000张包含舰船目标的红外图像,测试集为100张包含大小各类红外舰船目标的图片,分布在港口、码头、海洋等各个背景条件下。评价指标mAP(mean average precision)是对目标检测算法的检测精度进行效能评估的最常用的度量指标[18],FPS(frame per second)作为检测速度的评价指标,选择这两项对训练好的模型进行精度和速度的评估。

    由于搜集到的数据集数量有限,担心不足以支撑模型的训练,因此对搜集到的数据进行数据增强处理,通过左右镜像与上下镜像增强自己的训练数据集,数据增强后示例如图 10所示。

    图  10  数据增强示例图
    Figure  10.  Sample diagram of data enhancement

    图 10中,图 10(a)为红外舰船原图,图 10(b)为原图经过左右镜像后得到的图片,图 10(c)图 10(d)为将上述两张图片进行上下镜像后得到的图片。通过运行left_right.py与up-down.py对1000张数据集进行批量操作,共得到数据增强后的图片集4000张。

    实验环境的操作系统为Windows10,深度学习框架为tensorflow1.9.0。实验硬件环境的CPU为Intel(R) Core(R) i7 9700KF,内存为32 G。GPU为NVIDIA(R) GTX(R) 1080TI。训练过程中的参数设置:batch_size=16,预训练模型为VGG-16,初始学习率为0.001,衰减因子为0.0005。首先将学习率设置成0.001训练10000次,接下来在上一步训练的基础上将学习率设置成0.0001继续训练10000次,再接着将学习率设置为0.00001继续训练,使损失函数进一步收敛,得到训练好的最终训练模型,图 11为训练过程中的损失函数图像。

    图  11  改进的Faster R-CNN损失函数曲线
    Figure  11.  Improved Faster R-CNN loss function curve

    图 11中可以看出在训练迭代20000次时,损失函数已经收敛至0.2附近,继续训练至10000次左右发现损失函数已稳定收敛于0.2上下,由于改进后的网络结构增加了多尺度特征图从而引入了额外的参数,担心继续训练下去会产生模型过拟合的问题,于是在30000次停止训练,得到训练结束的最终模型。

    通过对不同包含舰船目标红外图像进行测试,测试效果如图 12所示,可以看到检测效果非常好,检测框上方是类别名称和置信度,训练好的模型可以准确识别出不同尺寸、不同大小、不同质量的图片的舰船目标。

    图  12  红外舰船图像检测结果
    Figure  12.  Detection result of infrared ship image

    在目标检测算法中,评价一个算法模型的优劣最客观的评价指标有召回率(Recall)、准确率(Precision)、平均准确率AP、均值平均准确率mAP,通常使用均值平均精度(即mAP)来评估一个检测算法的检测准确度,数值越大检测效果越好,在本次实验中,目标类别只有一类,因此mAP值就等于AP值。

    对于某一类问题,将分类的目标计为正例(positive)和负例(negtive),那么就有如下的指标:

    1)True positives(TP):被正确地划分为正例的个数,即实际为正例而且被分类器判别出正例的数目;

    2)False positives(FP):被错误地划分为正例的个数,即实际为负例但被分类器判别为正例的数目;

    3)False negatives(FN):被错误地划分为负例的个数,即实际为正例但被分类器判别为负例的数目;

    4)True negatives(TN):被正确地划分为负例的个数,即实际为负例并且被分类器判别为负例的数目。

    这些指标间的关系如表 1所示。

    表  1  分类结果判别表
    Table  1.  Classification result discriminant table
    Real situation Discriminant result
    Positive example Counter example
    Positive example TP(True positive example) FN(False Counter example)
    Counter example FP(False positive example) TN(True Counter example)
    下载: 导出CSV 
    | 显示表格

    召回率R以及准确率P的定义公式分别为:

    $$ R{\rm{ = }}\frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}},P{\rm{ = }}\frac{{{\rm{TP}}}}{{{\rm{TP + FP}}}} $$ (6)

    在公式(6)中,并在本次实验中,TP代表正确检测到舰的个数; FP代表误检测是舰船的个数; FN代表漏检测舰船的个数。AP值就为召回率与准确率所围成的R-P曲线面积,mAP值等于AP值;

    使用原Faster R-CNN算法在同一数据集进行30000次的训练,训练结束后,在测试数据集上进行测试,对比改进前后检测效果; 通过分别运行python工程文件mAP-master,对测试集进行计算得到改进前后的平均准确率AP值,并且得到R-P曲线,如图 13所示。

    图  13  改进前后Faster R-CNN在红外舰船测试集上的R-P曲线
    Figure  13.  R-P curves of Faster R-CNN on infrared ship test set before and after improvement

    图 13中横坐标为召回率,纵坐标为相应的准确率,原Faster R-CNN算法在红外舰船测试集上的平均准确率AP=80.03%,经过改进之后在同一测试集上的平均准确率AP=83.98%,在本次实验中mAP=AP。改进前后的检测效果对比如图 14所示。

    图  14  Faster R-CNN改进前后红外目标检测效果对比
    Figure  14.  Comparison of infrared target detection effect before Faster R-CNN improvement

    筛选出的这两组图像均可以很好地表现改进算法的相比于原有算法的改进成效,从图 14前4组对比图片中可以明显看出,改进后的算法在在选红外目标的位置准确性方面有了很大的提升,这是因为基于红外数据集改进的Anchor尺寸更适合红外舰船目标,从而使得最后输出的预测框能够更为准确地框选红外目标; 同时在检测红外目标精度方面也有了很大提升,如图 14最后两组对比图片所示,这是由于改进后网络结构中增加的多尺度特征图使得模型可以提取到更为丰富的红外目标特征信息; 原算法中容易出现重复检测的问题也得到了改善,如图 14第5、6组对比图片所示,一方面,这是由于网络结构中增加了多尺度特征图从而提高了特征提取能力,另一方面,对训练数据集所做的数据增强处理在某种程度上也使得重复检测的问题得到了缓解; 综上所述,改进后的算法在框选目标位置准确性、检测准确率上有了很大程度的提升,同时也改善了原算法中容易出现重复检测问题。

    对改进前后的两种算法,运行python工程文件mAP-master之后可得到检测100张图片所花费的时间,原Faster R-CNN检测100张图片所花费时间为31.28 s,改进后FasterR-CNN检测100张图片所花费时间为33.84 s,其具体的性能对比如表 2所示。

    表  2  改进前后算法性能对比
    Table  2.  Comparison of algorithm performance before and after improvement
    Model name AP/% mAP/% Time/s
    Faster R-CNN 80.03 80.03 0.3128
    Improved Faster R-CNN 83.98 83.98 0.3384
    下载: 导出CSV 
    | 显示表格

    从表中可以看出,原Faster R-CNN算法的mAP值为80.03%,而改进后算法的mAP值为83.98%,较之于改进前提升了3.95%,精度提高的同时,检测每张图片所花费的时间较之于改进前稍有变长,这是因为在网络结构中增加了3个特征图进行拼接形成多尺度特征图用于加强对红外目标的特征提取从而引入了额外的计算参数所导致的。

    提出了一种改进Faster R-CNN的红外舰船目标检测算法,对网络结构和Anchor进行改进,同时优化了损失函数。该算法应用于红外舰船目标检测时,检测精度可以达到83.98%,较原算法相比提高了3.95%;对比算法改进前后的红外图像检测结果,验证了改进方法的可行性。本文研究的改进方法使得红外舰船目标的检测效果大大提升,可将改进后的算法模型应用在军事及工业领域,工业领域方面可应用于夜晚或严重光照不足条件下的码头、港口过往船舶检测,对海上救援、海上交通都有着重要的应用研究价值; 在军事领域方面不仅可以应用于海上战场进行舰船目标检测,还可装备应用于红外反舰武器系统上,提升打击精度,从而提升部队战斗力。

  • 图  1   实时补偿效果对比图

    Figure  1.   Comparison of real-time compensation effect

    图  2   时域和频域的测量分析图

    (b) 测温曲线频谱分析图

    Figure  2.   Measurement analysis chart in time domain and frequency domain

    (b) Spectrum analysis of temperature measurement curve

    图  3   三种滤波效果对比图

    Figure  3.   Comparison of filtering effects of three filters

    图  4   相机小孔成像模型示意图

    Figure  4.   Schematic of camera pinhole imaging model

    图  5   人脸关键点检测示意图

    Figure  5.   Facial key point detection

    图  6   距离估计精度示意图(4次实验)

    Figure  6.   Distance estimation accuracy(4 experiments)

    图  7   测温精度示意图(4次实验)

    Figure  7.   Temperature measurement accuracy(4 experiments)

    表  1   中国成年人面宽和形态面长统计表

    Table  1   Statistical table of face width and shape length of Chinese adults

    Gender Facial width/mm Morphological facial length/mm
    mean std mean std
    Male 109 5.69 143 3.90
    Female 119 6.55 136 3.71
    下载: 导出CSV

    表  2   不同距离下的补偿值及其方差

    Table  2   Compensation values and variances under different distances

    Measuring distance/m Mean compensation value/℃ Mean compensation variance
    1.0 1.659 0.072
    1.2 2.036 0.063
    1.4 2.227 0.053
    1.6 2.244 0.120
    1.8 2.295 0.117
    2.0 2.399 0.131
    2.2 2.585 0.148
    下载: 导出CSV
  • [1] 李鹏程. 基于红外测温技术的变电设备缺陷诊断分析[D]. 北京: 华北电力大学, 2014.

    LI Pengcheng. The Research on the Device Defect Diagnosis Method Based on Infrared Temperature Measurement[D]. Beijing: North China Electric Power University, 2014.

    [2] 乐启清. 红外热成像检测技术在沥青混合料制备过程中应用研究[D]. 西安: 长安大学, 2014.

    LE Qiqing. Study on the Application of Infrared Thermal Imaging Detection Technology in the Process of Asphalt Mixture Production Preparation[D]. Xi'an: Chang'an University, 2014.

    [3] 王丰, 吴爱华. 红外测温技术在高温液体连续测温系统中的应用[J]. 冶金自动化, 2007(6): 47-50. DOI: 10.3969/j.issn.1000-7059.2007.06.012

    WANG Feng, WU Aihua. Application of infrared technique in continuous temperaturemeasuringsystem of high temperature liquid[J]. Metallurgical Industry Automation, 2007(6): 47-50. DOI: 10.3969/j.issn.1000-7059.2007.06.012

    [4] 葛泽勋. 医用红外测温仪及其关键技术研究[D]. 长春: 长春理工大学, 2019.

    GE Zexun. Research on Medical Infrared Thermometer and the Key Technology[D]. Changchun: Changchun University of technology, 2019

    [5] 周汪明. 超高精度人体热成像测温助力疫情防控[J]. 中国安全防范技术与应用, 2020(1): 25-27. https://www.cnki.com.cn/Article/CJFDTOTAL-AQFF202001007.htm

    ZHOU Wangming. Ultra high precision human thermal imaging temperature measurement helps epidemic prevention and control[J]. China Security Protection Technology and Application, 2020(1): 25-27. https://www.cnki.com.cn/Article/CJFDTOTAL-AQFF202001007.htm

    [6] 王华伟. 基于红外热成像的温度场测量关键技术研究[D]. 西安: 中国科学院研究生院(西安光学精密机械研究所), 2013.

    WANG Huawei. Research on the Key Technologies of Temperature Field Measurement Based on Thermal Infrared Imager[D]. Xi'an: Xi'an Institute of Optics and Precision Mechnics, Chinese Academy of Sciences, 2013.

    [7] 肖作超, 刘斌, 魏建程. 红外热成像技术与人工智能技术创新融合的探析[J]. 中国安防, 2020(5): 30-34. DOI: 10.3969/j.issn.1673-7873.2020.05.007

    XIA0 Zuochao, LIU Bin, WEI Jiancheng. On the innovative integration of infrared thermal imaging technology and artificial intelligence technology[J]. China Security & Protection, 2020(5): 30-34. DOI: 10.3969/j.issn.1673-7873.2020.05.007

    [8] 杨立, 杨桢. 红外热成像测温原理与技术[M]. 北京: 科学出版社, 2012.

    YANG Li, YANG Zhen. Principle and technology of infrared thermal imaging temperature measurement[M]. Beijing: Science Press, 2012.

    [9] 苏佳伟, 石俊生, 汪炜穑. 距离对红外热像仪测温精度影响及提高精度的实验研究[J]. 红外技术, 2013, 35(9): 587-590. http://hwjs.nvir.cn/article/id/hwjs201309012

    SU Jiawei, SHI Junsheng, WANG Weise. Experimental Study of Infrared Thermal Imagers about Influence of Distance for Temperature Measurement Accuracy and Method of Improving Accuracy[J]. Infrared Technology, 2013, 35(9): 587-590. http://hwjs.nvir.cn/article/id/hwjs201309012

    [10] 阳红玉. 无线红外人体测温系统的研发[D]. 长沙: 中南林业科技大学, 2015.

    YANG Hongyu. The Development of Wireless Infrared Temperature Measurement System[D]. Changsha: Central South University of Forestry and Technology, 2015

    [11]

    XU D, Ricci E, Ouyang W, et al. Multi-scale continuous crfs as sequential deep networks for monocular depth estimation[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 5354-5362.

    [12]

    Kuznietsov Y, Stuckler J, Leibe B. Semi-supervised deep learning for monocular depth map prediction[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 6647-6655.

    [13] 中国标准化与信息分类编码研究所. 成年人头面部尺寸GB/T 2428-1998[S], 1998.

    China National Institute of Standardization. Head-face dimensions of adults. GB/T 2428-1998[S], 1998.

    [14]

    GUO X, LI S, YU J, et al. PFLD: A practical facial landmark detector[J/OL]. arXiv preprint arXiv: 1902.10859, 2019.

    [15]

    DONG X, YAN Y, OUYANG W, et al. Style aggregated network for facial landmark detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 379-388.

    [16]

    Kumar A, Chellappa R. Disentangling 3d pose in a dendritic cnn for unconstrained 2d face alignment[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 430-439.

  • 期刊类型引用(3)

    1. 姚佳志,宋延嵩,宋建林,王伟,安岩. 滚仰式导引头跟踪策略研究. 兵工学报. 2024(11): 4031-4038 . 百度学术
    2. 叶斯哲. 基于飞刀车削的反射棱镜精密加工技术研究. 光电技术应用. 2023(01): 76-82 . 百度学术
    3. 周晓斌,张衡,文江华,吴妍,刘召庆,张向明,金明鑫. 长波红外光学系统混合被动无热化设计. 红外技术. 2021(09): 836-839 . 本站查看

    其他类型引用(2)

图(7)  /  表(2)
计量
  • 文章访问数:  266
  • HTML全文浏览量:  54
  • PDF下载量:  89
  • 被引次数: 5
出版历程
  • 收稿日期:  2020-09-28
  • 修回日期:  2020-12-08
  • 刊出日期:  2021-09-19

目录

/

返回文章
返回