0.   引言

车载热成像系统目前在一些高端汽车上作为夜间驾驶辅助设备有所部署。由于热成像系统依据物体的温差进行成像，不受光源影响，同时受到天气变化的影响较小，且具备较长的探测距离^[1]，因此车载热成像对于高级驾驶辅助系统（advanced driving assistance system, ADAS）的夜间行车模块具备很强的应用价值^[2-3]。结合近年来高度发展的机器视觉，人工智能深度学习技术，希望提出一种针对车载热成像系统的高效目标检测方法。

目标检测领域，得益于深度卷积神经网络^[4]（convolutional neural network, CNN）的算法，目标检测的准确率得到大幅提升。学术界涌现出一系列基于R-CNN的检测算法，如SPP-Net（Spatial Pyramid Pooling Net）^[5]，Fast-RCNN^[6]，Faster-RCNN^[7-9]等，检测精度得到大幅度提升。同时出现了区别于R-CNN系列两步检测方法的端到端检测算法，如SSD（Single Shot Multi Box Detector）^[10]和YOLO（You Only Look Once）^[11]等，检测速度得到较大提升。其中YOLO系列目标检测框架相对现行其他目标检测框架具备检测精度高，速度快的优点^[12]。

对于车载热成像系统而言，目标检测方法需要考虑以下3个方面的问题：

1）对红外图像中远距离低分辨率，细节模糊的小目标识别检测精度。目前车载热成像仪在兼顾成本，视场角与探测识别距离情况下普遍采用19 mm镜头，384×288分辨率机芯（奥迪，宝马，奔驰等高端车型所部署的车载热成像成像系统）。该配置成本较低，同时成像视场较大，可在100 m距离上提供可识别人体红外图像，200 m距离上提供可识别机动车红外图像，而较远距离上成像像素较低，普遍为10×10像素级别。

2）在车载动态环境中目标检测方法的实时性。车载热成像机芯刷新频率普遍为50 Hz，可在行车速度低于60 km/h的情况下实时提供流畅红外图像，红外视频传输速率为25 fps，因此目标检测算法要求平均处理速度需高于30 fps。

3）网络的精简程度，是否适宜部署于车载嵌入式系统。目前最新可用于车载嵌入式系统的边缘计算ASIC如Google Edge TPU，要求网络轻量级，模型权重大小在100 MB之内，方可部署。

结合以上3个问题考虑，如使用YOLO系列中检测精度较高，满足红外小目标检测精度的YOLOV3目标检测网络，存在网络结构复杂，模型权重大（234 MB），实时性低的缺点，无法部署于边缘计算系统。如使用YOLO系列中针对移动端，边缘计算领域的轻量级目标检测网络Tiny-YOLOV3^[13]将提高检测实时性，网络轻量级，模型权重大小（34 MB）适宜部署车载嵌入式系统，但该类轻量级目标检测网络对红外小目标检测精度较低，难以满足车载热成像目标检测率方面要求。

针对车载热成像系统目标检测的实时性与轻量化需求，本文基于目前目标检测效果良好的轻量级目标检测网络Tiny-YOLOV3基础框架，针对红外图像特点提出了一种增强型轻量级红外目标检测框架I-YOLO，该网络构架分为主干网络与检测网络两部分：主干网络在Tiny-YOLOV3基础结构上进行增强设计，根据红外小目标低像素特点，提取浅层卷积层特征，构造浅层卷积特征输出层，增加原网络特征金字塔网络尺度，提高红外小目标检测率，同时根据红外图像格式，在主干网络中第一个卷积层使用单通道卷积核，降低运算量。检测层参考文献[14]使用CenterNet的检测方式以降低目标的误检率，提高检测实时性。

1.   车载热成像目标检测网络

1.1   Tiny-YOLOV3目标检测模型

Tiny-YOLOV3目标检测模型为YOLO系列中针对移动端与边缘计算设计的轻量级目标检测网络，特点为精简、高实时性、检测精度较高。

Tiny-YOLOV3主干网络为YOLOV3的简化，由13个卷积层，6个最大池化层，1个维度连接层构成，结构如图 1所示。

图  1  Tiny-YOLOV3网络结构

Figure  1.  Tiny-YOLOV3 network architecture

下载: 全尺寸图片 幻灯片

Tiny-YOLOV3检测层根据输入的图像数据，在2个尺度上运用回归分析法输出图像数据的多个滑动窗口位置及该窗口中检测到的目标类别，设置多个锚点框（anchor box）以检测目标。

Tiny-YOLOV3的分类函数使用独立的logistic分类器，分类器表达式如下：

式中：t_x、t_y、t_w、t_h表示模型的预测输出；c_x和c_y表示网络栅格的坐标；p_w和p_h表示预测前边框的尺寸；b_x、b_y、b_w和b_h就是预测得到的边框的中心的坐标和尺寸。

在每一个预测尺度上Tiny-YOLOV3检测层将输入图像分成S×S个单元格，每个单元格的神经元负责检测落入该单元格的对象，最多可包括两个预测对象的滑动窗口。T为目标置信度，它反映当前滑动窗口是否包含检测对象及其预测准确性的估计概率，计算如下式：

式中：P_o表示检测对象落在滑动窗口内的概率，P_I表示滑动窗口与真实检测对象区域的重叠面积（像素单位）。Tiny-YOLOV3的2个预测尺度分别为13×13，26×26。以S＝13为例，检测原理如图 2所示。

图  2  Tiny-YOLOV3检测原理

Figure  2.  Detection principle of Tiny-YOLOV3

下载: 全尺寸图片 幻灯片

1.2   I-YOLO增强型轻量级红外目标检测网络

Tiny-YOLOV3目标检测网络具备轻量级，高实时性的优点，适宜部署移动端，嵌入式系统，边缘计算单元，但针对车载热成像远距离小目标分辨率低（10×10像素级别），细节模糊的特点，该检测网络需进一步强化其目标检测性能，且根据红外图像单通道特点，可进一步降低运算量，提高实时性。本文提出的I-YOLO增强型轻量级红外目标检测模型，在Tiny-YOLOV3目标检测网络基础上进行主干网络与检测网络的改进，提升其目标检测性能，降低计算量，提升实时性。

对于远距离低分辨率红外小目标的特征提取，Tiny-YOLOV3目标检测网络浅层卷积Conv4层能够较为有效地表征红外小目标的语义信息，而Conv3层感受野太小，Conv5层则感受野太大，包含一定的背景噪声干扰。因此，为提升红外小目标检测能力，I-YOLO目标检测网络将Tiny-YOLOV3中Maxpool3层更换为Conv4层，并且为了减少无用参数，增加了Conv5层的压缩维度；除此以外，在Tiny-YOLOV3模型的基础上增加上采样层Upsample2，将Conv5层和Upsample2在通道维度上进行连接操作，Conv7通过Upsample2进行升采样操作，从而形成特征金字塔增加的一个特征图层，特征金字塔网络由Tiny-YOLOV3的13×13和26×26像素提升为13×13、26×26和52×52像素的3检测尺度结构。同时，由于红外图像的单通道特点，为了减少运算量并提高算法的实时检测能力，可通过在第一个卷积层中采用单通道卷积核的方式来实现。而对于检测网络模块，使用CenterNet结构以替换原有YOLO层，对于检测方法进行优化，降低误检率，进一步提高实时性。I-YOLO网络结构如图 3所示。

图  3  I-YOLO网络结构

Figure  3.  I-YOLO network architecture

下载: 全尺寸图片 幻灯片

为进一步提高红外图像中红外目标的检测精度，提高算法的实时检测能力，有效减少运算量，检测网络模块采用了CenterNet结构，用无锚点方式（anchor free）代替原有基于锚点（anchor box）的YOLO检测层。使改进后的目标检测网络更适合检测红外小目标。

CenterNet是ICCV2019大会上提出的目标检测最新方法^[14]，其基本思想为：因为缺少对于相关裁剪区域的附加监督，致使基于锚点（anchor box）的方法会出现大量有误的边界框，因此原Tiny-YOLOV3在检测层中需要大量的anchor box进行目标检测。而CenterNet是一个ont-stage的关键点检测模型，在检测时不预先生成候选框进行分类，而是直接通过三元组（中心点及上下对角点），在降低运算量提高实时性的同时提高检测准确率及召回率。I-YOLO所使用的CenterNet通过Cascade corner pooling及Center pooling来丰富3个关键点处的信息提取。本文使用CenterNet检测结构如图 4所示。

图  4  CenterNet网络结构

Figure  4.  CenterNet network architecture

下载: 全尺寸图片 幻灯片

CenterNet网络中的Center Pooling模型由2个Conv-BN-ReLU，1个Left Pooling，1个Right Pooling，1个Top Pooling以及1个Bottom Pooling组成，可以有效地感知proposal的中心区域。Cascade corner pooling模型由2个Conv-BN-ReL，1个Left Pooling，1个Conv-BN以及1个Top Pooling构成，其目的是增加原始的corner pooling以感知内部信息的功能。以尺度S＝13为例CenterNet检测原理如图 5所示。

图  5  CenterNet检测原理

Figure  5.  Detection principle of CenterNet

下载: 全尺寸图片 幻灯片

在使用CenterNet进行检测时，边界框的检测情况受中心区域面积的影响较大，为了适应不同尺寸的目标物，这里采取尺度敏感区域，以生成可以适应不同大小目标的中心区域。比如，如果要对一个边界框I的保留情况做出判断，t_lx，t_ly代表边界框左上角的点，b_rx, b_ry代表边界框右下角的点。这里定义一个中心区域j，设左上角的点的位置坐标为(ctl_x, ctl_y)，右下角点的位置坐标为(cbr_x, cbr_y)。这些参数定义满足如下式：

式中：n代表中心区域j的大小（n为奇数）。当边界框小于150时n＝3，大于150时n＝5。实验证明，此设置对于单通道红外小目标图像仍然适用。

I-YOLO在原Tiny-YOLOV3目标检测网络基础上增加了一定数量卷积层以提取低层卷积特征增加检测尺度，在检测模块使用了CenterNet结构从而在一定程度上提升检测算法的实时性并降低误检率。因此在原目标检测网络基础上加深了网络结构，使得训练模型权重由34MB增加至96MB，而相比小目标检测性能良好的YOLO V3目标检测网络模型权重234 MB，I-YOLO属于轻量级目标检测网络，其模型权重大小可满足在嵌入式系统与边缘计算单元上的部署。除此以外，对于尺度在8×8像素级别以上的红外小目标，I-YOLO可产生较好的目标检测效果。机动车红外图像小目标尺度普遍在10×10像素级别，因此，I-YOLO适用于车载热成像的目标识别。

2.   实验结果及分析

2.1   实验平台

实验硬件数据采集平台为氧化钒384×288分辨率机芯，19 mm镜头的户外热成像探测仪，输出为单通道16 bit数据。车载红外热成像数据采集平台如图 6所示。

图  6  车载红外热成像平台

Figure  6.  Vehicle infrared thermal imaging platform

下载: 全尺寸图片 幻灯片

模型训练与测试使用硬件平台为Core i7-8750H 2.2 GHz处理器+16 GB内存+Geforce GTX 1080 8 GB显卡。软件平台使用Win10+tensorflow1.9.0+CUDA9.2+VS2017+Open CV4.0。

2.2   评价标准

为评价I-YOLO在车载热成像目标检测应用方面性能，采用平均准确率M_p，平均误检率M_f，平均漏检率M_m，平均运算速度M_o，以及模型权重大小M_w作为评价指标，其中M_p、M_f、M_m计算如下式：

式中：TP表示视红外图像中正确检测出的目标数量；FN表示红外图像中没有检测出来的目标数量；FP表示红外图像中误检出来的目标数量；TN表示红外图像中没有误检的目标数量；M_o与M_w由实际测试及训练得到。

2.3   实验数据集及模型训练

实验训练数据集使用了2018年传感器系统开发商FLIR公司发布的自动驾驶开源红外热成像数据集，该数据集汇集了12000个白天和夜间场景的热图像。该红外热成像数据集的应用将有助于驾驶员或未来的自动驾驶车辆适应黑暗，雾，烟等具有挑战性的环境。

按5:1比例将该数据集划分为训练集与测试集，标注需要检测的4类目标。FLIR部分数据集如图 7所示。

图  7  FLIR红外数据集

Figure  7.  FLIR Infrared data set

下载: 全尺寸图片 幻灯片

在模型训练环节，对数据集中的图像样本进行预处理，产生416×416像素的图像，训练时选取100幅的图像数量作为小批量训练的样本数量阈值，权重在每一批图像训练之后得到一次更新。将衰减率设为0.0005，动量设置为0.9，学习率初始化为0.001，对I-YOLO网络进行20000次迭代，保存等间隔的10次模型版本，最终选取精度最高的模型。

整个训练的目标损失函数计算公式如下：

式中：$L_{{\rm{det}}}^{{\rm{co}}}$与$L_{{\rm{det}}}^{{\rm{ce}}}$分别为边缘关键点与中心点的散焦损失，用于训练检测目标边缘与中心点。L_d为向量距离损失函数，计算如下式：

式中：$L_{{\rm{pull}}}^{{\rm{co}}}$为边缘点回拉损失，用于将同一目标内嵌向量最小化；$L_{{\rm{push}}}^{{\rm{co}}}$为边缘点外推损失，用于将不同目标内嵌向量最大化；$L_{{\rm{off}}}^{{\rm{ce}}}$与$L_{{\rm{off}}}^{{\rm{co}}}$分别为中心关键点与边缘关键点的偏移损失，用于预测二者的偏移值。α，β，γ为权重系数，根据文献[14]分别取0.1, 0.1, 1。

经过20000次迭代，模型平均损失降至0.2以下。如图 8所示。

图  8  模型训练平均损失

Figure  8.  Average loss of model training

下载: 全尺寸图片 幻灯片

2.4   测试结果及分析

实际测试使用车载热成像在夜间城市街道实地拍摄的红外视频，视频总长400帧，包括需要检测的4类感兴趣目标，为对比I-YOLO性能指标，采用相同数据集与训练参数进行训练的SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3模型进行对比测试，随机选取测试视频中3帧检测结果进行对比，测试效果如图 9所示。

图  9  实际测试结果

Figure  9.  Actual test results

下载: 全尺寸图片 幻灯片

图 9中，(a)为SSD300×300检测结果，(b)为RetinaNet-50-500检测结果，(c)为Tiny-YOLOV3检测结果，(d)为YOLOV3检测结果，(e)为本文方法检测结果。由实际检测结果可见，SSD300×300在121帧检测出轿车6辆，行人1人，在318帧，检测出轿车6辆，卡车1辆，在326帧，检测出轿车5辆，平均检测速度13FPS。RetinaNet-50-500在121帧检测出轿车7辆，行人1人，在318帧，检测出轿车7辆，卡车1辆，在326帧，检测出轿车5辆，平均检测速度7FPS。Tiny-YOLOV3在121帧检测出轿车6辆，行人1人，在318帧，检测出轿车6辆，卡车1辆，在326帧，检测出轿车4辆，平均检测速度62FPS。YOLOV3在121帧检测出轿车7辆，行人1人，在318帧，检测出轿车7辆，卡车1辆，在326帧，检测出轿车5辆，卡车1辆，平均检测速度21FPS。本文方法在121帧检测出轿车7辆，行人1人，在318帧，检测出轿车7辆，卡车1辆，在326帧，检测出轿车5辆，平均检测速度81fps。根据以上结果分析得出，本文方法在检测精度上十分接近YOLOV3，与RetinaNet-50-500相当，超过SSD300×300，Tiny-YOLOV3，检测实时性上超过所有对比检测方法。

检测模型对整个测试红外视频中4类感兴趣目标的平均准确率M_p，平均误检率M_f，平均漏检率M_m，统计分析如表 1所示。

表  1  4类检测目标统计数据分析

Table  1.  Statistical analysis of four kinds of detection targets

Detection model	Mp(%)					Mf(%)					Mm(%)
	Person	Car	Bus	Truck		Person	Car	Bus	Truck		Person	Car	Bus	Truck
SSD300×300	66	71	73	68		12	13	14	11		21	12	21	20
RetinaNet-50-500	90	89	88	92		15	17	18	14		6	4	6	14
Tiny-YOLOV3	65	70	75	69		15	10	15	10		20	15	23	21
YOLOV3	95	90	90	95		20	18	20	15		5	3	5	15
I-YOLO	91	88	89	93		3	5	3	5		9	8	6	18

下载: 导出CSV 

| 显示表格

由表 1的统计结果对比可见，本文提出的I-YOLO红外目标检测网络在对车载热成像系统中4类主要检测目标的平均准确率，平均漏检率方面相对SSD300×300，Tiny-YOLOV3表现更为优良，与RetinaNet-50-500相当，非常接近YOLOV3，平均误检率方面相对SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3均表现更为优良。

在整个测试红外视频中，对检测模型平均准确率M_p，平均误检率M_f，平均漏检率M_m，平均运算速度M_o，以及模型权重大小M_w的综合统计分析如表 2所示。

表  2  综合性能测试对比分析

Table  2.  Comparison and analysis of comprehensive performance tests

Detection model	Mp/%	Mf/%	Mm/%	Mo/FPS	Mw/MB
SSD300×300	67	11	31	13	196
RetinaNet-50-500	90	15	13	7	246
Tiny-YOLOV3	66	12	32	62	34
YOLOV3	95	16	6	21	234
I-YOLO	91	6	12	81	96

下载: 导出CSV 

| 显示表格

由表 2综合测试对比分析结果可见，I-YOLO红外目标检测网络平均检测率达到YOLOV3目标检测网络95%，超出SSD300×300目标检测网络24%，RetinaNet-50-500目标检测网络1%，Tiny-YOLOV3目标检测网络25%，平均误检率相对SSD300×300目标检测网络降低5%，相对RetinaNet-50-500目标检测网络降低9%，相对YOLOV3目标检测网络降低10%，相对Tiny-YOLOV3目标检测网络降低6%，平均漏检率超出YOLOV3目标检测网络6%，相对SSD300 300目标检测网络降低19%，相对RetinaNet-50-500目标检测网络降低1%，相对Tiny-YOLOV3目标检测网络降低20%，平均运算速度上高于SSD300×300网络68 fps，高于RetinaNet-50-500网络74 fps，高于YOLOV3网络60fps，高于Tiny-YOLOV3网络19 fps，模型权重大小上为96 MB，大大低于SSD300×300，RetinaNet-50-500，YOLOV3网络模型权重，高于Tiny-YOLOV3网络模型权重，由于Tiny-YOLOV3检测精度不能满足对红外目标的检测。因此I-YOLO在红外目标检测精度，检测实时性与模型大小几项指标上满足车载热成像系统实时目标检测的需求，适宜于部署Edge-TPU类型的最新边缘计算嵌入式设备上。

3.   结论

文中针对车载热成像系统对红外目标检测的需求，提出了一种增强型轻量级红外目标检测网络模型I-YOLO，该网络基于Tiny-YOLOV3的构架，在基础网络部分，为提高红外小目标检测率，提取低层卷积特征增加构建检测尺度，根据红外图像单通道输出特点在网络第一个卷积层中采用单通道卷积核从而减少了网络的计算量，在检测部分搭建CenterNet检测结构，进一步提高算法实时性，降低误检率。通过红外数据集制作，模型训练，实际测试的结果分析，本文提出的I-YOLO目标检测框架对于车载热成像中的目标检测方面在平均检测率，平均漏检率上优于Tiny-YOLOV3，接近于YOLOV3，在平均误检率，实时性上优于YOLOV3与Tiny-YOLOV3。权重模型精简，适宜于在新一代车载嵌入式系统中部署，辅助夜间智能驾驶。