Real-Time Pedestrian Detection Based on the Weak Saliency Map in Thermal Infrared Images
-
摘要: 针对现有热红外图像行人检测方法在精度和速度方面存在的问题，提出一种基于弱显著图的实时行人检测方法。该方法以轻量级LFFD（Light and Fast Face Detector）网络为基础，由两级改进网络即SD-LFFD（Saliency Detection-LFFD）和SF-LFFD（Saliency Fusion-LFFD）组成，首先以热红外图像作为输入经SD-LFFD网络产生初步行人检测结果和行人区域弱显著图，接着将该弱显著图与原热红外图像结合“点亮”潜在行人区域并经SF-LFFD网络产生新的行人检测结果，最后将两级改进网络的行人检测结果融合得到最终结果。在数据集CVC-09和CVC-14上实验结果表明，该方法与现有轻量级神经网络相比行人检测的平均精确率有大幅提升，且在有限硬件资源下可实现实时检测。Abstract: To address the low precision and speed of existing pedestrian detection methods for thermal infrared images, a real-time pedestrian detection method based on a weak saliency map is herein proposed. The proposed method comprises two improved networks, namely, SD-LFFD and SF-LFFD, which use lightweight LFFD as the basic network. First, the thermal infrared image is input into the SD-LFFD to produce the preliminary pedestrian detection results and a weak saliency map indicating the pedestrian regions. Then, the weak saliency map and the original thermal infrared image are combined to highlight the potential pedestrian regions and generate new results using the SF-LFFD. Finally, the pedestrian detection results obtained by the two improved networks are integrated to obtain the final results. The experimental results on the CVC-09 and CVC-14 datasets indicate that the proposed method significantly improves the average precision (AP) of pedestrian detection compared with that of existing lightweight neural networks, and that it achieves real-time detection with limited hardware resources.
-
0. 引言
高光谱图像目标探测分为有先验知识的目标探测和无先验知识的异常检测，其中异常目标是指相对于场景中的其他目标地物存在光谱和空间属性差异且分布较少的目标。异常检测算法通过建立背景信号模型，找到图像中与背景模型不同的像元，将该像元归为异常目标[1]。
基于统计的异常检测算法通常假设背景属于某种特定的概率分布，而不遵循这种概率分布的样本即为异常，这类算法包括RX（Reed-Xiaoli）算法[2]、UTD-RXD算法[3]、局部RX（Local RX）算法[4-5]、核RX算法（Kernel RX）[6]以及局部核RX检测器（Local Kernel RX Detector）[6]等。而基于稀疏表达的异常检测算法通过背景的字典表达，将稀疏回归重建误差作为衡量异常的度量[7-8]；另外稀疏低秩分解[9-10]将具有稀疏特性的目标和具有低秩特性的背景分离开来；基于协同表示[11]的异常检测认为背景中的每个像元都可以由其空间邻域近似表示，而异常则不能。
视觉注意机制（visual attention mechanism）是人类视觉所特有的大脑信号处理机制[12]，人类视觉通过扫描全局图像，经过大脑处理，会自动识别图像中的感兴趣部分，即显著性区域。视觉注意机制模型分为自底向上与自顶向下两种形式，其中自底向上的视觉注意机制模型通过计算底层特征，无监督地对图像进行显著性检测。
Christof Koch和Laurent Itti[13]提出了对后续研究影响深远的ITTI视觉显著性模型，该模型设计来源是早期灵长类动物的视觉神经系统，其模型所用特征为亮度、颜色和方向。Liang等[14]将高光谱影像转换为三色图像进行显著性目标检测，得到的结果优于RGB影像，表明了视觉注意机制对于高光谱影像分析与处理的可行性。Cao等[15]用光谱角距离特征替代了颜色特征，证明了光谱特征在检测方面的优势。刘嘉诚等[16]利用显著性结合RX算法对高光谱影像进行异常检测，但该方法在进行显著性计算时仅利用了光谱信息。Zhao等[17]将频率调谐显著性检测模型与光谱显著性相结合，对高光谱图像中的目标进行检测。Xiang等[18]将视觉显著性模型引入到高光谱中，提出了一种通过视觉显著性模型和具有自适应权重的背景减法来实现高光谱异常检测的方法，但由于该方法将高光谱数据降维至三波段来替代RGB三波段进行显著性的计算，因此极易造成一些关键信息的缺失。
鉴于RX算法[2]计算背景的均值协方差时将异常目标也包含在内，导致背景模型估计不准确，从而降低检测精度，这里将视觉注意机制与RX融合，提出融合视觉注意机制的高光谱RX异常检测算法。该方法从采样方式、选取波段数以及局部光谱特征3方面对视觉注意机制进行改进，获取高光谱图像的显著性结果，然后利用显著性结果对原数据进行加权，并重新估计背景模型参数，进而对图像进行RX异常检测。
1. 基本原理
本文提出的算法首先以上-下采样的模式建立高斯金字塔，将原图像作为中间层，分别进行上采样与下采样，有效避免了因高光谱数据尺寸过小在下采样过程中而造成的信息损失，也有效防止了因高光谱数据量大的特点引起在上采样过程中造成信息量过大的问题。其次，在选取波段时选取多个波段，将每3个波段作为一个波段子集进行非光谱特征显著性的计算，有效避免了因数据降维造成的信息损失。最后，计算局部光谱特征显著性，将非光谱特征显著性与局部光谱特征显著性进行线性相加，得到最终的显著性结果，利用显著性结果对原数据进行加权，重新估计背景均值协方差，对原图像进行RX异常检测。算法流程图如图1所示。
![]()
图 1 融合视觉注意机制的高光谱RX异常检测算法流程Figure 1. Hyperspectral RX anomaly detection algorithm with visual attention mechanism flowchart1.1 RX算法
RX算法[2]是最早的异常检测算法，该算法可认为是广义似然比检测衍生出的一种具有恒虚警率的异常点探测器。定义图像X为M×N×L大小的图像，xi表示第i个像元光谱，RX算法的检测算子为：
$$ δ_\text{RXD}(x_{i})＝(x_{i}－μ_\text{b})^{T}C_\text{b}^{－1}(x_{i}－μ_\text{b}) $$ (1) $$ {\mu _{\text{b}}} = \frac{1}{{{\text{Num}}}}\sum\limits_{i = 1}^N {{x_i}} $$ (2) $$ {C_{\text{b}}} = \frac{1}{{{\text{Num}}}}\sum\limits_{i = 1}^N {({x_i} - {\mu _{\text{b}}}){{({x_i} - {\mu _{\text{b}}})}^{\text{T}}}} $$ (3) 式中：Num为像元点个数；μb表示均值；Cb表示协方差。δRXD(xi)值越大，表明该像元越可能是异常。
1.2 融合自底向上视觉注意机制的高光谱图像异常检测
1.2.1 高斯金字塔
高斯金字塔利用高斯核函数对图像进行采样，得到图像不同尺度的子图集合。将原图像作为基础图像，利用高斯核对其进行卷积，对卷积后的图像进行上采样得到图像G，将此图像作为输入，重复卷积和采样操作得到下一步的图像，反复迭代多次，得到上采样高斯金字塔，其次对原图像进行卷积后下采样，迭代次数与上采样高斯金字塔相同，得到下采样高斯金字塔，两者结合形成最终的高斯金字塔，其中原图像为中间层。二维高斯卷积函数[19]为：
$$ G(x,y) = \frac{1}{{2{\text{π }}{\sigma ^2}}}{{\text{e}}^{ - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}}} $$ (4) 式中：σ为高斯函数的标准差，最终得到M层高斯金字塔，记为G(M)。
1.2.2 局部光谱特征
设局部窗口内任意像元为xp＝[xp1, xp2, ⋯, xpL]T，其中p∈(1,n)，n表示局部窗口内的像元个数。定义ds(xi, xj)表示局部窗口中任意一个像元的光谱xi和局部窗口中心像元的光谱xj之间的光谱相似性。为使局部窗口内的像元遵循越靠近中心像元影响越大的原则，定义dp(xi,xj)为像元点xi和中心像元xj在局部窗口中的空间距离，以dp(xi,xj)计算邻域像元对中心像元的影响，光谱显著性dSaliency(xi,xj)计算公式如下：
$$ {d_{{\text{Saliency}}}}({x_i},{x_j}){\text{ = }}\frac{{{d_\text{s}}({x_i},{x_j})}}{{1 + c*{d_\text{p}}({x_i},{x_j})}} $$ (5) 式中：ds(xi,xj)和dp(xi,xj)采用欧氏距离[20]进行计算；c是用来调整显著性中位置距离和光谱距离之间比例的尺度参数，本文中设置为1。
为防止噪音或其他因素造成计算结果不准确，本研究以局部窗口的显著性平均值作为像元最终的显著值，定义dSaliency_eva为局部窗口的中心像元点与邻域像元光谱显著性的平均值，计算式如下：
$$ {d_{{\text{Saliency}\_\text{eva}}}} = \frac{{\sum\limits_{i = 1}^N {{d_{{\text{Saliency}}}}} }}{{{\text{sum}} - 1}} $$ (6) 式中：sum为局部窗口中除中心像元以外，显著性值非零的像元总数。在每一层金字塔进行计算，所得的光谱显著性结果记为D(M)。
1.2.3 非光谱特征
非光谱特征包括亮度特征、颜色特征和方向特征。在计算非光谱特征时，需要用3个波段进行计算，本研究选取K个波段子集，每个波段子集包括3个波段，共选取B＝3K个波段，对每一个波段子集分别进行3种非光谱特征的计算。本文通过基于最优聚类框架（optimal clustering framework, OCF）的波段选取方法进行波段的选取[21]。OCF可以在合理的约束下获得特定形式目标函数的最优聚类结果，对每个聚类结果进行贡献度计算，相加作为整个聚类结果的度量。
亮度特征I提取公式如下：
$$ I\left( {M,K} \right) = {{\left( {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right) + {b_3}\left( {M,K} \right)} \right)} \mathord{\left/ {\vphantom {{\left( {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right) + {b_3}\left( {M,K} \right)} \right)} 3}} \right. } 3} $$ (7) 颜色特征提取时需要提取红R、绿G、蓝B、黄Y四种，计算公式如下：
$$ \begin{array}{l} R\left( {M,K} \right) = {{{b_1}\left( {M,K} \right) - \left( {{b_2}\left( {M,K} \right) + {b_3}\left( {M,K} \right)} \right)} \mathord{\left/ {\vphantom {{{b_1}\left( {M,K} \right) - \left( {{b_2}\left( {M,K} \right) + {b_3}\left( {M,K} \right)} \right)} 2}} \right. } 2} \hfill \\ G\left( {M,K} \right) = {{{b_2}\left( {M,K} \right) - \left( {{b_1}\left( {M,K} \right) + {b_3}\left( {M,K} \right)} \right)} \mathord{\left/ {\vphantom {{{b_2}\left( {M,K} \right) - \left( {{b_1}\left( {M,K} \right) + {b_3}\left( {M,K} \right)} \right)} 2}} \right. } 2} \hfill \\ B\left( {M,K} \right) = {{{b_3}\left( {M,K} \right) - \left( {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right)} \right)} \mathord{\left/ {\vphantom {{{b_3}\left( {M,K} \right) - \left( {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right)} \right)} 2}} \right. } 2} \hfill \\ Y\left( {M,K} \right) = {{\left( {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right)} \right)} \mathord{\left/ {\vphantom {{\left( {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right)} \right)} 2}} \right. } 2} - \hfill \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\; {{\left| {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right)} \right|} \mathord{\left/ {\vphantom {{\left| {{b_1}\left( {M,K} \right) + {b_2}\left( {M,K} \right)} \right|} 2}} \right. } 2} - {b_3}\left( {M,K} \right) \hfill \\ \end{array} $$ (8) 方向特征利用Gabor滤波器求取，二维Gabor滤波器[22]核函数为：
$$g(x, y ; \lambda, \theta, \psi, \sigma, \gamma)=\mathrm{e}^{-\frac{x^2+\gamma^2 y^2}{2 \sigma^2}} \mathrm{e}^{\text{i}\left(2 \pi \frac{x^{\prime}}{\lambda}+\psi\right)}$$ (9) 式中：λ表示波长；θ表示方向；ψ表示相位偏移；γ表示空间纵横比。对每层金字塔影像进行计算，得到的结果记为O(θ,M, K)，其中θ＝[0°, 45°, 90°, 135°]。
1.2.4 显著性图
得到各特征高斯金字塔后，利用中心-周围差分方法计算对应特征图[13]，计算公式为：
$$ \begin{array}{l} I\left( {c,s,K} \right) = \left| {I\left( {c,K} \right)\Theta I\left( {s,K} \right)} \right| \hfill \\ RG\left( {c,s,K} \right) = \left| {\left( {R\left( {c,K} \right) - G\left( {c,K} \right)} \right)\Theta \left( {G\left( {s,K} \right) - R\left( {s,K} \right)} \right)} \right| \hfill \\ BY\left( {c,s,K} \right) = \left| {\left( {B\left( {c,K} \right) - Y\left( {c,K} \right)} \right)\Theta \left( {Y\left( {s,K} \right) - B\left( {s,K} \right)} \right)} \right| \hfill \\ O\left( {c,s,\theta ,K} \right){\text{ = }}\left| {O\left( {c,\theta ,K} \right)\Theta O\left( {s,\theta ,K} \right)} \right| \hfill \\ D\left( {c,s} \right) = \left| {D\left( c \right)\Theta D\left( {\text{s}} \right)} \right| \hfill \\ \end{array} $$ (10) 式中：Θ表示将图像调整尺寸后，进行相同矩阵大小的相减运算；c代表Center；s代表Surround；I表示亮度特征图；RG与BY表示颜色特征图；O表示方向特征图；D表示局部光谱特征图。
由于高斯特征金字塔的尺度不同，需要利用插值将图像统一到相同的大小，才能对各个特征进行跨尺度相加。因此本文将各尺度特征图统一至原始数据大小，对不同特征进行跨尺度相加后得到显著性图集$ {\overline I _k},{\overline C _k},{\overline O _k},\overline D $，其中$ {\overline C _k} $表示颜色显著性图集，然后将每个波段子集的非光谱特征图相加，得到最终的非光谱特征显著性图$ \overline I ,\overline C ,\overline O $。
对每个特征显著性图进行归一化后进行线性相加得到最终的显著性图，计算公式为：
$$ S{\text{ = }}{{\left( {\overline I + \overline C + \overline O + \overline D } \right)} \mathord{\left/ {\vphantom {{\left( {\overline I + \overline C + \overline O + \overline D } \right)} 4}} \right. } 4} $$ (11) 1.2.5 融合视觉注意机制的高光谱RX异常检测算法
对显著性图进行高斯加权[23]得到显著性权重，定义w(i,j)为权重；s(i,j)为像元显著值，公式为：
$$ w(i,j) = {{\text{e}}^{ - \frac{{{{\left( {s(i,j) - \mu } \right)}^2}}}{{2{\sigma _s}^2}}}} $$ (12) 式中：μ为图像显著性的均值；σs为图像显著性的方差。得到显著性权重图像W后，对原数据进行显著性加权，像元显著值越大，权重越小，公式为：
$$\boldsymbol{X}_{\mathrm{s}}=\boldsymbol{W} \odot \boldsymbol{X}$$ (13) 式中：⊙表示逐波段加权运算。加权后的数据背景被增强，异常被抑制，我们利用加权数据Xs进行背景均值μs与协方差Cs的重新估计，进而对图像X进行RX异常检测。
$$ {\delta _{{\text{HITTIRX}}}}({x_i}) = {({x_i} - {\mu _{\text{s}}})^{\text{T}}}{\boldsymbol{C}_s}^{ - 1}({x_i} - {\mu _{\text{s}}}) $$ (14) 得到最终的异常检测结果。
2. 实验与结果分析
2.1 实验数据
本文选取模拟实验数据LCVF[24]与airport-beach-urban（ABU）异常检测数据集[25]中的数据进行试验。ABU数据集中选取4个数据，分别为：airport4、beach4、urban1、urban3。模拟实验数据为在AVIRIS传感器所拍摄高光谱影像中加入模拟异常目标，植入的模拟异常目标具体介绍如表1所示。
表 1 LCVF模拟异常目标Table 1. LCVF simulates anomalous targetsColumn Number of targets/cells Proportion of target Proportion of background 1 5/20 0.8 0.2 2 5/20 0.6 0.4 3 5/5 0.4 0.6 4 6/6 0.2 0.8 表 2 异常检测数据介绍Table 2. Anomaly detection data introductionData Sensor Resolution/m Size Targert type Number of targets/cells LCVF AVIRIS 20 120×160×190 Simulated anomalous targets 21/51 airport4 AVIRIS 3.4 100×100×205 Airport 3/60 beach4 ROSIS-03 1.3 150×150×102 Car and bare soil 7/68 urban1 AVIRIS 17.2 100×100×204 Building 9/67 urban3 AVIRIS 3.5 100×100×191 Ship 11/52 ![]()
图 2 高光谱影像与其对应异常目标分布Figure 2. Hyperspectral images and their anomaly targets distribution2.2 参数设置
本文需要设置的参数包括：高斯金字塔层数、波段选取数、局部光谱特征计算窗口大小。首先是高斯金字塔层数，固定局部光谱特征计算窗口大小为5×5，波段选取数量为3进行实验，获取金字塔层数分别为3、5、7、9层的实验结果。其次，固定局部光谱特征计算窗口大小为5×5，金字塔层数为5层进行试验，获取波段数为B＝{b＝3k|1≤k≤10}的实验结果。最终是确定局部光谱特征计算窗口的大小，在计算局部光谱特征时，需要对图像进行扩充，本文通过围绕边界进行镜像反射来补边，固定金字塔层数为5层，波段选取数量为3进行实验，获取窗口大小分别为3×3，5×5，7×7的实验结果。
本文采用接收者操作特征（receiver operating characteristic, ROC）曲线与ROC曲线下面积（the area under the ROC curve, AUC）作为检测结果的精度评定指标[26]。实验结果如表3所示。由实验得出参数应设置为：金字塔5层，波段数15个，计算局部光谱特征的窗口大小为3×3。此外，在进行计算显著性图中的Center-Surround操作时，选取s＝{1,2}，c＝{2,3}。
表 3 参数实验结果Table 3. Parameters experimental resultsParameter Size AUC Parameter Size AUC Number of bands 3 0.9759 Number of pyramid layers 3 0.9081 6 0.9621 5 0.9759 9 0.9681 7 0.9709 12 0.9777 9 0.9624 15 0.9779 18 0.9772 Spectral feature window size 3×3 0.9769 21 0.9765 5×5 0.9759 24 0.9746 7×7 0.975 27 0.9726 30 0.9725 2.3 消融实验
为验证3个方面的改进是否均有效，本文进行了消融实验。表4展示了消融实验的统计结果，对勾（√）表示改进该模块，结果表明，本文所做改进有效。模型G（进行3方面改进）算法精度最高。相较于模型A（未进行改进）来说，仅改进采样方式（模型B）时精度提升0.68%；改进波段选取数量（模型C）时精度提高了1.69%；融入局部光谱特征（模型D）时提升了1.39%；在同时对采样方式和波段选取进行改进（模型E）后，精度提高2.30%；在改进采样方式的同时融入局部光谱特征（模型F）后，精度提升了2.14%；同时改进3个模块时，精度提高了2.46%。由于局部光谱特征是利用全波段进行计算，波段选取数量影响的是非光谱特征，故不进行同时改进波段选取数量与融入局部光谱特征的实验。
表 4 消融实验Table 4. Ablation experimentmodel Sampling mode Band selection Spectral feature AUC A 0.9625 B √ 0.9690 C √ 0.9788 D √ 0.9759 E √ √ 0.9846 F √ √ 0.9831 G √ √ √ 0.9862 2.4 结果与分析
实验将展示ITTI显著性图（ITTI saliency map, ITTIS）与高光谱ITTI显著性图（Hyperspectral ITTI saliency map, HITTIS）2种显著性图，以及RX算法、ITTI显著性模型RX算法（ITTI saliency model RX algorithm, ITTIRX）、高光谱ITTI显著性模型RX算法（Hyperspectral ITTI saliency model RX algorithm, HITTIRX）3种算法的检测结果，并对结果进行对比分析。
如图3(a)所示，在模拟数据LCVF的检测结果中，RX检测结果仅检测出第一列与第三列目标，在引入显著性后进行RX检测，虽并未检测出更多目标，但背景抑制效果较好，在引入HITTIS后，目标被全部检测，背景几乎被全部抑制，仅有右下角的一部分未被完全抑制。
在真实数据中，HITTIRX的检测结果也同样展现了较好的效果。如图3(b)所示，在airport4的检测结果中，RX算法检测出了3个飞机中较大的一架，在引入ITTIS后，背景较为纯净，但检测目标的效果并不好，HITTIRX的检测结果中，3架飞机被成功检测出，背景抑制较RX与ITTIRX也更好；如图3(c)所示，在beach4的检测结果中，RX算法检测出目标，但并未抑制桥梁、右上与下方背景，在引入ITTIS后，桥梁被抑制，在HITTIRX检测结果中，桥梁与右上背景被完全抑制，下方背景被大部分抑制；如图3(d)所示，在urban1的检测结果中，RX算法虽检测到了目标，但虚警率较高，在ITTIRX的检测结果中，虚警率有所下降，但图像中仍有一个面状背景未被抑制，在引入HITTIS后，虚警率最低，目标被较好地检测出来，ITTIRX中未被抑制的面状背景也被抑制；如图3(e)所示，在urban3的检测结果中，RX算法将目标全部检测，但同其他数据检测结果一样存在虚警率高的问题，ITTIRX检测中虽降低了虚警率，但目标检测效果不好，引入HITTIS后，目标全部被检测，背景抑制效果也最好。
综上所述，相较于RX算法，引入ITTIS后，背景抑制效果增强，在HITTIRX的检测结果中，可以明显看到相较于ITTIRX来说，背景信息抑制更彻底，检测的目标更全面准确。总而言之，与RX和ITTIRX相比，HITTIRX虚警率更低，检测准确度更高。
如图4所示，可以明显看出本文建议方法的ROC曲线相较于RX算法与ITTIRX算法来说更接近左上角，模拟数据中本算法无限接近于左上角，证明HITTIRX算法的可行性，真实数据的结果也表明其性能优于RX算法与ITTIRX算法。
表5统计了各算法检测结果的AUC值。从表中可以看出，在5个数据上，HITTIRX算法精度最高且均在0.98以上，直接引入视觉注意机制会降低部分数据的检测准确性，但在进行改进后，检测准确度上升，虚警率下降。HITTIRX相较于RX检测精度来说分别提高了19.99%、3.86%、2.70%、0.77%、3.67%，相较于BUS-RX来说分别提高了14.24%、12.84%、5.86%、1.03%、2.46%。
表 5 AUC统计结果Table 5. AUC statisticsRX ITTIRX HITTIRX LCVF 0.8333 0.8753 0.9999 Airport4 0.9526 0.8768 0.9894 Beach4 0.9588 0.9302 0.9847 Urban1 0.9907 0.9881 0.9983 Urban3 0.9513 0.9625 0.9862 3. 结论
不同于以往的异常检测方法，本文引入了视觉注意机制，将视觉注意机制模型进行改进，并将高光谱图像的局部光谱特征融入视觉注意机制进行显著性图的获取，解决了传统视觉注意机制模型不适用于高光谱图像的问题。对原图像加权后重新估计背景参数进行异常检测，提高了RX异常检测算法背景模型的精确度。通过实验与分析得出以下结论：①引入视觉注意机制对高光谱图像异常检测具有可行性；②改进金字塔采样方式与波段选取数量对提高基于视觉注意机制的高光谱图像异常目标检测精度是有效的；③在视觉注意机制中加入局部光谱特征能够提高高光谱图像异常检测的精度，具有较低虚警率。
-
![]()
图 5 两个数据集上行人检测结果的P-R曲线
Figure 5. The P-R curves of pedestrian detection results on two datasets
![]()
图 6 本文方法与Tiny-YOLO v3方法的AP值对比
Figure 6. AP comparison between the proposed method and Tiny- YoLov3 method
表 1 CVC-09和CVC-14数据集的样本分布
Table 1 The distribution of samples in CVC-09 and CVC-14
Dataset Day Night Train set Test set Train set Test set CVC-09 4225 2882 3201 2883 CVC-14 3695 707 3390 727 
下载: 导出CSV
表 2 行人检测AP值比较
Table 2 AP comparison for pedestrian detection
% Dataset TestScenario AP(IoU＝0.5) ORI-LFFD SD-LFFD SF-LFFD SD-LFFD+SF-LFFD CVC-09 Day 74.15 73.25 76.05 78.46 Night 74.70 75.54 75.81 79.85 Total 73.82 74.01 75.52 78.74 CVC-14 Day 53.94 57.93 64.81 66.76 Night 75.70 76.17 83.61 83.94 Total 63.45 66.06 73.21 74.46
下载: 导出CSV
表 3 行人检测的速度对比
Table 3 Speed comparison for pedestrian detection
Method Model size/M Frame rate /fps Inference speed/ms Tiny-YOLOv3 33.99 18.31 54.61 SD-LFFD+SF-LFFD 14.45 31.25 32
下载: 导出CSV
-
[1] 刘峰, 王思博, 王向军, 等. 多特征级联的低能见度环境红外行人检测方法[J]. 红外与激光工程, 2018, 47(6): 137-144. LIU Feng, WANG Sibo, WANG Xiangjun, et al. Infrared pedestrian detection method in low visibility environment based on multi feature association[J]. Infrared and Laser Engineering, 2018, 47(6): 137-144.
[2] CAI Y, LIU Z, WANG H, et al. Saliency-based pedestrian detection in far infrared images[J]. IEEE Access, 2017, 5: 5013-5019. http://ieeexplore.ieee.org/document/7904724
[3] Ko B C, Kim D Y, Nam J Y. Detecting humans using luminance saliency in thermal images[J]. Optics Letters, 2012, 37(20): 4350-4352. DOI: 10.1364/OL.37.004350
[4] MA Y, WU X, YU G, et al. Pedestrian detection and tracking from low-resolution unmanned aerial vehicle thermal imagery[J]. Sensors, 2016, 16(4): 446. DOI: 10.3390/s16040446
[5] Jeon E S, Choi J S, Lee J H, et al. Human detection based on the generation of a background image by using a far-infrared light camera[J]. Sensors, 2015, 15(3): 6763-6788. DOI: 10.3390/s150306763
[6] 李慕锴, 张涛, 崔文楠. 基于YOLOv3的红外行人小目标检测技术研究[J]. 红外技术, 2020, 42(2): 176-181. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202002014.htm LI Mukai, ZHANG Tao, CUI Wennan. Research of Infrared Small Pedestrian Target Detection Based on YOLOv3[J]. Infrared Technology, 2020, 42(2): 176-181. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202002014.htm
[7] LIU J, ZHANG S, WANG S, et al. Multispectral deep neural networks for pedestrian detection[J/OL]. arXiv preprint, 2016, https://arxiv.org/pdf/1611.02644.pdf.
[8] Wagner J, Fischer V, Herman M, et al. Multispectral pedestrian detection using deep fusion convolutional neural networks[C]//24th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN), 2016: 509-514.
[9] Ghose D, Desai S M, Bhattacharya S, et al. Pedestrian Detection in Thermal Images using Saliency Maps[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2019: 988-997.
[10] HE Y, XU D, WU L, et al. LFFD: A Light and Fast Face Detector for Edge Devices[J/OL]. arXiv preprint, 2019, https://arxiv.org/abs/1904.10633v1.
[11] HOU Q, CHENG M M, HU X, et al. Deeply supervised salient object detection with short connections[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 3203-3212.
[12] Socarrás Y, Ramos S, Vázquez D, et al. Adapting pedestrian detection from synthetic to far infrared images[C]//ICCV–Workshop Visual Domain Adaptation and Dataset Bias, 2013: 1-3.
[13] González A, Fang Z, Socarras Y, et al. Pedestrian detection at day/night time with visible and fir cameras: A comparison[J]. Sensors, 2016, 16(6): 820. DOI: 10.3390/s16060820
[14] Redmon J, Farhadi A. Yolov3: An incremental improvement[J/OL]. arXiv preprint, 2018, https://arxiv.org/pdf/1804.02767.pdf.
-
期刊类型引用(1)
1. 贾本康. 基于变压器噪声及故障分析的变电站轮式巡检机器人研究. 电力设备管理. 2024(17): 166-168 . 
百度学术
其他类型引用(2)
计量
- 文章访问数: 278
- HTML全文浏览量: 59
- PDF下载量: 42
- 被引次数: 3
