0.   引言

火灾是受到广泛重视的灾害之一，对火焰进行快速、准确的检测是保证消防安全，降低火灾危害的关键。传统的火灾检测方法如烟雾传感器、温度传感器等通常针对特定的位置进行监测，存在范围小、响应慢等问题，对应用环境有较高的要求。随着计算机视觉的发展，基于视频的火焰检测方法（video-based fire detection，VFD）成为火灾检测的一种重要途径^[1]。基于视频可以对火灾进行远距离、大范围的持续监测，同时可以对火灾进行准确的定位，对火焰的起始位置、规模、增长速率、传播方向等进行分析，作为确定消防方案的依据。

基于视频的火焰检测方案通常分为可见光波段的火焰检测和红外波段的火焰检测两类，根据火焰颜色和形状及其随时间的变化趋势进行检测。可见光波段可以取到清晰、准确的火焰边界，具有丰富的几何信息和纹理信息，但数据量大，抗干扰性较差。相比可见光波段，在红外波段进行检测可以降低干扰物数量，简化目标特征的提取过程，减轻环境变化如光照、气候的影响，且对烟雾遮挡具有较好的穿透性，较可见光波段更适用于火焰的检测，本文采用红外波段作为火焰检测的波段。

火焰检测常用描述特征包括其轮廓的变换域描述子、几何特征、形状描述矩、运动特征等^[2-5]。其中闪烁现象作为火焰特有的运动特征，可以有效地对火焰和常见形变干扰物进行区分。本文在传统特征的基础上，对火焰的闪烁过程进行了更准确的描述，显著提高了识别算法的准确率。

1.   火焰闪烁特性分析

火焰的闪烁过程指在燃烧过程中由于热对流、重力、湍流等共同作用产生的复杂现象，表现为火焰形状高频率的无序变化，是火焰燃烧不稳定性的反映^[6-7]。闪烁在一定程度上反映了火焰的燃烧特性，其中伸展闪烁与火焰的燃烧面积有较好的相关性^[8-9]。火焰燃烧过程中的空气来自外部环境空气的扩散，其中心区域所需的空气经过四周火焰并被不断消耗。随着火焰面积的增加，环境空气的扩散行程和扩散损耗增大，火焰中心的空气积蓄过程更加缓慢，火焰更加稳定，闪烁频率降低。Takahashi^[10]等对不同尺度火焰的燃烧和闪烁现象进行了分析，得到如(1)所述的经验公式：

式中：D为火源等效燃烧直径，根据该公式可以通过测量的闪烁频率对火焰的真实尺度进行估计。

现阶段对火焰闪烁频率的描述通常基于视场内像素的整体特征，如面积、周长等几何特征，累计灰度变化、灰度直方图等像素统计特征，轮廓变换域描述子等整体形状特征^{[6, 8-9, 11-12]}。这类描述方式通常基于目标的全局特性，忽略了火焰像素的局部差异性，抗干扰性较差，特别是对复杂背景环境下的红外形变干扰物如动物、遮挡热源等缺乏有效的区分能力。本文基于火焰边缘像素的运动特征和分布概率构造了闪烁的非均匀形变模型，对火焰的闪烁过程进行了更准确的描述，增强了对火焰和形变、运动干扰物的区分能力，同时结合隐马尔科夫模型对火焰的闪烁频率进行了计算，以对火焰真实尺度进行粗略估计。

2.   闪烁过程的约束非均匀形变特征

采用图 1(a)中方框区域的火焰作为示例目标。该测试视频中包括两个微小火源和一个规则干扰物。直接采用Canny算子提取的边缘如图 1(b)所示，大量无关干扰边缘也被提取了出来，这增大了后续处理的数据量，降低了火焰目标检测和识别的效率。本文在Canny算子的基础上增加了邻域灰度约束条件，对提取的边缘进行筛选，得到的实际轮廓如图 1(c)所示，图中的3个轮廓分别为火点1、火点2、大面积干扰物。对左侧火点(火点1)进行进一步分析，该火点的像面尺寸为10×15像素，如图 1(d)为该火焰目标在连续20帧内轮廓的变化过程，可以看出其帧间轮廓变化不具有规律性，但整体上具有约3次完整的涨落过程，且具有稳定的涨落边界。

图  1  红外视频及火焰闪烁轮廓序列

Figure  1.  The example of infrared video and flame flicker sequences

下载: 全尺寸图片 幻灯片

2.1   轮廓像素的时域分布特征分析

如图 2(a)为1s内目标火焰的轮廓像素序列，可以看出火焰轮廓在该时间区间内持续变化，轮廓的变化过程通常发生在火焰的锋面区域，其基部轮廓像素通常保持稳定。因此火焰的轮廓像素在其闪烁过程中的变化具有非均匀性，基部区域火焰轮廓像素较为稳定，锋面区域火焰轮廓像素存在剧烈的变化。

图  2  火焰轮廓像素时域分布特性

Figure  2.  Temporal distribution of flame contour pixels

下载: 全尺寸图片 幻灯片

对火焰轮廓像素在时域进行积分，得到图 2(b)所示的轮廓像素积分概率图，可以看出其轮廓像素的累计概率具有独特的分布特征。火焰基部的轮廓像素具有较大的累计概率，且截面宽度较小，这表明该部分轮廓像素在当前时间区间内持续稳定存在，不具有明显的变化，帧间波动被限制在一个较狭窄的范围内; 而火焰锋面的轮廓像素累计概率值较低，截面宽度较大，具有较为分散的分布。整体上看越接近基部区域，轮廓像素的时域分布越集中; 越接近锋面区域，轮廓像素的时域分布越分散。这一分布特征可以作为火焰和形变干扰物区分的依据。

2.2   基于轮廓像素时域积分分布特征的火焰识别

2.2.1   轮廓点概率分布主曲线拟合

为描述目标轮廓分布的非均匀性，需要对分散分布的离散轮廓点云进行拟合，得到轴线轮廓作为轮廓描述的基准。该轴线轮廓可以通过主曲线拟合方法得到。主曲线指穿过一组离散点样本中心的自相合光滑曲线，给定数据点围绕该曲线近似对称，因而可以将该曲线作为点云分布的拟合表示。

传统无参数主曲线拟合方法鲁棒性较差，计算复杂，Kegl等^[13]引入了K主曲线，基于多边形逼近的方法对主曲线进行拟合，并引入长度约束条件和最小距离期望条件对逼近过程进行约束，增强了主曲线拟合过程的收敛性和无偏性，对给定样本点集X_n，规定长度小于等于给定长度L的k阶曲线簇为S_k，则X的k阶主曲线f_k^*满足最小平方距离期望条件，即有：

式中：f(t)表示k阶曲线f内的任意点。其拟合过程如下：

1）初始化，提取包含所有可能投影点的最短主成分线段f_{1, n}作为初始曲线;

2）样本点投影，区别于样本点到主曲线的投影方法，k主曲线拟合根据样本点到k阶多边形各个顶点v₁, …, v_k+1和边s₁, …, s_k的距离将样本点集X_n投影到2k+1个独立的集合中，得到投影子集V₁, …, V_k+1和S₁, …, S_k;

3）顶点坐标优化，遍历当前顶点，对闭合拟合多边形曲线的顶点v_i，根据样本点{x: x∈S_i-1, V_i, S_i}计算拟合误差E_i，调整v_i使拟合误差最小;

4）增加顶点，对具有最大样本点容量的子集S_i，取其两端顶点坐标的平均坐标${v_{{\rm{new}}}} = ({v_i} + {v_{i + 1}})/2$作为新的顶点坐标。若多个子集S_i具有相同容量，则优先采用对应边s_i更长的边界;

5）重复2）3）4）过程，直到满足迭代终止条件;

为提高算法效率，本文基于轮廓像素分布点云最大内接多边形、最小外接多边形对应顶点的平均坐标构造了多边形f_{k0, n}，替代f_{1, n}作为初始拟合曲线。且适当增加了单次迭代过程的补充顶点数。考虑到真实轮廓点为离散坐标点，对拟合主曲线进行离散坐标近似，得到图 3所示的拟合轮廓。其中红色离散点为拟合轮廓点，与轮廓像素分布的实际中心线较为接近。

图  3  K主曲线拟合平均轮廓线

Figure  3.  The fitting of average contour based on K-principal curve

下载: 全尺寸图片 幻灯片

2.2.2   拟合轮廓点邻域分布特征提取

对拟合轮廓上的各像素点，可以通过其邻域像素的统计特征描述火焰轮廓在该区域的存在概率分布特性。从锋面轮廓到基部轮廓的边缘像素点积分概率增大，截面宽度减小，法向概率梯度增大。计算轮廓点邻域像素分布特征需要对邻域像素点进行提取，对拟合轮廓点(x_i, y_i)，其法向邻域点(x_j, y_j)应该满足式(3)：

式中：dir_i表示当前轮廓点的法向矢量方向。

由于真实图像采用离散坐标形式表述，采用上述直线方程提取邻域像素需要进行坐标近似。为了对邻域像素进行更准确的提取，构造离散化邻域像素模板以简化拟合轮廓点邻域像素的提取过程，同时对邻域点样本数量做出规范，如图 4所示。模板包括中心像素在内共21个样本点，其中黑色像素为当前轮廓点，灰色像素为提取的法向邻域像素。

图  4  离散邻域像素提取模板

Figure  4.  The extracting models of neighbor pixels

下载: 全尺寸图片 幻灯片

根据式(4)将轮廓点的法向矢量按照斜率近似地划分为8个方向，构造适合的邻域像素模板以提取包括当前拟合轮廓点P_i在内的21个邻域像素点集合$\{ ({x_n}, {y_n})|{p_n} \in {\rm{Mas}}{{\rm{k}}_i}({P_i})\} $。基于该邻域像素集计算当前轮廓点的邻域统计特征，部分统计特征随轮廓点位置的分布如图 5所示，其中(a)为轮廓点法向的有效截面宽度，(b)为距离中心像素曼哈顿距离为1的邻域像素点均值，(c)为邻域像素点整体方差，(d)为基于距离中心像素的曼哈顿距离计算的法向梯度。可以看出火焰轮廓的统计特征变化趋势与积分概率图分布吻合，这表明采用主曲线方法拟合的火焰平均轮廓较为准确。其中法向梯度与轮廓分布的约束范围和积分概率值同时相关，可以充分地反映火焰基部轮廓和锋面轮廓邻域像素分布的差异性，因此本文采用梯度分布作为代表特征对闪烁过程中轮廓像素分布的非均匀性进行描述。

图  5  拟合轮廓邻域点统计特征

Figure  5.  The statistical characteristics of fitting contours

下载: 全尺寸图片 幻灯片

2.2.3   基于法向梯度分布的非均匀性表征

对典型火焰和干扰物的红外视频进行分析，对比其轮廓像素在时域行为上的差异，所选样本的轮廓像素时域积分图如图 6(a)所示，像素灰度值反应了当前像素的累计出现概率。样本从左到右依次为真实火焰、稳定热源、运动热源、动态遮挡的热源，其法向梯度分布如图(b)~(d)左侧图所示。可以看出，真实火焰的梯度分布表现出显著的的单峰特性，即有且仅有一段连续分布的稳定边缘区，且该稳定边缘长度有限; 稳定热源的轮廓边缘全局稳定，部分区域存在边缘误差引起的微小波动; 运动热源与遮挡热源的轮廓分布有较高的无序性，梯度通常表现为多峰分布。通过对梯度分布的单峰特征进行描述，可以对火焰和此类干扰物进行有效区分。

图  6  部分样本轮廓时域分布及对应梯度特征

Figure  6.  Contour pixel temporal distribution and gredient feature

下载: 全尺寸图片 幻灯片

采用极大值、方差、峰度特征等统计特征描述目标拟合轮廓全局梯度分布与去峰梯度分布的统计差异，其中峰度特征用于描述数据分布的起伏程度，表示为如下形式：

式中：x_i表示第i个轮廓点的法向梯度值。全局统计特征根据当前所有有效轮廓点计算，去峰统计特征为去除最高峰部分轮廓后剩余样本点的统计特征。根据峰值和全局统计特征动态确定峰值区域的前后轮廓边界，可以较完整地去除最稳定的连续轮廓，去峰梯度分布如图 6(b)~(e)右侧所示。

上述样本的全局统计特征和去峰统计特征如表 1所示，样本1、2、3、4分别为真实火焰，稳定热源，运动热源，动态遮挡热源。真实火焰的分布具有明显的单峰性，因此其全局分布特征和去峰分布特征具有显著的差异性，去峰分布的峰值、方差、峰度均明显下降; 其他干扰物通常不具有唯一、连续的峰值区域，去除最大峰值区域对整体分布特征的影响较小，统计特征不具有显著的变化。因此根据全局梯度分布与去峰后梯度分布的统计特征差异可以对火焰和干扰物做出有效的区分。

表  1  不同样本全局分布与去峰分布统计特征

Table  1.  Statical features of all pixels and non-peak pixels of different sample

Sample No.	Peak Value	Flattened Peak	Variance	Flattened Var.	Kurtosis	Flattented Kurt.
1	38.5	10	1.194	0.1711	0.7987	-0.1611
2	115	105	90.67	117.8	0.1975	1.7610
3	20	16	0.2324	0.1712	1.452	1.105
4	8.7	7.5	0.0015	0.0022	1.325	1.133

下载: 导出CSV 

| 显示表格

3.   基于隐马尔科夫模型的闪烁频率估计

火焰的闪烁频率通常采用火焰高度或面积时域变化曲线的频域峰值进行计算^[6]。该方式在室内稳定环境下对单束火焰有较好的计算效果，但自然环境下的火焰具有随机的伸展方向和不稳定的闪烁频率，其涨落间隔通常在区间范围内随机变化，这导致传统的变换域方法无法提取准确的峰值频率。

根据火焰的闪烁过程可以看出火焰的轮廓存在收缩极限和伸展极限，轮廓像素在约束范围内变化。根据当前轮廓锋面像素到收缩极限和伸展极限的距离定义涨落行程L，描述当前轮廓与形变极限的接近程度。该特征可以较为充分地反映火焰当前的状态，相比高度、面积等有更强的抗干扰性。采用涨落行程差ΔL作为可观测状态构造隐马尔科夫模型对一定时间范围内的火焰闪烁次数进行估计。将火焰的时域状态分类为3个隐状态，稳定期S₁、收缩期S₂、伸展期S₃，其状态转移概率取决于火焰当前的涨落行程L，可观测状态ΔL的取值取决于当前所处的隐状态，则有对应的状态转移概率矩阵${\mathit{\boldsymbol{A}}_{3, 3}} = \{ p({s_i}|{s_j}) = {f_{ij}}({L_j})\} $和输出概率矩阵${\mathit{\boldsymbol{B}}_{3, 1}} = \{ p(\Delta L|{s_i}) = {f_i}(\Delta L)\} $。根据样本的ΔL序列计算最大概率隐状态链，则闪烁频率估计为：

式中：n表示状态S₂→S₃或S₃→S₂的状态变化累计次数; t(i)－t(i－1)表示两次状态变化间的时间间隔。根据f_e可以进一步估计火焰的真实尺度，对样本测试火焰，其闪烁频率估计为2.6 Hz，估计截面积为0.46 m²，根据视频参照，其真实尺度约0.65 m²，误差在接受范围内。

4.   实验及结果分析

结合累计面积变化率、形变非均匀性度量、隐马尔科夫模型（hidden Markov model, HMM）闪烁次数构造特征向量用于火焰检测，特征向量表示为${S_8}\{ \Delta A, M, V, K, M', V', K', {f_{\rm{e}}}\} $，采用非线性支持向量机（support vector machine, SVM）对火焰进行检测，部分样本来自红外视频数据库^[14]，部分样本采用红外相机采集，样本包括无遮挡火焰、遮挡火焰、运动目标、形变目标、稳定热源。并将检测结果与采用经典特征检测方法的进行了对比，其真阳性率（true positive rate, TPR）、假阳性率（false positive rate, FPR）、真阴性率（true negative rate, TNR）、假阴性率（false negative rate, FNR）结果如表 2所示。3种算法对严重遮挡的火焰均不能正确识别，对无遮挡火焰具有较好的识别效果，组合几何特征和像素闪烁特征大尺度火焰识别效果较好，对多数微小火焰不能正确识别，非均匀形变特征在一定程度上改善了这一问题，将火焰的识别率提高到了81.67%。采用经典特征对多数形变、运动干扰物的区分能力较差，如动物、植被遮挡、水面反射目标等，存在不可忽略的虚警问题，引入非均匀形变特征后，对多数形变目标和运动目标有较好的排除效果，虚警率降低到了10%，这表明非均匀形变特征在对多数干扰物的排除上有较好的效果。对于部分与火焰闪烁极为相似的目标，3种算法都产生了误报，需要结合其他特征进一步地对干扰物进行排除。综上，本文补充的特征显著地降低了检测的虚警率，增强了算法的鲁棒性，更适用于多干扰物复杂环境下对火焰的检测。

表  2  不同特征检测结果对比

Table  2.  Experimental results comparison of different features

Features	TPR	FPR	TNR	FNR
Inhomogeneous deformation	81.67%	10.00%	90.00%	18.33%
Combination of geometric features	70.00%	31.67%	68.33%	30.00%
Pixel flicker	71.67%	55.00%	45.00%	28.33%

下载: 导出CSV 

| 显示表格

5.   结束语

本文算法通过引入非均匀形变约束条件，对火焰轮廓像素的时域行为做出了更准确的描述。算法显著降低了识别算法的虚警率，提高了检测的准确性和可信性，降低了实际应用场景中对人工复核的依赖程度，有较大的使用价值。但对存在严重遮挡的火焰识别能力有限，还有进一步改进的空间。