Small Scale Fire Identification Based on Constrained Inhomogeneous Deformation Feature
-
摘要: 基于视觉的火焰检测是一种灵活、低成本的火焰检测方式，但现阶段常用的火焰特征不能对火焰和干扰物进行有效的区分，有较大的误警率。本文基于目标轮廓的时序行为特征，将火焰的闪烁描述为一种有约束的非均匀形变过程，结合隐马尔可夫模型和传统几何特征对火焰和干扰物进行更准确地区分。实验表明，通过引入补充的火焰特征显著提高了火焰检测的准确率，有效减少了复杂环境下干扰物引起的虚警。Abstract: Video based fire detection(VFD) is a convenient, low-cost method widely used in fire detection. However, it's not credible enough to distinguish true fire from possible disruptors by traditional fire features. This paper extract two new features to analyze the time series behavior of fire based on the motion of edge pixels. The inter frame behavior of edge pixels is regarded as a nonuniformty constrained deformation procedure. Combined with HMM and additional geometric features to distinguish true fire from possible disruptors, the accuracy of fire detection is greatly improved and the false alarm rateis efficiently reduced.
-
Keywords:
- fire detection /
- feature extraction /
- principal curves /
- HMM
-
0. 引言
超二代像增强器是一种真空光电成像器件[1-2]，除具有图像亮度增强功能外，还具有图像传输功能，因此分辨力是最重要的性能指标。超二代像增强器在制作完成后，每支均需进行性能测试，其中就包括分辨力。所测得的数值即为超二代像增强器所能达到的具体指标，称为标称指标。根据相关测试标准[3-4]，超二代像增强器分辨力是在最佳工作（输入）照度（约10－2 lx）下测量的，因此所测得的分辨力实际上是超二代像增强器所能达到的最高分辨力，即极限分辨力，而不是超二代像增强器在使用过程中的分辨力。超二代像增强器在使用过程中的分辨力随着照度的变化而变化。因此，如果采用极限分辨力作为参数来估算微光夜视系统在不同照度下的视距时，往往会出现较大的偏差。另外，对于极限分辨力相同的2支超二代像增强器，如果其他性能参数不同，如信噪比（signal-to-noise ratio，SNR）或等效背景照度（equivalent background illumination，EBI）不同，那么其在不同照度下的分辨力也不同。这说明超二代像增强器在不同照度下的分辨力不仅与极限分辨力有关，还与信噪比及等效背景照度有关。目前关于超二代像增强器在不同照度下的分辨力变化规律以及极限分辨力、信噪比及等效背景照度对不同照度下分辨力的影响还未见报道，因此有必要进行研究。
1. 分辨力测量原理
超二代像增强器分辨力随照度的变化规律可以通过样品实测的方法获得，即在不同输入照度下分别测量超二代像增强器的分辨力，即可获得像增强器分辨力随照度的变化规律。分辨力测量采用传统的测量仪器。该仪器包括光源、滤光片组、分辨力靶板、投影物镜、测量样品（超二代像增强器）以及显微目镜，其结构示意见图 1。测量仪器的光源为卤钨灯，色温为2856 K。滤光片组由不同中性密度（neutral density，ND）的衰减滤光片组成，通过不同的中性密度滤光片组合，可以获得不同的输入照度。
测量仪器的分划板为USAF-1951（US Air Force-1951）分划板。分划板的每一块靶板由两组相互垂直的分化线组成，而每一组分化线又由3条亮线和暗线组成，并且亮暗的对比度为100%，USAF-1951分划板的图形见图 2。在图 2中的分划板中，每6块靶板组成1组。分划板最外周的右下角为0组分划板的第1块靶板，最外周的左边分别为0组分划板的第2至第6块靶板。分划板最外周的右边（0组分划板的第1块靶板上面）分别为第1组分划板的第1至第6块靶板。分划板内部是更小尺寸的分辨力靶板，排列方式与外周相同。如2组分划板的排列方式与0组分划板的排列方式相同，而3组分别板的排列方式与1组分划板的排列方式相同。
靶板经投影物镜投射在像增强器的光电阴极上，经微通道板增强以后在荧光屏上成像，该图像再被显微目镜放大供人眼观察。观察时，人眼所能分辨最小靶标的线对数即为分辨力。测量超二代像增强器不同照度下的分辨力时，输入照度从高到低，每改变一次照度，测量一次分辨力，从4.3×10－2 lx开始，一直到4.3×10－7 lx为止，这样就可测出超二代像增强器不同照度下的分辨力（R）。超二代像增强器测试样品的输入窗为玻璃，有效阴极直径为18 mm，光电阴极为Na2KSb（Cs）多碱阴极，输出窗为光纤倒像器，荧光屏为镀铝荧光屏，荧光粉牌号为P43，倍增机构为微通道板（microchannel plate，MCP），电子聚焦为双近贴聚焦。测量样品共4支，具体性能指标，如增益（G）、极限分辨力（Rm）、信噪比（SNR）及等效背景照度（EBI）见表 1。另外所选超二代像增强器样品的增益（定义为像增强器荧光屏输出亮度与光电阴极输入照度之比）均为15000 cd⋅m－2⋅lx－1。
表 1 试验样品参数Table 1. Parameters of samples for resolution measurementSample G/(cd·m-2·lx-1) Rm/(lp·mm-1) SNR EBI/lx 5327# 15000 64 24.7 1.5×10-7 4525# 15000 57 24.4 1.7×10-7 3533# 15000 64 29.1 1.4×10-7 3445# 15000 64 28.9 0.1×10-7 2. 分辨力随照度变化规律
图 3为4支样品在不同照度下的测量结果。为叙述方便，以下将5×10－2 lx~5×10－3 lx之间的照度称为高照度（简称高照）；将5×10－3 lx~5×10－6 lx之间的照度称为低照度（简称低照）；将5×10－6 lx~5×10－7 lx之间的照度称为极低照度（简称极低照）。
从图 3可看出，在高照区间，4支不同性能参数样品的分辨力均不随着照度的降低而降低，均等于其极限分辨力。这说明超二代像增强器在高照下的分辨力由其极限分辨力所决定。超二代像增强器的极限分辨力越高，其在高照区间的分辨力也越高。但在低照及极低照下，4支不同性能参数样品的分辨力均随着照度的降低而降低，所不同的仅仅是分辨力曲线降低的速率。
超二代像增强器分辨力由人眼来判断，因此是一个主观指标。人眼分辨目标遵从科尔特曼定律[5]，即亮度L、对比度C及最小分辨角α之间服从式(1)的关系，其中K为常数。
$$ L⋅C^{2}⋅α^{2}＝K $$ (1) 对于超二代像增强器而言，随着输入照度的降低，其输出亮度会随之降低。在分辨力的测量过程中，如果超二代像增强器输出图像的对比度C保持不变，那么当分辨力靶板在超二代像增强器荧光屏上的亮度L降低以后，根据式(1)，人眼的最小分辨角α随之增大。人眼分辨角α增大，意味着所测量的分辨力将会减小。在高照度区间，由于人眼的分辨角还能满足对超二代像增强器极限分辨力的分辨，因此在高照度区间，超二代像增强器的分辨力不随照度的降低而降低。但在低照及极低照区间，随着人眼分辨角的进一步增大，人眼的分辨角开始影响对超二代像增强器极限分辨力的分辨，使得在低照及极低照区间，超二代像增强器的分辨力随输入照度的降低而降低。所以要提高超二代像增强器在低照及极低照下的分辨力，需要进一步提高超二代像增强器的增益，从而增加超二代像增强器的输出亮度。但对于超二代像增强器，增益机构为MCP。MCP的增益越高，像增强器的增益越高，但目前提高MCP的增益采用提高MCP工作电压的方法。MCP的工作电压越高，其噪声因子越大，像增强器的信噪比越低。因此考虑到像增强器增益对信噪比的影响，目前超二代像增强器的增益为15000 cd⋅m－2⋅lx－1。为了进一步提高超二代像增强器的增益，需要解决高MCP工作电压和高增益与低MCP噪声因子的矛盾，这需要研制出高增益和低噪声的MCP[6-8]。
3. 影响分辨力变化因数分析
3.1 极限分辨力
为分析极限分辨力对分辨力随输入照度变化的影响[9-13]，对5327#和4525#样品的分辨力曲线进行比较。5327#样品的极限分辨力为64 lp⋅mm－1，信噪比为24.7，等效背景照度为1.5×10－7 lx；4525#样品的极限分辨力为57 lp⋅mm－1，信噪比为24.4，等效背景照度为1.7×10－7 lx。2支样品的信噪比及等效背景照度基本相同，主要区别在于极限分辨力，因此比较这两支像增强器的分辨力曲线即可分析极限分辨力对不同照度下分辨力的影响。比较图 3中5327#和4525#样品的分辨力曲线，可看出在低照及极低照区间，随着照度的降低，其分辨力均随输入照度的降低而降低。在分辨力降低过程中，在约2×10－5 lx照度时两条分辨力曲线达到相交，之后随着照度的进一步降低，其分辨力曲线的变化基本相同，并且在4.3×10－7 lx时趋于0。另外通过比较5327#和4525#样品的分辨力曲线还可以看出，在低照区间，极限分辨力高的，不同照度下的分辨力也越高，并且照度越高，分辨力越高。但在极低照区间，不同极限分辨力的样品却具有相同的分辨力。
超二代像增强器的极限分辨力实际上是指其电子光学系统[14]的分辨力。超二代像增强器的电子光学成像链包括阴极近贴聚焦距离、阳极近贴聚焦距离、微通道板、荧光屏以及光纤倒像器。限于工艺制造水平的限制，目前超二代像增强器的阴极近贴聚焦距离控制在约0.15 mm，阳极近贴聚焦距离控制在约0.5 mm。如果再进一步减小距离，会降低超二代像增强器生产的良品率。因此在通过减小阴极和阳极近贴聚焦距离来提高分辨力方面困难较大。而在提高荧光屏分辨力方面，考虑到荧光屏的分辨力与发光效率之间存在一定的矛盾，因此进一步提高荧光屏的分辨力困难也较大。所以目前在提高超二代像增强器的极限分辨力方面，较可行的办法是进一步减小微通道板的孔径及荧光屏输出窗光纤面板的丝径。
3.2 信噪比
为了解信噪比[15-16]对不同输入照度下分辨力的影响，对图 3中5327#和3533#样品的分辨力曲线进行比较。3533#样品的极限分辨力为64 lp⋅mm－1，信噪比为29.1，等效背景照度为1.4×10－7 lx，与5327#样品相比，极限分辨力和等效背景照度基本相同，主要的区别为信噪比（见表 1），因此比较这两支像增强器的分辨力曲线即可分析信噪比对不同照度下的分辨力影响。从图 3可看出，2支样品在低照及极低照区间，分辨力随输入照度降低而降低的速率并不相同。3533#样品分辨力降低的速率相对较慢，并且分辨力均高于5327#样品。但3533#样品的分辨力在4.3×10－7 lx时也趋于0。5327#和3533#样品在低照及极低照区间分辨力不同的原因是信噪比不同。因为在低照及极低照度下，光子涨落噪声对分辨力的影响逐步显现。图 4(a)、4(b)和4(c)分别为3533#样品在4.3×10－2 lx、4.3×10－4 lx以及4.3×10－5 lx照度下的分辨力靶板图像。图 4(a)图像中分化线的亮度均匀且稳定，未出现明显的涨落噪声，所以涨落噪声未对分辨力产生影响。图 4(b)图像中分化线的亮度不均匀且闪烁，即出现明显的涨落噪声，因此对分辨力的影响开始显现，这样图像中心区域的2组及以下的靶板由于涨落噪声的影响而不能分辨，仅能分清最外周左右两边0组和1组的靶板，因此分辨力降低了。图 4(c)图像中分化线的亮度更加不均匀且更加闪烁，分划线完全由随机出现的亮点（闪烁点）所组成，涨落噪声更加明显，对分辨力的影响更显著。与图 4(b)相比，不仅图像中心区域的2组和3组的靶板由于涨落噪声的影响而不能分辨，而且图像左右两边的0组和1组的靶板的轮廓也较模糊，因此分辨力更低。所以涨落噪声在低照及极低照下会影响分辨力。信噪比与涨落噪声相关，在相同的信号强度下，涨落噪声越高，信噪比越低；涨落噪声越低，信噪比越高。5327#样品的信噪比为24.4，而3533#样品的信噪比为29.1，3533#样品具有更高的信噪比，因此在相同的照度下，涨落噪声更低，所以在低照及极低照区间，具有更高的分辨力。
3.3 等效背景照度影响
为了分析等效背景照度对不同照度下分辨力的影响，对图 3中5327#和3445#样品的分辨力曲线进行比较。3445#样品的极限分辨力为64 lp⋅mm－1，信噪比为28.9，等效背景照度为0.1×10－7 lx，与5327#样品相比较，2支样品的极限分辨力以及信噪比基本相同，其主要区别在于3445#样品的等效背景照度较5327#样品低了一个数量级（见表 1），因此分析这两支像增强器的分辨力曲线可得出等效背景照度对不同照度下分辨力的影响。从图 3可看出，2支样品在4.3×10－4 lx以上照度区间的分辨力基本相同，但在4.3×10－4 lx以下的照度区间，3445#样品的分辨力均高于5327#样品，特别是在极低照度区间，区别更明显。如在4.3×10－7 lx照度时，3445#样品的分辨力为10 lp⋅mm－1，但5327#样品的分辨力却为0，因此2支样品等效背景照度不同是造成其分辨力在5×10－7 lx照度下不同的原因。如果超二代像增强器的输入照度为E，光电阴极的灵敏度为S，面积为A，那么光电阴极所产生的光电流Ip和暗电流Id分别由式(2)、式(3)给出：
$$ I_{\rm p}＝E⋅S⋅A $$ (2) $$ I_{\rm d}＝{\rm EBI}⋅S⋅A $$ (3) 光电阴极是一个光电转换器件，它的作用是将光信号转变为电（电流）信号。根据对比度的定义，光电阴极输出电信号的对比度C由式(4)表示：
$$ C = \frac{{{I_\rm p} - {I_\rm d}}}{{{I_\rm p} + {I_\rm d}}} $$ (4) 将式(2)、式(3)代入式(4)，可得出式(5)：
$$ C = \frac{{E -\rm EBI}}{{E +\rm EBI}} $$ (5) 从式(5)可看出等效背景照度会降低电信号的对比度。在超二代像增强器中，输入图像经光电阴极转换，电信号再经MCP倍增和荧光屏转换。在此过程中，假设MCP倍增和荧光屏转换过程中不损失电信号对比度，那么荧光屏上图像的对比度就等于光电阴极输出电信号的对比度，所以等效背景照度会影响超二代像增强器荧光屏输出图像的对比度。当输入照度E远远大于光电阴极的等效背景照度时（例如高于1个数量级），等效背景照度对电信号对比度的影响较小；输入光的照度与光电阴极的等效背景照度相近时，等效背景照度对电信号对比度的影响较大。在4.3×10－7 lx照度条件下，假设输入图像的对比度为100%，那么根据式(5)可以分别计算出3445#和5327#样品电信号对比度分别为54%和96%。假设微通道板的倍增以及荧光屏的转换不损失对比度，那么3445#和5327#样品荧光屏上图像的对比度也分别为54%和96%。因为分辨力测量是用人眼观察，所以图像的对比度越高，图像越容易被人眼分辨，分辨力越高。5327#样品具有较高的对比度，因此具有更高的分辨力。所以在极限分辨力及信噪比相同的条件下，在5×10－4 lx以下的照度区间，等效背景照度的影响开始显现，等效背景照度越低，分辨力越高。超二代像增强器的等效背景照度主要由光电阴极的暗发射所决定。长期以来，人们对多碱阴极的灵敏度研究主要集中在提高其灵敏度方面[17-19]，并且在提高多碱阴极灵敏度方面取得了较大的进展，使得多碱阴极的灵敏度得到了较大的提高[20-21]，并且超过了1000 μA⋅lm－1。与多碱阴极灵敏度的提高相比，在降低多碱阴极暗发射方面的研究却较少，因此在降低多碱阴极暗发射方面所取得的进展也不大，暗发射仍然维持在原有水平。所以为了提高超二代像增强器在低照及极低照下的分辨力，在进一步提高多碱阴极灵敏度的同时，需要进一步降低多碱阴极的暗发射。
4. 结论
通常情况下，超二代像增强器所标称的分辨力实际上是指其极限分辨力，并不是超二代像增强器在实际使用过程中的分辨力。超二代像增强器只有在高照下使用时，分辨力才等于其极限分辨力；在低照及极低照下，分辨力随照度降低而降低。
超二代像增强器的极限分辨力越高，在高照下的分辨力也越高。但在低照及极低照下，超二代像增强器的分辨力不仅与极限分辨力有关，而且还与信噪比及等效背景照度有关。信噪比越高、等效背景照度越低，分辨力越高。在低照区间，信噪比对分辨力的影响更大，但在极低照区间，等效背景照度对分辨力的影响更大。
超二代像增强器主要在弱光下使用，所以在提高超二代像增强器极限分辨力的同时，还需要提高超二代像增强器在低照及极低照下的分辨力，而这需要在提高极限分辨力的同时，提高信噪比和降低等效背景照度。
-
![]()
图 6 部分样本轮廓时域分布及对应梯度特征
Figure 6. Contour pixel temporal distribution and gredient feature
表 1 不同样本全局分布与去峰分布统计特征
Table 1 Statical features of all pixels and non-peak pixels of different sample
Sample No. Peak Value Flattened Peak Variance Flattened Var. Kurtosis Flattented Kurt. 1 38.5 10 1.194 0.1711 0.7987 -0.1611 2 115 105 90.67 117.8 0.1975 1.7610 3 20 16 0.2324 0.1712 1.452 1.105 4 8.7 7.5 0.0015 0.0022 1.325 1.133 
下载: 导出CSV
表 2 不同特征检测结果对比
Table 2 Experimental results comparison of different features
Features TPR FPR TNR FNR Inhomogeneous deformation 81.67% 10.00% 90.00% 18.33% Combination of geometric features 70.00% 31.67% 68.33% 30.00% Pixel flicker 71.67% 55.00% 45.00% 28.33%
下载: 导出CSV
-
[1] Çetin A E, Dimitropoulos K, Gouverneur B, et al. Video fire detection -review[J]. Digital Signal Processing, 2013, 23(6): 1827-1843. DOI: 10.1016/j.dsp.2013.07.003
[2] Owrutsky J C, Steinhurst D A, Minor C P, et al. Long wavelength video detection of fire in ship compartments[J]. Fire Safety Journal, 2006, 41(4): 315-320. DOI: 10.1016/j.firesaf.2005.11.011
[3] Toreyin B U, Cinbis R G, Dedeoglu Y, et al. Fire detection in infrared video using wavelet analysis[J]. Optical Engineering, 2007, 46(6): 067204. DOI: 10.1117/1.2748752
[4] 李涛, 向涛, 黄仁杰, 等. 基于新的运动特征的火焰检测方法[J]. 计算机仿真, 2014, 31(9): 392-396. DOI: 10.3969/j.issn.1006-9348.2014.09.087 LI Tao, XIANG Tao, HUANG Renjie, et al. Fire detection method based on new moving feature[J]. Computer Simulation, 2014, 31(9): 392-396. DOI: 10.3969/j.issn.1006-9348.2014.09.087
[5] 朱思思, 丁德红, 陈朝迎, 等. 基于图像处理的森林火灾识别方法研究[J]. 红外技术, 2016, 38(5): 440-446. http://hwjs.nvir.cn/article/id/hwjs201605014 ZHU Sisi, DING Dehong, CHEN Zhaoying, et al. The research of forest fire recognition method based on image processing[J]. Infrared Technology, 2016, 38(5): 440-446. http://hwjs.nvir.cn/article/id/hwjs201605014
[6] 陈娟. 基于多特征融合的视频火焰探测方法研究[D]. 北京: 中国科学技术大学, 2009. CHEN Juan. Study on Method of Multi-Feature Fusion Based Video Flame Detection[D]. Beijing: University of Science and Technology of China, 2009.
[7] CHEN J H, Im H G. Correlation of flame speed with stretch in turbulent premixed methane/air flames[J]. Symposium (International) on Combustion, 1997, 27(1): 819-826.
[8] Hamins A, Yang J C, Kashiwagi T, An experimental investigation of the pulsation frequency of flames[J]. Symposium(International) on Combustion, 1992, 24(1): 1695-1702. http://www.sciencedirect.com/science/article/pii/S0082078406801980
[9] Chaconmurguia M I, Perezvargas F J. Thermal video analysis for fire detection using shape regularity and intensity saturation features[C]//Mexican Conference on Pattern Recognition, 2011: 118-126.
[10] Takahashi N, Suzuki M, Dobashi R, et al. Behavior of luminous zones appearing on plumes of large-scale pool fires of kerosene[J]. Fire Safety Journal, 1999, 33(1): 1-10. DOI: 10.1016/S0379-7112(99)00009-0
[11] 程鑫, 王大川, 尹东良. 图像型火灾火焰探测原理[J]. 火灾科学, 2005(4): 239-245, 196. https://www.cnki.com.cn/Article/CJFDTOTAL-HZKX200504007.htm CHENG Xin, WANG Dachuan, YIN Dongliang. Image type fire flame detecting principle[J]. Fire Safety Science, 2005(4): 239-245, 196. https://www.cnki.com.cn/Article/CJFDTOTAL-HZKX200504007.htm
[12] Paresh P A, Parameswaran L. Vision-based algorithm for fire detection in smart buildings[C]//International Conference on ISMAC in Computational Vision and Bio-Engineering, 2018: 1029-1038.
[13] Kegl B, Krzyzak A, Linder T, et al. A polygonal line algorithm for constructing principal curves[C]//Neural Information Processing Systems, 1998: 501-507.
[14] WU Z, Fuller N W, Theriault D H, et al. A thermal infrared video benchmark for visual analysis[C]//Computer Vision and Pattern Recognition, 2014: 201-208.
-
期刊类型引用(4)
1. 陈秋艳，贺敏，张新燕，陈泽锋，潘中清，罗睿. 基于图像处理的复杂场景火焰识别与火灾判定方法. 国外电子测量技术. 2024(05): 144-153 . 
百度学术
2. 赵阳，刘俊蕾，付旭峰，王征，王海懿. 基于卷积神经网络的火焰智能识别研究. 自动化技术与应用. 2023(11): 64-67 . 百度学术
3. 常丽，张雪，蒋辉，杨娟，万紫玉. 融合YOLOv5s与SRGAN的实时隧道火灾检测. 电子测量与仪器学报. 2022(08): 223-230 . 百度学术
4. 马庆禄，马恋，孔国英，赵映慈. 基于红外热成像的隧道火焰检测技术研究. 火灾科学. 2022(04): 244-251 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 224
- HTML全文浏览量: 123
- PDF下载量: 35
- 被引次数: 10
