基于运动与模糊特征的红外热成像烟雾检测

李咸静, 郝争辉

李咸静, 郝争辉. 基于运动与模糊特征的红外热成像烟雾检测[J]. 红外技术, 2024, 46(3): 325-331.
引用本文: 李咸静, 郝争辉. 基于运动与模糊特征的红外热成像烟雾检测[J]. 红外技术, 2024, 46(3): 325-331.
LI Xianjing, HAO Zhenghui. Infrared Thermal Imaging Smoke Detection Based on Motion and Fuzzy Features[J]. Infrared Technology , 2024, 46(3): 325-331.
Citation: LI Xianjing, HAO Zhenghui. Infrared Thermal Imaging Smoke Detection Based on Motion and Fuzzy Features[J]. Infrared Technology , 2024, 46(3): 325-331.

基于运动与模糊特征的红外热成像烟雾检测

基金项目: 

山西省高等学校科技创新计划项目 2023L323

详细信息
    作者简介:

    李咸静(1992-),女,山西长治人,博士,讲师,研究方向为计算机视觉及图像处理。E-mail:760072875@qq.com

  • 中图分类号: TP391

Infrared Thermal Imaging Smoke Detection Based on Motion and Fuzzy Features

  • 摘要: 在焦化企业生产过程中会产生大量烟雾,排放、泄漏会对自然环境造成污染危及生命生产安全。针对热成像视频对比度低、纹理度差等特点,本文采用烟雾具有运动与模糊特性来进行检测。提出计算每帧图像的噪点度来改进Vibe检测算法的固定阈值,从而可更完整地将移动目标区域检测出来。将整幅图像划分为块区域图像;结合运动区域来提取该区域内的模糊与噪点比值、FFT计算模糊度所计算特征训练生成烟雾分类器;对实验视频进行检测,平均准确率达到94.53%。结果表明,本文所提算法对焦化企业红外热成像视频烟雾检测的准确性和实时性,具有良好的抗干扰能力。
    Abstract: The production process of coking enterprises generates abundant smoke. Their discharge and leakage can pollute the natural environment, endangering the safety of life and production. Considering the low contrast and poor texture of thermal imaging videos, this study detected smoke with motion and fuzzy characteristics. The noise degree of each frame image can be calculated to replace the fixed threshold of the Vibe detection algorithm so that the moving target area can be completely detected. First, the image was divided into block area images; then, the fuzzy-to-noise ratio in this area was extracted by combining the motion area, the features calculated when the fast fourier transform (FFT) was used to calculate the ambiguity were trained to generate a smoke classifier, and finally, the experimental video detection, with an average accuracy rate of 94.53%. The results show that the proposed algorithm is accurate, operates in real-time for smoke detection in infrared thermal imaging videos of coking enterprises, and has good anti-interference ability.
  • 由两条金属线通过溅射的方式形成了一组窄缝,这组窄缝的距离小于入射光的波长,这就形成了亚波长金属光栅偏振器,它的体积属于纳米级别,但其偏振性能却非常好且容易集成,因此它被广泛应用于光通讯及液晶显示屏的制造中。其中双层金属纳米光栅偏振器属于纳米光栅偏振器件中的一种,由于其偏振效果更好得到人们的青睐。

    纳米压印光刻技术在1995年首次由美国人提出[1],是近20年才发展起来的新型的微细加工工艺,它是利用高分辨率的模板来复制加工微纳结构的一种新工艺,所以可以说这种技术首先建立在光刻技术上。第一个提出亚波长金属光栅具有检偏的偏振特性的是Hertz教授[2-3],随后才相继出现了有关亚波长金属光栅相关理论及其制造方法。2005年,韩国LG电子研究院利用周期140 nm的硅基亚波长光栅作为压印模板制作了单层金属偏振光栅。2006年瑞士保罗谢尔研究所[4-5]在石英板上通过极紫外干涉光刻技术制备了周期为100 nm的亚波长光栅。随后几年,美国密歇根大学[6-7]开发一种可以连续制备周期为200 nm的亚波长结构的亚波长光栅,利用电子束在光栅上方沉积一层金属铝,经过测量其消光比为1000。这种压印技术在当时被认为是未来制备亚波长金属光栅的有效方法[8]。但是随着社会的快速发展,越来越多的曲面屏及可折叠屏成为了人们生活的主流[9-10],这就让人不得不往柔性偏振器上思考。但是,目前对柔性纳米光栅偏振器的研究甚少。所以,通过对柔性纳米光栅偏振器在结构和制作工艺方面的研究,以制作出成本低、产出高的偏振器,这对柔性电子器件的工艺推进起到了很大的支撑作用。

    基于以上分析,本文在严格耦合波理论[11]的基础上以复眼结构中的偏振敏感单元为模仿对象,利用微加工工艺制备了一种可用于仿生的偏振光光电传感器的偏振器。该偏振器是以柔性材料PC(Polycarbonate)作为基底利用纳米压印和磁控溅射技术制作而成的柔性双层金属光栅偏振器,并对制作的偏振器利用光谱测试系统进行偏振特性测试。

    图 1为PC上制作的偏振器的模型图,将入射光中垂直和平行与于电场方向的光分别称为TM偏振光和TE偏振光。当TM偏振光照射在偏振器上时,由于电子振荡通过栅线方向时会受到阻碍,此时的光栅层就如同介质层可使TM光透过。电子会在TE光入射时以自由振荡的形式出现,导致TE光反射。

    图  1  金属光栅偏振示意图
    Figure  1.  Schematic of metal grating

    模板对于纳米压印相当重要,因此选择上海纳腾公司提供的模板,模板的周期是278 nm,线宽是139 nm,高度100 nm,模板的扫描电子显微镜图如图 2所示。模板防粘使用了来自Sigma-Aldrich公司的Trichloro (1H,1H,2H,2H-heptadecafluorodecyl) silane[12-13]。这种硅烷可以很好地与Si或SiO2表面的OH键结合形成含有C-F功能基单分子层,这种分子层在衬底表面表现出了很好的抗粘性能。做过表面处理的Si模版接触角从30°增大为110°,如图 3所示,表现出较好的疏水性能,将有利于压印时脱模。

    图  2  模板的SEM图
    Figure  2.  Scanning electron microscope (SEM) image of nanoimprint template
    图  3  模板防粘
    Figure  3.  Anti sticking of Si template

    在介质光栅的顶端和底端都沉积一层金属层的光栅称之为双层金属光栅。包含双层金属光栅的偏振器的制作只需在光栅上镀一次铝膜,比单层或包裹型金属光栅不仅降低了制作工艺难度,而且偏振和滤波效果更佳。①选择铝作为偏振器的金属层,是因为铝可以实现可见光波段的最优偏振特性;②0.5的占空比在同一波段具有最大的透射率和最大的消光比,由于透射率与金属的厚度成正比关系,但是,随着金属高度的增加,偏振器的消光比呈指数倍增大。但是,金属线栅高度的增加又会增大加工难度。因此,综合考虑,溅射金属铝的厚度为70 nm;③偏振器的消光比会因为金属光栅层之间距离的逐渐增大呈周期性震荡,根据文献[14]中的仿真本文选择金属光栅层的距离是50 nm;④光栅的周期和PC光栅高度是由模板决定的,目前的模板参数是周期278 nm,高度为100 nm[14]

    使用纳米压印的热压过程在柔性材料PC(聚碳酸酯)上压印纳米光栅。纳米压印技术最早由周郁教授提出的,它的优点在于可完成纳米结构的制作[15-16]。将模板与含有压印胶的基底紧密结合,等压印结束后小心地将模板和基底分开,这样就会在基底上形成模板上的图案。图 4所示为压印,脱模,和铝沉积的双层金属线栅偏振器的制造过程的示意图。本文使用的PC基底材料的厚度为0.2 mm。PC具备非常优异的性能,包括高透光率、高折射率、高抗冲性、尺寸稳定性及易加工成型等,因此PC被广泛应用于光学器件的制备中。另外,其热稳定性好,成型温度范围宽,是作为压印基底的一种理想材料。所使用的纳米压印仪(型号为NIL-150)是从中国上海纳腾仪器有限公司引进的最新微纳结构加工设备。

    图  4  柔性双层金属光栅偏振器的制作工艺流程图
    Figure  4.  Manufacturing process flow chart of flexible double layer metal grating polarizer

    实验前需要将去掉保护膜的PC基底材料裁剪为20 mm×20 mm的正方形备用。但是剪切下来的PC片表面并不是很平整,会使其在压印过程中不能和模板完全接触,这就会影响应力的分布在加压和保压的过程中不能使结构完全地转移到基底上。为了解决这个问题,如图 5所示在压印的过程中在PC基底下面又增加了一片1 mm厚的聚二甲基硅氧烷(Polydimethylsiloxane:PDMS)柔性薄膜,因为PDMS具有很好的柔韧性和高温稳定性,在高温施压的过程中可以很好地分散加载在硬质模板上的应力,同时对模板起到一个保护作用。

    图  5  在PC基底压印亚波长光栅
    Figure  5.  Printing subwavelength grating on PC substrate

    压印参数为:真空度为0.07 MPa,压力为0.65 MPa,压印温度为160℃,压印时间设定为5 min。等压印时间一到立马开启冷却水进行腔室的降温,直到操作面板上的温度显示40℃时关闭压力阀往里面充氮气,待室门自动开启后用镊子取出样品然后小心地将两者分开,就可得到光栅结构,实物图和SEM图如图 6所示。

    图  6  PC光栅结构的实物图和SEM图
    Figure  6.  Physical and SEM pictures of PC grating structure

    最后,利用真空度为7×106 Mbar的磁控溅射在光栅结构上表面溅射一层厚度为70 nm的Al,加工参数如表 1所示。

    表  1  柔性双层金属光栅偏振器的参数
    Table  1.  Parameters of subwavelength metal grating polarizer
    Materials and structures Materials and parameters
    Substrate materials PC
    Metallic materials Al
    Period/nm 278
    Duty cycle 0.5
    Aluminum thickness/nm 70
    Distance between two metal grating layers/nm 50
    PC grating height/nm 100
    下载: 导出CSV 
    | 显示表格

    偏振器的性能由透过率和消光比决定,因此利用搭建的光谱测试系统对制造的金属光栅偏振器进行了透过率和消光比的测量[17],光谱测试系统如图 7所示。

    图  7  光栅偏振特性测试装置示意图
    Figure  7.  Schematic of laboratory measurement setup

    利用氙气灯发出的白光作为检测光源,经透镜聚光后再经过小孔光阑后作为点光源,非线偏光透过偏振片后形成线偏光。透过的偏振光直接垂直照射在光栅上,光栅后面放置爱万提斯光纤光谱仪,利用光纤探头测试透射光光谱。旋转偏振片的相应位置分别得到TE和TM偏振光的最大与最小透射强度。然后利用公式:

    $$ {\rm{ER}}={T_{{\rm{TM}}}}/{T_{{\rm{TE}}}} $$

    计算得到消光比,式中TTMTTE分别表示TM和TE偏振光的透射率。

    应用严格耦合波理论对制造的柔性双层金属光栅偏振器进行了TM透射率及消光比的计算,由于一般只有TM偏振光才能透过偏振器,而且计算消光比也已用到TE偏振光的信息,所以文中不单独对TE偏振光进行分析。如图 8所示为本文制造的柔性双层金属光栅偏振器的性能测试图,从图上可以看出本文制造的偏振器在入射光波长范围为350~800 nm时的透过率可达48%,消光比可达100000,具有非常好的偏振效果,达到了用于偏振导航的需求。

    图  8  柔性双层金属光栅偏振器的性能测试图
    Figure  8.  Performance test chart of flexible double layer metal grating polarizer

    利用纳米压印技术和磁控溅射在柔性材料上通过简单的方法制作出了柔性双层金属光栅偏振器,并进行了透过率和消光比的测试。实验结果显示,当入射光的波长在350~800 nm之间,加工的偏振器性能优良,透过率和消光比分别高达48%和100000,具有较好的偏振效果,达到了用于偏振导航的要求。制作的柔性双层金属光栅偏振器只涉及纳米压印和磁控溅射两个工艺,并且不包括任何抗蚀剂旋涂、剥离和刻蚀工艺,制作过程是非常简单的,适合大批量生产。本文制造的柔性双层金属光栅偏振器有望应用到光学系统中,特别是在液晶显示器领域。

  • 图  1   ViBe像素分类示意图

    Figure  1.   Schematic diagram of ViBe pixel classification

    图  2   ViBe背景模型的随机更新

    Figure  2.   Stochastic update of the ViBe background mode l

    图  3   Vibe检测目标与改进后的算法结果

    Figure  3.   Vibe detection target and improved algorithm results

    图  4   有烟雾和无烟雾块区域图像所提取的纹理特征变化

    Figure  4.   Variation of texture features extracted from images with and without smoke block region

    图  5   本文算法提取特征

    Figure  5.   Features extracted by the algorithm of this paper

    图  6   部分移动干扰目标下的烟雾检测

    Figure  6.   Smoke detection under partially moving interference targets

  • [1] 张斌, 魏维, 何冰倩. 基于多特征融合的早期野火烟雾检测[J]. 成都信息工程大学学报, 2018, 33(4): 408-412. https://www.cnki.com.cn/Article/CJFDTOTAL-CDQX201804010.htm

    ZHANG Bin, WEI Wei, HE Bingqian. Early wildfire smoke detection based on multi-feature fusion[J]. Journal of Chengdu University of Information, 2018, 33(4): 408-412. https://www.cnki.com.cn/Article/CJFDTOTAL-CDQX201804010.htm

    [2] 刘通, 程江华, 华宏虎, 等. 结合YdUaVa颜色模型和改进MobileNetV3的视频烟雾检测方法[J]. 国防科技大学学报, 2021, 43(5): 80-85. https://www.cnki.com.cn/Article/CJFDTOTAL-GFKJ202105009.htm

    LIU Tong, CHENG Jianghua, HUA Honghu, et al. Video smoke detection method combining Yd Ua Va color and improved MobileNetV3[J]. Journal of National University of Defense, 2021, 43(5): 80-85. https://www.cnki.com.cn/Article/CJFDTOTAL-GFKJ202105009.htm

    [3] 宋少杰. 基于GMM改进算法的森林火灾检测研究[D]. 南京: 南京邮电大学, 2021. DOI: 10.27251/d.cnki.gnjdc.2021.000473.

    SONG Shaojie. Research on Forest Fire Detection Based on proved GMM Algorithm[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2021. DOI: 10.27251/d.cnki.gnjdc.2021.000473.

    [4]

    Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51-59. DOI: 10.1016/0031-3203(95)00067-4

    [5]

    YUAN F, SHI J, XIA X, et al. Co-occurrence matching of local binary patterns for improving visual adaption and its application to smoke recognition[J]. IET Computer Vision, 2019, 13(2): 178-187. DOI: 10.1049/iet-cvi.2018.5164

    [6]

    YUAN F N, XIA X, SHI J T. Holistic learning-based high-order feature descriptor for smoke recognition[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2019, 17(2): 194005.

    [7] 邓实强, 丁浩, 杨孟, 等. 基于视频图像的公路隧道火灾烟雾检测[J]. 隧道建设, 2022, 42(2): 291-302. https://www.cnki.com.cn/Article/CJFDTOTAL-JSSD202202015.htm

    DENG Shiqiang, DING Hao, YANG Meng, et al. Fire smoke detection in highway tunnels based on video images[J]. Tunnel Construction, 2022, 42(2): 291-302. https://www.cnki.com.cn/Article/CJFDTOTAL-JSSD202202015.htm

    [8]

    WANG Y, HAN Q, LI Y, et al. Video smoke detection based on multi-feature fusion and modified random forest[J]. Engineering Letters, 2021, 29(3): 38-45.

    [9] 殷梦霞, 王理, 孙连营. 基于多特征融合的自适应烟雾检测算法[J]. 建筑科学, 2019, 35(9): 26-31. DOI:10.13614/j.cnki.11-1962/tu.2019. 09.005.

    YIN Mengxia, WANG Li, SUN Lianying. Adaptive smoke detection algorithm based on multi-feature fusion[J]. Building Science, 2019, 35(9): 26-31. DOI: 10.13614/j.cnki.11-1962/tu.2019.09.005.

    [10] 王媛彬. 煤矿烟雾的计算机视觉检测方法[J]. 辽宁工程技术大学学报: 自然科学版, 2016, 35(11): 1230-1234. https://www.cnki.com.cn/Article/CJFDTOTAL-FXKY201611007.htm

    WANG Yuanbin. Smoke detection based on computer vision in coal mine[J]. Journal of Liaoning Technical University: Natural Science, 2016, 35(11): 1230-1234. https://www.cnki.com.cn/Article/CJFDTOTAL-FXKY201611007.htm

    [11] 马永杰, 陈梦利, 刘培培, 等. ViBe算法鬼影抑制方法研究[J]. 激光与光电子学进展, 2020, 57(2): 105-112. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202002009.htm

    MA Yongjie, CHEN Mengli, LIU Peipei, et al. Research on ViBe algorithm ghost suppression method[J]. Laser & Optoelectronics Progress, 2020, 57(2): 105-112. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202002009.htm

    [12] 汤旻安, 王晨雨. 基于改进ViBe算法的静态场景运动目标检测[J]. 激光与光电子学进展, 2021, 58(14): 216-224. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202114021.htm

    TANG Minan, WANG Chenyu. Moving object detection in static scene based on improved ViBe algorithm[J]. Laser & Optoelectronics Progress, 2021, 58(14): 216-224. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202114021.htm

  • 期刊类型引用(2)

    1. 汪会达,张栋,肖焰辉,张潇云,刘宇,陈德明. 改进SSD算法的光伏板污损检测. 上海电机学院学报. 2025(01): 52-57 . 百度学术
    2. 李春亚,王建华,尹土兵,卢建飞,邹晓波,叶儒桦. 个人防护装备穿戴安全检测技术的进展与应用. 武汉理工大学学报. 2024(10): 149-155+162 . 百度学术

    其他类型引用(2)

图(6)
计量
  • 文章访问数:  101
  • HTML全文浏览量:  30
  • PDF下载量:  30
  • 被引次数: 4
出版历程
  • 收稿日期:  2022-12-02
  • 修回日期:  2023-07-09
  • 刊出日期:  2024-03-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日