Improved Infrared Anomaly Target Detection Algorithm Based on Single Gaussian Model
-
摘要: 基于单高斯模型的红外异常目标检测算法是一种常见的能自适应更新背景模型的检测算法。该算法对各个像素的输出响应进行高斯建模，通过设定的阈值确定目标像素点是否为前景像素点，从而达到检测的目的。本文在单高斯模型的基础上，提出一种改进的异常检测算法，该算法利用奈曼-皮尔逊准则选取最佳阈值，克服了根据经验值选取阈值的局限性，为最佳判决阈值的选取奠定了理论基础，使得在虚假率一定的情况下，检测概率达到最高。实验证明，将常见的经验阈值与本文确定阈值进行比较，本文算法确定的阈值检测效果更佳。Abstract: An infrared anomaly target detection algorithm based on a single Gaussian model is a commonly used detection algorithm that can adaptively update the background model. The algorithm performs Gaussian modeling on the output response of each pixel and determines whether the target pixel is a foreground pixel through a defined threshold to realize detection. This paper proposes an improved anomaly detection algorithm based on a single Gaussian model. The algorithm uses the Neiman-Pearson criterion to define the optimal threshold, which overcomes the limitation of selecting the threshold based on empirical values. The paper lays a theoretical foundation for obtaining the best decision threshold so that under a certain false rate, the detection probability can reach the highest value. Experimental results show that, compared to the commonly experienced thresholds, the threshold determined in this study provides a much better detection effect.
-
0. 引言
目前，类似于微光夜视仪的直视型微光装备可靠性试验主要通过“拷机”即静态工作过程来实现。试验时，参试人员间歇性地观察被试品显示端图像，通过人工判读被试品目镜视场的方法来确定被试品是否处于正常工作状态[1]。此方法存在以下不足：一是人工试验鉴定效率低且易发生漏检。可靠性试验具有工作量大、重复性高的特点。由于设备批量大，采用人工方法需要多名检测人员每天长时间工作、连续几个月以上才能完成，耗时耗力。而且，试验中人员间隔对设备进行检查，检查间隙内出现的偶发故障则很难被发现。加之检查很大程度取决于检查人员技术水平和检查经验，主观性大，极易发生漏检。二是人工试验鉴定缺乏有效的故障数据存储处理，不利于技术的持续改进。以人工检测为主的试验方法主要依靠肉眼识别，对出现的故障进行简短的文字描述与记载。这样的检测记录方式存在两个问题：一方面，人工检测记录在装备出现故障时难以完备具体、定性定量地记录故障对装备各个部件的影响，在提供故障检测报告时缺乏有力佐证，且由于故障出现的随机性，难以复现；另一方面，人工检测记录的方式缺乏有效的检测数据存储，无法形成故障数据样本集，这为技术改进增加了难度。
综上所述，现有直视型装备的可靠性试验所存在的问题归根结底是检测手段无法满足日益增长的检测需求，因此亟需一种智能的、高效的替代人工检查的技术[2-3]。从图像中提取特征获得场景信息是区域监视、目标识别等领域的重要手段。图像质量评价方法可通过衡量图像变化程度来实现视场异常检测[4-5]。传统的图像质量评价方法包括利用图像像素偏离量度量图像下降质量的方法[6]，如均方误差度量（Mean-Square Error，MSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）等；计算图像像素灰度幅度变化（等价为图像边缘信息）衡量图像质量的方法[7]；利用图像灰度分布计算信息熵的方法[8]等。基于小波变换[9]与结构相似性（Structural SIMilarity，SSIM）理论[10-12]的评估方法与人类视觉系统类似，其出现使图像质量评价的准确性有了较大提升。
本文通过设计转接环连接相机与直视型微光装备进行图像的采集获取，采用结构相似性算法进行异常图像的自动检测，从而实现对直视型微光装备在可靠性试验中的故障诊断。
1. 直视型微光装备图像采集技术
基于SSIM算法的直视型微光装备可靠性试验故障诊断通过在被试品目镜上采用连接环固定图像采集设备的方法来获取图像，连续采集记录在被试品可靠性试验过程中目镜里的图像信息。通过设定图像模板，计算被试品监测图像与模板图像的相似度，识别被试品工作过程中的故障，标记、记录并报警，实现被试品工作过程中的故障自动监测。
1.1 被试品与图像采集设备的可靠连接
被试品与图像采集设备间的可靠连接是稳定采集图像的前提。文中利用直视型微光装备目镜上预留的眼罩螺纹与工业相机镜头上的滤镜螺纹进行可靠连接。按照被试品目镜上螺纹规格和相机镜头滤镜螺纹规格设计加工连接环，一端与被试品连接，另一端与视频采集设备镜头连接，即可实现被试品与图像采集设备间的可靠连接。采集图像时，通过手动调节被试品视度、相机焦距和被试品焦距来实现被试品图像的高清采集。在图像采集相机和镜头选定后，适配该相机的转接环尺寸也随即确定。实际应用中不同被试品眼罩转接环尺寸可能有所差异，为保证转接环能够适用多型装备，可预先按照常用眼罩螺纹规格设计加工系列与相机连接的转接环，如图 1所示的M21×0.7－M25.5×0.5，使用时，根据被试品眼罩螺纹规格，选用相匹配的转接环。
1.2 图像采集设备的选择
图像采集设备应尽量满足以下要求：
1）图像采集的效果应尽可能模拟或超过人眼观察效果，保证软件处理的准确性；
2）相机与被试品间的连接不影响被试品的正常操作和整体平衡，相机重量应尽量轻，体积尽量小；
3）实际试验中可能存在多路图像同时采集的需求，为便于后期图像处理和管理，要求相机接口以Ethernet为主。
文中选择高分辨率彩色相机（型号A3600MU60）作为图像采集设备，配置12mm 1:2.0 1/1.8″镜头。表 1展示了其基本参数。
表 1 图像采集设备基本参数Table 1. Basic parameters of image acquisition equipmentParameter Value Resolution 1920×1200 Maximum frame rate 54fps@1920×1200 Camera type Color camera Pixel size 4.8μm×4.8μm Exposure time 59μs-10s Data interface Gigabit Ethernet Power supply Voltage range 5-15 V，Support PoE power supply Power consumption 2.9 W@12VD Lens interface C－Mout 2. 图像异常诊断技术
2.1 SSIM算法
SSIM算法利用图像像素间的相关性，结合亮度l、对比度c以及两个复杂结构信号间的结构变化s对图像质量进行客观量化评估。
定义图像亮度为：
$${\mu _x} = \frac{1}{N}\sum\limits_{i = 1}^N {{x_i}} $$ 式中：xi为图像第i个像素点的灰度值；N为图像的像素总个数。
设x为模板图像信号，y为待测图像信号。采用平均亮度(μx, μy)计算亮度相似性，定义为：
$$l\left( {x,y} \right) = \frac{{2{\mu _x}{\mu _y} + {C_1}}}{{\mu _x^2 + \mu _y^2 + {C_1}}}$$ 采用标准差(σx, σy)来估计对比度相似性，定义为：
$$c\left( {x,y} \right) = \frac{{2{\sigma _x}{\sigma _y} + {C_2}}}{{\sigma _x^2 + \sigma _y^2{\rm{ + }}{C_2}}}$$ 采用$\left( {\frac{{{\mu _i} - {\mu _x}}}{{{\sigma _x}}},\frac{{{y_i} - {\mu _y}}}{{{\sigma _y}}}} \right)$来计算结构相似度s(x, y)，定义为：
$$s(x,y) = \frac{{2{\sigma _{xy}} + {C_3}}}{{{\sigma _x} + {\sigma _y} + {C_3}}}$$ 式中：σxy为参考图像信号x和失真图像信号y的相关系数，计算为：
$${\sigma _{xy}} = \frac{1}{{N - 1}}\sum\limits_{i = 1}^N {\left( {{x_i} - {\mu _x}} \right)\left( {{y_i} - {\mu _y}} \right)} $$ 上述公式中的C1、C2、C3为引入常数，避免μx2+μy2或σx2+σy2值接近0时引起公式无意义。
在实际操作过程中，通常引入参数α, β, γ＞0调整亮度、对比度和结构性信息的权重，确定较为合适的SSIM值，定义如下：
SSIM＝[l(x, y)]α[c(x, y)]β[s(x, y)]γ
在评价被测图像质量时，SSIM算法用一定尺寸的窗口沿图像逐像素地从左上角到右下角移动，每次计算两幅图像中窗口对应子图像的SSIM值。得到的所有子图像的SSIM值的平均即为该待测图像相较于模板图像的相似度，记为MSIMM(X, Y)表示为：
$${\rm{MSIMM}}(X,Y) = \sum\limits_{j = 1}^M {{\rm{SSIM}}\left( {{X_j},{Y_j}} \right)} $$ 式中：M为子图像块的数量。
2.2 基于结构相似性的图像异常诊断软件设计
异常诊断软件主要根据SSIM算法计算得到的待测图像与模板图像的相似度判定待测设备是否出现故障。软件运行情况如图 2，诊断流程主要包括：确定模板图像、选定相似度判决阈值、SSIM算法计算相似度、实时检测筛选异常图像并对异常信息做出警告与记录。其主要步骤如下：
1）确定模板图像：对于直视型微光装备可靠性试验而言，通常在一个大的、较为黑暗条件下的工房中或晚上照度较小的野外进行。SSIM算法需提前确定好模板图像，即提前将直视型微光装备的视场固定。模板图像作为判定被试装备异常的基础，在选取过程中需严格控制相关外部条件。在视场中心放置一个特征明显、占据直视型微光装备目镜视场1/3~2/3视场的物体，同时控制现场外部光线不出现明显变化，保证直视型微光装备空间位置不变，点击软件拍照功能，存储为模板；
2）相似度判决阈值确定：正式试验前，录制一段被试品目镜视场的视频，期间通过人为开关机操作和遮挡目镜镜头等方式模拟故障，将视频逐帧图像与选定的模板进行比较，得到系列相似度值，将其与故障现象对照，确定出故障出现的最大相似度值，进而作为相似度判决阈值；
3）对于筛选出的异常图像，需发出警告信息并记录序号和时间信息，与图像一起存入告警文件夹。
本文基于MATLAB GUI设计开发直视型微光装备可靠性自动诊断软件，界面如图 2所示。
3. 工程实践与结果分析
根据1.2的描述选择图像采集设备，按照图 3所示的方式通过转接环连接图像采集设备与直视型微光装备目镜。被试微光夜视仪开机，通过相机参数调节，使拍摄到的图像满足观察和软件处理需求。本文实践中依据测试实际情况设置相机采样频率为1 Hz。
![]()
图 3 图像采集设备与被测设备连接图Figure 3. Connection diagram of image acquisition device and equipment under test3.1 模拟故障识别率检验试验
设置模板图像为设备正常工作时相机传回的监视图像，如图 4。
直视型微光装备可靠性试验主要检测一定工作时间内装备是否正常工作，可能出现的故障有：设备非正常关机、图像质量非正常变化等[3, 13]。故障发生时，监视器中的图像主要表现为：视场出现黑斑、十字刻度消失、黑屏。
采集过程中，通过人为开关机操作和遮挡被试品目镜镜头等方式模拟微光夜视仪可靠性试验过程中出现故障的情况，可覆盖故障时视场变化情况。共获得93幅图像，其中故障图像15幅，如图 5（下标为对应图像在模拟试验获取的图像序列中的编号），构成本文装备可靠性试验工作图像数据集。
利用SSIM算法进行图像相似度计算，采集的监视图像与模板图像相似度计算结果如图 6所示；根据图像序号挑选出相似度小于设定阈值（根据SSIM分布特征和历史经验数据提前确定，本文取0.5）的图像，用“*”表示，这些图像正是数据集中模拟所得的故障图像。故障检测率达到100%且未出现虚警。
该试验证明，通过合理地设置相似度阈值，SSIM算法能够准确地诊断出可靠性试验过程中，被试装备图像的异常情况。
3.2 室内照度变化对被试品故障诊断的影响
直视型微光装备的可靠性试验一般在暗室条件下进行。由于装备对环境照度变化十分敏感，需要保持室内环境照度相对稳定。实际试验中，物体移动、光源发生变化等都会引起室内环境照度不同程度变化[14-15]。图 7(a)显示了某次试验中模拟人员走动、开关门和使用手机时暗室环境的照度变化曲线，图 7(b)展示了采集的对应图像与模板图像的SSIM值。其中，用“*”标记的点为与模板图像相似度小于0.5的图像。可以看到，微小的照度变化引起了被试品图像的显著变化。图 8（下标为对应图像在模拟试验获取的图像序列中的编号）展示了部分相似度小于0.5也被错误识别为异常的图像。
![]()
图 7 环境照度变化对相似度计算结果的影响Figure 7. Influence of environmental illumination changes on the results of similarity calculation![]()
图 8 因环境照度变化时被误识别为故障的图片Figure 8. Images misidentified as malfunction due to changes in environmental illuminance可见，室内照度变化会显著影响SSIM算法图像诊断的准确性。在实际可靠性试验过程中，应该尽可能保证室内照度的稳定，从而提高算法诊断的准确性。
4. 结束语
本文针对传统的直视型微光装备可靠性试验故障诊断中的不足，讨论了一种基于机器视觉的自动故障诊断方法。该方法通过设计转接环连接工业相机与被试装备目镜，自动采集传输监视图像，采用SSIM算法计算测试图像与模板的相似度从而判断设备是否发生异常。实践表明该方法很好地符合了人工视觉观察判断的结果，可为实现装备可靠性自动故障检测提供有力支撑，同时指出试验环境照度变化对试验结果的显著影响。
-
表 1 二元信号检测判决结果
Table 1 Judgment results of binary signal detection
Judgment Assumption H0 H1 H0 (H0/H0) (H0/H1) H1 (H1/H0) (H1/H1) 
下载: 导出CSV
表 2 不同阈值的检测判决结果
Table 2 Detection and judgment results of different thresholds
Threshold TP TN FP FN A MA FA Threshold1 93 3259 1766 2 0.6547 0.0211 0.9499 Threshold2 88 4511 514 7 0.8982 0.0737 0.8538 Threshold3 75 4959 80 20 0.9805 0.2105 0.5161
下载: 导出CSV
-
[1] 庞文正. 红外热成像在民用领域应用不断拓展市场前景不可限量[J]. 中国安防, 2020, 15(3): 62-65. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF202003013.htm PANG Wenzheng. The application of infrared thermal imaging in the civil field continues to expand and the market prospects are unlimited[J]. China Security, 2020, 15(3): 62-65. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGAF202003013.htm
[2] 刘成, 鲍可进. 基于图像处理的嵌入式自动报警系统[J]. 计算机工程与设计, 2007, 28(17): 4198-4199, 4269. DOI: 10.3969/j.issn.1000-7024.2007.17.045 LIU Cheng, BAO Kejin. Embedded automatic alarm system based on image processing[J]. Computer Engineering and Design, 2007, 28(17): 4198-4199, 4269. DOI: 10.3969/j.issn.1000-7024.2007.17.045
[3] 谈新权, 江柳, 刘伟宏. 红外热成像报警方法研究[J]. 激光与红外, 1997, 27(5): 286-291. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW199705012.htm TAN Xinquan, JIANG Liu, LIU Weihong. Research on infrared thermal imaging alarm method[J]. Laser and Infrared, 1997, 27(5): 286-291. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW199705012.htm
[4] 许彬, 郑链, 王永学, 等. 红外序列图像小目标检测与跟踪技术综述[J]. 红外与激光工程, 2004, 33(5): 44-49. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ200405011.htm XU Bin, ZHENG Lian, WANG Yongxue, et al. Overview of small target detection and tracking technology in infrared serial images[J]. Infrared and Laser Engineering, 2004, 33(5): 44-49. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ200405011.htm
[5] LI H, WEI Y T, LI L Q, et al. Infrared moving target detection and tracking based on tensor locality preserving projection[J]. Infrared Physics & Technology, 2010, 53(2): 77-83. http://www.onacademic.com/detail/journal_1000034076425010_63d8.html
[6] Sengar S S, Mukhopadhyay S. Moving object detection using statistical background subtraction in wavelet compressed domain[J]. Multimedia Tools & Applications, 2019, 12(12): 1-22. DOI: 10.1007/s11042-019-08506-z?utm_medium=affiliate&utm_content=meta
[7] 张晓露, 李玲, 辛云宏. 基于小波变换的自适应多模红外小目标检测[J]. 激光与红外, 2017, 47(5): 647-652. DOI: 10.3969/j.issn.1001-5078.2017.05.023 ZHANG Xiaolu, LI Ling, XIN Yunhong. Adaptive multi-mode infrared small target detection based on wavelet transform[J]. Laser and Infrared, 2017, 47(5): 647-652. DOI: 10.3969/j.issn.1001-5078.2017.05.023
[8] 秦剑, 陈钱, 钱惟贤. 基于光流估计和自适应背景抑制的弱小目标检测[J]. 光子学报, 2011, 40(3): 476-482. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201103032.htm QIN Jian, CHEN Qian, QIAN Weixian. Dim target detection based on optical flow estimation and adaptive background suppression[J]. Acta Photonica Sinica, 2011, 40(3): 476-482. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201103032.htm
[9] 詹令明, 李翠芸, 姬红兵. 基于显著图的红外弱小目标动态规划检测前跟踪算法[J]. 计算机辅助设计与图形学学报, 2019, 31(7): 1061-1066. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201907001.htm ZHAN Lingming, LI Cuiyun, JI Hongbing. Infrared dim target tracking algorithm based on saliency map dynamic programming before detection[J]. Journal of Computer Aided Design and Graphics, 2019, 31(7): 1061-1066. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201907001.htm
[10] 刘源, 李庆, 梁艳菊. 基于FPGA的红外目标自动检测系统[J]. 红外技术, 2019, 41(6): 521-526. http://hwjs.nvir.cn/article/id/hwjs201906005 LIU Yuan, LI Qing, LIANG Yanju. Infrared target automatic detection system based on FPGA[J]. Infrared Technology, 2019, 41(6): 521-526. http://hwjs.nvir.cn/article/id/hwjs201906005
[11] 徐鹏, 任波. 基于单高斯模型的森林火灾烟图像目标检测[J]. 计算机与现代化, 2009(2): 18-20. DOI: 10.3969/j.issn.1006-2475.2009.02.006 XU Peng, REN Bo. Forest fire smoke image target detection based on single Gaussian model[J]. Computer and Modernization, 2009(2): 18-20. DOI: 10.3969/j.issn.1006-2475.2009.02.006
[12] 朱华生, 叶军. 基于改进高斯模型的车流量检测算法[J]. 激光与红外, 2013, 43(10): 1180-1183. DOI: 10.3969/j.issn.1001-5078.2013.10.22 ZHU Huasheng, YE Jun. Vehicle flow detection algorithm based on improved Gaussian model[J]. Laser & Infrared, 2013, 43(10): 1180-1183. DOI: 10.3969/j.issn.1001-5078.2013.10.22
[13] 喻旭勇, 王直杰. 一种基于改进单高斯模型的运动目标提取方法[J]. 科学技术与工程, 2013, 13(13): 3609-3613. DOI: 10.3969/j.issn.1671-1815.2013.13.017 YU Xuyong, WANG Zhijie. A moving target extraction method based on improved single Gaussian model[J]. Science Technology and Engineering, 2013, 13(13): 3609-3613. DOI: 10.3969/j.issn.1671-1815.2013.13.017
[14] 王小平, 张丽杰, 常佶. 基于单高斯背景模型运动目标检测方法的改进[J]. 计算机工程与应用, 2009, 45(21): 122-124. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG200921035.htm WANG Xiaoping, ZHANG Lijie, CHANG Ji. Improvement of moving target detection method based on single Gaussian background model[J]. Computer Engineering and Applications, 2009, 45(21): 122-124. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG200921035.htm
[15] 吴一全, 孟天亮, 吴诗婳. 图像阈值分割方法研究进展20年(1994—2014)[J]. 数据采集与处理, 2015, 30(1): 1-23. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201501001.htm WU Yiquan, MENG Tianliang, WU Shihua. Research progress of image threshold segmentation methods for 20 years (1994-2014)[J]. Data Acquisition and Processing, 2015, 30(1): 1-23. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201501001.htm
[16] 李文杰, 闫世强, 胡磊, 等. 红外预警卫星系统虚警抑制技术综述[J]. 红外技术, 2020, 42(2): 115-120. http://hwjs.nvir.cn/article/id/hwjs202002002 LI Wenjie, YAN Shiqiang, Hu Lei, et al. Overview of false alarm suppression technology of infrared early warning satellite system[J]. Infrared Technology, 2020, 42(2): 115-120. http://hwjs.nvir.cn/article/id/hwjs202002002
[17] 鞠德航, 林可祥, 陈捷. 信号检测理论导论[M]. 北京: 科学出版社, 1997. JU Dehang, LIN Kexiang, CHEN Jie. Introduction to Signal Detection Theory[M]. Beijing: Science Press, 1997.
计量
- 文章访问数: 189
- HTML全文浏览量: 126
- PDF下载量: 45
