Fruit Thermal Imaging Detection Based on Laplacian of Gaussian Algorithm
-
摘要: 传统的水果分级与损伤检测大多采用感官评定的方法，随着计算机视觉技术的发展，计算机视觉检测分级技术发展迅速。研究中针对解决水果损伤部位检测的问题提出了一种利用图像处理技术对水果热成像损伤部位进行检测的技术方案。本方案采用Laplacian of Gaussian（LoG）算法对损伤部位进行检测，使用高斯卷积模板抑制噪声，通过设置不同的卷积核尺寸以及σ值获得不同的卷积滤波结果，加强了图像中损伤部位的色彩程度，进而更好地利用边缘检测技术获取损伤部位的边缘信息。采用具有局部损伤的苹果作为研究对象，选取有参考和无参考等5种评价方法，分析卷积过程对于损伤部位边缘检测的影响。结果表明，在水果热成像中LoG算法可以有效地检测水果的损伤部位，卷积核尺寸对于水果损伤部位边缘检测结果的影响远大于σ值，通过增大卷积核尺寸可以有效地加深损坏部分的边缘信息，研究为水果损伤区域检测提供了一种可行的解决方案。Abstract: Traditional fruit grading and damage detection mostly use sensory evaluation methods. With the development of computer vision technology, automatic computer vision detection and grading technology developed rapidly. To solve the problem of fruit damage detection, we propose a technical scheme for fruit thermal imaging damage detection using image processing technology. In this scheme, the Laplacian of Gaussian (LoG) algorithm was used to detect the damaged parts; a Gaussian convolution template is used to suppress noise. Different convolution filter results were obtained by varying the convolution kernel sizes and σ values to enhance the color degree of the damaged part in the image. Then, the edge detection technology was used to obtain the edge information of the damaged part. In the experiment, apples with local damage were selected as the research object, and five evaluation methods, including references and non-references, were selected to analyze the influence of the convolution process on the edge detection of damaged parts. The experimental results show that the LoG algorithm can effectively detect the damaged parts of fruits during thermal imaging, and the influence of the convolution kernel size on the edge detection results is far greater than the value of σ. By increasing the size of the convolution kernel, the edge information of the damaged parts can be effectively deepened. This study provides a feasible solution for fruit damage area detection.
-
Keywords:
- fruit damage /
- thermal imaging LoG algorithm /
- edge detection
-
0. 引言
随着红外制导技术的迅速发展，成像型导引头由于其灵敏度高、探测距离远、全天候工作等特点在现代战争中发挥了重要的作用[1]。为有效抑制红外成像制导武器，激光定向干扰技术在近年得到重点发展，并有望成为未来红外对抗的主要方式。
作为成像型导引头的核心器件红外探测器，由于其芯片灵敏度高、材料强度低，极易受到激光的干扰和损伤。因此，红外探测器的激光干扰、毁伤等问题受到世界各国的普遍重视。美国佐治亚理工（Georgia Tech）的信号技术实验室于20世纪90年代末研制开发了红外探测成像仿真系统（imaging simulation for infrared sensors，ISIS）用于红外成像导引头信号处理和红外对抗方面的研究[2]；美国McDonnell Douglas公司研制了专门的激光辐照光电探测器的检测设备。以实验物理学家Bartoli为代表的一大批科学家开展了大量激光损伤探测器靶材的实验，得出了一批有价值的各类探测器损伤阈值[3]。国内也已开展了大量关于激光损伤效应的实验和理论研究工作，如中国科学院长春光学精密机械与物理研究所开展了激光对长波红外HgCdTe探测器干扰的实验研究[4]；中国空空导弹研究院针对探测器窗口蓝宝石开展了长波连续激光热力学损伤特性研究[5]；西安电子科技大学与中国空空导弹研究院联合开展了基于激光干扰红外成像系统的调制传递函数研究[6]。国防科技大学郑鑫等研究了波段外连续激光辐照对锑化铟探测器影响[7]。
本文主要针对中波InSb光伏型红外面阵探测器开展波段内脉冲激光定向干扰试验，通过试验分析InSb面阵探测器对波段内脉冲激光干扰的响应特性、损伤模式及损伤阈值，为后续及激光定向干扰研究提供理论支持。
1. 激光对红外探测系统的干扰机理
激光干扰主要是利用激光束辐照，使系统的红外探测器饱和或暂时失效，从而导致目标无法检出，失去制导能力[8]。激光对红外成像系统干扰的机理实质上就是利用激光高度集中的能量来辐照成像系统的红外探测器，使红外探测系统光电信号饱和、信号处理通道阻塞、甚至破坏红外探测器，使导弹丢失目标，从而使目标脱离导弹视场范围，激光干扰成像过程如图 1所示。
激光器发射激光，经过大气传输至光学系统上，光学系统接收能量并将能量会聚到探测器上。因此可以把激光能量传输的过程表示为：激光光束→大气传输→光学系统→探测器。激光在到达探测器焦平面前，存在诸多影响因素，可归纳为发散角、功率、波长等激光干扰的本征特征和大气、光学系统等外部特性[9]。
激光定向干扰技术利用激光束的相干性，将能量集中到很小的空间立体角内，并照射到红外成像系统实现诱骗、致眩和毁伤，从而使导弹失去制导能力。其中毁伤又分为致盲（波段内毁伤）和波段外毁伤，致盲一般是指采用波段内大功率激光器照射探测器使整个面阵饱和甚至直接破坏芯片，使其失去探测能力；而波段外毁伤是采用波段外超大功率的激光器，直接破坏红外成像系统光学元件、探测器，此处不加以讨论。接下来将针对波段内脉冲激光对中波InSb红外面阵探测器干扰特性进行研究。
2. 激光干扰试验
试验在实验室环境完成，试验装置主要包括激光干扰装置、红外成像探测系统、测试设备，试验布局如图 2所示。红外成像探测系统布置在一侧，激光干扰装置布置在另外一侧，两者之间的距离为5 m。激光从激光器中发出后，通过平行光管和扩束装置后，达到红外探测系统。
干扰对象为红外探测系统，该系统由光学分系统、红外成像探测器及其处理板组成。光学分系统采用折返式光学结构，成像探测器为128×128阵列的InSb探测器，响应光谱范围为3~5 μm。试验激光器输出中心波长设置为4.1 μm，频率为110 Hz。经过扩束装置后光斑直径为100 mm。通过功率计标定红外成像系统镜前功率密度。调整光路中的衰减片，从而改变干扰激光能量密度。
3. 试验结果分析
试验中，激光采用垂直入射方式，监测不同能量密度激光照射红外探测系统后，探测器输出的图像，分析激光对InSb面阵探测器的干扰、损伤特性。
3.1 干扰特性
在重复频率、占空比一定的情况下，不同能量密度脉冲激光在探测器上形成的光斑分布情况如图 3所示。图中(a)、(b)、(c)、(d)对应的脉冲激光能量密度分别为2×10-6 J/cm2、8×10-6 J/cm2、6×10-5 J/cm2、1×10-4 J/cm2。可发现随着干扰激光能量密度的增加，探测器输出的红外图像上的干扰光斑持续增大。
![]()
图 3 不同能量密度脉冲激光干扰效果图Figure 3. Jamming effect of different energy density in pulsed-laser干扰光斑大小随干扰激光能量密度变化过程如图 4所示。当焦面能量密度小于10-5 J/cm2时，光斑面积较小，与目标相似，此时激光对红外成像系统干扰主要是诱骗。但当焦面能量密度大于10-5 J/cm2时，干扰光斑随激光能量的增加迅速变大，光学系统的内部反射也随之增强，激光对红外成像系统干扰主要是致眩效果。当焦面能量密度达到10-3 J/cm2时光斑占满视场但未仍饱和，但目标与激光干扰的分离更加困难。
![]()
图 4 不同能量密度激光干扰下探测器干扰光斑大小Figure 4. Pixels of jamming spot varying with energy density of jamming laser干扰激光能量继续增加，探测器面阵也没有达到饱和。只有当焦面能量密度达到10-1 J/cm2时，干扰光斑中心像元性能下降，周围相邻像元才出现饱和现象，干扰去除后，中心像元对人体温度的红外辐射已无响应。当能量密度继续增大时，中心像元彻底损坏，周围相邻像元饱和现象消失。饱和像元数变化情况如图 5所示。
![]()
图 5 饱和像元数随干扰激光能量变化情况Figure 5. Saturation pixels of jamming spot varying with energy density of jamming laser图 6为干扰光斑平均灰度和中心像元灰度与干扰激光能量密度的关系曲线。如图 6所示，当干扰激光能量小于10-6 J/cm2时，干扰光斑的平均灰度随干扰激光能量密度的增加而增大；当干扰激光能量在10-6 J/cm2~10-3 J/cm2之间时光斑的平均灰度随激光能量增加开始下降，主要是此时光斑面积迅速增大，致眩效果增强导致光斑平均灰度降低；当干扰激光能量密度大于10-3 J/cm2时，干扰光斑接近全屏后，其平均灰度随干扰激光能量密度的增加又开始增大，增大趋势逐渐趋缓。
![]()
图 6 光斑平均灰度、中心像元灰度随激光能量变化情况Figure 6. Average gray of jamming spot and central pixel gray varying with energy density of jamming laser图 7为不同能量密度激光干扰下探测器输出图像的三维灰度图。图中(a)、(b)、(c)、(d)对应的干扰激光焦面能量密度分别为10-6 J/cm2、10-5 J/cm2、10-4 J/cm2、10-2 J/cm2。
![]()
图 7 不同能量密度激光干扰下探测器三维灰度图Figure 7. Gray scale image of InSb FPA detector with different energy density jamming laser干扰光斑中心像元灰度与光斑平均灰度一样，随着干扰激光能量的增加也是先增大后减小，当焦面能量密度小于10-5 J/cm2时，中心像元的灰度随干扰激光的能量升高而增大，中心像元处于正常的响应状态；当焦面能量密度达到10-5 J/cm2以后，探测器出现信号记忆效应，输出电压降低，此时干扰光斑中心像元的灰度随着干扰激光能量的增加开始降低；当干扰激光能量达到10-2 J/cm2，中心像灰度迅速增加。具体变化过程如图 6所示。
3.2 损伤特性
当干扰激光焦面能量密度达到10-1 J/cm2，中心像元出现热损伤，探测器p-n结退化，探测器的暗电阻增加，光电探测器对信号光的响应率下降，表现为此时中心像元对人体温度的红外辐射没有响应。这种热损伤不可逆且可以积累，随着干扰激光能量密度的继续增加，当干扰激光焦面能量密度达到2×10-1 J/cm2时，探测器光敏芯片出现硬损伤，干扰光斑中心的像元损坏，失去探测能力，实现了波段内激光干扰局部致盲的效果。图 8中(a)、(b)分别为探测器焦平面能量密度为2×10-1 J/cm2激光照射前后探测器成像图。图(a)为激光照射前探测器对均匀背景的成像图，图中可见有4处盲元。图(b)为激光照射后探测器对同一均匀背景的成像图，图像增加一处盲元，如图内圆圈处所示。这主要是由于探测器芯片被激光照射后出现了点损伤，导致像面出现新的盲元簇。试验中，在激光功率不变的条件下，继续增加照射次数，损伤像元数会有所增加，但增大到一定范围后基本维持不变。
脉冲激光的辐照功率继续增大，当焦面能量密度达到4×10-1 J/cm2时，InSb探测器开始出现线损伤，如图 9(a)所示，图中白色线条为线损伤。脉冲激光照射次数继续增加，探测器线损伤情况加剧如图 9(b)所示。当照射次数累积到一定程度，线损伤情况不再变化，但探测器的整个像面探测率下降约30%左右，具体成像效果如图 9(c)所示。
![]()
图 9 不同激光照射次数下InSb面阵探测器线损伤情况Figure 9. Line damage of InSb FPA detector with different times of laser irradiation通过试验发现，探测器芯片在脉冲激光照射下已经出现大面积裂纹，但探测器窗口、滤光片等光学元件依然完好，与波段外激光毁伤效果明显不同。受试验激光器条件限制，本次试验未实现探测器全区域致盲，但在波段内脉冲激光定向干扰下探测能力已显著下降。
4. 结语
对于中心波长为4.1 μm，频率为110 Hz的脉冲激光，随着干扰激光能量密度的增加，干扰光斑的大小随之变大直到占满全屏；干扰光斑的平均灰度和中心像元灰度随干扰激光能量密度的增加经历一个先增大再减小然后又增大的过程；低频脉冲激光干扰很难让探测器达到全屏饱和。
当焦面能量密度小于10-5 J/cm2时，脉冲激光对红外成像系统干扰主要是诱骗。当焦面能量密度大于10-5 J/cm2时，激光对红外成像系统干扰主要是致眩。当干扰激光焦面能量密度达到2×10-1 J/cm2，InSb面阵探测器出现点损伤；当焦面能量密度达到4×10-1 J/cm2时，探测器出现线损伤，整个像面探测率下降30%左右。
由此可知，低频脉冲激光对InSb面阵探测器干扰的光学效应有限，热学效应可使探测器出现点损伤、线损伤，从而使探测器局部致盲、探测能力显著下降。若脉冲激光功率足够大，完全有可能毁伤探测器整个芯片，使其彻底失去探测能力。
-
表 1 滤波结果量化值
Table 1 Quantized value of filtering results
MSE σ＝5 σ＝10 σ＝20 σ＝30 σ＝40 σ＝50 K=7 932.33 1033.55 1159.55 1157.57 1159.55 1159.21 K=9 1850.98 2007.50 2525.38 2559.60 2561.29 2562.35 K=11 3331.90 3340.24 4442.35 4816.12 4823.55 4826.10 K=13 5057.46 5913.20 5876.27 5954.22 5985.96 6002.32 PSNR K=7 18.4351 17.9875 17.4879 17.4953 17.4879 17.4892 K=9 15.4568 15.1043 14.1075 14.0491 14.0462 14.0444 K=11 12.9093 12.8930 11.6547 11.3038 11.2971 11.2948 K=13 11.0915 10.4126 10.4398 10.3826 10.3595 10.3476 SSIM K=7 0.961849 0.955389 0.948082 0.948056 0.948080 0.948086 K=9 0.922108 0.926302 0.913651 0.911872 0.911722 0.911521 K=11 0.834795 0.842830 0.793065 0.773563 0.773045 0.772895 K=13 0.732744 0.712764 0.753693 0.755303 0.756641 0.756533 Laplacian K=7 10.3903 11.1540 10.96140 10.3558 10.2464 10.2421 K=9 9.63460 9.54343 10.63036 9.35341 9.34649 9.13412 K=11 6.36219 6.24669 7.62676 7.15089 7.03636 7.00650 K=13 6.66614 6.64652 7.12676 6.76413 6.57969 6.29320 Variance K=7 1730.12 1736.66 1722.77 1666.19 1679.57 1679.31 K=9 1426.23 1456.53 1367.94 1373.06 1366.66 1364.33 K=11 1319.41 1397.31 1252.20 1274.32 1272.49 1272.55 K=13 691.399 510.973 563.156 614.730 633.922 630.566 
下载: 导出CSV
-
[1] 李广, 吴限鑫, 王建忠, 等. 水果功能性营养成分及其检测技术研究进展[J]. 农产品质量与安全, 2019(5): 75-80. DOI: 10.3969/j.issn.1674-8255.2019.05.015 LI Guang, WU Xianxin, WANG Jianzhong, et al. Research progress on functional nutrients in fruit and related testing technology: a reviewv[J]. Quality and Safety of Agro-products, 2019(5): 75-80. DOI: 10.3969/j.issn.1674-8255.2019.05.015
[2] 车远侠. 水果科普知识在学前教育中的作用——评《水果的秘密》[J]. 中国果树, 2019(6): 28. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGS201906051.htm CHE Yuaxia. The role of fruit science knowledge in preschool education—Comment on "The Secret of Fruits"[J]. China Fruits, 2019(6): 28. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGS201906051.htm
[3] 李承龙, 鲁明丽. 基于边缘检测技术的果品分级方法研究[J]. 常熟理工学院学报, 2018, 32(2): 78-82. DOI: 10.3969/j.issn.1008-2794.2018.02.017 LI Chenglong, LU Mingli. Fruits Grading Algorithm Based on Detection Technology[J]. Journal of Changshu Institute of Technology, 2018, 32(2): 78-82. DOI: 10.3969/j.issn.1008-2794.2018.02.017
[4] 李娟. 数字处理技术在果品分级中的应用——评《水果品质智能分级技术》[J]. 中国果树, 2019(6): 23. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGS201906046.htm LI Juan. Application of Digital Processing Technology in Fruit Grading——Comment on "Fruit Quality Intelligent Grading Technology"[J]. China Fruits, . 2019(6): 23. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGS201906046.htm
[5] 张妍. 果蔬农产品质量安全现状分析[J]. 农业科技与信息, 2019(22): 34-35, 39. DOI: 10.3969/j.issn.1003-6997.2019.22.015 ZHANG Yan. Analysis on the Status Quo of Quality and Safety of Fruits, Vegetables and Agricultural Products[J]. Agricultural Science-Technology and Information, 2019(22): 34-35, 39. DOI: 10.3969/j.issn.1003-6997.2019.22.015
[6] 肖付才, 靳雯雯. 数字图像边缘检测算法及在农产品检测中的运用[J]. 热带农业工程, 2019, 43(1): 133-135. https://www.cnki.com.cn/Article/CJFDTOTAL-RDZW201901046.htm XIAO Fucai, Jin Wenwen. Algorithm of Digital Image Detection and Its Application in Agricultural Product Processing[J]. Tropical Agricultural Engineering, 2019, 43(1): 133-135. https://www.cnki.com.cn/Article/CJFDTOTAL-RDZW201901046.htm
[7] QIU S S, WANG J. Application of Sensory Evaluation, HS-SPME GC‐MS, E‐Nose, and E‐Tongue for Quality Detection in Citrus Fruits[J]. Journal of Food Science, 2015, 80(10): s2296-s2304. DOI: 10.1111/1750-3841.13012
[8] 马康凌, 杨绍林, 刀静梅. 中国农产品检测技术现状与展望[J]. 云南农业科技, 2019(2): 60-63. DOI: 10.3969/j.issn.1000-0488.2019.02.024 MA Kangling YANG Shaolin, DAO Jingmei. Current Status and Prospects of Agricultural Products Testing Technology in China[J]. Yunnan Agricultural Science and Technology, 2019(2): 60-63. DOI: 10.3969/j.issn.1000-0488.2019.02.024
[9] 徐赛, 孙潇鹏, 张倩倩. 大型厚皮水果的无损检测技术研究[J]. 农产品质量与安全, 2019(5): 30-35, 48. DOI: 10.3969/j.issn.1674-8255.2019.05.007 XU Sai, SUN Xiaopeng, ZHANG Qianqian. Research progress on nondestructive testing technology applied to large thick-skinned fruit[J]. Quality and Safety of Agro-products, 2019(5): 30-35, 48. DOI: 10.3969/j.issn.1674-8255.2019.05.007
[10] 门洪, 陈鹏, 邹丽娜, 等. 基于主动热红外技术的苹果损伤检测[J]. 中国农机化学报, 2013, 34(6): 220-224, 229. DOI: 10.3969/j.issn.2095-5553.2013.06.053 MEN Hong, CHEN Peng, ZOU Lina, et al. Apples'damage detection based on active thermal infrared technique[J]. Journal of Chinese Agricultural Mechanization, 2013, 34(6): 220-224, 229 DOI: 10.3969/j.issn.2095-5553.2013.06.053
[11] 周建民, 周其显. 基于主动热成像技术的苹果早期机械损伤检测[J]. 农机化研究, 2010, 32(8): 162-165. DOI: 10.3969/j.issn.1003-188X.2010.08.042 ZHOU Jianmin, ZHOU Qixian. Detection of Early Mechanical Danage inApple Based on Active Thermal Imaging[J]. Journal of Agricultural Mechanization Research, 2010, 32(8): 162-165. DOI: 10.3969/j.issn.1003-188X.2010.08.042
[12] 马超. 基于多尺度多方向的图像边缘检测算法研究及其应用[D]. 开封: 河南大学, 2019. MA Chao. Research and Application of Image Edge Detection Algorithm Based on Multi-scale and Multi-direction[D]. Kaifeng: Henan University, 2019.
[13] 钟艺晶. 一种绝缘子串红外图像的特征提取方法研究[J]. 机电信息, 2020(21): 86-87. DOI: 10.3969/j.issn.1671-0797.2020.21.042 ZHONG Yijing. Research on a Feature Extraction Method of Infrar-ed Image of Insulator String[J]. Mechanical and Electrical Information, 2020(21): 86-87. DOI: 10.3969/j.issn.1671-0797.2020.21.042
[14] 黄玉蕾. 基于形态学滤波结合LOG算法的边缘检测[J]. 计算机测量与控制, 2019, 27(7): 257-260, 284. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201907055.htm HUANG Yulei. Edge Detection Based on Morphological Filtering Combined with LOG Algorithm[J]. Computer Measurement & Control, 2019, 27(7): 257-260, 284. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201907055.htm
[15] 张阳, 刘缠牢, 卢伟家, 等. 基于LoG算子的双滤波边缘检测算法[J]. 电子测量技术, 2019, 42(4): 95-98. https://www.cnki.com.cn/Article/CJFDTOTAL-DZCL201904017.htm ZHANG Yang, LIU Chanlao, LU Weijia, et al. Improved double fi-ltering LoG operator edge detection[J]. Electronic Measurement Technology, 2019, 42(4): 95-98. https://www.cnki.com.cn/Article/CJFDTOTAL-DZCL201904017.htm
[16] 贺萌. 基于自适应形态学的边缘检测及应用[D]. 长沙: 中南大学, 2013. HE Meng. Edge Detection Based on an Adaptive Morphology Algorithm and Application[D]. Changsha: Central South University, 2013.
[17] SLANINA M, RICNY V. Estimating PSNR in High Definition H. 264/AVC Video Sequences Using Artificial Neural Networks[J]. Radio Engineering, 2008, 17(3): 103-108. http://www.oalib.com/paper/2490847
计量
- 文章访问数: 315
- HTML全文浏览量: 57
- PDF下载量: 46
