Improved Infrared Image Edge Detection Algorithm Based on DexiNed
-
摘要: 相对于可见光图像边缘检测，目前针对红外图像边缘检测的研究较少，且大多基于传统方法，如边缘检测算子、数学形态学等，其本质上都是只考虑红外图像局部的急剧变化来检测边缘，因而始终受限于低层次特征。本文提出了一种基于深度学习的红外图像边缘检测算法，在DexiNed（Dense Extreme Inception Network for Edge Detection）的基础上，缩减了网络规模，并在损失函数中引入了图像级的差异，精心设置了损失函数的参数，进而优化了网络性能。此外，还通过调整自然图像边缘检测数据集来近似模拟红外图像边缘检测数据集，对改进后的模型进行训练，进一步提高了网络对红外图像中边缘信息的提取能力。定性评价结果表明，本文方法提取的红外图像边缘定位准确、层次清晰、细节丰富、贴合人眼视觉，使用了SSIM（Structural Similarity Index Measure）和FSIM（Feature Similarity Index Measure）指标的定量评价结果进一步体现了本文方法相比于其他方法的优越性。Abstract: Compared with optical image edge detection, there are fewer studies on infrared image edge detection, and most of them are based on traditional methods, such as edge detection operators and mathematical morphology. In essence, they only consider the sharp local changes of infrared images to detect edges, so they are always limited by low-level features. In this paper, an infrared image edge detection algorithm based on deep learning is proposed. Based on the dense extreme inception network for edge detection (DexiNed), the network capacity is reduced by removing the last main block, the image level difference is introduced into the loss function, and the parameters of the loss function are carefully set to optimize the network performance. In addition, by adjusting the natural image edge detection dataset to approximate the infrared image edge detection dataset, the improved model was trained to enhance the edge detection ability. The qualitative evaluation results show that the edge of the infrared image extracted by our method is accurate, precise, rich in detail, and fits human vision. A quantitative evaluation using the structural similarity indexmatrix (SSIM) and feature similarity indexmatrix (FSIM) indexes further shows the advantages of our method compared with other existing methods.
-
Keywords:
- infrared image /
- edge detection /
- deep learning
-
0. 引言
冷反射是制冷红外系统中一种普遍的杂光效应[1]，也是评价和计算红外系统性能的重要指标之一[2]。冷反射是制冷型红外系统中探测器能够“看到”“自身反射”的“冷像”，它是从系统中各透镜表面反射回来进入光敏面的辐射[3]。因此，在制冷红外光学系统设计中，需合理选择光学结构形式，约束透镜形状、镜面像高、光线入射角、膜层透过率等指标，但上述指标与光学系统成像质量及边界尺寸要求相互制约，在含头罩窗口的光学成像制导系统中影响尤其明显。因此，在制冷红外光学系统研制生产前，通过建立数学仿真模型，进行光线追迹。对冷反射影响强度进行合理评价非常重要。
在进行制冷红外光学系统设计时，通常利用YNI（指近轴边缘光线在该面上的投射高度Y、入射角I和折射率N的乘积）与I/I-BAR（I是近轴边缘光线的入射角，I-BAR是近轴主光线的入射角，I/I-BAR反映的是该面产生的冷像噪声在系统视场范围内的变化情况）两个参数作为光学系统中各表面产生的冷反射强度的评价标准[4]。近年来，已经有相关文献讨论了相关的设计方法，如文献[5-7]推导并总结了冷反射引入温差（Narcissus induced equivalent temperature difference, NITD）和成像系统参数及环境参数的关系式，并进行了定量分析。文献[8]提出了差分阈值制冷红外系统冷反射校正法，文献[9]分析了一种基于光学优化设计的冷反射抑制的设计方法，文献[10]开展了制冷型红外热像仪冷反射效应的数理分析，文献[11-13]讨论了中波红外系统中冷反射的抑制等相关工作。
本文针对某中波红外制冷光学成像制导系统的需求，在满足系统指标要求的前提下合理布局，对系统的冷反射强度进行仿真分析和评估，利用工程样机进行冷反射对比实验，经实测仿真结果与实验现象基本一致，仿真方法准确有效。
1. 冷反射分析方法及流程
在制冷红外光学系统中，可以通过光学设计软件进行光线追迹仿真分析，根据分析结果进一步优化改进设计或者通过后期图像处理算法对图像进行标定校正进而对冷反射进行抑制。本文提出了一种通过ZEMAX光学设计软件，建立非序列数学仿真模型，通过逆向光线追迹方法，对由于镜片表面反射所形成的系统冷反射进行相对强度仿真，并给出仿真结果。冷反射示意图如图 1。
制冷红外光学系统冷反射分析流程如下所述：
1）由于冷反射现象为一种特殊的鬼像，所以在进行冷反射分析前，应先利用ZEMAX鬼像分析功能Ghost focus generator对系统进行鬼像分析，根据鬼像距离探测器像面的距离、成像大小、放大倍率等，找出鬼像比较严重的表面，对表面曲率半径进行修正优化，通过鬼像的筛选，给仿真分析提出方向性建议，减少后期ZEMAX的数据分析量；
2）在ZEMAX中建立非序列仿真模型，光学系统中透镜的透过率依据镀膜经验数据曲线设置，材料自身的透过率按照ZEMAX软件自定义进行设置。系统中所涉及的结构件如镜筒、隔圈、压圈建模导入系统中，并按照零件表面反射率进行赋值；
3）在探测器像面处设置黑体辐射光源及接收探测器，进行真实光线追迹，光源出射能量经透镜表面反射，在探测器光敏面上形成能量分布，即由于系统冷反射所引起的像面非均匀性。
通过上述方法建立数学仿真模型，模型示意图如图 2所示。
2. 消除或降低系统冷反射的技术手段
通过上述分析可知，消除或降低冷反射的主要技术途径有以下3种：
① 在进行光学设计时，严格控制透镜形状和光线偏折角度，提高冷光线在各个透镜表面上的反射角度，使其经过多次震荡返回光线无法反射到探测器像面处，不能形成明显光斑，并通过鬼像分析快速确定造成较严重冷反射的问题面，进行优化设计，在优化过程中自动减小或消除其影响。
② 对结构件尤其是镜筒、隔圈、压圈等进行表面氧化发黑或涂覆消光漆处理，降低结构件表面的反射率，加强对杂散光的散射，降低系统的冷反射。
③ 根据空间尺寸布局，合理选择结构形式，减少镜片数量，提升系统透过率，同时提高光学镜片的膜层透过率，降低单面反射率。从而降低杂散辐射光源经透镜表面反射进入系统形成冷反射。
3. 分析实例
3.1 光学系统设计指标及改进措施
以某中波红外制冷光学系统为例，原设计冷反射现象明显，在满足系统指标要求的情况下，对系统改进设计，进行冷反射仿真分析，同时开展冷反射实验进行对比，表 1为该光学系统的技术指标要求。图 3为改进前后光学系统图。
表 1 光学系统技术指标要求Table 1. The technical requirements of optical systemProject Numerical value Focal length 27 mm FOV 20°×16° F# 2 Format 640×512 Pixel pitch 15 μm×15 μm Operating temperature -40℃~+70℃ 针对光学系统冷反射问题主要采取如下改进措施：
1）优化光学结构，增加光学非球面，减少镜片数量，提高增透膜透过率要求，单个镜片透过率由98%提升至99%，降低由于透镜镀膜剩余反射所产生的冷反射现象，光学系统透过率由88.6%提高至96.1%（不含整流罩）。
2）控制透镜曲率半径，增大各光学表面的YNI数值，最小值由改进前的0.3585增加至1.2798，降低系统的冷反射。
3）利用ZEMAX软件建立非序列仿真模型，反向追迹，对系统各表面进行冷反射追迹，确定影响严重表面，在满足成像质量要求前提下，修改曲率半径，降低系统的冷反射。
改进前后光学系统对比表如表 2所示。
表 2 改进前后光学系统对比Table 2. The comparison of optical system before and after improvementProject Optical system (exclude gairing) Before improvement After improvement Lens number 6 4 YNImin 0.3585 (optical lens 5) 1.2798 (optical lens 1) Optical transmittance 88.6% 96.1% Aspheric surface 0 1(optical lens 3) 分析改进后光学系统各个透镜表面的冷反射影响，经分析透镜1（optical lens 1）的前表面影响较大，在满足成像质量要求前提下，修改曲率半径，进行迭代分析优化，降低系统的冷反射，透镜1优化前后分析结果如图 4。
![]()
图 4 透镜1改进前后分析对比Figure 4. The comparative analysis of optical lens 1 before and after improvement3.2 冷反射分析
来自于光学系统外部非目标产生的杂散辐射及工作过程中内部机械件由于升温产生的杂散辐射是影响像面非均匀性的主要因素。为了降低由于镜筒内壁反射及自身辐射所产生的杂散光影响，在光线经过的镜筒内壁增加消光螺纹和消光漆。假设镜筒内壁为镜面反射，反射率为3%，经过5次反射到达探测器像面，根据公式(1)可以计算到达像面能量。
$$ {R}_{系统}={R}^{n} $$ (1) 式中：R系统为系统杂光总反射率；R为镜筒内壁反射率，R＝3%；n为反射次数[14]，n＝5；经计算，R系统＝2.43×10－8。
通过ZEMAX光学设计软件对改进前后的光学系统进行对比仿真分析（环境参数赋值相同），建立非序列仿真，该模型主要包括整流罩、光学系统、机械件及探测器光敏面4部分。其中光学系统、探测器将模型直接导入，整流罩膜层透过率为0.85，其他光学镜片膜层透过率单面为0.98，结构支撑件反射率设为5%，光源的辐射能量设为1 W，进行实际光线追迹，非序列仿真模型如图 5所示，分析结果如图 6、图 7所示。
![]()
图 6 改进前后像面非均匀性灰度图分析对比Figure 6. The comparison of non-uniformity grayscale image before and after improvement![]()
图 7 改进前后像面非均匀性曲线分析对比Figure 7. The comparison of non-uniformity curve of the image before and after improvement从分析结果可以看出，改进前系统像面非均匀性灰度图有明显凸台边界，改进后系统的像面非均匀性灰度图弥散性好，无明显边界突变；改进前系统像面非相干照度非均匀性为40%，冷反射较明显，改进后系统像面非相干照度非均匀性曲线平滑，中心与边缘差异较小，像面均匀性较好，非均匀性为13%，冷反射现象基本消除。
4. 冷反射成像实验
完成精密装校的工程样机如图 8所示，成像效果如图 9所示。同时开展了工程样机冷反射成像实验，改进前后冷反射成像效果如图 10所示，从实验结果可以看出，改进后系统成像质量优良，冷反射成像效果与仿真结果基本一致，进一步证明仿真方法的有效性。
5. 结论
本文利用ZEMAX光学设计软件建立非序列数学仿真模型，提出了进行冷反射分析的分析流程及有效解决和降低冷反射的效应的技术途径。并以某中波红外光学系统为例，对光学系统进行改进优化设计，经分析改进后光学系统冷反射由40%下降到13%。并开展了工程样机研制和冷反射实验，实验与仿真结果基本一致。表明该分析方法能准确地反映红外光学系统中的冷反射实际情况，可作为制冷红外光学系统研制生产前的判定依据。
-
![]()
图 1 几种图像边缘检测方法提取红外图像边缘的效果对比：(a)红外图像（来源于FLIR红外数据集）；(b)Canny算子的边缘检测结果；(c)BDCN[12]的边缘检测结果；(d)本文方法的边缘检测结果
Figure 1. Comparison of several image edge detection methods to extract infrared image edge: (a) is an example infrared image from FLIR Thermal Dataset (www.flir.com); (b) is the result of the Canny edge detector; (c) is the result of BDCN[12]; (d) is the result of our method
![]()
图 2 DexiNed网络结构和精简后的网络（位于虚线框中）
Figure 2. Network architecture of DexiNed[14] and simplified one(in dotted box)
![]()
图 3 可见光图像转变为模拟红外图像的过程
Figure 3. The process of transforming an optical image into a simulated infrared image
![]()
图 4 测试结果对比
Figure 4. Comparison of test results
Infrared image Result 1 Result 2 Result 3 ![]()
图 5 在IR-BIPED数据集上训练前后的网络测试结果对比
Figure 5. Network test before and after training on IR-BIPED dataset
![]()
图 6 不同边缘检测方法的结果对比
Figure 6. Results of different methods
Image-1 Image-2 Image-3 Image-4 Infrared image Enhanced Canny[3] Improved ant colony [5] RCF[11] BDCN[12] Our method ![]()
图 7 不同方法在图像1上测试后的定量结果对比
Figure 7. Comparison of quantitative results of different methods on image1
![]()
图 8 不同方法在图像2上测试后的定量结果对比
Figure 8. Comparison of quantitative results of different methods on image2
![]()
图 9 不同方法在图像3上测试后的定量结果对比
Figure 9. Comparison of quantitative results of different methods on image3
![]()
图 10 不同方法在图像4上测试后的定量结果对比
Figure 10. Comparison of quantitative results of different methods on image4
表 1 网络准确度对比1
Table 1 Comparison of network accuracy-1
Baseline Simplified epoch 1 0.8991782 0.8991683 epoch 2 0.8993612 0.8995107 epoch 3 0.8993013 0.8994964 
下载: 导出CSV
表 2 网络准确度对比2
Table 2 Comparison of network accuracy-2
Baseline Simplified+designed loss epoch 1 0.8991875 0.9012373 epoch 2 0.8991702 0.9105164 epoch 3 0.8992519 0.9097796
下载: 导出CSV
-
[1] 夏清, 胡振琪, 位蓓蕾, 等. 一种新的红外热像仪图像边缘检测方法[J]. 红外与激光工程, 2014, 43(1): 318-322. DOI: 10.3969/j.issn.1007-2276.2014.01.056 XIA Qing, HU Zhenqi, WEI Beilei, et al. New edge detection method for images of infrared thermal imager[J]. Infrared and Laser Engineering, 2014, 43(1): 318-322. DOI: 10.3969/j.issn.1007-2276.2014.01.056
[2] 唐庆菊, 刘俊岩, 王扬, 等. 基于模糊C均值聚类和Canny算子的红外图像边缘识别与缺陷定量检测[J]. 红外与激光工程, 2016, 45(9): 281-285. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201609042.htm TANG Qingju, LIU Junyan, WANG Yang, et al. Infrared image edge recognition and defect quantitative determination based on the algorithm of fuzzy C-means clustering and Canny operator[J]. Infrared and Laser Engineering, 2016, 45(9): 281-285. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201609042.htm
[3] Minh V H, Aleef T A, Pervaiz U, et al. Smoothness-based Edge Detection using Low-SNR Camera for Robot Naviga-tion[J/OL]. arXiv preprint arXiv: 1710.01416, 2017.
[4] LIU Lisang, LIANG Fenqiang, ZHENG Jishi, et al. Ship infrared image edge detection based on an improved adaptive Canny algorithm[J]. International Journal of Distributed Sensor Networks, 2018, 14(3): 51-57. http://www.onacademic.com/detail/journal_1000040876503810_4fec.html
[5] QIAO B M, LI S, XIAO Y. Infrared image edge detection applied research based on improved ant colony algorithm[C]//Proceedings of the 2015 International conference on Applied Science and Engineering Innovation, 2015: 31.
[6] 王凤. 结合蚁群搜索与边缘检测的红外轮廓提取算法[J]. 激光与红外, 2015, 45(6): 722-727. DOI: 10.3969/j.issn.1001-5078.2015.06.025 WANG Feng. Infrared contour extraction algorithm based on ants search and edge detection[J]. Laser & Infrared, 2015, 45(6): 722-727. DOI: 10.3969/j.issn.1001-5078.2015.06.025
[7] ZHANG X, HAN R. The Application of Mathematical Morphology and Sobel Operator in Infrared Image Edge Detection[C]//International Industrial Informatics & Computer Engineering Conference, 2015: 949-954.
[8] YIN J, LU Y, GONG Z, et al. Edge Detection of High-Voltage Porcelain Insulators in Infrared Image Using Dual Parity Morphological Gradients[J]. IEEE Access, 2019, 26(7): 32728-32734. http://www.onacademic.com/detail/journal_1000042299647699_6769.html
[9] Bertasius G, SHI J, Torresani. Deep Edge: A Multi-Scale Bifurcated Deep Network for Top-Down Contour Detection[C]//Computer Vision & Pattern Recognition. IEEE, 2015: 4380-4389.
[10] XIE S, TU Z. Holistically-nested edge detection[C]//Proceedings of the IEEE international conference on computer vision, 2015: 1395-1403.
[11] LIU Y, CHENG M M, HU X, et al. Richer convolutional features for edge detection[C]//Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference, 2017: 5872-5881.
[12] HE J, ZHANG S, YANG M, et al. Bidirectional cascade network for perceptual edge detection[J/OL]. arXiv preprint arXiv: 1902.10903, 2019.
[13] DENG R, SHEN C, LIU S, et al. Learning to predictcrisp boundaries [C]//European Conference on Computer Vision, 2018: 1-17.
[14] Xavier Soria, Edgar Riba, Angel D. Sappa. Dense Extreme Inception Network: Towards a Robust CNN Model for Edge Detection[J/OL]. arXiv preprint arXiv: 1909.01955v2, 2020.
[15] 焦安波, 何淼, 罗海波. 一种改进的HED网络及其在边缘检测中的应用[J]. 红外技术, 2019, 41(1): 72-77. http://hwjs.nvir.cn/article/id/hwjs201901011 JIAO Anbo, HE Miao, LUO Haibo. Research on Significant Edge Detection of Infrared Image Based on Deep Learning[J]. Infrared Technology, 2019, 41(1): 72-77. http://hwjs.nvir.cn/article/id/hwjs201901011
[16] Mely D A, Kim J, McGill M, et al. A systematic comparison between visual cues for boundary detection[J]. Vision Research, 2016, 120: 93-107. DOI: 10.1016/j.visres.2015.11.007
[17] Grigorescu C, Petkov N, Westenberg M A. Contour detection based on nonclassical receptive field inhibition[J]. IEEE Transactions on image processing, 2003, 12(7): 729-739. DOI: 10.1109/TIP.2003.814250
[18] Martin D, Fowlkes C, Tal D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001, 2: 416-423.
[19] Arbelaez P, Maire M, Fowlkes C, et al. Contour detection and hierarchical image segmentation[J]. IEEE Trans. Pattern Anal. Mach. Intell., 2011, 33(5): 898-916. DOI: 10.1109/TPAMI.2010.161
[20] Silberman N, HoiemD, Kohli P, et al. Indoor segmentation and support inference from RGBD images[C]//European Conference on Computer Vision, 2012: 746-760.
[21] Mottaghi R, CHEN X, LIU X, et al. The role of context for object detection and semantic segmentation in the wild[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 891-898.
[22] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J/OL]. arXiv preprint arXiv: 1409.1556, 2014.
[23] LI N, SU Z, CHEN Z, et al. A real-time aircraft infrared imaging simulation platform[J]. Optik International Journal for Light & Electron Optics, 2013, 124(17): 2885-2893. http://or.nsfc.gov.cn/bitstream/00001903-5/94940/1/1000006643792.pdf
[24] Davis J, Keck M. A Two-Stage Template Approach to Person Detection in Thermal Imagery[C]// 2005 Seventh IEEE Workshops on Applications of Computer Vision, 2005, 1: 364-369.
[25] WANG Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans Image Process, 2004, 13(4): 967-981. http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=1CEF39B23BCE926AD6D155479B134452?doi=10.1.1.11.2477&rep=rep1&type=pdf
[26] ZHANG L, ZHANG L, MOU X, et al. FSIM: A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386. DOI: 10.1109/TIP.2011.2109730
计量
- 文章访问数: 857
- HTML全文浏览量: 392
- PDF下载量: 123
