Multi-Target Detection of Low-Illuminance Scene Based on Polarization Image
-
摘要: 偏振光反射信息可直接反演目标本征特性，且在传输过程中具备较强的抗干扰特性，因此偏振成像技术可适用于多种复杂环境中的智能监控、交通监察领域。近年来使用深度学习判读图像检测目标的方法迅速发展，已经广泛应用于图像处理的各个领域。本文提出了一种基于偏振图像与深度神经网络算法的行人、车辆多目标检测算法YOLOv5s-DOLP。首先，通过实时获取到偏振图像进行偏振信息解析，获取目标偏振度图像。其次，为增强偏振度图像中检测目标与背景存在高对比度的特性，在主干网络中引入通道注意力与空间注意力，提升网络特征进行自适应学习的能力。此外，使用K-means算法对目标位置信息进行聚类分析，加快网络在偏振度图像的学习速度，提升目标检测精度。实验结果显示，该算法结合了偏振成像和深度学习目标检测的优势，对于低照度复杂场景中的车辆、行人目标检测效果好、检测速度快，对于道路车辆的目标检测、识别与跟踪具有一定的应用价值。Abstract: Polarized light reflection information can directly invert the intrinsic characteristics of a target and has strong anti-interference characteristics in the transmission process. Thus, polarization imaging technology can be applied to the fields of intelligent monitoring and traffic monitoring in various complex environments. In recent years, deep-neural-network methods for interpreting image detection targets have been developed rapidly and widely used in various fields of image processing. In this study, a vehicle multi-target detection algorithm based on polarized images and deep learning is proposed. First, the target polarization degree image can be obtained by acquiring the polarization image in real time and analyzing the polarization information. Second, to enhance the high contrast between the detection targets and the background in the polarization image, channel attention and spatial attention are introduced into the backbone network to improve the ability of the network features to perform adaptive learning. In addition, the K-means algorithm is used to perform clustering analysis on the target location information, thereby increasing the network's learning speed in the polarization image and improving the progress of target detection. The experimental results show that this method is effective and fast for vehicle detection in complex scenes with low illumination. This method combines the advantages of polarization imaging and deep-learning target detection and has substantial application scope in road vehicle target detection, recognition, and tracking.
-
Keywords:
- polarization image /
- neural network /
- YOLO v5s /
- multi-target detection /
- attention mechanism
-
0. 引言
微通道板（microchannel plate，MCP）是由数百万个孔径微米级的通道式电子倍增器排列而成的二维电子倍增器阵列，因其出色的位置分辨及时间分辨性能，广泛应用于微光像增强器、微通道板光子探测器、微通道板型光电倍增管、质谱分析、空间粒子探测等领域[1-7]。开口面积比是微通道板的一项重要指标，指的是微通道板工作区的通道开口面积与整个工作区面积之比，开口面积比决定微通道板的探测效率，并在一定程度上影响微通道板的噪声因子[1]。近年来，随着微通道板制造技术进步，像增强器用小孔径MCP的开口面积比可超过65%，部分探测级微通道板开口面积比可达到70%，进一步追求大的开口面积比给微通道板的工艺制造带来非常大的困难。
在常规MCP制造工艺之外，提升微通道板开口面积比的另一个途径为MCP扩口技术，即将微通道板输入面的通道口处理成漏斗状，使开口面积比显著提升，达到80%甚至90%以上，在微光夜视仪、粒子探测器等军用、民用领域具有巨大的应用潜力。美国Galileo、日本Hamamatsu、南京理工大学等国内外单位在MCP扩口方向开展了研究工作，使用湿法腐蚀制作出的扩口MCP在电流增益、噪声因子、离子探测效率等方面性能优于常规MCP，但是由于工艺难度大，这项技术目前仅日本Hamamatsu能够提供孔径12μm科研用MCP，并没有得到大批量的实质性应用[8-11]。提高MCP对电子的探测效率方面，通过在MCP表面镀制具有二次电子发射能力的膜层也是一种有效措施，在微通道板型光电倍增管以及微光像增强器中均能够得到应用，但是同时也会带来一定的负面影响，如：微光像增强器中分辨力和调制传递函数性能会有一定的降低、微通道板型光电倍增管中会有延时脉冲等，扩口MCP有利于提高微通道板的时间和空间分辨能力，为解决以上问题提供可能[12-15]。
针对湿法腐蚀扩口技术所存在的工艺一致性差、选择性腐蚀造成锥度尺寸难以达标等问题，本文提出一种新的MCP扩口技术：利用微纳加工领域已成熟应用的干法刻蚀技术进行MCP扩口，通过建立理想模型研究刻蚀工艺对于扩口MCP开口面积比、锥形深度以及形状等参数的影响，为开展实验研究及可能的批量应用奠定基础。
1. 干法刻蚀技术实现MCP扩口原理
干法刻蚀技术是目前工业上最成熟也是应用最广泛的刻蚀技术。广义上讲，所有不涉及化学溶液腐蚀的刻蚀技术都称为干法刻蚀，干法刻蚀具有可控性好、精度高、可流水线批量刻蚀等优点，已成为半导体工业微纳制造工艺中主要的刻蚀技术。常用的干法刻蚀技术包括反应离子刻蚀（reaction ion etching, RIE）、感应耦合等离子体刻蚀（inductively coupled plasma, ICP）、离子束刻蚀（ion beam etching, IBE）、聚焦离子束刻蚀（focused ion beam, FIB）等[16]。实现MCP扩口需要具有定向刻蚀能力的干法刻蚀，如ICP、RIE、IBE，本文以IBE为例进行理论模型研究。离子束刻蚀技术是利用一定能量的离子撞击固体表面原子，使材料表面原子发生溅射，达到刻蚀的目的，属于纯物理过程，离子束刻蚀的优点在于：各向异性、方向性好、刻蚀控制精度高、可刻蚀材料种类多、离子束入射角度调节方便等[17]。
与湿法腐蚀的选择性腐蚀不同，干法刻蚀的方向性好但选择性很差，因此干法刻蚀形成MCP扩口的原理与湿法腐蚀有本质的不同。采用干法刻蚀形成扩口MCP示意图如图 1所示，离子束以一定的角度入射至MCP输入面，示意图中看向通道内壁的视线角度与离子束入射至MCP表面的角度相同，即离子束在通道内能够刻蚀的最深处为d点、d′点，在非剖面图中，视线看到的通道内的最深处也是d点。为便于计算，本文中MCP斜切角以0°计算：
![]()
图 1 干法刻蚀形成扩口MCP示意图Figure 1. Schematic diagram of funnel MCP manufacture by dry etching① A为MCP表面，离子束刻蚀对于A面为均匀的刻蚀，对于锥形通道的形成没有作用；
② B为通道内壁表面，MCP通道相对于离子束不进行自转时，a′、b′、c′、d′四个点刻蚀掉的材料厚度相同，不会形成差别，而a、b、c、d四个点离子束并未能够刻蚀到；
③ 如果MCP通道相对于离子束实现以通道指向为轴进行自转，则a′、b′、c′、d′四个点与a、b、c、d四个点均能够被离子束刻蚀到，且a′与a、b′与b、c’与c、d′与d因两两处于完全对称的位置，刻蚀情况分别相同；
④ 由于微通道板圆形通道的特殊形状对于一定角度入射离子束的局部遮挡作用，不同深度处的位置点暴露于离子束中的时间不同，造成了刻蚀材料厚度的差异，以示意图中的4个点为例，a→b→c→d暴露于离子束的时间依次减短，而通道内比d点位置更深的地方，不会暴露于离子束，随着刻蚀时间的延长，会形成如图中虚线所示的有锥度的扩口。
2. 刻蚀工艺对扩口MCP性能参数的影响
2.1 模型建立
离子束以与MCP表面呈角度θ入射，MCP以通道指向为轴进行自转，构建模型如图 2，其中：D为微通道板孔间距；R为微通道板孔径；θ为离子束与MCP表面角度；h为通道内刻蚀深度；x为刻蚀厚度；Vα为离子束与刻蚀表面法线角度为α时的刻蚀速率。
在离子束刻蚀如石英玻璃、BK7玻璃时，刻蚀速率会随着入射角度的变化而有明显变化，随着入射角度的增大，刻蚀速率先增大再降低，在40°~65°之间有最大值出现[18]。由于微通道板在自转时，离子束与通道内不同位置处的入射角度时刻在变化中，为便于计算，理想模型中设定刻蚀速率不随着入射角度而变化，均为V。
2.2 刻蚀工艺条件对于开口面积比的影响
刻蚀工艺对于开口面积比的影响主要是刻蚀时间，开口面积比随着刻蚀时间的延长为非线性增加，主要分为3个阶段：阶段1：相邻通道边界尚未接触，如图 3(b)所示；阶段2：相邻通道边界已接触，相邻的3个通道边界尚未接触，如图 3(c)所示；阶段3：相邻的3个通道边界已接触，输入面已无平面，如图 3(d)所示。
![]()
图 3 不同刻蚀阶段开口面积比：(a) 未刻蚀，OAR=60%；(b) 刻蚀，OAR=75%；(c) 刻蚀至相邻通道接触，OAR=90.7%；(d)刻蚀至输入面无平面，OAR=100%Figure 3. Open area ratio at different etching stages: (a) Unetched, OAR=60%; (b) Etched, OAR=75%; (c) Etched until adjacent channel contact, OAR=90.7%; (d) Etch until there is no plane on the input surface, OAR=100%分阶段计算开口面积比随刻蚀时间的变化：
阶段1：$ 0 \leqslant t \leqslant \frac{{D - R}}{V} $时，
$$ \mathrm{OAR}=\frac{\sqrt{3} \pi}{6} \times\left(\frac{R+V t}{D}\right)^{2} $$ (1) 阶段2：$ \frac{{D - R}}{V} < t \leqslant \frac{{2D - \sqrt 3 R}}{{\sqrt 3 V}} $时，
$$ \text { OAR }=\frac{\left[\pi-6 \cos ^{-1}\left(\frac{D}{R+V t}\right)\right](R+V t)^{2}+6 D \sqrt{(R+V t)^{2}-D^{2}}}{2 \sqrt{3} D^{2}} $$ (2) 阶段3：$ t > \frac{{2D - \sqrt 3 R}}{{\sqrt 3 V}} $之后，
$$ \mathrm{OAR}=100 \% $$ (3) 如图 4所示，随着刻蚀时间的增加，开口面积初始以基本线性的规律增大，在达到90.7%之后，增大速度逐渐减缓，在阶段2的末期开口面积比接近100%，在阶段3中，开口面积比不再发生变化，也并未再引入其他问题，允许过刻蚀对于工艺控制非常有利。在开口面积比达到90%以上的前提下，影响干法刻蚀工艺时间的因素主要是通道之间的壁厚，壁厚越厚所需刻蚀时间越长，因此，干法刻蚀工艺对于小孔径微通道板的扩口效率更高。
2.3 刻蚀工艺条件对刻蚀深度影响
通道内刻蚀深度与离子束入射角度直接相关：
$$ h=R \times \tan \theta $$ (4) 理论计算结果如图 5所示。考虑到可实现性，离子入射角度太小时，工装夹具容易对离子束形成遮挡，且扩口深度较浅时对于扩口MCP性能也有一定的影响[9]；离子入射角度太大时，离子束对于通道内壁的刻蚀效率显著下降[18]，不利于扩口MCP的实现。综合考虑多种影响因素，离子束入射角度在30°~70°之间比较合适，对应的刻蚀深度范围为0.6倍~2.7倍通道孔径。
![]()
图 5 通道内刻蚀深度与离子入射角度关系Figure 5. The relationship between etching depth and incident angle2.4 刻蚀工艺条件对刻蚀锥度影响
通道的锥度对于扩口MCP应用在不同领域时的性能有很大的影响，锥度不合适时无法获得最佳的效果。使用干法刻蚀进行MCP扩口，对于锥度有很强的可控性。求解通道刻蚀的锥度，可以转化为通道内不同深度处暴露于离子束的空间在圆周范围内的占比。在MCP表面的平面建立如下坐标系进行计算，β是E点与坐标系中心点的连线与角度0位置的夹角，如图 6所示：在[－π/2，－π]、[π/2，π]区间内均未暴露于离子束中，仅需计算[－π/2，π/2]区间，且为对称结构。
![]()
图 6 通道内不同深度处锥度计算示意图Figure 6. Schematic diagram of taper calculation at different depths in the channel在角度为β处，E、F分别为通道内壁能够暴露于离子束中的最上与最下的位置，深度为：
$$ f(\beta)=h_{\mathrm{EF}}=R \cos \beta \tan \theta $$ (5) 将通道进行平面展开，不同角度处暴露于离子束中的最大深度分布如图 7所示。
![]()
图 7 通道内不同位置暴露于离子束最大深度Figure 7. Maximum depth of ion beam exposure at different positions of the channel根据通道内一周不同位置暴露于离子束最大深度的不同，计算不同深度h处刻蚀厚度相较于通道口入口处刻蚀厚度的比例：
$$ f(h)=\frac{2 \arccos \left(\frac{h}{R \tan \theta}\right)}{\pi} $$ (6) 式中：h∈[0, Rtanθ]。
如图 8所示，随着深度的增加，刻蚀厚度的减小并非线性，在MCP通道内壁成一个不规则的向内壁凹陷的弧面，此种形状下，进入到通道内的信号有更高的比例与更深处的通道内壁发生作用，对于扩口MCP在各类应用中都是更加有利的。
![]()
图 8 通道内不同深度处刻蚀厚度分布Figure 8. Etching thickness distribution at different depths in the channel3. 结论
通过建立模型进行理论计算，验证采用干法刻蚀技术进行MCP扩口，在输入面形成漏斗形通道口可行性，计算了干法刻蚀工艺参数如刻蚀角度、刻蚀时间等对扩口MCP开口面积比、刻蚀深度、通道口锥度等参数的影响：
① MCP在自转状态下，由于其圆形通道结构的自遮挡效应，均匀的面离子源能够在圆形通道上制作出非均匀的结构，即实现MCP通道的扩孔。
② MCP开口面积比随着刻蚀时间的延长而增大，达到90%之前基本线性，后期逐步趋近于100%的极限，允许过刻蚀，对于工艺控制有利；工艺的时间主要受通道之间壁厚影响，通道壁越厚，所需加工时间越长，因此干法刻蚀技术对于小孔径微通道板的扩口效率更高。
③ 刻蚀角度决定了通道内刻蚀深度，综合考虑各种影响因素，离子束入射角度在30°~70°之间比较合适，对应的刻蚀深度范围为0.6倍~2.7倍通道孔径。
④ 通道口的锥度受到刻蚀时间与刻蚀角度的双重影响，计算出了不同深度处刻蚀的厚度。随着深度的增加，刻蚀厚度的减小并非线性，在MCP通道内壁成一个不规则的向内壁凹陷的弧面，此种形状下，进入到通道内的信号有更高的比例与更深处的通道内壁发生作用，对于扩口MCP在各类应用中都是更加有利。
本文开展的理论模型研究结果，为开展干法刻蚀进行MCP扩口实验研究奠定了的基础，下一步工作的重点是在理论模型的基础上，开展相应的试验研究。
-
![]()
图 1 偏振图像采集与偏振参量解析流程
Figure 1. Polarization image acquisition and polarization parameter analysis process
表 1 分光型偏振成像设备
Table 1 Spectroscopic polarization imaging equipment
Max resolution Frame Image sensor Pixel
size/μmADC 2488×2048 65 Sony IMX250，CMOS，2/3 Global shutter 3.45 10 bit/12 bit 
下载: 导出CSV
表 2 网络训练环境
Table 2 Network training environment
Name Configure CPU Intel Xeon E5-2630 GPU NVIDIA 1080Ti * 2 Operating system Ubuntu 18.04 Parallel computing library Cuda10 + Cudnn7.4 Image processing Python3.6、Opencv3.4.0 Deep learning framework Pytorch
下载: 导出CSV
表 3 目标检测算法检测结果
Table 3 Detect results of target detection algorithm
Methods AP mAP Test time/s Person Car Faster R-CNN(Res 50) 91.6 97.5 94.6 0.103 YOLOv4(Res 50) 91.6 97.3 94.5 0.029 YOLOv5s-DOLP 94.8 98.9 96.9 0.039
下载: 导出CSV
表 4 消融实验结果
Table 4 Results of ablation experiment
Methods AP mAP Test time/s Person Car YOLOv5s 87.2 98.3 92.8 0.027 A 90.2 98.5 94.3 0.029 B 92.0 98.8 95.4 0.034 C 88.5 98.4 93.4 0.027
下载: 导出CSV
-
[1] 于洵, 杨烨, 姜旭, 等. 基于偏振光谱成像的目标识别方法研究[J]. 应用光学, 2016, 37(4): 537-541. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX201604008.htm YU Xun, YANG Ye, JIANG Xu, et al. Recognition of camouflage targets by polarization spectral imaging system[J]. Journal of Applied Optics, 2016, 37(4): 537-541. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX201604008.htm
[2] 李从利, 薛松, 陆文骏, 等. 雾天条件下偏振解析成像质量评价[J]. 中国图象图形学报, 2017, 22(3): 366-375. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201703011.htm LI Congli, XUE Song, LU Wenjun, et al. Quality assessment of polarization imaging under foggy[J]. Journal of Image and Graphics, 2017, 22(3): 366-375. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201703011.htm
[3] 李小明, 黄勤超. 沙漠背景下红外偏振图像目标检测方法[J]. 红外技术, 2016, 38(9): 779-782, 792. http://hwjs.nvir.cn/article/id/hwjs201609012 LI Xiaoming, HUANG Qinchao. Target detection for infrared polarization image in the background of desert[J]. Infrared Technology, 2016, 38(9): 779-782, 792. http://hwjs.nvir.cn/article/id/hwjs201609012
[4] 张荣, 李伟平, 莫同. 深度学习研究综述[J]. 信息与控制, 2018, 47(4): 385-397. https://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201804002.htm ZHANG Rong, LI Weiping, MO Tong. Review of deep learning[J]. Information and Control, 2018, 47(4): 385-397. https://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201804002.htm
[5] 王文秀, 傅雨田, 董峰, 等. 基于深度卷积神经网络的红外船只目标检测方法[J]. 光学学报, 2018, 38(7): 0712006. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201807020.htm WANG Wenxiu, FU Yutian, DONG Feng, et al. Infrared ship target detection method based on deep convolution neural network[J]. Acta Optica Sinica, 2018, 38(7): 0712006. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201807020.htm
[6] 罗海波, 许凌云, 惠斌, 等. 基于深度学习的目标跟踪方法研究现状与展望[J]. 红外与激光工程, 2017, 46(5): 0502002-0502002(7). https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201705002.htm LUO Haibo, XU Lingyun, HUI Bin, et al. Status and prospect of target tracking based on deep learning[J]. Infrared and Laser Engineering, 2017, 46(5): 0502002-0502002(7). https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201705002.htm
[7] Ross Girshick. Fast R-CNN[J]. Computer Science, 2015, 6: 1440-1448.
[8] REN Shaoqing, HE Kaiming, Ross Girshick, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[9] HE Kaiming, Georgia Gkioxari, Piotr Dollar, et al. Mask R-CNN[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision, 2017: 2961-2969.
[10] LIU Wei, Dragomir Anguelov, Dumitru Erhan, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, 2016, 6: 21-27.
[11] Joseph Redmon, Santosh Divvala, Ross Girshick, et al. You Only Look Once: unified, real-time object detection[C]//Conference on Computer Vision and Pattern Recognition, 2016, 6: 779-788.
[12] Joseph Redmon, Ali Farhadi. YOLO9000: better, faster, stronger[C]// Conference on Computer Vision and Pattern Recognition, 2017, 7: 6517-6525
[13] Joseph Redmon, Ali Farhadi. YOLOv3: an incremental improvement [J/OL]. arXiv: 1804.02767, 2018.
[14] Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao. YOLOv4: optimal speed and accuracy of object detection[J/OL]. arXiv: 2004. 10934, 2020.
[15] 冈萨雷斯. 数字图像处理[M]. 第三版, 北京: 电子工业出版社, 2011: 26-29. Rafael C. Gonzalez. Digital Image Processing[M]. 3th, Beijing: Publishing House of Electronics Industry, 2011: 26-29.
[16] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.
[17] 张汝榛, 张建林, 祁小平, 等. 复杂场景下的红外目标检测[J]. 光电工程, 2020, 47(10): 200314. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202010010.htm ZHANG R Z, ZHANG J L, QI X P, et al. Infrared target detection and recognition in complex scene[J]. Opto-Electron Eng., 2020, 47(10): 200314. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202010010.htm
[18] 宫剑, 吕俊伟, 刘亮, 等. 红外偏振图像的舰船目标检测[J]. 光谱学与光谱分析, 2020, 40(2): 586-594. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202002052.htm GONG Jian, LYU Junwei, LIU Liang, et al. Ship target detection based on infrared polarization image[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 586-594. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202002052.htm
[19] 游江, 刘鹏祖, 容晓龙, 等. 基于暗通道先验原理的偏振图像去雾增强算法研究[J]. 激光与红外, 2020, 50(4): 493-500. DOI: 10.3969/j.issn.1001-5078.2020.04.019 YOU Jiang, LIU Pengzu, RONG Xiaolong, et al. Dehazing and enhancement research of polarized image based on dark channel priori principle[J]. Laser & Infrared, 2020, 50(4): 493-500. DOI: 10.3969/j.issn.1001-5078.2020.04.019
[20] 王美荣, 徐国明, 袁宏武. 显著性偏振参量深度稀疏特征学习的目标检测方法[J]. 激光与光电子学进展, 2019, 56(19): 191101. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201919013.htm WANG Meirong, XU Guoming, YUAN Hongwu. Object detection by deep sparse feature learning of salient polarization parameters[J]. Laser & Optoelectronics Progress, 2019, 56(19): 191101. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201919013.htm
[21] 李慕锴, 张涛, 崔文楠. 基于YOLOv3的红外行人小目标检测技术研究[J]. 红外技术, 2020, 42(2): 176-181. http://hwjs.nvir.cn/article/id/hwjs202002012 LI Mukai, ZHANG Tao, CUI Wennan. Research of infrared small pedestrian target detection based on YOLOv3[J]. Infrared Technology, 2020, 42(2): 176-181. http://hwjs.nvir.cn/article/id/hwjs202002012
-
期刊类型引用(1)
1. 邱祥彪，杨晓明，孙建宁，王健，丛晓庆，金戈，曾进能，张正君，潘凯，陈晓倩. 高空间分辨微通道板现状及发展. 红外技术. 2024(04): 460-466 . 
本站查看
其他类型引用(0)
计量
- 文章访问数: 317
- HTML全文浏览量: 110
- PDF下载量: 86
- 被引次数: 1
