Multi-Target Detection of Low-Illuminance Scene Based on Polarization Image
-
摘要: 偏振光反射信息可直接反演目标本征特性,且在传输过程中具备较强的抗干扰特性,因此偏振成像技术可适用于多种复杂环境中的智能监控、交通监察领域。近年来使用深度学习判读图像检测目标的方法迅速发展,已经广泛应用于图像处理的各个领域。本文提出了一种基于偏振图像与深度神经网络算法的行人、车辆多目标检测算法YOLOv5s-DOLP。首先,通过实时获取到偏振图像进行偏振信息解析,获取目标偏振度图像。其次,为增强偏振度图像中检测目标与背景存在高对比度的特性,在主干网络中引入通道注意力与空间注意力,提升网络特征进行自适应学习的能力。此外,使用K-means算法对目标位置信息进行聚类分析,加快网络在偏振度图像的学习速度,提升目标检测精度。实验结果显示,该算法结合了偏振成像和深度学习目标检测的优势,对于低照度复杂场景中的车辆、行人目标检测效果好、检测速度快,对于道路车辆的目标检测、识别与跟踪具有一定的应用价值。Abstract: Polarized light reflection information can directly invert the intrinsic characteristics of a target and has strong anti-interference characteristics in the transmission process. Thus, polarization imaging technology can be applied to the fields of intelligent monitoring and traffic monitoring in various complex environments. In recent years, deep-neural-network methods for interpreting image detection targets have been developed rapidly and widely used in various fields of image processing. In this study, a vehicle multi-target detection algorithm based on polarized images and deep learning is proposed. First, the target polarization degree image can be obtained by acquiring the polarization image in real time and analyzing the polarization information. Second, to enhance the high contrast between the detection targets and the background in the polarization image, channel attention and spatial attention are introduced into the backbone network to improve the ability of the network features to perform adaptive learning. In addition, the K-means algorithm is used to perform clustering analysis on the target location information, thereby increasing the network's learning speed in the polarization image and improving the progress of target detection. The experimental results show that this method is effective and fast for vehicle detection in complex scenes with low illumination. This method combines the advantages of polarization imaging and deep-learning target detection and has substantial application scope in road vehicle target detection, recognition, and tracking.
-
Keywords:
- polarization image /
- neural network /
- YOLO v5s /
- multi-target detection /
- attention mechanism
-
0. 引言
微通道板(Micro Channel Plate,MCP)是一种多孔网状结构的薄片玻璃,通道内壁具有二次电子发射特性,可将电子进行成千万倍的倍增,是实现微光夜视的关键元件[1]。在一定电压下,对微通道板输入空间分布均匀的电子流,经过倍增后输出的电子流均匀性的差异,也就是电子增益的差异,这种差异叫做固定图案噪声[2]。固定图案噪声是一直困扰我国微通道板技术进步的屏障,解决固定图案噪声问题是开发高性能微通道板必须突破的关键。固定图案噪声主要取决于通道内壁表面状况和通道均匀程度。制作MCP需要制作大量的高精度玻璃纤维,而高精度玻璃纤维制造要经历玻璃预制棒制备和拉丝等具体工艺步骤[3],在纤维拉制的过程中,拉丝炉内的温度场分布情况将直接影响着纤维的直径和纤维端面的形状,预制棒受热不均,会导致复丝边缘纤维的受热程度不同,影响通道均匀程度,对微通道板固定图案噪声有着直接的影响,因此研究微通道板拉丝炉的温度场分布状况对解决固定图案噪声问题有着重要的意义。
目前国内对于拉丝炉的研究成果大都集中在对光纤拉丝炉内部热量传递和气流的研究方面[4-8]。文献[4]建立了光纤拉丝炉内部气体温度场模型,根据模型特点划分了网格,利用数值模拟的方法探究了光纤拉丝炉内部气体温度场的变化,并分析了有关参数对炉内温度场的影响。文献[5]介绍了光纤感应拉丝炉的涡流场分析方法,并建立了涡流场的数学模型,在二维分析的基础上,建立了感应线圈和导体(石墨中心管)的三维模型,模拟了导体(石墨中心管)中的涡流场。文献[6]对光纤拉丝炉内部气体流场及拉丝炉相关部件的温度分布进行了理论建模和数值模拟,根据二维和三维拉丝炉几何模型,对光纤拉丝炉的内部气体流场数值计算与分析。
上述研究成果主要对光纤拉丝炉进行建模,对内部热量传递和气流特性进行分析与研究,但是微通道拉丝炉与光纤拉丝炉结构具有本质的区别,例如,微通道板拉丝炉与光纤拉丝炉相比较内部不需要通惰性气体,所以光纤拉丝炉有关研究成果无法应用于微通道板拉丝炉设计中,因此,目前微通道板拉丝炉的设计主要依靠经验进行,这样设计而成的微通道板拉丝炉性能无法保证,为此本文以微通道板的实际结构为基础,建立拉丝炉的数学模型,利用热传递理论对拉丝炉的内部温度场进行分析,分析得到影响拉丝炉温度场分布的主要因素,并根据得到的理论分析结果,对微通道板拉丝炉的改进,给出了3个方面的建议。
1. 拉丝炉模型
根据现有的微通道板拉丝炉结构,建立对应的结构模型,并在该结构的基础上建立对应的热传递模型,重点研究影响拉丝炉温度场分布的主要因素,包括:拉丝炉炉芯中心位置、加热温度均匀度、保温层均匀度等。
1.1 拉丝炉结构模型
拉丝炉的实际结构如图 1所示,根据实际结构形式,其对应的三维模型与二维截面图如图 2和3所示,从图中可以看出拉丝炉由主炉和副炉构成,采用主炉加热的方式,其中主炉采用的炉芯为加热丝绕于碳化硅内胆中,在炉壳和炉芯间塞有保温层,副炉与主炉结构相似,但是没有缠绕加热丝。
1.2 热传递模型
根据微通道板拉丝炉结构模型与热传递理论,考虑拉丝炉的热传递的3种形式,即:热传导、热对流和热辐射。
1)热传导
热传导是指热量从系统的一部分传到另一部分或由一个系统传到另一系统的现象,在拉丝炉的内部存在较多的热传导形式,例如加热丝和碳化硅之间热传递、碳化硅与保温层材料之间的热传递等,热量从存在温度梯度的高温部分传递给低温部分。
在分析拉丝炉内部热传导形式时,所采用的热传导关系式如式(1)所示:
$$\frac{Q}{t} = \frac{{KA({T_{{\rm{hot}}}} - {T_{{\rm{cold}}}})}}{d}$$ (1) 式中:Q为时间t内的传热量或者热流量;A为换热面积;K为热传导率或者热传导系数;Thot和Tcold为拉丝炉内热传导高、低温度数值,且满足Thot>Tcold;d为热传导的距离。
2)热对流
在拉丝炉主炉和副炉的空腔表面以及加热炉外表面等固体表面与它周围所接触的空气之间,由于存在着温度差而引起热量交换,该过程为热对流形式,在该过程中,所交互的热量q"如式(2)所示:
$$ q^{\prime \prime}=h\left(T_{\mathrm{s}}-T_{\mathrm{B}}\right) $$ (2) 式中:h为对流换热系数;Ts为加热丝所绕的碳化硅表面和拉丝炉外表面等固体表面的温度;TB为各固体表面周围对应的空气温度。
3)热辐射
拉丝炉内加热丝以及所绕的碳化硅等高温物体通过热辐射的形式向炉腔内其他的物体传递热量,所传递的热量被炉腔内的低温物体所吸收,完成能量交互与传递,它们之间净热量传递量可以利用如式(3)所示的斯蒂芬-玻尔兹曼方程来计算:
$$q = \varepsilon \sigma {A_1}{F_{12}}(T_1^4 - T_2^4)$$ (3) 式中:q为热流率;ε为实际物体的辐射率,它的数值介于0~1之间;σ为斯蒂芬-玻尔兹曼常数,约为5.67×10-8 W/(m2·K4);A1为辐射面1的面积;F12为由辐射面1到辐射面2的形状系数;T1为辐射面1的绝对温度;T2为辐射面2的绝对温度。
2. 仿真与结果分析
2.1 温度场影响因素
为了简化模型性能研究,主要研究炉芯中心位置、加热温度均匀度和保温材料均匀度对温度场分布的影响。
通过调节炉芯中心位置,研究在其他条件不变的前提下,炉芯中心偏移量对拉丝炉内部温度场分布的影响程度。
将加热丝简化为独立的加热源进行研究,通过设置加热源温度的大小,研究加热温度均匀度对拉丝炉内部温度场分布的影响程度。
为了研究保温材料均匀度对拉丝炉内部温度场分布的影响程度,根据微调图 2所示拉丝炉的三维几何模型,将保温层整体均匀分割为8个部分如图 4所示,不同的部分设置相同或者不同的材料系数,则可以研究保温层的均匀程度对拉丝炉内部温度场分布的影响程度。
2.2 模型参数
在对拉丝炉内部温度场分布研究时,拉丝炉模型各构成部件对应的材料参数如表 1所示。
表 1 拉丝炉构成部件材料参数Table 1. Material parameters of wire drawing furnacecomponentsOrder Name Heat conductivity coefficient 1 Aluminabrick 0.4 W/(m2·K) 2 Quartz 1.1 W/(m2·K) 3 SiC 86.3 W/(m2·K) 4 Ly12 100 W/(m2·K) 5 Aluminafiber 0.07 W/(m2·K) 6 Air 12.5 W/(m2·℃) 表 1中未列出的其他参数如下:
1)拉丝炉外部空气温度假设为22℃;
2)加热丝的基准温度为755℃,若研究加热丝温度不均匀情形,加热丝的基准温度设置为745℃,对应的温度变化范围为735℃~755℃;
3)保温层的材料为氧化铝纤维,材料对应基准导热系数如表 1中所示为0.07 W/(m2·K),若研究保温材料不均匀情形,对应的导热系数变化范围为0.06~0.07 W/(m2·K)。
2.3 结果分析
根据微通道拉丝炉的模型与参数设置,利用ANSYS软件重点研究炉芯中心位置、加热温度均匀度和保温材料均匀度对温度场分布的影响,其中包括理想模型情形和非理想情形,即其他因素保持不变的条件下,各主要因素对拉丝炉内部温度场分布的影响。
2.3.1 理想情形
在该情形中,炉芯中心位置无偏移、加热丝加热温度保持一致,且保温层材质均匀一致,主炉腔体空气层温度场与副炉腔体空气层温度场分布分析具体如下:
1)主炉腔体空气层温度场
主腔空气层、碳化硅层、加热丝、保温层和主腔外壳对应的温度分布如图 5所示。
主腔空气层对应的温度场分布和等温线分布如图 6所示。
从图 5和图 6可以看出,在炉芯位置没有偏移,保温层纤维棉分布均匀,加热丝温度均匀的条件下,主腔空气层在同一圆周上,温度分布是均匀的,温度分布沿径向由外至中心逐渐减少。
2)副炉腔体空气层温度场
副腔空气层对应的温度场分布图和等温线分布如图 7所示。
从图 7可以看出,在同一圆周上,空气层中心位置的温度高于边缘位置的温度。
当拉丝炉各组件材料质地均匀,加热丝各段阻值一致(加热温度均匀)时,拉丝炉各部分具有良好的对称性,主炉和副炉中空气层在同一圆周上,温度分布是均匀的,不同的是,主炉温度分布由外至中心逐渐减少,因为空气层加热是由加热丝加热碳化硅后向炉膛中心辐射,而副炉温度分布由中心向外逐渐减少,因为副炉的热量由主炉从上向下传递至副炉。
2.3.2 非理想情形
在利用经验实际制作拉丝炉时,加热丝是利用纯手工的方式缠绕于碳化硅炉膛内,沿炉膛圆周方向的阻值分布是有差异的;在往炉壳内装炉芯时,由于没有定位,导致炉芯的中心与炉子的中心是偏心的;保温层采用的是硅酸铝纤维棉,人工塞进炉内,保温层分布往往不均匀。
针对如上非理想情形,为方便分析,研究其中一个作用条件发生变化而其他条件保持不变时,该条件单独作用对拉丝炉温度场分布的影响。同时考虑到纤维丝由主炉输出时已经变径成形,副炉只是起到缓冲的作用,防止纤维丝骤冷,产生应力导致断裂,因此,非理想情形仅对主炉温度场分布进行分析。
1)炉芯位置对温度场影响
主腔空气层对应的温度场分布和等温线分布如图 8所示。
由图 8可以看出,由于炉芯位置的偏移,会造成等温线中心位置的偏移,从而造成了主腔等温线的疏密程度发生了很大的变化,因此,加热丝温度均匀的情况下,等温线较为规则,等温线疏密不同,造成统一圆周上测温点的温度不同。
2)加热温度均匀度对温度场的影响
主腔空气层对应的温度场分布和等温线分布如图 9所示。
图 9对照图 6可以看出,如果加热丝的温度非均匀,则对主腔空气层温度等温线的形状有所影响,图 6中均匀加热时,对应温度线近似为同心圆,即处于同一圆周的测温点的温度大致一样,而由图 9可以看出,如果加热丝的温度存在差异,等温线的形状发生变化,会对处于同一圆周的测温点的温度产生影响。
3)保温层均匀度对温度场的影响
主腔空气层对应的温度场分布图和等温线分布如图 10所示。
从图 10可以看出,在炉芯无偏移,加热丝温度均匀,保温层分布非均匀的情形下,主腔空气层的温度场受到影响,特别是靠近保温层的边缘部分,等温线的形状变化较大,而接近中心的部分等温线基本保持同心圆的形状。
本文对目前生产使用的拉丝炉进行了温度场测试,制作了4点测温工装,将测温工装插入拉丝炉中,加热温度设置为755℃,利用测温仪器测得4点的温度分别是737℃、732℃、734℃、731℃,在4点形成的圆周上的温度存在差异。拉丝炉实际测温结果表明,炉内温度场存在分布不均匀现象,验证了非理想情形下的拉丝炉模型仿真结果的参考意义。
3. 结论
根据拉丝炉的模型与理论分析结果可以看出,影响拉丝炉内部主腔和副腔的温度场的分布与多种因素有关,主要包括炉芯中心位置、缠绕于碳化硅上加热丝温度均匀度和保温层的均匀度。炉芯位置的偏移,会造成等温线中心位置的偏移,从而造成了主腔等温线的疏密程度发生了很大的变化;加热丝的温度存在差异,等温线的形状发生变化,会对处于同一圆周的测温点的温度产生影响;保温层的非均匀分布,会对主腔空气层的温度场造成影响,特别是靠近保温层的边缘部分,等温线的形状变化较大。根据理论分析结果,在设计微通道板拉丝炉时,可以在以下3个方面进行改进:
1)在进行拉丝炉装配时,要尽可能减小炉芯的中心的偏移量,保证炉腔内等温线的形状和中心保持稳定;
2)尽可能保证加热丝加热温度均匀,在通过同样电流大小的前提下,尽可能保证绕于碳化硅上的加热丝的疏密程度保持一致,从而保证各段加热丝阻值基本相等,发热功率和温度保持一致;
3)在实际中,保温层的均匀性比较难于量化,因此需要在实际装配时,保证保温层在直观意义上的均匀性,同时可以选择一种保温特性更加优异的材质。
-
图 5 拉普拉斯算子[15]检测结果
Figure 5. Detecting result of Laplace
表 1 分光型偏振成像设备
Table 1 Spectroscopic polarization imaging equipment
Max resolution Frame Image sensor Pixel
size/μmADC 2488×2048 65 Sony IMX250,CMOS,2/3 Global shutter 3.45 10 bit/12 bit 表 2 网络训练环境
Table 2 Network training environment
Name Configure CPU Intel Xeon E5-2630 GPU NVIDIA 1080Ti * 2 Operating system Ubuntu 18.04 Parallel computing library Cuda10 + Cudnn7.4 Image processing Python3.6、Opencv3.4.0 Deep learning framework Pytorch 表 3 目标检测算法检测结果
Table 3 Detect results of target detection algorithm
Methods AP mAP Test time/s Person Car Faster R-CNN(Res 50) 91.6 97.5 94.6 0.103 YOLOv4(Res 50) 91.6 97.3 94.5 0.029 YOLOv5s-DOLP 94.8 98.9 96.9 0.039 表 4 消融实验结果
Table 4 Results of ablation experiment
Methods AP mAP Test time/s Person Car YOLOv5s 87.2 98.3 92.8 0.027 A 90.2 98.5 94.3 0.029 B 92.0 98.8 95.4 0.034 C 88.5 98.4 93.4 0.027 -
[1] 于洵, 杨烨, 姜旭, 等. 基于偏振光谱成像的目标识别方法研究[J]. 应用光学, 2016, 37(4): 537-541. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX201604008.htm YU Xun, YANG Ye, JIANG Xu, et al. Recognition of camouflage targets by polarization spectral imaging system[J]. Journal of Applied Optics, 2016, 37(4): 537-541. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX201604008.htm
[2] 李从利, 薛松, 陆文骏, 等. 雾天条件下偏振解析成像质量评价[J]. 中国图象图形学报, 2017, 22(3): 366-375. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201703011.htm LI Congli, XUE Song, LU Wenjun, et al. Quality assessment of polarization imaging under foggy[J]. Journal of Image and Graphics, 2017, 22(3): 366-375. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201703011.htm
[3] 李小明, 黄勤超. 沙漠背景下红外偏振图像目标检测方法[J]. 红外技术, 2016, 38(9): 779-782, 792. http://hwjs.nvir.cn/article/id/hwjs201609012 LI Xiaoming, HUANG Qinchao. Target detection for infrared polarization image in the background of desert[J]. Infrared Technology, 2016, 38(9): 779-782, 792. http://hwjs.nvir.cn/article/id/hwjs201609012
[4] 张荣, 李伟平, 莫同. 深度学习研究综述[J]. 信息与控制, 2018, 47(4): 385-397. https://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201804002.htm ZHANG Rong, LI Weiping, MO Tong. Review of deep learning[J]. Information and Control, 2018, 47(4): 385-397. https://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201804002.htm
[5] 王文秀, 傅雨田, 董峰, 等. 基于深度卷积神经网络的红外船只目标检测方法[J]. 光学学报, 2018, 38(7): 0712006. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201807020.htm WANG Wenxiu, FU Yutian, DONG Feng, et al. Infrared ship target detection method based on deep convolution neural network[J]. Acta Optica Sinica, 2018, 38(7): 0712006. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201807020.htm
[6] 罗海波, 许凌云, 惠斌, 等. 基于深度学习的目标跟踪方法研究现状与展望[J]. 红外与激光工程, 2017, 46(5): 0502002-0502002(7). https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201705002.htm LUO Haibo, XU Lingyun, HUI Bin, et al. Status and prospect of target tracking based on deep learning[J]. Infrared and Laser Engineering, 2017, 46(5): 0502002-0502002(7). https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201705002.htm
[7] Ross Girshick. Fast R-CNN[J]. Computer Science, 2015, 6: 1440-1448.
[8] REN Shaoqing, HE Kaiming, Ross Girshick, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[9] HE Kaiming, Georgia Gkioxari, Piotr Dollar, et al. Mask R-CNN[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision, 2017: 2961-2969.
[10] LIU Wei, Dragomir Anguelov, Dumitru Erhan, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, 2016, 6: 21-27.
[11] Joseph Redmon, Santosh Divvala, Ross Girshick, et al. You Only Look Once: unified, real-time object detection[C]//Conference on Computer Vision and Pattern Recognition, 2016, 6: 779-788.
[12] Joseph Redmon, Ali Farhadi. YOLO9000: better, faster, stronger[C]// Conference on Computer Vision and Pattern Recognition, 2017, 7: 6517-6525
[13] Joseph Redmon, Ali Farhadi. YOLOv3: an incremental improvement [J/OL]. arXiv: 1804.02767, 2018.
[14] Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao. YOLOv4: optimal speed and accuracy of object detection[J/OL]. arXiv: 2004. 10934, 2020.
[15] 冈萨雷斯. 数字图像处理[M]. 第三版, 北京: 电子工业出版社, 2011: 26-29. Rafael C. Gonzalez. Digital Image Processing[M]. 3th, Beijing: Publishing House of Electronics Industry, 2011: 26-29.
[16] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.
[17] 张汝榛, 张建林, 祁小平, 等. 复杂场景下的红外目标检测[J]. 光电工程, 2020, 47(10): 200314. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202010010.htm ZHANG R Z, ZHANG J L, QI X P, et al. Infrared target detection and recognition in complex scene[J]. Opto-Electron Eng., 2020, 47(10): 200314. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202010010.htm
[18] 宫剑, 吕俊伟, 刘亮, 等. 红外偏振图像的舰船目标检测[J]. 光谱学与光谱分析, 2020, 40(2): 586-594. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202002052.htm GONG Jian, LYU Junwei, LIU Liang, et al. Ship target detection based on infrared polarization image[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 586-594. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202002052.htm
[19] 游江, 刘鹏祖, 容晓龙, 等. 基于暗通道先验原理的偏振图像去雾增强算法研究[J]. 激光与红外, 2020, 50(4): 493-500. DOI: 10.3969/j.issn.1001-5078.2020.04.019 YOU Jiang, LIU Pengzu, RONG Xiaolong, et al. Dehazing and enhancement research of polarized image based on dark channel priori principle[J]. Laser & Infrared, 2020, 50(4): 493-500. DOI: 10.3969/j.issn.1001-5078.2020.04.019
[20] 王美荣, 徐国明, 袁宏武. 显著性偏振参量深度稀疏特征学习的目标检测方法[J]. 激光与光电子学进展, 2019, 56(19): 191101. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201919013.htm WANG Meirong, XU Guoming, YUAN Hongwu. Object detection by deep sparse feature learning of salient polarization parameters[J]. Laser & Optoelectronics Progress, 2019, 56(19): 191101. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201919013.htm
[21] 李慕锴, 张涛, 崔文楠. 基于YOLOv3的红外行人小目标检测技术研究[J]. 红外技术, 2020, 42(2): 176-181. http://hwjs.nvir.cn/article/id/hwjs202002012 LI Mukai, ZHANG Tao, CUI Wennan. Research of infrared small pedestrian target detection based on YOLOv3[J]. Infrared Technology, 2020, 42(2): 176-181. http://hwjs.nvir.cn/article/id/hwjs202002012