Low-light Image Enhancement Based on Multi-scale Wavelet U-Net
-
摘要: 成像系统实时采集的低光照环境图像具有照度低、噪声严重、视觉效果差等问题,为了提高低光照环境成像质量,本文提出基于多尺度小波U型网络的低光照图像增强方法。该方法采用多级编解码器构建U型网络,并引入小波变换构建特征分频单元,分离高频和低频信息,增强对低频照度特征和高频纹理信息的感知。设计多尺度感知损失函数,指导网络学习低频信息到高频信息的逐级重建,从而优化网络的收敛和性能。最后,在LOL、LIME、NPE、MEF、DICM和VV数据集上进行测试。实验结果表明,所提方法能够有效提升图像照度,抑制图像噪声和纹理丢失问题,并在PSNR、SSIM、LOE和NIQE评价指标上均优于比较算法,在主观和客观评价方面均优于其他对比算法。Abstract: The real-time images collected by imaging systems in low illumination environments suffer from low illumination, severe noise and poor visual effects. To improve the image quality in low light environments, this study proposes a low-light image enhancement method based on a multi-scale wavelet U-Net. This method uses multi-level encoders and decoders to construct a U-Net and introduces the wavelet transform to develop a unit for frequency decomposition of features. This improves the perception of illumination and texture by separating high-frequency and low-frequency information. Multi-scale perceived loss is designed to guide the learned mapping of step-by-step reconstruction from low-frequency information to high-frequency information, thereby optimizing the convergence and performance of the network. Finally, the proposed method and comparison methods are tested on the LOL, LIME, NPE, MEF, DICM and VV datasets. The experimental results demonstrate that the proposed method can effectively brighten images, suppress image noise and texture loss, and improve the PSNR, SSIM, LOE and NIQE metrics. The proposed method exhibits better performance than other comparison algorithms in subjective and objective evaluation.
-
Keywords:
- imaging systems /
- image enhancement /
- U-Net /
- wavelet transform
-
0. 引言
近年来,以美国AGM-183A为代表的空射式高超声速武器快速发展[1],利用飞机在低空(<30 km)发射,全程在50 km以下飞行,巡航速度达到5 Ma以上,可以有效躲避地面雷达早期探测[2],具备大范围机动变轨[3],突防能力极强。
目前针对这类目标的早期预警大多采用低轨卫星红外探测器,其视野不受地球曲率限制,探测距离远,覆盖面积大,探测波段灵活,还可以组网接力探测,实现对高超声速目标的全程跟踪[4]。作为反制措施,高超声速飞行器红外抑制技术也日臻成熟[5-6],通过烧蚀、发汗、喷射冷却等手段,可以有效减少飞行器表面与周围空气剧烈压缩和摩擦带来的气动热,降低辐射的光谱信号强度,增大探测器发现和识别难度[7]。
目前公开报道的文献中,较少有针对已有的天基红外预警系统(例如美国的STSS)性能,分析其在不同探测条件下,对于采用红外抑制手段的高超声速目标的实际探测性能,从而给出有针对性的建议。而这正是未来临近空间国土防空反导的重要研究方向[8]。
1. 目标建模
1.1 气动热模型
以美国AGM-183A作为分析目标,其外形如图 1所示,其战斗部为乘波体构型,模型如图 2所示。
据文献[1]报道,AGM-183A在头体分离后巡航速度为5~6 Ma,巡航高度约30 km。用CFD软件对头部乘波体进行不同姿态下的气动热分析,其空气速度场和表面温度场如图 3和图 4所示。
从图 4看出,攻角对目标表面温度分布影响不大,目标温度约为850~1450 K。利用网格面积进行加权平均计算,得到速度5 Ma、高度30 km、攻角0°、10°和20°条件下,目标等效辐射温度分别1170 K、1260 K和1280 K。
1.2 红外辐射模型
图 5是半球形探测空间内飞行器与卫星探测平台之间的相对位置关系,其中底部平面O为目标飞行平面,其法线方向定义为Z轴,目标飞行方向定义为X轴,角度θ为Z轴与探测器光轴方向之间角度,定义为俯仰角,取值范围[0, π/2]。角度ψ为X轴与探测器光轴在目标飞行平面XOY投影之间的角度,定义为方位角,取值范围[0, π]。
根据图 4温度场数据,结合文献[1]给出的AGM -183A头部乘波体结构尺寸,计算目标本体的光谱辐射强度(见图 6),其峰值辐射强度集中在2~5 μm,因此以该波段作为LEO星座的红外探测波段。
取目标等效辐射温度1200 K,2~5 μm波段大气光谱透过率取平均值0.95[9],对目标光谱辐射强度在2~5 μm波段上积分,计算目标在图 5所示坐标系的红外辐射能量分布,结果如图 7所示。
从计算结果看,目标在不同探测方向上的红外辐射能量分布有较大差异,俯仰角θ越小,方位角ψ越接近90°(即星下点探测模式),辐射能量越大;俯仰角θ越大,方位角ψ越接近0°(即临边+迎头探测模式),辐射能量越小。目标2~5 μm在波段的整体辐射能量为3.2~4.3×104 W/sr。
1.3 探测器模型
文献[10]给出低轨卫星红外探测器像元信噪比SNR的计算公式:
$$ {\rm{SNR}} = \frac{{\Delta {V_{\rm{t}}}}}{{{V_{\rm{n}}}}} = \frac{{{D^*}}}{{{{\left( {{A_{\rm{d}}} \cdot \Delta f} \right)}^{1/2}}}}\frac{{{\tau _0} \cdot {\tau _{\rm{a}}}\left( \lambda \right) \cdot \left( {{\rm{ \mathsf{ π}}} \cdot \Delta I} \right) \cdot {A_{\rm{d}}}}}{{4 \cdot {F^2} \cdot {{\left( {1 + {M_{{\rm{optic}}}}} \right)}^2} \cdot {A_{{\rm{DAS}}}}}} $$ (1) 式中:ΔI为目标与背景的红外辐射强度差(W⋅sr-1);ΔVt为目标在探测器像元位置产生的信号电压(V);Vn为低轨预警卫星探测器噪声电压峰值(V);F代表光学系统F数,F=f/D,f代表光学系统焦距(m);D代表光学系统入瞳直径(m);Moptic为光学系统放大率,Moptic=R2/R1,R1代表目标与低轨红外预警卫星成像系统的距离(m);R2代表光学系统入瞳中心到探测器焦平面像元位置的距离(m);ADAS为低轨红外预警卫星探测器的视觉立体角在物空间的投影,ADAS=AdR1/R2;Ad为探测器像元面积(m2)。
该像元信噪比模型综合考虑了目标本体辐射信号、背景噪声信号、大气扰动以及光学系统特性的影响。可以在给定波段下,分析不同探测距离、角度以及目标特性(飞行速度、高度、姿态、尺寸)条件下,探测器焦平面每个像元对目标辐射信号的响应。
表 1给出了文献[11-12]对美国STSS低轨验证卫星(LEO Demo)的红外探测器性能参数的估计值。
表 1 STSS LEO Demo卫星红外探测器参数估计Table 1. Performance estimation of STSS LEO Demo's infrared detectorField of view/° 1.76 Optical aperture D/mm 250 Focal length f/mm 300 Optical transmittance 0.7 Detection band/μm 3.1 to 4.7 Pixel number 512×512 Pixel size/μm 30×30 Specific detectivity D*/(m·Hz1/2·W-1) 1.48×1012 Equivalent noise bandwidth Δf /Hz 50 Integral time tint /ms 15 Noise equivalent power density/ (W·cm-2) 10-17 2. 探测模型
2.1 探测模式
图 8给出了LEO星座对低空飞行的高超声速目标的常见探测模式。
图 8中,最内层实线圆代表地表,其中:RE代表地球平均半径(6371 km),H代表LEO星座轨道高度(1600 km)。最外层短虚线圆代表空射式高超声速飞行器飞行高度(约30 km),中间长虚线圆代表民航飞机飞行高度(约10 km)。红色长虚线代表临边探测模式(以冷黑空间为背景),红色短虚线代表对地探测模式(以地表为背景)。
按照LEO探测器1.76°视场角测算,在临边探测模式下(即中心视轴与30 km圆弧相切),其边缘视轴不与10 km圆弧相切或相交。即在临边探测模式下,LEO视场内不存在其他干扰源,此时探测器与目标之间的俯仰角θ为55°,方位角ψ为0°~180°。
在对地探测模式下,有可能出现高超声速目标和干扰目标(如高速飞行的战斗机)共存于LEO探测器视场的情况(见图 8)。假设有2架飞行高度10 km、相距57 km的战斗机,与飞行高度30 km的高超声速飞行器同处于LEO探测视场内,3个目标在红外探测器焦平面的模拟成像效果如图 9所示。红色框图代表高超声速飞行器(探测目标),绿色框图代表战斗机(干扰目标)。
由于战斗机发动机尾焰中心温度高达1800~2500 K[13],高于以5 Ma巡航的高超声速目标蒙皮温度(~1300 K)[14],其在红外探测器焦平面的亮度往往大于目标亮度,会严重降低探测器的识别精度,因此近地轨道星座大多采用临边探测模式[15-16],以排除战斗机、民航客机等相似信号源的干扰。
2.2 目标可探测性
2.2.1 星下点模式
根据文献[12]的估计,STSS Demo探测器的极限输出信噪比大约为6。探测器像元总数为512×512,像元信噪比阈值取6,地表等效辐射温度取250 K。在图 10所示星下点模式(θ=0°,ψ=90°),探测距离最短(1600 km),假定视场内没有其他干扰源,此时探测器焦平面对目标(1200 K)响应的信噪比超过阈值的像元数量最多(见图 11),焦平面上共有54×54个像元输出超过了信噪比阈值6,信噪比峰值为335,认为此时目标的可探测性最强。
2.2.2 临边模式
在临边探测模式下(θ=55°,ψ=90°),根据图 8所示几何关系计算,此时极限探测距离(切线段长度RMAX)约为4800 km。此时高超声速目标(1200 K)在LEO探测器焦平面的模拟成像如图 12所示,焦平面像元对目标响应的信噪比分布如图 13所示。此时焦平面上信噪比超过阈值6的像元数量下降为18×18,信噪比峰值下降为276。
可以看出,依据文献[13]给出的比较准则,当以星下点模式下的探测器最大响应像元数(54×54=2916)作为基准,用其余探测模式下响应像元数与该最大像元数的比值可以表征其可探测性的相对值,且具备可比较性,那么在临边模式下探测器对目标的可探测性为11%(18×18/2916=0.11)。
当目标采用主动冷却等红外抑制手段时,目标表面气动温度下降,红外辐射强度降低,在探测器焦面的响应也随之下降。比如,当目标采用发汗相变散热手段,将蒙皮等效辐射温度从1200 K降低到900 K时,其在LEO探测器焦平面成像效果以及焦平面像元信噪比响应分别如图 14和图 15所示。
可以看出,在临边探测模式下(θ=55°,ψ=90°),当目标温度从1200 K下降到900 K时,LEO探测器峰值信噪比从276降低到168,同时焦平面响应信噪比超过阈值6的像元数量从18×18下降到14×14,目标可探性从11%下降到6.7%。
当目标可探测性下降到0.4%以下(即焦平面输出信噪比大于阈值6的像元数少于3×3),此时认为目标不具备可探测性。
2.2.3 目标可探测性分布
以AGM-183A头部乘波体为探测目标,表 2给出了STSS低轨LEO星座在图 8所示坐标系下,在目标不同温度T和不同方位角度ψ下的可探测性数值。
表 2 LEO星座临边可探测性(R=4800 km,θ=55°)Table 2. LEO Detectability in edge detection mode (R=4800 km, θ=55°)ψ/° T/K 800 900 1000 1100 1200 10 0.006 0.009 0.009 0.017 0.017 30 0.017 0.028 0.042 0.049 0.058 50 0.028 0.049 0.058 0.077 0.088 70 0.034 0.058 0.077 0.088 0.110 90 0.042 0.067 0.088 0.099 0.112 110 0.034 0.058 0.077 0.088 0.110 130 0.028 0.049 0.058 0.077 0.088 150 0.017 0.028 0.042 0.049 0.058 170 0.006 0.009 0.009 0.017 0.017 基于表 2结果,通过插值计算给出了如图 16和图 17所示的LEO星座临边模式下对AGM-183A目标可探测性数值分布。
从图 16可以看出,STSS LEO星座在临边探测模式下(极限探测距离4800 km,探测俯仰角55°),对低空飞行(~30 km)的高超声速目标(~5Ma)的可探测性受目标温度T和方位角度ψ的影响最大。从图 17可以看出,在探测距离R和探测俯仰角θ相同的条件下,相比方位角ψ,目标温度T对可探测性的影响更为显著。
当目标温度接近800 K且探测方位角ψ小于10°(或者大于170°)时,已经接近探测器的极限探测能力(0.4%),此时认为目标的可探测性非常低,或者说目标逃脱LEO星座临边探测的概率很高。
2.2.4 干扰目标识别
当探测器视场中出现干扰源时,此时目标与干扰源的信噪比计算模型是类似的,可以依据干扰源的尺寸、数量、表面热物性、本体温度、背景噪声以及与探测器的相对位置关系等基础信息,分别计算在同一时刻下,探测器焦平面各个像元对干扰源信号的响应分布,从而计算干扰源的信噪比。在此基础上,通过比对在该探测模式下的目标信噪比置信区间(例如,在星下点探测模式下,对于典型温度为1200 K的AGM-183A战斗部目标,考虑其在不同飞行姿态、相对探测角度以及地表背景噪声下,在STSS LEO探测器上的信噪比置信区间为297~335,超过这个区间的信号就可以认为大概率是干扰源),按照上述最大置信概率算法即可提取目标,该算法的分析结果如图 9所示。
3. 结论
从以上分析可得到如下结论:
① LEO探测器对AGM-183A类低空高超声速目标的可探测性可量化为焦平面像元信噪比超过阈值6的像元数量(最大数值54×54,最小数值3×3);
② LEO星座对目标的可探测性与探测器性能、探测距离、探测角度、目标尺寸、表面温度、大气扰动以及光学系统参数等因素相关;
③ 在临边探测模式下,LEO探测器对目标的可探测性主要取决于目标温度T和探测方位角ψ两个因素;
④ 从目标突防的角度看,采用主动冷却手段降低表面等效辐射温度所获得的收益,要高于调整飞行姿态以减小与探测器之间的方位角所带来的收益;
⑤ LEO星座对AGM-183A类目标全程维持较高的临边可探测性(>2%),要避免在方位角小于10°或者大于170°时探测,同时要提高探测器像元对表面温度低于800 K目标的探测性能(信噪比阈值响应的像元数量不低于8×8)。
-
表 1 不同低光照增强算法在LOL数据集上的结果
Table 1 Results of different low light enhancement algorithms on LOL dataset
Metrics Low BPDHE LIME MF Retinexnet BIMEF KinD Ours PSNR 7.8666 11.8748 16.9332 16.9332 16.9816 13.9722 20.5955 24.5499 SSIM 0.1259 0.3415 0.5644 0.6048 0.5594 0.5771 0.8045 0.8913 LOE 1417.1 1772.8 3207.6 1721.2 4244.1 1553.3 1795.3 1267.1 NIQE 6.7483 7.9852 8.3777 8.8855 8.8779 7.5029 5.3561 5.4289 表 2 不同网络的编/解码器和损失函数的配置
Table 2 Configuration of codecs and loss function for different networks
Combination Single-scale L1 Multi-scale L1 Cascaded residual blocks FDF N1 √ - √ - N2 √ - - √ N3 - √ √ - N4 - √ - √ 表 3 不同组合网络的性能比较
Table 3 Performance comparison of different combination networks
Datasets LOL LIME NPE MEF DICM VV Average N1 6.8072 5.0207 6.4623 6.3248 6.5652 6.1562 6.2227 N2 4.8663 4.3757 5.3071 5.4867 5.0311 4.9305 4.9996 N3 4.8091 4.2395 6.2099 6.6436 6.0698 5.8492 5.6369 N4 4.6112 4.2251 4.9695 5.4682 4.9888 4.7840 4.8411 -
[1] 王萌萌, 彭敦陆. Retinex-ADNet: 一个低光照图像增强系统[J]. 小型微型计算机系统, 2022, 43(2): 367-371 https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX202202021.htm WANG M M, PENG D L. Retinex-ADNet: a low-light image enhancement system[J]. Journal of Chinese Computer Systems, 2022, 43(2): 367-371. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX202202021.htm
[2] 蒋一纯, 詹伟达, 朱德鹏. 基于亮度通道细节增强的低照度图像处理[J]. 激光与光电子学进展, 2021, 58(4): 83-91. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202104011.htm JIANG Y C, ZHAN W D, ZHU D P. Low-illuminance image processing based on brightness channel detail enhancement[J]. Laser & Optoelectronics Progress, 2021, 58(4): 83-91. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202104011.htm
[3] 黄慧, 董林鹭, 刘小芳, 等. 改进Retinex的低光照图像增强[J]. 光学精密工程, 2020, 28(8): 1835-1849. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202008022.htm HUANG H, DONG L L, LIU X F, et al. Improved Retinex low light image enhancement method[J]. Optics and Precision Engineering, 2020, 28(8): 1835-1849. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202008022.htm
[4] Ibrahim H, Pik Kong N S. Brightness preserving dynamic histogram equalization for image contrast enhancement[J]. IEEE Transactions on Consumer Electronics, 2007, 53(4): 1752-1758. DOI: 10.1109/TCE.2007.4429280
[5] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing , 1997, 6(3): 451-62. DOI: 10.1109/83.557356
[6] Jobson D J, Rahman Z, Woodell G A. A multiscale Retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976. DOI: 10.1109/83.597272
[7] GAO Y, HU H M, LI B, et al. Naturalness preserved nonuniform illumination estimation for image enhancement based on Retinex[J]. IEEE Transactions on Multimedia, 2018, 20(2): 335-344. DOI: 10.1109/TMM.2017.2740025
[8] FU X Y, ZENG D L, HUANG Y, et al. A fusion-based enhancing method for weakly illuminated images[J]. Signal Processing, 2016, 129: 82-96. DOI: 10.1016/j.sigpro.2016.05.031
[9] GUO X J, LI Y, LING H B. LIME: Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993. DOI: 10.1109/TIP.2016.2639450
[10] Kin G L, Adedotun A, Soumik S. LLNet: A deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662. DOI: 10.1016/j.patcog.2016.06.008
[11] SHEN L, YUE Z, FENG F, et al. MSR-net: low-light image enhancement using deep convolutional network[EB/OL]. [2017-11-07]. https://arxiv.org/abs/1711.02488.
[12] WEI C, WANG W, YANG W, et al. Deep Retinex decomposition for low-light enhancement[C]//Proceedings of 2018 British Machine Vision Conference on Machine Vision, Image Processing, and Pattern Recognition, 2018: 1-12(DOI: 10.48550/ARXIV.1808.04560).
[13] HU J, SHEN L, Albanie S, SUN G, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011-2023. DOI: 10.1109/TPAMI.2019.2913372
[14] SHI W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 1874-1883.
[15] Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops(CVPRW), 2017: 1132-1140.
[16] Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017: 105-114.
[17] MA K, ZENG K, WANG Z. Perceptual quality assessment for multi-exposure image fusion[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3345-3356. DOI: 10.1109/TIP.2015.2442920
[18] LEE C W, LEE C, KIM C S. Contrast enhancement based on layered difference representation of 2D histograms[J]. IEEE Transactions on Image Processing, 2013, 22(12): 5372-5384. DOI: 10.1109/TIP.2013.2284059
[19] WANG S, ZHENG J, HU H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548. DOI: 10.1109/TIP.2013.2261309
[20] Mittal A, Soundararajan R, Bovik A C. Making a "completely blind" image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212. DOI: 10.1109/LSP.2012.2227726
[21] FU X, ZENG D, HUANG Y, et al. A fusion-based enhancing method for weakly illuminated images[J]. Signal Processing, 2016, 129: 82-96.
[22] YING Z, LI G, GAO W. A bio-inspired multi-exposure fusion framework for low-light image enhancement[EB/OL]. [2017-11-02]. https://arxiv.org/abs/1711.00591.
[23] ZHANG Y, ZHANG J, GUO X. Kindling the darkness: a practical low-light image enhancer[C]//Proceedings of The 27th ACM International Conference on Multimedia, 2019: 1632-1640.
-
期刊类型引用(4)
1. 陈秋艳,贺敏,张新燕,陈泽锋,潘中清,罗睿. 基于图像处理的复杂场景火焰识别与火灾判定方法. 国外电子测量技术. 2024(05): 144-153 . 百度学术
2. 赵阳,刘俊蕾,付旭峰,王征,王海懿. 基于卷积神经网络的火焰智能识别研究. 自动化技术与应用. 2023(11): 64-67 . 百度学术
3. 常丽,张雪,蒋辉,杨娟,万紫玉. 融合YOLOv5s与SRGAN的实时隧道火灾检测. 电子测量与仪器学报. 2022(08): 223-230 . 百度学术
4. 马庆禄,马恋,孔国英,赵映慈. 基于红外热成像的隧道火焰检测技术研究. 火灾科学. 2022(04): 244-251 . 百度学术
其他类型引用(6)