Nighttime Fog Removal Using the Dark Point Light Source Model
-
摘要: 针对夜间雾、霾场景下的去雾图像存在颜色失真、纹理损失、亮度低等缺陷，本文提出了一种采用暗态点光源模型的夜间去雾算法，通过构建夜间雾、霾场景的暗态点光源模型，利用联合双边滤波、限制对比度自适应直方图均衡化等算法对降质图像进行处理，结合大气散射模型得到去雾图像。实验结果表明，该算法的处理速度快、夜间去雾效果较好，较对比算法在对比度、平均梯度以及信息熵上均有一定程度地改善，有效解决了去雾图像的颜色失真、纹理损失、亮度低等缺陷。
-
关键词:
- 夜间去雾 /
- 暗态点光源模型 /
- 联合双边滤波 /
- 限制对比度自适应直方图均衡化 /
- 大气散射模型
Abstract: To address image distortion, texture loss, and low brightness in nighttime fog scenes, this paper proposes a nighttime defogging algorithm based on a dark point light source model. The dark point light source model was first constructed and the degraded image was processed by an algorithm that utilizes both bilateral filtering and limited contrast adaptive histogram equalization. Then, the defogging image was obtained by combining with the atmospheric scattering model. The experimental results show that this algorithm has a fast processing speed, a better effect of nighttime fogging, and a certain degree of improvement in terms of contrast, average gradient, and information entropy when compared with the contrast algorithm. This model can therefore effectively address image distortion, texture loss, and low brightness of fogging images. -
0. 引言
冷反射是制冷红外系统中一种普遍的杂光效应[1]，也是评价和计算红外系统性能的重要指标之一[2]。冷反射是制冷型红外系统中探测器能够“看到”“自身反射”的“冷像”，它是从系统中各透镜表面反射回来进入光敏面的辐射[3]。因此，在制冷红外光学系统设计中，需合理选择光学结构形式，约束透镜形状、镜面像高、光线入射角、膜层透过率等指标，但上述指标与光学系统成像质量及边界尺寸要求相互制约，在含头罩窗口的光学成像制导系统中影响尤其明显。因此，在制冷红外光学系统研制生产前，通过建立数学仿真模型，进行光线追迹。对冷反射影响强度进行合理评价非常重要。
在进行制冷红外光学系统设计时，通常利用YNI（指近轴边缘光线在该面上的投射高度Y、入射角I和折射率N的乘积）与I/I-BAR（I是近轴边缘光线的入射角，I-BAR是近轴主光线的入射角，I/I-BAR反映的是该面产生的冷像噪声在系统视场范围内的变化情况）两个参数作为光学系统中各表面产生的冷反射强度的评价标准[4]。近年来，已经有相关文献讨论了相关的设计方法，如文献[5-7]推导并总结了冷反射引入温差（Narcissus induced equivalent temperature difference, NITD）和成像系统参数及环境参数的关系式，并进行了定量分析。文献[8]提出了差分阈值制冷红外系统冷反射校正法，文献[9]分析了一种基于光学优化设计的冷反射抑制的设计方法，文献[10]开展了制冷型红外热像仪冷反射效应的数理分析，文献[11-13]讨论了中波红外系统中冷反射的抑制等相关工作。
本文针对某中波红外制冷光学成像制导系统的需求，在满足系统指标要求的前提下合理布局，对系统的冷反射强度进行仿真分析和评估，利用工程样机进行冷反射对比实验，经实测仿真结果与实验现象基本一致，仿真方法准确有效。
1. 冷反射分析方法及流程
在制冷红外光学系统中，可以通过光学设计软件进行光线追迹仿真分析，根据分析结果进一步优化改进设计或者通过后期图像处理算法对图像进行标定校正进而对冷反射进行抑制。本文提出了一种通过ZEMAX光学设计软件，建立非序列数学仿真模型，通过逆向光线追迹方法，对由于镜片表面反射所形成的系统冷反射进行相对强度仿真，并给出仿真结果。冷反射示意图如图 1。
制冷红外光学系统冷反射分析流程如下所述：
1）由于冷反射现象为一种特殊的鬼像，所以在进行冷反射分析前，应先利用ZEMAX鬼像分析功能Ghost focus generator对系统进行鬼像分析，根据鬼像距离探测器像面的距离、成像大小、放大倍率等，找出鬼像比较严重的表面，对表面曲率半径进行修正优化，通过鬼像的筛选，给仿真分析提出方向性建议，减少后期ZEMAX的数据分析量；
2）在ZEMAX中建立非序列仿真模型，光学系统中透镜的透过率依据镀膜经验数据曲线设置，材料自身的透过率按照ZEMAX软件自定义进行设置。系统中所涉及的结构件如镜筒、隔圈、压圈建模导入系统中，并按照零件表面反射率进行赋值；
3）在探测器像面处设置黑体辐射光源及接收探测器，进行真实光线追迹，光源出射能量经透镜表面反射，在探测器光敏面上形成能量分布，即由于系统冷反射所引起的像面非均匀性。
通过上述方法建立数学仿真模型，模型示意图如图 2所示。
2. 消除或降低系统冷反射的技术手段
通过上述分析可知，消除或降低冷反射的主要技术途径有以下3种：
① 在进行光学设计时，严格控制透镜形状和光线偏折角度，提高冷光线在各个透镜表面上的反射角度，使其经过多次震荡返回光线无法反射到探测器像面处，不能形成明显光斑，并通过鬼像分析快速确定造成较严重冷反射的问题面，进行优化设计，在优化过程中自动减小或消除其影响。
② 对结构件尤其是镜筒、隔圈、压圈等进行表面氧化发黑或涂覆消光漆处理，降低结构件表面的反射率，加强对杂散光的散射，降低系统的冷反射。
③ 根据空间尺寸布局，合理选择结构形式，减少镜片数量，提升系统透过率，同时提高光学镜片的膜层透过率，降低单面反射率。从而降低杂散辐射光源经透镜表面反射进入系统形成冷反射。
3. 分析实例
3.1 光学系统设计指标及改进措施
以某中波红外制冷光学系统为例，原设计冷反射现象明显，在满足系统指标要求的情况下，对系统改进设计，进行冷反射仿真分析，同时开展冷反射实验进行对比，表 1为该光学系统的技术指标要求。图 3为改进前后光学系统图。
表 1 光学系统技术指标要求Table 1. The technical requirements of optical systemProject Numerical value Focal length 27 mm FOV 20°×16° F# 2 Format 640×512 Pixel pitch 15 μm×15 μm Operating temperature -40℃~+70℃ 针对光学系统冷反射问题主要采取如下改进措施：
1）优化光学结构，增加光学非球面，减少镜片数量，提高增透膜透过率要求，单个镜片透过率由98%提升至99%，降低由于透镜镀膜剩余反射所产生的冷反射现象，光学系统透过率由88.6%提高至96.1%（不含整流罩）。
2）控制透镜曲率半径，增大各光学表面的YNI数值，最小值由改进前的0.3585增加至1.2798，降低系统的冷反射。
3）利用ZEMAX软件建立非序列仿真模型，反向追迹，对系统各表面进行冷反射追迹，确定影响严重表面，在满足成像质量要求前提下，修改曲率半径，降低系统的冷反射。
改进前后光学系统对比表如表 2所示。
表 2 改进前后光学系统对比Table 2. The comparison of optical system before and after improvementProject Optical system (exclude gairing) Before improvement After improvement Lens number 6 4 YNImin 0.3585 (optical lens 5) 1.2798 (optical lens 1) Optical transmittance 88.6% 96.1% Aspheric surface 0 1(optical lens 3) 分析改进后光学系统各个透镜表面的冷反射影响，经分析透镜1（optical lens 1）的前表面影响较大，在满足成像质量要求前提下，修改曲率半径，进行迭代分析优化，降低系统的冷反射，透镜1优化前后分析结果如图 4。
![]()
图 4 透镜1改进前后分析对比Figure 4. The comparative analysis of optical lens 1 before and after improvement3.2 冷反射分析
来自于光学系统外部非目标产生的杂散辐射及工作过程中内部机械件由于升温产生的杂散辐射是影响像面非均匀性的主要因素。为了降低由于镜筒内壁反射及自身辐射所产生的杂散光影响，在光线经过的镜筒内壁增加消光螺纹和消光漆。假设镜筒内壁为镜面反射，反射率为3%，经过5次反射到达探测器像面，根据公式(1)可以计算到达像面能量。
$$ {R}_{系统}={R}^{n} $$ (1) 式中：R系统为系统杂光总反射率；R为镜筒内壁反射率，R＝3%；n为反射次数[14]，n＝5；经计算，R系统＝2.43×10－8。
通过ZEMAX光学设计软件对改进前后的光学系统进行对比仿真分析（环境参数赋值相同），建立非序列仿真，该模型主要包括整流罩、光学系统、机械件及探测器光敏面4部分。其中光学系统、探测器将模型直接导入，整流罩膜层透过率为0.85，其他光学镜片膜层透过率单面为0.98，结构支撑件反射率设为5%，光源的辐射能量设为1 W，进行实际光线追迹，非序列仿真模型如图 5所示，分析结果如图 6、图 7所示。
![]()
图 6 改进前后像面非均匀性灰度图分析对比Figure 6. The comparison of non-uniformity grayscale image before and after improvement![]()
图 7 改进前后像面非均匀性曲线分析对比Figure 7. The comparison of non-uniformity curve of the image before and after improvement从分析结果可以看出，改进前系统像面非均匀性灰度图有明显凸台边界，改进后系统的像面非均匀性灰度图弥散性好，无明显边界突变；改进前系统像面非相干照度非均匀性为40%，冷反射较明显，改进后系统像面非相干照度非均匀性曲线平滑，中心与边缘差异较小，像面均匀性较好，非均匀性为13%，冷反射现象基本消除。
4. 冷反射成像实验
完成精密装校的工程样机如图 8所示，成像效果如图 9所示。同时开展了工程样机冷反射成像实验，改进前后冷反射成像效果如图 10所示，从实验结果可以看出，改进后系统成像质量优良，冷反射成像效果与仿真结果基本一致，进一步证明仿真方法的有效性。
5. 结论
本文利用ZEMAX光学设计软件建立非序列数学仿真模型，提出了进行冷反射分析的分析流程及有效解决和降低冷反射的效应的技术途径。并以某中波红外光学系统为例，对光学系统进行改进优化设计，经分析改进后光学系统冷反射由40%下降到13%。并开展了工程样机研制和冷反射实验，实验与仿真结果基本一致。表明该分析方法能准确地反映红外光学系统中的冷反射实际情况，可作为制冷红外光学系统研制生产前的判定依据。
-
Index Algorithm Fig. 1 Fig. 2 Fig. 3 Fig. 4 IE HE[7] 7.3539 6.9861 6.9447 6.5511 Zhang[4] 7.0074 6.6843 6.8380 6.4599 Li[5] 6.2890 5.8723 6.4657 5.4543 Proposed 7.5694 6.7746 7.0220 6.6502 AG HE[7] 0.0646 0.0693 0.0521 0.0415 Zhang[4] 0.0491 0.0519 0.0471 0.0311 Li[5] 0.0272 0.0276 0.0288 0.0161 Proposed 0.0653 0.0707 0.0535 0.0457 Contrast HE[7] 0.1745 0.1709 0.1346 0.1059 Zhang[4] 0.1565 0.1622 0.1528 0.1217 Li[5] 0.1129 0.0913 0.1183 0.0875 Proposed 0.1823 0.1754 0.1562 0.1238 
下载: 导出CSV
-
[1] 余顺园, 朱虹. 夜间有雾图像的光照模型构建及去雾[J]. 光学精密工程, 2017, 25(3): 729-734. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703025.htm YU S Y, ZHU H, Illumination model construction and defogging of night foggy image[J]. Optics And Precision Engineering, 2017, 25(3): 729-734. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703025.htm
[2] 郭璠, 邹北骥, 唐琎. 基于多光源模型的夜晚雾天图像去雾算法[J]. 电子学报, 2017, 45(9): 2127-2134. DOI: 10.3969/j.issn.0372-2112.2017.09.011 GUO P, ZOU B J, TANG J. Defogging algorithm of night fog image based on multi light source model[J]. Acta Electronica Sinica, 2017, 45(9): 2127-2134. DOI: 10.3969/j.issn.0372-2112.2017.09.011
[3] 左健宏, 蔺素珍, 禄晓飞, 等. 基于雾线暗原色先验的红外图像去雾算法[J]. 红外技术, 2020, 42(6): 552-558. http://hwjs.nvir.cn/article/id/hwjs202006007 ZUO J H, LIN S Z, LU X F, et al. Infrared image defogging algorithm based on fog line dark primary color prior[J]. Infrared Technology, 2020, 42(6): 552-558. http://hwjs.nvir.cn/article/id/hwjs202006007
[4] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 7418-7426.
[5] LI Y, TAN R T, Brown M S. Nighttime haze removal with glow and multiple light colors[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 226-234.
[6] YU T, SONG K, MIAO P, et al. Nighttime Single Image Dehazing via Pixel-Wise Alpha Blending[J]. IEEE Access, 2019(7): 114619-114630. http://ieeexplore.ieee.org/document/8805086
[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.
[8] 刘志成, 王殿伟, 刘颖, 等. 基于二维伽马函数的光照不均匀图像自适应校正算法[J]. 北京理工大学学报, 2016, 36(2): 191-196, 214. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201602016.htm LIU Z C, WANG D W, LIU Y, et al. Adaptive correction algorithm for uneven illumination image based on two dimensional gamma function[J]. Journal of Beijing University of Technology, 2016, 36(2): 191-196, 214. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201602016.htm
[9] 陈志恒, 严利民, 陆斌. 一种快速高效的实时视频去雾算法[J/OL]. 激光与光电子学进展: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447.008.html. CHEN Z H, YAN L M, LU B. A fast and efficient real time video defogging algorithm[J/OL]. Laser & Optoelectronics Progress: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447.008.html.
计量
- 文章访问数: 294
- HTML全文浏览量: 77
- PDF下载量: 50
