Nighttime Image Dehazing Algorithm Based on Improved Transmittance Distribution Estimation
-
摘要: 针对基于暗通道先验理论（dark channel prior, DCP）的去雾算法在处理夜间有雾图像时细节信息缺失、光源区域的纹理受损严重的问题，本文提出了一种改进的透射率分布估计的夜间图像去雾算法。通过引入暗态点光源模型、暗通道可信度权值因子和伪去雾图像，结合夜间图像成像模型，获取改进的透射率分布，对夜间降质图像进行去雾处理。实验结果表明，经本文算法处理后的图像在纹理细节上损失小、图像清晰度高，图像明暗对比度得到较好的拉伸，可以实现夜间有雾图像的有效去雾。Abstract: This paper presents an improved transmittance distribution estimation algorithm for nighttime image dehazing to solve lack of detailed information and serious damage to the texture of light source areas when the dark channel prior dehazing algorithm processes foggy images at night. An improved transmittance distribution was obtained by introducing a dark state point light source model, a dark channel credibility weight factor, and a pseudo dehazing image, combined with a nighttime image imaging model, and the dehazed image at night was dehazed. The experimental results showed that the image processed by using the proposed algorithm had little loss in texture details and high image definition, and the contrast between the light and dark of the image was better stretched, which effectively dehazed a foggy image at night.
-
0. 引言
近年来，鉴于衍射光学元件能够为系统提供一定的设计自由度，被广泛地应用于各种光学系统中，如成像系统、光束整形系统、复眼和3D显示等[1-5]。衍射效率和带宽积分平均衍射效率（polychromatic integral diffraction efficiency，PIDE）是决定DOE工作波段的重要参数。DOE的衍射效率对入射角度具有一定的依赖性。入射角度的增大会降低其衍射效率，进一步影响折衍混合光学系统的成像质量。
目前，成像光学系统中的DOE都是利用标量衍射理论（scalar diffraction theory，SDT）进行设计的，但该理论没有考虑入射角度对微结构高度的影响[6]。随着微结构表面入射角的增大，DOE的衍射效率会不断下降[7-8]。当微结构高度和波长处于同一数量级时，采用SDT计算衍射效率的准确度会大幅度下降，此时可以利用矢量衍射理论（vector diffraction theory，VDT）进行分析计算[9-12]。但是，VDT很难通过优化设计微结构高度等参数实现衍射效率的最大化。扩展标量衍射理论（extended scalar diffraction theory，ESDT）考虑了入射角度这一参数，其计算结果要比SDT更加精确，能够简化VDT的计算时间，并实现DOE的优化设计[13]。对于工作在可见光波段的双层DOE，文献[14]讨论了基于SDT和VDT计算的入射角度对衍射效率的影响。文献[15]基于ESDT讨论了周期宽度对微结构高度和PIDE的影响，但并没有给出DOE结构参数的优化设计。对于工作在一定入射角度范围内的DOE，基于ESDT对PIDE的优化设计未见报道。
本文基于ESDT，提出了工作在一定入射角度范围内，基于复合带宽积分平均衍射效率（comprehensive PIDE，CPIDE）最大化实现DOE设计波长、微结构高度等结构参数的优化设计方法。以工作在红外波段的DOE为例进行了分析与讨论。该方法可以实现工作在一定入射角度范围内的DOE结构参数的优化设计，特别是在相对周期宽度不是很大的情况下。
1. 理论模型
当光线以入射角θ传播到DOE的微结构上时，如图 1所示，根据衍射光栅公式，得到DOE的衍射光栅方程为：
$$ T\left(n_{\mathrm{r}} \sin \theta_{\mathrm{d}}-n_{\mathrm{i}} \sin \theta\right)=m \lambda $$ (1) 式中：T为光栅周期；ni与nr分别为相应介质材料在波长λ时的折射率；θd为衍射角；m为衍射级次。依据Snell折射定律，考虑衍射微结构对光线传播的影响，有：
$$ n_{\mathrm{r}} \sin (\theta+\alpha)=n_{\mathrm{r}} \sin \left(\theta_{\mathrm{r}}+\alpha\right) $$ (2) 式中：α为微结构表面的倾角，tanα＝d/T，θr为折射角。当衍射角等于折射角，即θr＝θd时，第m衍射级次的衍射效率最大。利用公式(1)和(2)，得到DOE的表面微结构高度d为：
$$ d\left( {\lambda , \theta , T} \right) = \frac{{m\lambda }}{{{n_{\text{i}}}\left( \lambda \right)\cos \theta - \sqrt {{n_{\text{r}}}^2\left( \lambda \right) - {{(\frac{{m\lambda }}{T} + {n_{\text{i}}}\left( \lambda \right)\sin \theta )}^2}} }} $$ (3) 由公式(3)可知，当衍射面两端介质材料确定后，DOE的微结构高度与波长、入射角度和周期宽度有关。当DOE工作在正入射的状态下，微结构高度可以表示为：
$$ d\left( {\lambda , T} \right) = \frac{{m\lambda }}{{{n_{\text{i}}}\left( \lambda \right) - {n_{\text{r}}}\left( \lambda \right)\sqrt {1 - {{\left( {\frac{{m\lambda }}{{{n_{\text{r}}}\left( \lambda \right)T}}} \right)}^2}} }} $$ (4) 当周期宽度远大于波长并且光线正入射时，得到基于SDT的DOE的微结构高度为：
$$ {d_{{\text{SDT}}0}} = \frac{{m{\lambda _0}}}{{{n_{\text{i}}}\left( {{\lambda _0}} \right) - {n_{\text{r}}}\left( {{\lambda _0}} \right)}} $$ (5) 可见，基于SDT，当介质材料和衍射级次确定后，微结构高度仅由设计波长λ0决定。
基于ESDT，斜入射时DOE的衍射效率为：
$$ \begin{array}{l} {\eta _m}\left( {\lambda , \theta , T} \right) = \sin {{\text{c}}^2}\{ m - \hfill \\ \frac{d}{\lambda }\left[ {\sqrt {n_{\text{r}}^2\left( \lambda \right) - n_{\text{i}}^2\left( \lambda \right){{\sin }^2}\theta } - {n_{\text{i}}}\left( \lambda \right)\cos \theta } \right]\} \hfill \\ \end{array} $$ (6) 利用公式(3)和(6)可以计算周期宽度和入射角度对DOE衍射效率的影响。若把公式(6)中的d换成dSDT0即得到SDT的计算结果。
若DOE工作在λmin~λmax波段范围时，其PIDE为：
$$ {\overline \eta _m}\left( \lambda \right) = \frac{1}{{{\lambda _{\max }} - {\lambda _{\min }}}}\int_{{\lambda _{\min }}}^{{\lambda _{\max }}} {{\eta _m}{\text{d}}\lambda } $$ (7) 要基于PIDE的最大化确定微结构高度的大小，需要利用公式(7)，在周期宽度已知的前提下，确定公式(3)中的设计波长λ0和设计入射角度θ0，即可计算得到微结构高度d0，即：
$$ {d_0} = \frac{{m{\lambda _0}}}{{{n_{\text{i}}}\left( {{\lambda _0}} \right)\cos {\theta _0} - \sqrt {{n_{\text{r}}}^2\left( {{\lambda _0}} \right) - {{(\frac{{m{\lambda _0}}}{T} + {n_{\text{i}}}\left( {{\lambda _0}} \right)\sin {\theta _0})}^2}} }} $$ (8) 若工作在成像光学系统中的DOE，其入射角度范围为θmin~θmax，则DOE在整个工作入射角度范围内的CPIDE为：
$$ \begin{array}{l} {\overline \eta _{\text{c}}}(\lambda , \theta , T) = \frac{1}{{{\theta _{\max }} - {\theta _{\min }}}}\int_{{\theta _{\min }}}^{{\theta _{\max }}} {{{\overline \eta }_m}{\text{d}}\theta } {\text{ = }} \hfill \\ \quad \frac{1}{{{\theta _{\max }} - {\theta _{\min }}}} \cdot \frac{1}{{{\lambda _{\max }} - {\lambda _{\min }}}}\int_{{\theta _{\min }}}^{{\theta _{\max }}} {\int_{{\lambda _{\min }}}^{{\lambda _{\max }}} {{\eta _m}{\text{d}}\lambda } {\text{d}}\theta } \hfill \\ \end{array} $$ (9) 若DOE工作在几个分离的入射角度范围内，如变焦系统，则其CPIDE为：
$$ \begin{array}{l} {\overline \eta _{\text{c}}}(\lambda , \theta , T) = \sum\limits_{z = 1}^N {\frac{{{\omega _z}}}{{{\theta _{z\max }} - {\theta _{z\min }}}}\int_{{\theta _{z\min }}}^{{\theta _{z\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } } {\text{ = }} \hfill \\ \quad \quad \frac{{{\omega _1}}}{{{\theta _{1\max }} - {\theta _{1\min }}}} \cdot \int_{{\theta _{1\min }}}^{{\theta _{1\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } + \frac{{{\omega _2}}}{{{\theta _{2\max }} - {\theta _{2\min }}}} \cdot \hfill \\ \quad \quad \int_{{\theta _{2\min }}}^{{\theta _{2\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } + \cdots + \frac{{{\omega _N}}}{{{\theta _{N\max }} - {\theta _{N\min }}}} \cdot \int_{{\theta _{N\min }}}^{{\theta _{N\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } \hfill \\ \end{array} $$ (10) 式中：θzmin和θzmax分别表示第z个入射角范围的最小和最大入射角；ωz为第z个入射角范围的权重；N表示总的入射角范围数量。
2. 基于SDT的仿真与分析
以工作在红外波段1.4~2.2 μm的DOE为例，基底材料采用硫化锌，衍射级次m＝1。假设光束从空气介质入射到衍射基底，如图 2所示为基于SDT计算得到的正入射时DOE的PIDE与波长的关系。在整个波段范围内，PIDE最高为94.47%，此时对应的峰值波长为设计波长，即1.7410 μm，利用公式(5)计算得到微结构高度dSDT0为1.3726 μm。
![]()
图 2 正入射时的PIDE与波长的关系Figure 2. Relationship between PIDE and wavelength at normal incidence当入射角度分别为20°和40°时，DOE的衍射效率与波长的关系如图 3所示。正入射时，在设计波长处的衍射效率为100%，最低衍射效率为81.07%。随着入射角度的增大，100%衍射效率对应的设计波长向长波方向移动；而且在工作波段范围内的最低衍射效率呈现快速下降的变化趋势。
图 4给出了PIDE与入射角度的关系。当入射角度分别为20°、40°和60°时，DOE在整个波段的PIDE分别为94.27%、91.13%%和78.05%。假设各个视场的权重相同，当DOE分别工作在0°~20°、0°~40°和0°~60°入射角度范围内时，利用公式(10)计算得到CPIDE分别为94.43%、93.81%和91.13%。可见，基于正入射计算得到的微结构高度，随着入射角度或入射角度范围的增大，对应的PIDE或CPIDE逐渐减小。
3. 基于ESDT的仿真与分析
基于ESDT，首先分析周期宽度和入射角度对DOE微结构高度的影响；然后，分析一定的周期宽度和不同入射角度时DOE的衍射效率；最后，基于CPIDE最大化实现微结构高度等结构参数的优化设计。
3.1 微结构高度的分析
由公式(3)可知，DOE的微结构高度的大小与周期宽度和入射角度有关。当入射角度分别为0°、20°、40°和60°时，DOE的微结构高度与相对周期宽度（周期宽度与波长1.7410 μm的比值）的关系如图 5所示。正入射时，当相对周期宽度为5时，衍射微结构高度为1.3758 μm，与dSDT0相比，增大了0.0032 μm。如表 1所示，当入射角度为40°时，相对周期宽度分别为10或无穷大时，对应的微结构高度分别为1.2511 μm和1.2355 μm，与dSDT0相比，分别减小了8.85%和9.99%。如图 5和表 1所示，当入射角度或者相对周期宽度改变时，基于ESDT计算得到的微结构高度与SDT的偏差不同。所以，当入射角度较大时，需要考虑入射角度和相对周期宽度对微结构高度的影响。
表 1 微结构高度与周期宽度的关系Table 1. Relationship between microstructure height and period widthIncident angle/(°) Period width /λ 5 10 20 30 ∞ 0 1.3758 1.3734 1.3728 1.3727 1.3726 20 1.3579 1.3463 1.3411 1.3395 1.3365 40 1.2689 1.2511 1.2430 1.2404 1.2355 60 1.1266 1.1076 1.0988 1.0960 1.0907 3.2 斜入射时的仿真与分析
当相对周期宽度确定为20时，在上述4个入射角度情况下，DOE的PIDE与波长的关系如图 6所示。随着入射角度的增大，PIDE最大值对应的峰值设计波长向短波方向移动。利用公式(4)计算得到微结构高度如表 2所示。伴随着设计波长的减小，微结构高度随入射角度的增大也减小。
表 2 基于带宽积分平均衍射效率最大化确定的结构参数Table 2. Structural parameters determined by maximum PIDEParameters Incident angle/° 0 20 40 60 Maximum PIDE/% 94.47 94.47 94.48 94.50 Design wavelength/μm 1.7399 1.7298 1.7220 1.7182 Microstructure height/μm 1.3724 1.3360 1.2350 1.0904 利用上述计算得到的设计波长和微结构高度，计算DOE的衍射效率如图 7所示。入射角度为20°时，采用SDT和ESDT设计时的DOE在整个工作波段范围内的衍射效率图 7(a)所示，衍射效率最小值分别为76.18%和81.65%，提高了5.47%。当入射角度分别增大到40°和60°时，如图 7(b)、(c)所示，衍射效率最小值分别从59.25%增大到81.17%，从29.39%增大到81.21%，分别提高了21.92%和51.82%。可见，当入射角度偏离正入射时，利用基于ESDT计算得到的设计波长和微结构高度能够显著提高衍射效率。
![]()
图 7 衍射效率与波长关系的对比Figure 7. Comparison of the relationship between diffraction efficiency and wavelength3.3 一定入射角度范围工作时的仿真与分析
同样假设DOE的相对周期宽度确定为20，当DOE工作时的入射角度范围为0°~20°，并假设各个视场的权重因子相同，DOE的PIDE与波长和入射角度的关系如图 8所示，基于CPIDE的最大化（94.45%），得到设计波长为1.73 μm，设计角度为8.25°，进一步计算得到DOE的微结构高度为1.3615 μm。若DOE工作的入射角度范围增大到0°~40°或0°~60°时，其微结构高度和CPIDE等参数如表 3所示。可见，随着DOE衍射面入射角度范围的增大，其微结构高度和CPIDE都逐渐减小。
![]()
图 8 一定周期宽度时的PIDE与入射角度和波长的关系Figure 8. PIDE versus incident angle and wavelength at a certain period width表 3 基于带宽积分平均衍射效率最大化确定的结构参数Table 3. Structural parameters determined by maximum CPIDEParameters Incident angle range/° 0-20 0-40 0-60 Design wavelength/μm 1.73 1.72 1.72 Design angle/° 8.25 16 24 Microstructure height/μm 1.3615 1.3396 1.3142 CPIDE/% 94.45 94.15 92.67 4. 结论
本文基于ESDT，建立了DOE的微结构高度与入射角度、周期宽度的数学关系模型，提出了工作在一定入射角度范围内，基于CPIDE最大化实现设计波长和微结构高度等结构参数的优化设计方法。对工作在红外波段的DOE进行仿真分析。当入射角度为40°时，对比SDT，基于ESDT计算得到的在工作波段范围内衍射效率的最小值提高了29.39%；当DOE工作在0°~40°范围内时，通过优化设计得到微结构高度为1.3396 μm，CPIDE为94.15%。随着DOE在各类光学系统中的广泛应用，该方法为工作在较大入射角度范围内DOE的优化设计提供了理论依据。
-
![]()
图 1 采用暗态点光源模型的夜间图像去雾算法流程
Figure 1. Process of nighttime image dehazing algorithm using dark point light source model
![]()
图 2 暗通道可信度权值因子获取流程
Figure 2. Dark channel credibility weight factor acquisition process
![]()
图 4 本文算法的去雾结果对比
Figure 4. Comparison of dehazing results of the algorithm in this paper
-
[1] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.
[2] ZHANG J, CAO Y, WANG Z F. Nighttime haze removal based on a new imaging model[C]//IEEE International Conference on Image Processing, 2014: 4557-4561.
[3] PEI S C, LEE T Y. Nighttime haze removal using color transfer pre-processing and dark channel prior[C]// Image Processing (ICIP), 19th IEEE International Conference, 2012: 957-960.
[4] 陈志恒, 严利民, 张竞阳. 采用自适应全局亮度补偿的夜间去雾算法[J]. 红外技术, 2021, 43(10): 954-959. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202110007.htm CHEN Zhiheng, YAN Limin, ZHANG Jingyang. Nighttime dehazing algorithm with adaptive global brightness compensation[J]. Infrared Technology, 2021, 43(10): 954-959. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202110007.htm
[5] 皮燕燕, 王远明, 王兴岭. 基于图像分层与暗通道先验的夜间图像去雾算法[C]//惯性技术发展动态发展方向研讨会文集, 2018: 132-135. PI Yanyan, WANG Yuanming, WANG Xingling. Night-time image dehazing algorithm based on image stratification and dark channel prior[C]// Proceedings of the Symposium on the Dynamic Development Direction of Inertial Technology, 2018: 132-135.
[6] 王柳哲. 基于多光源模型与暗通道先验的夜间图像去雾[D]. 北京: 北京交通大学, 2018. WANG Liuzhe. Night Image Defogging Based on Multiple Light Source Models and Dark Channel Priors[D]. Beijing: Beijing Jiaotong University, 2018.
[7] 张竞阳, 严利民, 陈志恒. 采用暗态点光源模型的夜间去雾算法[J]. 红外技术, 2021, 43(8): 798-803. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202108015.htm ZHANG Jingyang, YAN Limin, CHEN Zhiheng. Nighttime fog removal using the dark point light source model[J]. Infrared Technology, 2021, 43(8): 798-803. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202108015.htm
[8] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017: 7016-7024.
[9] YIN Hui, GONG Yuanhao, QIU Guoping. Side window guided filtering[J]. Signal Processing, 2019, 165(C): 315-330.
[10] 高强, 胡辽林, 陈鑫. 基于暗通道补偿与大气光值改进的图像去雾方法[J]. 激光与光电子学进展, 2020, 57(6): 150-156. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202006015.htm GAO Qiang, HU Liaolin, CHEN Xin. Image dehazing method based on dark channel compensation and improvement of atmospheric light value[J]. Laser & Optoelectronics Progress, 2020, 57(6): 150-156. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202006015.htm
下载:
计量
- 文章访问数: 169
- HTML全文浏览量: 38
- PDF下载量: 40
