Nighttime Fog Removal Using the Dark Point Light Source Model
-
摘要: 针对夜间雾、霾场景下的去雾图像存在颜色失真、纹理损失、亮度低等缺陷，本文提出了一种采用暗态点光源模型的夜间去雾算法，通过构建夜间雾、霾场景的暗态点光源模型，利用联合双边滤波、限制对比度自适应直方图均衡化等算法对降质图像进行处理，结合大气散射模型得到去雾图像。实验结果表明，该算法的处理速度快、夜间去雾效果较好，较对比算法在对比度、平均梯度以及信息熵上均有一定程度地改善，有效解决了去雾图像的颜色失真、纹理损失、亮度低等缺陷。
-
关键词:
- 夜间去雾 /
- 暗态点光源模型 /
- 联合双边滤波 /
- 限制对比度自适应直方图均衡化 /
- 大气散射模型
Abstract: To address image distortion, texture loss, and low brightness in nighttime fog scenes, this paper proposes a nighttime defogging algorithm based on a dark point light source model. The dark point light source model was first constructed and the degraded image was processed by an algorithm that utilizes both bilateral filtering and limited contrast adaptive histogram equalization. Then, the defogging image was obtained by combining with the atmospheric scattering model. The experimental results show that this algorithm has a fast processing speed, a better effect of nighttime fogging, and a certain degree of improvement in terms of contrast, average gradient, and information entropy when compared with the contrast algorithm. This model can therefore effectively address image distortion, texture loss, and low brightness of fogging images. -
0. 引言
近年来，日益加剧的雾、霾天气严重干扰了户外视觉采集系统的正常工作与运行，降低了所获图像、视频的信息质量。此类天气情况下采集得到的图像、视频往往存在画面模糊、对比度低、细节丢失严重等问题[1-3]。目前面向白天降质环境的去雾算法研究已经日益成熟，而对夜间降质图像的去雾算法研究则相对较少。因此，研究如何在夜间雾、霾场景下对降质图像进行有效去雾，具有一定的研究意义和应用价值。
为实现夜间降质图像的有效去雾，Zhang J.[4]提出了一种基于最大反射率先验理论的快速夜间去雾算法，利用最大反射率先验理论来对夜间降质场景下的大气光分布进行有效估计，然后结合夜间去雾模型实现去雾，该算法去雾效果较好、纹理损失少，但去雾图像存在一定颜色失真; 同时，Li Y.[5]提出了一种全新的大气光模型用于夜间图像去雾，通过线性计算剥离降质图像的辉光项，利用局部编码估算大气光分布，结合散射模型实现去雾，该算法具备一定的去雾效果，但去雾图像存在一定的纹理细节损失; 而Yu T.[6]则提出了一种结合像素级alpha混合算法的夜间去雾算法，以亮度感知权值为导向，对夜间降质场景下的非光源与光源区域的透射率估计进行有效融合，利用信号差分引导滤波来有效估算大气光分布，结合大气散射模型进行去雾，该算法去雾效果较好、颜色一致性强，但场景亮度较低。
针对现有夜间降质图像去雾算法存在的颜色失真、纹理损失、亮度低等缺陷，本文在He K.M[7]的暗通道先验去雾算法的基础上，提出了一种采用暗态点光源模型的夜间去雾算法，利用最小值滤波、伽马变换等算法建立暗态点光源模型，然后使用暗态点光源模型与联合双边滤波等算法有效估计夜间降质图像的大气光分布、透射率分布，最后结合大气散射模型实现去雾。实验结果表明，该算法处理速度快、去雾效果好，有效减少了去雾图像的颜色失真、纹理损失、亮度低等缺陷。
1. 基于暗通道先验理论去雾算法
在数字图像处理领域，McCartney的大气散射模型被广泛应用于去雾处理，其数学表达式为:
$$ I(x, y) = J(x, y)t(x, y) + A[1 - t(x, y)] $$ (1) 式中: (x, y)为图像的横纵坐标; I(x, y)为降质图像; J(x, y)为去雾图像; t(x, y)为透射率分布; A为大气光值。推导数学公式(1)，即可得到透射率分布t(x, y)的数学表达式为:
$$ t\left( {x,y} \right) = \frac{{1 - I\left( {x,y} \right)/A}}{{1 - J\left( {x,y} \right)/A}} $$ (2) He K. M.[7]等人在对不包含天空区域的无雾图像观察统计中发现，无雾图像某一颜色通道下的像素值总是接近于零的现象。基于该观察结果，他提出了暗通道先验理论，即对于任意无雾图像的非天空区域，至少存在一个颜色通道下的像素值是接近于零的，该理论的数学表达式为:
$$ {J_{\rm{d}}}\left( {x,y} \right) = \mathop {\min }\limits_{x,y \in \Omega \left( {x,y} \right)} \left[ {\mathop {\min }\limits_{c \in \left\{ {r,g,b} \right\}} {J_{\rm{c}}}\left( {x,y} \right)} \right] \to 0 $$ (3) 式中: Jd(x, y)为J(x, y)的暗通道图像; Jc(x, y)为颜色通道各自对应的灰度值; Ω(x, y)为滤波窗口。假设大气光值已知，则透射率分布t(x, y)的获取方式为:
$$ t\left( {x,y} \right) = 1 - \omega \left[ {{I_{\rm{d}}}\left( {x,y} \right)/A} \right] $$ (4) 式中: Id(x, y)为I(x, y)的暗通道图像; ω为雾气权值系数，用作在去雾图像中保留少量雾气以保持图像的视觉真实性，一般取作0.95，A为大气光值，一般取为I(x, y)像素值降序排列前0.1%的像素平均值。
结合求得的透射率分布t(x, y)、大气光值A以及公式(1)，即可得到去雾图像:
$$ J\left( {x,y} \right) = \frac{{I\left( {x,y} \right) - A}}{{t\left( {x,y} \right)}} + A $$ (5) 该算法对白天雾、霾天气下的降质图像具备较好的去雾效果，但直接应用于夜间降质图像，则会因为降质场景亮度过低等因素，出现算法失效的情况。
2. 本文去雾算法
为解决夜间降质图像去雾算法存在的颜色失真、纹理损失、亮度低等缺陷，本文基于He K. M.[7]的暗通道先验去雾算法，提出了一种采用暗态点光源模型的夜间去雾算法。算法流程为: 首先，利用最小值滤波、伽马变换、高斯滤波算法建立暗态点光源模型，利用最大值滤波获取降质图像I(x, y)的亮度分布Ib(x, y); 再使用暗态点光源模型、亮度分布Ib(x, y)和联合双边滤波算法有效估计降质图像I(x, y)的大气光分布A(x, y); 然后根据已知的大气光分布A(x, y)和暗通道图像Id(x, y)获取降质图像的透射率分布t(x, y)，并利用联合双边滤波对其进行纹理细化; 最后结合改进后的大气散射模型进行去雾处理，并利用限制对比度直方图均衡化算法进行图像增强。算法实现过程如图 1所示。
2.1 暗态点光源模型
为有效估计夜间雾、霾天气下降质图像的大气光分布A(x, y)，本文提出了一种暗态点光源模型。暗态点光源模型的获取流程如图 2(a)所示: 首先，对降质图像I(x, y)进行最小值滤波获取暗通道图像Id(x, y); 然后用伽马变换对暗通道图像Id(x, y)进行灰度矫正，处理公式如下:
$$ {V_{\rm{p}}}\left( {x, y} \right) = \alpha \cdot {\left[ {\mathop {\min }\limits_{x, y \in \Omega \left( {x, y} \right)} I\left( {x, y} \right)} \right]^\gamma } $$ (6) 式中: α称为灰度缩放系数，用于整体拉伸图像灰度，通常取值为1;γ为伽马值，伽马变换可以有效增强图像的明暗对比，进一步增强暗通道图像的明暗对比，进而有效地分割降质图像的光源区域与非光源区域; Vp(x, y)为暗态点光源模型，对其再进行高斯滤波即可得到估算大气光分布所需的最终点光源模型。多数伽马变换都是手动设置伽马系数，为全局变量，对于夜间图像的增强效果并不理想。所以本文采用文献[8]中的方法，首先，采用多尺度高斯函数的方法来提取光照不均匀场景中的光照分量，对各个光照分量进行加权，得到光照分量的估计值。然后利用图像的光照分量的分布特性自适应地调整二维伽马函数的参数，提高光照不均匀图像整体质量。
在获取了暗态点光源模型Vp(x, y)后，即可根据公式(7)获取降质图像I(x, y)的亮度分布Ib(x, y):
$$ {I_{\rm{b}}}\left( {x, y} \right) = \mathop {\max }\limits_{c \in \left\{ {r, g, b} \right\}} {J_{\rm{b}}}\left( {x, y} \right) $$ (7) 考虑到夜间雾、霾天气情况下，降质场景的光源多为点光源，与白天的面光源不同，点光源的照射条件决定了夜间去雾的主要对象为点光源光线覆盖范围内的降质场景。如果简单地将亮度分布作为大气光分布用于降质图像的去雾，会导致去雾图像出现图像失真、去雾场景过暗等问题，所以如何得到一个合理的点光源模型，用于大气光分布的估计，成为了夜间去雾算法的一个难点。
由于联合双边滤波器具备与引导滤波器相同的滤波效果，即可通过输入引导图像对目标图像进行引导滤波，而且滤波后的图像具备更好的边缘保持效果。因此本文将暗态点光源模型Vp(x, y)作为目标图像，将亮度分布Ib(x, y)作为引导图像，利用联合双边滤波器的引导特性[9]，模拟生成夜间点光源的光线照射路线，从而对夜间的大气光分布进行有效估计，处理过程如图 2(b)所示。根据公式(7)得到降质图像亮度分布Ib(x, y)，再对亮度分布Ib(x, y)进行高斯滤波处理，最后以暗态点光源模型Vp(x, y)为目标图像、以亮度分布Ib(x, y)为引导图像进行联合双边滤波处理，即可得到最终所需的大气光分布A(x, y)。此时的大气光分布A(x, y)中所保留的亮度信息主要为点光源及其光线覆盖范围内的亮度信息，将该大气光分布用作后续降质图像的去雾处理，可以有效解决图像失真、去雾场景过暗等问题。
2.2 透射率分布的精确估计
根据2.1节得到的大气光分布A(x, y)，结合暗通道图像Id(x, y)即可改进透射率估计公式(4)为:
$$ t'\left( {x,y} \right) = 1 - \omega \left[ {{I_{\rm{d}}}\left( {x,y} \right)/A\left( {x,y} \right)} \right] $$ (8) 式中: t′(x, y)为I(x, y)的粗透射率分布; ω为雾气权值系数; Id(x, y)为I(x, y)的暗通道图像; A(x, y)为I(x, y)的大气光分布。粗透射率分布的处理结果如图 3(b)所示，由图可知，此时的粗透射率分布t′(x, y)纹理细节损失严重，若用该透射率分布对降质图像（图 3(a)）去雾，处理结果会因为透射率的不准确估计，而存在纹理细节缺失、光晕效应、颜色失真等缺陷。考虑到联合双边滤波具备细化图像纹理的作用，本文利用其对粗透射率t′(x, y)进行精细化处理，得到的细透射率分布如图 3(c)所示，记作t"(x, y)。该透射率分布估值准确、细节明显，可以有效解决纹理细节缺失、光晕效应、颜色失真等缺陷。
2.3 夜间降质图像去雾
在得到细透射率分布t"(x, y)以及大气光分布A(x, y)以后，即可对公式(5)进行去雾改进处理得到:
$$ J\left( {x, y} \right) = \frac{{I\left( {x, y} \right) - A\left( {x, y} \right)}}{{\max \left[ {t''\left( {x, y} \right), {t_0}} \right]}} + A\left( {x, y} \right) $$ (9) 式中: J(x, y)为去雾图像; I(x, y)为降质图像; A(x, y)为大气光分布; t"(x, y)为细透射率分布; t0为防止分母为零而引入的系数，本文取作0.1。
3. 实验结果与分析
本文算法的所有实验均在CPU为Intel(R) Core i7-9700K @3.60 GHz、内存为32 GB、操作系统为Windows 10的计算机上运行所得，开发语言为C++和OpenCV 3.4.6，开发软件平台为Visual Studio 2019，测试软件平台为Matlab 2018。实验所用的夜间降质图像为本实验室自行建立的降质图库。为验证本文算法的去雾效果和处理速度，本文将从主观对比和客观对比两个角度进行实验对比。
3.1 主观对比
本文从降质图库中随机选取了4幅具有夜间雾、霾天气代表性的降质图像，分别采用不同的夜间去雾算法进行去雾处理，得到的实验结果如图 4所示。
由图 4可知，相比于白天有雾图像的去雾算法和专门针对夜间有雾图像的去雾算法，本文所提的算法清晰化效果比较明显，在对比度、色彩和细节信息等方面都做了适度增强。
3.2 客观对比
为了进一步对比不同算法的处理效果，本文使用信息熵（Information Entropy, IE）、平均梯度（Average Gradient，AG）和对比度（Contrast）对图 4中4张图各个算法的处理结果进行客观评价，如表 1所示。可以看出，经过本文算法处理过后的图像的质量普遍有较为明显的改善，主要表现在信息熵值的提高，说明处理后的夜间图像所包含的信息量比较丰富; 平均梯度的提升说明处理后的夜间图像在清晰度提高了; 对比度的提高说明有效增强了夜间图像的明暗对比度。由此可见，本文所提算法在夜间有雾图像的去雾效果上取得了比较好的结果。
Index Algorithm Fig. 1 Fig. 2 Fig. 3 Fig. 4 IE HE[7] 7.3539 6.9861 6.9447 6.5511 Zhang[4] 7.0074 6.6843 6.8380 6.4599 Li[5] 6.2890 5.8723 6.4657 5.4543 Proposed 7.5694 6.7746 7.0220 6.6502 AG HE[7] 0.0646 0.0693 0.0521 0.0415 Zhang[4] 0.0491 0.0519 0.0471 0.0311 Li[5] 0.0272 0.0276 0.0288 0.0161 Proposed 0.0653 0.0707 0.0535 0.0457 Contrast HE[7] 0.1745 0.1709 0.1346 0.1059 Zhang[4] 0.1565 0.1622 0.1528 0.1217 Li[5] 0.1129 0.0913 0.1183 0.0875 Proposed 0.1823 0.1754 0.1562 0.1238 4. 结语
为有效解决现有夜间降质图像去雾算法存在的颜色失真、纹理损失、亮度低等缺陷，本文提出了一种采用暗态点光源模型的夜间去雾算法。该算法通过引入暗态点光源模型，结合联合双边滤波、高斯滤波、最大值、最小值滤波等算法对夜间降质场景的大气光分布、透射率分布进行了有效估计，最后改进大气散射模型对夜间降质图像进行有效去雾。实验结果表明，该算法的处理速度快、夜间去雾效果好，能够有效减少去雾图像的颜色失真、纹理损失，且去雾场景亮度得到一定程度的保留，同时在对比度、平均梯度以及信息熵上均有一定提高，可应用于城市交通监控系统的夜间去雾。
-
Index Algorithm Fig. 1 Fig. 2 Fig. 3 Fig. 4 IE HE[7] 7.3539 6.9861 6.9447 6.5511 Zhang[4] 7.0074 6.6843 6.8380 6.4599 Li[5] 6.2890 5.8723 6.4657 5.4543 Proposed 7.5694 6.7746 7.0220 6.6502 AG HE[7] 0.0646 0.0693 0.0521 0.0415 Zhang[4] 0.0491 0.0519 0.0471 0.0311 Li[5] 0.0272 0.0276 0.0288 0.0161 Proposed 0.0653 0.0707 0.0535 0.0457 Contrast HE[7] 0.1745 0.1709 0.1346 0.1059 Zhang[4] 0.1565 0.1622 0.1528 0.1217 Li[5] 0.1129 0.0913 0.1183 0.0875 Proposed 0.1823 0.1754 0.1562 0.1238 
下载: 导出CSV
-
[1] 余顺园, 朱虹. 夜间有雾图像的光照模型构建及去雾[J]. 光学精密工程, 2017, 25(3): 729-734. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703025.htm YU S Y, ZHU H, Illumination model construction and defogging of night foggy image[J]. Optics And Precision Engineering, 2017, 25(3): 729-734. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201703025.htm
[2] 郭璠, 邹北骥, 唐琎. 基于多光源模型的夜晚雾天图像去雾算法[J]. 电子学报, 2017, 45(9): 2127-2134. DOI: 10.3969/j.issn.0372-2112.2017.09.011 GUO P, ZOU B J, TANG J. Defogging algorithm of night fog image based on multi light source model[J]. Acta Electronica Sinica, 2017, 45(9): 2127-2134. DOI: 10.3969/j.issn.0372-2112.2017.09.011
[3] 左健宏, 蔺素珍, 禄晓飞, 等. 基于雾线暗原色先验的红外图像去雾算法[J]. 红外技术, 2020, 42(6): 552-558. http://hwjs.nvir.cn/article/id/hwjs202006007 ZUO J H, LIN S Z, LU X F, et al. Infrared image defogging algorithm based on fog line dark primary color prior[J]. Infrared Technology, 2020, 42(6): 552-558. http://hwjs.nvir.cn/article/id/hwjs202006007
[4] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 7418-7426.
[5] LI Y, TAN R T, Brown M S. Nighttime haze removal with glow and multiple light colors[C]//Proceedings of the IEEE International Conference on Computer Vision, 2015: 226-234.
[6] YU T, SONG K, MIAO P, et al. Nighttime Single Image Dehazing via Pixel-Wise Alpha Blending[J]. IEEE Access, 2019(7): 114619-114630. http://ieeexplore.ieee.org/document/8805086
[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.
[8] 刘志成, 王殿伟, 刘颖, 等. 基于二维伽马函数的光照不均匀图像自适应校正算法[J]. 北京理工大学学报, 2016, 36(2): 191-196, 214. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201602016.htm LIU Z C, WANG D W, LIU Y, et al. Adaptive correction algorithm for uneven illumination image based on two dimensional gamma function[J]. Journal of Beijing University of Technology, 2016, 36(2): 191-196, 214. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201602016.htm
[9] 陈志恒, 严利民, 陆斌. 一种快速高效的实时视频去雾算法[J/OL]. 激光与光电子学进展: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447.008.html. CHEN Z H, YAN L M, LU B. A fast and efficient real time video defogging algorithm[J/OL]. Laser & Optoelectronics Progress: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447.008.html.
-
期刊类型引用(17)
1. 刘志海，刘飞熠，刘东阳，韩文钰，刘磊. 基于HSV色彩空间及改进二维伽马函数的井下图像增强算法. 煤炭技术. 2024(01): 203-206 . 
百度学术
2. 牛振华，邢延超，林英超，王晨轩. 基于NSCT结合显著图与区域能量的红外与可见光图像融合. 红外技术. 2024(01): 84-93 . 本站查看
3. 王振，刘磊. 融合彩色模型空间的电力设备红外图像增强. 红外技术. 2024(02): 225-232 . 本站查看
4. 李建康，韩帅，陈没，廖思卓，王道累，赵文彬. 基于深度学习的输电通道入侵物体识别方法研究. 电力信息与通信技术. 2024(02): 34-39 . 百度学术
5. 高敏钦. 基于Retinex和HSV颜色空间的低照度图像增强算法. 广东轻工职业技术学院学报. 2024(01): 9-13 . 百度学术
6. 陈鑫，钱旭，周佳加，武杨. 基于水下场景先验的水下图像增强方法研究. 应用科技. 2024(02): 56-65 . 百度学术
7. 周辉奎，章立，胡素娟. 改进直方图匹配和自适应均衡的水下图像增强. 红外技术. 2024(05): 532-538 . 本站查看
8. 董良振，田建艳，杨胜强，陈海滨. 基于光照校正和图像融合的零件表面图像增强. 计算机工程. 2024(06): 245-254 . 百度学术
9. 陈从平，张力，江高勇，凌阳，戴国洪. 改进零参考深度曲线低照度图像增强算法. 计算机测量与控制. 2023(01): 209-214+221 . 百度学术
10. 龚勇，张海民. 低照度环境下小尺度人脸图像增强方法. 青岛理工大学学报. 2023(01): 141-146+160 . 百度学术
11. 田源. 视觉感知下的无人机拍摄图像最邻近帧质量增强. 现代电子技术. 2023(15): 67-70 . 百度学术
12. 彭大鑫，甄彤，李智慧. 低光照图像增强研究方法综述. 计算机工程与应用. 2023(18): 14-27 . 百度学术
13. 张平，孙林，解斐斐，田亚楠，赵旭东. 改进Retinex的低照度图像增强研究. 激光杂志. 2023(09): 91-97 . 百度学术
14. 张勇，周斌，王建斌. 多尺度Retinex低照度图像增强的ZYNQ实现. 火力与指挥控制. 2023(07): 156-162 . 百度学术
15. 钟小莉，谢旻旻. 模糊图像固定跟踪点特征自适应增强算法仿真. 计算机仿真. 2023(12): 316-320 . 百度学术
16. 王克广，岳乔，缪伟，邬冠华. 发动机小直径管X射线底片数字化图像增强技术. 失效分析与预防. 2022(02): 86-95 . 百度学术
17. 汤浩，朱泓宇，谢超. 低照度图像增强方法综述. 林业机械与木工设备. 2022(07): 4-10 . 百度学术
其他类型引用(24)
计量
- 文章访问数: 294
- HTML全文浏览量: 77
- PDF下载量: 50
- 被引次数: 41
