Low-light Image Enhancement via Detail Saliency Estimation
-
摘要:
在基于Retinex分解的低照度图像增强算法中，通过同时估计反射层和亮度层进行反射层恢复是一种流行且有效的方法，但算法结构较为复杂，实现难度大。这是因为恢复反射率是一个约束优化问题，不能用简单的优化技术来解决。本文提出了一种细节显著性估计方法，可以利用简单的梯度下降优化技术从图像中恢复出反射层。该方法是基于我们所提出假设——暗区域近似（dark region approximation, DRA）：由于低照度图像暗区域中的光照很弱，因此将其忽略不计，即将输入图像中暗区域的灰度分布直接近似为反射层。首先利用高斯场准则构建目标函数，通过基于DRA的Retinex模型估计细节显著层；然后用拟牛顿法求解该无约束优化问题；最后，从细节显著层中恢复出反射层作为最终增强结果。实验结果表明，与现有同类方法相比，我们的方法在增强效果和计算效率方面都具有优势。
Abstract:Reflectance recovery via the simultaneous estimation of reflectance and illumination is a prevalent and effective solution for image enhancement based on retinex decomposition, but its use results in a complex algorithm structure because reflectance recovery is formulated as a constrained optimization problem that cannot be solved via simple optimization techniques. In this study, a detailed saliency estimation method is proposed to recover reflectance from grayscale images via optimization employing gradient descent algorithms. This method is built on our hypothesis of dark region approximation (DRA). Because the illumination in dark regions of a low-light image is weak to the point of being negligible, the intensities of dark regions in the captured images are approximated as reflectance. The Gaussian field criterion is applied to establish a differentiable optimization function via DRA. This unconstrained optimization problem is then solved using the quasi-Newton method to estimate the detail saliency layer via the DRA-based retinex model. Finally, the reflectance is recovered from the detailed saliency layer. The results for a variety of images demonstrate the superiority of our method over several state-of-the-art methods in terms of enhancement efficiency and quality.
-
Keywords:
- gray-scale enhancement /
- low-light image /
- reflectance estimation /
- Retinex model
-
0. 引言
高可见度的图像可以清晰地反映场景细节信息，这对于夜视[1-2]、遥感[3]、缺陷检测[4]、医学成像[5]等应用非常重要。但是由于探测器属性的限制，以及相机参数设置不当、背光拍摄、非均匀光照、过曝或者欠曝等人为因素的影响，在低照度条件下拍摄的图像通常存在动态范围窄、对比度低和细节损失[6-9]等缺点。因此，能够提升图像可见度的灰度增强是本文的研究重点。
Retinex[9]模型将输入图像视为反射层和照明层的乘积，基于Retinex的模型可以从捕获的图像中重新恢复出具备丰富细节的反射层。单尺度Retinex（single scale Retinex, SSR）[10]和多尺度Retinex（multi scale Retinex, MSR）[11]是图像Retinex增强的早期尝试，它们在增强对比度方面表现良好，但容易导致捕获图像的暗区细节丢失。因此，近期研究人员又提出了几种基于Retinex的低照度图像增强方法，可以弥补SSR和MSR的不足，例如反射层和亮度层联合估计（simultaneous reflectance and illumination estimation, SRIE）[12]、利用亮度映射估计的低照度图像增强（low-light image enhancement, LIME）[13]、利用鲁棒Retinex模型揭示结构的低照度图像增强[6]和低秩正则化Retinex模型（low-rank regularized Retinex model, LR3M）[14]。这些方法将低照度增强转化为多块凸优化问题，并通过交替方向最小化技术，同时优化估计输入图像的反射层和亮度层。这些基于SRIE的方法大大提高了低照度图像增强方法的性能。然而，图像增强算法的结构越来越复杂，计算复杂度高，导致实现困难。多块凸优化的复杂性使得低照度图像增强的实际应用面临着巨大的困难。
本文提出了一种基于梯度下降算法的Retinex分解方法，对图像进行细节显著性估计，以恢复图像的反射层。该方法基于暗区近似（DRA）假设：由于低照度图像暗区域中的光照很微弱，因此忽略不计，将输入图像中暗区域灰度直接近似为反射层。根据DRA假设，利用高斯场准则构造目标函数，基于梯度优化技术，对图像暗区域和亮区域分别利用两种不同的成像模型进行细节显著性估计。然后，从细节显著层中恢复出反射层作为最终增强结果。实验结果说明所提出方法仅利用简单的梯度优化技术就可以进行高质量的Retinex分解，有效地提升图像增强效果，并降低了工程化实现的难度。
1. 基于细节显著性估计的图像灰度增强方法
1.1 问题表述
Retinex模型解释了可见图像的形成，如下所示：
$$L=R \circ T$$ (1) 式中：L表示捕获的图像；R表示反射率；T表示照明度。操作∘表示按元素相乘。一般来说，R表示场景中的细节，T表示场景的光照分布。令$ \hat L $＝ln(L)，$ \hat R $＝ln(R)和$ \hat T $＝ln(T)。然后，Retinex模型可以重写为：
$$\hat{L}=\hat{R}+\hat{T} $$ (2) 从公式(2)可以看出，在对数空间中，采集的图像可以看成反射层和照明层之和。一般来说，反射层被认为是描绘捕获物体结构细节的映射，所以反射层是图像增强的期望结果。然而，根据文献[12]的结论，我们可知对数域中直接估计的反射层通常会丢失暗区域的细节。
众所周知，反射部分是由物体上的光照引起的。因此，我们考虑把反射层$ \hat R $看作以照明层$ \hat T $为输入的映射函数Φ，于是公式(2)可写为：
$$\hat{L}^{\mathrm{e}}(\varPhi)=\varPhi \hat{T}+\hat{T}$$ (3) 公式(3)提供了利用$ \hat L $和$ \hat T $估计映射函数Φ的途径。因此，以求解公式(3)中Φ，为本文利用高斯场准则构建目标函数：
$$\left.\min\limits_{\varPhi} E(\varPhi)=\min\limits_{\varPhi}\left\{-\sum\limits_{i=1}^M \exp \left[-\frac{\left(\hat{L}_i-\hat{L}_i^{\mathrm{e}}(\varPhi)\right)^2}{2 \sigma^2}\right]+\lambda S(\varPhi)\right\}\right) $$ (4) 式中：$ {\hat L_i} $和$ {\hat T_i} $分别表示$ \hat L $和$ \hat T $中第i像素的强度值；σ是尺度参数；M是$ \hat L $中的像素总数。公式(4)中第一项可以使公式(3)与Retinex模型尽量接近，第二项S(Φ)是为了防止映射函数Φ过度变化而引起目标函数过度优化。λ是平衡这两项的正则化常数。
1.2 反射层模型
映射函数Φ在公式(4)中可以看作是一个反射层模型，它描述了采集图像中从光照到反射的变换模型。然而，决定图像反射率的主要因素有两个：环境的光照和被摄物体的固有特性。在上述分析的基础上，我们建立如下反射层模型：
$$\begin{array}{l} \varPhi_N\left(\hat{T}_{\mathrm{i}}\right) =A_N\left(x_i, y_i\right)+B_N\left(\hat{T}_{\mathrm{i}}\right) \\ \;\;\;\;\;\;\;\;\;\;\;\;=\sum\limits_{n=1}^N \sum\limits_{k=0}^n \alpha_{n k} x_i^k y_i^{n-k}+\sum\limits_{n=1}^N \beta_n \hat{T}_i^n \end{array}$$ (5) 式中：[xi, yi]T是图像中第i个像素的坐标向量；αnk和βn是反射层参数；N是反射层模型的阶数。
将公式(5)的矩阵形式代入公式(4)，目标函数变为：
$$ \min\limits_{\boldsymbol{K}^N} E\left(\boldsymbol{K}^N\right)=\min\limits_{\boldsymbol{K}^N}\left\{-\sum\limits_{i=1}^M \exp \left(-\frac{\left(\hat{L}_i-\hat{T}_i-\boldsymbol{K}^N P_i^N\right)^2}{2 \sigma^2}\right)+\lambda\left\|\boldsymbol{K}^N\right\|_2^2\right\}$$ (6) 式中：$ {\left\| \cdot \right\|_2} $表示L2范数。从公式(6)可以看出，稳定项能够在优化过程中测量反射率参数向量的变化程度，防止反射层参数出现过度优化。
1.3 优化
很明显，公式(6)所示的目标函数对于反射率参数KN总是连续可微的。由于反射层模型是以多项式形式定义的，因此很容易写出公式(6)的相应一阶导数，如下所示：
$$ \begin{aligned} \frac{\partial E\left(\boldsymbol{K}^N\right)}{\partial \boldsymbol{K}^N}= & \frac{1}{\sigma^2} \sum\limits_{i=1}^M \boldsymbol{P}_i^N\left(\boldsymbol{K}^N \boldsymbol{P}_i^N+\hat{T}_i-\hat{L}_i\right) \\ & \exp \left\{-\frac{\left(\hat{L}_i-\hat{T}_i-\boldsymbol{K}^N \boldsymbol{P}_i^N\right)^2}{2 \sigma^2}+2 \lambda\left[\boldsymbol{K}^N\right]^{\mathrm{T}}\right\} \end{aligned}$$ (7) 在公式(7)的基础上，可以采用基于梯度的数值优化方法，如拟牛顿法来求解最优参数KN。但是，从捕获图像同时估计光照层和反射层两个未知量是一个病态问题，因此在进行反射层模型估计之前，必须确定照明层的取值。
1.4 细节显著性估计
首先，我们根据SSR和MSR的做法，通过高斯模糊从L获得照明层TG。令$ {\hat T^\text{G}} = \ln ({T^\text{G}}) $。将$ {\hat T^\text{G}} $代入目标函数(6)，并用拟牛顿法进行优化，得到4阶最优化反射层模型（表示为Φ4G）。然后根据反射层模型(5)，利用$ {R_\text{T}} = \exp \{ \varPhi _4^\text{G}(\hat T_i^{})\} $计算反射率层。同时，我们也将图像$ \hat L $作为公式(5)的输入，即利用$ {R_\text{L}} = \exp \{ \varPhi _4^\text{G}(\hat T_i^{})\} $计算反射层。图 1为相应的结果。从结果可以看出，由代入$ {\hat T^\text{G}} $的目标函数估计的反射层在图像增强方面的效果有限。同时，我们发现反射层RL比反射层RT更精细。因此，我们得出两个结论：①基于高斯模糊的照明层不适合反射层的估计；②以原始图像作为反射层模型的输入，可以得到更精确的反射层。
![]()
图 1 利用高斯模糊生成照度层进行反射模型估计的示例Figure 1. Example of reflectance estimation with Gaussian-blur-based illumination layer然后，我们对原始图像进行进一步模糊。通过将x和y坐标均为奇数（或偶数）的像素值设置为0，基于高斯模糊的照明层$ {\hat T^\text{G}} $更加模糊，相应的结果称为基于粗略模糊的照明层，用$ {\hat T^\text{C}} $表示。然后，将$ {\hat T^\text{C}} $代入公式(6)，估计得到最佳反射率模型Φ4C。同时，根据之前所得结论，利用$ {R_\text{f}} = \exp \{ \varPhi _4^\text{G}(\hat L)\} $得到精确反射层。图 2为相应反射模型估计结果，显然，第二次尝试的反射层具有丰富的细节。此外，由$ {\hat T^\text{C}} $估计的反射层可以显著地增强原始图像中暗区域的细节。这些结果表明，基于粗略模糊的照明层估计的反射层能够描述被捕获物体的结构细节，特别是在暗区域。
![]()
图 2 利用粗糙模糊生成照度层进行反射模型估计的示例Figure 2. Example of reflectance estimation with coarse-blur-based illumination layer然而，由于所估计的反射模型不能反映场景中真实的光强分布，因此不能直接作为图像增强的理想结果。因此，我们称利用基于粗略模糊的照度层估计出反射层为细节显著层，用D表示：
$$ \boldsymbol{D}=\exp \left\{\varPhi_N^{\mathrm{C}}(\hat{L})\right\} $$ (8) 式中：ΦNC表示由基于粗略模糊的照度层$ {\hat T^\text{C}} $和目标函数求解出的N阶最优反射率模型。
1.5 细节显著性估计的理论分析
基于Retinex的方法中，如SSR和MSR，反射层直接由对数域的$ \hat R = \hat L - \hat T $来估计。如果我们将捕获的图像看作是暗区域和亮区域的组合，则可以将Retinex模型分解为：
$$ \hat R = {\hat R_\text{L}} + {\hat R_\text{H}} = ({\hat L_\text{L}} - {\hat T_\text{L}}) + ({\hat L_\text{H}} - {\hat T_\text{H}}) $$ (9) 式中：$ {\hat R_\text{L}} $和$ {\hat R_\text{H}} $是暗反射层和亮反射层。$ {\hat L_\text{L}} $和$ {\hat T_\text{L}} $是$ \hat L $和$ \hat T $的黑暗区域。$ {\hat L_\text{H}} $和$ {\hat T_\text{H}} $是$ \hat L $和$ \hat T $的明亮区域。
一般情况下，由于良好的光照，$ {\hat L_\text{H}} $和$ {\hat T_\text{H}} $之间的差异是显著的。但是，由于$ {\hat L_\text{L}} $的强度较低，用高斯滤波法从$ {\hat L_\text{L}} $得到的$ {\hat T_\text{L}} $的强度也较低。所以与$ {\hat R_\text{H}} $相比，$ {\hat L_\text{L}} $和$ {\hat T_\text{L}} $之间的差异相对较小。也就是说，在原始图像和基于高斯模糊的照度层之间，明亮区域中细节附近的强度存在明显的差异，而在黑暗区域中差异非常微小。因此，Retinex模型$ \hat R $＝$ \hat L $－$ \hat T $倾向于在明亮区域保留细节，而无法保留暗区域的细节。
通过对多种场景下低照度图像观察，如图 3所示，从放大图像可以看出，暗区中大多数像素灰度非常低，所以低照度图像暗区域的光照大多非常微弱。因此，我们提出了DRA假设：将原始图像中暗区域的灰度直接近似为反射层（即$ {\hat R_\text{L}} \approx {\hat L_\text{L}} $）。基于DRA，公式(9)变为基于DRA的Retinex模型，如下所示：
$$ {\hat R_\text{L}} \approx {\hat L_\text{L}} + ({\hat L_\text{H}} - {\hat T_\text{H}}) $$ (10) 与公式(9)相比，由于$ {\hat L_\text{L}} > {\hat L_\text{L}} - \hat T_\text{H}^{} $，基于DRA的Retinex模型可以增强$ \hat R $中暗区的细节。然而，公式(10)不能直接用于反射率恢复，因为在输入图像中很难区分$ {\hat L_\text{L}} $和$ {\hat L_\text{H}} $。针对这一问题，本文提出了基于粗糙模糊照度层（1.4节所述）和高斯准则目标函数（1.2节所述）的细节显著性估计方法。
在基于粗略模糊的照明层$ {\hat T^\text{C}} $中存在至少50%的零像素。通过使用具有$ \hat T_i^C \ne 0 $的像素（$ \hat T_i^\text{C} $表示$ {\hat T^\text{C}} $中的第i个像素值），反射层模型可以用来识别$ \hat L $和基于高斯模糊的照度层$ {\hat T^\text{G}} $之间差异的规律。因此，在这种情况下，反射层由公式(9)估计，类似SSR的处理方法。因为$ {\hat R_\text{H}} $通常比$ {\hat R_\text{L}} $更显著，所以反射层模型更倾向于表征亮区域中细节的规则。
当$ \hat T_i^\text{C} = 0 $的像素被代入目标函数中时，项$ {[{\hat L_i} - {\hat{T}_i^C} - {\varPhi _N}({\hat T_i}^C)]^2} $变为$ {[{\hat L_i} - {{A}_N}({x_i}, {y_i})]^2} $。$ [{\hat L_i} - $$ {{A}_N}({x_i}, {y_i}){]^2} $的值越小，对最小化优化函数的贡献越大。因此，利用$ \hat T_i^\text{C} $中的零像素，将尺度参数σ设置为适当的值，并将反射率参数向量KN初始化为零向量，我们可以使反射率模型倾向于描述暗区域的强度分布规律，根据DRA假设，我们将其直接看成暗区域中的反射层。
通过以上分析可知，高斯场目标函数可以利用软阈值将单通道图像分解为暗区和亮区。亮区的反射率由传统的Retinex模型$ {\hat R_\text{H}} \approx {\hat L_\text{H}} - {\hat T_\text{H}} $恢复，暗区的反射率由DRA估计（即$ {\hat R_\text{L}} \approx {\hat L_\text{L}} $）。因此，由高斯场目标函数和粗略模糊照度层$ \hat T_i^\text{C} $估计出的反射层模型ΦNC，其本质是通过基于DRA的Retinex模型来描述反射层的规则性。
1.6 利用细节显著层恢复反射层
在多次实验之后发现，细节显著层D的灰度分布类似与原始图像的反色，如图 4中所示。因此反射层R可通过一个简单的公式从D中恢复：
$$ \boldsymbol{R}=\mathbf{1}-\boldsymbol{D}$$ (11) 式中：1表示与D大小相同的矩阵。应当注意的是，输入图像L的灰度范围必须缩放为[0, 1]。因此，D的范围在0和1之间。
图 4展示了利用公式(11)进行反射层恢复的示例，红色箭头突出显示输入图像中的一些明亮区域，绿色箭头突出显示一些黑暗区域。可以看出所恢复出的反射层显著提高了暗区的可见度，同时明亮区域细节得到了保留和增强。但是，经多次实验发现：利用R＝1－D恢复的反射层可能会出现两种误差。
第一种误差如图 5所示，在R＝1－D恢复的反射层亮区中存在过增强、颜色失真和不自然现象。这是由于最佳反射模型ΦNC中的ANC主要表征图像暗区的灰度分布规律，BNC表征图像亮区细节的规律，在直接利用公式(8)计算细节显著层D时，两者会互相干扰，使反射层恢复出现误差。因此，我们将公式(8)中的最优反射层模型改进为：
$$ \hat{\varPhi}_N^{\mathrm{C}}\left(L_i\right)=\left(1-L_i\right) A_N^C\left(x_i, y_i\right)+B_N^C\left(\hat{L}_i\right)$$ (12) 式中：Li值越大，$ A_N^C({x_i}, {y_i}) $对$ \hat \varPhi _N^\text{C}({L_i}) $结果的影响越小。细节显著层的定义可以改写为：
$$ \tilde D = \exp \{ \tilde \varPhi _N^C({\hat L_i})\} $$ (13) 图 5展示了利用改进的细节显著层进行反射层恢复的效果，箭头突出显示了通过R＝1－D获得的结果与通过$ R = (1 - \tilde D) $得到的校正之间存在显著差异的区域。可以看出改进效果显著，增强结果中的过增强、颜色失真和不自然现象已经消失。
第二种误差如图 6所示，箭头突出显示了通过$ R = (1 - \tilde D) $获得的结果与公式(14)修正值之间存在显著差异的区域。在恢复出的反射层中，箭头指出的明亮区域中灰度值出现了异常反转。这是由于参数σ的设置出现了微小的偏差（本文中σ＝0.6）。为了提高参数的鲁棒性，定义了如下反射层恢复公式：
$$ R=\boldsymbol{\pi} \circ \boldsymbol{L}+(1-\boldsymbol{\pi}) \circ(1-\tilde{D}) $$ (14) 式中：π是基于$ \boldsymbol{w} = (1 - \tilde D) - L $的二进制矩阵，w中小于0的元素，其在π中对应元素为1，π中其余元素为0。公式(14)所表达的含义为：w中小于0的元素，对应着利用$ (1 - \tilde D) $进行反射层恢复之后灰度下降的像素，因此这些像素的反射层恢复不是图像增强期望的结果，因此在最终反射层中，使这些像素保持原始值。
图 6中的最终结果证明了使用公式(14)进行反射率恢复可以有效消除上述误差。
1.7 计算复杂度分析
本文方法整体流程如算法1所示。由于我们所提出的反射层模型是基于多项式的，其本质是数据拟合。因此在反射层估计时并不需要图像中所有像素都参与计算，所以在估计之前，可以将图像进行比例为r的缩小，这样不仅可以降低计算量，也可以防止过拟合的现象。
更新优化函数和导数的时间复杂度都是O(MN4)，根据Np＝N(N+3)/2，所以时间复杂度KNPiN是O(Np) ＝O(N2)。由于本方法中所有矩阵的大小都不超过M，因此空间复杂度为O(M)。
1.8 实现细节
通过多次实验确定本文方法参数的最佳设置为：σ＝0.6，λ＝0.02，N＝4，r＝0.2。反射率参数向量KN细节显著性估计初始化为0。输入图像L的灰度范围必须压缩至[0, 1]。
算法1 基于细节显著性估计的图像灰度增强方法
输入：灰度图像L，参数σ，λ，N，r
1）$ \hat L = \ln (L) $，Lr＝imresize(L, r)，$ {\hat L^r} = \ln ({L^r}) $；
2）从$ {\hat L^r} $中生成基于模糊的粗糙照明$ \hat T_i^{Cr} $；
3）将$ {\hat L^r} $和$ \hat T_i^{Cr} $代入式(6)和(7)，然后用拟牛顿法估计最佳反射率模型ΦNC；
4）通过式(12)更新$ \hat{\varPhi} N_N^C\left(L_i\right)$，并通过式(13)计算D；
5）通过式(14)恢复R。
输出：最终增强的结果R。
2. 实验与讨论
在本章中，我们将本文提出方法和几种常用的、公认效果较好的方法进行了定性和定量地比较，其中包括对比度受限自适应直方图均衡化（contrast limited adaptive histogram equalization, CLAHE）[15]、SRIE[12]、LIME[13]，低照度水下图像增强（low-light underwater image enhancer, L2UWE）[16]、LR3M[14]和半解耦分解低照度图像增强（semi-decoupled decomposition, SDD）[17]。然后，我们测试了参数设置的影响，并对反射率模型进行了烧蚀研究。以上方法的Matlab代码由作者提供。所有实验都是在一台Windows10操作系统（64位）的计算机上进行的，该计算机采用Intel core i7-9700k CPU@3.60 GHz，内存16 GB ram。本实验中所有增强结果都是在没有任何预处理和去噪算法的情况下实现的。
2.1 数据集
实验中的数据集包含74幅图像，分别由可见光（VIS）、热红外（IR）和短波红外（SWIR）相机在不同光照条件下拍摄。可见光和红外图像选自CVC数据集和MIT-Adobe FiveK数据集。用一个320×240铟镓砷（InGaAs）成像传感器（光谱响应范围为900~1700 nm）的SWIR相机采集的SWIR图像。
2.2 细节显著性估计分析
在图 7中，给出了在细节显著性估计中的收敛过程。随着迭代次数的增加，细节显著层的对比度越来越高，暗区细节越来越清晰。同时，在迭代过程中，亮区的强度畸变逐渐消失。结果表明，细节显著性估计可以同时求解暗区和亮区的最优反射层。
![]()
图 7 收敛结果示例。在每次迭代中，按从上到下的顺序为：细节显著层和最终的增强图像。迭代误差曲线上的绿点对应于第1、第2、第6、第11和第23步迭代中细节显著性估计的结果Figure 7. Example of convergence results. In each iteration, from top to bottom: detail saliency layer and resultant enhancement image. The green points on the iterative error curve correspond to the results of detail saliency estimation in the step 1, 2, 6, 11 and the final step 232.3 定性比较
首先，对CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和我们的方法直接将输入图像作为初始化，进行了定性测试。对于仅增强灰度的方法（例如CLAHE和本文方法），我们先将RGB图像转换至HSV色彩空间，然后利用增强方法对V通道进行增强，最后再转换回RGB空间，得到增强后的RGB彩色图像。与上述方法相比，我们的方法在照亮暗区域细节方面具有最佳性能。在本方法的增强结果中，天花板和图像顶部设备的纹理清晰可见，而在其他方法的增强结果中，它们仍然有些模糊。另一方面，我们的方法不仅增强了暗区，而且保持了亮区的细节，不像SRIE那样使假人和地板过度增强。与其他方法相比，我们的方法得到了令人满意的结果。
如图 8所示，就照明暗区的质量而言，在大多数例子中，LIME、L2UWE、SDD和SRIE优于CLAHE和LR3M，但要逊于我们的方法。图 8中的定性比较也表明，我们的方法在保持自然度的前提下可以有效地增强低照度图像，在增强非均匀光照图像方面优于同类方法。
![]()
图 8 CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和我们的方法在RGB图像上的定性比较Figure 8. Qualitative comparisons of CLAHE, LR3M, SRIE, LIME, L2UWE, SDD and our method on RGB images2.4 对SWIR和IR图像的增强
图 9呈现了我们的方法在SWIR和IR图像上的结果的几个例子。实验结果表明，该方法能很好地恢复SWIR和IR图像中的暗区细节。增强结果细节丰富，对比度好。暗区和亮区的细节可以用不同的尺度进行非均匀增强。
![]()
图 9 我们的方法在SWIR和IR图像上的增强结果示例Figure 9. Examples of the enhancement results of our method on SWIR and IR images2.5 定量比较
e-score[18]表示原始图像和增强图像中边缘点数的增加。r-score[15]表示增强图像边缘对比度的增强。采用Canny边缘描述子来计算e-score和r-score，减少噪声对质量评估的影响。基于局部的对比度质量指数（patch-based contrast quality index, PCQI）[19]可用于测量增强图像的整体和局部对比度质量。全局对比度因子[20]（global contrast factor, GCF）反映细节丰富度。σ-score[15]衡量过度曝光程度。对于e-score、r-score、PCQI和GCF，值越大表示细节和对比度增强越好。最大值σ-score表示在增强图像中过度曝光。
定量比较结果如图 10所示，我们的方法在e-score中获得了最大的增加。与LR3M、SRIE、LIME、SDD和L2UWE相比，r-score可以忽略不计。PCQI和GCF表明，在保持明亮区域丰富细节纹理的同时，实现了低照度增强的目标。
![]()
图 10 在数据集的所有图像上对CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和我们的方法进行定量比较。（直方图和误差线分别表示定量评价指标的平均值和标准差）Figure 10. Quantitative comparisons of CLAHE, LR3M, SRIE, LIME, L2UWE, SDD and our method on all images of our dataset. The histograms and error lines indicate the mean and standard deviation of five metrics on our dataset separately2.6 参数配置测试
我们的方法主要需要设置4个参数：σ、λ、N和r。参数σ确定优化函数中高斯场准则的响应范围有多宽。参数λ保证了整个优化过程的收敛性。参数σ和λ的最优值通过多次实验确定。N为反射层模型的阶数，图 11显示了反射模型在不同阶数情况下对最终增强效果的影响。
![]()
图 11 数据集上参数N＝1~5的方法定量结果Figure 11. Quantitative results of our method with parameters on the dataset图 12显示了数据集上参数r＝0.1~1时我们方法运行的定量结果。可以看出，图像大小压缩不会导致我们的方法的性能显著下降，但r＝0.1时的平均运行时间比r＝1时减少了97.6%。此外，我们的方法在r＝0.2的4个指标中得分均为最高。
![]()
图 12 数据集上参数r＝0.1~1时方法运行的定量结果Figure 12. Quantitative results and runtimes of our method with parameters r＝0.1−1 on the dataset3. 结论
本文提出了一种基于细节显著性估计的图像灰度增强方法。首先定义了高斯场目标函数和粗糙模糊照度层，将Retinex分解问题转化为一个无约束优化问题。然后利用简单的梯度优化技术（如拟牛顿法）从灰度图像中估计细节显著层。最终，从细节显著层恢复出反射层作为最终图像增强结果。实验结果表明，我们方法只需利用简单的优化方法就可以实现高质量的反射层恢复，实现有效地低照度图像增强，并且算法结构简单，易于实现。
-
![]()
图 1 利用高斯模糊生成照度层进行反射模型估计的示例
Figure 1. Example of reflectance estimation with Gaussian-blur-based illumination layer
![]()
图 2 利用粗糙模糊生成照度层进行反射模型估计的示例
Figure 2. Example of reflectance estimation with coarse-blur-based illumination layer
![]()
图 7 收敛结果示例。在每次迭代中，按从上到下的顺序为：细节显著层和最终的增强图像。迭代误差曲线上的绿点对应于第1、第2、第6、第11和第23步迭代中细节显著性估计的结果
Figure 7. Example of convergence results. In each iteration, from top to bottom: detail saliency layer and resultant enhancement image. The green points on the iterative error curve correspond to the results of detail saliency estimation in the step 1, 2, 6, 11 and the final step 23
![]()
图 8 CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和我们的方法在RGB图像上的定性比较
Figure 8. Qualitative comparisons of CLAHE, LR3M, SRIE, LIME, L2UWE, SDD and our method on RGB images
![]()
图 9 我们的方法在SWIR和IR图像上的增强结果示例
Figure 9. Examples of the enhancement results of our method on SWIR and IR images
![]()
图 10 在数据集的所有图像上对CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和我们的方法进行定量比较。（直方图和误差线分别表示定量评价指标的平均值和标准差）
Figure 10. Quantitative comparisons of CLAHE, LR3M, SRIE, LIME, L2UWE, SDD and our method on all images of our dataset. The histograms and error lines indicate the mean and standard deviation of five metrics on our dataset separately
![]()
图 11 数据集上参数N＝1~5的方法定量结果
Figure 11. Quantitative results of our method with parameters on the dataset
-
[1] 王丹, 陈亮. 基于深度学习的红外夜视图像超分辨率重建[J]. 红外技术, 2019, 41(10): 963-969. http://hwjs.nvir.cn/article/id/hwjs201910012 WANG Dan, CHEN Liang. Super-resolution reconstruction of infrared images in night environments based on deep-learning[J]. Infrared Technology, 2019, 41(10): 963-969. http://hwjs.nvir.cn/article/id/hwjs201910012
[2] 李永涛, 何亚磊, 巫风玲. 基于结构相似性算法的微光夜视仪可靠性试验故障诊断[J]. 红外技术, 2021, 43(9): 889-894. http://hwjs.nvir.cn/article/id/f8ccc5e5-c826-4e11-a493-cf9b92ef50de LI Yongtao, HE Yalei, WU Fengling. Fault diagnosis of reliability test for low-light-level vision device based on structural similarity algorithm[J]. Infrared Technology, 2021, 43(9): 889-894. http://hwjs.nvir.cn/article/id/f8ccc5e5-c826-4e11-a493-cf9b92ef50de
[3] Touati R, Mignotte M, Dahmane M. Multimodal change detection in remote sensing images using an unsupervised pixel pairwise-based Markov random field model[J]. IEEE Transactions on Image Processing, 2019, 29: 757-767.
[4] WU Xiaojian, Kim Mijin, QU Haoran, et al. Single-defect spectroscopy in the shortwave infrared[J]. Nature Communications, 2019, 10(1): 2672. DOI: 10.1038/s41467-019-10788-8
[5] Saif M, Kwanten W J, Carr J A, et al. Non-invasive monitoring of chronic liver disease via near-infrared and shortwave-infrared imaging of endogenous lipofuscin[J]. Nature Biomedical Engineering, 2020, 10: 2672.
[6] LI Mading, LIU Jiaying, YANG Jiaying, et al. Structure-revealing low-light image enhancement via robust Retinex model [J]. IEEE Transactions on Image Processing, 2018, 27(6): 2828-2841. DOI: 10.1109/TIP.2018.2810539
[7] LI Hui, WU Xiaojun. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623.
[8] Arnob Md Masud Parvez, HUNG Nguyen, ZHU Han, et al. Compressed sensing hyperspectral imaging in the 0.9-2.5 μm shortwave infrared wavelength range using a digital micromirror device and InGaAs linear array detector[J]. Applied optics, 2018, 57(18): 5019-5024. DOI: 10.1364/AO.57.005019
[9] Land E H. The Retinex theory of color vision[J]. Scientific American, 1978, 237(6): 108-128.
[10] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround Retinex [J]. IEEE Trans. Image Process. , 1997, 6(3): 451-462.
[11] Jobson D J, Rahman, Woodell G A, et al. A multiscale Retinex for bridging the gap between color images and the human observation[J]. IEEE Transactions on Image Process. , 1997, 6(7): 965-965.
[12] FU Xueyang, ZENG Delu, YUE Huang, et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016: DOI: 10.1109/CVPR.2016.304.
[13] GUO Xiaojie, YU Li, LING Haibin. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2016, 26(2): 982-993.
[14] REN Xutong, YANG Wenhan, CHENG Wenhuang, et al. LR3M: Robust low-light enhancement via low-rank regularized Retinex model[J]. IEEE Transactions on Image Processing, 2020, 29: 5862-5876.
[15] Pizer S M, Johnston R E, Ericksen J P, et al. Contrast-limited adaptive histogram equalization: Speed and effectiveness[C]//Proc. 1st Conf. Visualizat. Biomed. Comput., 1990: 337-345.
[16] Marques T P, Albu A B. L2UWE: a framework for the efficient enhance-ment of low-light underwater images using local contrast and multi-scale fusion[C]//Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), 2020: 538-547.
[17] HAO Shijie, HAN Xu, GUO Yanrong, et al. Low-light image enhance-ment with semi-decoupled decomposition[J]. IEEE Trans. Multimedia, 2020, 22(12): 3025-3038.
[18] Hautiere N, Tarel J P, Aubert D, et al. Blind contrast enhancement assessment by gradient ratioing at visible edges[J]. Image Analysis & Stereology, 2011, 27(2): 87-95.
[19] WANG Shiqi, MA Kede, Yeganeh H, et al. A patch-structure represent-tation method for quality assessment of contrast changed images[J]. IEEE Signal Processing Letters, 2015, 22(12): 2387-2390.
[20] Matkovic K, László Neumann, Neumann A, et al. Global contrast factor-a new approach to image contrast [C]//Computational Aesthetics 2005: Eurographics Workshop on Computational Aesthetics in Graphics, Visualization and Imaging 2005: 25-33.
下载:
计量
- 文章访问数: 89
- HTML全文浏览量: 19
- PDF下载量: 46
