Review of Research on Low-Light Image Enhancement Algorithms
-
摘要:
低照度图像增强是图像处理领域的重要问题之一，近年来，深度学习技术的迅速发展为低照度图像增强提供了新的解决方案，且具有广阔的应用前景。首先，全面分析了低照度图像增强领域的研究现状与挑战，并介绍了传统方法及其优缺点。其次，重点讨论了基于深度学习的低照度图像增强算法，根据学习策略的不同将其分为五类，分别对这些算法的原理、网络结构、解决问题进行了详细的阐述，并按时间顺序将近6年基于深度学习的图像增强代表算法进行了对比分析。接着，归纳了当前主流的数据集与评价指标，并从感知相似度和算法性能两个方面对深度学习算法进行测试评估。最后，对低照度图像增强领域改进方向与今后研究作了总结与展望。
Abstract:Low-light image enhancement is an important problem in the field of image processing. The rapid development of deep learning technology provides a new solution for low-light image enhancement and has broad application prospects. First, the current research status and challenges in the field of low-light image enhancement are comprehensively analyzed, and traditional methods and their advantages and disadvantages are introduced. Second, deep learning-based low-light image enhancement algorithms are classified into five categories according to their different learning strategies, and the principles, network structures, and problem-solving capabilities of these algorithms are explained in detail. Third, representative deep learning-based image enhancement algorithms from the last six years are compared and analyzed in chronological order. Fourth, the current mainstream datasets and evaluation indexes are summarized, and the deep learning algorithms are tested and evaluated in terms of perceived similarity and algorithm performance. Finally, directions for improvement and future research in the field of low-light image enhancement are discussed and suggested.
-
Keywords:
- low-light images /
- image enhancement /
- deep learning /
- image processing /
- low-light dataset
-
0. 引言
在日常生活中，有许多领域需要高质量的清晰图像，如生物医学、航空航天、安防监控、交通运输等。但有时拍摄会受到环境或使用设备的影响，导致无法拍摄到清晰、高质量的图像。比如在弱光或昏暗背光条件下拍摄容易产生低照度的图像[1]（low-light image, LLI），这些图像通常会出现各种劣化，包括亮度不足、对比度低、图像视觉质量差等，这些问题不仅会降低用户体验，还会给后续的视觉任务带来较大的困难，从而增加了计算机视觉和人类识别图像的难度。因此，低照度图像增强技术应运而生。
目前低照度增强在不同领域都享有广泛的应用，包括监控、生物医学图像、自动驾驶和摄影等。根据算法设计不同，低照度图像增强算法主要分为传统的增强算法和基于深度学习的低照度图像增强算法。早期，低照度图像通常采用传统的增强算法进行增强，主要是对图像的像素进行处理，目的是提高图像的对比度、亮度以及去除噪声。但是这类方法可能会平滑掉图像细节同时忽略了内在的上下文信息，进而产生图像颜色失真以及噪声较大的现象。之后随着深度学习在各个领域的广泛应用，针对低照度图像的深度学习增强技术同样也成为了热点。通过训练，深度学习模型可以从大量的数据中学习如何最有效地增强图像，从而提供更自然、更清晰的结果。同样地，基于深度学习的方法也存在数据依赖、模型复杂和实时处理等问题。
综上所述，低照度图像增强技术在研究领域内呈现出多元化的竞争格局，但仍然面临着诸多挑战。因此，有必要对低照度图像增强技术进行深入分析讨论。本文从传统算法和深度学习算法两个方面对图像增强技术进行了详细的分析与阐述。
1. 传统的低照度图像增强算法
目前应用比较广泛的低照度图像增强算法可以大致分为以下几类：直方图均衡化算法、色调映射算法、基于融合算法、基于去雾算法以及基于Retinex理论等，本章将分别介绍传统的低照度图像增强算法。代表方法总结如图 1。
![]()
图 1 传统低照度图像增强代表方法总结Figure 1. Summary of traditional low-light image enhancement representation methods1.1 直方图均衡化算法
直方图均衡化[2]（histogram equalization, HE）是一种经典的图像增强方法，通过重新分配图像灰度值的累积分布来增强对比度。其原理简单，处理速度较快，在低光照条件下可以改善图像的亮度分布和清晰度。但是通过HE算法处理后的图像，由于未考虑图像像素的空间位置和邻域信息，会存在一些盲目性，而且会出现灰度级合并导致细节信息丢失等问题。
为了解决HE算法中存在的问题，一系列改进算法相继出现。Jebadass等人[3]为了提升图像质量，结合了模糊集理论，将低光照图像模糊化，接着利用对比度有限的自适应直方图均衡化方法增强图像。杨嘉能等人[4]提出了自适应校正的动态直方图均衡算法，有效地防止了灰度级的合并，并且较大程度上保留了图像的细节。Kuo等人[5]结合高斯概率模型与双组图均衡来增强医学图像，有效增强了图像中病理特征的熵和对比度，从而提高医生诊断和计算机辅助检测的效率。Li等人[6]基于HSV色彩空间，利用双边伽玛调整（bilateral image Gamma adjustment，BIGA）函数和双高原直方图均衡（double plateaus histogram equalization, DPHE）的优点，通过找到最优参数值，对图像的对比度和亮度进行全局增强，实现了矿井图像的细节增强。
1.2 色调映射算法
色调映射算法[7]（tone mapping algorithm）主要用于对高动态范围（HDR）图像进行处理，将其转换为适合显示或打印的低动态范围（LDR）图像。在低光照条件下，色调映射算法主要用于增强图像的亮度和色彩表现。
为了增强低照度图像，陈迎春[8]首先将图像从RGB颜色空间变换到YUV颜色空间，双边滤波后对基本层图像进行自适应全局色调映射，最后再变换为RGB空间恢复图像色彩饱和度。同样地，赵海法等人[9]提出了一种全局色调映射和局部对比度处理相结合的图像增强算法，将低照度图像转换到HSI颜色空间，然后采用自适应全局色调映射进行亮度增强，最后通过局部对比度处理增强图像的细节。该算法实现了在对全局亮度进行增强的同时充分保留图像细节。
色调映射算法虽然可以增强图像的亮度和色彩表现，但也同样存在一些缺点与局限性。缺点如下：
① 色调映射算法的显示质量存在局限性，可能会出现颜色误差、亮度失真等问题，影响图像的真实感和观感。
② 通常需要复杂的数学运算和参数调节，难以满足实时性处理的需求。
1.3 基于融合算法
基于融合的算法（fusion-based algorithm）将多个图像处理结果进行融合，以得到最终的增强效果。这种方法可以结合不同的增强手段，以增强图像的亮度、清晰度和色彩表现。在李明悦等人[10]的研究中，他们设计了一种创新的低照度光场图像增强策略，该策略融合了多尺度特征，并巧妙地引入了数码单反相机（DSLR）拍摄的图像作为监督信号，以优化网络训练过程，进而提升输出图像的质量。张微微[11]将其应用到了低照度水下图像增强，使用白平衡算法进行图像色彩恢复，然后使用伽马校正对全局对比度进行调整，再引入Retinex理论获得亮度增强细节增强的图像，最后通过多尺度融合得到结果图像。田子建等学者[12]针对矿井环境下图像亮度不足、细节模糊等挑战，开发了一种新颖的增强技术。该技术结合了Transformer模型的强大表征能力与自适应特征融合策略，将图像的浅层细节特征与深层网络提取的高级特征进行有效整合，从而在增强图像亮度的同时，显著减少了细节信息的丢失。
基于融合的算法在提高图像的亮度、清晰度和色彩表现方面具有一定优势，但其缺点也十分明显，总结如下：
① 在图像处理过程中，不同的增强结果可能会产生边缘伪影或轮廓伪影，导致图像质量下降。
② 在融合过程中，不同增强结果的融合可能会引入图像失真，降低了图像的视觉质量和真实感。
1.4 基于去雾算法
基于去雾算法的图像增强通过去除图像中的雾霾效应来提升低照度图像质量。在低照度条件下，由于光线衰减和散射等因素的影响，图像可能会出现模糊、低对比度和颜色失真等问题。基于去雾算法可以有效地恢复图像的细节和清晰度，并提高其视觉质量。
Dong等人[13]首次在实验中发现有雾图像和低照度图像拥有相似的特征，将暗通道先验去雾算法应用到了低照度图像增强领域，成功获得了低照度的亮度增强图像。夜间除雾算法常常使用暗信道先验算法（dark channel prior, DCP）[14]来估计传输，但是由于光照变化不均匀，这种方法也存在着问题。Hong等人[15]提出了一种基于结构斑块分解的夜间单幅图像去雾算法。首先，通过分离光的强度和颜色来估计大气光，然后设置传输值的候选值，并根据每个图像像素的候选值加权求和获得最终传输值，最后再根据这些候选点的结构斑块信息确定权重。SI等人[16]利用改进的伽玛函数在HSV空间增强初始无雾图像的值和色度，在颜色一致性和伪影减少方面进一步提高了夜间去雾算法的效果和性能。
瑕瑜互见，去雾算法缺点总结如下：
① 在处理低照度图像时，去雾算法可能会导致一些细节和局部信息的丢失；对参数设置较为敏感，需要经过反复调试以获取最佳效果。
② 一些去雾算法在增强图像的同时可能会引入一些伪影或噪声，使图像看起来不真实或出现瑕疵。
1.5 基于Retinex理论的算法
Retinex理论是一类经典的图像增强算法，通过模拟人眼对光照的感知机制，将图像分解为反射和照明成分来实现增强，在传统的低照度图像增强方法中发挥着重要作用。1977年美国物理学家Land首次提出了Retinex理论[17]，应用Retinex理论的关键步骤是将图像分解为反射层和照明层，分别代表反射信息和照射信息。后续研究人员在这基础上又提出了一系列改进的低照度图像增强算法，如单尺度Retinex（single scale Retinex，SSR）、多尺度Retinex（multi-scale Retinex，MSR）和带色彩恢复的多尺度Retinex（multi-scale Retinex with color restoration，MSRCR）等。
Wang等人[18]提出了一种新的神经网络，通过估计图像到照明的映射来关联输入和优化后的结果，从而使网络有效地学习复杂的摄影调整技巧，并能在不同的光照条件下恢复清晰的细节和显著的对比度。Cai等人[19]提出了一种基于单阶段Retinex的框架（one-stage Retinex-based low-light enhancement framework，ORF），首先估计光照信息来提亮弱光图像，然后还原损坏的图像进而生成增强图像。接着和设计的光照引导Transformer相结合，在用户研究和低光检测中测试结果也表明了该方法的实用价值。此外，Ren等人[20]提出了低阶正则化Retinex模型（LR3M），该模型首次将低阶先验注入Retinex分解过程，以抑制反射图中的噪声，取得了良好的效果。
在低照度条件下，Retinex算法可以改善图像的色彩平衡和亮度分布。同样也存在着不足，总结如下：
① 该算法在消除光照不均匀性时，需要对光照条件进行一定的假设，对光照条件的依赖性较强。
② 在提高图像清晰度的同时容易出现伪影，可能会降低图像的真实感。
综上所述，按照5种不同的增强方法对传统的低照度图像增强算法进行了分析与总结。传统的低照度图像增强方法可以有效地提升整体亮度，恢复暗部的细节，但通常需要设置多个参数来适应不同类型的图像增强。同时容易导致增强后的图像显得不自然，出现边缘过度增强等问题。直方图均衡化算法通过调整图像灰度直方图来增强对比度；而色调映射算法通过对图像的动态范围进行调整，以改善图像的亮度和对比度；基于融合算法结合了不同曝光度或不同处理策略图像的互补信息，从而生成具有更高对比度和更好视觉效果的增强图像；基于去雾算法利用去雾技术来改善低照度图像的质量；Retinex理论在亮度提升与细节增强等方面具有显著优势。未来研究可以探索将传统方法与深度学习相结合，利用深度学习模型自动调整参数，提高算法的适应性和鲁棒性。传统的图像增强算法技术及优缺点对比总结见表 1。
表 1 传统低照度图像增强算法对比Table 1. Comparison of conventional low-light image enhancement algorithmsAlgorithms Key technology Advantage Disadvantage Histogram Equalization[2-6] Changing the histogram distribution of image grey scale intervals Enhanced brightness distribution and sharpness of images Grey scale merge, detail information lost Tone Mapping Algorithm[7-9] Convert high dynamic range images to low dynamic range images Improved image brightness and colour performance Limitations in image display quality Fusion-based Algorithm[10-12] Fusion of multiple image processing results Improved brightness and clarity has advantages Generates fusion artefacts and introduces image distortion Defogging-based Algorithm[13-16] Improve low-light image quality by removing haze effect from images Restore image detail and improve visual quality Partial loss of information, introduction of artefacts, noise Retinex Theory[17-20] Decomposition of the image into reflective and illuminated parts Improved colour balance and detail in images Complex calculations, more light-dependent 2. 基于深度学习的低照度图像增强算法
与传统方法相比，基于深度学习的解决方案具有更高的准确性、鲁棒性和速度，能有效避免或者降低其带来的缺陷，深度学习的网络灵活多变，能够学习到图像的复杂特征，并生成视觉上更自然和清晰的增强图像。根据不同的学习策略，将现有的方法分为监督学习、强化学习、无监督学习、零次学习和半监督学习。在接下来的内容中，我们将回顾每种策略的一些代表性方法，总结方法如图 2。
![]()
图 2 基于深度学习的低照度图像增强代表方法Figure 2. Summary of typical methods for low-light image enhancement based on deep learning2.1 监督学习
监督学习是机器学习中最常见和基础的方法之一，它通过使用带有标签的训练数据来构建一个模型，该模型可以预测新数据的输出或类别。
2017年Lore等人[21]首次运用深度学习方法实现了低照度图像增强，提出了一种基于深度自编码器的方法LLNet。首先使用已知的数据集进行有监督的训练，通过利用重建误差和感知误差两种损失函数来优化网络参数，然后再用自我重建策略进行无监督的训练。但是该网络在现实场景下表现有待提高，可在训练时加入均匀噪声和量化噪声，并增加去模糊能力，提高图像细节清晰度。
此外，Zhang等人[22]根据Retinex理论提出了一种名为KinD的深度神经网络，将图像分解为反射和光照两个组成部分，期望能更好地规范化学习。KinD学习了映射功能，比传统的伽玛校正更符合实际情况，并能灵活调整光级，满足不同用户的光照需求。但是KinD增强后的部分图像存在较严重的伪影和光斑问题，所以两年后该团队又提出了一种改进网络KinD++[23]，通过添加多尺度亮度注意力（multi-scale intensity attention，MSIA）模块改进了KinD结果中存在的视觉缺陷。与传统的增强图像亮度的方法不同，KinD++方法通过纹理恢复和色彩均衡来提高图像质量，在低光照条件下的图像增强技术取得了重要进展，但在处理光照分布极不均衡的图像时，该技术仍面临挑战，特别是在光照突变区域，容易出现曝光过度和伪影现象。为降低计算成本，Li等人[24]提出了轻量级的LightenNet模型，专门用于弱光环境下的图像增强。该模型接收弱光图像为输入，并高效估算其照度图，以实现图像质量的提升。但当处理噪声较大的低光图像时，LightenNet在增强图像亮度的同时，可能无法有效地区分噪声和图像细节，从而导致增强后的图像出现不自然的块状区域。Lu等人[25]提出了一种双分支曝光融合网络（TBEFN）来解决弱光图像的盲增强问题，该方法由两个分支组成，一个用于将多个曝光不足的图像融合，另一个用于对融合后的图像进行增强。这样能在保留细节的同时提高图像的亮度和对比度。其模型结构如图 3所示。
监督学习的特点是可以明确地知道每个训练样本所对应的类别或标签，因此可以在训练过程中进行有针对性的优化和调整。
2.2 无监督学习
无监督学习是一种没有标签数据的机器学习方法，它旨在从未标记的数据中学习特征和模式。其特点是可以自动地从数据中发现隐藏的结构和模式，并将其编码为表示形式。
Jiang等人[26]研发了一种高效的无监督生成对抗网络，称为EnlightenGAN，可适用于多个领域中的真实低光照图像增强任务。EnlightenGAN是一种通过生成对抗网络（GAN）进行图像增强的算法，主要分两个部分：生成器和判别器。生成器使用U-Net架构，将输入低质量图片映射到高质量图片空间中。判别器则用于区分生成器输出的图像是否真实，并提供反馈信号来改进生成器的性能。在某些情况下，EnlightenGAN在增强图像亮度的同时，可能会引入伪影或放大图像中的噪声。其模型结构如图 4所示。
为了解决混合曝光图像中高曝光区域被过度增强，导致细节信息丢失，视觉效果不佳的问题，Chen设计了一种新的无监督弱光增强方法，称为LEES-Net[27]，可以将弱光增强和曝光抑制问题转化为曲线估计问题，从而有效降低图像增强相关的复杂性，使增强后的图像具有良好的视觉效果。Yang等人[28]提出了一种名为NeRCo的隐式神经表示方法，该算法使用神经表示方法对光照不足的图像进行归一化处理，然后采用多模态学习和语义导向监督，并在模型中使用对抗性损失函数来提高图像的真实性和视觉友好性。NeRCo引入了CLIP模型的文本-图像对先验来指导模型训练，在增强的语义一致性和感知质量上具有一定的优势。然而，文本描述可能具有主观性和模糊性，会导致模型产生不一致的增强结果。
2.3 强化学习
强化学习是一种通过不断试错，在与环境互动中逐渐学会如何做出最优决策的深度学习技术。它可以在不确定和动态的环境中进行学习，并且可以考虑长期的累积奖励。
Yu等人[29]设计了一种基于深度强化对抗学习的算法框架DeepExposure，用于调整图像曝光度。该算法采用图像分割获得对细节的良好保留，采用异步更新的方式解决了样本相关性，通过局部曝光调整和全局曝光融合的方式生成高质量的图像。但是基于强化对抗学习的Exposure框架图像增强的结果往往会存在颜色失真或过曝光等问题，针对此问题，如图 5所示，周腾威[30]提出了critic正则化相对对抗优势AC（RA3C-CR）框架，利用相对均值生成对抗网络进行近似建模，强化判别器的鉴别能力，并设计了策略梯度算法来稳定训练，提升了增强图像的质量。
2.4 零次学习
零次学习（zero-shot learning）旨在解决从未见过的类别中识别物体的问题。与传统分类任务不同，零次学习面临的挑战是训练集和测试集中的类别不完全重叠。
Zhang等人[31]提出一种使用深度内部学习的零样本背光图像恢复方法ExCNet，它可以通过学习场景中不同区域之间的关系，自动恢复被背光照射的图像的细节和颜色。该算法通过将图像分成若干个小块，然后将这些小块重新组合起来，从而构建出一个新的图像。在此之后，Guo等人[32]提出了一种基于深度学习的低光图像增强方法，称为Zero-DCE。该方法创新地将低光图像增强视为图像特定曲线预测任务，并设计了一个轻量级的深度网络DCE-Net，用于精准估计像素级及更高阶的曲线参数，从而实现图像动态范围的灵活调整与优化。但在图像中光照极不均匀或存在复杂纹理时可能会导致局部区域的过度增强或欠增强，从而引入质量退化问题，如颜色失真、伪影等。后续的研究人员在此基础上进一步提出了Zero-DCE的加速和轻量级版本Zero-DCE++[33]，该算法的主要思想是通过深度学习技术学习到一个映射函数，将输入的低光照图像映射到高光照度空间。
以往的欠曝光图像复原方法大都忽略了噪声，针对这个问题，Zhu等人[34]提出了一种新的三分支卷积神经网络RRDNet，将输入图像分解为光照、反射率和噪声3个分量，并设计了相应的损失函数来评估测试图像的电流分解和指导噪声估计。其主干网络结构如图 6所示。
相比传统监督学习、强化学习和无监督学习方法，零次学习具有更强的泛化能力、可扩展性和灵活性，在图像增强中的作用是显著的，为处理多样化和复杂化的图像数据提供了新的思路和方法。
2.5 半监督学习
通过结合监督学习和无监督学习的优点，半监督学习可以在数据有限或标注成本高昂的情况下，获得更好的学习结果，并且在许多领域和任务中都取得了显著的改进效果。其中FixMatch[35]和均值教师模型（Mean-Teacher, MT）[36]是典型的半监督图像增强方法，FixMatch通过结合一致性正则化和伪标签生成来简化半监督学习；半监督语义分割中的MT模型，借助新增的teacher模型机制，有效提升了未标注训练图像的分割精确度，实现更强的收敛性和整体上更好的训练准确性。但FixMatch和MT都存在依赖未标记数据的质量、数量以及超参数敏感性问题。如果未标记数据中包含大量噪声或异常值，这些数据可能会误导模型并降低其性能。
Yang等人[37]采用半监督的学习方法，提出了一种深度递归波段网络（DRBN），既可以提取一系列从粗到细的波段表征，使其估计的结果在递归过程中互利互惠，同时弥补了配对数据的修复知识与真实高质量图像的感知质量之间的差距。
DRBN框架包含递归频带学习（图 7(a)）和频带重组（图 7(b)）两个阶段，在第一阶段中上一次递归的增强结果将作为下一次递归的指导，后面的递归只负责学习不同尺度的特征域和图像域中的残差，在第二阶段通过以感知质量为导向的对抗学习，对波段表示进行重新组合，以提高增强的低照度图像的感知质量。具体模型结构如图 7所示。
综合上述方法，分别从5种不同策略对基于深度学习的图像增强算法进行归纳分析和总结。深度学习方法通过训练模型从大量数据中学习图像特征能取得更好的精度，有效地恢复图像曝光，增强细节信息。但同时也会存在数据依赖性、模型复杂度高、训练成本高、可解释性差以及过拟合等问题，未来的研究应致力于解决这些问题，以进一步提高深度学习模型在低照度图像增强任务中的性能和应用范围。根据不同的网络结构，将近6年基于深度学习的低照度图像增强代表方法归纳总结如表 2所示，并对比分析了各算法的改进方式及优缺点。
表 2 基于深度学习的低照度图像增强方法总结Table 2. Summary of deep learning based low illumination image enhancement methodsYear Methodology Improvement Advantage Disadvantage 2019 EnlightenGAN[26] Attention-guided U-Net, an image-enhanced GAN network Processes and generates highly realistic multi-type images Introduces artefacts, amplifies noise; not stable enough ExcNet[31] Excludes backlighting and automatically adjusts brightness and contrast Automatically restores detail to backlit images; no need for extensive annotation data Subject to scene limitations, complex scenes may be affected; long training time 2020 Zero-DCE[32] Introduction of contrast loss function and feature network DCE-Net No need for a reference image; enhance the image while retaining detailed information Requires high input image quality; high training costs RRDNet[34] Retinex decomposes residual and salient images Zero sample learning; image details and color saturation are well preserved Relies on accurate reflection and light decomposition; requires high image quality DRBN[37] Recursive banding ensures detail recovery; band reconstruction enhances image Good reconstruction of detail enhancement results using paired and unpaired data training Simple experimental setup, not conducted on wider dataset 2021 Zero-DCE++[33] Accelerated and lightweight version of Zero-DCE Fast inference speed while maintaining performance Enhanced images appear over-enhanced or distorted TBEFN[25] Two-branch structure; adaptive residual block and attention module Handles exposure fusion and image enhancement simultaneously Requires large amount of labelled data; not effective in extreme lighting conditions RUAS[38] Constructing lightweight image enhancement based on Retinex theory Fast and requires few computational resources; very effective Performance and computational efficiency need further improvement 2022 LEDNet[39] Combined low light enhancement and dark de-blurring Handles both low light and blur; new dataset LOL-Blur The dataset does not contain other low-light environments and shooting scenes LEES-Net[27] Attention to mechanisms for positioning and dynamic adjustment Good generalization ability, robustness and visual effects Long training time and lack of real-time capability; artifacts and oversmoothing issues D2HNet[40] Joint denoising and deblurring using hierarchical networks High-quality image restoration for short and long duration shots Training data quality needs to be improved 2023 Literature[41] Introduction of a new framework for appearance and structural modelling Structural features guide appearance enhancements, producing lifelike results Simple model structure; no real-time enhancement Noise2Code[42] Projection based image denoising network algorithm Implementing joint training of denoising networks and VQGAN models Applications have some limitations; adaptability to complex degradation models NeRCo[28] Control of adaptable fitting functions to unify scene degradation factors Semantic Oriented Supervision for Improving Perceptual Friendliness and Robustness A priori limitations in text images; validity not verified in a wider range of scenarios DecNet[43] Decomposition and Tuning Networks and Self-Supervised Fine-Tuning Strategies Efficient and lightweight network with no manual tuning for good performance Degradation problems in images taken in real low-light conditions 2024 Multi-Channel Retinex[44] Multi-Channel Retinex Image Enhancement Network, Design Initialization Module Split channel enhancement is used to solve the problem of color deviation Higher model complexity, requires paired data training Retinexmamba[45] Integration of Retinexformer learning framework and introduction of light fusion state space models Improve the processing speed by using state space model and maintain the image quality during enhancement Lack of some non-reference image quality evaluation metrics LYT-NET[46] YUV separates luminance and chrominance and introduces a blending loss function Simplified light-color information separation reduces model complexity Model generalization ability to be verified, limited comparison methods 3. 数据集及评价指标
3.1 数据集介绍
低照度图像增强一直是图像领域的研究热点之一，有许多可用的数据集在不断改进、出现。其中配对的数据集有SICE、LOL、VE-LOL、MIT-Adobe FiveK、SID、SMOID等，无配对的数据集有LIME、NPE、MEF、DICM等，下面将简要介绍主流的一些数据集：
SICE数据集[47]是一个多曝光配对图像数据集，它包含了来自多个不同场景的低照度图像，总共包含了4413张多重曝光图像，以RGB格式保存。并且该数据集提供了对应的增强后的图像作为参考，在MEF和HDR算法评估、图像质量评估等方面有广阔的应用前景。
LOL数据集[48]包含500对低照度图像和其对应的增强图像，是第一个在真实情形中拍摄的低光/常光图像的配对图像数据集。该数据集涵盖了各种场景和条件下的低照度图像，可用于低照度图像增强算法的评估和比较，为算法的泛化性能提供了测试基准。
VE-LOL[49]是在LOL数据集的基础上构建的，提供了2500对低光照/正常光照的图像，场景更加多样化。该数据集还考虑到了噪声建模，对低照度、对比度等问题进行了标注，为评估算法的效果提供了更详细的信息。
MIT-Adobe FiveK数据集[50]起初用于全局色调调整，现也被用于低光照增强，包含来自自然场景和人工场景的5000张图像。并且此数据集还提供了5位专家处理后的增强图像，可用于算法的对比和评估。
SID数据集[51]包含了5094张来自索尼α7SII和富士X-T2相机的raw格式低照度图像样本。提供了一个真实世界的短曝光图像和对应长曝光参考图像，用于测试低照度图像增强算法的鲁棒性和效果。
SMOID数据集[52]包括35 800个拜尔列阵的极低光照raw数据及其相应的光照良好的RGB对照数据，由不同光照条件下的移动车辆和行人组成。该数据集用于评估智能手机摄像头在低照度条件下的表现，也可用于图像增强算法的验证。
LIME[53]包含了多个类别的低光照片和其对比级别较高的增强后的图像，来自多个场景的低照度图像样本，可用于低照度图像增强算法评估。该数据集旨在提供一个标准的基准，用于比较和验证不同算法的性能。
ExDARK数据集[54]包含了7 363张从极低光环境到黄昏的低光图像，由10种不同类型的低光图像组成，并附有图像类别标签和局部物体边界框的标注，可用于研究低光照条件下物体检测的性能。
这些数据集在低照度图像增强算法的研究和评估中发挥着重要作用，它们为算法的设计、优化和验证提供了丰富的实验数据和基准。详细数据总结对比如表 3。
表 3 主流低照度图像增强数据集总结Table 3. Comparison of conventional low-light image enhancement algorithmsDataset No. of images Image formats Paired/unpaired Real/Synthetic SICE[47] 4413 RGB Paired Real LOL[48] 500 RGB Paired Real VE-LOL[49] 2500 RGB Paired Real+ Synthetic MIT-Adobe FiveK[50] 5000 RAW Paired Real SID[51] 5094 RAW Paired Real SMOID[52] 179 RAW Paired Real LIME[53] 10 RGB unpaired Real ExDARK[54] 7363 RGB unpaired Real 3.2 评价指标
在图像增强中，常用的评价指标包括主观评价和客观评价两种，下面将对它们进行详细介绍：
主观评价是指根据人类视觉感知来评估图像增强算法的效果。参与者需对图像的质量、亮度、清晰度等方面进行评价，具有直观性和可信度高的特点，但受到个体和环境影响，结果存在一定的不确定性。
客观评价是基于计算机视觉和图像处理来评估图像增强算法的效果。常见的客观评价指标包括以下几种：
MSE[55]：用于衡量原始图像和增强图像之间的差异程度，即均方误差。其值越小表示增强效果越好，公式如下：
$$ {\text{MSE}} = \frac{1}{{M \times N\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{{\left( {f'\left( {i,j} \right) - f\left( {i,j} \right)} \right)}^2}} } }} $$ (1) 式中：M和N分别表示图像的行列数尺寸大小；f′(i, j)表示原始图像中位于第M行、第N列的像素值；f(i, j)表示增强图像中对应位置的像素值。
PSNR[55]：用于衡量原始图像和增强图像之间的信噪比，其值越高表示增强效果越好。计算公式如下：
$$ {\text{PSNR}} = 10 \cdot \lg \frac{{{\text{MAX}}_{\rm I}^2}}{{{\text{MSE}}}} = 20 \cdot \lg \frac{{{\text{MA}}{{\text{X}}_{\rm I}}}}{{\sqrt {{\text{MSE}}} }} $$ (2) 式中：MSE为均方误差；MAXI为图像颜色的最大数值。
SSIM：用于评估原始图像和增强图像之间的结构相似性，其值越接近1表示增强效果越好。公式为：
$$ {\text{SSIM}}\left( {x,y} \right) = \frac{{\left( {2{\mu _x}{\mu _y} + {c_1}} \right)\left( {2{\sigma _{xy}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}} $$ (3) 式中：x和y分别表示原始图像和增强图像；μ和σ分别表示均值和标准差；c1和c2是常数。
NIQE[56]：一种基于统计模型的客观评价指标，它可以自动评估图像的质量，其值越小表示增强效果越好，与人类主观评价结果的一致性较高。
LPIPS[57]：一种基于深度学习的图像质量评估指标，通过计算两个图像之间的感知相似性来衡量它们的质量差异。公式为：
$$ d\left( {x,{x_0}} \right) = \sum\limits_i {\frac{1}{{{H_i}{W_i}}}} \sum\limits_{h,w} {\left\| {{w_i} \odot \left( {\hat y_{hw}^i - \hat y_{0hw}^i} \right)} \right\|_2^2} $$ (4) 式中：d为x0与x之间的距离；$ {\hat y^l},\hat y_0^l $为单位归一化后的通道维度，利用向量Wi来放缩激活通道数，最终计算L2距离。
这些客观评价指标适用于不同类型的图像增强算法，可以通过对比不同算法的得分来评估它们的效果和优劣。
本章介绍了多种主流的低照度图像数据集，以及常用的主观与客观评价指标。数据集的多样性和规模对深度学习模型的训练至关重要，而评价指标的选择直接影响算法性能评估的准确性。未来应构建更大规模、更真实的低照度图像数据集，以支持更复杂场景的算法训练与测试。同时，开发更全面的评价指标，综合考虑图像的亮度、对比度、细节保留等多个方面。
4. 深度学习算法对比分析
为了验证本文所述算法的实用价值以及性能效果，本章将分别从感知相似度和峰值信噪比两个方面进行算法性能分析对比。
4.1 感知相似度对比分析评价指标
传统的度量方法如PSNR和SSIM等浅层函数无法描述人类视觉的复杂性，因此Zhang等人[57]通过调整现有网络的特征响应来校准特征空间，提出了一种新的感知图像补丁相似性学习LPIPS方法。
我们可以利用LPIPS评估不同网络架构和任务下的深度特征。对于LPIPS，我们采用基于AlexNet的模型来计算感知相似度。LPIPS值越低，说明结果在感知相似度方面越接近于其对应的ground truth。
结果显示监督学习在大多数情况下取得了更好的性能，但需要高计算资源和配对的训练数据。相比之下，零次学习在实际应用中更有吸引力，因为它不需要配对或非配对的训练数据，具有更好的泛化能力。本文将深度学习方法的进行定量评估，在LOL数据集上测试，结果表明基于监督学习的方法得分要优于基于无监督学习、强化学习、零次学习以及半监督学习等方法。其中KinD[22]获得了最低的LPIPS值0.175，表明该算法生成图像更接近于真实图像，从而证明增强效果较好。TBEFN[25]采用双分支曝光融合网络，获得了次优的LPIPS值0.210。无监督学习中EnlightenGAN[26]网络表现较好，其LPIPS值为0.322。零次学习中Zero-DCE[32]表现较好，其LPIPS值为0.335。半监督学习中DRBN[37]和RUAS[38]测试结果相近，优于无监督学习算法，LPIPS值分别为0.316与0.313。此外，LightenNet[24]获得了最高的LPIPS值0.394，由于其采用了轻量级CNN结构，因此在某些情况下，增强效果可能不如其他更复杂的算法。
4.2 算法性能对比分析评价指标
在使用深度学习的算法进行测试时，我们选择在GPU上使用Pytorch或Tensorflow框架，并基于LOL数据集进行实验。另外采用Adam优化器，并设置一个动态变化的学习率。近六年低照度图像增强代表性算法对比如表 4所示，分别从各算法的网络框架、所用数据集、图像格式、评价指标、运行框架以及测试结果PSNR指标进行展示。
表 4 基于深度学习的低照度图像增强方法性能对比Table 4. Performance comparison of deep learning based low illumination image enhancement methodsYear Methodology Network framework Dataset Image formats Evaluation metrics Operational framework PSNR/dB 2019 EnlightenGAN[26] U-Net NPE/MEF/LIME/DICM etc. RGB NIQE PyTorch 17.48 ExcNet[31] CNN IEpsD RGB CDIQA/LOD PyTorch 17.25 2020 Zero-DCE[32] U-Net type network SICE RGB PSNR/SSIM/MAE PyTorch 14.86 RRDNet[34] Retinex Breakdown NPE/MEF/LIME/DICM etc. RGB NIQE/CPCQI PyTorch 14.38 DRBN[37] Recursive network LOL RGB PSNR/SSIM PyTorch 20.13 2021 Zero-DCE++[33] U-Net type network SICE RGB PSNR/SSIM/MAE etc. PyTorch 16.42 TBEFN[25] U-Net type network LOL RGB PSNR/SSIM/NIQE TensorFlow 17.14 RUAS[38] Retinex Breakdown LOL/MIT-AdobeFiveK RGB PSNR/SSIM/LPIPS PyTorch 20.6 2022 LEDNet[39] Neural network LOL-Blur RGB PSNR/SSIM/LPIPS PyTorch 23.86 LEES-Net[27] CNN LOL-v2/LSRW Dark Face RGB PSNR/SSIM/LPIPS/LOE PyTorch 20.2 D2HNet[40] Pyramid network D2(synthetic dataset) RGB PSNR/SSIM/PR PyTorch 26.67 2023 Literature [41] End-to-end network LOL/SID RGB PSNR/SSIM PyTorch 24.62 Noise2Code[42] GAN model SIDD/DND RGB PSNR/SSIM PyTorch — NeRCo[28] Implicit network LOL/LIME/LSRW RGB PSNR/SSIM/NIQE/LOE PyTorch 19.84 DecNet[43] Retinex Breakdown LOL/NPE/MIT-AdobeFiveK RGB PSNR/SSIM/NIQE/LOE PyTorch 22.82 2024 Multi-Channel Retinex[44] Retinex Breakdown LOL/MIT-AdobeFiveK RGB PSNR/SSIM FSIM PyTorch 21.94 Retinexmamba[45] Retinex+Mamba LOL-v1 LOLv2-real RGB PSNR/SSIM/RMSE PyTorch 22.453 LYT-NET[46] YUV Transformer LOLv1/LOLv2-real/LOL-v2-syn YUV PSNR/SSIM Tensorflow 22.38 其中基于Retinex分解的RRDNet[34]网络通过零样本学习来处理各种不同类型和大小的低曝光图像，该方法PSNR值较低，因为它比较依赖准确的反射和照明分解，但与其他算法相比其在保持图像细节和颜色饱和度方面具有很好的表现。经典的无监督生成对抗网络EnlightenGAN[26]可以在没有低光/正常光图像对的情况下训练，其测试结果PSNR值为17.48。另外LEDNet[39]、D2HNet[40]、文献[41]等算法测试结果PSNR值较高，增强效果好。LEDNet可以同时处理弱光增强和去模糊两种问题，其测试PSNR值为23.86，相较于EnlightenGAN提升了约36.5%。D2HNet在短曝光图像的引导下，对长曝光图像进行去模糊和增强，恢复出高质量的图像，其PSNR值为26.67，相较于EnlightenGAN提升了约52.6%。文献[41]提出了一个新的低光图像增强框架，采用结构特征来指导外观增强，从而产生清晰和逼真的结果，其PSNR值为24.62，相较于EnlightenGAN提升了约40.1%。
5. 总结与展望
本文对近年来的低照度图像增强技术进行了总结。首先对传统的主流算法进行了分类阐述，讲解了各自的关键技术以及优缺点。其次将基于深度学习的算法详细的划分并按时间顺序将近六年的代表方法进行了总结分析。最后介绍了常用的数据集、数据格式以及主流评价指标，对代表算法进行对比以及验证分析。
目前该领域仍有很大的发展潜力，通过深入研究文献，分析现阶段存在的问题，未来可以从以下方面进行研究：
1）网络架构的改进：目前的低照度图像增强算法大多采用了各种类型的CNN或U-Net结构，但是仍然存在一些局限性。未来的研究可以探索新的网络架构，如生成对抗网络（GAN）[58-60]等，以进一步提升算法的性能与效果。注意力机制[61]能帮助网络更好地集中于低照度图像中重要的区域，所以也可以将Transformer结构[62-63]引入改进网络架构，提高低照度图像增强算法的效果。
2）跨模态图像增强：低照度图像增强算法通常只针对低照度图像进行处理，而在实际应用中，可能还需要同时处理其他类型的图像及视频[64]，如模糊图像、噪声图像等。未来的研究可以探索如何设计跨模态的图像增强算法，以应对更复杂的图像增强任务。
3）结合物理模型约束：低照度图像增强可以结合基于物理模型的约束（physics-based constraints）[65]，如相机传感器噪声模型、光照模型[66]等。通过引入这些约束，可以提供更准确的先验知识，从而改进低照度图像增强的结果。
4）强化特征学习与表征：研究更有效的特征融合策略，以增强网络对复杂光照条件的鲁棒性；开发能够根据输入图像的具体特性自动调整特征提取和融合方式的网络架构，以提高算法的泛化能力。
-
![]()
图 1 传统低照度图像增强代表方法总结
Figure 1. Summary of traditional low-light image enhancement representation methods
![]()
图 2 基于深度学习的低照度图像增强代表方法
Figure 2. Summary of typical methods for low-light image enhancement based on deep learning
表 1 传统低照度图像增强算法对比
Table 1 Comparison of conventional low-light image enhancement algorithms
Algorithms Key technology Advantage Disadvantage Histogram Equalization[2-6] Changing the histogram distribution of image grey scale intervals Enhanced brightness distribution and sharpness of images Grey scale merge, detail information lost Tone Mapping Algorithm[7-9] Convert high dynamic range images to low dynamic range images Improved image brightness and colour performance Limitations in image display quality Fusion-based Algorithm[10-12] Fusion of multiple image processing results Improved brightness and clarity has advantages Generates fusion artefacts and introduces image distortion Defogging-based Algorithm[13-16] Improve low-light image quality by removing haze effect from images Restore image detail and improve visual quality Partial loss of information, introduction of artefacts, noise Retinex Theory[17-20] Decomposition of the image into reflective and illuminated parts Improved colour balance and detail in images Complex calculations, more light-dependent 
下载: 导出CSV
表 2 基于深度学习的低照度图像增强方法总结
Table 2 Summary of deep learning based low illumination image enhancement methods
Year Methodology Improvement Advantage Disadvantage 2019 EnlightenGAN[26] Attention-guided U-Net, an image-enhanced GAN network Processes and generates highly realistic multi-type images Introduces artefacts, amplifies noise; not stable enough ExcNet[31] Excludes backlighting and automatically adjusts brightness and contrast Automatically restores detail to backlit images; no need for extensive annotation data Subject to scene limitations, complex scenes may be affected; long training time 2020 Zero-DCE[32] Introduction of contrast loss function and feature network DCE-Net No need for a reference image; enhance the image while retaining detailed information Requires high input image quality; high training costs RRDNet[34] Retinex decomposes residual and salient images Zero sample learning; image details and color saturation are well preserved Relies on accurate reflection and light decomposition; requires high image quality DRBN[37] Recursive banding ensures detail recovery; band reconstruction enhances image Good reconstruction of detail enhancement results using paired and unpaired data training Simple experimental setup, not conducted on wider dataset 2021 Zero-DCE++[33] Accelerated and lightweight version of Zero-DCE Fast inference speed while maintaining performance Enhanced images appear over-enhanced or distorted TBEFN[25] Two-branch structure; adaptive residual block and attention module Handles exposure fusion and image enhancement simultaneously Requires large amount of labelled data; not effective in extreme lighting conditions RUAS[38] Constructing lightweight image enhancement based on Retinex theory Fast and requires few computational resources; very effective Performance and computational efficiency need further improvement 2022 LEDNet[39] Combined low light enhancement and dark de-blurring Handles both low light and blur; new dataset LOL-Blur The dataset does not contain other low-light environments and shooting scenes LEES-Net[27] Attention to mechanisms for positioning and dynamic adjustment Good generalization ability, robustness and visual effects Long training time and lack of real-time capability; artifacts and oversmoothing issues D2HNet[40] Joint denoising and deblurring using hierarchical networks High-quality image restoration for short and long duration shots Training data quality needs to be improved 2023 Literature[41] Introduction of a new framework for appearance and structural modelling Structural features guide appearance enhancements, producing lifelike results Simple model structure; no real-time enhancement Noise2Code[42] Projection based image denoising network algorithm Implementing joint training of denoising networks and VQGAN models Applications have some limitations; adaptability to complex degradation models NeRCo[28] Control of adaptable fitting functions to unify scene degradation factors Semantic Oriented Supervision for Improving Perceptual Friendliness and Robustness A priori limitations in text images; validity not verified in a wider range of scenarios DecNet[43] Decomposition and Tuning Networks and Self-Supervised Fine-Tuning Strategies Efficient and lightweight network with no manual tuning for good performance Degradation problems in images taken in real low-light conditions 2024 Multi-Channel Retinex[44] Multi-Channel Retinex Image Enhancement Network, Design Initialization Module Split channel enhancement is used to solve the problem of color deviation Higher model complexity, requires paired data training Retinexmamba[45] Integration of Retinexformer learning framework and introduction of light fusion state space models Improve the processing speed by using state space model and maintain the image quality during enhancement Lack of some non-reference image quality evaluation metrics LYT-NET[46] YUV separates luminance and chrominance and introduces a blending loss function Simplified light-color information separation reduces model complexity Model generalization ability to be verified, limited comparison methods
下载: 导出CSV
表 3 主流低照度图像增强数据集总结
Table 3 Comparison of conventional low-light image enhancement algorithms
Dataset No. of images Image formats Paired/unpaired Real/Synthetic SICE[47] 4413 RGB Paired Real LOL[48] 500 RGB Paired Real VE-LOL[49] 2500 RGB Paired Real+ Synthetic MIT-Adobe FiveK[50] 5000 RAW Paired Real SID[51] 5094 RAW Paired Real SMOID[52] 179 RAW Paired Real LIME[53] 10 RGB unpaired Real ExDARK[54] 7363 RGB unpaired Real
下载: 导出CSV
表 4 基于深度学习的低照度图像增强方法性能对比
Table 4 Performance comparison of deep learning based low illumination image enhancement methods
Year Methodology Network framework Dataset Image formats Evaluation metrics Operational framework PSNR/dB 2019 EnlightenGAN[26] U-Net NPE/MEF/LIME/DICM etc. RGB NIQE PyTorch 17.48 ExcNet[31] CNN IEpsD RGB CDIQA/LOD PyTorch 17.25 2020 Zero-DCE[32] U-Net type network SICE RGB PSNR/SSIM/MAE PyTorch 14.86 RRDNet[34] Retinex Breakdown NPE/MEF/LIME/DICM etc. RGB NIQE/CPCQI PyTorch 14.38 DRBN[37] Recursive network LOL RGB PSNR/SSIM PyTorch 20.13 2021 Zero-DCE++[33] U-Net type network SICE RGB PSNR/SSIM/MAE etc. PyTorch 16.42 TBEFN[25] U-Net type network LOL RGB PSNR/SSIM/NIQE TensorFlow 17.14 RUAS[38] Retinex Breakdown LOL/MIT-AdobeFiveK RGB PSNR/SSIM/LPIPS PyTorch 20.6 2022 LEDNet[39] Neural network LOL-Blur RGB PSNR/SSIM/LPIPS PyTorch 23.86 LEES-Net[27] CNN LOL-v2/LSRW Dark Face RGB PSNR/SSIM/LPIPS/LOE PyTorch 20.2 D2HNet[40] Pyramid network D2(synthetic dataset) RGB PSNR/SSIM/PR PyTorch 26.67 2023 Literature [41] End-to-end network LOL/SID RGB PSNR/SSIM PyTorch 24.62 Noise2Code[42] GAN model SIDD/DND RGB PSNR/SSIM PyTorch — NeRCo[28] Implicit network LOL/LIME/LSRW RGB PSNR/SSIM/NIQE/LOE PyTorch 19.84 DecNet[43] Retinex Breakdown LOL/NPE/MIT-AdobeFiveK RGB PSNR/SSIM/NIQE/LOE PyTorch 22.82 2024 Multi-Channel Retinex[44] Retinex Breakdown LOL/MIT-AdobeFiveK RGB PSNR/SSIM FSIM PyTorch 21.94 Retinexmamba[45] Retinex+Mamba LOL-v1 LOLv2-real RGB PSNR/SSIM/RMSE PyTorch 22.453 LYT-NET[46] YUV Transformer LOLv1/LOLv2-real/LOL-v2-syn YUV PSNR/SSIM Tensorflow 22.38
下载: 导出CSV
-
[1] LIU J, XU D, YANG W, et al. Benchmarking low-light image enhancement and beyond[J]. International Journal of Computer Vision, 2021, 129: 1153-1184. DOI: 10.1007/s11263-020-01418-8
[2] 郭永坤, 朱彦陈, 刘莉萍, 等. 空频域图像增强方法研究综述[J]. 计算机工程与应用, 2022, 58(11): 23-32. GUO Y K, ZHU Y C, LIU L P, et al. A review of research on image enhancement methods in the air-frequency domain[J]. Computer Engineering and Application, 2022, 58(11): 23-32.
[3] Jebadass J R, Balasubramaniam P. Low contrast enhancement technique for color images using intervalvalued intuitionistic fuzzy sets with contrast limited adaptive histogram equalization[J]. Soft Computing, 2022, 26(10): 4949-4960. DOI: 10.1007/s00500-021-06539-x
[4] 杨嘉能, 李华, 田宸玮, 等. 基于自适应校正的动态直方图均衡算法[J]. 计算机工程与设计, 2021, 42(5): 1264-1270. YANG J N, LI H, TIAN C W, et al. Dynamic histogram equalization algorithm based on adaptive correction[J]. Computer Engineering and Design, 2021, 42(5): 1264-1270.
[5] KUO C F J, WU H C. Gaussian probability bi‐histogram equalization for enhancement of the pathological features in medical images[J]. International Journal of Imaging Systems and Technology, 2019, 29(2): 132-145. DOI: 10.1002/ima.22307
[6] LI C, LIU J, ZHU J, et al. Mine image enhancement using adaptive bilateral gamma adjustment and double plateaus histogram equalization[J]. Multimedia Tools and Applications, 2022, 81(9): 12643-12660. DOI: 10.1007/s11042-022-12407-z
[7] Nguyen N H, Vo T V, Lee C. Human visual system model-based optimized tone mapping of high dynamic range images[J]. IEEE Access, 2021, 9: 127343-127355. DOI: 10.1109/ACCESS.2021.3112046
[8] 陈迎春. 基于色调映射的快速低照度图像增强[J]. 计算机工程与应用, 2020, 56(9): 234-239. CHEN Y C. Fast low-light image enhancement based on tone mapping[J]. Computer Engineering and Applications, 2020, 56(9): 234-239.
[9] 赵海法, 朱荣, 杜长青, 等. 全局色调映射和局部对比度处理相结合的图像增强算法[J]. 武汉大学学报, 2020, 66(6): 597-604. ZHAO H F, ZHU R, DU C Q, et al. An image enhancement algorithm combining global tone mapping and local contrast processing[J]. Journal of Wuhan University, 2020, 66(6): 597-604.
[10] 李明悦, 晏涛, 井花花, 等. 多尺度特征融合的低照度光场图像增强算法[J]. 计算机科学与探索, 2022, 17(8): 1904-1916. LI M Y, YAN T, JING H H, et al. Multi-scale feature fusion algorithm for low illumination light field image enhancement[J]. Computer Science and Exploration, 2022, 17(8): 1904-1916.
[11] 张微微. 基于图像融合的低照度水下图像增强[D]. 大连: 大连海洋大学, 2023. ZHANG W W. Low Illumination Underwater Image Enhancement Based on Image Fusion[D]. Dalian: Dalian Ocean University, 2023.
[12] 田子建, 吴佳奇, 张文琪, 等. 基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法[J]. 煤炭科学技术, 2024, 52(1): 297-310. TIAN Z J, WU J Q, ZHANG W Q, et al. Brightness enhancement and detail enhancement method for low illumination images of mines based on Transformer and adaptive feature fusion[J]. Coal Science and Technology, 2024, 52(1): 297-310.
[13] DONG X, PANG Y, WEN J, et al. Fast efficient algorithm for enhancement of low lighting video[C]//2011 IEEE International Conference on Multimedia and Expo, 2011: 1-6.
[14] HUO Y S. Polarization-based research on a priori defogging of dark channel[J]. Acta Physica Sinica, 2022, 71(14): 144202. DOI: 10.7498/aps.71.20220332
[15] HONG S, KIM M, LEE H, et al. Nighttime single image dehazing based on the structural patch decomposition[J]. IEEE Access, 2021, 9: 82070-82082. DOI: 10.1109/ACCESS.2021.3086191
[16] SI Y, YANG F, CHONG N. A novel method for single nighttime image haze removal based on gray space[J]. Multimedia Tools and Applications, 2022, 81(30): 43467-43484. DOI: 10.1007/s11042-022-13237-9
[17] LAND E H. The retinex theory of color vision[J]. Scientific American, 1977, 237(6): 108-129. DOI: 10.1038/scientificamerican1277-108
[18] WANG R, ZHANG Q, FU C W, et al. Underexposed photo enhancement using deep illumination estimation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 6849-6857.
[19] CAI Y, BIAN H, LIN J, et al. Retinexformer: one-stage retinex-based transformer for low-light image enhancement[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023: 12504-12513.
[20] REN X, YANG W, CHENG W H, et al. LR3M: robust low-light enhancement via low-rank regularized retinex model[J]. IEEE Transactions on Image Processing, 2020, 29: 5862-5876. DOI: 10.1109/TIP.2020.2984098
[21] Lore K G, Akintayo A, Sarkar S. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662. DOI: 10.1016/j.patcog.2016.06.008
[22] ZHANG Y, ZHANG J, GUO X. Kindling the darkness: a practical low-light image enhancer[C]//Proceedings of the 27th ACM International Conference on Multimedia, 2019: 1632-1640.
[23] ZHANG Y, GUO X, MA J, et al. Beyond brightening low-light images[J]. International Journal of Computer Vision, 2021: 1013-1037.
[24] LI C, GUO J, PORIKLI F, et al. LightenNet: a convolutional neural network for weakly illuminated image enhancement[J]. Pattern Recognition Letters, 2018, 104: 15-22. DOI: 10.1016/j.patrec.2018.01.010
[25] LU K, ZHANG L. TBEFN: a two-branch exposure-fusion network for low-light image enhancement[J]. IEEE Transactions on Multimedia, 2021, 23: 4093-4105. DOI: 10.1109/TMM.2020.3037526
[26] JIANG Y, GONG X, LIU D, et al. EnlightenGAN: deep light enhancement without paired supervision[J]. IEEE Transactions on Image Processing, 2021, 30: 2340-2349. DOI: 10.1109/TIP.2021.3051462
[27] LI X, HE R, WU J, et al. LEES-Net: fast, lightweight unsupervised curve estimation network for low-light image enhancement and exposure suppression[J]. Displays, 2023, 80: 102550. DOI: 10.1016/j.displa.2023.102550
[28] YANG S, DING M, WU Y, et al. Implicit neural representation for cooperative low-light image enhancement[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023: 12918-12927.
[29] YU R, LIU W, ZHANG Y, et al. Deepexposure: learning to expose photos with asynchronously reinforced adversarial learning[J]. Advances in Neural Information Processing Systems, 2018, 31: 7429-7439.
[30] 周腾威. 基于深度学习的图像增强算法研究[D]. 南京: 南京信息工程大学, 2021. ZHOU T W. Research on Image Enhancement Algorithm Based on Deep Learning[D]. Nanjing: Nanjing University of Information Engineering, 2021.
[31] ZHANG L, ZHANG L, LIU X, et al. Zero-shot restoration of back-lit images using deep internal learning[C]//Proceedings of the 27th ACM International Conference on Multimedia, 2019: 1623-1631.
[32] GUO C, LI C, GUO J, et al. Zero-reference deep curve estimation for low-light image enhancement[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 1780-1789.
[33] LI C, GUO C, CHEN C L. Learning to enhance low-light image via zero-reference deep curve estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(8): 4225-4238.
[34] ZHU A, ZHANG L, SHEN Y, et al. Zero-shot restoration of underexposed images via robust retinex decomposition[C]//2020 IEEE International Conference on Multimedia and Expo (ICME), 2020, DOI: 10.1109/ICME46284.2020.9102962.
[35] SOHN K, BERTHELOT D, CARLINI N, et al. Fixmatch: simplifying semi-supervised learning with consistency and confidence[J]. Advances in Neural Information Processing Systems, 2020, 33: 596-608.
[36] LIU Y, TIAN Y, CHEN Y, et al. Perturbed and strict mean teachers for semi-supervised semantic segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 4258-4267.
[37] YANG W, WANG S, FANG Y, et al. From fidelity to perceptual quality: a semi-supervised approach for low-light image enhancement [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 3063-3072.
[38] LIU R, MA L, ZHANG J, et al. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 10561-10570.
[39] ZHOU S, LI C, CHANGE LOY C. LEDNet: joint low-light enhancement and deblurring in the dark[C]//European Conference on Computer Vision, 2022: 573-589.
[40] ZHAO Y, XU Y, YAN Q, et al. D2hnet: Joint denoising and deblurring with hierarchical network for robust night image restoration [C]//European Conference on Computer Vision, 2022: 91-110.
[41] XU X, WANG R, LU J. Low-Light Image Enhancement via Structure Modeling and Guidance[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 9893-9903.
[42] Cheikh Sidiyadiya A. Generative prior for unsupervised image restoration[D]. Ahmed Cheikh Sidiya: West Virginia University, 2023.
[43] LIU X, XIE Q, ZHAO Q, et al. Low-light image enhancement by retinex-based algorithm unrolling and adjustment[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 35(11): 2162-2388.
[44] 张箴, 鹿阳, 苏奕铭, 等. 基于多通道Retinex模型的低照度图像增强网络[J]. 信息与控制, 2024, 53(5): 652-661. ZHANG Z, LU Y, SU Y M, et al. Low-light image enhancement network based on multi-channel Retinex model[J]. Information and Control, 2024, 53(5): 652-661.
[45] BAI J, YIN Y, HE Q. Retinexmamba: retinex-based mamba for low-light image enhancement[J]. arXiv preprint arXiv: 2405.03349, 2024.
[46] Brateanu A, Balmez R, Avram A, et al. Lyt-net: lightweight yuv transformer-based network for low-light image enhancement[J]. arXiv preprint arXiv: 2401.15204, 2024.
[47] CAI J, GU S, ZHANG L. Learning a deep single image contrast enhancer from multi-exposure images[J]. IEEE Transactions on Image Processing, 2018, 27(4): 2049-2062.
[48] WEI C, WANG W, YANG W, et al. Deep retinex decomposition for low-light enhancement[J]. arXiv preprint arXiv: 1808.04560, 2018.
[49] LIU J, XU D, YANG W, et al. Benchmarking low-light image enhancement and beyond[J]. International Journal of Computer Vision, 2021, 129: 1153-1184.
[50] Bychkovsky V, Paris S, CHAN E, et al. Learning photographic global tonal adjustment with a database of input/output image pairs[C]//CVPR of IEEE, 2011: 97-104.
[51] CHEN C, CHEN Q, XU J, et al. Learning to see in the dark[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 3291-3300.
[52] JIANG H, ZHENG Y. Learning to see moving objects in the dark[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 7324-7333.
[53] GUO X, LI Y, LING H. LIME: Low-light image enhancement via Illumination Map Estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.
[54] LOH Y P, CHAN C S. Getting to know low-light images with the exclusively dark dataset[J]. Computer Vision and Image Understanding, 2019, 178: 30-42.
[55] SARA U, AKTER M, UDDIN M S. Image quality assessment through FSIM, SSIM, MSE and PSNR——a comparative study[J]. Journal of Computer and Communications, 2019, 7(3): 8-18.
[56] Mittal A, Soundararajan R, Bovik A C. Making a "Completely Blind" image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.
[57] ZHANG R, Isola P, Efros A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 586-595.
[58] HU S, YAN J, DENG D. Contextual information aided generative adversarial network for low-light image enhancement[J]. Electronics, 2021, 11(1): 32.
[59] YANG S, ZHOU D, CAO J, et al. Rethinking low-light enhancement via transformer-GAN[J]. IEEE Signal Processing Letters, 2022, 29: 1082-1086.
[60] PAN Z, YUAN F, LEI J, et al. MIEGAN: mobile image enhancement via a multi-module cascade neural network[J]. IEEE Transactions on Multimedia, 2022, 24: 519-533.
[61] CHEN X, LI J, HUA Z. Retinex low-light image enhancement network based on attention mechanism[J]. Multimedia Tools and Applications, 2023, 82(3): 4235-4255.
[62] ZHANG Q, ZOU C, SHAO M, et al. A single-stage unsupervised denoising low-illumination enhancement network based on swin-transformer[J]. IEEE Access, 2023, 11: 75696-75706.
[63] YE J, FU C, CAO Z, et al. Tracker meets night: a transformer enhancer for UAV tracking[J]. IEEE Robotics and Automation Letters, 2022, 7(2): 3866-3873.
[64] Kanev A, Nazarov M, Uskov D, et al. Research of different neural network architectures for audio and video denoising[C]//2023 5th International Youth Conference on Radio Electronics, Electrical and Power Engineering (REEPE) of IEEE, 2023, 5: 1-5.
[65] FENG X, LI J, HUA Z. Low-light image enhancement algorithm based on an atmospheric physical model[J]. Multimedia Tools and Applications, 2020, 79(43): 32973-32997.
[66] JIA D, YANG J. A multi-scale image enhancement algorithm based on deep learning and illumination compensation[J]. Traitement du Signal, 2022, 39(1): 179-185.
计量
- 文章访问数: 56
- HTML全文浏览量: 8
- PDF下载量: 25
