太赫兹成像技术研究进展及应用

周强国; 黄志明

太赫兹成像技术研究进展及应用

周强国^{1, 2,},
黄志明^{1, 2, ,}

1.
中国科学院上海技术物理研究所红外物理国家重点实验室, 上海 200083
2.
中国科学院大学, 北京 100049

基金项目:

国家自然科学基金委员会重点项目 12134016

杰出青年基金 61625505

中国科学院，基础前沿科学研究计划 ZDBS-LY-JSC025

详细信息

作者简介:
周强国（1995-），男，硕士研究生，主要从事红外成像及太赫兹探测技术研究。Email：qgzhouhq@163.com

通讯作者:
黄志明（1971-），男，研究员，博士生导师，国家杰出青年基金获得者，主要从事红外与太赫兹相关领域研究。E-mail：zmhuang@mail.sitp.ac.cn

中图分类号: O441.4
计量
- 文章访问数: 510
- HTML全文浏览量: 1630
- PDF下载量: 1075
出版历程
- 收稿日期: 2021-04-22
- 修回日期: 2021-06-13
- 刊出日期: 2022-04-19

Review of Research and Application of Terahertz Imaging Technology

ZHOU Qiangguo^{1, 2,},
HUANG Zhiming^{1, 2, ,}

1.
State Key Laboratory of Infrared Physics, Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China
2.
University of Chinese Academy of Sciences, Beijing 100049, China

摘要

摘要: 太赫兹波（terahertz waves）位于红外波段与微波波段之间，相比其他波段具有高透射性、低能量性、相干性、指纹光谱以及瞬态性等特点。随着太赫兹成像技术在空间通信、雷达探测、航天航空以及生物医疗等领域的广泛应用，已经表现出传统成像技术（如可见光、超声波和X射线成像）无法比拟的优势。本文首先对太赫兹时域光谱（THz-TDS）成像技术以及室温（非制冷）微测辐射热计太赫兹成像技术的发展现状进行介绍，再介绍太赫兹成像技术的典型应用，最后指出太赫兹成像技术在发展中存在的限制因素并给出合理的建议。
- 太赫兹 /
- 时域光谱 /
- 微测辐射热计 /
- 成像技术
Abstract: Terahertz (THz) waves are located between the infrared and microwave bands. Compared with other bands, they have the characteristics of high transmission, low energy, coherence and transient nature. With the widespread application of terahertz imaging technology in the fields of space communication, radar detection, aerospace and biomedicine, it has been shown that THz imaging offers advantages over traditional imaging technologies (such as ultrasonic imaging and X-ray imaging). This paper first introduces the development status of THz time-domain spectroscopy (THz-TDS) imaging technology and room temperature (uncooled) microbolometer THz imaging technology. Subsequently, typical applications of THz imaging technology are presented. Finally, the limiting factors of THz imaging technology are discussed.
- terahertz /
- time-domain spectroscopy /
- microbolometer /
- imaging technology

HTML全文

0. 引言

通常，成像系统为了提高低光照场景的图像照度需要延长曝光时间，这不仅需要保证成像系统的平稳性，还降低了图像采集的实时性，并且含有较多的噪声。实时采集低光照环境的图像存在照度偏暗、部分内容难以辨识等问题（该类图像通常被称为低光照图像），甚至极低光照环境的图像照度非常低，以至于图像全局内容难以依靠人眼视觉进行分辨，并且存在严重噪声（该类图像通常被称为极低光照图像）。而低光照图像增强算法^[1-3]可以通过图像后期处理提高图像亮度，降低硬件设备升级成本，具有较好的应用价值

当前，低光照图像增强主要包括基于直方图均衡化的方法、基于Retinex的方法和基于深度学习的方法^[1]。基于直方图均衡化的方法通过调整不同灰度值的像素来达到图像直方图分布均匀，并将这种映射关系作为图像增强函数。例如，Ibrahim等人^[4]提出亮度保持的动态直方图均衡化，根据局部最大值为不同分区的直方图分配新的动态范围，再分别进行直方图均衡化。但是，该方法引入大量噪声，并且非低光照区域出现亮度饱和现象。基于Retinex的方法假设图像是由受光照影响的照度分量和依赖于物质属性的反射分量所合成，从而将低光照图像增强转化为其反射分量的计算，如单尺度Retinex^[5]和多尺度Retinex^[6]。但是该类方法容易丢失纹理细节信息，生成的图像照度存在失真甚至过曝光。虽然文献[7-9]通过改进照度分量的约束提高了光照的自然度，但色彩失真和噪声问题仍然比较显著。基于深度学习的方法依赖于先验数据信息，通过大量的先验图像数据集对构建的学习模型进行训练，学习低光照到正常光照的映射关系。Lore等人^[10]搭建了深度卷积网络进行图像对比度增强和去噪。而后，Shen等人^[11]结合多尺度Retinex方法提出多尺度Retinex网络，通过多尺度对数变换和卷积差分直接学习低光照与高光照图像间的映射。Wei等人^[12]提出了Retinex卷积网络，利用卷积网络模拟反射分量和照度分量的分解。基于深度学习的方法能够生成亮度自然和色彩保真度高的图像，并且具有较好的去噪效果。但是，现有方法将低频光照映射和高频噪声去除进行同步学习，导致图像纹理细节丢失严重。并且，低光照图像和正常光照图像存在显著差异，其高分辨率特征间的相关性较小，造成网络训练收敛较慢和波动较大，最终影响低光照图像增强的质量。

为了提高低光照图像增强质量，本文提出一种基于多尺度小波U型网络的低光照图像增强方法。考虑到低光照图像含有大量噪声，本文构建了一种小波U型网络，引入离散小波变换构建特征分频单元，分离低频照度特征和高频纹理特征，增强网络对低频照度特征和高频纹理信息的感知，有效抑制噪声和增强纹理细节。此外，构建多尺度感知损失函数，通过约束不同尺度图像的损失增强低光照和高光照图像间特征的相关性，指导网络从低频的照度和色彩信息到高频的纹理信息的逐级重建，加快和优化小波U型网络的收敛。

1. 多尺度小波U型网络

本文提出一种基于多尺度小波U型网络用于低光照图像增强，其网络架构与图像处理流程如图 1所示。该网络包括多级编码器（Enc）、解码器（Dec）和图像重建层（image reconstruction, image-Rec）。编码器由下采样单元（down-sampling, Dw-S）、特征分频单元（frequency decomposition of features, FDF）和特征融合单元（feature fusion, F-Fs）组成，而解码器由特征注意力融合单元（attention fusion, A-Fs）、特征分频单元和上采样模块（Up-Sampling, Up-S）组成。小波U型网络采用多尺度感知损失函数（Multi-scale perceived loss）约束训练过程，分别对U型网络中不同尺度的增强图像计算其损失值，包括L1损失、结构损失和内容损失。

图 1 多尺度小波U型网络结构

Figure 1. The architecture of multi-scale wavelet U-shaped network

下载: 全尺寸图片幻灯片

输入图像先经过多级编码器进行编码，每级编码器分别对上一级的输出特征进行特征下采样、特征分频推理和特征融合；然后通过多级解码器进行解码，特征注意力融合单元采用通道注意力机制将同级编码器和前级解码器的输出特征进行融合，再依次进行特征分频推理和上采样重建高分辨率信息；最后利用由两个卷积层（Conv）级联而成的图像重建层将解码器的输出特征重建为RGB图像。

1.1 基于特征分频的编码器和解码器

由于低光照图像含有大量噪声，因此图像去噪是低光照图像增强任务面临的重要问题之一。常见的基于深度学习的低光照图像增强方法对亮度增强和去噪并不加以区分，直接通过深度卷积网络学习低光照图像和参考图像间的映射关系^[10-11]。但是，噪声作为一种高频信息则会干扰图像高频纹理细节的保持，导致去噪的同时丢失了大量纹理信息。而小波变换能够分解图像高频信息和低频信息，被广泛应用于图像去噪。因此，本文提出一种基于小波变换的特征分频推理单元，并联合下采样、特征融合、注意力融合和上采样模块组成基于特征分频的编码器和解码器，具体结构如图 2所示。

图 2 基于特征分频的编码器（左）和解码器（右）

Figure 2. Encoder (left) and decoder (right) based on frequency decomposition of features

下载: 全尺寸图片幻灯片

如图 2所示，下采样层由一个卷积核为3×3、步长为2的卷积层（Conv 3×3, s＝2）和两个残差块（ResB）组成，它对编码器的输入信息进行下采样；而解码器的输入为上一级解码器的输出特征和同级编码器的输出特征，它们具有不同的感受野且对图像增强的贡献并不相同，因此注意力融合单元采用通道注意力融合方法^[13]对这些特征进行自适应加权融合。在通道注意力融合方法中，均值池化层×（Avg Pool）、2个卷积核为1×1的卷积层、ReLU激活层和Sigmoid层级联生成各特征通道的权值，这些权值与各通道特征相乘得到通道注意力特征，从而提高较大贡献的特征响应。编码器的尾端是由两个卷积层组成的特征融合层，对特征分频的高频信息和低频信息进行融合；解码器的尾端是对特征进行2倍尺度因子的上采样，而上采样模块使用高效的Pixel Shuffle方法^[14]进行上采样计算，先由两个卷积层生成通道数为4×n_f的特征，再通过将不同通道特征中的相同空间位置像素进行嵌入排列得到通道数为n_f的上采样特征，其示意图如图 3所示。

图 3 Pixel Shuffle和逆Pixel Shuffle方法示意图

Figure 3. Schematic diagram of Pixel Shuffle and inverse Pixel Shuffle method

下载: 全尺寸图片幻灯片

特征分频单元是编码器和解码器进行特征推理计算的核心组成部分，主要包括离散小波变换（DWT）、逆离散小波变换（IDWT）以及卷积层和残差块级联组成的推理层。根据二维Haar小波变换可知，输入特征X被分解为低频特征X_L、水平方向高频特征X_H、垂直方向高频特征X_V和对角方向高频特征X_D，对应的滤波器为：

$$ {\mathit{\boldsymbol{K}}_{\rm L}} = \left[ {\begin{array}{*{20}{c}} 1&1 \\ 1&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm H}} = \left[ {\begin{array}{*{20}{c}} { - 1}&1 \\ { - 1}&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm V}} = \left[ {\begin{array}{*{20}{c}} { - 1}&{ - 1} \\ 1&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm D}} = \left[ {\begin{array}{*{20}{c}} 1&{ - 1} \\ { - 1}&1 \end{array}} \right] $$

则各小波分量可表示为：

$$ \mathit{\boldsymbol{X}}_{\rm L}＝\mathit{\boldsymbol{X}}*K_{\rm L}, \mathit{\boldsymbol{X}}_{\rm H}＝\mathit{\boldsymbol{X}}*K_{\rm H}, \mathit{\boldsymbol{X}}_{\rm V}＝\mathit{\boldsymbol{X}}*K_{\rm V}, \mathit{\boldsymbol{X}}_{\rm D}＝\mathit{\boldsymbol{X}}*K_{\rm D} $$

(1)

式中：*表示卷积计算。由公式(1)可知，X_L，X_H，X_V和X_D中在(i, j)位置的响应值为：

$$ \begin{array}{*{20}{c}} {{x_{\rm L}}(i,j) = x(2i,2j) + x(2i + 1,2j) + x(2i,2j + 1) + x(2i + 1,2j + 1)} \\ {{x_{\rm H}}(i,j) = x(2i,2j + 1) + x(2i + 1,2j + 1) - x(2i,2j) - x(2i + 1,2j)} \\ {{x_{\rm V}}(i,j) = x(2i + 1,2j) - x(2i,2j) + x(2i + 1,2j + 1) - x(2i,2j + 1)} \\ {{x_{\rm D}}(i,j) = x(2i,2j) - x(2i + 1,2j) - x(2i,2j + 1) + x(2i + 1,2j + 1)} \end{array} $$

(2)

式中：x(2i, 2j)表示X在(2i, 2j)位置的响应值，且0≤2i＜h，0≤2j＜w（h和w为X的高和宽）。根据公式(2)，X_L，X_H，X_V和X_D可进一步表示为：

$$ \left\{ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm L}} = {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm b}} + {\mathit{\boldsymbol{X}}_{\rm c}} + {\mathit{\boldsymbol{X}}_{\rm d}}} \\ {{\mathit{\boldsymbol{X}}_{\rm H}} = {\mathit{\boldsymbol{X}}_{\rm b}} - {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm d}} - {\mathit{\boldsymbol{X}}_{\rm c}}} \\ {{\mathit{\boldsymbol{X}}_{\rm V}} = {\mathit{\boldsymbol{X}}_{\rm c}} - {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm d}} - {\mathit{\boldsymbol{X}}_{_{\rm b}}}} \\ {{\mathit{\boldsymbol{X}}_{\rm D}} = {\mathit{\boldsymbol{X}}_{\rm a}} - {\mathit{\boldsymbol{X}}_{\rm b}} - {\mathit{\boldsymbol{X}}_{\rm c}} + {\mathit{\boldsymbol{X}}_{\rm d}}} \end{array}} \right. $$

(3)

式中：X_a是对X中的偶数行和偶数列进行采样得到；X_b是对X的偶数行和奇数列采样得到；X_c是对X的奇数行和偶数列采样得到；X_d是对X的奇数行和奇数列采样得到。X_a、X_b、X_c和X_d的具体采样操作如图 3所示，该采样方法与Pixel Shuffle上采样方法相反，因此可以采用逆Pixel Shuffle方法对X进行采样，并将采样结果分解为X_a、X_b、X_c和X_d，计算公式可表示为：

$$ {\left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm a}}}&{{\mathit{\boldsymbol{X}}_{\rm b}}}&{{\mathit{\boldsymbol{X}}_{\rm c}}}&{{\mathit{\boldsymbol{X}}_{\rm d}}} \end{array}} \right]^\rm T} = {f_{\rm USP}}(X) $$

(4)

式中：f_UPS(⋅)表示逆Pixel Shuffle方法。

通过公式(3)和(4)可计算得X_L，X_H，X_V和X_D。接着，将X_L，X_H，X_V和X_D通过特征分频单元的推理层进一步进行特征卷积计算。该推理层由两个卷积层和若干个残差块组成，如图 2所示，其公式可表示为：

$$ \mathit{\boldsymbol{X}}_{\rm L}′＝f_{\rm L}(\mathit{\boldsymbol{X}}_{\rm L}), \mathit{\boldsymbol{X}}_{\rm H}′＝f_{\rm H}(\mathit{\boldsymbol{X}}_{\rm H}), \mathit{\boldsymbol{X}}_{\rm V}′＝f_{\rm V}(\mathit{\boldsymbol{X}}_{\rm V}), \mathit{\boldsymbol{X}}_{\rm D}′＝f_{\rm D}(\mathit{\boldsymbol{X}}_{\rm D}) $$

(5)

式中：f_L(⋅)，f_H(⋅)，f_V(⋅)和f_D(⋅)分别为X_L，X_H，X_V和X_D对应推理层的卷积计算。由于X_H，X_V和X_D为仅含有纹理细节特征的高频分量，信息量较少，因此它们的推理层采用1个残差块。而X_L含有照度、颜色和大量低频结构的信息，信息量较大，因此其推理层采用32个残差块。最后X_L′，X_H′，X_V′和X_D′通过IDWT进行重建。根据公式(3)和(4)可知，IDWT可表示为：

$$ \mathit{\boldsymbol{X}}' = {f_{\rm PS}}({\mathit{\boldsymbol{X}}_{\rm a}}',{\mathit{\boldsymbol{X}}_{\rm b}}',{\mathit{\boldsymbol{X}}_{\rm c}}',{\mathit{\boldsymbol{X}}_{\rm d}}') $$

(6)

式中：f_PS(⋅)表示Pixel Shuffle方法，X_a′、X_b′、X_c′和X_d′为：

$$ \left\{ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm a}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' - {\mathit{\boldsymbol{X}}_{\rm H}}' - {\mathit{\boldsymbol{X}}_{\rm V}}' + {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm b}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' + {\mathit{\boldsymbol{X}}_{\rm H}}' - {\mathit{\boldsymbol{X}}_{\rm V}}' - {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm c}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' - {\mathit{\boldsymbol{X}}_{\rm H}}' + {\mathit{\boldsymbol{X}}_{\rm V}}' - {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm d}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' + {\mathit{\boldsymbol{X}}_{\rm H}}' + {\mathit{\boldsymbol{X}}_{\rm V}}' + {\mathit{\boldsymbol{X}}_{\rm D}}')} \end{array}} \right. $$

(7)

特征分频推理单元引入小波变换将输入特征分解为低频分量和不同方向的高频分量。低频分量包括图像的照度特征、颜色信息等低频信息，而高频分量则只含有输入特征的边缘纹理信息。高频信息与低频信息的分离减少了显著变化的低频照度特征对变化不明显的高频纹理特征的干扰，使网络在进行学习时能够更好地感知图像的纹理细节特征，从而提高增强图像中纹理细节的清晰度。同时，被分离的低频信息减少了对高频纹理信息的特征表示，从而优化照度和颜色等低频信息的映射关系，提高增强图像照度和颜色信息的视觉效果。

1.2 多尺度感知损失函数

在图像超分辨率重建中，大尺度因子的图像超分辨率任务可通过若干个小尺度因子的图像超分辨率任务级联完成，并且其效果优于大尺度因子的图像超分辨率^[15]。基于此，本文提出一种多尺度感知损失函数，分别对不同尺度的增强图像进行约束，从而实现对增强图像从低频信息到高频信息的逐级重建。此外，低分辨率图像移除了部分高频信息，不仅有效抑制噪声，并且简化亮度和颜色等低频信息的映射关系，从而加快网络的收敛。

多尺度感知损失L_t由3个尺度图像的损失组成：L_×1、L_×2和L_×4，其中每个尺度图像的损失是L1损失、结构损失和内容损失的加权和，L_t的示意图如图 4所示。

图 4 多尺度感知损失示意图

Figure 4. Schematic diagram of multi-scale perceived loss

下载: 全尺寸图片幻灯片

如图 4所示，I_E×1、I_E×2和I_E×4为小波U型网络生成的3种不同分辨率的图像，I_R×1、I_R×2和I_R×4分别为高光照参考图像及其2倍和4倍下采样图像，L_×1、L_×2和L_×4则分别表示这3种不同尺度下所计算的小波U型网络损失。通常，高分辨率图像相比于其低分辨率图像含有更多高频纹理信息，而颜色、照度等低频信息则基本相同，因此高分辨率图像可表示：

$$ \left\{ {\begin{array}{*{20}{c}} {{I_{R \times 2}} = {I_{R \times 4}} + {\mathit{\mathit{\vartriangle}} _{R \times 2}}} \\ {{I_{E \times 2}} = {I_{E \times 4}} + {\mathit{\vartriangle} _{E \times 2}}} \end{array}} \right. $$

(8)

式中：Δ_R×2和Δ_E×2分别表示I_R×2和I_E×2相对于I_R×4和I_E×4所多余的高频信息。根据公式(8)，L_×2可表示为：

$$ \left\{ \begin{array}{l} {L_{ \times 2}} = s\left({{I_{R \times 2}},{I_{E \times 2}}} \right) \hfill \\ \quad \;\, = s\left({{I_{R \times 4}},{I_{E \times 4}}} \right) + s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) \hfill \\ \quad \;\, = {L_{ \times 4}} + s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) \hfill \\ \end{array} \right. $$

(9)

式中：s(⋅)表示计算两张图像的距离。同理：

$$ {L_{ \times 1}} = s\left({{I_{{\rm R} \times 4}},{I_{{\rm E} \times 4}}} \right) + s\left({{\mathit{\vartriangle} _{{\rm R} \times 2}},{\mathit{\vartriangle} _{{\rm E} \times 2}}} \right) + s\left({{\mathit{\vartriangle} _{{\rm R} \times 1}},{\mathit{\vartriangle} _{{\rm E} \times 1}}} \right) $$

(10)

式中：Δ_R×1和Δ_E×1表示I_R×1和I_E×1相对于I_R×2和I_E×2所多余的高频信息。

由公式(9)和(10)可知，大尺度图像的损失函数对网络学习的约束比小尺度图像的损失函数更严格。但是，直接采用大尺度图像的损失函数会导致高频噪声干扰网络学习对纹理的感知能力，并且高维度的图像特征间含有较多弱相关性的冗余信息，导致网络收敛困难。因此，本文以照度增强和纹理重建的优先级顺序设计多尺度损失函数L_t：

$$ \left\{ \begin{array}{l} {L_{\rm t}} = \frac{{\left({{L_{ \times 1}} + {L_{ \times 2}} + {L_{ \times 4}}} \right)}}{3} \hfill \\ \quad = {L_{ \times 4}} + \frac{2}{3}s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) + \frac{1}{3}s\left({{\mathit{\vartriangle} _{R \times 1}},{\mathit{\vartriangle} _{E \times 1}}} \right) \hfill \\ \end{array} \right. $$

(11)

根据公式(11)可知，L_×4具有最高权重，表示L_t对低频信息的感知最强，从而驱动网络模型优先学习图像低频信息的重建，即图像照度增强，并避免了高频噪声的干扰。其次，$ \frac{2}{3}s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) $和$ \frac{1}{3}s\left({{\mathit{\vartriangle} _{R \times 1}},{\mathit{\vartriangle} _{E \times 1}}} \right) $项则表示网络模型对图像纹理信息逐级重建，而文献[15]则证明了小尺度逐级重建高频纹理的方式优于大尺度直接重建的方式。

此外，s(I_E, I_R)表示为：

$$ \left\{ \begin{array}{l} s\left({{I_{\rm E}},{I_{\rm R}}} \right) = {l_{\rm L1}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + 0.5{l_{\rm St}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + 0.2{l_{\rm Co}}\left({{I_{\rm E}},{I_{\rm R}}} \right) \hfill \\ \quad \quad \quad \;\;\, = {l_{\rm L1}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + {l_{\rm L1}}\left({\nabla {I_{\rm E}},\nabla {I_{\rm R}}} \right) + {l_{\rm Co}}\left({{I_{\rm E}},{I_{\rm R}}} \right) \hfill \\ \end{array} \right. $$

(12)

式中：I_E和I_R表示增强图像和高光照参考图像；∇表示计算梯度图；$ {l_{L1}}(\cdot ) $表示L1损失；$ {l_{Co}}(\cdot ) $表示内容损失，此处采用文献[16]中的内容损失函数，而结构损失l_St(⋅)表示计算两张图像梯度图的L1损失。

2. 实验与分析

2.1 实验配置

实验平台为搭载Intel Core i7-7800X CPU，32 G内存，GTX 1080Ti显卡和Windows 7系统的计算机，实验主要使用MATLAB R2014a仿真软件以及Tensorflow 1.10和Pytorch 1.1深度学习框架。为了学习低光照图像增强的特征映射关系，采用低光照数据集（low-light dataset，LOL）^[12]作为训练集，其中包括485对低光照和相应的高光照图像用于网络的训练，15对极低光照和正常光照的室内图像用于网络的测试。此外，测试数据集还包括低光照图像增强数据集（low-light image enhancement，LIME）^[9]、自然保护增强算法数据集（naturalness preserved enhancement，NPE）^[7]、多曝光融合算法数据集（multi-exposure fusion，MEF）^[17]、商业相机数字图像（digital images of commercial measures，DICM）^[18]和来自Vassilios Vonikakis的多曝光数据集（VV），它们共计101张低光照图像，分别存在室内灯光、户外遮挡光照、阴雨天、日落和夜晚等原因所导致的低光照问题。峰值信噪比（peak signal to noise ratio，PSNR）、结构相似度（structural similarity，SSIM）和亮度顺序误差（lightness order error，LOE）^[19]和自然图像质量评价（natural image quality evaluator，NIQE）^[20]图像质量评价方法被用于增强图像的客观评价，其中PSNR、SSIM、LOE为全参考评价方法，NIQE为无参考评价方法。并且，所评价图像的质量越好，PSNR和SSIM的数值则越大，而LOE和NIQE的数值则越小。

2.2 客观评价的比较和分析

为了验证本文算法的性能，本文分别采用BPDHE^[4]、LIME^[9]、MF^[21]、Retinexnet^[12]、BIMEF^[22]和KinD^[23]作为对比低光照增强方法，其中BPDHE为基于直方图均衡的方法，LIME、MF为基于Retinex的方法，BIMEF方法在Retinex基础上引入相机模型，Retinexnet和KinD为基于深度学习的方法。6种对比方法和本文方法在LOL数据集上的客观评价结果如表 1所示，Low表示原始低光照图像的评价结果。

表 1 不同低光照增强算法在LOL数据集上的结果

Table 1. Results of different low light enhancement algorithms on LOL dataset

Metrics	Low	BPDHE	LIME	MF	Retinexnet	BIMEF	KinD	Ours
PSNR	7.8666	11.8748	16.9332	16.9332	16.9816	13.9722	20.5955	24.5499
SSIM	0.1259	0.3415	0.5644	0.6048	0.5594	0.5771	0.8045	0.8913
LOE	1417.1	1772.8	3207.6	1721.2	4244.1	1553.3	1795.3	1267.1
NIQE	6.7483	7.9852	8.3777	8.8855	8.8779	7.5029	5.3561	5.4289

下载: 导出CSV

| 显示表格

根据表 1可知，本文方法在全参考图像质量评价PSNR、SSIM和LOE上取的结果最优，且相对其他方法提高显著，说明增强图像更接近正常光照图像，图像纹理保持较好，图像亮度与参考图像亮度间的相似性也有所提高。而在无参考图像质量评价指标NIQE上也取得次优结果，且与最优方法KinD的结果非常接近，说明增强图像引入较少噪声，亮度和颜色的自然度较好。而基于直方图均衡的方法BPDHE取得较差的PSNR和SSIM结果，但LOE和NIQE评价结果整体优于基于Retinex的方法LIME和MF，因此BPDHE虽然丢失了大量的图像纹理细节，但图像亮度有所增强且颜色保持较好。基于Retinex的方法LIME和MF相对BPDHE在PSNR和SSIM评价上取得显著提高，增强图像纹理结构信息保持较好，但图像色彩和亮度的失真以及噪声的引入导致LOE和NIQE评价较差，而BIMEF性能相比于基于直方图均衡的方法和基于Retinex的方法取得较折中的性能。针对基于深度学习的方法Retinexnet和KinD，Retinexnet虽然使用深度卷积网络实现低光照图像增强，但性能与基于Retinex的方法不相上下，KinD方法则在PSNR、SSIM和NIQE评价上取得显著提高，说明图像纹理保持较好且图像色彩和亮度的自然度也有所提高，整体图像增强性能提高。

为了更直观和详细地比较这些方法对于单张图像的增强效果，LOL中15张图像的PSNR、SSIM、LOE和NIQE评价结果如图 5所示。从图中可以看到，大部分图像取得最佳PSNR和SSIM评价，说明增强图像在全局像素和纹理增强方面提高显著；而LOE评价也说明大部分增强图像的亮度信息在一定程度上也得到改善；在NIQE评价方面，本文方法则与KinD方法不相上下，并且它们显著优于其他方法。此外，一些图像虽然在部分评价上表现较差（如第4、7和8张图像），但在其他评价指标上则表现较好，因此这些图像质量在整体上也获得提高。

图 5 LOL数据集的单张图像客观评价结果

Figure 5. Objective evaluation results of single image in LOL dataset

下载: 全尺寸图片幻灯片

为了进一步验证所提方法的有效性，在VV、LIME、NPE、MEF和DICM数据集上进行测试和比较，并计算各对比方法的NIQE评价指标，结果如图 6所示。

图 6 不同方法在多个数据集上的图像增强结果

Figure 6. Image enhancement results of different methods on multiple datasets

下载: 全尺寸图片幻灯片

根据图 6可知，本文方法在LIME、NPE和MEF数据集上取得最佳评价，并且在VV和DICM数据集上也取的具有竞争力的评价结果。因此本文方法能够有效增强低光照图像，生成的增强图像具有较好的自然度和清晰度，噪声相对较少。

2.3 主观评价的比较和分析

考虑到NIQE评价指标偏向于对图像自然度、清晰度和噪声情况的评价，并易受图像照度影响而产生误差，因此实验提供部分增强图像的可视化结果，从而更直观地比较各对比方法的性能，可视化结果如图 7~ 图 9所示。从图中可以看到，BPDHE方法亮度增强效果并不明显，甚至出现局部过亮现象，如图 7增强结果中背景墙；LIME方法的图像增强效果比较明显，但色彩过于饱和导致图像自然度下降，如图 8中衣服的红色和人脸的肤色；MF一定程度上缓解了色彩过于饱和的问题，但整体亮度有所下降，如图 7的背景墙、图 8的前景物体和背景湖面；Retinexnet不仅加剧了色彩过度饱和问题，还产生大量噪声，如图 8色彩过度饱和及图 9中引入大量噪声；BIMEF相对于MF方法增强图像的亮度进一步下降，但噪声的显著性有所降低。而KinD方法在图像亮度增强和噪声抑制方面表现都比较好，但色彩饱和度偏低且亮度有些偏暗，如图 7中白色墙壁和红色衣服的色彩饱和度偏低，图 8和图 9整体亮度偏暗。本文方法不仅抑制了颜色过饱和的问题，并且在保证纹理信息的同时有效提高了图像亮度，如图 7的红色衣服和白色墙壁、图 8的肤色和全局亮度以及图 9的夜空和全局亮度，这些增强图像相对其他方法的结果具有更佳的视觉效果。