Classification and Recognition Algorithm for Long-wave Infrared Targets Based on Support Vector Machine
-
摘要: 红外图像的分辨率低和色彩单一，但由于红外设备的全天候工作特点，因而在某些场景具有重要作用。本文采用一种基于支持向量机（support vector machine, SVM）的长波红外目标图像分类识别的算法，在一幅图像中，将算法提取的边缘特征和纹理特征作为目标的识别特征，输入到支持向量机，最后输出目标的类别。在实验中，设计方向梯度直方图+灰度共生矩阵+支持向量机的组合算法模型，采集8种人物目标场景图像进行训练和测试，实验结果显示：相同或者不相同人物目标，穿着不同服饰，算法模型的分类识别正确率较高。因此，在安防监控、工业检测、军事目标识别等运用领域，此组合算法模型可以满足需要，在红外目标识别领域具有一定的优越性。Abstract: Infrared images have a low resolution and a single color, but they play an important role in some scenes because they can be used under all weather conditions. This study adopts a support vector machine algorithm for long-wave infrared target image classification and recognition. The algorithm extracts edge and texture features, which are used as the recognition features of the target, and forwards them to a support vector machine. Then, the target category is output for infrared target recognition. Several models, such as the histogram of oriented gradient, gray level co-occurrence matrix, and support vector machine, are combined to collect images of eight types of target scenes for training and testing. The experimental results show that the algorithm can classify the same target person wearing different clothes with high accuracy and that it has a good classification effect on different target characters. Therefore, under certain scene conditions, this combined algorithm model can meet the needs and has certain advantages in the field of target recognition.
-
0. 引言
通常，成像系统为了提高低光照场景的图像照度需要延长曝光时间，这不仅需要保证成像系统的平稳性，还降低了图像采集的实时性，并且含有较多的噪声。实时采集低光照环境的图像存在照度偏暗、部分内容难以辨识等问题（该类图像通常被称为低光照图像），甚至极低光照环境的图像照度非常低，以至于图像全局内容难以依靠人眼视觉进行分辨，并且存在严重噪声（该类图像通常被称为极低光照图像）。而低光照图像增强算法[1-3]可以通过图像后期处理提高图像亮度，降低硬件设备升级成本，具有较好的应用价值
当前，低光照图像增强主要包括基于直方图均衡化的方法、基于Retinex的方法和基于深度学习的方法[1]。基于直方图均衡化的方法通过调整不同灰度值的像素来达到图像直方图分布均匀，并将这种映射关系作为图像增强函数。例如，Ibrahim等人[4]提出亮度保持的动态直方图均衡化，根据局部最大值为不同分区的直方图分配新的动态范围，再分别进行直方图均衡化。但是，该方法引入大量噪声，并且非低光照区域出现亮度饱和现象。基于Retinex的方法假设图像是由受光照影响的照度分量和依赖于物质属性的反射分量所合成，从而将低光照图像增强转化为其反射分量的计算，如单尺度Retinex[5]和多尺度Retinex[6]。但是该类方法容易丢失纹理细节信息，生成的图像照度存在失真甚至过曝光。虽然文献[7-9]通过改进照度分量的约束提高了光照的自然度，但色彩失真和噪声问题仍然比较显著。基于深度学习的方法依赖于先验数据信息，通过大量的先验图像数据集对构建的学习模型进行训练，学习低光照到正常光照的映射关系。Lore等人[10]搭建了深度卷积网络进行图像对比度增强和去噪。而后，Shen等人[11]结合多尺度Retinex方法提出多尺度Retinex网络，通过多尺度对数变换和卷积差分直接学习低光照与高光照图像间的映射。Wei等人[12]提出了Retinex卷积网络，利用卷积网络模拟反射分量和照度分量的分解。基于深度学习的方法能够生成亮度自然和色彩保真度高的图像，并且具有较好的去噪效果。但是，现有方法将低频光照映射和高频噪声去除进行同步学习，导致图像纹理细节丢失严重。并且，低光照图像和正常光照图像存在显著差异，其高分辨率特征间的相关性较小，造成网络训练收敛较慢和波动较大，最终影响低光照图像增强的质量。
为了提高低光照图像增强质量，本文提出一种基于多尺度小波U型网络的低光照图像增强方法。考虑到低光照图像含有大量噪声，本文构建了一种小波U型网络，引入离散小波变换构建特征分频单元，分离低频照度特征和高频纹理特征，增强网络对低频照度特征和高频纹理信息的感知，有效抑制噪声和增强纹理细节。此外，构建多尺度感知损失函数，通过约束不同尺度图像的损失增强低光照和高光照图像间特征的相关性，指导网络从低频的照度和色彩信息到高频的纹理信息的逐级重建，加快和优化小波U型网络的收敛。
1. 多尺度小波U型网络
本文提出一种基于多尺度小波U型网络用于低光照图像增强，其网络架构与图像处理流程如图 1所示。该网络包括多级编码器（Enc）、解码器（Dec）和图像重建层（image reconstruction, image-Rec）。编码器由下采样单元（down-sampling, Dw-S）、特征分频单元（frequency decomposition of features, FDF）和特征融合单元（feature fusion, F-Fs）组成，而解码器由特征注意力融合单元（attention fusion, A-Fs）、特征分频单元和上采样模块（Up-Sampling, Up-S）组成。小波U型网络采用多尺度感知损失函数（Multi-scale perceived loss）约束训练过程，分别对U型网络中不同尺度的增强图像计算其损失值，包括L1损失、结构损失和内容损失。
输入图像先经过多级编码器进行编码，每级编码器分别对上一级的输出特征进行特征下采样、特征分频推理和特征融合；然后通过多级解码器进行解码，特征注意力融合单元采用通道注意力机制将同级编码器和前级解码器的输出特征进行融合，再依次进行特征分频推理和上采样重建高分辨率信息；最后利用由两个卷积层（Conv）级联而成的图像重建层将解码器的输出特征重建为RGB图像。
1.1 基于特征分频的编码器和解码器
由于低光照图像含有大量噪声，因此图像去噪是低光照图像增强任务面临的重要问题之一。常见的基于深度学习的低光照图像增强方法对亮度增强和去噪并不加以区分，直接通过深度卷积网络学习低光照图像和参考图像间的映射关系[10-11]。但是，噪声作为一种高频信息则会干扰图像高频纹理细节的保持，导致去噪的同时丢失了大量纹理信息。而小波变换能够分解图像高频信息和低频信息，被广泛应用于图像去噪。因此，本文提出一种基于小波变换的特征分频推理单元，并联合下采样、特征融合、注意力融合和上采样模块组成基于特征分频的编码器和解码器，具体结构如图 2所示。
![]()
图 2 基于特征分频的编码器（左）和解码器（右）Figure 2. Encoder (left) and decoder (right) based on frequency decomposition of features如图 2所示，下采样层由一个卷积核为3×3、步长为2的卷积层（Conv 3×3, s＝2）和两个残差块（ResB）组成，它对编码器的输入信息进行下采样；而解码器的输入为上一级解码器的输出特征和同级编码器的输出特征，它们具有不同的感受野且对图像增强的贡献并不相同，因此注意力融合单元采用通道注意力融合方法[13]对这些特征进行自适应加权融合。在通道注意力融合方法中，均值池化层×（Avg Pool）、2个卷积核为1×1的卷积层、ReLU激活层和Sigmoid层级联生成各特征通道的权值，这些权值与各通道特征相乘得到通道注意力特征，从而提高较大贡献的特征响应。编码器的尾端是由两个卷积层组成的特征融合层，对特征分频的高频信息和低频信息进行融合；解码器的尾端是对特征进行2倍尺度因子的上采样，而上采样模块使用高效的Pixel Shuffle方法[14]进行上采样计算，先由两个卷积层生成通道数为4×nf的特征，再通过将不同通道特征中的相同空间位置像素进行嵌入排列得到通道数为nf的上采样特征，其示意图如图 3所示。
![]()
图 3 Pixel Shuffle和逆Pixel Shuffle方法示意图Figure 3. Schematic diagram of Pixel Shuffle and inverse Pixel Shuffle method特征分频单元是编码器和解码器进行特征推理计算的核心组成部分，主要包括离散小波变换（DWT）、逆离散小波变换（IDWT）以及卷积层和残差块级联组成的推理层。根据二维Haar小波变换可知，输入特征X被分解为低频特征XL、水平方向高频特征XH、垂直方向高频特征XV和对角方向高频特征XD，对应的滤波器为：
$$ {\mathit{\boldsymbol{K}}_{\rm L}} = \left[ {\begin{array}{*{20}{c}} 1&1 \\ 1&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm H}} = \left[ {\begin{array}{*{20}{c}} { - 1}&1 \\ { - 1}&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm V}} = \left[ {\begin{array}{*{20}{c}} { - 1}&{ - 1} \\ 1&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm D}} = \left[ {\begin{array}{*{20}{c}} 1&{ - 1} \\ { - 1}&1 \end{array}} \right] $$ 则各小波分量可表示为：
$$ \mathit{\boldsymbol{X}}_{\rm L}＝\mathit{\boldsymbol{X}}*K_{\rm L}, \mathit{\boldsymbol{X}}_{\rm H}＝\mathit{\boldsymbol{X}}*K_{\rm H}, \mathit{\boldsymbol{X}}_{\rm V}＝\mathit{\boldsymbol{X}}*K_{\rm V}, \mathit{\boldsymbol{X}}_{\rm D}＝\mathit{\boldsymbol{X}}*K_{\rm D} $$ (1) 式中：*表示卷积计算。由公式(1)可知，XL，XH，XV和XD中在(i, j)位置的响应值为：
$$ \begin{array}{*{20}{c}} {{x_{\rm L}}(i,j) = x(2i,2j) + x(2i + 1,2j) + x(2i,2j + 1) + x(2i + 1,2j + 1)} \\ {{x_{\rm H}}(i,j) = x(2i,2j + 1) + x(2i + 1,2j + 1) - x(2i,2j) - x(2i + 1,2j)} \\ {{x_{\rm V}}(i,j) = x(2i + 1,2j) - x(2i,2j) + x(2i + 1,2j + 1) - x(2i,2j + 1)} \\ {{x_{\rm D}}(i,j) = x(2i,2j) - x(2i + 1,2j) - x(2i,2j + 1) + x(2i + 1,2j + 1)} \end{array} $$ (2) 式中：x(2i, 2j)表示X在(2i, 2j)位置的响应值，且0≤2i＜h，0≤2j＜w（h和w为X的高和宽）。根据公式(2)，XL，XH，XV和XD可进一步表示为：
$$ \left\{ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm L}} = {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm b}} + {\mathit{\boldsymbol{X}}_{\rm c}} + {\mathit{\boldsymbol{X}}_{\rm d}}} \\ {{\mathit{\boldsymbol{X}}_{\rm H}} = {\mathit{\boldsymbol{X}}_{\rm b}} - {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm d}} - {\mathit{\boldsymbol{X}}_{\rm c}}} \\ {{\mathit{\boldsymbol{X}}_{\rm V}} = {\mathit{\boldsymbol{X}}_{\rm c}} - {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm d}} - {\mathit{\boldsymbol{X}}_{_{\rm b}}}} \\ {{\mathit{\boldsymbol{X}}_{\rm D}} = {\mathit{\boldsymbol{X}}_{\rm a}} - {\mathit{\boldsymbol{X}}_{\rm b}} - {\mathit{\boldsymbol{X}}_{\rm c}} + {\mathit{\boldsymbol{X}}_{\rm d}}} \end{array}} \right. $$ (3) 式中：Xa是对X中的偶数行和偶数列进行采样得到；Xb是对X的偶数行和奇数列采样得到；Xc是对X的奇数行和偶数列采样得到；Xd是对X的奇数行和奇数列采样得到。Xa、Xb、Xc和Xd的具体采样操作如图 3所示，该采样方法与Pixel Shuffle上采样方法相反，因此可以采用逆Pixel Shuffle方法对X进行采样，并将采样结果分解为Xa、Xb、Xc和Xd，计算公式可表示为：
$$ {\left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm a}}}&{{\mathit{\boldsymbol{X}}_{\rm b}}}&{{\mathit{\boldsymbol{X}}_{\rm c}}}&{{\mathit{\boldsymbol{X}}_{\rm d}}} \end{array}} \right]^\rm T} = {f_{\rm USP}}(X) $$ (4) 式中：fUPS(⋅)表示逆Pixel Shuffle方法。
通过公式(3)和(4)可计算得XL，XH，XV和XD。接着，将XL，XH，XV和XD通过特征分频单元的推理层进一步进行特征卷积计算。该推理层由两个卷积层和若干个残差块组成，如图 2所示，其公式可表示为：
$$ \mathit{\boldsymbol{X}}_{\rm L}′＝f_{\rm L}(\mathit{\boldsymbol{X}}_{\rm L}), \mathit{\boldsymbol{X}}_{\rm H}′＝f_{\rm H}(\mathit{\boldsymbol{X}}_{\rm H}), \mathit{\boldsymbol{X}}_{\rm V}′＝f_{\rm V}(\mathit{\boldsymbol{X}}_{\rm V}), \mathit{\boldsymbol{X}}_{\rm D}′＝f_{\rm D}(\mathit{\boldsymbol{X}}_{\rm D}) $$ (5) 式中：fL(⋅)，fH(⋅)，fV(⋅)和fD(⋅)分别为XL，XH，XV和XD对应推理层的卷积计算。由于XH，XV和XD为仅含有纹理细节特征的高频分量，信息量较少，因此它们的推理层采用1个残差块。而XL含有照度、颜色和大量低频结构的信息，信息量较大，因此其推理层采用32个残差块。最后XL′，XH′，XV′和XD′通过IDWT进行重建。根据公式(3)和(4)可知，IDWT可表示为：
$$ \mathit{\boldsymbol{X}}' = {f_{\rm PS}}({\mathit{\boldsymbol{X}}_{\rm a}}',{\mathit{\boldsymbol{X}}_{\rm b}}',{\mathit{\boldsymbol{X}}_{\rm c}}',{\mathit{\boldsymbol{X}}_{\rm d}}') $$ (6) 式中：fPS(⋅)表示Pixel Shuffle方法，Xa′、Xb′、Xc′和Xd′为：
$$ \left\{ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm a}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' - {\mathit{\boldsymbol{X}}_{\rm H}}' - {\mathit{\boldsymbol{X}}_{\rm V}}' + {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm b}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' + {\mathit{\boldsymbol{X}}_{\rm H}}' - {\mathit{\boldsymbol{X}}_{\rm V}}' - {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm c}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' - {\mathit{\boldsymbol{X}}_{\rm H}}' + {\mathit{\boldsymbol{X}}_{\rm V}}' - {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm d}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' + {\mathit{\boldsymbol{X}}_{\rm H}}' + {\mathit{\boldsymbol{X}}_{\rm V}}' + {\mathit{\boldsymbol{X}}_{\rm D}}')} \end{array}} \right. $$ (7) 特征分频推理单元引入小波变换将输入特征分解为低频分量和不同方向的高频分量。低频分量包括图像的照度特征、颜色信息等低频信息，而高频分量则只含有输入特征的边缘纹理信息。高频信息与低频信息的分离减少了显著变化的低频照度特征对变化不明显的高频纹理特征的干扰，使网络在进行学习时能够更好地感知图像的纹理细节特征，从而提高增强图像中纹理细节的清晰度。同时，被分离的低频信息减少了对高频纹理信息的特征表示，从而优化照度和颜色等低频信息的映射关系，提高增强图像照度和颜色信息的视觉效果。
1.2 多尺度感知损失函数
在图像超分辨率重建中，大尺度因子的图像超分辨率任务可通过若干个小尺度因子的图像超分辨率任务级联完成，并且其效果优于大尺度因子的图像超分辨率[15]。基于此，本文提出一种多尺度感知损失函数，分别对不同尺度的增强图像进行约束，从而实现对增强图像从低频信息到高频信息的逐级重建。此外，低分辨率图像移除了部分高频信息，不仅有效抑制噪声，并且简化亮度和颜色等低频信息的映射关系，从而加快网络的收敛。
多尺度感知损失Lt由3个尺度图像的损失组成：L×1、L×2和L×4，其中每个尺度图像的损失是L1损失、结构损失和内容损失的加权和，Lt的示意图如图 4所示。
如图 4所示，IE×1、IE×2和IE×4为小波U型网络生成的3种不同分辨率的图像，IR×1、IR×2和IR×4分别为高光照参考图像及其2倍和4倍下采样图像，L×1、L×2和L×4则分别表示这3种不同尺度下所计算的小波U型网络损失。通常，高分辨率图像相比于其低分辨率图像含有更多高频纹理信息，而颜色、照度等低频信息则基本相同，因此高分辨率图像可表示：
$$ \left\{ {\begin{array}{*{20}{c}} {{I_{R \times 2}} = {I_{R \times 4}} + {\mathit{\mathit{\vartriangle}} _{R \times 2}}} \\ {{I_{E \times 2}} = {I_{E \times 4}} + {\mathit{\vartriangle} _{E \times 2}}} \end{array}} \right. $$ (8) 式中：ΔR×2和ΔE×2分别表示IR×2和IE×2相对于IR×4和IE×4所多余的高频信息。根据公式(8)，L×2可表示为：
$$ \left\{ \begin{array}{l} {L_{ \times 2}} = s\left({{I_{R \times 2}},{I_{E \times 2}}} \right) \hfill \\ \quad \;\, = s\left({{I_{R \times 4}},{I_{E \times 4}}} \right) + s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) \hfill \\ \quad \;\, = {L_{ \times 4}} + s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) \hfill \\ \end{array} \right. $$ (9) 式中：s(⋅)表示计算两张图像的距离。同理：
$$ {L_{ \times 1}} = s\left({{I_{{\rm R} \times 4}},{I_{{\rm E} \times 4}}} \right) + s\left({{\mathit{\vartriangle} _{{\rm R} \times 2}},{\mathit{\vartriangle} _{{\rm E} \times 2}}} \right) + s\left({{\mathit{\vartriangle} _{{\rm R} \times 1}},{\mathit{\vartriangle} _{{\rm E} \times 1}}} \right) $$ (10) 式中：ΔR×1和ΔE×1表示IR×1和IE×1相对于IR×2和IE×2所多余的高频信息。
由公式(9)和(10)可知，大尺度图像的损失函数对网络学习的约束比小尺度图像的损失函数更严格。但是，直接采用大尺度图像的损失函数会导致高频噪声干扰网络学习对纹理的感知能力，并且高维度的图像特征间含有较多弱相关性的冗余信息，导致网络收敛困难。因此，本文以照度增强和纹理重建的优先级顺序设计多尺度损失函数Lt：
$$ \left\{ \begin{array}{l} {L_{\rm t}} = \frac{{\left({{L_{ \times 1}} + {L_{ \times 2}} + {L_{ \times 4}}} \right)}}{3} \hfill \\ \quad = {L_{ \times 4}} + \frac{2}{3}s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) + \frac{1}{3}s\left({{\mathit{\vartriangle} _{R \times 1}},{\mathit{\vartriangle} _{E \times 1}}} \right) \hfill \\ \end{array} \right. $$ (11) 根据公式(11)可知，L×4具有最高权重，表示Lt对低频信息的感知最强，从而驱动网络模型优先学习图像低频信息的重建，即图像照度增强，并避免了高频噪声的干扰。其次，$ \frac{2}{3}s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) $和$ \frac{1}{3}s\left({{\mathit{\vartriangle} _{R \times 1}},{\mathit{\vartriangle} _{E \times 1}}} \right) $项则表示网络模型对图像纹理信息逐级重建，而文献[15]则证明了小尺度逐级重建高频纹理的方式优于大尺度直接重建的方式。
此外，s(IE, IR)表示为：
$$ \left\{ \begin{array}{l} s\left({{I_{\rm E}},{I_{\rm R}}} \right) = {l_{\rm L1}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + 0.5{l_{\rm St}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + 0.2{l_{\rm Co}}\left({{I_{\rm E}},{I_{\rm R}}} \right) \hfill \\ \quad \quad \quad \;\;\, = {l_{\rm L1}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + {l_{\rm L1}}\left({\nabla {I_{\rm E}},\nabla {I_{\rm R}}} \right) + {l_{\rm Co}}\left({{I_{\rm E}},{I_{\rm R}}} \right) \hfill \\ \end{array} \right. $$ (12) 式中：IE和IR表示增强图像和高光照参考图像；∇表示计算梯度图；$ {l_{L1}}(\cdot ) $表示L1损失；$ {l_{Co}}(\cdot ) $表示内容损失，此处采用文献[16]中的内容损失函数，而结构损失lSt(⋅)表示计算两张图像梯度图的L1损失。
2. 实验与分析
2.1 实验配置
实验平台为搭载Intel Core i7-7800X CPU，32 G内存，GTX 1080Ti显卡和Windows 7系统的计算机，实验主要使用MATLAB R2014a仿真软件以及Tensorflow 1.10和Pytorch 1.1深度学习框架。为了学习低光照图像增强的特征映射关系，采用低光照数据集（low-light dataset，LOL）[12]作为训练集，其中包括485对低光照和相应的高光照图像用于网络的训练，15对极低光照和正常光照的室内图像用于网络的测试。此外，测试数据集还包括低光照图像增强数据集（low-light image enhancement，LIME）[9]、自然保护增强算法数据集（naturalness preserved enhancement，NPE）[7]、多曝光融合算法数据集（multi-exposure fusion，MEF）[17]、商业相机数字图像（digital images of commercial measures，DICM）[18]和来自Vassilios Vonikakis的多曝光数据集（VV），它们共计101张低光照图像，分别存在室内灯光、户外遮挡光照、阴雨天、日落和夜晚等原因所导致的低光照问题。峰值信噪比（peak signal to noise ratio，PSNR）、结构相似度（structural similarity，SSIM）和亮度顺序误差（lightness order error，LOE）[19]和自然图像质量评价（natural image quality evaluator，NIQE）[20]图像质量评价方法被用于增强图像的客观评价，其中PSNR、SSIM、LOE为全参考评价方法，NIQE为无参考评价方法。并且，所评价图像的质量越好，PSNR和SSIM的数值则越大，而LOE和NIQE的数值则越小。
2.2 客观评价的比较和分析
为了验证本文算法的性能，本文分别采用BPDHE[4]、LIME[9]、MF[21]、Retinexnet[12]、BIMEF[22]和KinD[23]作为对比低光照增强方法，其中BPDHE为基于直方图均衡的方法，LIME、MF为基于Retinex的方法，BIMEF方法在Retinex基础上引入相机模型，Retinexnet和KinD为基于深度学习的方法。6种对比方法和本文方法在LOL数据集上的客观评价结果如表 1所示，Low表示原始低光照图像的评价结果。
表 1 不同低光照增强算法在LOL数据集上的结果Table 1. Results of different low light enhancement algorithms on LOL datasetMetrics Low BPDHE LIME MF Retinexnet BIMEF KinD Ours PSNR 7.8666 11.8748 16.9332 16.9332 16.9816 13.9722 20.5955 24.5499 SSIM 0.1259 0.3415 0.5644 0.6048 0.5594 0.5771 0.8045 0.8913 LOE 1417.1 1772.8 3207.6 1721.2 4244.1 1553.3 1795.3 1267.1 NIQE 6.7483 7.9852 8.3777 8.8855 8.8779 7.5029 5.3561 5.4289 根据表 1可知，本文方法在全参考图像质量评价PSNR、SSIM和LOE上取的结果最优，且相对其他方法提高显著，说明增强图像更接近正常光照图像，图像纹理保持较好，图像亮度与参考图像亮度间的相似性也有所提高。而在无参考图像质量评价指标NIQE上也取得次优结果，且与最优方法KinD的结果非常接近，说明增强图像引入较少噪声，亮度和颜色的自然度较好。而基于直方图均衡的方法BPDHE取得较差的PSNR和SSIM结果，但LOE和NIQE评价结果整体优于基于Retinex的方法LIME和MF，因此BPDHE虽然丢失了大量的图像纹理细节，但图像亮度有所增强且颜色保持较好。基于Retinex的方法LIME和MF相对BPDHE在PSNR和SSIM评价上取得显著提高，增强图像纹理结构信息保持较好，但图像色彩和亮度的失真以及噪声的引入导致LOE和NIQE评价较差，而BIMEF性能相比于基于直方图均衡的方法和基于Retinex的方法取得较折中的性能。针对基于深度学习的方法Retinexnet和KinD，Retinexnet虽然使用深度卷积网络实现低光照图像增强，但性能与基于Retinex的方法不相上下，KinD方法则在PSNR、SSIM和NIQE评价上取得显著提高，说明图像纹理保持较好且图像色彩和亮度的自然度也有所提高，整体图像增强性能提高。
为了更直观和详细地比较这些方法对于单张图像的增强效果，LOL中15张图像的PSNR、SSIM、LOE和NIQE评价结果如图 5所示。从图中可以看到，大部分图像取得最佳PSNR和SSIM评价，说明增强图像在全局像素和纹理增强方面提高显著；而LOE评价也说明大部分增强图像的亮度信息在一定程度上也得到改善；在NIQE评价方面，本文方法则与KinD方法不相上下，并且它们显著优于其他方法。此外，一些图像虽然在部分评价上表现较差（如第4、7和8张图像），但在其他评价指标上则表现较好，因此这些图像质量在整体上也获得提高。
![]()
图 5 LOL数据集的单张图像客观评价结果Figure 5. Objective evaluation results of single image in LOL dataset为了进一步验证所提方法的有效性，在VV、LIME、NPE、MEF和DICM数据集上进行测试和比较，并计算各对比方法的NIQE评价指标，结果如图 6所示。
![]()
图 6 不同方法在多个数据集上的图像增强结果Figure 6. Image enhancement results of different methods on multiple datasets根据图 6可知，本文方法在LIME、NPE和MEF数据集上取得最佳评价，并且在VV和DICM数据集上也取的具有竞争力的评价结果。因此本文方法能够有效增强低光照图像，生成的增强图像具有较好的自然度和清晰度，噪声相对较少。
2.3 主观评价的比较和分析
考虑到NIQE评价指标偏向于对图像自然度、清晰度和噪声情况的评价，并易受图像照度影响而产生误差，因此实验提供部分增强图像的可视化结果，从而更直观地比较各对比方法的性能，可视化结果如图 7~ 图 9所示。从图中可以看到，BPDHE方法亮度增强效果并不明显，甚至出现局部过亮现象，如图 7增强结果中背景墙；LIME方法的图像增强效果比较明显，但色彩过于饱和导致图像自然度下降，如图 8中衣服的红色和人脸的肤色；MF一定程度上缓解了色彩过于饱和的问题，但整体亮度有所下降，如图 7的背景墙、图 8的前景物体和背景湖面；Retinexnet不仅加剧了色彩过度饱和问题，还产生大量噪声，如图 8色彩过度饱和及图 9中引入大量噪声；BIMEF相对于MF方法增强图像的亮度进一步下降，但噪声的显著性有所降低。而KinD方法在图像亮度增强和噪声抑制方面表现都比较好，但色彩饱和度偏低且亮度有些偏暗，如图 7中白色墙壁和红色衣服的色彩饱和度偏低，图 8和图 9整体亮度偏暗。本文方法不仅抑制了颜色过饱和的问题，并且在保证纹理信息的同时有效提高了图像亮度，如图 7的红色衣服和白色墙壁、图 8的肤色和全局亮度以及图 9的夜空和全局亮度，这些增强图像相对其他方法的结果具有更佳的视觉效果。
![]()
图 7 LOL数据集中的146.jpg图像增强结果：(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) OursFigure 7. Enhancement results of "146.jpg" in LOL dataset:(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) Ours![]()
图 8 VV数据集中的P1020044.jpg图像增强结果：(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) OursFigure 8. Enhancement results of "p1020044.jpg" in VV dataset:(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) Ours![]()
图 9 LIME数据集10.bmp图像增强结果：(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) OursFigure 9. Enhancement results of "10.bmp" in LIME dataset:(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) Ours总体来看，在客观评价方面，本文方法能够获得最佳的PSNR、SSIM和LOE评价结果，分别相比于次优结果高约16%、9%和22%，而在多个测试数据集上，本文方法也取得整体上最优的NIQE评价结果。主观评价上，本文方法能够显著提高图像亮度，充分保持图像纹理细节信息，并有效抑制颜色过饱和及噪声问题，图像整体视觉效果最佳。
2.4 消融实验
为了验证特征分频和多尺度感知损失函数的有效性，本文设置编/解码器的推理层可选择为特征分频单元和残差块级联，损失函数设置为单尺度感知L1损失函数和多尺度感知L1损失函数。同时，为了减小训练时间成本，设置网络的特征通道数减半，分频单元中残差块数减半，其它设置与3.2节模型一致。不同组合的网络可分别记为N1、N2、N3和N4，如表 2所示。N1、N2、N3和N4的训练过程如图 10所示，其中图 10(a)为训练过程中损失值的曲线，图 10(b)为每个epoch所训练的网络在LOL数据集上进行测试的PSNR值曲线。N1、N2、N3和N4网络分别在LOL、LIME、NPE、MEF、DICM和VV数据集上进行测试，并计算增强图像的NIQE评价指标，结果如表 3所示。
表 2 不同网络的编/解码器和损失函数的配置Table 2. Configuration of codecs and loss function for different networksCombination Single-scale L1 Multi-scale L1 Cascaded residual blocks FDF N1 √ - √ - N2 √ - - √ N3 - √ √ - N4 - √ - √ ![]()
图 10 四种不同组合配置的网络训练过程Figure 10. Training process of 4 networks with different configurations表 3 不同组合网络的性能比较Table 3. Performance comparison of different combination networksDatasets LOL LIME NPE MEF DICM VV Average N1 6.8072 5.0207 6.4623 6.3248 6.5652 6.1562 6.2227 N2 4.8663 4.3757 5.3071 5.4867 5.0311 4.9305 4.9996 N3 4.8091 4.2395 6.2099 6.6436 6.0698 5.8492 5.6369 N4 4.6112 4.2251 4.9695 5.4682 4.9888 4.7840 4.8411 由图 10可知，在单尺度损失函数下，N2前期收敛速度快于N1，最终收敛结果优于N1，并且N2在验证集LOL上的PSNR值显著高于N1；在多尺度损失函数下，N4的损失函数前期收敛效率和最终收敛结果都优于N3，且N4在验证集LOL上的PSNR值也显著高于N3。同时，根据表 3可知，相比于N1和N3网络，N2和N4网络生成的增强图像在NIQE评价指标方面分别平均下降约1.22和0.80。由此可见，特征分频能够加速网络前期的收敛，优化网络收敛和增强网络的性能。
为了验证多尺度感知损失函数的优越性，分别将单尺度损失函数和多尺度感知损失函数应用于残差块级联和特征分频两种网络的训练过程。由图 10可知，在残差块级联的网络方面，N3在前期的收敛速度快于N1网络，其最终的收敛效果和验证集的PSNR值略优于N1；在特征分频的网络方面，N4网络相比于N2网络在前期训练收敛更快且最终收敛效果和平稳性更好，同时N4在验证集上的PSNR值取得显著提高。此外，根据表 3中LOL、LIME、NPE、MEF、DICM和VV测试数据集的NIQE评价结果可知，N3和N4网络相比于N1和N2网络分别平均下降约0.5859和0.1584。由此可见，多尺度感知损失函数不仅能够加速和优化网络的收敛，还在一定程度上提高了网络性能。
2.5 真实低光照图像增强
为了验证本文方法对于真实图像的有效性，本文采集了6张不同低光照场景的图像，包括夜晚场景、阴雨天、早晨和傍晚场景，并对这6张真实低光照图像进行测试，结果如图 11所示。从图 11中可以看出，低光照图像的照度被明显提高，视觉显著性和视觉效果都获得明显的提升。并且，所提方法对夜晚和阴雨天场景的低光照图像效果更佳，色彩和纹理保持都比较好。而对于早晨或傍晚场景，所提方法能够有效增强暗光区域的照度，且色彩保持较好，而明亮区域会出现轻微的过曝光现象。
![]()
图 11 真实低光照图像增强结果：其中(a)和(b)为夜晚场景，(c)和(d)为阴雨天场景，(e)和(f)为早晨或傍晚场景Figure 11. The results of real low-light image enhancement, where (a) and (b) are night scenes, (c) and (d) are overcast and rainy scenes, and (e) and (f) are morning or evening scenes总体而言，本文方法能够有效增强夜晚、阴雨天、早晨或傍晚等不同场景的低光照图像，提高图像视觉显著性和视觉效果。
3. 结论
针对成像系统对低光照环境图像实时成像结果中存在的照度低和噪声多的特点，本文提出了一种基于多尺度小波U型网络的低光照图像增强方法。该方法采用由多级编码器和解码器组成的U型网络，并引入小波变换构建特征分频单元以用于编码器和解码器的特征推理，从而分离高频纹理信息和低频照度信息，减小高频纹理重建和去噪及低频照度增强的互相干扰。此外，采用多尺度感知损失函数指导小波U型网络进行训练，实现由低频到高频信息的逐级重建。本文方法分别在LOL、LIME、NPE、MEF、DICM和VV数据集上进行测试，实验结果表明，所提方法能够有效增强图像照度，其客观评价指标PSNR、SSIM、LOE和NIQE分别比其他算法的次优结果高16%、9%和22%、24%，主观视觉效果上有效抑制色彩过度饱和、图像噪声和纹理丢失问题。并且，消融实验表明了特征分频和多尺度感知损失函数加速了网络前期收敛，提高了网络收敛效果和性能。
-
![]()
图 8 Class A和Class B的灰度直方图分布
Figure 8. Grayscale histogram distribution of Class A and Class B
表 1 混淆矩阵
Table 1 Confusion matrix
Confusion matrix Predictivevalue Class 1 Class 2 Class 3 …. Class 8 Real value Class 1 T11 F12 F13 … F18 Class 2 F21 T22 F23 … F28 Class 3 F31 F32 T33 … F38 …. … … … … .. Class 8 F81 F82 F83 … T88 
下载: 导出CSV
表 2 图像场景代表意义
Table 2 Image scene representative meaning
Class Representative meaning Class A Target U wears camouflage clothes indoors at night Class B Target U wears ordinary clothes indoors at night Class C Target U wears camouflage clothes outdoors during the day Class D Target U wears camouflage clothes outdoors at night Class E Target V wears ordinary clothes outdoors at night Class F Target W wears ordinary clothes indoors at night Class G Target X wears ordinary clothes outdoors during the day Class H Target Y wears ordinary clothes outdoors during the day
下载: 导出CSV
表 3 模型分类结果
Table 3 Model classification results
Confusion matrix Predictive value Class A Class B Class C Class D Class E Class F Class G Class G Real value Class A 111 0 0 0 0 0 0 0 Class B 1 110 0 0 0 0 0 0 Class C 0 0 43 1 2 0 1 0 Class D 0 0 3 44 0 0 0 0 Class E 0 0 2 2 31 0 0 0 Class F 0 0 1 2 2 16 0 0 Class G 0 0 7 3 6 0 4 0 Class H 0 0 2 2 1 1 0 12
下载: 导出CSV
-
[1] 曹凤杰. 红外图像人脸识别方法研究[D]. 西安: 西安电子科技大学, 2010. CAO Fengjie. Research on Infrared Image Face Recognition Method[D]. Xi'an: Xidian University, 2010.
[2] Der S Z, Chellappa R. Probe-based automatic target recognition in infrared imagery[J]. IEEE Transactions on Image Processing, 1997, 6(1): 92-102. DOI: 10.1109/83.552099
[3] 姜锦锋. 红外图像的目标检测、识别与跟踪技术研究[D]. 西安: 西北工业大学, 2004. JIANG Jinfeng. Research on Target Detection, Recognition and Tracking Technology of Infrared Image[D]. Xi'an: Northwestern Polytechnical University, 2004.
[4] 郭济民. 基于深度神经网络的物体识别方法研究及实现[D]. 成都: 电子科技大学, 2018. GUO Jimin. Research and Implementation of Object Recognition Method Based on Deep Neural Network[D]. Chengdu: University of Electronic Science and Technology, 2018.
[5] Abdulkadir Eryildirim, Ibrahim Onaran. Pulse Doppler radar target recognition using a two-stage SVM procedure[J]. IEEE Transactions on Aerospace and Electronic Systems, 2011, 47(2): 1450-1457. DOI: 10.1109/TAES.2011.5751269
[6] 李小迷. 葡萄糖药液中异物目标视觉检测与识别方法研究[D]. 长沙: 湖南大学, 2010. LI Xiaomi. Research on Visual Inspection and Recognition Method of Foreign Objects in Glucose Liquid[D]. Changsha: Hunan University, 2010.
[7] 王朔琛, 汪西莉, 马君亮. 基于均值漂移的半监督支持向量机图像分类[J]. 计算机应用, 2014, 34(8): 2399-2403. DOI: 10.3969/j.issn.1001-3695.2014.08.038 WANG Shuochen, WANG Xili, MA Junliang. Semi-supervised support vector machine image classification based on mean shift[J]. Journal of Computer Applications, 2014, 34(8): 2399-2403. DOI: 10.3969/j.issn.1001-3695.2014.08.038
[8] 丁方静. 室内监控中移动检测与跟踪算法的改进与实现[D]. 南京: 东南大学, 2017. DING Fangjing. Improvement and Implementation of Moving Detection and Tracking Algorithm in Indoor Monitoring[D]. Nanjing: Southeast University, 2017
[9] 卞海曼. 基于卷积神经网络的行人检测[D]. 合肥: 合肥工业大学, 2017. BIAN Haiman. Pedestrian Detection Based on Convolutional Neural Network[D]. Hefei: Hefei University of Technology, 2017.
[10] Navneet Dalal, Bill Triggs. Histograms of oriented gradients for human detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005.
[11] Minho J, Y Hee Yong, C Hsiao-Hwa. Intelligent RFID tag detection using support vector machine[J]. IEEE Transactions on Wireless Communications, 2009, 8(10): 5050-5059. DOI: 10.1109/TWC.2009.071198
[12] WANG R P, CHEN J, SHAN S G, et al. Enhancing training set for face detection based on SVM[J]. Journal of Software, 2009, 19(11): 2921-2931. DOI: 10.3724/SP.J.1001.2008.02921
[13] 尤倩. 基于SVM的脱机手写体数字识别的研究与应用[D]. 济南: 山东师范大学, 2014. YOU Qian. Research and Application of Offline Handwritten Digit Recognition Based on SVM[D]. Jinan: Shandong Normal University, 2014.
[14] 张小琴, 赵池航, 沙月进. 基于HOG特征及支持向量机的车辆品牌识别方法[J]. 东南大学学报: 自然科学版, 2013, 43(2): 410-413. https://www.cnki.com.cn/Article/CJFDTOTAL-DNDX2013S2041.htm ZHANG Xiaoqin, ZHAO Chihang, SHA Yuejin. Vehicle brand recognition method based on HOG features and support vector machine[J]. Journal of Southeast University: Natural Science Edition, 2013, 43(2): 410-413. https://www.cnki.com.cn/Article/CJFDTOTAL-DNDX2013S2041.htm
[15] LI Weixing, SU Haijun, PAN Feng, et al. A fast pedestrian detection via modified HOG feature[C]//Proceedings of the 34th Chinese Control Conference of IEEE, 2015: 3870-3873.
[16] 曾雪. 基于旋转不变梯度方向直方图的航拍图像目标检测[D]. 南京: 东南大学, 2017. ZENG Xue. Object Detection Based on Rotation Invariant Histogram of Oriented Gradient in Aerial Image[D]. Nanjing: Southeast University, 2017.
[17] Alex Omid-Zohoor, Christopher Young, David Ta, et al. Toward always-on mobile object detection: energy versus performance tradeoffs for embedded HOG feature extraction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(5): 1102-1115. DOI: 10.1109/TCSVT.2017.2653187
[18] 段嘉欣. 基于梯度下降的时变PID算法[J]. 中国新通信, 2019, 21(14): 223-226. https://www.cnki.com.cn/Article/CJFDTOTAL-TXWL201914177.htm DUAN Jiaxin. Time-varying PID algorithm based on gradient descent[J]. China New Telecommunications, 2019, 21(14): 223-226. https://www.cnki.com.cn/Article/CJFDTOTAL-TXWL201914177.htm
[19] CHEN Pei-Yin, HUANG Chien-Chuan, Lien Chih-Yuan, et al. An efficient hardware implementation of HOG feature extraction for human detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(2): 656-662. DOI: 10.1109/TITS.2013.2284666
[20] HE Jiayuan, ZHU Xiangyang. Combining improved gray-level co-occurrence matrix with high density grid for myoelectric control robustness to electrode shift[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(9): 1539-1548. DOI: 10.1109/TNSRE.2016.2644264
[21] 叶鹏, 王永芳, 夏雨蒙, 等. 一种融合深度基于灰度共生矩阵的感知模型[J]. 计算机科学, 2019, 46(3): 92-96. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201903012.htm YE Peng, WANG Yongfang, XIA Yumeng, et al. Perceptual model based on GLCM combined with depth[J]. Computer Science, 2019, 46(3): 92-96. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201903012.htm
[22] 王红, 武继刚, 张铮. 基于二维MB_LBP特征的人脸识别[J]. 计算机工程与应用, 2015, 51(10): 191-194. DOI: 10.3778/j.issn.1002-8331.1305-0396 WANG Hong, WU Jigang, ZHANG Zheng. Face recognition based on 2-dimensional MB-LBP characteristics[J]. Computer Engineering and Applications, 2015, 51(10): 191-194. DOI: 10.3778/j.issn.1002-8331.1305-0396
[23] Marceau D J, Howarth P J, Dubois J M, et al. Evaluation of the grey -level co-occurrence matrix method for land-cover classification using SPOT imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 1990, 28(4): 513-519. DOI: 10.1109/TGRS.1990.572937
[24] Simon D, Simon D L. Analytic confusion matrix bounds for fault detection and isolation using a sum-of-squared-residuals approach[J]. IEEE Transactions on Reliability, 2010, 59(2): 287-296. DOI: 10.1109/TR.2010.2046772
-
期刊类型引用(13)
1. 林伟，赵继平，刘世章. 基于视觉传达技术的无参考低光照图像增强方法. 激光杂志. 2024(02): 140-145 . 
百度学术
2. 柴萍，柴金娣. 融合场景深度估计和视觉传达的复杂光照图像虚拟重建. 激光杂志. 2024(02): 129-134 . 百度学术
3. 魏会廷，陈永光，王祺. 基于视觉传达技术的激光光斑图像超分辨率重建方法. 激光杂志. 2024(06): 156-160 . 百度学术
4. 万里勇，汪浩，罗文兵. HSV空间的明度对数斜率变换的低照图像增强. 传感技术学报. 2024(07): 1202-1209 . 百度学术
5. 尹述睿，谭光华. 基于视觉传达的过度曝光激光图像智能复原方法. 激光杂志. 2024(08): 138-143 . 百度学术
6. 曹玲玲，夏季. 基于伽玛矫正的图像细节特征增强算法仿真. 计算机仿真. 2024(10): 188-191 . 百度学术
7. 王哲，朱长永，邱建林. 基于激光视觉传达的光照变化复杂图形元素细节增强方法. 激光杂志. 2024(11): 118-122 . 百度学术
8. 顾正祥，刘鑫，祁巧云. 卷积神经网络低光照图像增强系统的优化设计. 信息与电脑(理论版). 2024(20): 103-105 . 百度学术
9. 贺春光，高凡，袁云梅，多化琼，丁安宁，李璐芳. 基于自适应校正和非锐化掩模的木材单板节子图像增强算法研究. 木材科学与技术. 2023(01): 74-82 . 百度学术
10. 徐奇，张佑春. 基于机器视觉技术的光照动态化图像优化研究. 九江学院学报(自然科学版). 2023(01): 71-75 . 百度学术
11. 蒋顺生. 基于视觉感知技术的低质量舰船航行图像增强系统. 舰船科学技术. 2023(15): 135-138 . 百度学术
12. 卢春辰，王瑞，诸葛锦慧. 基于视觉传达技术的模糊光图像增强方法. 激光杂志. 2023(10): 89-93 . 百度学术
13. 胡海晓，王艳贞. 形态学和空间聚类融合的非均匀光照图像增强. 激光杂志. 2023(11): 89-93 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 369
- HTML全文浏览量: 68
- PDF下载量: 65
- 被引次数: 15
