Leakage Source Detection Based on Thermal Imaging
-
摘要: 针对屋面渗漏源难以检测的问题，研究了基于渗漏区域红外图像特征的灰度分段映射图像增强方法，提出了一种基于样板矩阵的图像快速识别技术，设计了一个屋面全自动渗漏源检测系统。在5 m×3 m屋面设置渗漏源形成多个渗漏区域，采用Mecanum轮小车搭载该系统对渗漏源进行检测，结果表明，该系统可以在89 s之内完成检测工作，总测试150个次渗漏点，漏测12个次渗漏点，识别准确率大于90%。该技术检测效率高、操作简单，配合相应载体可用于各类不明渗水源检测。Abstract: To address the difficulty in detecting the source of roof leakage, an image enhancement method that uses the infrared image features of the leakage area was studied using gray segmentation mapping. Rapid image recognition technology based on a template matrix was proposed, and an automatic roof leakage source detection system was designed. Leakage sources were set on a 5 m× 3 m roof to form multiple leakage areas. A mecanum wheeled trolley was used to support the system while detecting these sources. The results showed that the system could complete detection within 89 s, with a total of 150 leakage points tested and 12 leakage points missed, and the identification accuracy was greater than 90%. This technology has high detection efficiency and simple operation and can be used to detect all types of unknown water seepage sources with the corresponding carrier.
-
0. 引言
通常，成像系统为了提高低光照场景的图像照度需要延长曝光时间，这不仅需要保证成像系统的平稳性，还降低了图像采集的实时性，并且含有较多的噪声。实时采集低光照环境的图像存在照度偏暗、部分内容难以辨识等问题（该类图像通常被称为低光照图像），甚至极低光照环境的图像照度非常低，以至于图像全局内容难以依靠人眼视觉进行分辨，并且存在严重噪声（该类图像通常被称为极低光照图像）。而低光照图像增强算法[1-3]可以通过图像后期处理提高图像亮度，降低硬件设备升级成本，具有较好的应用价值
当前，低光照图像增强主要包括基于直方图均衡化的方法、基于Retinex的方法和基于深度学习的方法[1]。基于直方图均衡化的方法通过调整不同灰度值的像素来达到图像直方图分布均匀，并将这种映射关系作为图像增强函数。例如，Ibrahim等人[4]提出亮度保持的动态直方图均衡化，根据局部最大值为不同分区的直方图分配新的动态范围，再分别进行直方图均衡化。但是，该方法引入大量噪声，并且非低光照区域出现亮度饱和现象。基于Retinex的方法假设图像是由受光照影响的照度分量和依赖于物质属性的反射分量所合成，从而将低光照图像增强转化为其反射分量的计算，如单尺度Retinex[5]和多尺度Retinex[6]。但是该类方法容易丢失纹理细节信息，生成的图像照度存在失真甚至过曝光。虽然文献[7-9]通过改进照度分量的约束提高了光照的自然度，但色彩失真和噪声问题仍然比较显著。基于深度学习的方法依赖于先验数据信息，通过大量的先验图像数据集对构建的学习模型进行训练，学习低光照到正常光照的映射关系。Lore等人[10]搭建了深度卷积网络进行图像对比度增强和去噪。而后，Shen等人[11]结合多尺度Retinex方法提出多尺度Retinex网络，通过多尺度对数变换和卷积差分直接学习低光照与高光照图像间的映射。Wei等人[12]提出了Retinex卷积网络，利用卷积网络模拟反射分量和照度分量的分解。基于深度学习的方法能够生成亮度自然和色彩保真度高的图像，并且具有较好的去噪效果。但是，现有方法将低频光照映射和高频噪声去除进行同步学习，导致图像纹理细节丢失严重。并且，低光照图像和正常光照图像存在显著差异，其高分辨率特征间的相关性较小，造成网络训练收敛较慢和波动较大，最终影响低光照图像增强的质量。
为了提高低光照图像增强质量，本文提出一种基于多尺度小波U型网络的低光照图像增强方法。考虑到低光照图像含有大量噪声，本文构建了一种小波U型网络，引入离散小波变换构建特征分频单元，分离低频照度特征和高频纹理特征，增强网络对低频照度特征和高频纹理信息的感知，有效抑制噪声和增强纹理细节。此外，构建多尺度感知损失函数，通过约束不同尺度图像的损失增强低光照和高光照图像间特征的相关性，指导网络从低频的照度和色彩信息到高频的纹理信息的逐级重建，加快和优化小波U型网络的收敛。
1. 多尺度小波U型网络
本文提出一种基于多尺度小波U型网络用于低光照图像增强，其网络架构与图像处理流程如图 1所示。该网络包括多级编码器（Enc）、解码器（Dec）和图像重建层（image reconstruction, image-Rec）。编码器由下采样单元（down-sampling, Dw-S）、特征分频单元（frequency decomposition of features, FDF）和特征融合单元（feature fusion, F-Fs）组成，而解码器由特征注意力融合单元（attention fusion, A-Fs）、特征分频单元和上采样模块（Up-Sampling, Up-S）组成。小波U型网络采用多尺度感知损失函数（Multi-scale perceived loss）约束训练过程，分别对U型网络中不同尺度的增强图像计算其损失值，包括L1损失、结构损失和内容损失。
输入图像先经过多级编码器进行编码，每级编码器分别对上一级的输出特征进行特征下采样、特征分频推理和特征融合；然后通过多级解码器进行解码，特征注意力融合单元采用通道注意力机制将同级编码器和前级解码器的输出特征进行融合，再依次进行特征分频推理和上采样重建高分辨率信息；最后利用由两个卷积层（Conv）级联而成的图像重建层将解码器的输出特征重建为RGB图像。
1.1 基于特征分频的编码器和解码器
由于低光照图像含有大量噪声，因此图像去噪是低光照图像增强任务面临的重要问题之一。常见的基于深度学习的低光照图像增强方法对亮度增强和去噪并不加以区分，直接通过深度卷积网络学习低光照图像和参考图像间的映射关系[10-11]。但是，噪声作为一种高频信息则会干扰图像高频纹理细节的保持，导致去噪的同时丢失了大量纹理信息。而小波变换能够分解图像高频信息和低频信息，被广泛应用于图像去噪。因此，本文提出一种基于小波变换的特征分频推理单元，并联合下采样、特征融合、注意力融合和上采样模块组成基于特征分频的编码器和解码器，具体结构如图 2所示。
![]()
图 2 基于特征分频的编码器（左）和解码器（右）Figure 2. Encoder (left) and decoder (right) based on frequency decomposition of features如图 2所示，下采样层由一个卷积核为3×3、步长为2的卷积层（Conv 3×3, s＝2）和两个残差块（ResB）组成，它对编码器的输入信息进行下采样；而解码器的输入为上一级解码器的输出特征和同级编码器的输出特征，它们具有不同的感受野且对图像增强的贡献并不相同，因此注意力融合单元采用通道注意力融合方法[13]对这些特征进行自适应加权融合。在通道注意力融合方法中，均值池化层×（Avg Pool）、2个卷积核为1×1的卷积层、ReLU激活层和Sigmoid层级联生成各特征通道的权值，这些权值与各通道特征相乘得到通道注意力特征，从而提高较大贡献的特征响应。编码器的尾端是由两个卷积层组成的特征融合层，对特征分频的高频信息和低频信息进行融合；解码器的尾端是对特征进行2倍尺度因子的上采样，而上采样模块使用高效的Pixel Shuffle方法[14]进行上采样计算，先由两个卷积层生成通道数为4×nf的特征，再通过将不同通道特征中的相同空间位置像素进行嵌入排列得到通道数为nf的上采样特征，其示意图如图 3所示。
![]()
图 3 Pixel Shuffle和逆Pixel Shuffle方法示意图Figure 3. Schematic diagram of Pixel Shuffle and inverse Pixel Shuffle method特征分频单元是编码器和解码器进行特征推理计算的核心组成部分，主要包括离散小波变换（DWT）、逆离散小波变换（IDWT）以及卷积层和残差块级联组成的推理层。根据二维Haar小波变换可知，输入特征X被分解为低频特征XL、水平方向高频特征XH、垂直方向高频特征XV和对角方向高频特征XD，对应的滤波器为：
$$ {\mathit{\boldsymbol{K}}_{\rm L}} = \left[ {\begin{array}{*{20}{c}} 1&1 \\ 1&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm H}} = \left[ {\begin{array}{*{20}{c}} { - 1}&1 \\ { - 1}&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm V}} = \left[ {\begin{array}{*{20}{c}} { - 1}&{ - 1} \\ 1&1 \end{array}} \right],{\mathit{\boldsymbol{K}}_{\rm D}} = \left[ {\begin{array}{*{20}{c}} 1&{ - 1} \\ { - 1}&1 \end{array}} \right] $$ 则各小波分量可表示为：
$$ \mathit{\boldsymbol{X}}_{\rm L}＝\mathit{\boldsymbol{X}}*K_{\rm L}, \mathit{\boldsymbol{X}}_{\rm H}＝\mathit{\boldsymbol{X}}*K_{\rm H}, \mathit{\boldsymbol{X}}_{\rm V}＝\mathit{\boldsymbol{X}}*K_{\rm V}, \mathit{\boldsymbol{X}}_{\rm D}＝\mathit{\boldsymbol{X}}*K_{\rm D} $$ (1) 式中：*表示卷积计算。由公式(1)可知，XL，XH，XV和XD中在(i, j)位置的响应值为：
$$ \begin{array}{*{20}{c}} {{x_{\rm L}}(i,j) = x(2i,2j) + x(2i + 1,2j) + x(2i,2j + 1) + x(2i + 1,2j + 1)} \\ {{x_{\rm H}}(i,j) = x(2i,2j + 1) + x(2i + 1,2j + 1) - x(2i,2j) - x(2i + 1,2j)} \\ {{x_{\rm V}}(i,j) = x(2i + 1,2j) - x(2i,2j) + x(2i + 1,2j + 1) - x(2i,2j + 1)} \\ {{x_{\rm D}}(i,j) = x(2i,2j) - x(2i + 1,2j) - x(2i,2j + 1) + x(2i + 1,2j + 1)} \end{array} $$ (2) 式中：x(2i, 2j)表示X在(2i, 2j)位置的响应值，且0≤2i＜h，0≤2j＜w（h和w为X的高和宽）。根据公式(2)，XL，XH，XV和XD可进一步表示为：
$$ \left\{ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm L}} = {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm b}} + {\mathit{\boldsymbol{X}}_{\rm c}} + {\mathit{\boldsymbol{X}}_{\rm d}}} \\ {{\mathit{\boldsymbol{X}}_{\rm H}} = {\mathit{\boldsymbol{X}}_{\rm b}} - {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm d}} - {\mathit{\boldsymbol{X}}_{\rm c}}} \\ {{\mathit{\boldsymbol{X}}_{\rm V}} = {\mathit{\boldsymbol{X}}_{\rm c}} - {\mathit{\boldsymbol{X}}_{\rm a}} + {\mathit{\boldsymbol{X}}_{\rm d}} - {\mathit{\boldsymbol{X}}_{_{\rm b}}}} \\ {{\mathit{\boldsymbol{X}}_{\rm D}} = {\mathit{\boldsymbol{X}}_{\rm a}} - {\mathit{\boldsymbol{X}}_{\rm b}} - {\mathit{\boldsymbol{X}}_{\rm c}} + {\mathit{\boldsymbol{X}}_{\rm d}}} \end{array}} \right. $$ (3) 式中：Xa是对X中的偶数行和偶数列进行采样得到；Xb是对X的偶数行和奇数列采样得到；Xc是对X的奇数行和偶数列采样得到；Xd是对X的奇数行和奇数列采样得到。Xa、Xb、Xc和Xd的具体采样操作如图 3所示，该采样方法与Pixel Shuffle上采样方法相反，因此可以采用逆Pixel Shuffle方法对X进行采样，并将采样结果分解为Xa、Xb、Xc和Xd，计算公式可表示为：
$$ {\left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm a}}}&{{\mathit{\boldsymbol{X}}_{\rm b}}}&{{\mathit{\boldsymbol{X}}_{\rm c}}}&{{\mathit{\boldsymbol{X}}_{\rm d}}} \end{array}} \right]^\rm T} = {f_{\rm USP}}(X) $$ (4) 式中：fUPS(⋅)表示逆Pixel Shuffle方法。
通过公式(3)和(4)可计算得XL，XH，XV和XD。接着，将XL，XH，XV和XD通过特征分频单元的推理层进一步进行特征卷积计算。该推理层由两个卷积层和若干个残差块组成，如图 2所示，其公式可表示为：
$$ \mathit{\boldsymbol{X}}_{\rm L}′＝f_{\rm L}(\mathit{\boldsymbol{X}}_{\rm L}), \mathit{\boldsymbol{X}}_{\rm H}′＝f_{\rm H}(\mathit{\boldsymbol{X}}_{\rm H}), \mathit{\boldsymbol{X}}_{\rm V}′＝f_{\rm V}(\mathit{\boldsymbol{X}}_{\rm V}), \mathit{\boldsymbol{X}}_{\rm D}′＝f_{\rm D}(\mathit{\boldsymbol{X}}_{\rm D}) $$ (5) 式中：fL(⋅)，fH(⋅)，fV(⋅)和fD(⋅)分别为XL，XH，XV和XD对应推理层的卷积计算。由于XH，XV和XD为仅含有纹理细节特征的高频分量，信息量较少，因此它们的推理层采用1个残差块。而XL含有照度、颜色和大量低频结构的信息，信息量较大，因此其推理层采用32个残差块。最后XL′，XH′，XV′和XD′通过IDWT进行重建。根据公式(3)和(4)可知，IDWT可表示为：
$$ \mathit{\boldsymbol{X}}' = {f_{\rm PS}}({\mathit{\boldsymbol{X}}_{\rm a}}',{\mathit{\boldsymbol{X}}_{\rm b}}',{\mathit{\boldsymbol{X}}_{\rm c}}',{\mathit{\boldsymbol{X}}_{\rm d}}') $$ (6) 式中：fPS(⋅)表示Pixel Shuffle方法，Xa′、Xb′、Xc′和Xd′为：
$$ \left\{ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{X}}_{\rm a}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' - {\mathit{\boldsymbol{X}}_{\rm H}}' - {\mathit{\boldsymbol{X}}_{\rm V}}' + {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm b}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' + {\mathit{\boldsymbol{X}}_{\rm H}}' - {\mathit{\boldsymbol{X}}_{\rm V}}' - {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm c}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' - {\mathit{\boldsymbol{X}}_{\rm H}}' + {\mathit{\boldsymbol{X}}_{\rm V}}' - {\mathit{\boldsymbol{X}}_{\rm D}}')} \\ {{\mathit{\boldsymbol{X}}_{\rm d}}' = 0.25({\mathit{\boldsymbol{X}}_{\rm L}}' + {\mathit{\boldsymbol{X}}_{\rm H}}' + {\mathit{\boldsymbol{X}}_{\rm V}}' + {\mathit{\boldsymbol{X}}_{\rm D}}')} \end{array}} \right. $$ (7) 特征分频推理单元引入小波变换将输入特征分解为低频分量和不同方向的高频分量。低频分量包括图像的照度特征、颜色信息等低频信息，而高频分量则只含有输入特征的边缘纹理信息。高频信息与低频信息的分离减少了显著变化的低频照度特征对变化不明显的高频纹理特征的干扰，使网络在进行学习时能够更好地感知图像的纹理细节特征，从而提高增强图像中纹理细节的清晰度。同时，被分离的低频信息减少了对高频纹理信息的特征表示，从而优化照度和颜色等低频信息的映射关系，提高增强图像照度和颜色信息的视觉效果。
1.2 多尺度感知损失函数
在图像超分辨率重建中，大尺度因子的图像超分辨率任务可通过若干个小尺度因子的图像超分辨率任务级联完成，并且其效果优于大尺度因子的图像超分辨率[15]。基于此，本文提出一种多尺度感知损失函数，分别对不同尺度的增强图像进行约束，从而实现对增强图像从低频信息到高频信息的逐级重建。此外，低分辨率图像移除了部分高频信息，不仅有效抑制噪声，并且简化亮度和颜色等低频信息的映射关系，从而加快网络的收敛。
多尺度感知损失Lt由3个尺度图像的损失组成：L×1、L×2和L×4，其中每个尺度图像的损失是L1损失、结构损失和内容损失的加权和，Lt的示意图如图 4所示。
如图 4所示，IE×1、IE×2和IE×4为小波U型网络生成的3种不同分辨率的图像，IR×1、IR×2和IR×4分别为高光照参考图像及其2倍和4倍下采样图像，L×1、L×2和L×4则分别表示这3种不同尺度下所计算的小波U型网络损失。通常，高分辨率图像相比于其低分辨率图像含有更多高频纹理信息，而颜色、照度等低频信息则基本相同，因此高分辨率图像可表示：
$$ \left\{ {\begin{array}{*{20}{c}} {{I_{R \times 2}} = {I_{R \times 4}} + {\mathit{\mathit{\vartriangle}} _{R \times 2}}} \\ {{I_{E \times 2}} = {I_{E \times 4}} + {\mathit{\vartriangle} _{E \times 2}}} \end{array}} \right. $$ (8) 式中：ΔR×2和ΔE×2分别表示IR×2和IE×2相对于IR×4和IE×4所多余的高频信息。根据公式(8)，L×2可表示为：
$$ \left\{ \begin{array}{l} {L_{ \times 2}} = s\left({{I_{R \times 2}},{I_{E \times 2}}} \right) \hfill \\ \quad \;\, = s\left({{I_{R \times 4}},{I_{E \times 4}}} \right) + s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) \hfill \\ \quad \;\, = {L_{ \times 4}} + s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) \hfill \\ \end{array} \right. $$ (9) 式中：s(⋅)表示计算两张图像的距离。同理：
$$ {L_{ \times 1}} = s\left({{I_{{\rm R} \times 4}},{I_{{\rm E} \times 4}}} \right) + s\left({{\mathit{\vartriangle} _{{\rm R} \times 2}},{\mathit{\vartriangle} _{{\rm E} \times 2}}} \right) + s\left({{\mathit{\vartriangle} _{{\rm R} \times 1}},{\mathit{\vartriangle} _{{\rm E} \times 1}}} \right) $$ (10) 式中：ΔR×1和ΔE×1表示IR×1和IE×1相对于IR×2和IE×2所多余的高频信息。
由公式(9)和(10)可知，大尺度图像的损失函数对网络学习的约束比小尺度图像的损失函数更严格。但是，直接采用大尺度图像的损失函数会导致高频噪声干扰网络学习对纹理的感知能力，并且高维度的图像特征间含有较多弱相关性的冗余信息，导致网络收敛困难。因此，本文以照度增强和纹理重建的优先级顺序设计多尺度损失函数Lt：
$$ \left\{ \begin{array}{l} {L_{\rm t}} = \frac{{\left({{L_{ \times 1}} + {L_{ \times 2}} + {L_{ \times 4}}} \right)}}{3} \hfill \\ \quad = {L_{ \times 4}} + \frac{2}{3}s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) + \frac{1}{3}s\left({{\mathit{\vartriangle} _{R \times 1}},{\mathit{\vartriangle} _{E \times 1}}} \right) \hfill \\ \end{array} \right. $$ (11) 根据公式(11)可知，L×4具有最高权重，表示Lt对低频信息的感知最强，从而驱动网络模型优先学习图像低频信息的重建，即图像照度增强，并避免了高频噪声的干扰。其次，$ \frac{2}{3}s\left({{\mathit{\vartriangle} _{R \times 2}},{\mathit{\vartriangle} _{E \times 2}}} \right) $和$ \frac{1}{3}s\left({{\mathit{\vartriangle} _{R \times 1}},{\mathit{\vartriangle} _{E \times 1}}} \right) $项则表示网络模型对图像纹理信息逐级重建，而文献[15]则证明了小尺度逐级重建高频纹理的方式优于大尺度直接重建的方式。
此外，s(IE, IR)表示为：
$$ \left\{ \begin{array}{l} s\left({{I_{\rm E}},{I_{\rm R}}} \right) = {l_{\rm L1}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + 0.5{l_{\rm St}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + 0.2{l_{\rm Co}}\left({{I_{\rm E}},{I_{\rm R}}} \right) \hfill \\ \quad \quad \quad \;\;\, = {l_{\rm L1}}\left({{I_{\rm E}},{I_{\rm R}}} \right) + {l_{\rm L1}}\left({\nabla {I_{\rm E}},\nabla {I_{\rm R}}} \right) + {l_{\rm Co}}\left({{I_{\rm E}},{I_{\rm R}}} \right) \hfill \\ \end{array} \right. $$ (12) 式中：IE和IR表示增强图像和高光照参考图像；∇表示计算梯度图；$ {l_{L1}}(\cdot ) $表示L1损失；$ {l_{Co}}(\cdot ) $表示内容损失，此处采用文献[16]中的内容损失函数，而结构损失lSt(⋅)表示计算两张图像梯度图的L1损失。
2. 实验与分析
2.1 实验配置
实验平台为搭载Intel Core i7-7800X CPU，32 G内存，GTX 1080Ti显卡和Windows 7系统的计算机，实验主要使用MATLAB R2014a仿真软件以及Tensorflow 1.10和Pytorch 1.1深度学习框架。为了学习低光照图像增强的特征映射关系，采用低光照数据集（low-light dataset，LOL）[12]作为训练集，其中包括485对低光照和相应的高光照图像用于网络的训练，15对极低光照和正常光照的室内图像用于网络的测试。此外，测试数据集还包括低光照图像增强数据集（low-light image enhancement，LIME）[9]、自然保护增强算法数据集（naturalness preserved enhancement，NPE）[7]、多曝光融合算法数据集（multi-exposure fusion，MEF）[17]、商业相机数字图像（digital images of commercial measures，DICM）[18]和来自Vassilios Vonikakis的多曝光数据集（VV），它们共计101张低光照图像，分别存在室内灯光、户外遮挡光照、阴雨天、日落和夜晚等原因所导致的低光照问题。峰值信噪比（peak signal to noise ratio，PSNR）、结构相似度（structural similarity，SSIM）和亮度顺序误差（lightness order error，LOE）[19]和自然图像质量评价（natural image quality evaluator，NIQE）[20]图像质量评价方法被用于增强图像的客观评价，其中PSNR、SSIM、LOE为全参考评价方法，NIQE为无参考评价方法。并且，所评价图像的质量越好，PSNR和SSIM的数值则越大，而LOE和NIQE的数值则越小。
2.2 客观评价的比较和分析
为了验证本文算法的性能，本文分别采用BPDHE[4]、LIME[9]、MF[21]、Retinexnet[12]、BIMEF[22]和KinD[23]作为对比低光照增强方法，其中BPDHE为基于直方图均衡的方法，LIME、MF为基于Retinex的方法，BIMEF方法在Retinex基础上引入相机模型，Retinexnet和KinD为基于深度学习的方法。6种对比方法和本文方法在LOL数据集上的客观评价结果如表 1所示，Low表示原始低光照图像的评价结果。
表 1 不同低光照增强算法在LOL数据集上的结果Table 1. Results of different low light enhancement algorithms on LOL datasetMetrics Low BPDHE LIME MF Retinexnet BIMEF KinD Ours PSNR 7.8666 11.8748 16.9332 16.9332 16.9816 13.9722 20.5955 24.5499 SSIM 0.1259 0.3415 0.5644 0.6048 0.5594 0.5771 0.8045 0.8913 LOE 1417.1 1772.8 3207.6 1721.2 4244.1 1553.3 1795.3 1267.1 NIQE 6.7483 7.9852 8.3777 8.8855 8.8779 7.5029 5.3561 5.4289 根据表 1可知，本文方法在全参考图像质量评价PSNR、SSIM和LOE上取的结果最优，且相对其他方法提高显著，说明增强图像更接近正常光照图像，图像纹理保持较好，图像亮度与参考图像亮度间的相似性也有所提高。而在无参考图像质量评价指标NIQE上也取得次优结果，且与最优方法KinD的结果非常接近，说明增强图像引入较少噪声，亮度和颜色的自然度较好。而基于直方图均衡的方法BPDHE取得较差的PSNR和SSIM结果，但LOE和NIQE评价结果整体优于基于Retinex的方法LIME和MF，因此BPDHE虽然丢失了大量的图像纹理细节，但图像亮度有所增强且颜色保持较好。基于Retinex的方法LIME和MF相对BPDHE在PSNR和SSIM评价上取得显著提高，增强图像纹理结构信息保持较好，但图像色彩和亮度的失真以及噪声的引入导致LOE和NIQE评价较差，而BIMEF性能相比于基于直方图均衡的方法和基于Retinex的方法取得较折中的性能。针对基于深度学习的方法Retinexnet和KinD，Retinexnet虽然使用深度卷积网络实现低光照图像增强，但性能与基于Retinex的方法不相上下，KinD方法则在PSNR、SSIM和NIQE评价上取得显著提高，说明图像纹理保持较好且图像色彩和亮度的自然度也有所提高，整体图像增强性能提高。
为了更直观和详细地比较这些方法对于单张图像的增强效果，LOL中15张图像的PSNR、SSIM、LOE和NIQE评价结果如图 5所示。从图中可以看到，大部分图像取得最佳PSNR和SSIM评价，说明增强图像在全局像素和纹理增强方面提高显著；而LOE评价也说明大部分增强图像的亮度信息在一定程度上也得到改善；在NIQE评价方面，本文方法则与KinD方法不相上下，并且它们显著优于其他方法。此外，一些图像虽然在部分评价上表现较差（如第4、7和8张图像），但在其他评价指标上则表现较好，因此这些图像质量在整体上也获得提高。
![]()
图 5 LOL数据集的单张图像客观评价结果Figure 5. Objective evaluation results of single image in LOL dataset为了进一步验证所提方法的有效性，在VV、LIME、NPE、MEF和DICM数据集上进行测试和比较，并计算各对比方法的NIQE评价指标，结果如图 6所示。
![]()
图 6 不同方法在多个数据集上的图像增强结果Figure 6. Image enhancement results of different methods on multiple datasets根据图 6可知，本文方法在LIME、NPE和MEF数据集上取得最佳评价，并且在VV和DICM数据集上也取的具有竞争力的评价结果。因此本文方法能够有效增强低光照图像，生成的增强图像具有较好的自然度和清晰度，噪声相对较少。
2.3 主观评价的比较和分析
考虑到NIQE评价指标偏向于对图像自然度、清晰度和噪声情况的评价，并易受图像照度影响而产生误差，因此实验提供部分增强图像的可视化结果，从而更直观地比较各对比方法的性能，可视化结果如图 7~ 图 9所示。从图中可以看到，BPDHE方法亮度增强效果并不明显，甚至出现局部过亮现象，如图 7增强结果中背景墙；LIME方法的图像增强效果比较明显，但色彩过于饱和导致图像自然度下降，如图 8中衣服的红色和人脸的肤色；MF一定程度上缓解了色彩过于饱和的问题，但整体亮度有所下降，如图 7的背景墙、图 8的前景物体和背景湖面；Retinexnet不仅加剧了色彩过度饱和问题，还产生大量噪声，如图 8色彩过度饱和及图 9中引入大量噪声；BIMEF相对于MF方法增强图像的亮度进一步下降，但噪声的显著性有所降低。而KinD方法在图像亮度增强和噪声抑制方面表现都比较好，但色彩饱和度偏低且亮度有些偏暗，如图 7中白色墙壁和红色衣服的色彩饱和度偏低，图 8和图 9整体亮度偏暗。本文方法不仅抑制了颜色过饱和的问题，并且在保证纹理信息的同时有效提高了图像亮度，如图 7的红色衣服和白色墙壁、图 8的肤色和全局亮度以及图 9的夜空和全局亮度，这些增强图像相对其他方法的结果具有更佳的视觉效果。
![]()
图 7 LOL数据集中的146.jpg图像增强结果：(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) OursFigure 7. Enhancement results of "146.jpg" in LOL dataset:(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) Ours![]()
图 8 VV数据集中的P1020044.jpg图像增强结果：(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) OursFigure 8. Enhancement results of "p1020044.jpg" in VV dataset:(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) Ours![]()
图 9 LIME数据集10.bmp图像增强结果：(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) OursFigure 9. Enhancement results of "10.bmp" in LIME dataset:(a) Low; (b) BPDHE; (c) LIME; (d) MF; (e) Retinexnet; (f) BIMEF; (g) KinD; (h) Ours总体来看，在客观评价方面，本文方法能够获得最佳的PSNR、SSIM和LOE评价结果，分别相比于次优结果高约16%、9%和22%，而在多个测试数据集上，本文方法也取得整体上最优的NIQE评价结果。主观评价上，本文方法能够显著提高图像亮度，充分保持图像纹理细节信息，并有效抑制颜色过饱和及噪声问题，图像整体视觉效果最佳。
2.4 消融实验
为了验证特征分频和多尺度感知损失函数的有效性，本文设置编/解码器的推理层可选择为特征分频单元和残差块级联，损失函数设置为单尺度感知L1损失函数和多尺度感知L1损失函数。同时，为了减小训练时间成本，设置网络的特征通道数减半，分频单元中残差块数减半，其它设置与3.2节模型一致。不同组合的网络可分别记为N1、N2、N3和N4，如表 2所示。N1、N2、N3和N4的训练过程如图 10所示，其中图 10(a)为训练过程中损失值的曲线，图 10(b)为每个epoch所训练的网络在LOL数据集上进行测试的PSNR值曲线。N1、N2、N3和N4网络分别在LOL、LIME、NPE、MEF、DICM和VV数据集上进行测试，并计算增强图像的NIQE评价指标，结果如表 3所示。
表 2 不同网络的编/解码器和损失函数的配置Table 2. Configuration of codecs and loss function for different networksCombination Single-scale L1 Multi-scale L1 Cascaded residual blocks FDF N1 √ - √ - N2 √ - - √ N3 - √ √ - N4 - √ - √ ![]()
图 10 四种不同组合配置的网络训练过程Figure 10. Training process of 4 networks with different configurations表 3 不同组合网络的性能比较Table 3. Performance comparison of different combination networksDatasets LOL LIME NPE MEF DICM VV Average N1 6.8072 5.0207 6.4623 6.3248 6.5652 6.1562 6.2227 N2 4.8663 4.3757 5.3071 5.4867 5.0311 4.9305 4.9996 N3 4.8091 4.2395 6.2099 6.6436 6.0698 5.8492 5.6369 N4 4.6112 4.2251 4.9695 5.4682 4.9888 4.7840 4.8411 由图 10可知，在单尺度损失函数下，N2前期收敛速度快于N1，最终收敛结果优于N1，并且N2在验证集LOL上的PSNR值显著高于N1；在多尺度损失函数下，N4的损失函数前期收敛效率和最终收敛结果都优于N3，且N4在验证集LOL上的PSNR值也显著高于N3。同时，根据表 3可知，相比于N1和N3网络，N2和N4网络生成的增强图像在NIQE评价指标方面分别平均下降约1.22和0.80。由此可见，特征分频能够加速网络前期的收敛，优化网络收敛和增强网络的性能。
为了验证多尺度感知损失函数的优越性，分别将单尺度损失函数和多尺度感知损失函数应用于残差块级联和特征分频两种网络的训练过程。由图 10可知，在残差块级联的网络方面，N3在前期的收敛速度快于N1网络，其最终的收敛效果和验证集的PSNR值略优于N1；在特征分频的网络方面，N4网络相比于N2网络在前期训练收敛更快且最终收敛效果和平稳性更好，同时N4在验证集上的PSNR值取得显著提高。此外，根据表 3中LOL、LIME、NPE、MEF、DICM和VV测试数据集的NIQE评价结果可知，N3和N4网络相比于N1和N2网络分别平均下降约0.5859和0.1584。由此可见，多尺度感知损失函数不仅能够加速和优化网络的收敛，还在一定程度上提高了网络性能。
2.5 真实低光照图像增强
为了验证本文方法对于真实图像的有效性，本文采集了6张不同低光照场景的图像，包括夜晚场景、阴雨天、早晨和傍晚场景，并对这6张真实低光照图像进行测试，结果如图 11所示。从图 11中可以看出，低光照图像的照度被明显提高，视觉显著性和视觉效果都获得明显的提升。并且，所提方法对夜晚和阴雨天场景的低光照图像效果更佳，色彩和纹理保持都比较好。而对于早晨或傍晚场景，所提方法能够有效增强暗光区域的照度，且色彩保持较好，而明亮区域会出现轻微的过曝光现象。
![]()
图 11 真实低光照图像增强结果：其中(a)和(b)为夜晚场景，(c)和(d)为阴雨天场景，(e)和(f)为早晨或傍晚场景Figure 11. The results of real low-light image enhancement, where (a) and (b) are night scenes, (c) and (d) are overcast and rainy scenes, and (e) and (f) are morning or evening scenes总体而言，本文方法能够有效增强夜晚、阴雨天、早晨或傍晚等不同场景的低光照图像，提高图像视觉显著性和视觉效果。
3. 结论
针对成像系统对低光照环境图像实时成像结果中存在的照度低和噪声多的特点，本文提出了一种基于多尺度小波U型网络的低光照图像增强方法。该方法采用由多级编码器和解码器组成的U型网络，并引入小波变换构建特征分频单元以用于编码器和解码器的特征推理，从而分离高频纹理信息和低频照度信息，减小高频纹理重建和去噪及低频照度增强的互相干扰。此外，采用多尺度感知损失函数指导小波U型网络进行训练，实现由低频到高频信息的逐级重建。本文方法分别在LOL、LIME、NPE、MEF、DICM和VV数据集上进行测试，实验结果表明，所提方法能够有效增强图像照度，其客观评价指标PSNR、SSIM、LOE和NIQE分别比其他算法的次优结果高16%、9%和22%、24%，主观视觉效果上有效抑制色彩过度饱和、图像噪声和纹理丢失问题。并且，消融实验表明了特征分频和多尺度感知损失函数加速了网络前期收敛，提高了网络收敛效果和性能。
-
![]()
图 8 算法处理不同顺序结果对比图
Figure 8. Comparison of algorithm processing results in different sequences
表 1 各种图像增强算法的峰值信噪比及其平均值
Table 1 Peak Signal to Noise Ratio of various image enhancement algorithms
Nearest neighbor interpolate-on Bicubic interpolate-on Enhancement method in this
paperFan 34.8049 36.1934 36.7289 Hand 33.6161 34.8478 35.2925 Lenna 28.9225 30.1287 30.4744 Cameraman 30.8624 32.311 32.6554 Sponge 33.0744 35.191 36.3204 
下载: 导出CSV
表 2 各种图像增强算法的峰值信噪比平均值
Table 2 Average values of PSNR of various image enhancement algorithms
Nearest neighbor interpolation Bicubic interpolation Enhancement method in this
paperAverage peak SNR 32.25 33.73 34.29
下载: 导出CSV
表 3 算法处理先后顺序的区分差异
Table 3 Algorithm processing sequence difference
PSNR SSIM Pseudo - color processing followed by interpolation amplification 19.9055 0.9399 Grayscale interpolation and amplification followed by pseudo-color processing 23.3838 0.9805
下载: 导出CSV
表 4 不同算法处理红外识别问题的时间
Table 4 Time for different algorithms to deal with infrared recognition problems
Hough transform Multi-angle infrared image
target recognition methodThis paper
proposes a fast
recognition algorithmAccuracy/% 76.4 95.2 86.9 The average
time/ms214 127 32
下载: 导出CSV
表 5 系统测试结果-1个渗漏源
Table 5 System test results -1 leakage source
Times Time -consuming /s Results 1 70 √ 2 65 √ 3 74 √ 4 71 √ 5 73 × 6 78 √ 7 67 √ 8 64 √ 9 72 √ 10 63 √ 11 61 √ 12 81 √ 13 81 √ 14 61 × 15 68 √ 16 61 √ 17 78 √ 18 83 √ 19 81 √ 20 58 √ 21 64 √ 22 62 √ 23 67 √ 24 59 √ 25 68 √
下载: 导出CSV
表 6 系统测试结果-2个渗漏源
Table 6 System test results -2 leakage sources
Times Time -
consuming/sThe source
1 resultsThe source
2 results1 72 √ √ 2 76 √ √ 3 81 √ √ 4 75 × √ 5 74 √ √ 6 73 √ √ 7 68 √ √ 8 84 √ √ 9 72 × √ 10 71 √ √ 11 69 √ √ 12 76 √ √ 13 73 √ √ 14 67 √ × 15 81 √ √ 16 88 × √ 17 81 √ √ 18 73 √ √ 19 72 √ √ 20 71 √ √ 21 68 √ √ 22 67 √ √ 23 69 √ √ 24 62 √ × 25 66 √ √
下载: 导出CSV
表 7 系统测试结果-3个渗漏源
Table 7 System test results -3 leakage sources
Times Time -
consuming/sThe source 1 results The source 2 results The source 3 results 1 81 √ √ √ 2 82 √ √ × 3 89 √ √ × 4 75 √ √ √ 5 71 √ √ √ 6 65 √ √ √ 7 72 √ √ √ 8 73 √ √ √ 9 87 √ √ √ 10 81 × √ √ 11 59 √ √ √ 12 62 √ √ √ 13 76 √ √ √ 14 71 √ √ √ 15 69 √ √ √ 16 67 √ √ √ 17 81 √ √ √ 18 62 √ √ √ 19 69 √ √ √ 20 76 √ √ √ 21 77 √ √ √ 22 80 √ × √ 23 85 √ √ √ 24 74 √ √ √ 25 73 √ √ ×
下载: 导出CSV
-
[1] LIU Dunnan, HOU Rui, LI Qiang, et al. Research on fuzzy enhancement algorithms for infrared image recognition quality of power internet of things equipment based on membership function[J]. Journal of Visual Communication and Image Representation, 2019, 62(1): 359-367.
[2] ZHENG Zhaoping, ZENG Hansheng, DING Cuijiao, et al. Summary on the infrared thermal imaging temperature measurement technology and its application[J]. Infrared Technology, 2003, 25(1): 96-98.
[3] 赵璐, 熊森. 多视角红外图像目标识别方法[J]. 红外与激光工程, 2021, 50(11): 403-408. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202111051.htm ZHAO Lu, XIONG Sen. Multi-view infrared image target recognition method[J]. Infrared and Laser Engineering, 2021, 50(11): 403-408. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202111051.htm
[4] BAI Honggang, JIN Yingji. Application of infrared technology in military[J]. Journal of Engineering College of Armed Police Force, 2008(6): 5-7.
[5] 蔡毅, 王岭雪. 红外成像技术中的9个问题[J]. 红外技术, 2013, 35(11): 671-682. DOI: 10.11846/j.issn.1001_8891.201311001 CAI Yi, WANG Lingxue. Nine problems in infrared imaging technology [J]. Infrared Technology, 2013, 35(11): 671-682. DOI: 10.11846/j.issn.1001_8891.201311001
[6] 杨凯斌, 吴定祥, 龚金成, 等. 圆环陶瓷检测算法研究[J]. 中国陶瓷, 2017, 53(3): 39-44. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTC201703008.htm YANG Kaibin, WU Dingxiang, GONG Jincheng, et al. Research on detection algorithm of ring ceramics [J]. China Ceramics, 2017, 53(3): 39-44. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTC201703008.htm
[7] Alwan Hassan M, Volkov A N, Shbani A. Solution of inverse and forward kinematics problems for mobile robot with six mecanum wheels[C]//IOP Conference Series: Materials Science and Engineering, 2021, 1094(1): 012071.
-
期刊类型引用(13)
1. 林伟，赵继平，刘世章. 基于视觉传达技术的无参考低光照图像增强方法. 激光杂志. 2024(02): 140-145 . 
百度学术
2. 柴萍，柴金娣. 融合场景深度估计和视觉传达的复杂光照图像虚拟重建. 激光杂志. 2024(02): 129-134 . 百度学术
3. 魏会廷，陈永光，王祺. 基于视觉传达技术的激光光斑图像超分辨率重建方法. 激光杂志. 2024(06): 156-160 . 百度学术
4. 万里勇，汪浩，罗文兵. HSV空间的明度对数斜率变换的低照图像增强. 传感技术学报. 2024(07): 1202-1209 . 百度学术
5. 尹述睿，谭光华. 基于视觉传达的过度曝光激光图像智能复原方法. 激光杂志. 2024(08): 138-143 . 百度学术
6. 曹玲玲，夏季. 基于伽玛矫正的图像细节特征增强算法仿真. 计算机仿真. 2024(10): 188-191 . 百度学术
7. 王哲，朱长永，邱建林. 基于激光视觉传达的光照变化复杂图形元素细节增强方法. 激光杂志. 2024(11): 118-122 . 百度学术
8. 顾正祥，刘鑫，祁巧云. 卷积神经网络低光照图像增强系统的优化设计. 信息与电脑(理论版). 2024(20): 103-105 . 百度学术
9. 贺春光，高凡，袁云梅，多化琼，丁安宁，李璐芳. 基于自适应校正和非锐化掩模的木材单板节子图像增强算法研究. 木材科学与技术. 2023(01): 74-82 . 百度学术
10. 徐奇，张佑春. 基于机器视觉技术的光照动态化图像优化研究. 九江学院学报(自然科学版). 2023(01): 71-75 . 百度学术
11. 蒋顺生. 基于视觉感知技术的低质量舰船航行图像增强系统. 舰船科学技术. 2023(15): 135-138 . 百度学术
12. 卢春辰，王瑞，诸葛锦慧. 基于视觉传达技术的模糊光图像增强方法. 激光杂志. 2023(10): 89-93 . 百度学术
13. 胡海晓，王艳贞. 形态学和空间聚类融合的非均匀光照图像增强. 激光杂志. 2023(11): 89-93 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 137
- HTML全文浏览量: 38
- PDF下载量: 34
- 被引次数: 15
