基于注意力机制与特征重建的水下图像增强

王燕, 张金峰, 王丽康, 范向辉

王燕, 张金峰, 王丽康, 范向辉. 基于注意力机制与特征重建的水下图像增强[J]. 红外技术, 2024, 46(9): 1006-1014.
引用本文: 王燕, 张金峰, 王丽康, 范向辉. 基于注意力机制与特征重建的水下图像增强[J]. 红外技术, 2024, 46(9): 1006-1014.
WANG Yan, ZHANG Jinfeng, WANG Likang, FAN Xianghui. Underwater Image Enhancement Based on Attention Mechanism and Feature Reconstruction[J]. Infrared Technology , 2024, 46(9): 1006-1014.
Citation: WANG Yan, ZHANG Jinfeng, WANG Likang, FAN Xianghui. Underwater Image Enhancement Based on Attention Mechanism and Feature Reconstruction[J]. Infrared Technology , 2024, 46(9): 1006-1014.

基于注意力机制与特征重建的水下图像增强

基金项目: 

国家自然科学基金 61863025

详细信息
    作者简介:

    王燕(1971-),女,甘肃泾川人,硕士,教授,硕导,研究方向为模式识别与人工智能。E-mail: 1970603688@qq.com

  • 中图分类号: TP391.4

Underwater Image Enhancement Based on Attention Mechanism and Feature Reconstruction

  • 摘要:

    针对现有水下图像增强方法缺少对图像中关键目标物体的关注,对图像边缘细节信息的增强效果不佳等问题,提出一种基于注意力机制与特征重建的水下图像增强方法。首先,残差模块联合CBAM(Convolutional Block Attention Module)模块构建超像素图像增强模型,提升水下图像整体质量的同时改善图像中目标物体的清晰度和可视性;然后,设计一种边缘差分模块,使模型关注图像的高频信息,增强图像中目标物体的边缘细节;最后,构建多粒度特征重建模块,重构超像素图像增强模块的隐藏层特征,还原输入图像,进一步优化模型参数。实验结果表明,相比于对比方法,本文模型在SSIM(Structural Similarity)、PSNR(Peak Signal to Noise Ratio)和UIQM(Underwater Image Quality Measures)三个评价指标上均有提升,具备更好的增强性能。尤其在增强水下图像关键目标物体上具有显著的效果。

    Abstract:

    To address the issues of existing underwater image enhancement methods, which lack focus on critical target objects in images and exhibit poor enhancement effects on edge detail information, in this study, an underwater image enhancement approach is proposed based on an attention mechanism and feature reconstruction. First, a superpixel image enhancement model is constructed by integrating the residual module with the Convolutional Block Attention Module (CBAM), which not only improves the overall quality of underwater images but also enhances the clarity and visibility of target objects in images. Second, an edge difference module is designed to enable the model to focus on high-frequency information in the images, thereby strengthening the edge details of the target objects. Finally, a multi-granularity feature reconstruction module is built to reconstruct the hidden layer features of the superpixel image enhancement model, restore the input image, and further optimize the model parameters. Experimental results demonstrate that when compared with contrastive methods, the proposed model realizes improvements in three evaluation metrics: Structural Similarity (SSIM), Peak Signal to Noise Ratio (PSNR), and Underwater Image Quality Measures (UIQM), indicating better enhancement performance. Notably, it exhibits a remarkable effect in enhancing critical target objects in underwater images.

  • 在人们获取水下信息的过程中,水下图像成为呈现海洋资源的主要载体。因此,水下图像处理任务逐渐成为研究重点,该任务广泛应用于水下目标检测[1]、海洋生物[2]、海洋勘测[2]等多项研究。然而,在数据采集中,由于设备发射的光波通常会受到海水的影响,其波长容易被衰减,波长最长的红光衰减最快,而蓝光衰减较慢,这使得水下机器人拍摄的图像存在色彩偏移的问题。此外,由于水下光的散射特性,使得水下拍摄的图像对比度不高且图像模糊。所以,有必要对失真的水下图像进行增强,改善图像质量,为水下科学研究提供理论依据。

    水下图像增强任务需要保留图像中原有信息的同时,增强目标信息和背景信息的对比度和清晰度,是一项极具挑战性的任务。目前,水下图像增强方法主要包括传统的方法和基于深度学习的方法[3]。传统的方法无需建立水下图像的成像模型,采用传统的直方图均衡化[4]、白平衡[5]和像素分布调整[6-7]等图像增强方法,通过调整图像的像素,校正图像颜色和增强对比光,从而改善图像质量[8]

    近年来,深度学习广泛应用于计算机视觉、自然语言处理等领域,并取得了较好的效果,神经网络也逐渐引入到水下图像增强任务中,以卷积神经网络和生成对抗网络等网络为基础的水下图像增强方法也相继提出,并不断取得突破性进展[9]。Li等人[10]提出了一种基于水下场景先验的水下图像增强卷积神经网络模型(Underwater Convolutional Neural Network,UWCNN)。首先,将水下成像物理模型与水下场景的光学特性相结合;然后,设计一个轻量级的卷积神经网络(Convolutional Neural Network,CNN)模型来增强每种水下场景类型;最后,将UWCNN模型扩展到水下视频增强任务。Li等人[11]构造了一种通过介质传输引导的多色空间嵌入水下图像增强网络,通过利用多种色彩空间嵌入以及基于物理模型和基于学习的方法的优势,可以有效地提高水下图像的视觉质量。Gong等人[12]提出了一种基于颜色特征融合的水下图像增强方法。该方法通过利用水下的光传播特性,采用多通道特征提取策略,使用不同大小的卷积块从红、绿、蓝通道提取特征,增强特征表示的能力,使网络能够更准确地捕捉水下场景信息。Liu等人[13]提出了一种基于对象引导的双对抗对比学习水下增强方法,改善了水下图像的视觉质量,且增强的图像在不同检测器中的准确率显著提高。Qi等人[14]设计了一种语义区域增强模块,在增强图像过程中引入了语义信息,挖掘了图像中更丰富的信息。Sun等人[15]构造了一种基于强化学习的水下图像增强框架,将水下图像增强建模为马尔科夫决策过程(Markov Decision Process,MDP),生成了质量更高的图像。Peng等人[16]结合U型Transformer网络,及多尺度通道融合模块和空间特征重建模块,对图像中颜色衰减严重的区域进行了增强。

    相较于传统方法而言,基于深度学习的方法通过神经网络模型来校正图像的颜色和去除图像中的雾霾,改善水下图像增强性能的同时,减少了人工的参与,且增强后图像的质量明显改善,在性能方面有明显的优势。但是,该类方法在图像增强过程中,缺少对关键目标物体的关注,且忽略了目标边缘的细节信息,不利于下游任务的处理;此外,现有模型只关注了数据的前向传播流,而忽略了逆向特征重建对模型性能的作用,使模型的增强性能不佳。因此,本文提出了一种基于注意力机制与特征重建的水下图像增强方法。

    本文的主要贡献如下:

    1)提出由残差块和CBAM模块组成的超像素图像增强模型,在提高水下图像整体质量的同时重点关注图像中关键目标物体的信息;

    2)利用边缘差分模块,通过拉普拉斯算子计算图像的边缘损失,修复图像中边缘细节信息;

    3)设计了一种多粒度特征重建网络,重新构造原始图像,保证增强后图像与原始图像的相似性,提高图像增强模型的性能。

    本文所提出的水下图像增强模型结构如图 1所示。主要包含超像素图像增强模块、边缘差分模块和特征重建模块。首先,利用由卷积神经网络组成的残差单元和CBAM注意力单元构造超像素图像增强模块,增强水下图像的同时关注图像中目标物体的信息;然后,在边缘差分模块中,利用拉普拉斯算子分别锐化增强后的图像和标签图像,并根据图像相似性构造损失函数,提高图像中高频信息的对比度和清晰度;最后,构建多粒度特征重建模块,重构增强模型隐藏层特征,还原原始输入图像,并利用相似度损失进一步优化图像增强模型的参数。

    图  1  本文模型整体结构示意图
    Figure  1.  The overall structure diagram of the model in this paper

    本文设计的超像素图像增强模块主要是由4个残差块和CBAM模块堆叠组成,通过对图像进行像素级的处理,能够提取到更多的细节信息,减少图像中悬浮颗粒对目标物体信息的干扰。

    残差块包含12个卷积层,各层统一使用3×3大小的卷积核,步长为1。选用较小的卷积核能够使模型最大化保留图像信息,同时模型能够接受任意形状的图像输入,提高了模型的鲁棒性和泛化性能;并且相同大小的卷积核能够保证输入水下图像和输出增强图像相同的分辨率。此外,模型的输入数据为3通道的水下图像,输出为3通道的增强图像,因此,除输入和输出层外,其余各中间隐藏层使用相同的64个卷积核,确保隐藏层特征的通道数相同,从而匹配CBAM模块的通道注意力,其结构如图 2所示。

    图  2  残差块网络结构
    Figure  2.  Residual block network structure

    图中Conv为卷积层,BN为归一化操作,ReLU为激活函数。对于输入水下图像特征,每个残差块的计算如公式(1)所示:

    $$ {x_{{\text{res}}}} = \delta \left( {{\text{BN}}\left( {f\left( x \right)} \right)} \right) $$ (1)

    式中:xres为残差块的输出特征;δ为ReLU激活函数;f()为卷积神经网络函数;x为输入图像的特征。

    CBAM模块主要包含通道注意力模块和空间注意力模块,结构如图 3所示。利用CBAM模块从空间和通道两个维度对图像信息进行注意力感知,使模型在计算水下图像特征图的过程中,更注重于图像中目标物体特征。

    图  3  CBAM模块结构
    Figure  3.  CBAM module structure

    在CBAM模块中,对于残差块的输出特征xres,其先后分别进行通道注意力函数和空间注意力函数的计算,具体如公式(2)和公式(3)所示:

    $$ {x^{'}_{{\text{res}}}} = {F_{\text{c}}}\left( {{x_{{\text{res}}}}} \right) \otimes {x_{{\text{res}}}} $$ (2)
    $$ {x_{{\text{cbam}}}} = {F_{\text{s}}}\left( {{{x'}_{{\text{res}}}}} \right) \otimes {x^{'}_{{\text{res}}}} $$ (3)

    式中:FcFs分别为通道注意力和空间注意力函数;xcbam为CBAM模块的输出特征;⊗为乘运算。

    1)通道注意力

    通道注意力将图像特征图的每一个通道作为一个特征检测器,使模型能够感知到水下图像中的有用信息,其结构如图 4所示。首先,通过最大池化和均值池化两种方法对图像特征进行压缩,得到两种不同维度的图像特征图;然后,通过共享多层感知机(Multilayer Perceptron,MLP)计算水下图像特征图的各通道注意力权重,并使用激活函数Sigmoid进行归一化;最后,将该权重值与对应的特征图相乘,得到最终的通道注意力特征图。

    图  4  通道注意力模块
    Figure  4.  Channel attention module

    将残差模块输出的水下图像特征xres输入通道注意力模块,分别进行池化、注意力权重的计算。具体如公式(4)所示:

    $$ \begin{aligned} x_{\mathrm{c}} & =\sigma\left\{\operatorname{MLP}\left[\operatorname{AvgPool}\left(x_{\mathrm{res}}\right)+\operatorname{MLP}\left(\operatorname{MaxPool}\left(x_{\mathrm{res}}\right)\right)\right]\right\} \\ & =\sigma\left(W _ { 1 } \left(W_0\left(x_{\mathrm{avg}}{ }^\mathrm{c}\right)+W_1\left(W_0\left(x_{\max }{ }^\mathrm{c}\right)\right)\right.\right. \end{aligned} $$ (4)

    式中:σ为Sigmoid激活函数;W0W1为多层感知机的共享权重;xavgcxmaxc为经过均值池化层和最大池化层的特征图,c表示通道数。

    2)空间注意力

    在模型提取到水下图像中关键目标后,需要对目标物体进行定位。空间注意力通过构造空间注意力特征图来定位图中有效信息的位置,使模型更加关注图像中重要目标物体信息的区域,并忽略无用的干扰信息,其结构如图 5所示。

    图  5  空间注意力模块
    Figure  5.  Spatial attention module

    首先,将通道注意力模块的输出图像特征xc送入最大池化和均值池化层,沿通道方向压缩特征得到特征xmaxsxavgs;然后,拼接两种特征并输入卷积神经网络,降低特征维度;最后,使用Sigmoid激活函数归一化注意力权重,并与输入特征相乘得到最终的空间注意力特征图。具体计算如公式(5)所示:

    $$ x_{\mathrm{s}}=\sigma\left(f\left[\operatorname{AvgPool}\left(x_{\mathrm{c}}\right) ; \operatorname{MaxPool}\left(x_{\mathrm{c}}\right)\right]\right)=\sigma\left(f\left(x_{\text {avg }}{ }^{\mathrm{s}} ; x_{\max }{ }^{\mathrm{s}}\right)\right. $$ (5)

    式中:xs为空间注意力模块输出特征;f为卷积计算函数;xavgsxmaxs为经过均值池化和最大池化层后的图像特征。

    最后,通过多个残差块和CBAM模块的计算,输出最终的增强图像Ig,并与高质量的标签图像Il进行对比,利用均方误差(Mean Square Error,MSE)损失函数计算损失值并反向传播,梯度更新网络参数,具体计算如公式(6)所示:

    $$ \operatorname{loss}_{\mathrm{s}}=\mathbb{E}\left[\left\|I_1-I_{\mathrm{g}}\right\|_2\right] $$ (6)

    式中:losss为超像素图像增强模块的损失;Il为公开数据集中包含的高质量标签图像特征(即参考图像);Ig为增强后的图像特征;$ \mathbb{E} $表示对数据分布进行期望计算。

    为了能更好地关注图像中关键目标物体的边缘细节信息,本文引入边缘差分模块,构造了一种边缘差分损失。通过边缘差分损失计算原始输入图像和增强图像之间边缘细节的差距,使模型关注图像中的高频信息。

    在计算边缘差分损失时,将拉普拉斯算子作为卷积核,分别对增强后的图像和标签图像进行卷积操作。然后,利用MSE损失的计算方法计算边缘检测损失,具体如公式(7)所示:

    $$ {\text{los}}{{\text{s}}_{\text{e}}} = \mathbb{E}\left[ {{{\left\| {{I_{\text{l}}} \otimes {\text{lap}} - {I_{\text{g}}} \otimes {\text{lap}}} \right\|}_2}} \right] $$ (7)

    式中:losse为边缘差分损失;⊗为卷积操作;lap为拉普拉斯算子;$ \mathbb{E} $表示对数据分布进行期望计算。

    为了使模型学习到图像中局部与全局的信息,本文设计了一种多粒度特征重建网络,包含局部重建网络和全局重建网络,结构如图 6所示。多粒度特征重建模块通过重现原始图像特征,能够加强原始图像与增强图像之间的关系,使超像素图像增强网络学习到更多的图像信息,从而进一步优化模型的性能。

    图  6  多粒度特征重建网络模型
    Figure  6.  Multi-granularity feature reconstruction network models

    局部特征重建网络将超像素图像增强网络中最后一层隐藏层的输出特征xs作为输入,通过多头自注意力机制(Multi-Head Attention,MHA)对输入特征进行处理,并感知图像中的细节信息;然后,生成重构图像特征xrl

    MHA网络是对自注意力机制的改进,其结构如图 7所示。首先利用输入特征xs构造查询向量Q、键向量K和值向量V,并将每个向量分为多个头;然后,对于给定的查询向量,计算其与键向量之间的相似度作为注意力权重;最后,结合注意力权重与值向量得到最终的注意力特征向量,通过激活函数进行特征归一化处理,并拼接所有各个头对应的输出特征,具体计算如公式(8)~公式(11)所示:

    $$ \begin{aligned} & \boldsymbol{Q}=\boldsymbol{X}_{\mathrm{s}} \boldsymbol{W}^Q \\ & \boldsymbol{K}=\boldsymbol{X}_{\mathrm{s}} \boldsymbol{W}^K \\ & \boldsymbol{V}=\boldsymbol{X}_{\mathrm{s}} \boldsymbol{W}^V \end{aligned} $$ (8)
    $$ {\text{Attention}}\left( {\boldsymbol Q,\boldsymbol K,\boldsymbol V} \right) = {\text{soft}}\max \left( {\frac{{\boldsymbol Q{\boldsymbol K^{\text{T}}}}}{{\sqrt {{d_k}} }}} \right)V $$ (9)
    $$ \operatorname{head}_i=\operatorname{Attention}\left(\boldsymbol{Q} W_i^Q, \boldsymbol{K} W_i^K, \boldsymbol{V} W_i^V\right) $$ (10)
    $$ \boldsymbol{X}_{\mathrm{rl}}=\text { Concat }\left(\text { head }_1, \cdots, \text { head }_n\right) \boldsymbol{W}^{\rm o} $$ (11)
    图  7  多头注意力机制模块
    Figure  7.  Multi-head attention mechanism module

    式中:Xs为由隐藏层特征向量xs组成的特征矩阵;dk为键向量的维度;softmax()为归一化激活函数;headi为第i个注意力头;W为权重矩阵;Xrl为MHA的输出重建特征矩阵。

    在重构水下图像特征后,与原始输入图像的特征xw进行对比,计算局部特征重建损失lossrl,具体计算如公式(12)所示:

    $$ {\text{los}}{{\text{s}}_{{\text{rl}}}} = \frac{1}{n}\sum\limits_{j = 1}^n {\Psi \left( {x_{\text{w}}^j,x_{{\text{rl}}}^j} \right)} $$ (12)

    式中:Ψ()为欧氏距离损失函数。

    为了充分考虑水下图像的整体结构,相较于局部特征重建网络,全局特征重建网络引入了均值池化层。将水下超像素图像增强模型中最后一层隐藏层的输出特征xs,输入均值池化层处理生成图像的整体结构,并生成重构水下图像全局特征xrg,其计算如公式(13)所示:

    $$ {x_{{\text{rg}}}} = \phi \left( {{x_s}} \right) = \frac{1}{n}\sum\limits_{i = 1}^n {x_s^i} $$ (13)

    式中:ϕ()为均值池化函数。

    类似地,为了重构图像增强网络的整体特征,设计了全局特征重构损失lossrg,其计算如公式(14)所示:

    $$ {\text{los}}{{\text{s}}_{{\text{rg}}}} = \frac{1}{n}\sum\limits_{j = 1}^n {\psi \left( {x_{\text{w}}^j,x_{{\text{rg}}}^j} \right)} $$ (14)

    最后,各自的损失函数使用反向传播算法更新各自的模块参数。在4个损失计算完后,加权联合4个损失函数,并用于更新整个模型的参数,具体计算如公式(15)所示:

    $$ \operatorname{loss}_{\mathrm{m}}=\lambda \operatorname{loss}_{\mathrm{s}}+\varepsilon \operatorname{loss}_{\mathrm{e}}+\gamma \operatorname{loss}_{\mathrm{r} 1}+\eta \operatorname{loss}_{\mathrm{rg}} $$ (15)

    式中:lossm为模型总损失;λεγη分别为对应损失的权重值。

    实验采用当前流行的Pytorch深度学习框架,程序语言为Python,训练和测试使用的显卡设备为V100 32G GPU。在训练过程中,模型优化器选用的是Adam优化器,学习率初始设置为0.0002,权重衰减率值设置为0.7,学习率的衰减步长为400,训练迭代次数为2000,批处理大小设置的为30。

    在训练模型时,梯度更新模型参数的依据为最小化总损失值,即令各子损失值最小,所以各子损失函数的权重可取大于零的所有实数,无法枚举所有情况。根据经验、各损失对模型性能的影响程度和实际调试,将λεγη的比例设置为3:2:1:1。

    为了验证本文所提方法的有效性,利用峰值信噪比PSNR[17]、结构相似度SSIM[18]和无参考水下图像质量评价方法UIQM[19]对生成的水下图像进行质量评价。其中,SSIM指标主要考量了图像的亮度、对比度和结构3个方面;PSNR指标主要评价了图像中包含噪声量、图像的清晰度;UIQM指标分别从水下图像的色彩、锐度和对比度进行评估。

    本文实验采用的数据集为水下图像增强任务中常用且公开的EUVP[20]数据集和UIEB[21]数据集。本文使用了EUVP数据集中的两个子数据集(underwater-imagenet和underwater-scenes),共含有5885组参考图像,每组图像包括低质量的原始水下图像和对应高质量的标签图像。在实验中选取5300组作为训练数据集,其余585组作为测试集。此外,UIEB数据集含有890组水下图像与对应的参考图像,将其中800组图像作为训练数据,其余90组图像作为测试数据。部分样本图如图 8图 9所示,图中包含4组图像数据,每组图像中左边为真实的水下原始图像,右边为高质量的标签图像(参考图像)。

    图  8  UIEB数据集的原始图像(左)和参考图像(右)
    Figure  8.  Original image (left) and reference image (right) of the UIEB dataset
    图  9  EUVP数据集的原始图像(左)和参考图像(右)
    Figure  9.  Original image (left) and reference image (right) of the EUVP dataset

    分别与经典的传统算法和当前主流的水下图像增强模型在相同的数据集上进行了对比实验,包含UDCP(Underwater Dark Channel Prior)[22]、IBLA(Image Blur and Light Absorption)[23]、ULAP(Underwater Light Attenuation Prior)[24]、CLAHE(Contrast Limited Adaptive Histogram Equalization)[25]、UWCNN、Water-Net[21]、Ucolor和LANet(Adaptive Learning Attention Network)[26]八个对比方法,并通过PSNR、SSIM和UIQM三个指标进行了评价,实验结果如表 1所示。UDCP方法在去除浊度和颜色恢复方面的性能较差,增强后的水下图像失真严重;ULAP方法缺少颜色校正处理,增强后图像存在一定的色差;IBLA和CLAHE方法对图像的清晰度稍有提升,但对于偏蓝、偏绿的图像几乎没有改善;UWCNN模型在处理较为丰富的图像类别时,其泛化性能较差,不擅长处理色彩投射和图像细节;Water-Net模型对色偏和模糊的改善明显,但对于图像的亮度处理比Ucolor模型更差;LANet模型有效矫正了图像整体颜色的失真问题,但对于边缘信息的退化问题仍然保留。

    表  1  不同模型的增强结果对比
    Table  1.  Comparison of enhancement results of different models
    Methods PSNR SSIM UIQM
    UIEB EUVP UIEB EUVP UIEB EUVP
    UDCP 13.97 16.79 0.565 0.596 2.085 2.235
    IBLA 17.03 21.62 0.608 0.720 1.732 1.828
    ULAP 15.87 18.91 0.537 0.729 1.773 2.316
    CLAHE 17.51 19.77 0.692 0.741 2.237 2.692
    UWCNN 15.52 20.56 0.717 0.750 2.674 2.859
    Water-Net 18.59 22.72 0.749 0.818 2.686 2.811
    Ucolor 21.88 23.21 0.865 0.886 2.859 2.887
    LANet 23.96 25.53 0.835 0.873 2.835 2.932
    Ours 23.31 26.37 0.882 0.916 2.901 3.013
    下载: 导出CSV 
    | 显示表格

    本文模型对水下图像的质量有着明显的改善。在EUVP数据集上效果更为突出,PSRN、SSIM和UIQM指标分别达到了26.37、0.916和3.013,相较于对比方法中最好的LANet模型分别提升了0.84(26.37 vs 25.53)、0.043(0.916 vs 0.873)和0.081(3.013 vs 2.932)。这也验证了本文模型通过在大型数据集上学习,能够在增强图像质量方面有更好的表现。所提模型在UIEB数据集测试中,PSNR表现稍有不佳,主要原因是该数据集的水下图像数据量较少,对于本文模型的拟合程度不够,无法泛化到测试任务中。

    为了进一步验证本文模型的增强性能,图 10展示了所提模型的水下图增强效果。可以看出,通过加强对水下图像的关键目标信息、边缘信息的关注,图像的视觉效果明显改善,图像中目标的边缘细节信息有着明显的修复,且保留了原有图像的整体结构。

    图  10  水下图像增强效果
    Figure  10.  Underwater image enhancement effect

    为验证本文方法的图像增强视觉效果,选取了色偏不同、模糊度不同的5张水下图像进行了对比实验,对比效果如图 11所示。可以看出,传统方法对图像的亮度稍微有所改善,但对于图像偏色的问题几乎没有改善,并且还带来了噪声;UWCNN方法可以改善这些图像的对比度,但会引入伪影并保持类似雾霾的效果;Water-Net方法所生成的图像色彩暗淡不够明亮,且无法恢复过度偏蓝偏绿的图像;Ucolor方法和LANet方法在图像的对比度和色偏校正方面有明显效果,但部分图像过度增强,使图像中关键信息的颜色存在偏差;相比之下,本文方法改善图像中关键目标区域质量的同时提高了边缘细节信息的视觉效果,且在颜色校正、清晰度、对比度、细节保留等多方面取得较好的增强效果。

    图  11  不同方法处理的水下图像视觉对比
    Figure  11.  Visual comparison of underwater images processed by different methods

    为了验证本文所设计的每个模块对于水下图像增强的影响,设计了4组消融实验,实验结果如表 2所示,其中“Res”表示由残差块组成的超像素图像增强模块,“EDL”为边缘差分模块,“ResAtt”为在Res的基础上融合CBAM模块的超像素图像增强模型,“GR”为全局特征重建模块,“LR”为局部重建特征重建模块。

    表  2  水下图像增强模型中各模块的消融实验
    Table  2.  Ablation experiments of each module in the underwater image enhancement model
    Methods PSNR SSIM UIQM
    UIEB EUVP UIEB EUVP UIEB EUVP
    Res+EDL 17.56 21.08 0.701 0.726 2.574 2.757
    ResAtt+EDL 21.93 24.94 0.821 0.860 2.833 2.892
    ResAtt+EDL+LR 22.70 25.43 0.868 0.892 2.881 2.975
    ResAtt+EDL+GR 22.58 25.68 0.875 0.903 2.876 2.969
    ResAtt+EDL+GR+LR 23.31 26.37 0.882 0.916 2.901 3.013
    下载: 导出CSV 
    | 显示表格

    通过对比表 2中各消融实验的实验结果可知,仅包含残差模块的超像素水下图像增强模型性能不佳,主要原因是该网络对于图像中关键目标信息在通道和空间维度上的关注度不高,只对整个图像的特征图进行了粗略的学习;通过引入CBAM模块和边缘差分模块,在挖掘图像中关键内容的同时能够学习关键信息的空间位置,并增强图像中高频信息,从而改善水下图像的增强性能。此外,通过在图像增强模型中单独引入全局和局部特征重建模块的消融实验,验证了逆向重构图像特征能够保证原始输入图像的整体布局和细节结构。最后,结合两类特征重建模块,构建多粒度特征重建网络,增强隐藏层特征的整体和细节信息,取得了最好的性能。

    本文提出了一种基于注意力机制与特征重建的水下图像增强方法。主要包含超像素图像增强模块、边缘差分模块和多粒度特征重建模块。其中,通过联合残差模块和CBAM模块构造超像素图像增强模型;利用边缘差分损失来改善图像中关键目标物体的视觉效果;更重要的是,设计了多粒度特征重建模块,保证生成图像与输入图像的相似性,进一步优化模型的图像增强性能。通过在公开数据集上实验,结果验证了所提模型在图像的整体结构和细节信息方面都有着较好的增强效果。此外,本文模型在增强图像整体质量的同时,提高了图像中目标区域的对比度,为下游任务提供了理论依据,具有较高的实际应用价值。在未来的工作中,我们将进一步提高水下图像增强性能,同时,利用小样本等技术减少模型对大型数据集的依赖,减轻数据集的采集和标注工作。

  • 图  1   本文模型整体结构示意图

    Figure  1.   The overall structure diagram of the model in this paper

    图  2   残差块网络结构

    Figure  2.   Residual block network structure

    图  3   CBAM模块结构

    Figure  3.   CBAM module structure

    图  4   通道注意力模块

    Figure  4.   Channel attention module

    图  5   空间注意力模块

    Figure  5.   Spatial attention module

    图  6   多粒度特征重建网络模型

    Figure  6.   Multi-granularity feature reconstruction network models

    图  7   多头注意力机制模块

    Figure  7.   Multi-head attention mechanism module

    图  8   UIEB数据集的原始图像(左)和参考图像(右)

    Figure  8.   Original image (left) and reference image (right) of the UIEB dataset

    图  9   EUVP数据集的原始图像(左)和参考图像(右)

    Figure  9.   Original image (left) and reference image (right) of the EUVP dataset

    图  10   水下图像增强效果

    Figure  10.   Underwater image enhancement effect

    图  11   不同方法处理的水下图像视觉对比

    Figure  11.   Visual comparison of underwater images processed by different methods

    表  1   不同模型的增强结果对比

    Table  1   Comparison of enhancement results of different models

    Methods PSNR SSIM UIQM
    UIEB EUVP UIEB EUVP UIEB EUVP
    UDCP 13.97 16.79 0.565 0.596 2.085 2.235
    IBLA 17.03 21.62 0.608 0.720 1.732 1.828
    ULAP 15.87 18.91 0.537 0.729 1.773 2.316
    CLAHE 17.51 19.77 0.692 0.741 2.237 2.692
    UWCNN 15.52 20.56 0.717 0.750 2.674 2.859
    Water-Net 18.59 22.72 0.749 0.818 2.686 2.811
    Ucolor 21.88 23.21 0.865 0.886 2.859 2.887
    LANet 23.96 25.53 0.835 0.873 2.835 2.932
    Ours 23.31 26.37 0.882 0.916 2.901 3.013
    下载: 导出CSV

    表  2   水下图像增强模型中各模块的消融实验

    Table  2   Ablation experiments of each module in the underwater image enhancement model

    Methods PSNR SSIM UIQM
    UIEB EUVP UIEB EUVP UIEB EUVP
    Res+EDL 17.56 21.08 0.701 0.726 2.574 2.757
    ResAtt+EDL 21.93 24.94 0.821 0.860 2.833 2.892
    ResAtt+EDL+LR 22.70 25.43 0.868 0.892 2.881 2.975
    ResAtt+EDL+GR 22.58 25.68 0.875 0.903 2.876 2.969
    ResAtt+EDL+GR+LR 23.31 26.37 0.882 0.916 2.901 3.013
    下载: 导出CSV
  • [1]

    LIU K, PENG L, TANG S. Underwater object detection using TC-YOLO with attention mechanisms[J]. Sensors, 2023, 23(5): 2567. DOI: 10.3390/s23052567

    [2]

    LIU Z, ZHUANG Y, JIA P, et al. A novel underwater image enhancement algorithm and an improved underwater biological detection pipeline[J]. Journal of Marine Science and Engineering, 2022, 10(9): 1204. DOI: 10.3390/jmse10091204

    [3] 邓晶. 水下图像增强方法综述[J]. 电视技术, 2022, 46(12): 4-7, 13.

    DENG Jing. A review of underwater image enhancement methods[J]. Television Technology, 2022, 46(12): 4-7, 13.

    [4]

    Alenezi F, Armghan A, Santosh K. Underwater image dehazing using global color features[J]. Engineering Applications of Artificial Intelligence, 2022, 116: 105489. DOI: 10.1016/j.engappai.2022.105489

    [5]

    ZHENG M, LUO W. Underwater image enhancement using improved CNN based defogging[J]. Electronics, 2022, 11(1): 150. DOI: 10.3390/electronics11010150

    [6]

    ZHOU J, ZHANG D, ZHANG W. Underwater image enhancement method via multi-feature prior fusion[J]. Applied Intelligence, 2022, 52(14): 16435-16457. DOI: 10.1007/s10489-022-03275-z

    [7]

    Ghani A S A, Isa N A M. Underwater image quality enhancement through integrated color model with Rayleigh distribution[J]. Applied Soft Computing, 2015, 27: 219-230. DOI: 10.1016/j.asoc.2014.11.020

    [8]

    Ancuti C, Ancuti C O, Haber T, et al. Enhancing underwater images and videos by fusion[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2012: 81-88.

    [9] 王亚茹, 刘雨青, 黄璐瑶, 等. 基于卷积神经网络的水下图像增强技术研究[J]. 制造业自动化, 2023, 45(2): 65-68, 92.

    WANG Yaru, LIU Yuqing, HUANG Luyao, et al. Research on underwater image enhancement technology based on convolutional neural network[J]. Manufacturing Automation, 2023, 45(2): 65-68, 92.

    [10]

    LI C, Anwar S, Porikli F. Underwater scene prior inspired deep underwater image and video enhancement[J]. Pattern Recognition, 2020, 98: 107038. DOI: 10.1016/j.patcog.2019.107038

    [11]

    LI C, Anwar S, Hou J, et al. Underwater image enhancement via medium transmission-guided multi-color space embedding[J]. IEEE Transactions on Image Processing, 2021, 30: 4985-5000. DOI: 10.1109/TIP.2021.3076367

    [12]

    GONG T Y, ZHANG M M, ZHOU Y, et al. Underwater image enhancement based on color feature fusion[J]. Electronics, 2023, 12(24): 4999. DOI: 10.3390/electronics12244999

    [13]

    LIU R, JIANG Z, YANG S, et al. Twin adversarial contrastive learning for underwater image enhancement and beyond[J]. IEEE Transactions on Image Processing, 2022, 31: 4922-4936. DOI: 10.1109/TIP.2022.3190209

    [14]

    QI Q, LI K, ZHENG H, et al. SGUIE-Net: Semantic attention guided underwater image enhancement with multi-scale perception[J]. IEEE Transactions on Image Processing, 2022, 31: 6816-6830. DOI: 10.1109/TIP.2022.3216208

    [15]

    SUN S, WANG H, ZHANG H, et al. Underwater image enhancement with reinforcement learning[J]. IEEE Journal of Oceanic Engineering, 2024, 49(1): 249-261. DOI: 10.1109/JOE.2022.3152519

    [16]

    PENG L, ZHU C, BIAN L. U-Shape transformer for underwater image enhancement[J]. IEEE Transactions on Image Processing, 2023, 32: 3066-3079. DOI: 10.1109/TIP.2023.3276332

    [17]

    Avcibas I, Sankur B, Sayood K. Statistical evaluation of image quality measures[J]. J. Electron. Imag., 2002, 11(2): 206-223. DOI: 10.1117/1.1455011

    [18]

    WANG Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans. Image Process. , 2004, 13(4): 600-612. DOI: 10.1109/TIP.2003.819861

    [19]

    Panetta K, GAO C, Agaian S. Human-visual-system-inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2016, 41(3): 541-551. DOI: 10.1109/JOE.2015.2469915

    [20]

    Islam M J, XIA Y, Sattar J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 3227-3234. DOI: 10.1109/LRA.2020.2974710

    [21]

    LI C, GUO C, REN W, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2020, 29: 4376-4389. DOI: 10.1109/TIP.2019.2955241

    [22]

    Drews P L, Nascimento E R, Botelho S S, et al. Underwater depth estimation and image restoration based on single images[J]. IEEE Comput. Graph. Appl. , 2016, 36(2): 24-35. DOI: 10.1109/MCG.2016.26

    [23]

    PENG Y T, Cosman P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594. DOI: 10.1109/TIP.2017.2663846

    [24]

    SONG W, WANG Y, HUANG D M, et al. Arapid scene depth estimation model based on underwater light attenuation prior for underwater image restoration[C]//Proceedings of 2018 Advances in Multimedia Information Processing, 2018: 678-688.

    [25]

    Zuiderveld K J. Contrast Limited Adaptive Histogram Equalization[C]//Proceedings of the Graphics Gems, 1994: 474-485.

    [26]

    LIU S, FAN H, LIN S, et al. Adaptive learning attention network for underwater image enhancemen [J]. IEEE Rob Autom Lett., 2022, 7(2): 5326-5333. DOI: 10.1109/LRA.2022.3156176

  • 期刊类型引用(1)

    1. 张舟一帆. 基于深度学习的水下目标识别算法研究. 数字海洋与水下攻防. 2025(02): 194-203 . 百度学术

    其他类型引用(0)

图(11)  /  表(2)
计量
  • 文章访问数:  59
  • HTML全文浏览量:  5
  • PDF下载量:  24
  • 被引次数: 1
出版历程
  • 收稿日期:  2023-06-05
  • 修回日期:  2023-08-29
  • 刊出日期:  2024-09-19

目录

/

返回文章
返回