0.   引言

因为水体和漂浮粒子对光线的吸收和散射，水下成像往往产生严重的色彩偏移和较低的对比度，严重影响了水下探测、水下导航和海洋开发等应用，因此，水下图像增强非常重要。水下图像增强的主要任务是实现颜色补偿、提升图像的对比度和去模糊^[1]。水下图像增强方法主要分为两种：基于水下成像物理模型的图像复原方法与调整图像的像素值来优化颜色和对比度的图像增强方法^[2]。鉴于暗通道先验或最大强度先验的成像模型对水下图像的场景深度估计不够准确，Peng等^[3]提出基于图像模糊度和光吸收的场景深度估计方法，结合成像模型对水下图像进行恢复，但是其成像模型的泛化能力有限，对部分蓝色调或绿色调较强的水下图像的恢复效果较差。Wang等^[4]提出基于自适应衰减曲线先验的水下图像恢复方法，这种先验依赖于像素值的统计分布，假设清晰图像的所有像素可以划分为不同的聚类，每个聚类中的像素被水体衰减后，以幂函数的形式分布在一条曲线上。Peng等^[5]利用基于深度的颜色变化估计环境光，通过场景环境光差异对场景传输进行估计，以实现颜色补偿，同时结合自适应的颜色校正恢复图像的对比度，但是难以有效去除多样化的水下场景图像的颜色失真。Lin等^[6]将水下图像分解为结构层和纹理层，用红蓝暗通道先验对结构层进行恢复，用细节提升算法对纹理层进行锐化。水下图像的复原方法存在的问题为：水下图像成像模型和先验知识的可靠性难以保证，基于物理模型的水下图像复原方法在复原不同环境、不同色调和不同目标的水下图像时存在明显的局限性。

Chiang等^[7]采用波长补偿技术实现水下图像的颜色校正，通过去雾实现对比度的提升。黄冬梅等^[8]充分利用颜色模型和水下图像的特征，在不同颜色模型下对各图像分量分别进行自适应的直方图拉伸。其基于自适应区间的直方图拉伸能在提升图像对比度的同时，校正图像的颜色偏差。Zhang等^[9]基于Retinex理论框架，根据每个通道的特征，在CIELAB颜色空间中对图像的3个通道组合使用双边滤波和三边滤波，以改善水下图像的视觉效果。但是其缺乏有针对性的颜色校正，增强图像偏蓝、绿色调。史金余等^[10]用白平衡算法对图像进行颜色校正，用对比度受限的自适应直方图均衡化和Gamma校正分别增强图像的低频和高频部分，但是其根据经验定义Gamma公式以及Gamma指数，缺乏鲁棒性。Ulutas等^[11]用对比度限制的自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）对水下图像进行对比度提升和颜色校正，但是基于CLAHE的颜色校正脱离水下图像的颜色特征，校正后的颜色效果与自然颜色还是有一定的差距。

近年来，深度学习大大提升了计算机视觉的性能，包括水下图像增强。Guo等^[12]提出一种多尺度密集生成对抗性网络以增强水下图像，在生成器中用残差多尺度密集块渲染图像细节，以提升图像的增强效果。Li等^[13]提出一种用于增强真实水下图像的融合对抗性网络，其中的多项对抗损失不仅可以引入多图像特征，还可以平衡多项损失函数的作用。但是，由于训练数据不足和网络模型的任务特性，基于深度学习的水下图像增强方法难以有效应对多样化的水下图像，其泛化能力有限^[14]。

现有的水下图像增强方法存在缺乏鲁棒性、颜色校正不准确、对比度不高和泛化能力差等缺陷。因此，为了进一步改善水下图像的颜色以及提升其对比度和清晰度，提出了改进直方图匹配和自适应均衡的水下图像增强方法。以最大像素均值的通道图像的直方图为基准，对各通道图像分别进行直方图匹配。该方法能鲁棒地实现水下图像的颜色校正，能适用于各种不同的水下图像，具有较好的泛化能力。另外，充分利用HSI颜色空间中颜色分量与明度分量的独立性，用自适应的局部直方图均衡化对明度分量进行处理，进一步提升水下图像的对比度和清晰度。用主、客观的实验结果证明了提出方法相对于部分现有方法的有效性和优越性。

1.   基于最大通道均值的直方图匹配

由于水体以及水体中的漂浮粒子等对光线的吸收和散射，在一定程度上削弱到达传感器的光线强度。其中波长较长的红光衰减较为明显，绿光和蓝光次之，因此水下成像往往呈现绿、蓝色调。而根据对大量的亮度适宜、对比度和清晰度较高的空气成像的实验和观察，得出以下结论：

1）红、绿和蓝三通道图像的直方图分布大体上是一致的，之间的差别非常小。

2）通道图像的直方图充分利用整个灰度级动态空间，体现出较高的图像对比度和清晰度。

3）通道图像的直方图的均值一般处于灰度级水平轴的中间或中间稍微偏右，体现在适宜的图像亮度。

一张亮度适宜、对比度和清晰度较高的空气成像与其通道图像的直方图如图 1(a)所示，其严格遵守了以上3个结论。

图  1  空气成像与水下成像的直方图分布

Figure  1.  Histogram distribution of air imaging and underwater imaging

下载: 全尺寸图片 幻灯片

如图 1(b)所示，水下成像时，红色通道图像衰减最大，其信号强度较小，对应的直方图分布偏向灰度值较小的灰度级范围。而绿色和蓝色通道图像也有衰减，但是相对较小，在一定程度上能保持正常的图像信号强度，其对应的直方图能大致地分布于大部分的灰度级范围，所以绿色和蓝色通道图像的效果相对较好。因此，可以将绿色或蓝色通道图像的直方图作为基准，对其它两个通道图像进行直方图校正。一般地，像素均值较大的通道图像，其信号强度也较大，采用信号强度较大的通道图像作参照，对其它两个通道图像进行直方图校正，能更有效地恢复图像的信号强度，从而更有效地改善图像的亮度、对比度和清晰度。

根据以上分析，为了实现三通道图像的直方图大致一致，且保证图像信号有足够的强度，本文提出了基于最大通道均值的直方图匹配，以校正图像的颜色偏差，同时在一定程度上提升图像的亮度和对比度。均值最大的通道图像，水体对其造成的衰减和散射最少，图像信号的强度最大，能近似表示其它两个通道图像在没有衰减和散射情况下的信号分布和信号强度。

令水下图像f为L灰度级，具体方法如下：

1）选择像素均值最大的通道图像的直方图作为目标直方图：

式中：f_R、f_G和f_B分别为红色、绿色和蓝色通道图像；h_R、h_G和h_B分别为对应的直方图。

2）将直方图h_k (k∈{R、G、B、T})归一化，其中运算|E|为统计集合E的元素数：

3）对各通道图像进行直方图均衡化，得到灰度级x的均衡化映射函数S_k(x)：

4）将均值最大的通道图像的均衡映射函数S_T存储在一个表中，对于每一个值S_k(x)（k∈{R, G, B}, x＝0, 1, …, L－1），在S_T中查找与S_k(x)最接近的S_T(y)，并存储映射：

5）根据映射y_k(x)，分别将通道图像f_k（k∈{R, G, B}）中的像素x（x＝0, 1, …, L－1）映射为y_k(x)，得到直方图匹配后的图像：

式中：==表示比较运算。

假设图像的灰度级为L＝8，基于最大通道均值的直方图匹配的效果如图 2所示。经过直方图匹配之后的图像，其直方图的分布和像素强度的特征与目标直方图较为接近。

图  2  直方图匹配的效果

Figure  2.  Effect of histogram matching

下载: 全尺寸图片 幻灯片

2.   自适应的局部直方图均衡化

经过最大通道均值的直方图匹配的水下图像，其颜色得到了校正，亮度和对比度也得到了一定程度的改善，但是因为水体本身和水中悬浮的颗粒对光线的吸收和散射，红、绿、蓝色光均有一定程度的衰减，其中红色光衰减较大，会造成图像的雾霾效果，图像的清晰度较低，如图 3(b)所示。

图  3  直方图匹配和局部直方图均衡化的效果

Figure  3.  Effect of histogram matching and local histogram equalization

下载: 全尺寸图片 幻灯片

直方图均衡可以提升图像的对比度，但是直方图均衡是全局性的，像素被基于整张图像的灰度分布的变换函数修改，于是部分局部像素的影响在全局的变换计算中被忽略了，并且会产生局部的欠增强和过增强。另外，直方图均衡会忽略最小的灰度级0，均衡后的图像没有真正的黑色像素，部分像素只是近似为黑色。

RGB颜色模型为混合颜色模型，如果继续对通道图像进行处理，势必会破坏图像的颜色。而HSI颜色模型为独立模型，将图像分为色调H、饱和度S和明度I三种基本特征量，其中色调H决定图像的颜色，饱和度S决定图像的颜色深浅和鲜艳程度，而明度分量I决定图像的亮度和对比度，3个特征量相互独立，可对各自进行处理而互不干扰。图像从RGB颜色空间转换到HSI颜色空间的定义为^[15]：

式中：$ \theta = \arccos \frac{{(R - G) + (R - B)}}{{2\sqrt {{{(R - G)}^2} + (R - B)(G - B)} }} $

为了在保持图像的颜色信息的同时，去除图像的雾霾效果、提升图像的对比度和清晰度，借鉴直方图均衡和充分利用HSI颜色模型的特征量的独立性，提出了自适应的局部直方图均衡化方法。先将经颜色校正的水下图像f转换到HSI颜色空间，在保持其色调分量H和饱和度分量S不变的同时，对明度分量I进行自适应的局部直方图均衡化处理。

令I(p)为图像I中像素p的灰度，N_p(r)为以像素p为中心的大小为r×r的矩形邻域，自适应的局部直方图均衡化的具体步骤如下。

1）根据式(6)~(8)，将图像f转换到HSI空间，得到色调分量H、饱和度分量S和明度分量I。

2）明度分量I中的每个像素p，分别进行以下局部直方图均衡处理。

3）统计图像区域N_p(r)的局部直方图h_p，并进行归一化：

4）对图像区域N_p(r)进行直方图均衡化，得到灰度级x的均衡化映射函数S_p(x)：

5）根据映射S_p(x)，将中心像素p的灰度映射为：

式中：find(X, 1)表示查找序列X中第一个非0元素的索引，式(11)特别地将最小的灰度值映射为灰度0，保证均衡化后的灰度跨越整个灰度空间[0, L－1]。

6）将色调分量H、饱和度分量S和局部均衡处理后的明度分量I转换到RGB颜色空间，得到增强的水下图像。

自适应的局部直方图均衡化方法根据图像每个像素p的邻域中的灰度分布分别设计变换函数，仅对当前像素p进行灰度映射，避免了全局直方图均衡化的欠增强和过增强效果，同时克服了其忽略最小灰度值0的缺陷，均衡后的图像的灰度级跨越更宽的灰度级范围，最终的结果是增强了对比度和清晰度，去除了水下图像的雾霾效果。

如图 3(c)所示，经最大通道均值的直方图匹配处理后的图像，颜色得到了校正，亮度和对比度也得到了一定程度的改善，但是有雾霾效果，图像的清晰度不高。再进一步经自适应的局部直方图均衡化增强后的图像，消除了雾霾效果，清晰度较高。

3.   实验验证与分析

在硬件为Intel i5-12400F CPU和8 GB RAM、系统为Win10，Matlab 2021a的台式计算机上，根据图像的视觉感知、信息熵、平均梯度、水下图像质量指标^[16]和结构相似性指数，将本文方法与最新的文献[6]、[10]、[11]和[13]中提出的方法进行实验比较和分析，验证本文方法的有效性和实用性。所用的水下图像选自UIEB数据集^[17]。

3.1   视觉感知

从增强图像的视觉效果上，可以综合地感知图像的色彩自然度、亮度、对比度和清晰度，类似于UIQM，但视觉感知从主观角度评价，UIQM从客观的角度评价。各算法对部分水下图像的增强效果如图 4所示，其中第一列为7张原水下图像，第二、三、四、五和六列分别为文献[6]、[10]、[11]、[13]方法和本文方法的增强效果图。

图  4  水下图像增强的视觉效果

Figure  4.  Visual effect of enhanced underwater images

下载: 全尺寸图片 幻灯片

文献[6]方法的增强效果相对较好，增强图像的色彩较自然、对比度和清晰度较高，但是图像的亮度整体偏暗，部分微小的细节信息未能充分显示。文献[10]方法的增强效果相对较差，虽然在一定程度上对图像的颜色进行了校正，但是颜色的纯度低、色调偏灰色，缺乏层次感；另外，图像的雾霾效果依然明显，其对比度和清晰度偏低，特别是对场景四、六和七，其雾霾效果尤为明显。文献[11]方法的增强效果处于中等水平，增强图像的对比度和清晰度较高，但是部分区域产生了过增强，特别是场景一和场景二的前景部分、场景五和场景六的背景部分，过增强效果较为明显；另外，颜色补偿后产生了过饱和，色彩过鲜艳，部分图像区域的颜色偏离了场景和实物原本的颜色。文献[13]方法的增强效果处于中等水平，其明显的缺陷是增强图像的亮度偏暗，其中场景一的颜色欠饱和效果较为明显。

相对地，本文方法有效地校正了水下图像的颜色，与场景、实物和人物原本的颜色基本上一致，饱和度适中，色彩较自然；基本上去除了雾霾效果，图像的对比度和清晰度较高，原本因为雾霾效果而被隐藏的部分细节得以正常显示。只是对场景二背景中的水泡会产生一些放大噪声的效果，这是由自适应的局部直方图均衡化处理所致。局部直方图均衡化能够提升图像的局部对比度，因为场景二含有大量的小水泡，提升小水泡的清晰度的同时，会附带有部分噪声。与增强效果相对较好的文献[6]方法相比，两者相差不大，都能有效地校正了颜色，但是在亮度的适宜度和细节信息的清晰度上，本文方法稍微优于文献[6]方法。

3.2   信息熵

信息熵表示图像的有效信息量和细节信息的丰富程度；其值越大，图像的有效信息越多，纹理结构和细节信息越丰富。各方法对图 4所示的水下图像进行增强后，对应的信息熵如图 5所示。一般地，因为色偏以及雾霾效果，水下图像的有效信息量较低，经各方法的色彩校正和对比度提升后，信息含量均有不同程度的提升。文献[10]方法的信息熵较低，特别地，其对场景二增强后的信息熵比原水下图像还低。文献[11]方法因为产生过增强以及颜色过饱和，部分图像信息被破坏，其对应的信息熵相对偏低。文献[13]方法因为亮度偏暗影响了图像信息的显示，其信息熵处于中等水平。文献[6]方法的信息熵相对较高，而本文方法的信息熵高于其它方法。

图  5  水下图像增强的信息熵

Figure  5.  Information entropy of enhanced underwater images

下载: 全尺寸图片 幻灯片

3.3   平均梯度

平均梯度表示图像的局部灰度差，反映图像的对比度和清晰度，其值越大，图像的对比度越高，纹理结构和细节信息越清晰。但是放大噪声和过增强也会增大图像的平均梯度，需结合图像的视觉效果进行比较。各方法对图 4所示的水下图像进行增强后，对应的平均梯度如图 6所示。文献[10]方法因为色彩偏灰色，对比度偏低，其平均梯度较低。文献[13]方法因为亮度偏暗，对比度受到影响，其对应的平均梯度处于中等水平。文献[6]方法的平均梯度较高，而文献[11]方法和本文方法的平均梯度最高，明显高于其它方法，两者差别不大。但是结合图 4可知，文献[11]方法产生了明显的过增强，过增强会拉大像素之间的差距，导致其平均梯度较高。

图  6  水下图像增强的平均梯度

Figure  6.  Average gradient of enhanced underwater images

下载: 全尺寸图片 幻灯片

3.4   UIQM

UIQM是专门度量水下图像质量的指标，UIQM将色彩指标、清晰度指标和对比度指标进行线性加权组合，能较准确地评价水下图像的质量；UIQM值越大，水下图像的整体质量越好。各方法对图 4所示的水下图像进行增强后，对应的UIQM如图 7所示。文献[10]方法的UIQM值较低，对水下图像的整体增强性能不理想。文献[6]、[11]和[13]方法的UIQM值之间相差不大，但是总体上以文献[6]方法最高、文献[11]和[13]方法次之。相对地，本文方法的UIQM值高于其它方法，整体的增强效果更优。

图  7  水下图像增强的UIQM

Figure  7.  UIQM of enhanced underwater images

下载: 全尺寸图片 幻灯片

3.5   SSIM

SSIM是有参度量指标，度量增强图像与参考图像在纹理结构上的相似性，值越大，两图像越相似。对于图 4中的水下图像，其中场景二、三、四和五有参考图像，各方法对应的SSIM值如表 1所示。其中，文献[10]方法的SSIM值较小，这是由图像较暗的亮度所致。文献[13]方法的SSIM值相对偏低，很明显，其亮度和对比度不高。文献[11]方法的SSIM值处于中等，虽然其图像的清晰度较高，但是产生了部分过增强和颜色过鲜艳，破坏了部分图像信息。文献[6]方法的SSIM值相对较高。本文方法高于所有方法，其对图像的纹理结构和细节信息恢复得较好。

表  1  水下图像增强的SSIM

Table  1.  SSIM of enhanced underwater images  %

Scene	Original	Ref.[6]	Ref.[10]	Ref.[11]	Ref.[13]	Proposed
Two	75.4	94.8	82.9	87.3	84.7	95.2
Three	66.1	87.5	78.3	85.9	84.5	89.3
Four	72.2	95.2	86.3	87.4	88.4	98.6
Five	76.6	87.7	85.4	82.9	86.9	89.4

下载: 导出CSV 

| 显示表格

3.6   与基准方法的比较

文献[17]除了构建一个数据集UIEB之外，还根据构建的数据集提出了一种基于卷积神经网络的水下图像增强模型Water-Net，作为水下图像增强的基准方法。将本文方法与Water-Net应用于部分水下图像，得到的效果如图 8所示，其中Water-Net的结果图像采自于原文数据。图 8的第一行为原水下图像，第二行和第三行分别为本文方法和Water-Net的增强图像。通过仔细的对比，两种方法的增强效果相差不大，各有特色。总体上，本文方法的增强图像对比度和清晰度稍高，但是色彩偏鲜艳，而Water-Net的增强图像的色彩较真实自然，但是对比度和清晰度相对偏低。

图  8  本文方法与基准方法Water-Net的增强效果比较

Figure  8.  Comparison of enhancement effects between the proposed method and the benchmark method Water-Net

下载: 全尺寸图片 幻灯片

根据以上对主观的视觉感知和客观的信息熵、平均梯度、UIQM和SSIM的比较分析可知，本文方法能更有效地对水下图像进行颜色校正，恢复颜色的自然度，且在避免欠增强和过增强的同时，更好地提升图像的对比度和清晰度，图像的纹理结构和细节信息更丰富。

4.   结论

为了有效地改善水下图像的颜色和进一步提升图像的对比度和清晰度，提出了改进直方图匹配和自适应直方图均衡的水下图像增强方法。以像素均值最大的通道图像的直方图作为基准，对通道图像分别进行直方图匹配；在HSI颜色空间中对明度分量I进行自适应的局部直方图均衡化。主、客观的实验数据和比较分析证明了本文方法相对于部分现有方法的有效性和优越性，本文方法具有更好的水下图像增强性能。将本文方法作进一步的改进，用于红外图像增强和图像超分辨率重建，是课题组下一步的研究工作。