Mimic Fusion Method for Differences in Dual-Mode Infrared Images
-
摘要: 针对传统融合方法无法根据双模态红外图像差异特征的不同选择有效的融合策略的问题，提出了一种面向红外光强与偏振图像差异的拟态融合方法。首先计算图像特征差异度对差异特征进行粗筛，制定主差异特征类型的选取规则来确定图像组的主差异特征；然后构造特征融合度，以建立差异特征与拟态变元集中各层变元的映射，确定变元分层结构；最后在变元分层结构选择主差异特征类型的各层变元，比较不同拟态结构变元组合时差异特征的特征融合度，确定其最大值占比最高的拟态结构，形成变体。实验结果表明，经主观分析本文方法结果的视觉效果比对比方法结果的效果更优；经客观评价本文方法结果均为有效融合，因此本文方法实现了对融合策略的自适应选择并提高了图像的融合质量。Abstract: Traditional fusion methods cannot select an effective fusion strategy based on the different characteristics of dual-mode infrared images. A mimic fusion method for the difference between the infrared intensity and polarization images was developed in this study. First, the degree of difference between image features was calculated to roughly screen the difference features, and the selection rules of the main difference feature types were formulated to determine the main difference features of the image groups. Next, the degree of feature fusion was constructed to establish the mapping between the difference features and variables in each layer of the mimic variable set and to determine the hierarchical structure of the variables. Finally, in the hierarchical structure of the variables, the variables of each layer of the main difference feature type were selected. The degrees of feature fusion of the difference features between combined variables of different mimic structures were compared to determine the mimic structure with the highest proportion of its maximum value and form a variant. The experimental results show that the visual effect of the proposed method was better than that of the comparison method after a subjective analysis. After objective evaluation, the results obtained using the proposed method indicate effective fusion. Therefore, this method realizes adaptive selection of the fusion strategy and improves image fusion quality.
-
0. 引言
21世纪是人类对海洋资源进行开发与利用的新时代，海洋对国家整体安全的保护、经济社会的发展具有重要的战略意义，以海洋为载体和纽带的市场、文化等合作越来越密切，全球的海洋强国和周边国家都在新的形势下制订了自己的海洋战略与计划，加速向海洋布局。水下图像作为水下智能获取信息最直观、最高效的方式，在探测的过程中发挥着不可替代的作用。由于水下复杂的物理特性，当光在水中传播时，不同颜色的波长会遭受不同程度的衰减从而引起水下图像的颜色失真问题[1]。另外，悬浮颗粒（诸如浮游植物）会散射传播在物体与相机之间的光，导致图像呈现低对比度和模糊效果[2]。这些典型的退化对水下任务提出挑战。高质量的水下图像为目标检测和识别等任务提供基础支撑，在水下机器人视觉导航、海洋生物识别、海洋文化推广、渔业、生态监测、油气开发等领域有着广泛的应用。因此，研究一种有效的水下图像增强算法具有重要的意义。
为推动水下图像增强技术的发展，国内外学者纷纷开展对水下增强技术的研究与探讨。水下图像增强技术大致可分为两类：第一类是基于非物理模型的方法，该类算法通过对水下图像处理来提高像素值，加强对比度等，从而实现良好的视觉效果。第二类是基于物理模型的图像恢复方法，该方法充分考虑了水下图像的降质过程。基于非物理模型的方法如直方图均衡化、Retinex分解、图像融合等，例如，Zhou等人[3]提出了一种多区间子直方图均衡化方法，该方法对每个子直方图进行直方图均衡化，以提高图像对比度。Zhuang等人[4]提出了一种超拉普拉斯反射先验启发的Retinex变分模型来增强水下图像。Ancuti等人[5]引入一种新的红色通道补偿算法对权重进行修正，并采用金字塔融合策略来融合伽马校正图像和锐化图像，该技术补偿了水下图像由于光的散射引起的颜色失真，有效地提高颜色的真实性，同时提高整体对比度。非物理模型方法可以在一定程度上增强水下退化图像的视觉效果。然而，由于未考虑光学成像模型，忽略了退化与场景距离之间的关系，在一些复杂的水下场景中导致图像曝光不足的暗区域增强效果不佳。
基于物理模型的水下图像增强方法通过建立数学模型，估计模型参数，对退化过程进行逆处理，最终得到高质量的水下图像。由于光在雾中传播与水下传播的相似性，He等人[6]将暗通道先验（Dark Channel Prior，DCP）原理应用于图像去雾，并在大气中取得了出色的效果。然而，由于该方法忽略了水中光的波长依赖性吸收，无法恢复水下图像的可见性。Drews等人[7]提出一种改进的暗通道先验水下图像增强方法，通过观察水下图像红通道中吸收率的相关性，实现对图像的恢复和深度估计，该方法比传统DCP方法能够更好地估计透射率，但是当使用人造光源进行照明时此方法无效。Ma等人[8]提出了暗通道先验和灰度世界方法相结合的水下图像去模糊方法，但得到的图像亮度较低。Berman等人[9]提出一种基于雾霾线的水下图像颜色恢复方法。该方法将图像的复原问题归结为单幅图像的去模糊问题，通过估计蓝红和蓝绿两个额外全局参数的衰减率，从而降低问题的复杂性。Muniraj等人[10]通过使用每个通道的强度差异来估计透射图的深度，但是处理步骤复杂。Xu等人[11]引入了基于暗通道先验的深度颜色相关的概念，嵌入了多尺度去雾和去噪模块，有效解决图像模糊和噪声干扰。上述方法中，颜色校正的效果不突出，同时未考虑到水下复杂光照情况下只采用暗通道先验会导致的透射率估计不准确的问题。
随着深度学习技术的发展，以深度学习为基础的水下图像增强技术得到越来越多的关注。Liu等人[12]提出了一种基于条件生成对抗网络（GAN）的多尺度特征融合网络，用于水下图像色彩校正。首先提取多尺度特征，然后用全局特征增强每个尺度的局部特征。这种设计经过验证可以促进更有效和更快的网络学习，从而在色彩校正和细节保留方面获得更好的性能。Li等人[13]提出了一种轻量级CNN模型（水下卷积神经网络，UWCNN），该模型利用水下场景和卷积神经网络的先验知识来学习退化图像和清晰图像之间的差异，处理水下图像和视频任务。Zhou等人[14]提出了一种新颖的跨域增强网络（CVE-Net），它使用高效特征对齐来更好地利用相邻特征。尽管现有的基于深度学习的水下图像增强方法已经取得了显著的改进，但它们仍然需要受到可用数据集的限制。同时一些深度学习方法无法平衡好校正色偏和增强清晰度两个方面。
针对以上存在的问题，本文提出了基于颜色校正和暗亮双通道先验的水下图像增强算法。将水下图像增强算法分为3个子问题：颜色校正、低对比度增强和可见度恢复。首先，针对水中介质对光的选择性吸收作用导致色偏，提出了基于标准差比的颜色补偿算法；其次，针对散射引起的对比度下降的问题，利用锐化算法增强水下图像的对比度；针对水中介质对光的散射作用引起的能见度下降的问题，提出一种结合亮暗双通道的能见度恢复算法，以增强水下增强图像的能见度；最后，将对比度增强图像和可见度恢复图像作为两幅输入图像，分别计算他们的拉普拉斯权重、局部对比度权重、饱和度权重和曝光权重，通过多尺度融合实现水下对比度增强和可见性恢复图像之间的互补优势。最后结合主客观评价，以验证所提方法的有效性。
1. 水下成像模型
在水下环境中，光的传播过程与在空气中类似。根据Jaffe-McGlamery模型，如图 1所示，当光线在水下场景中传播时，相机主要接收由3个分量产生的光线：直射分量、前向散射分量、后向散射分量[15]。直射分量，即相机直接接收的光能量；前向散射分量，指经由微小颗粒和水体或水流不可避免的运动引起散射后达到相机的光；后向散射分量，指由浮动颗粒部分反射的环境光。水下成像过程可以被表示为这3个分量的线性叠加[16]，该模型可以表示为：
$$ E_{\mathrm{T}}(x)=E_{\mathrm{d}}(x)+E_{\mathrm{f}}(x)+E_{\mathrm{b}}(x)$$ (1) 根据文献[17]，大部分退化是由后向散射引起的，这意味着前向散射可以忽略不计。直接散射定义为：
$$ E_{\mathrm{d}}(x)=J(x) t(x)=J(x) \mathrm{e}^{-\beta d(z)} $$ (2) 式中：J(x)是物体的场景辐射；d(z)是视觉设备与物体之间的距离；β是衰减系数；e－βd(z)是水下介质中的透射率。
后向散射分量是由物体表面反射的自然光或人造光引起的，会导致水下图像中的颜色失真。后向散射分量Eb(x)表示为：
$$ E_{\mathrm{b}}(x)=A(1-t(x)) $$ (3) 因此，可以将式(1)中所示的成像模型改写为：
$$ I(x)=J(x) t(x)+A(1-t(x)) $$ (4) 式中：x表示像素，I(x)是观察到的模糊图像；J(x)是要恢复的图像；A是背景光，t(x)∈[0, 1]是介质透射图，其表示场景辐射到达相机的百分比。
2. 本文算法
本文算法主要由3部分组成，首先提出基于标准差比的颜色补偿算法，得到颜色校正后图像；其次对该图像分别进行低对比度增强和去模糊，最后将对比度增强图像和可见度恢复图像进行融合，得到最终增强图像。本文算法的流程图如图 2所示。
2.1 基于标准差比的颜色补偿算法
由灰度世界假设算法[5]可知，图像的每个通道在衰减之前具有相似的灰度均值和直方图分布。由于水中介质对不同颜色光的吸收作用存在差异，这导致水下图像的各个通道都经历了不同程度的衰减。然而，传统的灰度世界方法并没有充分考虑不同通道之间的衰减差异，这就可能导致对于颜色的过度或不足校正，进而不能有效解决颜色失真的问题。为了有效解决颜色失真的问题，本文引入亮度通道作为参考通道对颜色进行初步补偿，亮度通道为像素强度最大的通道，其计算过程定义为：
$$ I_{\mathrm{l}}(i, j)=\max \left\{I_{\mathrm{r}}(i, j), \quad I_{\mathrm{g}}(i, j), \quad I_{\mathrm{b}}(i, j)\right\} $$ (5) 式中：Il(i, j)表示亮度；Ir，Ig，Ib分别表示红绿蓝三通道。计算出每个通道的平均通道值：
$$ {\bar I_c} = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{I_c}\left( {i,j} \right)} } ,c \in \left\{ {l,r,g,b} \right\} $$ (6) 式中：M和N分别是每个输入通道的高度和宽度，以亮度通道作为参考值，对红绿蓝三通道进行补偿。受文献[18]启发，虽然颜色通道具有相同的均值，但它们的标准差可能不同。因此，仅通过考虑平均值的差异来补偿颜色通道是不够的。在本文中，提出了一种基于标准差比的颜色补偿算法，公式表示为：
$$ \left\{ {\begin{array}{*{20}{c}} {I_{\text{r}}^C\left( {i,j} \right) = {I_{\text{r}}}\left( {i,j} \right) + \frac{{{\sigma _{{I_{\text{l}}}}}}}{{{\sigma _{{I_{\text{r}}}}}}} \times \left( {{{\bar I}_{\text{l}}} - {{\bar I}_{\text{r}}}} \right) \times \left( {1 - {{\bar I}_{\text{r}}}} \right) \times {I_{\text{l}}}\left( {i,j} \right)} \\ {I_{\text{g}}^C\left( {i,j} \right) = {I_{\text{g}}}\left( {i,j} \right) + \frac{{{\sigma _{{I_{\text{l}}}}}}}{{{\sigma _{{I_{\text{g}}}}}}} \times \left( {{{\bar I}_{\text{l}}} - {{\bar I}_{\text{g}}}} \right) \times \left( {1 - {{\bar I}_{\text{g}}}} \right) \times {I_{\text{l}}}\left( {i,j} \right)} \\ {I_{\text{b}}^C\left( {i,j} \right) = {I_{\text{b}}}\left( {i,j} \right) + \frac{{{\sigma _{{I_{\text{l}}}}}}}{{{\sigma _{{I_{\text{b}}}}}}} \times \left( {{{\bar I}_{\text{l}}} - {{\bar I}_{\text{b}}}} \right) \times \left( {1 - {{\bar I}_{\text{b}}}} \right) \times {I_{\text{l}}}\left( {i,j} \right)} \end{array}} \right. $$ (7) 式中：$ {\sigma _{{I_k}}} $, k∈{l, r, g, b}表示对应的标准差。
进一步采用线性拉伸方法做简单有效的直方图拉伸，使所用像素覆盖图像的整个动态范围。其线性拉伸方法定义为：
$$ I_c^{{\text{CR}}} = \left( {I_c^C - I_c^{\min }} \right) \times \frac{{I_o^{\max } - I_o^{\min }}}{{I_c^{\max } - I_c^{\min }}},c \in \left\{ {{\text{r,g,b}}} \right\} $$ (8) 经过颜色通道补偿后，图像的亮度可能会降低，需要引入伽马校正提高图像的亮度。然而，传统的伽马校正方法采用固定的参数γ，当γ＜1时，图像整体亮度增加，当γ＞1时，图像整体亮度减少。水下图像存在光照不均匀的情况，若采用传统的伽马校正虽然能校正曝光不足图像，但是会导致一些图像过度曝光，为适用于水下不同图像，本文采用自适应权重伽马校正[19]提高图像的整体亮度：
$$ T\left( l \right) = {l_{\max }}{\left( {\frac{l}{{{l_{\max }}}}} \right)^{\gamma \left( l \right)}} = {l_{\max }}{\left( {\frac{l}{{{l_{\max }}}}} \right)^{1 - {\text{cdf}}\left( l \right)}} $$ (9) 式中：cdf(l)表示图像的累积分布函数，将其作为伽玛校正参数就能自适应地增强图像亮度，同时又避免了过度曝光的问题。经颜色校正后的结果如图 3所示。
可以看出，原始图像的灰度直方图分布较集中，且范围较窄，红通道衰减严重，经颜色校正后，直方图覆盖范围广，三通道都较均衡，图像色彩好。
2.2 低对比度增强
经过颜色校正后，还原了图像的真实颜色，但是水下图像还存在对比度和可见度低的问题。因此，利用文献[5]中提出的锐化方法，对颜色校正后的图像进行细节信息增强，得到对比度增强的图像，将该图像作为多尺度融合的输入图像，其计算表达式如下：
$$ I_{\mathrm{s}}=(I+\psi\{I-G \otimes I\}) / 2 $$ (10) 式中：ψ{⋅}表示线性归一化算子；Is表示得到锐化后的图像；G为高斯滤波。
2.3 改进的暗亮双通道去模糊算法
由公式(4)可知，水下图像去模糊的任务是估计背景光A和透射率t(x)，得到待恢复图像。由于在水下尤其是深海域，通常存在人造光和自然光的混合光照导致不均匀的光照，与白天的单一强光源（太阳光）不同，A不是一个全局向量，而是一个空间变化的映射。基于上述分析，将公式(4)改写为：
$$ I(x)=J(x) t(x)+A(x)(1-t(x)) $$ (11) 2.3.1 背景光
背景光在水下图像复原中起着至关重要的作用，它将直接影响恢复图像的质量。求取背景光的典型方法是选择图像中最亮的像素。首先在暗通道中获得最亮的前0.1%像素，再选取亮度最大的像素作为背景光。但由于采用基于场景的假设，该方法容易受到白色物体和光的干扰，导致估计不准确，恢复图像的颜色不真实。为提高准确性，采用引导滤波来求取背景光，其表达式为：
$$ A(x)=a_k I(x)+b_k, x \in w_k$$ (12) $$ E\left( {{a_k},{b_k}} \right) = \sum\limits_{x \in {w_k}} {\left( {\left( {{a_k}I\left( x \right) + {b_k} - {p_i}} \right) + \lambda a_k^2} \right)} $$ (13) $$ {a_k} = \frac{{\frac{1}{{\left| \omega \right|}}\sum\limits_{x \in {\omega _k}} {I\left( x \right){p_k} - {\mu _k}{{\bar p}_k}} }}{{\sigma _k^2 + \lambda }} $$ (14) $$ {b_k} = {\bar p_k} - {a_k}{\mu _k} $$ (15) 式中：μk和σk2是图像I在ωk内的均值和方差；|ω|是ωk窗口中包含的全部像素。
引导滤波在平滑图像的同时能够保留图像的边缘信息。在图像的不同区域存在不同的光照条件，因此引导滤波能够在保留边缘信息的同时准确估计背景光。
2.3.2 透射率
与白天捕获的模糊图像不同，水下模糊图像中通常存在人造光和自然光的混合光照导致不均匀的光照，以往的研究试图使用一个图像先验处理这两个不同的区域，如水下暗通道先验[20]，但效果不佳，因为暗通道先验对白色区域和光源区域是无效的。因此，提出了一种将暗通道先验与亮通道先验（Bright Channel Prior，BCP）相结合的互补先验。直观地，光源像素经常包含具有高强度值的一个颜色通道，例如白色光中的所有颜色通道、黄色光中的红色或绿色通道、蓝色光中的蓝色通道等。在使用引导滤波获得背景光A之后，先通过应用DCP和BCP来计算对应的传输映射tDCP(x)和tBCP(x)，公式如下：
$$ {t_{{\text{DCP}}}}\left( x \right) = 1 - \max \left( {\mathop {\min }\limits_{c \in \left\{ {r,g,b} \right\}} \frac{{{I^c}\left( x \right)}}{{{A^C}\left( x \right)}}} \right) $$ (16) $$ {t_{{\text{BCP}}}} = \min \left( {\mathop {\max }\limits_{c \in \left\{ {r,g,b} \right\}} \frac{{{I^c}\left( x \right) - {A^C}\left( x \right)}}{{1 - {A^C}\left( x \right)}}} \right) $$ (17) 如何将tDCP(x)和tBCP(x)融合决定着透射率估计的准确性，一种方法是用清晰的边界线分割出图像中的光源和非光源区域，然而边界附近的像素很难确定其归属。因此，提出了一种通道差异加权的方法来计算每个像素属于光源区域的概率。概率越大，表示该区域所属光源区域的可能性越大。
从数学的角度来看，可以将每个像素点的最大和最小颜色通道值之间的差异称为通道差异。在具有光源的亮区域，像素点的通道差异较大；而在暗区域像素点的通道差异较小。本文利用通道差异来定义权重，这样可以根据像素点所处的亮度区域动态调整权重，通道差异为：
$$ \eta \left( x \right) = \left( {\mathop {\max }\limits_{c \in \left\{ {r,g,b} \right\}} {I^c}\left( x \right) - \mathop {\min }\limits_{c \in \left\{ {r,g,b} \right\}} {I^c}\left( x \right)} \right) $$ (18) 经多次实验，如果选取阈值过小，则会在暗区域形成伪影；如果选取阈值过大，则部分亮区域无法被准确识别，导致透射率估计不准确，因此设定阈值为0.4。
计算像素通道差异大于阈值的概率，概率越高则说明属于光源区域的概率越大，反之属于暗区域的概率越大。将暗区域的透射率与亮区域的透射率加权融合，得到融合后的透射率为：
$$ t\left( x \right) = \eta \left( x \right){t_{{\text{D}}{\text{CP}}}}\left( x \right) + \left( {1 - \eta \left( x \right)} \right){t_{{\text{B}}{\text{CP}}}}\left( x \right) $$ (19) 考虑到时间成本与结构保持，选择引导滤波对透射率进行优化。
最终得到可见度恢复的水下图像：
$$ J\left( x \right) = \frac{{I\left( x \right) - A\left( x \right)\left( {1 - \overline {t\left( x \right)} } \right)}}{{\overline {t\left( x \right)} }} $$ (20) 式中：$ \overline {t\left( x \right)} $表示经引导滤波细化后的透射率。
2.3.3 权重图计算
为了进一步提升水下图像的细节和增强效果，图像经颜色校正后，将去模糊的图像与锐化后的图像作为融合的两幅输入图像。通过保留它们的最重要特征来产生更好的增强图像。权值包含图像的信息和特征，在融合过程中通常采用这些信息和特征。在实践中，没有一个权重图可以表示图像的所有重要特征。本文选取拉普拉斯对比度权重、局部对比度权重、饱和度权重、曝光权重4个权重。
拉普拉斯对比度权重WL测量图像的全局对比度信息，为具有边缘和纹理的区域分配高值，WL表达式如下：
$$ {W_{\text{L}}}\left( x \right) = \left\lfloor {{L^{{\text{lap}}}}\left( x \right)} \right\rfloor $$ (21) 式中：x是图像中的像素；Llap(x)表示经拉普拉斯滤波器滤波的亮度通道的值。拉普拉斯权重负责突出显示强度变化较大的区域。
然而，在水下环境中，拉普拉斯滤波器很难区分图像的平坦区域和陡峭区域，因此无法完全恢复图像的对比度。引入局部对比度权重来弥补WL的缺陷。局部对比度权重（WLC）可以在突出更多细节的情况下提高对比度，数学上表示为每个像素与其邻域像素的平均值的标准差：
$$ {W_{{\text{LC}}}} = \left\| {{L^k} - L_{{\text{lp}}}^k} \right\| $$ (22) 饱和度权重Ws通过强调高饱和度区域来显示颜色信息。为了获得该权重，需要在每个像素位置计算输入亮度和每个颜色通道之间的标准偏差。饱和权重可按下式计算：
$$ {W_{\text{s}}} = \sqrt {\frac{1}{3}\left[ {{{\left( {{R_k} - {L_k}} \right)}^2} + {{\left( {{G_k} - {L_k}} \right)}^2} + \left( {{B_k} - {L_k}} \right){}^2} \right]} $$ (23) 曝光权重WE针对水下图像的色偏问题，通过处理模糊图像的饱和度增益来减少色偏，表达式如下：
$$ {W_{\text{E}}}\left( {x,y} \right) = \exp \left( {\frac{{{{\left( {{I_k}\left( {x,y} \right) - 0.5} \right)}^2}}}{{2{\sigma ^2}}}} \right) $$ (24) 将两幅输入图像对应的4个权重图线性相加，得到各自的权重图。接下来，对上述两个权重图进行归一化，以获取两个输入图像的归一化权重图。公式如下：
$$ {\bar W_k}\left( x \right) = \frac{{{W_k}\left( x \right) + \delta }}{{\sum\limits_{k = 1}^K {{W_k}\left( x \right) + K \cdot \delta } }} $$ (25) 2.3.4 多尺度融合
基于两组输入的线性叠加会产生图像伪影和光晕[21-22]。因此，本文采用基于多尺度拉普拉斯金字塔分解的融合方法来避免这种情况。采用多尺度分解方法将拉普拉斯算子应用于每个增强的输入图像以获得金字塔的第一层。然后从第一层的水平和垂直方向提取因子2进行下采样，得到金字塔的第二层。类似地，将拉普拉斯金字塔应用于归一化权重图，使用低通高斯滤波器核函数对每一层进行滤波，得到与拉普拉斯金字塔相同层数的归一化权重图的高斯金字塔金字塔。最后，在多个尺度上独立地融合输入图像和相应的归一化权重图，表达式如下：
$$ {F_l} = \sum\limits_{k = 1}^K {{G_l}\left\{ {{W_k}\left( {x,y} \right)} \right\}{L_l}\left\{ {{W_k}\left( {x,y} \right)} \right\}} $$ (26) 式中：Fl表示最后输出的融合图像；K代表输入图像的数量；Gl表示高斯金字塔的第l层分解图像；Ll表示拉普拉斯金字塔的第l层分解图像，取l为3。
3. 实验结果与分析
为了验证本文所提算法的有效性，从主观评价和客观评价两方面对所提出的算法和现有的方法进行了对比分析。我们在Windows10 64位操作系统，MATLAB 2021a中运行所有代码。在本项研究中，选择了5个代表性的方法与所提出的方法进行了比较。这些方法包括Generalized dark channel prior（GDCP）[23]，Low-light underwater image enhance（LUWE）[24]，Image blurriness and light absorption（IBLA）[25]，Underwater total variation（UTV）[26]，Underwater light attenuation prior（ULAP）[27]。
3.1 主观分析
为了验证颜色恢复的有效性，首先进行色卡颜色恢复实验，将标准色卡作为参考，选取上述5种对比方法进行测试，实验结果如图 4所示。
从图 4可以看出，GDCP算法加重了色偏，图像整体颜色加深。IBLA算法最后一组的白色颜色变深存在色偏。LUWE算法整体清晰不高。UTV算法整体颜色偏蓝。背景的色偏加深。ULAP算法颜色偏红，且第一组的蓝色无法准确恢复。本文算法提高了图像的清晰度和亮度。此外，不同颜色块之间的区别和相邻颜色块之间的对比度都得到改善。同时，图像的颜色接近于标准色卡的颜色。实验结果表明，该算法具有较好的色彩恢复效果。
接下来，对从UIEB数据集[28]中获得的选定水下图像进行定性评估。所选择的图像包括绿色、蓝色、低可见度、黄色和模糊图像。选取上述5种方法与本文方法进行比较，验证本文所提算法的有效性。实验结果如图 5所示。GDCP方法使用与深度相关的颜色变化来估计环境光。然后通过场景环境光差来估计场景传输。然而，当背景光估计不准确时，该方法会失败。因此，GDCP方法在增强过程中容易引入颜色偏差，虽然部分结果图像的对比度和亮度有所提高，但偏色问题变得更加严重如Img9和Img11。LUWE方法有一定提亮效果，但是整体图像效果不自然，会产生视觉上令人不快的结果，引入绿色偏色。由于IBLA方法仅从散射和吸收效应的角度对图像进行处理，因此未能消除色偏，无法均匀恢复彩色水下图像。UTV方法引入更多的颜色失真和伪影，而且UTV不能恢复带蓝色图像的质量如Img1、Img6、Img10和Img11，还引入了绿色色调如Img5。由于ULAP方法在对红色和蓝色通道的改进不足，一些输出图像被绿色阴影覆盖，无法获得较好的对比度。与上述几种算法相比，本文的方法提供了更突出的颜色校正和对比度增强，并且在校正蓝色和绿色色调方面效果显著，同时图像的清晰度提高，整体的视觉效果好。
![]()
图 5 不同水下图像增强算法处理结果Figure 5. Results of different underwater image enhancement algorithms3.2 客观分析
定量评价用于计算客观指标值，从而评价图像的对比度、颜色和可视性。采用3种常用的图像质量评估指标来定量评估不同方法的增强性能，它们是水下图像质量测量（Underwater Image Quality Metric, UIQM）、水下彩色图像质量评价指标（Underwater Color Image Quality Evaluation, UCIQE）、信息熵（Information Entropy, IE）。UIQM是UISM（水下图像清晰度测量）、UIConM（水下图像对比度测量）和UICM（水下图像色彩度测量）的线性组合。UIQM越高表示清晰度、对比度和色彩之间的权衡效果越好。UCIQE是色度、饱和度和对比度的线性组合，可量化不均匀色偏、模糊和低对比度。UCIQE越高，表明色度、饱和度和对比度之间的权衡效果越好。信息熵表示图像的平均信息，IE越高表示图像中包含的信息越丰富。结果如下表 1、表 2、表 3所示，表中加粗的数据为测试方法中结果最优的值。
表 1 不同算法UCIQE值性能比较Table 1. UCIQE performance comparison of different algorithmsImage Original GDCP LUWE IBLA UTV ULAP Ours Img1 0.4553 0.5098 0.5029 0.5610 0.6070 0.5998 0.6126 Img2 0.4841 0.4898 0.5093 0.5434 0.5003 0.5114 0.5492 Img3 0.3954 0.4483 0.4435 0.5565 0.4516 0.5215 0.5348 Img4 0.3781 0.5109 0.4475 0.5131 0.4767 0.5121 0.5922 Img5 0.4142 0.4571 0.4695 0.5097 0.4655 0.5029 0.5156 Img6 0.4890 0.5101 0.5548 0.5621 0.5248 0.6052 0.5777 Img7 0.3683 0.4625 0.4444 0.5267 0.4032 0.5136 0.5872 Img8 0.3562 0.3863 0.3877 0.4754 0.4032 0.4320 0.5463 Img9 0.5056 0.6442 0.5489 0.6267 0.5599 0.6343 0.6488 Img10 0.4133 0.4704 0.5314 0.4866 0.4440 0.5121 0.5404 Img11 0.4082 0.5607 0.4251 0.4419 0.4979 0.4372 0.4557 表 2 不同算法UIQM值性能比较Table 2. UIQM performance comparison of different algorithmsImage Original GDCP LUWE IBLA UTV ULAP Ours Img1 2.7821 3.8974 4.3860 3.2594 3.0058 3.8758 4.3780 Img2 1.8279 1.0850 1.7068 2.9536 0.2982 2.7385 4.0464 Img3 2.5593 3.6617 3.8515 3.8458 2.6392 4.7203 4.9118 Img4 0.1042 2.6010 2.1006 2.0758 1.1663 2.3438 3.9573 Img5 2.1040 1.7579 1.9940 3.5006 0.4395 2.3452 4.6281 Img6 2.2514 1.7993 3.2255 2.3524 2.2776 3.4681 3.8431 Img7 2.0476 1.3239 3.7172 3.4762 -0.5008 3.6447 4.1473 Img8 1.0481 1.6538 2.2639 2.5637 2.1029 1.6523 4.7272 Img9 1.3444 5.2863 2.7307 3.1599 0.5830 3.3014 3.4702 Img10 3.4830 3.4376 3.9721 4.4035 2.4966 5.1522 5.0113 Img11 -2.6483 0.5530 -2.2435 -1.7240 1.2489 -2.1439 2.9481 表 3 不同算法IE值性能比较Table 3. IE performance comparison of different algorithmsImage Original GDCP LUWE IBLA UTV ULAP Ours Img1 6.8244 7.1171 7.1871 7.4798 6.8237 7.4307 7.7572 Img2 7.2359 7.1566 7.4181 7.5858 6.3070 7.5096 7.8490 Img3 6.4994 6.9010 7.2018 7.6165 6.4162 7.1308 7.7531 Img4 5.8538 7.1198 6.8177 7.0168 4.6001 6.9317 7.7278 Img5 6.9061 7.1146 7.3447 7.5804 6.1255 6.9916 7.7443 Img6 7.1263 7.2414 7.6263 7.6303 5.0976 7.2646 7.8796 Img7 5.9655 6.8547 6.8663 7.2386 5.4819 6.9016 7.7911 Img8 6.1841 6.4197 6.6478 7.3270 5.5174 6.9016 7.7951 Img9 7.0605 7.5978 7.4023 7.5781 6.8308 7.5917 7.7226 Img10 6.1650 7.1797 7.4174 7.0419 4.0723 6.9982 7.7330 Img11 5.6203 6.1019 6.2289 6.1412 4.4947 5.6837 7.4240 如表 1所示，本文的算法获得大多数图像最高的UCIQE值，但是在Img3中，IBLA方法的UCIQE值最大，通过对IBLA结果图像的主观观察可以看出，虽然图像的对比度提高了但是整体色调改善不明显，在Img6中ULAP的整体色调偏红，图像存在明显色偏。在Img11中，GDCP和UTV的UCIQE比本文的数值高，但看图可以发现，两种方法有明显的色差，整体色调偏蓝绿调。综上，所提算法对比度明显提高，图像质量恢复较好。如表 2和表 3所示，除了Img9，所提方法的UIQM值和IE值最大，但是Img9的GDCP引入了紫色调色差，图像失真严重。因此本文算法可以纠正图像颜色偏差并显著提高图像的对比度和清晰度同时图像所含信息丰富。
与上述其他方法相比较，本文所提的方法具有较好的可见性恢复能力和适应性能力。无论是从主观还是客观上分析，都能够较好地还原出水下图像的真实颜色，突出图像的更多细节信息，去除光散射造成的图像模糊。对于海洋工程应用、科学研究和准确了解水下世界具有重要意义。
4. 结语
针对水下图像存在颜色失真，对比度和可见度低等问题，本文提出基于颜色校正和暗亮双通道先验的水下图像增强算法。主要包括颜色校正、低对比度增强和可见度恢复3方面。实验结果表明，从主观上看，本文算法能较好地还原水下图像的真实颜色，对清晰度和对比度的提升也有较好的效果。从客观上看，所提出的方法得到的增强图像在UCIQE、UIQM和IE参数指标上优于其他先进算法。同时，对不同类型的水下图像恢复效果均不错，适用范围广，为后续的水下作业提供了有效的预处理方法。
-
![]()
图 1 面向双模态红外图像差异的拟态融合方法流程
Figure 1. Flow chart of mimic fusion method for dual-mode infrared image difference
![]()
图 2 亮度、边缘和纹理特征下的特征差异度
Figure 2. Feature difference under brightness, edge and texture features
![]()
图 5 红外光强与偏振图像融合结果
Figure 5. Fusion results of infrared light intensity and polarized images
表 1 拟态变元集
Table 1 Set of mimic variables
High-level variable Low-level variable Basic-level variable Pyramid Transform Class
Wavelet Transform Class
Directional Filtering Class
Edge Preserving ClassHigh frequency rule Low frequency rule Fusion parameter Maximum absolute value (MAX) Weighted mean (WA) Window based gradients (WBG) Window based weighted average (WBWA) Frequency selective weighted median filter (FSWM) Window based energy (WBE) Principal component analysis (PCA) Mean (MEAN) Block principal component analysis (PBPCA) Window based standard deviation (WBSD) 
下载: 导出CSV
表 2 主差异特征类型
Table 2 Main difference feature types
Image group a b c d e f Main difference Feature type AE
CD
TCDAE
TCD
DFTCD
DF
EACD
AG
TCDCD
AE
AGTCD
DF
AG
下载: 导出CSV
表 3 图像组的各层变元
Table 3 Variables of each layer of image group
Image group a b c d e f Each layer variable 1 GF
WBG_WA
symmetricGF
MAX_WBE
symmetricLP
WAX_WBE
n=4GF
MAX_WBWA
symmetricGF
MAX_WBWA
symmetricLP
MAX_WBE
n=5Each layer variable 2 GF
PCA_WBE
symmetricLP
PBPCA_WBSD
n=4NSST
MAX_WBSD
[1 2 2 4]
[32 16 16 8]DWT
MAX_WBE
n=3GF
WBG_WA
replicateNSST
MAX_WBSD
[1 2 2 4]
[32 16 16 8]Each layer variable 3 RP
MAX_WBE
n=3NSST
MAX_WBSD
[1 2 2 4]
[32 16 16 8]DTCWT
FSWM_WA
n=4LP
PBPCA_WBSD
n=4DWT
MAX_WBE
n=3DWT
MAX_WBE
n=4
下载: 导出CSV
表 4 评价指标结果
Table 4 Evaluation index results
AE STD ES EA TCR DF SF AG EN a(1) 0.4095 0.1654 0.3064 6524 0.0201 13576 0.0974 0.0316 7.3297 a(2) 0.4094 0.1650 0.2967 6310 0.0192 13083 0.0973 0.0312 7.2816 a(3) 0.4218 0.1509 0.2909 6635 0.0162 11562 0.0937 0.0305 7.1670 b(1) 0.3231 0.2182 0.2997 5136 0.0395 13957 0.0735 0.0261 7.5084 b(2) 0.3230 0.2146 0.2883 5098 0.0381 12200 0.0660 0.0249 7.4757 b(3) 0.3250 0.2135 0.2884 5369 0.0376 12180 0.0660 0.0249 7.4959 c(1) 0.3644 0.1272 0.2641 6601 0.0121 8200 0.0518 0.0224 7.0437 c(2) 0.3690 0.1248 0.2587 6386 0.0111 7813 0.0505 0.0219 7.0067 c(3) 0.3691 0.1256 0.2568 6552 0.0114 7591 0.0501 0.0217 7.0165 d(1) 0.2906 0.2262 0.4904 5818 0.0356 32283 0.1432 0.0494 7.2654 d(2) 0.2102 0.2306 0.4718 5483 0.0355 32146 0.1375 0.0480 6.9189 d(3) 0.2287 0.2398 0.4691 5741 0.0398 31247 0.1360 0.0476 7.0447 e(1) 0.5024 0.1407 0.3506 6408 0.0127 14557 0.0801 0.0327 7.0314 e(2) 0.4149 0.1600 0.3211 5237 0.0178 11267 0.0698 0.0300 7.2885 e(3) 0.4024 0.1525 0.3132 6222 0.0155 10595 0.0686 0.0295 7.1660 f(1) 0.4722 0.2289 0.1923 4261 0.0457 4636 0.0559 0.0184 7.3488 f(2) 0.4786 0.2276 0.1762 2731 0.0454 3651 0.0498 0.0167 7.2826 f(3) 0.4811 0.2273 0.1741 4423 0.0455 3395 0.0480 0.0164 7.2846
下载: 导出CSV
表 5 融合有效度结果
Table 5 Fusion effectiveness results
AE CD EA AG TCD DF a(1) 1.9966 0.0935 126019 0.8300 0.2380 314171 a(2) 1.9218 0.0598 135319 0.7991 0.1645 137245 a(3) 2.5679 0.0395 137119 0.7501 -0.1521 112802 b(1) 1.7659 0.1327 83076 0.8230 0.0526 417975 b(2) 1.6151 0.0670 95676 0.6858 -0.0927 240694 b(3) 1.6984 0.0674 106376 0.6900 -0.1431 240287 c(1) 0.5483 0.0540 117497 0.5446 0.0251 202064 c(2) 0.8172 0.0426 107697 0.4860 -0.0670 155986 c(3) 0.8526 0.0403 112597 0.4781 -0.0521 141204 d(1) 4.0119 0.2512 74796 1.3454 1.8448 479182 d(2) 0.1422 0.1253 62896 1.0272 1.8357 426562 d(3) 1.4290 0.1057 67096 1.0020 2.2600 375589 e(1) 3.8526 0.1356 69813 1.1519 0.3232 483782 e(2) -3.6600 0.0318 66713 0.6146 0.8463 122979 e(3) -4.8496 0.0252 51213 0.5991 0.5955 87527 f(1) 0.8010 0.0761 55456 0.7373 0.0571 193877 f(2) 1.3093 0.0214 48056 0.4515 0.0338 72326 f(3) 1.5717 0.0197 71656 0.4456 0.0328 69765
下载: 导出CSV
-
[1] CHEN C S, DAI M Y, LIU H F, et al. Comparison and analysis on test methods of infrared radiant intensity of infrared decoy[J]. Infrared Technology and Applications, 2014, 9300: 93000K.
[2] LI P, KANG G G. Vartiainen I. Investigation of achromatic micro polarizer array for polarization imaging in visible-infrared band[J]. Optik, 2018, 158: 1427-1435. DOI: 10.1016/j.ijleo.2018.01.017
[3] Kumar P, Gaurav A, Rajnish R K, et al. Applications of thermal imaging with infrared thermography in orthopaedics[J]. Journal of Clinical Orthopaedics and Trauma, 2021, 24: 101722.
[4] TUO H N, SHI G C, LUO X L. Detection method of ship target infrared polarization image[J]. Journal of Physics: Conference Series, 2021, 1802: 022063002E
[5] ZHANG J H, ZHANG Y, SHI Z G. Long-wave infrared polarization feature extraction and image fusion based on the orthogonality difference method[J]. Journal of Electronic Imaging, 2018, 27(2): 023021.
[6] MAJ Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[7] LI S T, KANG X D, HU J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875. DOI: 10.1109/TIP.2013.2244222
[8] LIU Y, LIU S P, WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24(C): 147-164.
[9] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets Multiresolution and Information Processing, 2018, 16(3): 1850018. DOI: 10.1142/S0219691318500182
[10] HU P, YANG F B, WEI H, et al. Research on constructing difference-features to guide the fusion of dual-modal infrared images[J]. Infrared Physics & Technology, 2019, 102: 102994.
[11] 杨风暴. 红外物理与技术[M]. 2版: 北京: 电子工业出版社, 2020. YANG Fengbao. Infrared Physics and Technology[M]. 2nd edition: Beijing: Publishing House of Electronics Industry, 2020.
[12] BURT P J, ADELSON E H. The Laplacian pyramid as a compact image code[J]. IEEE Transactions on Communications, 1983, 31(4): 532-540. DOI: 10.1109/TCOM.1983.1095851
[13] Toet A, Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253. DOI: 10.1016/0167-8655(89)90003-2
[14] Kannan1 K, Arumuga Perumal S, Arulmozhi K. Area level fusion of multi-focused images using double density DWT and DTCWT[J]. Digital Image Processing, 2009, 1(6): 231-242.
[15] 王少杰, 潘晋孝, 陈平. 基于双树复小波变换的图像融合[J]. 核电子学与探测技术, 2015, 7: 726-728. DOI: 10.3969/j.issn.0258-0934.2015.07.018 WANG S J, PAN J X, CHEN P. Image fusion based on dual-tree complex wavelet transform[J]. Nuclear Electronics and Detection Technology, 2015, 7: 726-728. DOI: 10.3969/j.issn.0258-0934.2015.07.018
[16] Easley G, Labate D, Lim W. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46. DOI: 10.1016/j.acha.2007.09.003
[17] GU B, LI W, ZHU M, et al. Local edge-preserving multiscale decomposition for high dynamic range image tone mapping[J]. IEEE Transactions on Image Processing, 2013, 22(1): 70-79. DOI: 10.1109/TIP.2012.2214047
-
期刊类型引用(3)
1. 刘一帆，周峰，胡斌，晋利兵. 基于Q型非球面的全景环带红外光学系统设计. 航天返回与遥感. 2024(01): 90-98 . 
百度学术
2. 王彩霞，陈洪耀，司孝龙，李鑫，李佳伟，张黎明，包诗薇. 多波段鱼眼镜头相机实验室几何定标方法. 光子学报. 2024(08): 187-200 . 百度学术
3. 上官佳伟，李永亮，冯海龙，张馨元，王宁，李佳航. 大视场医用电子内窥镜光学成像系统研究综述. 激光杂志. 2024(08): 1-5 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 120
- HTML全文浏览量: 23
- PDF下载量: 30
- 被引次数: 5
