Research Status of Local Defect Detection Technology of Ultraviolet Image Intensifier Field of View
-
摘要: 紫外像增强器是一种对紫外辐射敏感的成像器件，视场瑕疵是其成像效果的主要制约因素。目前，视场瑕疵检测技术主要分为人工和机器视觉两种方法。本文首先阐述了视场瑕疵的定义和检测标准。接着从瑕疵交叠靠近、大小和数量特性的角度，分析了视场瑕疵检测的难点。随后，重点介绍了紫外像增强器视场瑕疵检测技术的研究现状。结合当前的检测需求和不足，调研了深度学习技术在其他领域的瑕疵检测效果。最后，从理论上进行了可行性分析，并提出了基于深度学习视场瑕疵检测的思路，旨在为紫外像增强器视场瑕疵检测提供一种新的解决方案，推动其向着更加实用、智能化的方向发展。Abstract: Ultraviolet image intensifiers are imaging devices that are sensitive to ultraviolet radiation. Defects in the field of view are the main factors restricting the imaging effect of ultraviolet image intensifiers. Currently, the field-of-view defect detection technology is mainly divided into artificial and machine vision. This paper explains the definitions and detection standards for field defects. Subsequently, the difficulties in field defect detection are analyzed from the perspectives of defect-overlapping proximity, size, and quantity. Next, the research status of the field-of-view defect detection technology of ultraviolet image intensifiers is introduced. Combined with the current detection requirements and deficiencies, the defect detection effect of deep-learning technology in other fields was investigated. Finally, a theoretical feasibility analysis is presented, and the concept of field defect detection based on deep learning is proposed. The purpose is to provide a new solution for field defect detection of ultraviolet image intensifiers and promote their development in a practical and intelligent direction.
-
Keywords:
- image intensifier /
- flaw detection in field of view /
- machine vision /
- deep learning
-
0. 引言
21世纪是人类对海洋资源进行开发与利用的新时代，海洋对国家整体安全的保护、经济社会的发展具有重要的战略意义，以海洋为载体和纽带的市场、文化等合作越来越密切，全球的海洋强国和周边国家都在新的形势下制订了自己的海洋战略与计划，加速向海洋布局。水下图像作为水下智能获取信息最直观、最高效的方式，在探测的过程中发挥着不可替代的作用。由于水下复杂的物理特性，当光在水中传播时，不同颜色的波长会遭受不同程度的衰减从而引起水下图像的颜色失真问题[1]。另外，悬浮颗粒（诸如浮游植物）会散射传播在物体与相机之间的光，导致图像呈现低对比度和模糊效果[2]。这些典型的退化对水下任务提出挑战。高质量的水下图像为目标检测和识别等任务提供基础支撑，在水下机器人视觉导航、海洋生物识别、海洋文化推广、渔业、生态监测、油气开发等领域有着广泛的应用。因此，研究一种有效的水下图像增强算法具有重要的意义。
为推动水下图像增强技术的发展，国内外学者纷纷开展对水下增强技术的研究与探讨。水下图像增强技术大致可分为两类：第一类是基于非物理模型的方法，该类算法通过对水下图像处理来提高像素值，加强对比度等，从而实现良好的视觉效果。第二类是基于物理模型的图像恢复方法，该方法充分考虑了水下图像的降质过程。基于非物理模型的方法如直方图均衡化、Retinex分解、图像融合等，例如，Zhou等人[3]提出了一种多区间子直方图均衡化方法，该方法对每个子直方图进行直方图均衡化，以提高图像对比度。Zhuang等人[4]提出了一种超拉普拉斯反射先验启发的Retinex变分模型来增强水下图像。Ancuti等人[5]引入一种新的红色通道补偿算法对权重进行修正，并采用金字塔融合策略来融合伽马校正图像和锐化图像，该技术补偿了水下图像由于光的散射引起的颜色失真，有效地提高颜色的真实性，同时提高整体对比度。非物理模型方法可以在一定程度上增强水下退化图像的视觉效果。然而，由于未考虑光学成像模型，忽略了退化与场景距离之间的关系，在一些复杂的水下场景中导致图像曝光不足的暗区域增强效果不佳。
基于物理模型的水下图像增强方法通过建立数学模型，估计模型参数，对退化过程进行逆处理，最终得到高质量的水下图像。由于光在雾中传播与水下传播的相似性，He等人[6]将暗通道先验（Dark Channel Prior，DCP）原理应用于图像去雾，并在大气中取得了出色的效果。然而，由于该方法忽略了水中光的波长依赖性吸收，无法恢复水下图像的可见性。Drews等人[7]提出一种改进的暗通道先验水下图像增强方法，通过观察水下图像红通道中吸收率的相关性，实现对图像的恢复和深度估计，该方法比传统DCP方法能够更好地估计透射率，但是当使用人造光源进行照明时此方法无效。Ma等人[8]提出了暗通道先验和灰度世界方法相结合的水下图像去模糊方法，但得到的图像亮度较低。Berman等人[9]提出一种基于雾霾线的水下图像颜色恢复方法。该方法将图像的复原问题归结为单幅图像的去模糊问题，通过估计蓝红和蓝绿两个额外全局参数的衰减率，从而降低问题的复杂性。Muniraj等人[10]通过使用每个通道的强度差异来估计透射图的深度，但是处理步骤复杂。Xu等人[11]引入了基于暗通道先验的深度颜色相关的概念，嵌入了多尺度去雾和去噪模块，有效解决图像模糊和噪声干扰。上述方法中，颜色校正的效果不突出，同时未考虑到水下复杂光照情况下只采用暗通道先验会导致的透射率估计不准确的问题。
随着深度学习技术的发展，以深度学习为基础的水下图像增强技术得到越来越多的关注。Liu等人[12]提出了一种基于条件生成对抗网络（GAN）的多尺度特征融合网络，用于水下图像色彩校正。首先提取多尺度特征，然后用全局特征增强每个尺度的局部特征。这种设计经过验证可以促进更有效和更快的网络学习，从而在色彩校正和细节保留方面获得更好的性能。Li等人[13]提出了一种轻量级CNN模型（水下卷积神经网络，UWCNN），该模型利用水下场景和卷积神经网络的先验知识来学习退化图像和清晰图像之间的差异，处理水下图像和视频任务。Zhou等人[14]提出了一种新颖的跨域增强网络（CVE-Net），它使用高效特征对齐来更好地利用相邻特征。尽管现有的基于深度学习的水下图像增强方法已经取得了显著的改进，但它们仍然需要受到可用数据集的限制。同时一些深度学习方法无法平衡好校正色偏和增强清晰度两个方面。
针对以上存在的问题，本文提出了基于颜色校正和暗亮双通道先验的水下图像增强算法。将水下图像增强算法分为3个子问题：颜色校正、低对比度增强和可见度恢复。首先，针对水中介质对光的选择性吸收作用导致色偏，提出了基于标准差比的颜色补偿算法；其次，针对散射引起的对比度下降的问题，利用锐化算法增强水下图像的对比度；针对水中介质对光的散射作用引起的能见度下降的问题，提出一种结合亮暗双通道的能见度恢复算法，以增强水下增强图像的能见度；最后，将对比度增强图像和可见度恢复图像作为两幅输入图像，分别计算他们的拉普拉斯权重、局部对比度权重、饱和度权重和曝光权重，通过多尺度融合实现水下对比度增强和可见性恢复图像之间的互补优势。最后结合主客观评价，以验证所提方法的有效性。
1. 水下成像模型
在水下环境中，光的传播过程与在空气中类似。根据Jaffe-McGlamery模型，如图 1所示，当光线在水下场景中传播时，相机主要接收由3个分量产生的光线：直射分量、前向散射分量、后向散射分量[15]。直射分量，即相机直接接收的光能量；前向散射分量，指经由微小颗粒和水体或水流不可避免的运动引起散射后达到相机的光；后向散射分量，指由浮动颗粒部分反射的环境光。水下成像过程可以被表示为这3个分量的线性叠加[16]，该模型可以表示为：
$$ E_{\mathrm{T}}(x)=E_{\mathrm{d}}(x)+E_{\mathrm{f}}(x)+E_{\mathrm{b}}(x)$$ (1) 根据文献[17]，大部分退化是由后向散射引起的，这意味着前向散射可以忽略不计。直接散射定义为：
$$ E_{\mathrm{d}}(x)=J(x) t(x)=J(x) \mathrm{e}^{-\beta d(z)} $$ (2) 式中：J(x)是物体的场景辐射；d(z)是视觉设备与物体之间的距离；β是衰减系数；e－βd(z)是水下介质中的透射率。
后向散射分量是由物体表面反射的自然光或人造光引起的，会导致水下图像中的颜色失真。后向散射分量Eb(x)表示为：
$$ E_{\mathrm{b}}(x)=A(1-t(x)) $$ (3) 因此，可以将式(1)中所示的成像模型改写为：
$$ I(x)=J(x) t(x)+A(1-t(x)) $$ (4) 式中：x表示像素，I(x)是观察到的模糊图像；J(x)是要恢复的图像；A是背景光，t(x)∈[0, 1]是介质透射图，其表示场景辐射到达相机的百分比。
2. 本文算法
本文算法主要由3部分组成，首先提出基于标准差比的颜色补偿算法，得到颜色校正后图像；其次对该图像分别进行低对比度增强和去模糊，最后将对比度增强图像和可见度恢复图像进行融合，得到最终增强图像。本文算法的流程图如图 2所示。
2.1 基于标准差比的颜色补偿算法
由灰度世界假设算法[5]可知，图像的每个通道在衰减之前具有相似的灰度均值和直方图分布。由于水中介质对不同颜色光的吸收作用存在差异，这导致水下图像的各个通道都经历了不同程度的衰减。然而，传统的灰度世界方法并没有充分考虑不同通道之间的衰减差异，这就可能导致对于颜色的过度或不足校正，进而不能有效解决颜色失真的问题。为了有效解决颜色失真的问题，本文引入亮度通道作为参考通道对颜色进行初步补偿，亮度通道为像素强度最大的通道，其计算过程定义为：
$$ I_{\mathrm{l}}(i, j)=\max \left\{I_{\mathrm{r}}(i, j), \quad I_{\mathrm{g}}(i, j), \quad I_{\mathrm{b}}(i, j)\right\} $$ (5) 式中：Il(i, j)表示亮度；Ir，Ig，Ib分别表示红绿蓝三通道。计算出每个通道的平均通道值：
$$ {\bar I_c} = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{I_c}\left( {i,j} \right)} } ,c \in \left\{ {l,r,g,b} \right\} $$ (6) 式中：M和N分别是每个输入通道的高度和宽度，以亮度通道作为参考值，对红绿蓝三通道进行补偿。受文献[18]启发，虽然颜色通道具有相同的均值，但它们的标准差可能不同。因此，仅通过考虑平均值的差异来补偿颜色通道是不够的。在本文中，提出了一种基于标准差比的颜色补偿算法，公式表示为：
$$ \left\{ {\begin{array}{*{20}{c}} {I_{\text{r}}^C\left( {i,j} \right) = {I_{\text{r}}}\left( {i,j} \right) + \frac{{{\sigma _{{I_{\text{l}}}}}}}{{{\sigma _{{I_{\text{r}}}}}}} \times \left( {{{\bar I}_{\text{l}}} - {{\bar I}_{\text{r}}}} \right) \times \left( {1 - {{\bar I}_{\text{r}}}} \right) \times {I_{\text{l}}}\left( {i,j} \right)} \\ {I_{\text{g}}^C\left( {i,j} \right) = {I_{\text{g}}}\left( {i,j} \right) + \frac{{{\sigma _{{I_{\text{l}}}}}}}{{{\sigma _{{I_{\text{g}}}}}}} \times \left( {{{\bar I}_{\text{l}}} - {{\bar I}_{\text{g}}}} \right) \times \left( {1 - {{\bar I}_{\text{g}}}} \right) \times {I_{\text{l}}}\left( {i,j} \right)} \\ {I_{\text{b}}^C\left( {i,j} \right) = {I_{\text{b}}}\left( {i,j} \right) + \frac{{{\sigma _{{I_{\text{l}}}}}}}{{{\sigma _{{I_{\text{b}}}}}}} \times \left( {{{\bar I}_{\text{l}}} - {{\bar I}_{\text{b}}}} \right) \times \left( {1 - {{\bar I}_{\text{b}}}} \right) \times {I_{\text{l}}}\left( {i,j} \right)} \end{array}} \right. $$ (7) 式中：$ {\sigma _{{I_k}}} $, k∈{l, r, g, b}表示对应的标准差。
进一步采用线性拉伸方法做简单有效的直方图拉伸，使所用像素覆盖图像的整个动态范围。其线性拉伸方法定义为：
$$ I_c^{{\text{CR}}} = \left( {I_c^C - I_c^{\min }} \right) \times \frac{{I_o^{\max } - I_o^{\min }}}{{I_c^{\max } - I_c^{\min }}},c \in \left\{ {{\text{r,g,b}}} \right\} $$ (8) 经过颜色通道补偿后，图像的亮度可能会降低，需要引入伽马校正提高图像的亮度。然而，传统的伽马校正方法采用固定的参数γ，当γ＜1时，图像整体亮度增加，当γ＞1时，图像整体亮度减少。水下图像存在光照不均匀的情况，若采用传统的伽马校正虽然能校正曝光不足图像，但是会导致一些图像过度曝光，为适用于水下不同图像，本文采用自适应权重伽马校正[19]提高图像的整体亮度：
$$ T\left( l \right) = {l_{\max }}{\left( {\frac{l}{{{l_{\max }}}}} \right)^{\gamma \left( l \right)}} = {l_{\max }}{\left( {\frac{l}{{{l_{\max }}}}} \right)^{1 - {\text{cdf}}\left( l \right)}} $$ (9) 式中：cdf(l)表示图像的累积分布函数，将其作为伽玛校正参数就能自适应地增强图像亮度，同时又避免了过度曝光的问题。经颜色校正后的结果如图 3所示。
可以看出，原始图像的灰度直方图分布较集中，且范围较窄，红通道衰减严重，经颜色校正后，直方图覆盖范围广，三通道都较均衡，图像色彩好。
2.2 低对比度增强
经过颜色校正后，还原了图像的真实颜色，但是水下图像还存在对比度和可见度低的问题。因此，利用文献[5]中提出的锐化方法，对颜色校正后的图像进行细节信息增强，得到对比度增强的图像，将该图像作为多尺度融合的输入图像，其计算表达式如下：
$$ I_{\mathrm{s}}=(I+\psi\{I-G \otimes I\}) / 2 $$ (10) 式中：ψ{⋅}表示线性归一化算子；Is表示得到锐化后的图像；G为高斯滤波。
2.3 改进的暗亮双通道去模糊算法
由公式(4)可知，水下图像去模糊的任务是估计背景光A和透射率t(x)，得到待恢复图像。由于在水下尤其是深海域，通常存在人造光和自然光的混合光照导致不均匀的光照，与白天的单一强光源（太阳光）不同，A不是一个全局向量，而是一个空间变化的映射。基于上述分析，将公式(4)改写为：
$$ I(x)=J(x) t(x)+A(x)(1-t(x)) $$ (11) 2.3.1 背景光
背景光在水下图像复原中起着至关重要的作用，它将直接影响恢复图像的质量。求取背景光的典型方法是选择图像中最亮的像素。首先在暗通道中获得最亮的前0.1%像素，再选取亮度最大的像素作为背景光。但由于采用基于场景的假设，该方法容易受到白色物体和光的干扰，导致估计不准确，恢复图像的颜色不真实。为提高准确性，采用引导滤波来求取背景光，其表达式为：
$$ A(x)=a_k I(x)+b_k, x \in w_k$$ (12) $$ E\left( {{a_k},{b_k}} \right) = \sum\limits_{x \in {w_k}} {\left( {\left( {{a_k}I\left( x \right) + {b_k} - {p_i}} \right) + \lambda a_k^2} \right)} $$ (13) $$ {a_k} = \frac{{\frac{1}{{\left| \omega \right|}}\sum\limits_{x \in {\omega _k}} {I\left( x \right){p_k} - {\mu _k}{{\bar p}_k}} }}{{\sigma _k^2 + \lambda }} $$ (14) $$ {b_k} = {\bar p_k} - {a_k}{\mu _k} $$ (15) 式中：μk和σk2是图像I在ωk内的均值和方差；|ω|是ωk窗口中包含的全部像素。
引导滤波在平滑图像的同时能够保留图像的边缘信息。在图像的不同区域存在不同的光照条件，因此引导滤波能够在保留边缘信息的同时准确估计背景光。
2.3.2 透射率
与白天捕获的模糊图像不同，水下模糊图像中通常存在人造光和自然光的混合光照导致不均匀的光照，以往的研究试图使用一个图像先验处理这两个不同的区域，如水下暗通道先验[20]，但效果不佳，因为暗通道先验对白色区域和光源区域是无效的。因此，提出了一种将暗通道先验与亮通道先验（Bright Channel Prior，BCP）相结合的互补先验。直观地，光源像素经常包含具有高强度值的一个颜色通道，例如白色光中的所有颜色通道、黄色光中的红色或绿色通道、蓝色光中的蓝色通道等。在使用引导滤波获得背景光A之后，先通过应用DCP和BCP来计算对应的传输映射tDCP(x)和tBCP(x)，公式如下：
$$ {t_{{\text{DCP}}}}\left( x \right) = 1 - \max \left( {\mathop {\min }\limits_{c \in \left\{ {r,g,b} \right\}} \frac{{{I^c}\left( x \right)}}{{{A^C}\left( x \right)}}} \right) $$ (16) $$ {t_{{\text{BCP}}}} = \min \left( {\mathop {\max }\limits_{c \in \left\{ {r,g,b} \right\}} \frac{{{I^c}\left( x \right) - {A^C}\left( x \right)}}{{1 - {A^C}\left( x \right)}}} \right) $$ (17) 如何将tDCP(x)和tBCP(x)融合决定着透射率估计的准确性，一种方法是用清晰的边界线分割出图像中的光源和非光源区域，然而边界附近的像素很难确定其归属。因此，提出了一种通道差异加权的方法来计算每个像素属于光源区域的概率。概率越大，表示该区域所属光源区域的可能性越大。
从数学的角度来看，可以将每个像素点的最大和最小颜色通道值之间的差异称为通道差异。在具有光源的亮区域，像素点的通道差异较大；而在暗区域像素点的通道差异较小。本文利用通道差异来定义权重，这样可以根据像素点所处的亮度区域动态调整权重，通道差异为：
$$ \eta \left( x \right) = \left( {\mathop {\max }\limits_{c \in \left\{ {r,g,b} \right\}} {I^c}\left( x \right) - \mathop {\min }\limits_{c \in \left\{ {r,g,b} \right\}} {I^c}\left( x \right)} \right) $$ (18) 经多次实验，如果选取阈值过小，则会在暗区域形成伪影；如果选取阈值过大，则部分亮区域无法被准确识别，导致透射率估计不准确，因此设定阈值为0.4。
计算像素通道差异大于阈值的概率，概率越高则说明属于光源区域的概率越大，反之属于暗区域的概率越大。将暗区域的透射率与亮区域的透射率加权融合，得到融合后的透射率为：
$$ t\left( x \right) = \eta \left( x \right){t_{{\text{D}}{\text{CP}}}}\left( x \right) + \left( {1 - \eta \left( x \right)} \right){t_{{\text{B}}{\text{CP}}}}\left( x \right) $$ (19) 考虑到时间成本与结构保持，选择引导滤波对透射率进行优化。
最终得到可见度恢复的水下图像：
$$ J\left( x \right) = \frac{{I\left( x \right) - A\left( x \right)\left( {1 - \overline {t\left( x \right)} } \right)}}{{\overline {t\left( x \right)} }} $$ (20) 式中：$ \overline {t\left( x \right)} $表示经引导滤波细化后的透射率。
2.3.3 权重图计算
为了进一步提升水下图像的细节和增强效果，图像经颜色校正后，将去模糊的图像与锐化后的图像作为融合的两幅输入图像。通过保留它们的最重要特征来产生更好的增强图像。权值包含图像的信息和特征，在融合过程中通常采用这些信息和特征。在实践中，没有一个权重图可以表示图像的所有重要特征。本文选取拉普拉斯对比度权重、局部对比度权重、饱和度权重、曝光权重4个权重。
拉普拉斯对比度权重WL测量图像的全局对比度信息，为具有边缘和纹理的区域分配高值，WL表达式如下：
$$ {W_{\text{L}}}\left( x \right) = \left\lfloor {{L^{{\text{lap}}}}\left( x \right)} \right\rfloor $$ (21) 式中：x是图像中的像素；Llap(x)表示经拉普拉斯滤波器滤波的亮度通道的值。拉普拉斯权重负责突出显示强度变化较大的区域。
然而，在水下环境中，拉普拉斯滤波器很难区分图像的平坦区域和陡峭区域，因此无法完全恢复图像的对比度。引入局部对比度权重来弥补WL的缺陷。局部对比度权重（WLC）可以在突出更多细节的情况下提高对比度，数学上表示为每个像素与其邻域像素的平均值的标准差：
$$ {W_{{\text{LC}}}} = \left\| {{L^k} - L_{{\text{lp}}}^k} \right\| $$ (22) 饱和度权重Ws通过强调高饱和度区域来显示颜色信息。为了获得该权重，需要在每个像素位置计算输入亮度和每个颜色通道之间的标准偏差。饱和权重可按下式计算：
$$ {W_{\text{s}}} = \sqrt {\frac{1}{3}\left[ {{{\left( {{R_k} - {L_k}} \right)}^2} + {{\left( {{G_k} - {L_k}} \right)}^2} + \left( {{B_k} - {L_k}} \right){}^2} \right]} $$ (23) 曝光权重WE针对水下图像的色偏问题，通过处理模糊图像的饱和度增益来减少色偏，表达式如下：
$$ {W_{\text{E}}}\left( {x,y} \right) = \exp \left( {\frac{{{{\left( {{I_k}\left( {x,y} \right) - 0.5} \right)}^2}}}{{2{\sigma ^2}}}} \right) $$ (24) 将两幅输入图像对应的4个权重图线性相加，得到各自的权重图。接下来，对上述两个权重图进行归一化，以获取两个输入图像的归一化权重图。公式如下：
$$ {\bar W_k}\left( x \right) = \frac{{{W_k}\left( x \right) + \delta }}{{\sum\limits_{k = 1}^K {{W_k}\left( x \right) + K \cdot \delta } }} $$ (25) 2.3.4 多尺度融合
基于两组输入的线性叠加会产生图像伪影和光晕[21-22]。因此，本文采用基于多尺度拉普拉斯金字塔分解的融合方法来避免这种情况。采用多尺度分解方法将拉普拉斯算子应用于每个增强的输入图像以获得金字塔的第一层。然后从第一层的水平和垂直方向提取因子2进行下采样，得到金字塔的第二层。类似地，将拉普拉斯金字塔应用于归一化权重图，使用低通高斯滤波器核函数对每一层进行滤波，得到与拉普拉斯金字塔相同层数的归一化权重图的高斯金字塔金字塔。最后，在多个尺度上独立地融合输入图像和相应的归一化权重图，表达式如下：
$$ {F_l} = \sum\limits_{k = 1}^K {{G_l}\left\{ {{W_k}\left( {x,y} \right)} \right\}{L_l}\left\{ {{W_k}\left( {x,y} \right)} \right\}} $$ (26) 式中：Fl表示最后输出的融合图像；K代表输入图像的数量；Gl表示高斯金字塔的第l层分解图像；Ll表示拉普拉斯金字塔的第l层分解图像，取l为3。
3. 实验结果与分析
为了验证本文所提算法的有效性，从主观评价和客观评价两方面对所提出的算法和现有的方法进行了对比分析。我们在Windows10 64位操作系统，MATLAB 2021a中运行所有代码。在本项研究中，选择了5个代表性的方法与所提出的方法进行了比较。这些方法包括Generalized dark channel prior（GDCP）[23]，Low-light underwater image enhance（LUWE）[24]，Image blurriness and light absorption（IBLA）[25]，Underwater total variation（UTV）[26]，Underwater light attenuation prior（ULAP）[27]。
3.1 主观分析
为了验证颜色恢复的有效性，首先进行色卡颜色恢复实验，将标准色卡作为参考，选取上述5种对比方法进行测试，实验结果如图 4所示。
从图 4可以看出，GDCP算法加重了色偏，图像整体颜色加深。IBLA算法最后一组的白色颜色变深存在色偏。LUWE算法整体清晰不高。UTV算法整体颜色偏蓝。背景的色偏加深。ULAP算法颜色偏红，且第一组的蓝色无法准确恢复。本文算法提高了图像的清晰度和亮度。此外，不同颜色块之间的区别和相邻颜色块之间的对比度都得到改善。同时，图像的颜色接近于标准色卡的颜色。实验结果表明，该算法具有较好的色彩恢复效果。
接下来，对从UIEB数据集[28]中获得的选定水下图像进行定性评估。所选择的图像包括绿色、蓝色、低可见度、黄色和模糊图像。选取上述5种方法与本文方法进行比较，验证本文所提算法的有效性。实验结果如图 5所示。GDCP方法使用与深度相关的颜色变化来估计环境光。然后通过场景环境光差来估计场景传输。然而，当背景光估计不准确时，该方法会失败。因此，GDCP方法在增强过程中容易引入颜色偏差，虽然部分结果图像的对比度和亮度有所提高，但偏色问题变得更加严重如Img9和Img11。LUWE方法有一定提亮效果，但是整体图像效果不自然，会产生视觉上令人不快的结果，引入绿色偏色。由于IBLA方法仅从散射和吸收效应的角度对图像进行处理，因此未能消除色偏，无法均匀恢复彩色水下图像。UTV方法引入更多的颜色失真和伪影，而且UTV不能恢复带蓝色图像的质量如Img1、Img6、Img10和Img11，还引入了绿色色调如Img5。由于ULAP方法在对红色和蓝色通道的改进不足，一些输出图像被绿色阴影覆盖，无法获得较好的对比度。与上述几种算法相比，本文的方法提供了更突出的颜色校正和对比度增强，并且在校正蓝色和绿色色调方面效果显著，同时图像的清晰度提高，整体的视觉效果好。
![]()
图 5 不同水下图像增强算法处理结果Figure 5. Results of different underwater image enhancement algorithms3.2 客观分析
定量评价用于计算客观指标值，从而评价图像的对比度、颜色和可视性。采用3种常用的图像质量评估指标来定量评估不同方法的增强性能，它们是水下图像质量测量（Underwater Image Quality Metric, UIQM）、水下彩色图像质量评价指标（Underwater Color Image Quality Evaluation, UCIQE）、信息熵（Information Entropy, IE）。UIQM是UISM（水下图像清晰度测量）、UIConM（水下图像对比度测量）和UICM（水下图像色彩度测量）的线性组合。UIQM越高表示清晰度、对比度和色彩之间的权衡效果越好。UCIQE是色度、饱和度和对比度的线性组合，可量化不均匀色偏、模糊和低对比度。UCIQE越高，表明色度、饱和度和对比度之间的权衡效果越好。信息熵表示图像的平均信息，IE越高表示图像中包含的信息越丰富。结果如下表 1、表 2、表 3所示，表中加粗的数据为测试方法中结果最优的值。
表 1 不同算法UCIQE值性能比较Table 1. UCIQE performance comparison of different algorithmsImage Original GDCP LUWE IBLA UTV ULAP Ours Img1 0.4553 0.5098 0.5029 0.5610 0.6070 0.5998 0.6126 Img2 0.4841 0.4898 0.5093 0.5434 0.5003 0.5114 0.5492 Img3 0.3954 0.4483 0.4435 0.5565 0.4516 0.5215 0.5348 Img4 0.3781 0.5109 0.4475 0.5131 0.4767 0.5121 0.5922 Img5 0.4142 0.4571 0.4695 0.5097 0.4655 0.5029 0.5156 Img6 0.4890 0.5101 0.5548 0.5621 0.5248 0.6052 0.5777 Img7 0.3683 0.4625 0.4444 0.5267 0.4032 0.5136 0.5872 Img8 0.3562 0.3863 0.3877 0.4754 0.4032 0.4320 0.5463 Img9 0.5056 0.6442 0.5489 0.6267 0.5599 0.6343 0.6488 Img10 0.4133 0.4704 0.5314 0.4866 0.4440 0.5121 0.5404 Img11 0.4082 0.5607 0.4251 0.4419 0.4979 0.4372 0.4557 表 2 不同算法UIQM值性能比较Table 2. UIQM performance comparison of different algorithmsImage Original GDCP LUWE IBLA UTV ULAP Ours Img1 2.7821 3.8974 4.3860 3.2594 3.0058 3.8758 4.3780 Img2 1.8279 1.0850 1.7068 2.9536 0.2982 2.7385 4.0464 Img3 2.5593 3.6617 3.8515 3.8458 2.6392 4.7203 4.9118 Img4 0.1042 2.6010 2.1006 2.0758 1.1663 2.3438 3.9573 Img5 2.1040 1.7579 1.9940 3.5006 0.4395 2.3452 4.6281 Img6 2.2514 1.7993 3.2255 2.3524 2.2776 3.4681 3.8431 Img7 2.0476 1.3239 3.7172 3.4762 -0.5008 3.6447 4.1473 Img8 1.0481 1.6538 2.2639 2.5637 2.1029 1.6523 4.7272 Img9 1.3444 5.2863 2.7307 3.1599 0.5830 3.3014 3.4702 Img10 3.4830 3.4376 3.9721 4.4035 2.4966 5.1522 5.0113 Img11 -2.6483 0.5530 -2.2435 -1.7240 1.2489 -2.1439 2.9481 表 3 不同算法IE值性能比较Table 3. IE performance comparison of different algorithmsImage Original GDCP LUWE IBLA UTV ULAP Ours Img1 6.8244 7.1171 7.1871 7.4798 6.8237 7.4307 7.7572 Img2 7.2359 7.1566 7.4181 7.5858 6.3070 7.5096 7.8490 Img3 6.4994 6.9010 7.2018 7.6165 6.4162 7.1308 7.7531 Img4 5.8538 7.1198 6.8177 7.0168 4.6001 6.9317 7.7278 Img5 6.9061 7.1146 7.3447 7.5804 6.1255 6.9916 7.7443 Img6 7.1263 7.2414 7.6263 7.6303 5.0976 7.2646 7.8796 Img7 5.9655 6.8547 6.8663 7.2386 5.4819 6.9016 7.7911 Img8 6.1841 6.4197 6.6478 7.3270 5.5174 6.9016 7.7951 Img9 7.0605 7.5978 7.4023 7.5781 6.8308 7.5917 7.7226 Img10 6.1650 7.1797 7.4174 7.0419 4.0723 6.9982 7.7330 Img11 5.6203 6.1019 6.2289 6.1412 4.4947 5.6837 7.4240 如表 1所示，本文的算法获得大多数图像最高的UCIQE值，但是在Img3中，IBLA方法的UCIQE值最大，通过对IBLA结果图像的主观观察可以看出，虽然图像的对比度提高了但是整体色调改善不明显，在Img6中ULAP的整体色调偏红，图像存在明显色偏。在Img11中，GDCP和UTV的UCIQE比本文的数值高，但看图可以发现，两种方法有明显的色差，整体色调偏蓝绿调。综上，所提算法对比度明显提高，图像质量恢复较好。如表 2和表 3所示，除了Img9，所提方法的UIQM值和IE值最大，但是Img9的GDCP引入了紫色调色差，图像失真严重。因此本文算法可以纠正图像颜色偏差并显著提高图像的对比度和清晰度同时图像所含信息丰富。
与上述其他方法相比较，本文所提的方法具有较好的可见性恢复能力和适应性能力。无论是从主观还是客观上分析，都能够较好地还原出水下图像的真实颜色，突出图像的更多细节信息，去除光散射造成的图像模糊。对于海洋工程应用、科学研究和准确了解水下世界具有重要意义。
4. 结语
针对水下图像存在颜色失真，对比度和可见度低等问题，本文提出基于颜色校正和暗亮双通道先验的水下图像增强算法。主要包括颜色校正、低对比度增强和可见度恢复3方面。实验结果表明，从主观上看，本文算法能较好地还原水下图像的真实颜色，对清晰度和对比度的提升也有较好的效果。从客观上看，所提出的方法得到的增强图像在UCIQE、UIQM和IE参数指标上优于其他先进算法。同时，对不同类型的水下图像恢复效果均不错，适用范围广，为后续的水下作业提供了有效的预处理方法。
-
![]()
图 1 采集的视场图像中典型瑕疵示例
Figure 1. Typical defect examples in the field of view image acquisition
![]()
图 3 视场中小瑕疵数量多、分布杂乱
Figure 3. The number of small defects in the field of view is large and the distribution is messy
![]()
图 6 基于简化版Robert算法的视场瑕疵检测
Figure 6. Defect detection based on simplified Robert algorithm
![]()
图 8 在荧光屏中人为引入1个瑕疵的测试结果
Figure 8. The test results of intentionally introducing one defect on the fluorescent screen
![]()
图 9 海康威视Vision Master算法平台的检测效果：(a) 表面亮斑；(b) 表面划痕；(c) 形状异常；(d) 轮廓残缺；(e) 划痕检测；(f) 字符缺陷；(g) 崩边检测；(h) 污渍检测；(e) 划痕检测；(f) 字符缺陷；(g) 崩边检测；(h) 污渍检测
Figure 9. The detection results of Hikvision's Vision Master algorithm platform: (a) Surface speck; (b) Surface scratch; (c) Shape anomaly; (d) Contour incomplete; (e) Scratch detection; (f) Character defect; (g) Edge collapse detection; (h) Stain detection
表 1 视场中各分区允许不同大小暗点存在的数量
Table 1 The allowed number of scotoma of different sizes in each zone of the FOV
Size of the scotoma /mm Different zones of the FOV ϕ5.6 mm ϕ5.6 mm to ϕ14.7 mm ϕ14.7 mm to ϕ18 mm ≥0.457 0 0 0 0.381 to 0.457 0 0 2 0.305 to 0.381 0 5 8 0.229 to 0.305 1 9 23 0.152 to 0.229 3 35 35 ≤0.152 Sparsely scattered and can be ignored 
下载: 导出CSV
表 2 样本中各类型瑕疵数量占比情况
Table 2 The proportion of each type of defect in the samples
Defect types Scotoma Bright spot Macula Speck Stripe Number 2692 369 435 172 481 Percentage 64.98% 8.89% 10.48% 4.15% 11.59%
下载: 导出CSV
表 3 不同机器视觉视场瑕疵检测方法的对比
Table 3 Comparison of different machine vision field of view defect detection methods
Detection algorithm Key technical features Advantages Limitation Literature reference Threshold segmentation-based algorithm Using a fixed threshold method Compared to manual detection, it improves the efficiency of field defect detection Prone to interference from external factors, requiring manual assistance in discrimination Reference [4] Employing a multi-region thresholding method Further enhancing the detection accuracy of field defects Prone to interference from external factors, requiring manual assistance in discrimination Reference [5] Manually adjusting the threshold based on the actual field conditions Designed two detection modes, 'full-screen' and 'half-screen', to meet different detection needs The detection speed of defects is relatively slow Reference [6] Edge-based segmentation algorithm Employed a simplified Robert edge operator Simpler and faster defect detection The detection performance is not satisfactory for complex and irregular field defects Reference [7] Utilized the Canny edge operator More accurate localization with the design of an automatic method for selecting specific detection areas, thereby improving defect detection speed There is a certain deviation in selecting the detection area, leading to the omission of defects along the edges of the region Reference [8] Based on signal-to-noise ratio (SNR) theory Utilizing spatiotemporal signal-to-noise ratio differences in the field defect regions High detection accuracy and not limited by the shape of defects Prone to interference from external factors, unable to determine the shape and size of field defects Reference [9]
下载: 导出CSV
表 4 人工检测与机器视觉检测的对比
Table 4 Comparison between manual detection and machine vision detection
Detection method Advantages Shortcomings Detection accuracy Detection speed Manual inspection The method is simple, with relatively good reliability, and flexible operation Low detection efficiency, with relatively high labor costs Relatively high Relatively low Machine vision inspection Fast detection efficiency and speed, with excellent detection results For the detection of complex defects, the performance is not satisfactory, and manual intervention in testing is required Moderate Moderate
下载: 导出CSV
表 5 基于深度学习的瑕疵检测的部分研究应用
Table 5 Some research applications of defect detection based on deep learning
Detection method Inspected object Experimental results Literature reference Convolutional neural network (CNN) Currency note image The defect recognition accuracy is 95.6% Reference[13] Cold-rolled steel plate The model achieves a defect detection accuracy of 93% Reference [14] Fabric Defect classification accuracy is over 95% Reference [15] Solar panel Defect detection accuracy is above 88.42% Reference [16] Fully convolutional network (FCN) Crack Addressing the issue of local information loss in detection Reference [17] Concrete The recognition accuracy of surface crack defects can reach 90% Reference [18] TFT-LCD Accurate positioning and recognition of conductive particles can be achieved Reference [19] Steel The classification accuracy of defects is above 91.6% Reference [20] Auto encoder (AE) Fabric The accuracy of defect detection is consistently above 98.75% Reference [21] Rail Achieved excellent defect detection results Reference [22] Steel The defect classification rate is improved by about 16% compared to traditional methods Reference [23] Residual network(ResNet) Corn leaf blade The accuracy of identifying diseases and pests can reach 98.5% Reference [24] Photovoltaic panel The accuracy of recognizing ash accumulation level is 90.7% Reference [25] Deep belief network(DBN) Wooden board Outperforms traditional CNN detection methods in performance Reference [26] Cable tunnel More accurate and versatile compared to existing algorithms Reference [27] Metal Low scratch omission rate, better detection performance Reference [28] Recurrent neural network(RNN) Mobile phone screen The average accuracy for samples with complex sizes and shapes is 90.36% Reference [29]
下载: 导出CSV
-
[1] 石峰, 程宏昌, 闫磊, 等. 紫外探测技术[M]. 北京: 国防工业出版社, 2017. SHI Feng, CHENG Hongchang, YAN Lei, et al. Ultraviolet Detection Technology[M]. Beijing: National Defense Industry Press, 2017.
[2] 林祖伦, 王小菊. 光电成像导论[M]. 北京: 国防工业出版社, 2016. LIN Zulun, WANG Xiaoju. Introduction to Photoelectric Imaging[M]. Beijing: National Defense Industry Press, 2016.
[3] 汪贵华. 光电子器件[M]. 3版: 北京: 国防工业出版社, 2020. WANG Guihua. Optoelectronic Devices[M]. 3rd edition: Beijing: National Defense Industry Press, 2020.
[4] 许正光, 王霞, 王吉晖, 等. 像增强器视场缺陷检测方法研究[J]. 应用光学, 2005(3): 12-15. DOI: 10.3969/j.issn.1002-2082.2005.03.004 XU Zhengguang, WANG Xia, WANG Jihui, et al. Research of an approach to detect field defects of image intensifier[J]. Application Optics, 2005(3): 12-15. DOI: 10.3969/j.issn.1002-2082.2005.03.004
[5] 王吉晖, 金伟其, 王霞, 等. 基于数学形态学的像增强器缺陷的图像检测方法[J]. 光学技术, 2005(3): 463-464, 467. WANG Jihui, JIN Weiqi, WANG Xia, et al. Flaw inspection method for image tube based on image processing[J]. Optical Technology, 2005(3): 463-464, 467.
[6] 赵清波. 宽光谱像增强器辐射增益和视场缺陷测试技术研究[D]. 南京: 南京理工大学, 2008. ZHAO Qingbo. Research on Radiation Gain and Field Defect Test Technology of Wide Spectrum Image Intensifier[D]. Nanjing: Nanjing University of Science and Technology, 2008.
[7] FU Rongguo, WEI Yifang, YANG Qi, et al. The analysis of the defects of the view field of the UV image intensifier[C]//Sensors and Systems for Space Applications X of SPIE, 2017, 10196: 19-26.
[8] 杨琦. 紫外像增强器视场缺陷检测技术研究[D]. 南京: 南京理工大学, 2011. YANG Qi. Research on Defect Detection Technology of Ultraviolet Image Intensifier[D]. Nanjing: Nanjing University of Science and Technology, 2011.
[9] ZHOU B, LIU B, WU D. Research on testing field flaws of image intensifier based on spatio-temporal SNR[C]//5th International Symposium on Advanced Optical Manufacturing and Testing Technologies: Optoelectronic Materials and Devices for Detector, Imager, Display, and Energy Conversion Technology of SPIE, 2010, 7658: 691-695.
[10] 孙文政. 基于深度学习和机器视觉的手机屏幕瑕疵检测方法研究[D]. 济南: 山东大学, 2019. SUN Wenzheng. Research on Mobile Phone Screen Defect Detection Method Based on Deep Learning and Machine Vision[D]. Jinan: Shandong University, 2019.
[11] 汤勃, 孔建益, 伍世虔. 机器视觉表面缺陷检测综述[J]. 中国图象图形学报, 2017, 22(12): 1640-1663. TANG Bo, KONG Jianyi, WU Shiqian. Review of machine vision surface defect detection[J]. Chinese Journal of Image and Graphics, 2017, 22(12): 1640-1663.
[12] 张涛, 刘玉婷, 杨亚宁, 等. 基于机器视觉的表面缺陷检测研究综述[J]. 科学技术与工程, 2020, 20(35): 14366-14376. DOI: 10.3969/j.issn.1671-1815.2020.35.004 ZHANG Tao, LIU Yuting, YANG Yaning, et al. Review of surface defect detection based on machine vision[J]. Science, Technology and Engineering, 2020, 20(35): 14366-14376. DOI: 10.3969/j.issn.1671-1815.2020.35.004
[13] KE Wang, WANG Huiqin, YUE Shu, et al. Banknote image defect recognition method based on convolution neural network[J]. International Journal of Security and Its Applications, 2016, 10(6): 269-280. DOI: 10.14257/ijsia.2016.10.6.26
[14] 顾佳晨, 高雷, 刘路硌. 基于深度学习的目标检测算法在冷轧表面缺陷检测中的应用[J]. 冶金自动化, 2019, 43(6): 19-22. GU Jiachen, GAO Lei, LIU Luke. Application of object detection algorithm based on deep learning for inspection of surface defect of cold rolled strips[J]. Metallurgical Automation, 2019, 43(6): 19-22.
[15] 景军锋, 刘娆. 基于卷积神经网络的织物表面缺陷分类方法[J]. 测控技术, 2018, 37(9): 20-25. JING Junfeng, LIU Rao. Classification method of fabric surface defects based on convolution neural network[J]. Measurement and Control Technology, 2018, 37(9): 20-25.
[16] Deitsch S, Christlein V, Berger S, et al. Automatic classification of defective photovoltaic module cells in electroluminescence images[J]. Solar Energy, 2019, 185: 455-468. DOI: 10.1016/j.solener.2019.02.067
[17] 王森, 伍星, 张印辉, 等. 基于深度学习的全卷积网络图像裂纹检测[J]. 计算机辅助设计与图形学学报, 2018, 30(5): 859-867. WANG Sen, WU Xing, ZHANG Yinhui, et al. Image crack detection with fully convolutional network based on deep learning[J]. Journal of Computer Aided Design and Graphics, 2018, 30(5): 859-867.
[18] DUNG C V. Autonomous concrete crack detection using deep fully convolutional neural network[J]. Automation in Construction, 2019, 99: 52-58. DOI: 10.1016/j.autcon.2018.11.028
[19] LIU Y, YANG Y, WANG C, et al. Research on surface defect detection based on semantic segmentation[C]//Advanced Science and Industry Research Center Proceedings of 2019 International Conference on Artificial Intelligence, Control and Automation Engineering(AICAE 2019), 2019: 416-420.
[20] DONG Y, WANG J, WANG Z, et al. A deep-learning-based multiple defect detection method for tunnel lining damages[J]. IEEE Access, 2019, 7: 182643-182657. DOI: 10.1109/ACCESS.2019.2931074
[21] TIAN H, LI F. Autoencoder-based fabric defect detection with cross-patch similarity[C]//16th International Conference on Machine Vision Applications (MVA) of IEEE, 2019: 1-6.
[22] WEI Y H, NI Y Q. Variational autoencoder-based approach for rail defect identification[C]//12th International Workshop on Structural Health Monitoring: Enabling Intelligent Life-Cycle Health Management for Industry Internet of Things (IIOT), 2019: 2818-2824.
[23] DI H, KE X, PENG Z, et al. Surface defect classification of steels with a new semi-supervised learning method[J]. Optics and Lasers in Engineering, 2019, 117: 40-48. DOI: 10.1016/j.optlaseng.2019.01.011
[24] 黄英来, 艾昕. 改进残差网络在玉米叶片病害图像的分类研究[J]. 计算机工程与应用, 2021, 57(23): 7. HUANG Yinglai, AI Xin. Research on classification of corn leaf disease image by improved residual network[J]. Computer Engineering and Application, 2021, 57(23): 7.
[25] 孙鹏翔, 毕利, 王俊杰. 基于改进深度残差网络的光伏板积灰程度识别[J]. 计算机应用, 2022, 42(12): 3733-3739. SUN Pengxiang, BI Li, WANG Junjie. Dust accumulation degree recognition of photovoltaic panel based on improved deep residual network[J]. Computer Application, 2022, 42(12): 3733-3739.
[26] 李馥颖, 杨大为, 黄海. 基于改进深度置信网络的木板表面缺陷检测模型[J]. 南京理工大学学报, 2022, 46(6): 728-734. LI Fuying, YANG Dawei, HUANG Hai. Improved deep belief network based detection model for wood surface defects[J]. Journal of Nanjing University of Science and Technology, 2022, 46(6): 728-734.
[27] 黄振宁, 赵永贵, 许志亮, 等. 基于判别式深度置信网络的智能电缆隧道缺陷检测技术研究[J]. 电子设计工程, 2022, 30(20): 103-107. HUANG Zhenning, ZHAO Yonggui, XU Zhiliang, et al. Fault detection technology for smart cable tunnel based on discriminant deep belief network[J]. Electronic Design Engineering, 2022, 30(20): 103-107.
[28] 李文俊, 陈斌, 李建明, 等. 基于深度神经网络的表面划痕识别方法[J]. 计算机应用, 2019, 39(7): 2103-2108. LI Wenjun, CHEN Bin, LI Jianming, et al. Surface scratch recognition method based on deep neural network[J]. Computer Application, 2019, 39(7): 2103-2108.
[29] LEI J, GAO X, FENG Z, et al. Scale insensitive and focus driven mobile screen defect detection in industry[J]. Neurocomputing, 2018, 294: 72-81. DOI: 10.1016/j.neucom.2018.03.013
-
期刊类型引用(3)
1. 刘一帆，周峰，胡斌，晋利兵. 基于Q型非球面的全景环带红外光学系统设计. 航天返回与遥感. 2024(01): 90-98 . 
百度学术
2. 王彩霞，陈洪耀，司孝龙，李鑫，李佳伟，张黎明，包诗薇. 多波段鱼眼镜头相机实验室几何定标方法. 光子学报. 2024(08): 187-200 . 百度学术
3. 上官佳伟，李永亮，冯海龙，张馨元，王宁，李佳航. 大视场医用电子内窥镜光学成像系统研究综述. 激光杂志. 2024(08): 1-5 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 140
- HTML全文浏览量: 33
- PDF下载量: 39
- 被引次数: 5
