Underwater Image Enhancement Based on Attention Mechanism and Feature Reconstruction
-
摘要:
针对现有水下图像增强方法缺少对图像中关键目标物体的关注，对图像边缘细节信息的增强效果不佳等问题，提出一种基于注意力机制与特征重建的水下图像增强方法。首先，残差模块联合CBAM（Convolutional Block Attention Module）模块构建超像素图像增强模型，提升水下图像整体质量的同时改善图像中目标物体的清晰度和可视性；然后，设计一种边缘差分模块，使模型关注图像的高频信息，增强图像中目标物体的边缘细节；最后，构建多粒度特征重建模块，重构超像素图像增强模块的隐藏层特征，还原输入图像，进一步优化模型参数。实验结果表明，相比于对比方法，本文模型在SSIM（Structural Similarity）、PSNR（Peak Signal to Noise Ratio）和UIQM（Underwater Image Quality Measures）三个评价指标上均有提升，具备更好的增强性能。尤其在增强水下图像关键目标物体上具有显著的效果。
Abstract:To address the issues of existing underwater image enhancement methods, which lack focus on critical target objects in images and exhibit poor enhancement effects on edge detail information, in this study, an underwater image enhancement approach is proposed based on an attention mechanism and feature reconstruction. First, a superpixel image enhancement model is constructed by integrating the residual module with the Convolutional Block Attention Module (CBAM), which not only improves the overall quality of underwater images but also enhances the clarity and visibility of target objects in images. Second, an edge difference module is designed to enable the model to focus on high-frequency information in the images, thereby strengthening the edge details of the target objects. Finally, a multi-granularity feature reconstruction module is built to reconstruct the hidden layer features of the superpixel image enhancement model, restore the input image, and further optimize the model parameters. Experimental results demonstrate that when compared with contrastive methods, the proposed model realizes improvements in three evaluation metrics: Structural Similarity (SSIM), Peak Signal to Noise Ratio (PSNR), and Underwater Image Quality Measures (UIQM), indicating better enhancement performance. Notably, it exhibits a remarkable effect in enhancing critical target objects in underwater images.
-
0. 引言
氮化镓（GaN）光电阴极由于其直接带隙大、量子效率高、暗电流低以及耐腐蚀和辐射的特性而受到许多光电器件的关注[1-3]。GaN阴极在发射层通常采用Mg均匀掺杂的方式，以提高空穴浓度。为获得高的空穴浓度，需要尽可能提高Mg掺杂的浓度。但随着掺杂浓度的提高，生长过程中晶格缺陷会增多，从而形成较多的杂质复合中心，最终反而可能降低阴极性能[4]。δ-掺杂结构周期调制使得价带边能量形成周期振荡，在远离费米能级位置的受主被电离，空穴在费米能级附近得到积聚，形成了载流子带。因此δ掺杂技术可以使深受主参与导电，从而增加空穴浓度[5-7]。
表面光电压谱通过研究材料因光照而产生表面能带弯曲随入射光子能量变化关系，被广泛应用于各种单层及多层半导体材料机构研究，如异质结、超晶格、二维电子气等[8-10]。国内外包括Foussekis、赵德刚和王德军等人已针对常规的单层和多层GaN材料的光学特性、电学特性和化学吸附等现象开展了大量研究，确定了GaN材料包括表面能带弯曲量、禁带宽度和缺陷态等各种相关信息[11-13]，但目前尚未开展专门针对GaN光电阴极材料表面光电压特性的研究工作。针对GaN光电阴极材料进行表面光电压测试分析，可对GaN光电阴极包括材料生长质量、缺陷态在内等各项状态，有着更深的理解和帮助，从而对GaN光电阴极的发展起到积极的推动作用。
1. 实验
为了研究GaN光电阴极薄膜材料表面光电压谱特性，设计了7个样品，样品结构如图 1所示。所有样品都是在蓝宝石（Al2O3）衬底c-面（0001面）上通过高速旋转式MOCVD（metal-organic chemical vapor deposition）系统外延生长。在Al2O3衬底上生长30 nm厚的低温核层，升温后在1080℃下生长2 μm厚的非掺杂（undoped）GaN缓冲层，作为所有样品基底，基底结构可用U-GaN/Al2O3表示。对于样品1，是在基底基础上继续生长2 μm厚的非掺杂GaN层；对于样品2，在U-GaN/Al2O3对基底基础上继续生长了2 μm厚的GaN层，采用硅均匀掺杂，掺杂类型为N型；对于样品3、4、5，在基底上采用均匀镁（Mg）掺杂的方式再分别生长200 nm、500 nm和2 μm厚的P型GaN发射层；对于样品6和样品7，在基底上利用δ-掺杂方式进行P型GaN生长，每个δ-掺杂周期包括0.9 nm未掺杂GaN层和0.7 nm的Mg掺杂GaN层。样品6只进行了两个周期的δ-掺杂生长；样品7采用和样品6相同的掺杂生长方式，生长周期为324个周期，P型GaN发射层厚度约为500 nm。所有样品结构及规格如图 1和表 1所示。
表 1 在基底上外延生长的样品规格Table 1. Specifications of samples grown epitaxially on the substrateSamples Thickness of epitaxial layer/μm Doping type 1 2 Undoped 2 2 N-type 3 0.2 P-type 4 0.5 P-type 5 2 P-type 6 0.0032 P-type 7 0.5 P-type 目前已有表面光电压测试装置由于光源输出光谱特性和光传输部件光谱衰减特性等方面影响，无法用于GaN紫外光电阴极材料的表面光电压测试[14]。为实现GaN光电阴极材料表面光电压测试，采用金属-绝缘体-半导体（metal-insulator-semiconductor，MIS）结构测试原理[15]，设计了专用的GaN光电阴极材料表面光电压测试系统，系统整体结构示意图如图 2所示。采用氘灯作为紫外光源，利用光学斩光器和光谱仪产生光子能量范围为2.9~4.1 eV，频率为172 Hz的交流单色光。测试样品所产生表面光电压幅度及相位通过锁相放大器检测后由计算机进行采集和记录。为实现紫外波段表面光电压测试，采用在石英石上蒸镀Ga2O3的深紫外透明导电玻璃替代传统的氧化铟锡（ITO）玻璃作为透明导电玻璃，以在紫外波段获得更高的透过率和导电性。测试系统还配备了3个功率为10 mW，光子能量分别为1.89 eV、2.33 eV和2.75 eV的激光器作为辅助光源。
![]()
图 2 表面光电压测试系统整体结构示意图Figure 2. Overall structure diagram of surface photovoltage test structure所设计GaN光电阴极材料表面光电压测试系统利用串联耦合光谱仪设计，有效减小了杂散光和次级衍射光对表面光电压信号的干扰；具备分光功能的光纤配合光功率测量装置，可以实现测试过程光功率实时监测；辅助激光器可用于GaN光电阴极材料激光辅助表面光电压测试，以分析材料缺陷特性[16]。
2. 实验结果及分析
由于氮空位的存在，在未掺杂GaN层存在大量自由电子，导致材料呈N型特性[17]。因此对于样品1，可视为在Al2O3基底上生长的厚度为4 μm的单层未掺杂N-GaN薄膜材料（N-GaN/Al2O3），样品2结构可表示为N-GaN/N-GaN/Al2O3；除样品1和2以外其他样品则均可以用P-GaN/N-GaN/Al2O3结构表示，能带结构示意图如图 3所示。在P-GaN/ N-GaN/Al2O3结构GaN薄膜材料中存在3个空间电荷区（SCR1、SCR2和SCR3），其中SCR1和SCR3具有相同的电场方向，SCR2电场方向与上述两者相反。对于样品2，同样具备上述3个空间电荷区，但SCR1与另外两个空间电荷区电场方向相反。
![]()
图 3 样品3~样品7能带结构简图注：EV、EC和EF分别为导带、价带和费米能级；w1、w2和w3分别为三个空间电荷区宽度；VS、VD1和VD2为三个空间电荷区电势，箭头表示电场方向。Figure 3. Simplified diagram of the band structure of samples 3 to 7Note: EV, EC and EF are conduction band, valence band and Fermi level respectively; w1, w2 and w3 are the widths of three space charge regions respectively; VS, VD1 and VD2 are the three space charge region potentials, and the arrows indicate the direction of the electric field在光照作用下，样品表面光电压可以表示为：
$$ |\mathrm{SPV}|=\left|\Delta V_{\mathrm{S}}+\Delta V_{\mathrm{D} 1}+\Delta V_{\mathrm{D} 2}\right| $$ (1) 式中：ΔVs、ΔVD1和ΔVD2分别为SCR1、SCR2和SCR3在光照下所产生电势变化量。交流单色光从材料前表面入射时，光生电子空穴对主要产生在P-GaN层近表面极短的空间距离范围内。随着入射光子能量的降低，光吸收将逐步延伸至材料内部，样品因光照所产生表面光电压值将由材料表面空间电荷区和界面空间电荷区电势变化共同决定，各个空间电荷区电势方向并不一致，存在电势变化效果相抵消的情况。
2.1 单层GaN薄膜表面光电压谱
材料表面光电压信号主要由光生载流子重分布引起，而光生载流子浓度与被测材料光吸收系数密切相关。样品1在基底上所生长GaN薄膜厚度为4 μm，结合GaN材料吸收系数，可将样品1视为单层GaN薄膜材料，认为表面光电压信号仅由材料表面空间电荷区产生。
由图 4可知，单层GaN薄膜材料表面光电压曲线与吸收系数（图 4中插图）变化趋势基本保持一致。对表面光电压信号进行微分处理[18]，获得GaN单层薄膜材料表面光电压微分谱（differential surface photovoltage, DSPV）。DSPV表示材料在入射光子能量范围内变化速率，亦即吸收系数变化速率，其峰值所对应波长表征了材料本征吸收限λ0，所对应光子能量3.403 eV即GaN材料的禁带宽度Eg，这与Chow等所报道数据基本吻合[19]。
![]()
图 4 样品1表面光电压曲线及微分曲线Figure 4. Surface photovoltage curve and differential curve of sample 12.2 多层结构GaN薄膜材料表面光电压产生机理
样品1、2和5在基底上外延生长GaN薄膜厚度一致，均为2 μm，其结构可视为GaN/ N-GaN/Al2O3结构，区别在于外延生长GaN层的掺杂类型，样品1为未掺杂样品，样品2为N型掺杂，样品5为P型掺杂，3个样品表面光电压曲线如图 5所示。
对于样品2，由于两个N型GaN层间费米能级不一致，在两个N型GaN层间依然有空间电荷区存在，结合图 5样品2的光电压信号幅度曲线、相位曲线和图 3中的能带结构分析，在3.4 eV位置由于临近本征吸收限λ0，表面光电压信号主导区域由SCR1迅速向SCR2变换，因此在2.9~4.1 eV范围内出现两段形状相异，相位相反的表面光电压曲线。
由图 5可知，不同于未掺杂和N型掺杂样品，样品5表面光电压信号主要出现在材料本征吸收限λ0附近区域。当入射光子能量较高时，光吸收仅发生在SCR1附近区域，光吸收主要发生在P型GaN层，表面光电压表现为SCR1电势Vs的变化量ΔVs。由于材料近表面存在大量复合中心和缺陷态，光生电子空穴对极易复合，少子扩散长度较短，导致表面能带弯曲量变化极小。当入射光子能量减小后，在P型层深处也将产生光生载流子，部分光生载流子将运动至SCR2区域，导致空间电荷区能带弯曲量发生改变，产生表面光电压信号。由于P型GaN和N型GaN间PN结的存在，SCR2内建电场远高于其他两个空间电荷区。随着光子能量继续减小，在SCR2区域及两边都将产生光生载流子，光生载流子在电场影响下重分布，使得表面光电压信号迅速上升。入射光子能量进一步减小后，吸收系数快速降低，光生载流子数量急剧减小，从而导致表面光电压信号的迅速下降。
样品3、样品4和样品5具有相同的材料结构和掺杂方式，区别仅在于P型GaN层厚度，3个样品P型层厚度依次为200 nm、500 nm和2 μm，图 6为3个样品归一化表面光电压曲线。由图可知，随着P型层厚度的减小，样品在3.5~4.1 eV光子能量范围的表面光电压信号逐渐提高，这验证了前述关于P-GaN/N-GaN/Al2O3结构表面光电压产生机理。
![]()
图 6 不同厚度样品表面光电压谱Figure 6. Surface photovoltage spectra of samples with different thickness2.3 δ-掺杂对P-GaN/N-GaN/Al2O3结构表面光电压影响
样品4和样品7具有相同的材料结构、材料层厚度和掺杂类型，其中样品4采用了均匀掺杂的方式，为均匀掺杂样品，而样品7为δ-掺杂。利用室温霍尔效应对两个样品空穴浓度进行了测量，样品4空穴浓度为3.3×1017 cm－3，样品7为8.7×1017 cm－3。一般而言，在相同生长条件下，相对高的空穴浓度需要通过提高掺杂浓度实现，这代表更多的晶格缺陷、更差的晶体质量和更小的载流子扩散长度。
图 7为两种不同掺杂方式P-GaN/N-GaN/Al2O3结构样品表面光电压曲线，结合前述P-GaN/ N-GaN/Al2O3结构表面光电压产生机理，可以判定，相比于均匀掺杂样品，δ-掺杂在P型层有着更大少子扩散长度，因此在3.5~4.1 eV光子能量范围内，有更多的P型GaN层的光生电子扩散至SCR2空间电荷区区，提高了表面光电压信号。值得注意的是，在2.9~3.35 eV的亚带隙光子能量范围内，两个样品都出现了形状相类似的表面光电压信号，但δ-掺杂样品信号幅度明显更大，这意味更高的相关缺陷态密度。针对仅在基底上进行了2个周期δ-掺杂的样品6进行测试，在2.9~3.35 eV光子能量范围内获得了与样品7幅度一致的表面光电压信号。
![]()
图 7 不同掺杂方式P-GaN/N-GaN/Al2O3结构表面光电压谱Figure 7. Surface photovoltage spectra of P-GaN/N-GaN/Al2O3 structures with different doping methods利用光子能量低于GaN材料能带隙Eg的辅助激光直流照射样品，使部分缺陷能级产生跃迁，可以抑制测试样品因交流光照射所产生表面光电压信号，其中辅助激光光子流密度比测试用交流光光子流密度约高4个数量级。
图 8为样品4和样品7在不同能量激光辅助照射下的激光辅助表面光电压谱。由图 8可知，在2.75 eV光子能量的辅助激光照射下，两个样品的相关局域态电子基本实现跃迁，无法在交流光照射下产生表面光电压信号。结合图 7及样品6测试情况，可以推断，δ-掺杂样品会在δ掺杂最初几个周期内在N型GaN缓冲层和P型GaN层界面空间形成能级在(Ev+0.65)eV~(Ev+1.07)eV范围内且密度较高的缺陷态，并且该缺陷态并不会随着生长周期的增长而继续延伸。
![]()
图 8 不同掺杂方式P-GaN/N-GaN/Al2O3结构激光辅助表面光电压谱Figure 8. Laser-assisted surface photovoltage spectroscopy of P-GaN/N-GaN/Al2O3 structure with different doping methods3. 结论
利用MOCVD设备生长了多种不同结构和掺杂类型的多层结构GaN光电阴极薄膜材料，利用单层材料表面光电压微分谱，可确定材料本征吸收限；通过对不同结构、厚度、掺杂类型对比分析，确定了多层结构GaN光电阴极薄膜材料表面光电压产生机理。研究表明，相比于均匀掺杂方式，采用δ-掺杂可获得更高的空穴浓度和更好的材料生长质量。通过激光辅助表面光电压测试方法，确定了在均匀掺杂和δ-掺杂样品中存在能级处于(Ev+0.65)eV~(Ev+1.07)eV范围的缺陷态，相比于均匀掺杂，δ-掺杂样品中该缺陷态密度明显更更高。结合Park等人报道[20-21]，相关缺陷态可能是由于有序富镁平面缺陷和以金字塔和矩形形式存在的空心缺陷所引起，但具体成因及态密度分布仍需进一步确认。
-
![]()
图 8 UIEB数据集的原始图像（左）和参考图像（右）
Figure 8. Original image (left) and reference image (right) of the UIEB dataset
![]()
图 9 EUVP数据集的原始图像（左）和参考图像（右）
Figure 9. Original image (left) and reference image (right) of the EUVP dataset
![]()
图 11 不同方法处理的水下图像视觉对比
Figure 11. Visual comparison of underwater images processed by different methods
表 1 不同模型的增强结果对比
Table 1 Comparison of enhancement results of different models
Methods PSNR SSIM UIQM UIEB EUVP UIEB EUVP UIEB EUVP UDCP 13.97 16.79 0.565 0.596 2.085 2.235 IBLA 17.03 21.62 0.608 0.720 1.732 1.828 ULAP 15.87 18.91 0.537 0.729 1.773 2.316 CLAHE 17.51 19.77 0.692 0.741 2.237 2.692 UWCNN 15.52 20.56 0.717 0.750 2.674 2.859 Water-Net 18.59 22.72 0.749 0.818 2.686 2.811 Ucolor 21.88 23.21 0.865 0.886 2.859 2.887 LANet 23.96 25.53 0.835 0.873 2.835 2.932 Ours 23.31 26.37 0.882 0.916 2.901 3.013 
下载: 导出CSV
表 2 水下图像增强模型中各模块的消融实验
Table 2 Ablation experiments of each module in the underwater image enhancement model
Methods PSNR SSIM UIQM UIEB EUVP UIEB EUVP UIEB EUVP Res+EDL 17.56 21.08 0.701 0.726 2.574 2.757 ResAtt+EDL 21.93 24.94 0.821 0.860 2.833 2.892 ResAtt+EDL+LR 22.70 25.43 0.868 0.892 2.881 2.975 ResAtt+EDL+GR 22.58 25.68 0.875 0.903 2.876 2.969 ResAtt+EDL+GR+LR 23.31 26.37 0.882 0.916 2.901 3.013
下载: 导出CSV
-
[1] LIU K, PENG L, TANG S. Underwater object detection using TC-YOLO with attention mechanisms[J]. Sensors, 2023, 23(5): 2567. DOI: 10.3390/s23052567
[2] LIU Z, ZHUANG Y, JIA P, et al. A novel underwater image enhancement algorithm and an improved underwater biological detection pipeline[J]. Journal of Marine Science and Engineering, 2022, 10(9): 1204. DOI: 10.3390/jmse10091204
[3] 邓晶. 水下图像增强方法综述[J]. 电视技术, 2022, 46(12): 4-7, 13. DENG Jing. A review of underwater image enhancement methods[J]. Television Technology, 2022, 46(12): 4-7, 13.
[4] Alenezi F, Armghan A, Santosh K. Underwater image dehazing using global color features[J]. Engineering Applications of Artificial Intelligence, 2022, 116: 105489. DOI: 10.1016/j.engappai.2022.105489
[5] ZHENG M, LUO W. Underwater image enhancement using improved CNN based defogging[J]. Electronics, 2022, 11(1): 150. DOI: 10.3390/electronics11010150
[6] ZHOU J, ZHANG D, ZHANG W. Underwater image enhancement method via multi-feature prior fusion[J]. Applied Intelligence, 2022, 52(14): 16435-16457. DOI: 10.1007/s10489-022-03275-z
[7] Ghani A S A, Isa N A M. Underwater image quality enhancement through integrated color model with Rayleigh distribution[J]. Applied Soft Computing, 2015, 27: 219-230. DOI: 10.1016/j.asoc.2014.11.020
[8] Ancuti C, Ancuti C O, Haber T, et al. Enhancing underwater images and videos by fusion[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2012: 81-88.
[9] 王亚茹, 刘雨青, 黄璐瑶, 等. 基于卷积神经网络的水下图像增强技术研究[J]. 制造业自动化, 2023, 45(2): 65-68, 92. WANG Yaru, LIU Yuqing, HUANG Luyao, et al. Research on underwater image enhancement technology based on convolutional neural network[J]. Manufacturing Automation, 2023, 45(2): 65-68, 92.
[10] LI C, Anwar S, Porikli F. Underwater scene prior inspired deep underwater image and video enhancement[J]. Pattern Recognition, 2020, 98: 107038. DOI: 10.1016/j.patcog.2019.107038
[11] LI C, Anwar S, Hou J, et al. Underwater image enhancement via medium transmission-guided multi-color space embedding[J]. IEEE Transactions on Image Processing, 2021, 30: 4985-5000. DOI: 10.1109/TIP.2021.3076367
[12] GONG T Y, ZHANG M M, ZHOU Y, et al. Underwater image enhancement based on color feature fusion[J]. Electronics, 2023, 12(24): 4999. DOI: 10.3390/electronics12244999
[13] LIU R, JIANG Z, YANG S, et al. Twin adversarial contrastive learning for underwater image enhancement and beyond[J]. IEEE Transactions on Image Processing, 2022, 31: 4922-4936. DOI: 10.1109/TIP.2022.3190209
[14] QI Q, LI K, ZHENG H, et al. SGUIE-Net: Semantic attention guided underwater image enhancement with multi-scale perception[J]. IEEE Transactions on Image Processing, 2022, 31: 6816-6830. DOI: 10.1109/TIP.2022.3216208
[15] SUN S, WANG H, ZHANG H, et al. Underwater image enhancement with reinforcement learning[J]. IEEE Journal of Oceanic Engineering, 2024, 49(1): 249-261. DOI: 10.1109/JOE.2022.3152519
[16] PENG L, ZHU C, BIAN L. U-Shape transformer for underwater image enhancement[J]. IEEE Transactions on Image Processing, 2023, 32: 3066-3079. DOI: 10.1109/TIP.2023.3276332
[17] Avcibas I, Sankur B, Sayood K. Statistical evaluation of image quality measures[J]. J. Electron. Imag., 2002, 11(2): 206-223. DOI: 10.1117/1.1455011
[18] WANG Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans. Image Process. , 2004, 13(4): 600-612. DOI: 10.1109/TIP.2003.819861
[19] Panetta K, GAO C, Agaian S. Human-visual-system-inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2016, 41(3): 541-551. DOI: 10.1109/JOE.2015.2469915
[20] Islam M J, XIA Y, Sattar J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 3227-3234. DOI: 10.1109/LRA.2020.2974710
[21] LI C, GUO C, REN W, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2020, 29: 4376-4389. DOI: 10.1109/TIP.2019.2955241
[22] Drews P L, Nascimento E R, Botelho S S, et al. Underwater depth estimation and image restoration based on single images[J]. IEEE Comput. Graph. Appl. , 2016, 36(2): 24-35. DOI: 10.1109/MCG.2016.26
[23] PENG Y T, Cosman P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594. DOI: 10.1109/TIP.2017.2663846
[24] SONG W, WANG Y, HUANG D M, et al. Arapid scene depth estimation model based on underwater light attenuation prior for underwater image restoration[C]//Proceedings of 2018 Advances in Multimedia Information Processing, 2018: 678-688.
[25] Zuiderveld K J. Contrast Limited Adaptive Histogram Equalization[C]//Proceedings of the Graphics Gems, 1994: 474-485.
[26] LIU S, FAN H, LIN S, et al. Adaptive learning attention network for underwater image enhancemen [J]. IEEE Rob Autom Lett., 2022, 7(2): 5326-5333. DOI: 10.1109/LRA.2022.3156176
计量
- 文章访问数: 52
- HTML全文浏览量: 3
- PDF下载量: 18
