Image Deblurring Method Based on a Dual-Discriminator Weighted Generative Adversarial Network
-
摘要: 原始生成对抗网络(generative adversarial network, GAN)在训练过程中容易产生梯度消失及模式崩溃的问题,去模糊效果不佳。由此本文提出双判别器加权生成对抗网络(dual discriminator weighted generative adversarial network, D2WGAN)的图像去模糊方法,在GAN的基础上增加了一个判别器网络,将正向和反向KL(Kullback-Leibler)散度组合成一个目标函数,引入加权的思想调整正向和反向KL散度的比例,利用两个散度的互补特性,在学习清晰图片过程中避免不良模式的形成。实验结果表明,与现有方法相比,本文方法能更真实地恢复图像细节部分,且在评价指标峰值信噪比和图像结构相似度上有更好的表现。Abstract: The original generative adversarial network (GAN) is susceptible to the problems of vanishing gradients and mode collapse during the training process, and its deblurring effectiveness is poor. This study proposes an image deblurring method using a dual-discriminator weighted GAN. To extend the original GAN, a discriminator network is added to combine the forward and reverse Kullback–Leibler (KL) divergences into an objective function, and weights are used to adjust the ratio of forward and reverse KL divergences to leverage the complementary characteristics of the two divergences to avoid the formation of undesirable patterns in the process of learning clear pictures. Theoretical analysis proves that when an optimal discriminator is given, the difference between the forward and reverse KL divergences between real and generated data can be minimized. Experimental results demonstrate that compared to the existing methods, the proposed method can restore the details of an image more realistically and provides better performance in terms of the evaluation indexes of peak signal-to-noise ratio and structural similarity.
-
Keywords:
- generation adversarial network /
- weighted /
- dual discriminator /
- image deblurring
-
0. 引言
红外探测器一般分为两种:一种是在低温致冷系统协助下才能够正常工作的,它成本高、功耗大、寿命短;另一种是非制冷热红外探测器,它在成本、功耗、寿命、谱宽波段等方面更具有优势[1-2]。非制冷红外成像使用的核心部件是微测辐射热计,微测辐射热计的性能是由热敏材料的电阻温度系数等因素决定的。制备在室温附近具有高电阻温度系数即TCR(temperature coefficient of resistance),低方块电阻,并且没有相变弛豫的热敏薄膜是非制冷红外成像技术关键所在。目前有关这类热敏薄膜材料的研究报道有很多,VO2薄膜就是最常见的一种。
VO2薄膜是一种具有相变特性的功能薄膜,未掺杂的VO2薄膜在64℃具有从低温单斜相向高温四方相发生相变的行为[3]。这种奇特的相变行为很快引起了国内外众多科研人员的关注。从20世纪80年代开始到现在,有关VO2薄膜制备的报道有很多[4-11],其主要思路是将V2O5还原降价得到VO2。Wu J.[12]等人采用有机溶胶-凝胶法,将原料为摩尔比1:80:8的V2O5、C4H10O和C7H8O的混合溶液配制成溶胶,在云母片上旋涂后,再经过540℃的高温退火,制备出二氧化钒薄膜。易静[13]等利用水热法,将研磨好的V2O5和无水亚硫酸钠粉末,混合后放入烧杯内,加入蒸馏水、调节pH值和升温速率进行反应。24 h后,再将充分反应后的样品溶解于氢氧化钠溶液,进行过滤、洗涤烘干,最终制备出纯度为85.4%二氧化钒薄膜。唐振方[14]等利用射频磁控溅射设备对V2O5陶瓷烧结靶材进行溅射沉积镀膜,再经氩气气氛退火处理得到纯度94%的VO2薄膜。李金华[15]等采用离子束增强沉积的方法,将纯度为99.7%的V2O5粉末压成溅射靶。在使用氩离子束溅射沉积薄膜的同时,用氩氢混合束对沉积膜作高剂量离子注入,使沉积膜中V2O5的V-O键断裂,利用氢的还原性将+5价的钒还原为+4价,退火后获得室温热电阻温度系数约4%的VO2薄膜。由于未掺杂的VO2薄膜的相变温度高于室温,且存在相变驰豫,不能直接用作室温热敏薄膜。通过掺杂其他元素改变VO2的相变温度和相变驰豫温度的报道也有很多[16-17]。付学成[18]等将Ta2O5与V2O5粉末均匀混合压制成溅射靶,用离子束增强沉积的方法,在二氧化硅衬底上制备出掺Ta原子比为3%的二氧化钒薄膜,测得相变温度约48℃,相变驰豫温度约为1.5℃。谭源[19]等利用氮氧混合气体对钨钒金属靶进行共溅射的方法制备金属氧化物薄膜,并在常压下进行退火处理,结果表明掺钨原子比为1.4%的VO2薄膜的相变温度下降到31℃,相变驰豫温度约为2.5℃。关于能否利用具有还原性金属单质和V2O5进行共溅射,将V2O5还原制备出VO2的同时,实现掺杂改变相变温度和相变驰豫温度,国内外相关文献鲜有报道。
我们尝试在真空度高于1×10-4 Pa的条件下,通入高纯氩气,用共溅射的方法,对高纯金属镁靶和V2O5陶瓷靶进行溅射。利用Mg的还原性将+5价的钒降低为+4价制备VO2薄膜。通过调节加在两个靶材的功率,来调节薄膜中Mg和V的原子比。研究发现,当Mg和V的原子比为7:93时,XRD(X-ray diffraction)测试结果显示制备的薄膜晶粒主要成分是VO2,XPS(X-ray photoelectron spectroscopy)测试结果表明薄膜中的V以+4,+5价混合存在。当Mg和V的原子比为1:2时,XRD测试结果显示制备的薄膜晶粒主要成分变成了MgV2O5,同时XPS测试结果表明薄膜中的V仅以+4价存在。扫描电子显微镜照片显示,MgV2O5薄膜结晶状况良好。用霍尔效应仪测试MgV2O5薄膜电阻随温度的变化,结果显示:在20℃附近也有相变行为,电阻温度系数高达-8.6%/K,回线弛豫温度仅有0.3℃。我们分析了MgV2O5薄膜的特殊结构,并用相关的相变理论解释了薄膜在室温附近具有高TCR,较小的弛豫温度的原因。
1. 实验部分
1.1 实验设备
实验采用美国丹顿真空explore-14多靶磁控溅射沉积系统制备薄膜,如图 1所示。
五氧化钒靶安装在射频靶枪,高纯镁靶在直流靶枪。靶材中心距离基片台中心距离约15 cm,靶与基片台倾斜夹角约45°。溅射气源采用纯度为99.999%氩气,设备的极限真空为2×10-5 Pa。基片台为水冷控温,温度为22℃,旋转速度0~12转/min,转速可调。
1.2 测试设备与耗材
衬底选用清洗干净的3 in P型(100)单面抛光的单晶硅片,薄膜厚度测试选用KLA-TencorP7台阶仪,电阻温度系数测试选用MMR霍尔效应仪,薄膜成分检测选用德国Bruker公司ADVANCE Da Vinci多功能X射线衍射仪,元素化合价测试选用日本岛津-Kratos公司AXIS UltraDLDX射线光电子能谱仪,图像分析采用德国Zeiss Ultra Plus场发射扫描电子显微镜。
1.3 薄膜的制备
在本底真空度优于1×10-4 Pa的条件下,通入高纯氩气,设定工作气压为0.6 Pa,基片台转速设定为6转/min。预溅射功率为200 W,先将靶材分别预溅射5 min。再设定五氧化钒靶和高纯镁靶上的功率比值分别为300 W: 20 W,300 W: 30 W,300 W: 40 W,沉积时间为30 min,在3 in硅衬底上分3次制备薄膜。
2. 薄膜的测试
2.1 薄膜厚度和元素比例的测试
在共溅射的过程中保持五氧化钒靶的功率为300 W,将高纯镁靶上的功率由20 W增加到30 W、40 W。3次制备的薄膜厚度也有区别,台阶仪测试的结果表明:随着高纯镁靶上的功率由20 W,增加到30 W、40 W,沉积的薄膜厚度由355 nm增加到425 nm、578 nm。用EDS检测不同工艺条件制备薄膜中Mg和V的原子比,结果表明:镁靶上的功率为20 W时,沉积的薄膜中Mg和V的原子比为7:93,镁靶上的功率为30 W时,沉积的薄膜中Mg和V的原子比为17:83。当镁靶上的功率增加到40 W时,沉积的薄膜中Mg和V的原子比迅速增加到为1:2。
2.2 薄膜成分的测试
利用XRD检测不同工艺条件制备薄膜的物相,测试角度范围为15~75°,步幅大小为0.02°,测试结果如图 2显示,其中2θ为衍射角。Mg靶的溅射功率为20 W时,共溅射制备的薄膜3条谱峰分别对应于VO2(PDF#73-0514)的(211)、(151)、(024)晶向,没有发现V2O5和MgO晶粒的存在。同时利用XPS检测所制备薄膜中V和Mg化合价情况。测试结果采用高斯曲线进行拟合显示,薄膜中的V元素以+4和+5价共同存在,如图 3。Mg2p峰的窄程扫描图谱中显示:Mg2+结合能为50.75 eV。
Mg靶的功率增加到30 W和V2O5共溅射制备的薄膜,XRD测试结果如图 2显示。共溅射沉积的薄膜晶粒主要成分仍然是(211)和(151)晶向的VO2。根据标准卡片PDF#89-4728分析,(116)晶向的MgV2O5晶粒开始出现。当Mg靶的溅射功率增加到40 W时,在共溅射制备的薄膜中,VO2消失,(116)晶向的MgV2O5和(111)、(200)、(220)晶向的MgO(PDF#89-7746)为主要成分,结晶状况如图 4(a), 图 4(b)。
V2p、Mg1S的窄程扫描图谱结果显示,如图 5(a), 图 5(b)。V4+的结合能为516.24 eV,半高宽约3.08 eV,Mg2+的结合能为50.75 eV,Mg1S的结合能为1303.74 eV半高宽约1.92 eV。XPS测试结果显示V、Mg两种元素在薄膜中的原子比例约为2:1。
2.3 MgV2O5和V2O5薄膜的电学性能测试
为对比研究镁还原V2O5靶材制备的MgV2O5薄膜和V2O5薄膜电学性能不同。用银浆做好电极后,对利用共溅射法制备的MgV2O5薄膜和未被还原的V2O5薄膜进行电学性能对比测试,如图 6。
3. 结果分析和讨论
3.1 薄膜厚度和元素比例的测试结果分析
随着高纯镁靶上的功率由20 W,增加到30 W、40 W,沉积的薄膜厚度由355 nm增加到425 nm、578 nm。用EDS检测不同工艺条件制备薄膜中Mg和V的原子比,结果显示:当镁靶上的功率为20 W时,沉积的薄膜中Mg和V的原子比为7:93,当镁靶上的功率增加到40 W时,沉积的薄膜中Mg和V的原子比迅速增加到为1:2。这可能是由于在溅射金属镁时采用的功率过低,加在阴极上的电压也很低,只有小部分氩离子的能量大于镁的溅射阈值,造成镁的溅射产额比较低。当功率略有增加时,阴极上的电压升高,大部分氩离子的能量大于镁的溅射阈值,镁的溅射产额快速增加,引起薄膜的组分发生了变化,导致薄膜厚度也大幅度增加。
3.2 薄膜成分的测试结果分析
当Mg靶的溅射功率为20 W时,共溅射制备的薄膜中Mg2+结合能为50.75 eV。+2价的镁离子存在证明了镁原子可以将+5价的钒还原为+4价。V2p峰的窄程扫描图谱中V4+的结合能为516.26 eV,半高宽约0.81 eV;V5+的结合能为517.62 eV,半高宽约1.75 eV。通过高斯曲线对拟合过的V4+、V5+峰面积进行计算,可知在薄膜中V4+所占的比例约为14%,这和7%的Mg原子理论上可以将14%的V5+还原成V4+的结果非常吻合。
虽然XPS检测结果显示制备薄膜中有+5价V的存在,但XRD测试的结果中没有发现V2O5的存在。这可能是因为沉积的薄膜没有经过退火处理,V2O5以非晶状态存在造成的。根据Scherrer公式D=Kλ/(βcosθ),可以计算出VO2晶粒尺寸约5 nm。由于VO2晶粒比较小,且在薄膜中占有的比例低,SEM图像中很难发现它的存在。
当Mg靶的溅射功率增加到40 W时,XPS测试结果显示:V、Mg两种元素在薄膜中的原子比例为1:2。这与XRD测试得出的薄膜的主要成分是MgV2O5这一结果非常吻合。
3.3 MgV2O5和V2O5薄膜的电学性能测试结果分析与讨论
由图 6可以看出,未被还原的V2O5薄膜285~345 K的温度范围内电阻随温度的变化近似一条直线,无相变行为,升降温曲线是重合在一起的。由TCR计算公式${C_{T, R}} = \frac{1}{R} \times \frac{{\Delta R}}{{\Delta T}} $,R为293 K时薄膜电阻,可以计算得出,未被还原的V2O5薄膜在室温20℃时,TCR约为-1.4%/K。MgV2O5薄膜在285~345 K的温度范围内电阻由90 kΩ下降到1.4 kΩ,减少了约98%,在室温20℃附近显示出明显的相变行为,此温度下的TCR约为-8.6%/K,同时升降温回线的弛豫温度仅为0.3℃,这一结果比未掺杂VO2薄膜的弛豫温度3~5℃[20],低很多。
目前有关MgV2O5材料性质报道的论文极少,对于薄膜在室温附近具有相变行为且弛豫温度仅为0.3℃这一现象,可能是因为MgV2O5属于钒酸盐梯状化合物,其结构特点是典型的梯形结构,一个梯内的相互作用要比相邻梯间的相互作用大很多[21]。当薄膜温度从310~290 K进行变换时,沿c轴方向形成长和短的两种V-V键,从而使c参数有双重值,这种变化会在V3d导带费米能级上产生一个极小的能隙[22],这类相变属于一级相变,是造成MgV2O5薄膜在285~310 K的附近温度电阻曲线不重合的主要原因。
据文献[23]报道MgV2O5常温下是一种磁性材料。当薄膜吸收或释放热量发生相变时,不但吉布斯自由能和化学势能都相等,即G1=G2,μ1=μ2,化学势的一级偏微商也相等,只是化学势二级偏微商不相等。MgV2O5在室温附近发生一级相变的同时,可能伴随着二级相变,这类相变会影响材料的磁性,对材料的体积,焓无影响。由于二级相变的存在,弛豫温度要比未掺杂VO2薄膜的弛豫温度小很多。
另外,由负温度电阻系数热敏电阻器公式:
$$ {R_{25}} = {R_T}\exp {B_{\rm{n}}}\left( {\frac{1}{{298}} - \frac{1}{T}} \right) $$ 式中:R25为材料25℃的电阻值;RT为温度T时的实际电阻值;Bn为负电阻温度系数热敏电阻器材料物理特性的一个常数。由公式可以计算出,在温度为20℃时,材料常数Bn约为6700。这从另外一个方面说明了该材料在室温附近的绝对灵敏度非常高。
4. 结论
采用高纯金属镁靶和五氧化钒靶进行共溅射,利用镁原子的还原性,可以将+5价的钒降低为+4价,制备+4价钒的氧化物薄膜。当Mg和V的原子比为1:2时,共溅射制备的薄膜主要成分是MgV2O5。电学性能测试结果显示,MgV2O5薄膜在20℃附近有相变行为,电阻温度系数高达-8.6%/K,回线弛豫温度仅为0.3℃。这可能是由于MgV2O5特殊的梯形结构和磁性特性,在20℃发生二级相变的同时,伴随微弱的一级相变造成的。这为制备在室温条件下,高TCR、低相变弛豫温度的红外薄膜材料提供帮助。
-
表 1 判别器网络结构
Table 1 Discriminator network structure
Input (256×256×3) 4×4,64,stride=2,LeakyReLU 4×4,128,stride=2,instanceNorm2d,LeakyReLU 4×4,256,stride=2,instanceNorm2d,LeakyReLU 4×4,512,stride=1,instanceNorm2d,LeakyReLU 4×4,1,stride=1 SoftPlus 表 2 不同方法对图 6中单张图像的质量评价结果
Table 2 The quality evaluation results of the single image in Fig. 6 by different methods
Evaluation indices LR GAN DeblurGAN D2WGAN PSNR/dB 23.03 27.96 30.54 33.08 SSIM 0.79 0.83 0.88 0.91 表 3 不同方法在GOPRO验证集上的图像质量评价
Table 3 Image quality evaluation of different methods on GOPRO validation set
Evaluation indices GAN DeblurGAN D2WGAN PSNR/dB 25.82 27.15 28.98 SSIM 0.772 0.815 0.891 -
[1] 李明东, 张娟, 伍世虔, 等. 基于RANSAC变换的车牌图像去模糊算法[J]. 传感器与微系统, 2020, 39(2): 153-156, 160. https://www.cnki.com.cn/Article/CJFDTOTAL-CGQJ202002043.htm LI Mingdong, ZHANG Juan, WU Shiyu, et al. A deblurring algorithm for license plate image based on RANSAC transform[J]. Sensors and Microsystems, 2020, 39(2): 153-156, 160. https://www.cnki.com.cn/Article/CJFDTOTAL-CGQJ202002043.htm
[2] 马苏欣, 王家希, 戴雅淑, 等. 监控视频下模糊车牌的去模糊与识别探析[J]. 信息系统工程, 2019(11): 111-113. DOI: 10.3969/j.issn.1001-2362.2019.11.046 MA Suxin, WANG Jiaxi, DAI Yashu, et al. Research on the deblurring and recognition of fuzzy license plates under surveillance video[J]. Information System Engineering, 2019(11): 111-113. DOI: 10.3969/j.issn.1001-2362.2019.11.046
[3] 裴慧坤, 颜源, 林国安, 等. 基于生成对抗网络的无人机图像去模糊方法[J]. 地理空间信息, 2019, 17(12): 4-9, 155. DOI: 10.3969/j.issn.1672-4623.2019.12.002 FEI Huikun, YAN Yuan, LIN Guoan et al. Deblurring method of UAV image based on generative confrontation network[J]. Geospatial Information, 2019, 17(12): 4-9, 155. DOI: 10.3969/j.issn.1672-4623.2019.12.002
[4] 黄允浒, 吐尔洪江, 唐泉, 等. 一种基于à trous算法的遥感图像模糊集增强算法[J]. 计算机应用与软件, 2018, 35(3): 187-192, 246. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201803037.htm HUANG Yunhu, TU Erhong, TANG Quan, et al. A remote sensing image fuzzy set enhancement algorithm based on à trous algorithm[J]. Computer Applications and Software, 2018, 35(3): 187-192, 246. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201803037.htm
[5] 张广明, 高爽, 尹增山, 等. 基于模糊图像和噪声图像的遥感图像运动模糊复原方法[J]. 电子设计工程, 2017, 25(18): 82-86. DOI: 10.3969/j.issn.1674-6236.2017.18.020 ZHANG Guangming, GAO Shuang, YI Zengshan, et al. Remote sensing image motion blur restoration method based on blurred image and noise image[J]. Electronic Design Engineering, 2017, 25(18): 82-86. DOI: 10.3969/j.issn.1674-6236.2017.18.020
[6] 吴庆波, 任文琦. 基于结构加权低秩近似的泊松图像去模糊[J]. 北京航空航天大学学报, 2020, 46(9): 1701-1710. https://www.cnki.com.cn/Article/CJFDTOTAL-BJHK202009010.htm WU Qingbo, REN Wenqi. Poisson image deblurring based on structure-weighted low-rank approximation[J]. Journal of Beijing University of Aeronautics and Astronautics, 2020, 46(9): 1701-1710. https://www.cnki.com.cn/Article/CJFDTOTAL-BJHK202009010.htm
[7] RICHARDSON W. Bayesian-based iterative method of image restoration[J]. Journal of the Optical Society of America, 1972, 62(1): 55-59. DOI: 10.1364/JOSA.62.000055
[8] LUCY B. An iterative technique for the rectification of observed distributions[J]. The Astronomical Journal, 1974, 79(6): 745-754. http://pdfs.semanticscholar.org/30ad/4474c7d6e9fd68b3e0fa2db235f1c8bc32f0.pdf
[9] IAN G, JEAN P, MEHDI M, et al. Generative adversarial nets[C]//Adv. in 27th Neural Inf. Processing Syst. (NIPS), 2014: 2672-2680.
[10] LEDIG C. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proc. of the IEEE Conf. on Comp. Vis. and Patt. Recog. (CVPR), 2017: 105-114.
[11] LI Y, ZHAO K, ZHAO J. Research on super-resolution image reconstruction based on low-resolution infrared sensor[J]. IEEE Access, 2020(8): 69186-69199. http://ieeexplore.ieee.org/document/9052738/
[12] LI Z, WANG W, ZHAO Y. Image Translation by Domain-Adversarial Train[J]. Compu. Intel. And Neuro. , 2018: 1-11. Doi: 10.1155/2018/8974638.
[13] YANG T, CHANG X, SU H, et al. Raindrop removal with light field image using image inpainting[J]. IEEE Access, 2020(8): 58416-58426. http://ieeexplore.ieee.org/document/9040628
[14] Mirza M, Osindero S. Conditional generative adversarial nets[J/OL]. arXiv preprint arXiv: 1411.1784, 2014, https://arxiv.org/abs/1411.1784.
[15] Orest K, Volodymyr B, Mykola M, et al. DeblurGAN: Blind motion deblurring using conditional adversarial networks[C]//Proc. of the IEEE Conf. on Comp. Vis. And Patt. Recog., 2018: 8183-8192.
[16] NGUYENT, LE T, VU H. Dual discriminator generative adversarial nets[C]//Proc. 29th Int. Conf. Neur. Inf. Pro. Sys., 2017: 2667-2677.
[17] Lucas T, Aäron V, Matthias B. A note on the evaluation of generative models[J/OL]. arXiv preprint arXiv: 1511.01844, 2015. https://arxiv.org/abs/1511.01844
[18] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//ICML'15: Proceedings of the 32nd International Conference on International Conference on Machine Learning, 2015, 37: 448-456.
[19] Ulyanov D, Vedaldi A, Lempitsky V. Instance normalization: the missing ingredient for fast stylization[C]//Proc. of the IEEE Conf. on Comp. Vis. and Patt. Recog. (CVPR), 2016: 1-13.
[20] LI C, WAND M. Precomputed Real-time texture synthesis with markovian generative adversarial networks[C]//European Conference on Computer Vision, 2016: 702-716.
[21] Maas L, Hannun Y, Ng Y. Rectifier nonlinearities improve neural network acoustic models[C]//Proc. ICML., 2013: 1-3.
[22] JOHNSON J, ALAHI A, FEI L. Perceptual losses for real-time style transfer and super-resolution[C]//Proc. of European Conference on Computer Vision, 2016: 694-711.
[23] SUN J, CAO W, XU Z, et al. Learning a convolutional neural network for non-uniform motion blur removal[C]//Proc. of the IEEE Conf. on Comp. Vis. and Patt. Recog. (CVPR), 2015: 769-777.
[24] NAH S, KIM H, LEE M. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]//IEEE Conf. on Comp. Vis. and Patt. Recog. (CVPR), 2017: 257-265.
[25] Kingma D, Ba J. Adam: A method for stochastic optimization[C]//Int. Conf. for Learning Representations (ICLR), 2015: 1-15.
-
期刊类型引用(1)
1. 付学成,徐锦滨,乌李瑛,付刘成,王英. 溅射工艺时间对不同靶材溅射速率的影响. 实验室研究与探索. 2024(09): 37-40 . 百度学术
其他类型引用(0)