DCGAN-Based Generation of Ultraviolet Image Intensifier Field-of-View Defect Images
-
摘要:
传统数据增强方法容易过拟合，为了解决紫外像增强器视场瑕疵图像数据集样本不平衡的问题，提升基于深度学习的条纹状瑕疵识别精度，提出了一种基于深度卷积生成对抗网络（Deep Convolution Generative Adversarial Network，DCGAN）的紫外像增强器视场瑕疵图像生成方法。通过对DCGAN进行损失函数的改进以及添加卷积注意力机制的优化，建立了紫外像增强器视场瑕疵图像生成模型，成功实现了紫外像增强器视场瑕疵图像的生成。随后，利用图像质量评价指标以及瑕疵检测模型来验证生成图像的有效性。实验结果显示，生成的紫外像增强器视场瑕疵图像可以满足使用需求，将生成图像融合到真实图像中再输入瑕疵检测模型可提高其检测精度。这一研究成果为三代微光像增强器和紫外像增强器的基于深度学习的视场瑕疵检测提供了技术支撑。
Abstract:Traditional data enhancement methods are easy to over-fit. To solve the problem of sample imbalance in the field of view defect image dataset of the ultraviolet image intensifier and improve the recognition accuracy of stripe defects based on deep learning, a field of view defect image generation method of the ultraviolet image intensifier based on a deep convolution generative adversarial network (DCGAN) is proposed. Through the improvement of the loss function of the DCGAN and the optimization of the convolution attention mechanism, the generation model of the field-of-view defect image of the UV image intensifier is established, and the generation of the field-of-view defect image of the UV image intensifier is successfully realized. The image quality evaluation index and defect detection models are then used to verify the effectiveness of the generated image. The experimental results show that the generated UV image intensifier field-of-view defect image can meet the application requirements, and the detection accuracy can be improved by fusing the generated image into the real image and then entering the defect detection model. The research results provide technical support for field-of-view defect detection based on the deep learning of the third-generation low-light-level image intensifier and ultraviolet image intensifier.
-
0. 引言
非制冷探测器是一种工作在室温环境下，可将外界入射的红外热辐射信号转化为电信号的探测器件。随着大规模集成电路和微机电系统的快速发展，非制冷红外焦平面阵列技术日新月异，已广泛应用于军事和民用领域。其中氧化钒非制冷探测器是目前技术最成熟、市场占有率最高的主流非制冷探测器[1]。如今，氧化钒非制冷红外焦平面的像元尺寸已经进入亚波长尺寸，但像元尺寸的减小会导致探测器的吸收面积呈边长的二次方减小，而吸收率的快速降低严重制约了探测器的性能。故研究氧化钒非制冷探测器吸收对于提高探测器性能具有十分重要的意义。
最早采用的提高红外吸收的方法是增加黑化层[2-3]。但其吸收率对高性能热探测器而言偏低。利用光在多层介质中的干涉效应，可以增强在某一波长或某一波段的吸收率。在此概念基础上，发展出了具有共振吸收结构的辐射吸收层[3-4]，其能大大增强氧化钒非制冷探测器在特定波段的吸收效率。而后学者们又提出了许多表面吸收增强结构来提升氧化钒非制冷探测器的吸收率，如：表面纹理吸收结构[5-6]、金属陶瓷吸收结构[7]、光子晶体吸收结构[8]、光栅吸收增强结构[9-10]、超表面吸收增强结构[11-12]等。随着氧化钒非制冷探测器像元尺寸的减小，采用双层工艺成为了提高探测器吸收效率最为普遍的一种方法[13-16]。
本文将首先从从材料角度出发，对氧化钒非制冷探测器单层材料的吸收特性进行研究，分析目前较为常用的氧化钒非制冷探测器材料以及他们对探测器的吸收影响；接着从结构角度出发，对探测器的填充系数、反射层、谐振腔、表面吸收结构4个因素分别展开分析；最后拓展到双层结构，对双层氧化钒非制冷探测器的腔体高度、膜系厚度进行讨论。通过对上述研究的量化比较，结合目前工艺上的普遍方法和较为前沿的技术路线，给出提升氧化钒非制冷探测器吸收的系统方法。
1. 氧化钒非制冷探测器单层材料吸收研究
为了研究氧化钒非制冷探测器的吸收，我们首先需要对探测器各层材料进行一些基本的研究。
目前普遍的氧化钒非制冷探测器材料膜系除电路部分外从下到上普遍包括反射层、金属钝化层、桥面支撑层、光敏层、光敏钝化层。
在选材方面，Al在长波红外对电磁波具有较高的反射率，且成本较低，故是一种极佳的反射层材料；SiNx材料，在红外波段有较高的吸收率[17]，同时还具有优良的热学、力学性质，这使得它既可以作为探测器金属和光敏材料的钝化层，又可以作为桥面支撑层；而光敏材料VOx具有较高的TCR值，普遍应用于非制冷探测器中；在设计氧化钒非制冷红外探测器时，通常还会用到SiO2，其不仅是一种优良的钝化材料，而且也在调节光谱、应力方面起着关键作用。
当光线由空气入射到光学系统的光学零件表面时，一部分光被反射，一部分光被折射，而其余部分则被光学系统吸收，通常我们获取光学系统的反射率，透射率相对容易，故有下式求得其吸收率：
$$ A(λ)＝1－R(λ)－T(λ) $$ 式中：R(λ)、T(λ)、A(λ)分别表示光学系统的反射率、透射率、吸收率。
薄膜体系的红外吸收率，通常采用光学导纳矩阵法[18-19]。考虑到器件的实际工作情况，可以做以下假设：①各层是各向同性的均匀薄膜，②输入光是横波（S波），③输入光垂直入射。根据薄膜光学理论，膜系中第j层膜的特征矩阵Mj为：
$$ \boldsymbol{M}_j=\left[\begin{array}{cc} \cos \delta_j & \frac{\mathrm{i}}{\eta_j} \sin \delta_j \\ \mathrm{i} \eta_j \sin \delta_j & \cos \delta_j \end{array}\right]$$ (1) 式中：i为虚部单位；ηj和δj（j＝1, 2, 3）分别为各层膜的修正导纳和相位厚度：
$$ \mathop \delta \nolimits_j = \frac{{2{\text{π }}}}{\lambda }\mathop N\nolimits_j \mathop d\nolimits_j \cos \mathop \theta \nolimits_j $$ (2) 式中：Nj为各层膜的复折射率，Nj＝nj－ikj，nj和kj都与波长λ有关，dj和θj分别为各层膜的厚度和折射角，对于S波且光垂直入射时，θj＝0。
整个膜系的特征矩阵M为：
$$ \left[ {\begin{array}{*{20}{c}} \boldsymbol{B} \\ \boldsymbol{C} \end{array}} \right] = \prod\limits_{j = 1}^k {\left[ {\begin{array}{*{20}{c}} {\cos \mathop \delta \nolimits_j }&{\frac{i}{{\mathop \eta \nolimits_j }}\sin \mathop \delta \nolimits_j } \\ {i\mathop \eta \nolimits_j \sin \mathop \delta \nolimits_j }&{\cos \mathop \delta \nolimits_j } \end{array}} \right]} \left[ {\begin{array}{*{20}{c}} 1 \\ {\mathop \eta \nolimits_{k + 1} } \end{array}} \right] $$ (3) 式中：ηj+1为出射介质的光学导纳。从上式可知，多层薄膜的组合导纳为Y＝C/B，反射率R(λ)和透射率T(λ)分别为：
$$ R\left( \lambda \right) = \left( {\frac{{\mathop \eta \nolimits_0 \boldsymbol{B} - \boldsymbol{C}}}{{\mathop \eta \nolimits_0 \boldsymbol{B} + \boldsymbol{C}}}} \right){\left( {\frac{{\mathop \eta \nolimits_0 \boldsymbol{B} - \boldsymbol{C}}}{{\mathop \eta \nolimits_0 \boldsymbol{B} + \boldsymbol{C}}}} \right)^ * } $$ (4) $$ T\left( \lambda \right) = \frac{{4\mathop \eta \nolimits_0 \mathop \eta \nolimits_{k + 1} }}{{\left( {\mathop \eta \nolimits_0 \boldsymbol{B} + \boldsymbol{C}} \right){{\left( {\mathop \eta \nolimits_0 \boldsymbol{B} + \boldsymbol{C}} \right)}^ * }}} $$ (5) 从以上分析可知，影响光学薄膜吸收的主要因素有：折射率nj、消光系数kj、薄膜厚度dj、入射角度θj等，这里光学参数nj和kj由材料自身决定，本文通过椭偏移测量出上述材料的光学参数如图 1(a)所示。
![]()
图 1 各材料光学参数及光学性质（图(b)、(c)中A、T、R分别表示吸收率(Absorptivity)、透射率(Transmissivity)、反射率(Reflectivity)，图(c)与图(b)共用一个图例）Figure 1. Optical parameters and optical properties of each material (A, T, and R in Figures (b) and (c) represent Absorptivity, Transmissivity, and Reflectivity, respectively. Figures (c) and (b) share the same legend)通过FFTD仿真软件，仿真单层材料不同厚度的吸收情况，可以得到各材料的光学特性，从而为确定器件各层薄膜的厚度值提供参考。
如图 1(b)、(c)可以看出，光经过SiNx时主要被吸收和透射，反射量较少，吸收波段集中在9~14 μm。随着厚度的增加，SiNx的吸收率也在逐步提高，且吸收峰向短波方向移动，当薄膜厚度超过200 nm时，吸收增速明显下降较快；SiO2在9.5 μm处有一个很强的吸收峰，其他波段吸收较弱，这对于探测器吸收光谱具有一定的调控作用（可以解决探测器在8~10 μm范围内吸收不够强的问题），其主要由吸收和透射决定，反射量较少，故可以降低探测器在可见-近红外波段的反射率，采用SiNx和SiO2的双层复合材料作为微桥支撑结构还能较好地缓解表面残余应力问题[20]。VOx吸收波段在9 μm以上。超薄金属薄膜由于金属表面的自由载流子浓度很高，金属体材料对于太赫兹的反射率接近100%。但是当金属薄膜的厚度减小到纳米量级时，薄膜中的载流子受到束缚而浓度降低，这使得电子与太赫兹波相互作用增强而吸收太赫兹辐射。Ti在整个波段都有吸收，波长越长吸收效果越好，随着厚度的增加，其吸收先增加后减小，这主要由透射引起。当其厚度为5~50 nm时，吸收效果最好，当其厚度超过200 nm时，光线几乎全部被反射。而Al的消光系数特别大，薄膜对光线几乎不产生吸收，膜厚在4 nm以下有一定的透射，但膜厚超过50 nm时，光线几乎全部被反射。
当然在确定器件各膜层厚度时不能只考虑其吸收特性，比如作为支撑微桥的SiNx层必须超过一定值才能在力学上满足结构要求，VOx在设计厚度时还要考虑其TCR、方阻等问题，整个探测器膜系还要满足相应的热学要求等等。
2. 氧化钒非制冷探测器不同结构吸收研究
提高氧化钒非制冷探测器吸收效率的方法有很多，在没有外部吸收增强装置辅助的情况下，本文将其归纳为4个方面：提高探测器的填充系数；增加反射层减小光的透射；增加谐振腔增加所需波段吸收；表面吸收结构的集成。
结合上一章所讨论的材料性质与目前普遍的氧化钒非制冷探测器膜系结构，本文以如图 2所示的SiNx/VOx/SiNx/SiO2结构进行氧化钒非制冷探测器不同结构吸收研究。
填充系数定义为微测辐射热计对红外辐射的有效吸收面积占其总面积的百分比[21]。氧化钒非制冷探测器是由多个探测像元组成，假设每个像元的总面积为A，有效探测面积为AD，则填充因子为β＝AD/A。填充系数越大则探测器的吸收能力越强。
微桥的桥臂、相邻微桥之间的空隙、连接微桥与读出电路的开孔等所占的面积对敏感材料吸收都没有直接贡献，所以桥腿与有效吸收面积的设计尤为重要，桥腿类型大致可以分为如图 3(a)~(e)的几种类型，可以看出，桥腿长度越短，桥腿截面积越小，则其填充系数越大，但另一方面为使微测辐射热计与其衬底间的热导尽量小，需要尽可能增加桥腿长度，而桥腿截面积过小则会带来许多工艺上的问题。所以在设计桥腿分布时，需要综合考虑，单层微桥结构填充系数一般是60%~70%，且随着像元尺寸的减小，单层结构的填充系数会进一步下降。研究者们还提出了一种如图 3(f)所示的双层隐藏桥腿结构[22]，但这种结构由于信号互连失效的概率较大等因素并未被大多数制造商采用[23]。
反射层、谐振腔、表面吸收结构，如图 4所示，我们可以单独讨论它们各自的以及其互相组合之后的结构，通过FDTD仿真软件对图中各结构进行仿真，可以得到相应的吸收贡献率。
![]()
图 4 氧化钒非制冷探测器不同吸收结构示意图（其中表面结构为SiNx/Ti/SiNx夹层柱状超表面天线结构，SiNx/Ti/SiNx夹层厚度分别为50 nm/10 nm/50 nm；天线周期为2.5 μm，柱状天线直径为1.5 μm；其他结构各膜系参数同图 2所示）Figure 4. Schematic diagram of different absorption structures of VOx uncooled detectors(The surface structure is a SiNx/Ti/SiNx sandwich columnar metasurface antenna structure, with a thickness of 50nm/10nm/50nm for SiNx/Ti/SiNx interlayers; the antenna period is 2.5 μm, and the diameter of the columnar antenna is 1.5 μm; the parameters of other structures and film systems are shown in Figure 2)从图 5(a)、(b)中可以看出，单探测器（无吸收结构）吸收情况下大部分光线被透射，吸收率较低，故需要增加反射层以减小透射，当增加反射层后，透射率几乎下降为零，但另一方面反射率也显著增加，对于探测器的吸收效率并没有正面的效益，故其需要配合谐振腔进行吸收增强。
![]()
图 5 氧化钒非制冷探测器不同吸收结构吸收情况（图(a)~(h)共用图(a)的图例，其中R、A、T分别表示反射率(Reflectivity)、吸收率(Absorptivity)、透射率(Transmissivity)）Figure 5. Absorption of different absorption structures of VOx uncooled detectors (Figures (a) to (h) share the legend of Figure (a), where R, A, and T respectively represent Reflectivity, Absorptivity, and Transmittance)谐振腔可等效为一个耦合系统[24]。当有反射层存在时，下层金属充当一个镜面的作用，能反射部分入射电磁波；同样上层也会充当一个局部的反射镜，这样上下金属镜面反射的多重波会发生干涉效应。通过来回的振荡反射消耗，使得入射光波完全被“约束”在中间介电耗尽层内。腔体的厚度，也就是微桥悬空的高度，根据探测器吸收结构的设计公式：d＝λ0/4n，空气的折射率为n＝1，长波红外（工作波段）的波长范围λ0为8~12 μm，因此，牺牲层厚度一般设计为2~3 μm就能满足谐振腔高度的要求。从图 5(c)、(e)可以看出，在反射层和谐振腔的共同作用下，探测器的吸收效率得到了大幅度的增加，如果单是谐振腔，吸收效果要远差于反射层和谐振腔搭配的效果。另外腔体存在的另一个必要原因在于降低了光敏面与衬底间的热交换，故在氧化钒非制冷探测器设计时显得尤为重要。
表面吸收结构方面我们以超表面为例，超表面是一种在平面上按照特定需求排列的亚波长单元组合结构。通过对单元结构、排布方式、用材选择等的合理设计，可以实现对光的各种属性的调控。超表面有着“人工原子”的特点，这意味着我们可以微观地去独立设计每一个单元的结构和排布方式，从而实现光的独立调控。因此，超表面为开发探测器件提供了一个通用的平台。通过图 5(d)、(f)我们可以看出，将超表面集成到探测器上，有效增加了探测器的吸收光谱范围，起到了调节光谱的作用，而从图 5(g)可以看出，通过搭配反射层，探测器的中波波段吸收得到了极大的增强。这说明超表面结构能够有效调节吸收波段，增强峰值吸收。
热辐射规律是自然界普遍规律之一，正常人体辐射的峰值波长一般在9.5 μm处，辐射分布在8~14 μm波段的能量占约总能量的46%[25]。对于温度低于室温的物体，75%的热辐射能集中在10 μm以上的红外区。在设计制备红外探测器的时候，控制其工作区间在8~14 μm波段，便能接收室温下物体辐射的主要能量。因此这里我们重点关注这一波段的吸收情况，可以得到如表 1的结果。
表 1 氧化钒非制冷探测器不同吸收结构吸收情况对比Table 1. Comparison of absorption structures of VOx uncooled detectorsSerial number Fill factor Resonator Reflective layer Surface structure 8-14 μm Effective average absorption 1 50% without without without 16% 2 70% without without without 22% 3 70% with without without 30% 4 70% without with without 11% 5 70% without without with 29% 6 70% with with without 44% 7 70% with without with 36% 8 70% without with with 32% 9 70% with with with 49% 可以看出单层氧化钒非制冷探测器吸收效率始终有限，故学者们构思出了双层结构来增强氧化钒非制冷探测器的吸收率。
3. 双层氧化钒非制冷探测器吸收研究
这里在以上仿真结果的基础上提出一种基于现有工艺可实现的双层氧化钒非制冷探测器结构，如图 6，在单层探测器的基础上增加了一层带腔体的SiNx/Ti/SiNx夹层“伞状”表面吸收结构，并对其腔体高度，膜系厚度等进行仿真优化。
![]()
图 6 双层氧化钒非制冷探测器结构示意图Figure 6. Schematic diagram of the structure of the double-layer VOx uncooled detector在腔体高度方面，由于新增加了一个上层腔体，故其物理特性与单层腔体相比肯定会发生一定的变化，在SiNx/Ti/SiNx夹层“伞状”表面吸收结构膜系厚度为100 nm/10 nm/50 nm的条件下，通过FDTD软件，我们可以得到如图 7(a)~(g)所示的仿真结果（这里我们令上层腔体高度为ht，下层腔体高度为hb）可以看出，随着上下腔体的高度增加，吸收波段发生右移，这也符合腔体吸收公式。与下层腔体相比，上腔所起到的作用更显著，我们可以根据氧化钒非制冷探测器工作波段的不同来灵活地设计两个腔体的高度。
![]()
图 7 不同腔体吸收曲线（上层腔体固定时，吸收随下层腔体变化的曲线）Figure 7. Absorption curves of different cavities (curves of absorption with lower chamber when the upper cavity is fixed)接着针对各层膜系厚度进行仿真优化。为了方便表示，这里我们令上层表面结构顶层SiNx厚度为t1；上层表面结构中间层Ti厚度为t2；上层表面结构底层SiNx厚度为t3；光敏层膜系顶层SiNx厚度为b1；光敏层膜系中间层VOx厚度为b2；光敏层膜系底层SiNx厚度为b3。
首先对于上层表面吸收结构，由图 8(a)~(c)可知，上层表面吸收层膜系厚度对于探测器吸收的影响十分显著，且在一定范围内，各层膜系越薄探测器吸收效果相对越好，就底层SiNx而言，因为它要肩负起支撑整个腔体的重任，故应控制其厚度在100 nm左右；金属Ti层因工艺限制无法长太薄，目前通常工艺上可实现的厚度在5 nm左右；顶层SiNx为了保证其有效的钝化保护作用，厚度一般在50nm左右；而对于下层光敏吸收层膜系，由图 8(d)~(f)可知，在一定范围内，随着膜厚的增加，探测器吸收峰值会有所增加，但对应的峰值吸收波段将发生右移。如前所述，我们在考虑探测器膜系厚度时，需要结合力学，热学综合讨论，当两个参数发生冲突时，我们通常需要对其进行综合取舍。
![]()
图 8 氧化钒非制冷探测器双层结构各层膜系不同厚度下吸收曲线Figure 8. Absorption curves of different thicknesses of each layer film system in the double layer structure of VOx uncooled detectors4. 结论
通过以上仿真分析，我们可以得出一些提高氧化钒非制冷探测器吸收的系统方法。
首先从材料膜系角度出发，应该尽量选择吸收波段在工作波段的材料，同时综合考虑膜系厚度，通常膜系厚度增加，器件的吸收波段会往长波方向移动，双层结构中，上层“伞”结构各层膜厚通常需要比较薄，而下层光敏层膜系，通常需要在一定的中间值，需要结合工作波段，热学力学性能进行综合取舍。
而在结构方面，在没有外部吸收增强装置辅助的情况下，可以将提高氧化钒非制冷探测器吸收率的方法归纳为4个方面：提高探测器的填充系数（主要关注桥腿与光敏面的设计分布）；增加反射层减小光的透射；增加谐振腔增加所需波段吸收；表面吸收结构的集成，如图 9所示，单探测器（无吸收结构）吸收情况下大部分光线被透射，吸收率较低，当增加反射层后，透射率几乎下降为零，但另一方面反射率也显著增加，故其需要配合谐振腔进形吸收增强。谐振腔对于氧化钒非制冷探测器的光学吸收影响极大，同时在热学方面也发挥着重要作用，是氧化钒非制冷探测器中不可或缺的重要结构。在表面吸收增强结构方面，学者们提出了许多十分有效的结构，如：表面纹理吸收结构；金属陶瓷吸收结构；光子晶体吸收结构；超表面吸收增强结构等。表面吸收结构可以应用到吸收增强，吸收波段控制，偏振控制等各方面。
![]()
图 9 基于上述仿真结果的氧化钒非制冷探测器不同吸收结构吸收情况对比图（其中图例表示如下: a—无吸收结构；b—有反射层；c—有谐振腔；d—有表面结构；e—有腔有反射层；f—有腔有表面结构；g—有反射层有表面结构；h—有表面结构有腔有反射层；i—双层结构）Figure 9. Comparison diagram of different absorption structures of VOx uncooled detectors based on the above simulation results (the legend is shown below: a—without absorption structure; b—with reflective layer; c—with resonant cavity; d—with surface structure; e—with cavity and reflective layer; f—with cavity and surface structure; g—with reflective layer and surface structure; h—with surface structure, cavity, and reflective layer; i—Two-layer structure)而双层甚至多层结构的利用将氧化钒非制冷探测器吸收率提升到了新的维度，大大拓宽了吸收波段，使得结构的设计具有了更多的灵活性。从图 9中我们可以很直观地看到这种比较。而将更多的吸收增强结构用简单的方式集成到氧化钒非制冷探测器上，必将成为下一个提高其吸收率的重要课题。
-
![]()
图 1 紫外像增强器像管视场瑕疵测试装置的结构示意图
Figure 1. The structure diagram of the ultraviolet image intensifier tube field of view defect test device
![]()
图 2 采集的视场图像中典型瑕疵示例
Figure 2. Typical defect examples in the field of view image collected
![]()
图 3 视场中主要类型瑕疵数量大致占比情况
Figure 3. The proportion of the main types of defects in the field of view
![]()
图 5 通道注意力(a)与空间注意力(b)机制示意图
Figure 5. Schematic diagram of channel attention (a) and spatial attention (b) mechanisms
![]()
图 6 紫外像增强器条纹状瑕疵图像生成对抗网络模型
Figure 6. UV image intensifier stripe defect image generation adversarial network model
![]()
图 7 原始条纹状瑕疵图像和DCGAN生成的条纹状瑕疵图像
Figure 7. The original stripe defect image and the stripe defect image generated by DCGAN
![]()
图 8 原始条纹状瑕疵图像和改进DCGAN生成的条纹状瑕疵图像
Figure 8. The original stripe defect image and the stripe defect image generated by the improved DCGAN
表 1 不同检测模型对各类瑕疵的检测效果
Table 1 The detection effect of different detection models on various defects
Models Average precision/% mAP/% FPS Scotoma Bright spot Macula Speck Stripe SSD 22.97% 43.05% 48.57% 42.12% 27.07% 36.76% 70.90 Faster-RCNN 18.54% 23.53% 72.85% 61.16% 42.84% 43.78% 11.92 YOLOv5 59.41% 2.50% 47.29% 25.33% 23.58% 31.62% 101.69 
下载: 导出CSV
表 2 实验平台硬件环境配置情况
Table 2 Hardware environment configuration of experimental platform
Hardware Model and parameters CPU Intel(R) Core(TM) i5-12400 4.40GHz GPU Nvidia RTX 3060 12GB Memory 16G（8G×2）
下载: 导出CSV
表 3 实验平台软件环境配置情况
Table 3 Experimental platform software environment configuration
Software Name Operating system Windows11 Deep learning framework Pytorch Programming language Python Third-party library OpenCV/CUDA
下载: 导出CSV
表 4 DCGAN模型的训练参数
Table 4 Training parameters of DCGAN model
Parameters Setting Batch size 64 Learning rate 0.002 Epochs 2000
下载: 导出CSV
表 5 消融实验结果
Table 5 Ablation experimental results
Models PSNR/dB SSIM LPIPS DCGAN 15.35 0.812 0.218 DCGAN+A 15.88 0.825 0.209 DCGAN+A+B 16.34 0.834 0.207
下载: 导出CSV
表 6 条纹状瑕疵检测的平均精准度
Table 6 Average precision of stripe defect detection
Training datasets Average Precision/% Faster-RCNN SSD YOLOv5 Initial training sample datasets 42.84% 27.07% 23.58% Added 200 generated stripe images 45.59% 29.81% 38.75% Added 500 generated stripe images 53.40% 34.19% 41.15%
下载: 导出CSV
-
[1] 谭志. 基于深度学习的目标检测与识别技术[M]. 北京: 化学工业出版社, 2021. TAN Zhi. Target Detection and Recognition Technology Based on Deep Learning[M]. Beijing: Chemical Industry Press, 2021.
[2] 宫久路, 谌德荣, 王泽鹏. 目标检测与识别技术[M]. 北京: 北京理工大学出版社, 2022. GONG Jiulu, CHEN Derong, WANG Zepeng. Target Detection and Recognition Technology[M]. Beijing: Beijing Institute of Technology Press, 2022.
[3] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144. DOI: 10.1145/3422622
[4] 张卓, 雷晏, 毛晓光, 等. 基于对抗生成网络的缺陷定位模型域数据增强方法[J/OL]. 软件学报: 1-18. [2023-10-29], http://www.jos.org.cn/jos/article/abstract/6961?st=search. ZHANG Zhuo, LEI Yan, MAO Xiaoguang, et al. Data augmentation method of defect location model domain based on adversarial generative network[J/OL]. Journal of Software: 1-18 [2023-10-29], http://www.jos.org.cn/jos/article/abstract/6961?st=search.
[5] 袁培森, 吴茂盛, 翟肇裕, 等. 基于GAN网络的菌菇表型数据生成研究[J]. 农业机械学报, 2019, 50(12): 231-239. https://www.cnki.com.cn/Article/CJFDTOTAL-NYJX201912026.htm YUAN Peisen, WU Maosheng, ZHAI Zhaoyu, et al. Study on phenotypic data generation of mushroom based on GAN network[J]. Journal of Agricultural Machinery, 2019, 50(12): 231-239. https://www.cnki.com.cn/Article/CJFDTOTAL-NYJX201912026.htm
[6] DOMAN K, KONISHI T, MEKADA Y. Lesion image synthesis using DCGANs for metastatic liver cancer detection[J]. Adv Exp Med Biol., 2020, 1213: 95-106.
[7] 陈昊. 基于生成对抗网络GAN的量化选股策略研究[D]. 广州: 广州大学, 2023. CHEN Hao. Research on Quantitative Stock Selection Strategy Based on Generative Adversarial Network GAN[D]. Guangzhou: Guangzhou University, 2023.
[8] 黄玥玥. 基于GAN网络的水下图像增强方法研究[D]. 西安: 陕西科技大学, 2023. HUANG Yueyue. Research on Underwater Image Enhancement Method Based on GAN Network [D]. Xi'an: Shaanxi University of Science and Technology, 2023.
[9] 林本旺. 基于生成对抗网络的人脸表情生成方法研究[D]. 北京: 北京建筑大学, 2023. LIN Benwang. Research on Facial Expression Generation Method Based on Generative Adversarial Networks[D]. Beijing: Beijing Jianzhu University, 2023.
[10] 叶娜. 基于生成对抗网络的机器人跨模态感知技术研究[D]. 南昌: 南昌大学, 2023. YE Na. Research on Cross-Modal Perception Technology of Robots Based on Generative Adversarial Networks[D]. Nanchang: Nanchang University, 2023.
[11] Mirza M, Osindero S. Conditional generative adversarial nets[J]. arXiv preprint arXiv: 1411.1784, 2014.
[12] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv: 1511.06434, 2015.
[13] 吴浩生, 江沛, 王作学, 等. 基于Wasserstein GAN数据增强的矿物浮选纯度预测[J/OL]. 重庆大学学报: 1-12. [2023-10-29]. http://kns.cnki.net/kcms/detail/50.1044.N.20230523.1159.002.html. WU Haosheng, JIANG Pei, WANG Zuoxue, et al. Mineral flotation purity prediction based on Wasserstein GAN data enhancement[J/OL]. Journal of Chongqing University: 1-12. [2023-10-29]. http://kns.cnki.net/kcms/detail/50.1044.N.20230523.1159.002.html.
[14] 王雨萌, 孙长海, 赵树春, 等. 基于改进的Wasserstein生成对抗网络和深度残差网络的电缆中间接头局部放电缺陷识别[J]. 科学技术与工程, 2022, 22(35): 15650-15658. https://www.cnki.com.cn/Article/CJFDTOTAL-KXJS202235027.htm WANG Yumeng, SUN Changhai, ZHAO Shuchun, et al. Partial discharge defect identification of cable intermediate joints based on improved Wasserstein generative adversarial network and deep residual network [J]. Science and Technology and Engineering, 2022, 22(35): 15650-15658. https://www.cnki.com.cn/Article/CJFDTOTAL-KXJS202235027.htm
[15] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.
[16] Christou C, Eliophotou-Menon M, Philippou G. Teachers' concerns regarding the adoption of a new mathematics curriculum: an application of CBAM[J]. Educational Studies in Mathematics, 2004, 57: 157-176. DOI: 10.1023/B:EDUC.0000049271.01649.dd
[17] 吴丽君, 陈士东, 陈志聪. 基于注意力-生成式对抗网络的异常行为检测[J]. 微电子学与计算机, 2022, 39(8): 31-38. https://www.cnki.com.cn/Article/CJFDTOTAL-WXYJ202208004.htm WU Lijun, CHEN Shidong, CHEN Zhicong. Abnormal behavior detection based on attention-generative adversarial networks[J]. Microelectronics and Computers, 2022, 39(8): 31-38. https://www.cnki.com.cn/Article/CJFDTOTAL-WXYJ202208004.htm
[18] 杨琦. 紫外像增强器视场缺陷检测技术研究[D]. 南京: 南京理工大学, 2011. YANG Qi. Research on Defect Detection Technology of Ultraviolet Image Intensifier[D]. Nanjing: Nanjing University of Science and Technology, 2011.
[19] 赵清波. 宽光谱像增强器辐射增益和视场缺陷测试技术研究[D]. 南京: 南京理工大学, 2008. ZHAO Qingbo. Research on Radiation Gain and Field Defect Test Technology of Wide Spectrum Image Intensifier[D]. Nanjing: Nanjing University of Science and Technology, 2008.
[20] 王吉晖, 金伟其, 王霞, 等. 基于数学形态学的像增强器缺陷的图像检测方法[J]. 光学技术, 2005(3): 463-464, 467. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS200503041.htm WANG Jihui, JIN Weiqi, WANG Xia, et al. Flaw inspection method for image tube based on image processing[J]. Optical Technology, 2005(3): 463-464, 467. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS200503041.htm
[21] 许正光, 王霞, 王吉晖, 等. 像增强器视场缺陷检测方法研究[J]. 应用光学, 2005(3): 12-15. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX200503004.htm XU Zhengguang, WANG Xia, WANG Jihui, et al. Research of an approach to detect field defects of image intensifier[J]. Application Optics, 2005(3): 12-15. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX200503004.htm
[22] 王坤峰, 苟超, 段艳杰, 等. 生成式对抗网络GAN的研究进展与展望[J]. 自动化学报, 2017, 43(3): 321-332. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201703001.htm WANG Kunfeng, GOU Chao, DUAN Yanjie, et al. Research progress and prospect of generative adversarial network GAN[J]. Acta Automatica Sinica, 2017, 43(3): 321-332. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201703001.htm
[23] 陈新雨. 基于生成式对抗网络的图像生成方法研究[D]. 湘潭: 湘潭大学, 2020. CHEN Xinyu. Research on Image Generation Method Based on Generative Adversarial Networks[D]. Xiangtan: Xiangtan University, 2020.
[24] 吴晓燕, 钱真坤. 基于深度卷积生成式对抗网络的人脸恢复方法[J]. 计算机应用与软件, 2020, 37(8): 207-212. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202008037.htm WU Xiaoyan, QIAN Zhenkun. A face recovery method based on deep convolutional generative adversarial networks[J]. Computer Applications and Software, 2020, 37(8): 207-212. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202008037.htm
[25] 朱显珅. Wasserstein距离下的图像应用研究[D]. 昆明: 云南师范大学, 2023. ZHU Xianshen. Research on Image Application Under Wasserstein Distance[D]. Kunming: Yunnan Normal University, 2023.
[26] 蔡梓豪, 姜屹, 张来平, 等. 基于卷积注意力网络的网格质量评价方法[J]. 四川大学学报(自然科学版), 2023, 60(5): 139-148. https://www.cnki.com.cn/Article/CJFDTOTAL-SCDX202305015.htm CAI Zihao, JIANG Yi, ZHANG Laiping. An evaluation method of grid quality based on convolutional attention network[J]. Journal of Sichuan University (Natural Science Edition), 2023, 60(5): 139-148. https://www.cnki.com.cn/Article/CJFDTOTAL-SCDX202305015.htm
[27] 赵雅琴, 宋雨晴, 吴晗, 等. 基于DenseNet和卷积注意力模块的高精度手势识别[J]. 电子与信息学报, 2024, 46(3): 967-976. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202403022.htm ZHAO Yaqin, SONG Yuqing, WU Han, et al. High-precision gesture recognition based on DenseNet and convolutional attention module[J]. Journal of Electronics and Informatics, 2024, 46(3): 967-976. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202403022.htm
[28] Shmelkov K, Schmid C, Alahari K. How good is my GAN?[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 213-229.
[29] Korhonen J, You J. Peak signal-to-noise ratio revisited: Is simple beautiful[C]//Fourth International Workshop on Quality of Multimedia Experience. IEEE, 2012: 37-38.
[30] WANG Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. DOI: 10.1109/TIP.2003.819861
[31] ZHANG R, Isola P, Efros A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 586-595.
-
期刊类型引用(8)
1. 李明超，闫宽，张聪，胡记伟，欧锴，陈绪兵. 用于激光软钎焊温度测量的高精度红外辐射测温装置. 红外技术. 2025(01): 108-114 . 
本站查看
2. 秦沛强，聂传杰，吝曼卿，卢永雄，张岸勤，何家冰. 磷矿巷道岩爆风险的可视化及特征增强研究. 矿业研究与开发. 2025(02): 123-131 . 百度学术
3. 李贞，魏勇. 基于BP神经网络的红外测温补偿算法研究. 机械制造与自动化. 2023(01): 170-172+176 . 百度学术
4. 曾飞，胡文祥，高彦鑫，宋杰杰. 基于激光扫描的输送带横向跑偏检测系统. 制造业自动化. 2023(05): 21-24 . 百度学术
5. 杨帆，徐军，吴振生，孙明晓，金添. 基于Web端多节点红外热成像传感系统设计. 激光杂志. 2022(02): 154-157 . 百度学术
6. 何翔. 非接触式检测装置综合实验设计. 电子技术与软件工程. 2022(07): 148-151 . 百度学术
7. 谢彬棽. 基于双CAN总线的露天矿带式输送机速度自动化控制方法. 煤矿机械. 2022(12): 214-217 . 百度学术
8. 武存喜. 回转窑焚烧设备退火温度模糊自适应控制技术. 工业加热. 2022(12): 27-31 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 58
- HTML全文浏览量: 5
- PDF下载量: 38
- 被引次数: 10
