A Visible and Infrared Image Fusion Method based on Generative Adversarial Networks and Attention Mechanism
-
摘要: 针对低照度可见光图像中目标难以识别的问题，提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法，该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合。在生成对抗网络中，生成器采用具有编码层和解码层的U-Net结构，判别器采用马尔科夫判别器，并引入注意力机制模块，使得融合图像可以更关注红外图像上的高强度信息。实验结果表明，该方法在维持可见光图像细节纹理信息的同时，引入红外图像的主要目标信息，生成视觉效果良好、目标辨识度高的融合图像，并在信息熵、结构相似性等多项客观指标上表现良好。Abstract: A new fusion method for visible and infrared images based on generative adversarial networks is proposed to solve the problem of recognizing targets in low-light images; the method can be directly applied to the fusion of RGB three-channel visible images and infrared images. In generative adversarial networks, the generator adopts a U-Net structure with encoding and decoding layers. The discriminator adopts a Markovian discriminator, and the attention mechanism is introduced to force the fused image to pay more attention to the high-intensity information on infrared images. The experimental results show that the proposed method not only maintains the detailed texture information of visible images but also introduces the main target information of infrared images to generate fusion images with good visual effects and high target identification, and it performs well in information entropy, structural similarity, and other objective indexes.
-
0. 引言
目前，国内大部分红外遥感相机制冷控制器只针对单负载进行温度控制，随着遥感相机性能指标越来越高，相机内部需要制冷的部组件也越来越多[1]。传统单负载制冷控制器的组成是电源板、主控板、驱动板3部分，完成功能包括与上位机通信、温度数据采集、工作模式切换、驱动输出和精密制冷[2-3]。基于传统设计，制冷控制器与负载数量一致，给相机带来很大冗余重量，同时成本也会翻倍增长。显然，传统的硬件电路不能满足未来的设计需求[4]。因此，目前的研究热点是设计集中型多负载驱动、性能优异、重量轻便、成本优化的制冷控制器。
本文基于传统制冷控制器型谱，采用模块复用手段和多制冷部件温度数据快速就近采集方案，在保证控温精度、可靠性安全性的前提下，设计多负载制冷控制器，实现小型化、低成本、多功能、高性能的新型星载控温产品。
1. 方案确定与难点分析
多负载制冷控制器方案的设计需要考虑两个重点内容，一是制冷控制器传统模块能否复用，如何在保证控制器功能性能的同时降低制造成本并减轻单机重量；二是多负载独立驱动和多路温度集中化快速采集的问题，如何在保证测温精度的同时尽可能增强温度采集能力，以及保证测温与控温周期匹配；如何在保证系统可靠性的同时实现多负载驱动功能独立性。
本文提出多负载制冷控制器方案，由控制器和测温盒两部分组成的。控制器负责与上位机通信、模式切换、多负载驱动、接收测温盒温度数据功能。测温盒负责多负载测温数据快速采集、数据滤波、通过三级总线向控制器传输数据功能，如图 1所示。这种测控温分离方法，能够有效地解决分散化多通道快速测温难题，降低电路设计难度与成本。同时测温盒就近采集数据，并将数字量传输给控制器，能够提高测温精度。
控制器设计“单电源、单主控、多驱动”的方案，电源、控制模块复用，多驱动板以“一对一”的形式输出驱动信号，驱动多台制冷机。测温盒集中采集温度数据并进行滤波，通过三级总线传输给制冷控制器，经区分后作为各自负载控温的反馈数据。
为适应优化后的“控制器+测温盒”的新形式，识别到两个需要解决的难点：①测控温分离后，软件需解决算法控制周期与反馈温度速率的匹配度问题，还需要考虑可靠性问题；②单控制多驱动，软件需解决多负载数据交互独立处理、不同工作模式协同并行、输出驱动互不干扰这3个方面的问题。
2. 测控温分离设计
设计“一带三”制冷控制器，测温盒负责采集3套制冷对象的温度数据，每套设置主备份两路测温通道并做相关处理。然后通过三级总线传输给控制器，控制器接收温度数据并通过一定的判断处理，作为各自负载控温算法的温度反馈值。
2.1 测温电路与温度传输
传统的测温电路，选择AD574A并行AD转换器件，单次采集的转换时间为15~35 μs，通过实际测量，一般在26 μs左右完成数据转换，也就是说采集一组数据需要26 μs左右。测温盒设计的测温电路，采用B128S102RH串口采集，最多可采集八路数据。芯片SCLK频率范围是0.8~16 MHz，按照1 MHZ频率来计算，完成一次数据采集需要16 μs，若以最高频率来计算，则只需要1 μs，大大提升了采集速率。
两种测温电路对比如图 2所示，左图为传统制冷控制器测温电路，右图为测温盒测温电路。相较于传统的“多通道模拟选择开关器件1840A+并口模数转换器件AD574A”的测温结构[5-6]，该设计节省了硬件的接口资源，削减了模拟开关器件，提升了数据采集速度，同时器件抗总剂量辐射能力不小于100 krad（Si），单粒子锁定阈值不小于75 MeV·cm2/mg，工作温度范围为－55℃~125℃，完全符合遥感相机制冷控制器的在轨运行环境需求。
![]()
图 2 传统制冷控制器与测温盒的测温电路对比Figure 2. Comparison of the temperature measurement circuit between the traditional refrigeration controller (up) and the temperature measurement box (down)测温盒安装于制冷对象附近，就近采集温度数据后，通过422总线将数字化温度发送至控制器，这样也提升了测温数据的抗干扰能力。422总线电路的特点是结构简单，实现容易。数据传输格式确定为一帧传输32 bit数据，采用奇校验，如图 3所示。
2.2 测控温匹配设计
针对测控分离方案，软件需解决算法控制周期与反馈温度传递频率的匹配问题。控制器控温算法采用增量式PID算法[7-8]，如式(1)所示：
$$ \begin{gathered} u(k)=u(k-1)+k p^* \Delta e(k)+k i^* e(k)+ \\ k d *[\Delta e(k)-\Delta e(k-1)] \end{gathered} $$ (1) 式中：e(k)＝ftdest－ftfeedback，Δe(k)＝e(k)－e(k－1)。ftfeedback是指被控对象的温度反馈值，ftdest是指所需控制的温度目标值，kp、ki、kd算法可调参数值。一般来说，控制周期越小，控制效果越接近连续控制，控制精度越高。考虑到制冷机负载是一个大延时的被控对象以及以往的工作经验，将控制周期定在1 s。针对1 s的控制周期，温度反馈的输入周期需做相应的匹配。传统的制冷控制器方案，采集与控制匹配只需要考虑采集速率[9-10]，而测控温分离的方案还需要额外考虑总线传输的因素。
采样周期Ts一定是要小于等于控制周期TC，采样周期越小越能反映被控对象的变化情况[11]，同时Ts越小又越会增加软件的运行工作量，两者权衡，选择控制周期的一半做为采样周期[12]，确定Ts后可以反推出测温盒的数据采集周期T128和总线传输周期TRX，公式如下：
$$ {T_{\text{s}}} = {T_{128}} + {T_{{\text{RX}}}} = \frac{1}{2}*{T_{\text{C}}} $$ (2) 总线传输时长TRX的确定，需要考虑总线波特率与数据帧格式。为提高测温精度，测温盒安装地接近测温器件，也就是说测温盒与控制器之间存在一定的距离。同时422总线采用双绞线处理以抗干扰[13-14]，电缆越长传输速率越低，以工程经验确定100 m长的电缆才能获得1 Mbps的传输速率。TRX的确定如公式(3)：
$$ {T_{{\text{RX}}}} = {\text{NU}}{{\text{M}}_{{\text{frame}}}}^*{T_{{\text{frame}}}} = {\text{NU}}{{\text{M}}_{{\text{frame}}}}^*{L_{{\text{frame}}}}^*\frac{1}{{{\text{BPS}}}} $$ (3) 式中：NUMframe为数据包的帧数；Tframe为传输一帧数据的时长；Lframe为一帧数据的长度；BPS为总线波特率。
数据采集时长T128的确定，需要考虑一次采集时长、通道数、通道切换之间的泄放时间和均值滤波处理时长。本文设计采用B128作为AD转换芯片，T128的确定如公式(4)：
$$ T_{128}=\left({T_{\text {sclk }}} ^* {\mathrm{NUM}_{\text {sclk }} }^* \mathrm{CNT}_{\text {filter }}+T_{\text {dealy }}\right) ^* \mathrm{CNT}_{\text {road }} $$ (4) 式中：Tsclk为输出给B128芯片的SCLK周期；NUMsclk为转换一个温度数据所需的sclk个数，根据芯片手册[15]确定为16；CNTfilter为均值滤波的采样次数；Tdealy为切换通道时的泄放时间；CNTroad为采集的通道数。
通过以上公式的确定，在制冷控制周期确定的前提下，可以计算出测控温匹配的总线波特率与B128芯片的SCLK频率，从而完成软件嵌入参数确定。在此设计原则下，软件设计的流程如图 4所示。
2.3 控温算法优势与优化
固定功率输出的控温性能与控制器所处的外部环境温度、制冷机冷端温度、环境真空度等因素有关，并不能有效地保证长时间在未知环境下的控温精度[16-17]。相同环境的前提下，固定功率输出的短时控温精度达到±0.1 K，无法满足性能要求，所以需执行以反馈温度为输入的闭环控制。本方案选用的控温算法为增量式PID，它的优势在于：①无须累加，仅与最近3次的采样值有关，容易通过加权处理获得比较好的控制效果；②无积分饱和的问题；③计算输出的是控制增量，可对其做限幅处理，防止控制量剧变。该算法实现简单，能够及时针对反馈值变化作出相应调整，误动作小，调节效果好，但存在积分阶段效应大从而导致静态误差。
针对该不足之处，作算法优化调整，弱化积分截断效应，消除静态误差，如图 5所示。
图中Kpid是计算得出的增量，它在与上一个计算周期的计算结果u(k－1)进行加减计算后，截取高n位作为当前计算结果输出u(k)。当到达下一个计算周期时，u(k－1)即为上一个计算周期的u(k)与增量Kpid低m－n位的组合，参与运算。
当到达控温目标值附近时，通过每次计算的小值（Kpid低m－n位）可以进行全周期的累加，克服了增量式PID算法的缺点，消除了静态误差，起到了精密控温的效果。
图 6显示了3个控温点的控温效果。红色温度曲线表示的是增量式PID固有的存在稳态误差的缺陷；绿色的温度曲线表示的是优化算法后的消除稳态误差的效果；蓝色的电压曲线中，每当进行控温点切换时，输出电压都有剧烈跳变后缓变为正常，电压变化率由算法内部限制，对负载起到了保护作用。
![]()
图 6 优化前后控温精度比对Figure 6. Comparison of temperature control accuracy before and after optimization2.4 可靠性设计
测控温分离方案设计的温度就近测量和总线数字化传输，相较于传统的远距离模拟量传输，增强了抗干扰能力，提升了测温精度；但同时也带来了一些可靠性隐患，比如总线传输异常、关键数据单粒子翻转、测温盒运行异常等导致温度数据反馈故障的情况[18-19]。
针对以上情况，为加强抗干扰能力、准确快速定位问题，软件设计帧校验、帧头数据三模处理、测温盒运行标识来提升可靠性。控制器在接收到测温盒温度数据后，先进行帧校验，然后通过帧头判断后分区存储数据，作为不同负载的控温反馈值。当出现温度数据异常故障时，问题可准确定位，定位流程如图 7。
针对温度数据总线传输过程中被单粒子打翻的情况，软件设计的校验使得错误温度数据不会传输至控制器内部，电压输出量不会出现错误响应的情况。
3. 单控制多驱动设计
控制器设计“单电源、单主控、多驱动”的方案，电源、控制模块复用，多驱动板以“一对一”的形式输出驱动信号，驱动多台制冷机。针对单控制多驱动的设计思路，需解决多负载数据交互独立处理、工作模式协同并行、输出驱动互不干扰这3个方面的问题。
3.1 多负载数据交互独立处理
单控制意味着一套软件需独立接收多个负载的模式控制遥控指令，并向上位机分时反馈多个负载的总线遥测。数据交互如图 8所示。
数据交互的独立处理核心在于指令解析与分配、轮询解析与遥测摘取两个功能模块。指令解析与分配模块：不同被控负载的指令由总线数据的子终端标识区分，程序通过判读确认指令归属，将解析后的数据存储到相应被控负载的寄存器，完成相应的工作模式处理；轮询解析与遥测摘取模块：不同被控负载的遥测轮询同样由总线数据的子终端标识区分，程序通过判读确认轮询归属，根据归属读取指定负载的遥测区数据，并反馈给上位机。设置独立的存储指令解析数据与遥测数据的寄存器区域，能够有效地保证各负载与上位机的独立信息交互。
3.2 工作模式协同与输出驱动独立
不同负载的工作模式采用并行控制策略，考虑到FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）资源与程序复杂度的问题，设计“工作模式处理模块复用”办法，工作模式处理模块和驱动信号生成模块都做3次复用，既降低了代码复杂度，又实现工作模式协同并行，输出驱动互不干扰。模块复用方式如图 9所示，指令解析模块ins_ana完成指令解析、温度数据判读模块data_col完成温度反馈摘取，然后解析与摘取数据输出至各自工作模式处理模块mode_pro，而后输出SPWM占空比至各自波形生成模块spwm_dri，最后输出波形完成各自负载的驱动。
4. 实际电路与验证
基于多负载制冷，研制了“制冷控制器+测温盒”的新型制冷控温系统，本文设计“一带三”制冷控制器。为适应高轨道太空环境，选择反熔丝器件A54SX72A-1CQ208B作为主控芯片，起到抗单粒子翻转作用。制冷控制器由单电源板、单控制板、多驱动板组成，电源板提供一次电源，控制板完成与上位机通信、接收测温盒温度数据、指令解析与模式切换、SPWM信号输出，多驱动板完成多负载独立驱动；测温盒由电源板、测温板组成，电源板提供一次电源，测温板完成B128S时序设计、数据采集与滤波、通过422总线向制冷控制器传输温度数据。实物如图 10所示。
制冷控制器包括5块电路板，分别是1块电源板、1块控制板以及3块驱动板，完成“一带三”制冷控制。
4.1 测控分离设计参数确定与实现
根据以往经验、器件匹配度、程序实现复杂度、制冷机负载的温度特性，软件设定参数如下：将控制周期TC定为1 s，那么根据公式(2)，采样周期Ts为500 ms。
权衡考虑422总线波特率和实际传输距离的匹配度，系统将422总线波特率定在500 kbps，一帧数据长度Lframe定在35 bit，包括32 bit有效数据和1 bit起始判断位、1 bit奇偶校验位、1 bit停止位。那么传输一帧422总线数据的时长Tframe为70 μs，NUMframe为6以传输6路温度数据，根据公式(3)，传输时长TRX在420 μs。
根据公式(2)，那么B128采数时长T128应控制在499.58 ms以内。采数时长T128不仅是模数转换时长，同时还需要考虑到通道切换之间的泄放时间和滤波处理时长。根据制冷机温度与测温电路特性，滤波采用32次均值滤波即可，由于B128手册说明初次采集的数据为随机通道的数值且当前数据是上一个通道的值，所以软件设计34次采集后摘取中间32次数据做均值滤波处理，即CNTfilter＝34。根据实际电路特性，要求泄放时间Tdealy＝60 ms，才能采集到稳定数据以保证数据采集精准，见图 11。此外CNTroad＝6，根据公式(4)，反推为Fsclk≈0.427 MHz。结合考虑程序实现复杂度、器件手册要求、实际系统需求，本文将SCLK的频率选择在1 MHz，此时T128＝363.261 ms，符合控制在小于等于Ts－TRX＝500 ms－0.42 ms以内的要求，那么测控温匹配软件流程中的传输定时选择500 ms即可完成所有通道温度数据发送，与控制器1 s的控制周期相匹配。
图 11中红色信号线标识不同通道的输入数据，在60 ms内都处于未稳定状态，所以本文将通道间的延时泄放时间定为60 ms。
测温时钟SCLK选择1 MHz，传输周期为500 ms，422总线波特率为500 kbps，通道间泄放时间为60 ms，实际电路示波器波形如图 12所示。
![]()
图 12 测温盒与控制器数据传输实测图Figure 12. The actual measurement diagram of the data transmission between the temperature measuring box and the controller图 12中(a)显示SCLK频率为1 MHz时的一次采集时长为16 μs。(b)显示单通道采集34次，摘取中间的32次数据做平均滤波处理，每一次数据采集需要16.25 μs（16个sclk，和0.25 μs的程序处理时间），一个通道需要采集时间就是16.25 μs*34＝552.5 μs。(c)显示测温盒向控制器发送温度数据，时间间隔定为500 ms。(d)显示422总线一帧数据长度为35 bit，总线波特率在500 kbps，传输一帧数据为70 μs，帧间隔设置2 μs，总共传输6帧温度数据，那么一包422数据的传输时间是432 μs。参数的设置满足了控制器的控温周期，实现了测控温匹配。
4.2 测温噪声的抑制设计
对于制冷控制器来说，测温精度直接影响着控温精度，从而影响相机成像质量。所以对于温度的抗干扰性设计也尤为重要[20-22]。
从软硬件两个方面进行测温精度提升工作[23-24]。硬件上设计温度就近采集，这也是测控温分离设计的初衷；其次设计硬件滤波电路，干扰信号主要是一些高频噪声[25-26]，因此，无论是使用有源滤波方法还是无源滤波方法，都只能使用低通的滤波器，截止频率计算公式如下：
$$ {f_{\text{P}}} = \frac{1}{{2{\rm{ \mathsf{ π}}} \sqrt {RC} }} $$ (5) 本方案选择R=10 kΩ，C＝1 μF，截止频率为15.9 Hz。而测温信号可能叠加的噪声信号频率为驱动频率约50 Hz，所以低通滤波器对噪声信号幅值具有3倍的衰减。
最后软件上采用均值滤波处理。通过测温盒就近采集、硬件滤波电路以及软件的均值滤波处理这3种手段，测温精度得到大幅度提升。
4.3 单控制多驱动实现
本文设计的“一带三”单控制多驱动方案，3台被控对象制冷机的驱动频率分别是50 Hz、80 Hz、40 Hz，输出的驱动信号波形如图 13所示、控温精度如图 14所示。
图 13是实测驱动波形，(a)是输出50 Hz的驱动信号，(b)是输出80 Hz的驱动信号，(c)是输出40 Hz的驱动号。单控制板、多驱动电路的设计，完成了“一带三”的电机独立驱动，3组驱动信号互相无干扰，满足了多台负载驱动的需求。图 14是制冷控制器最关键的控温精度指标示意图，以其中一个负载的控温点为例，设定控温点为705H，控温精度为±2个码值，一个码值代表4 mK，连续运行4个小时以上的制冷精度为±8 mK，指标优异。
5. 结论
多负载制冷控制器相较于传统的单负载控制器，设计优势在于：
硬件方案设计形成“控制器+测温盒”的测控温分离组合，“控制器”在传统单负载控制器的基础上优化设计，形成模块复用原则下单控制多驱动电路，完成“以一带三”的集中型多负载制冷控制，完成了成本优化与控制器减重；“测温盒”完成多路测温器件的模数转换与滤波处理，就近快速采集后以可靠的传输手段向控制器发送温度数据，完成多通道数据采集并提升了测温精度。
结合硬件，软件完成测控温匹配与可靠性设计、多负载数据交互独立处理、工作模式协同并行、输出驱动互不干扰的设计，满足测控温匹配、多负载独立驱动的功能要求。
该方案满足了遥感相机中多部位制冷的需求，在保证了控温精度在mK级的高精度性能基础上，解决了优成本、小型化、高可靠的设计难题。通过实际验证，该方案可行，可作为未来更多负载控温的设计基线。
现阶段，制冷机负载数量大多在3台以内，且并非全部大功率输出，控制器本身设计过流保护机制，对于卫星母线的电流波动影响相对较小。在未来，负载数量继续提升、功率输出不断增大的情况下，需要增加不同负载的错峰控制功能，以降低对母线电流的影响。
-
表 1 生成器网络参数
Table 1 The parameters of generator
Convolution layer Kernel size/stride Padding Input size Output size Conv1 4×4/2 (1, 1) 480×640×4 240×320×32 CBAM 4×4/2 (1, 1) 240×320×32 240×320×32 Conv2 4×4/2 (1, 1) 240×320×32 120×160×64 Conv3 4×4/2 (1, 1) 120×160×64 60×80×128 Conv4 4×4/2 (1, 1) 60×80×128 30×40×256 Conv5 4×4/2 (2, 1) 30×40×256 16×20×512 Conv6 4×4/2 (1, 1) 16×20×512 8×10×512 Conv7 4×4/2 (1, 2) 8×10×512 4×6×512 Conv8 4×4/2 (1, 1) 4×6×512 2×3×512 ConvTrans8 4×4/2 (1, 1) 2×3×512 4×6×512 ConvTrans7 4×4/2 (1, 2) 4×6×1024 8×10×512 ConvTrans6 4×4/2 (1, 1) 8×10×1024 16×20×512 ConvTrans5 4×4/2 (2, 1) 16×10×1024 30×40×256 ConvTrans4 4×4/2 (1, 1) 30×40×512 60×80×128 ConvTrans3 4×4/2 (1, 1) 60×80×256 120×160×64 ConvTrans2 4×4/2 (1, 1) 120×160×128 240×320×32 ConvTrans1 4×4/2 (1, 1) 240×320×64 480×640×3 
下载: 导出CSV
表 2 判别器参数
Table 2 The parameters of discriminator
Convolution layer Kernel size/stride Padding Output size Conv1 4×4/2 (1, 1) 240×320×64 Conv2 4×4/2 (1, 1) 120×160×128 Conv3 4×4/2 (1, 1) 60×80×256 Conv4 4×4/2 (1, 1) 30×40×512 Conv5 4×4/2 (1, 1) 15×20×512 Conv6 1×1/1 (0, 0) 15×20×1
下载: 导出CSV
表 3 融合图像客观指标值
Table 3 The quantitative comparisons of fusion images
Fusion methods EN MI FMI SSIM CC PSNR LP 5.918 11.836 0.944 0.681 0.646 68.496 LP-SR 6.393 12.785 0.945 0.823 0.566 67.801 NSCT 5.821 11.643 0.942 0.671 0.652 68.575 NSCT-SR 6.224 12.447 0.940 0.859 0.575 67.472 DTCWT 5.804 11.608 0.942 0.670 0.647 68.570 DTCWT-SR 6.455 12.910 0.945 0.782 0.525 67.338 DenseFuse 6.036 12.071 0.939 0.631 0.684 67.319 CBAM-GAN 5.918 11.836 0.928 0.796 0.649 68.751 Avarage 6.111 12.223 0.941 0.740 0.606 67.967
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] Burt P J, Adelson E H. The Laplacian pyramid as a compact image code[J]. Readings in Computer Vision, 1987, 31(4): 671-679. https://www.sciencedirect.com/science/article/pii/B9780080515816500659
[3] Selesnick I W, Baraniuk R G, Kingsbury N C. The dual-tree complex wavelet transform[J]. IEEE Signal Processing Magazine, 2005, 22(6): 123-151. DOI: 10.1109/MSP.2005.1550194
[4] A L da Cunha, J Zhou, M N Do. Nonsubsampled contourilet transform: filter design and applications in denoising[C]//IEEE International Conference on Image Processing 2005, 749: (doi: 10.1109/ICIP.2005.1529859).
[5] Hariharan H, Koschan A, Abidi M. The direct use of curvelets in multifocus fusion[C]//16th IEEE International Conference on Image Processing (ICIP), 2009: 2185-2188(doi: 10.1109/ICIP.2009.5413840).
[6] LI Hui. Dense fuse: a fusion approach to infrared and visible images[C]//IEEE Transactions on Image Processing, 2018, 28: 2614- 2623(doi: 0.1109/TIP.2018.2887342).
[7] MA J, YU W, LIANG P, et al. Fusion GAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[8] Ronneberger O, Fischer P, Brox T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention, 2015: 234-241.
[9] Hwang S, Park J, Kim N, et al. Multispectral pedestrian detection: Benchmark dataset and baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1037-1045.
[10] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems, 2014: 2672-2680.
[11] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J/OL][2015-11-07]. arXiv preprint arXiv: 1511.06434, 2015: https://arxiv.org/abs/1511.06434v1.
[12] MAO X, LI Q, XIE H, et al. Least squares generative adversarial networks[C]//2017 IEEE International Conference on Computer Vision (ICCV), 2017: 2813-2821(doi: 10.1109/ICCV.2017.304).
[13] Isola Phillip, ZHU Junyan, ZHOU Tinghui, et al. Image-to-image translation with conditional adversarial networks, 2017: 5967-5976 (doi: 10.1109/CVPR.2017.632).
[14] Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in Neural Information Processing Systems, 2015: 2017-2025.
[15] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.
[16] Woo S, Park J, Lee J Y, et al. Cbam: convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.
计量
- 文章访问数: 572
- HTML全文浏览量: 150
- PDF下载量: 129
