Infrared and Visible Image Fusion Based on Information Bottleneck Siamese Autoencoder Network
-
摘要: 红外与可见光图像融合方法中存在信息提取和特征解耦不充分、可解释性较低等问题，为了充分提取并融合源图像有效信息，本文提出了一种基于信息瓶颈孪生自编码网络的红外与可见光图像融合方法（DIBF：Double Information Bottleneck Fusion）。该方法通过在孪生分支上构建信息瓶颈模块实现互补特征与冗余特征的解耦，进而将互补信息的表达过程对应于信息瓶颈前半部分的特征拟合过程，将冗余特征的压缩过程对应于信息瓶颈后半部分的特征压缩过程，巧妙地将图像融合中信息提取与融合表述为信息瓶颈权衡问题，通过寻找信息最优表达来实现融合。在信息瓶颈模块中，网络通过训练得到特征的信息权重图，并依据信息权重图，使用均值特征对冗余特征进行压缩，同时通过损失函数促进互补信息的表达，压缩与表达两部分权衡优化同步进行，冗余信息和互补信息也在此过程中得到解耦。在融合阶段，将信息权重图应用在融合规则中，提高了融合图像的信息丰富性。通过在标准图像TNO数据集上进行主客观实验，与传统和近来融合方法进行比较分析，结果显示本文方法能有效融合红外与可见光图像中的有用信息，在视觉感知和定量指标上均取得较好的效果。Abstract: Infrared and visible image fusion methods have problems such as insufficient information extraction, feature decoupling, and low interpretability. In order to fully extract and fuse the effective information of the source image, this paper proposes an infrared and visible image fusion method based on information bottleneck siamese autoencoder network (DIBF: Double Information Bottleneck Fusion). This method realizes the disentanglement of complementary features and redundant features by constructing an information bottleneck module on the twin branch. The expression process of complementary information corresponds to the feature fitting process of the first half of the information bottleneck. The compression process of redundant features corresponds to the feature compression process in the second half of the information bottleneck. This method cleverly expresses information extraction and fusion in image fusion as an information bottleneck trade-off problem, and achieves fusion by finding the optimal expression of information. In the information bottleneck module, the network obtains the information weight map of the feature through training, and uses the mean feature to compress the redundant features according to the information weight map. This method promotes the expression of complementary information through the loss function, and the two parts of compression and expression are balanced and optimized simultaneously. In this process, redundant information and complementary information are also decoupled. In the fusion stage, the information weight map is applied in the fusion rules, which improves the information richness of the fused images. Through subjective and objective experiments on the standard TNO dataset, compared with traditional and recent fusion methods, the results show that the method in this paper can effectively fuse useful information in infrared and visible images, and achieved good results on both visual perception and quantitative indicators.
-
0. 引言
CMOS图像传感器广泛应用于通信、医疗、工业、航空、航天等民用和军用领域的图像探测器中。随着其应用越来越广泛，近年来人们对CMOS图像传感器的性能要求也越来越高，尤其在晨昏、夜间等低照度条件下进行地物探测，而常规的CMOS图像传感器的性能不能满足这样的需求。因此微光CMOS传感器应运而生，开始应用于各类航天器中，可以有效扩展其工作照度条件和时段范围，在更宽的时段内对地进行观察、对地面突发事件进行快速预警，如城市监测、重大事件变革、自然灾害、生态环境评估以及社会经济参量估算等应用场景[1-3]。目前国外微光遥感卫星主要有美国军事气象卫星（defense meteorological satellite program, DMSP）搭载的可见光成像线性扫描业务系统（operational line-scan system, OLS）和美国极轨卫星（S-NPP）搭载的可见红外成像辐射仪（visible infrared imaging radiometer suite, VIIRS）[4]；而国内长光卫星公司的“吉林一号”系列卫星具有夜光遥感功能，可以获取1 m分辨率的彩色夜光影像，与此同时，由武汉大学与长光卫星技术有限公司联合研制的“珞珈一号”科学实验卫星是全球首颗专业夜光遥感卫星[5-6]。
本文根据某商业航天项目对晨昏和夜晚的微光观测需求，设计了一个微光探测成像系统电路[7-10]，并满足高性能和高可靠性的要求。
1. 系统总体方案设计概述
本设计的微光成像系统电路结构如图 1所示，包括微光图像传感器、供电电源模块、主控处理单元FPGA、存储单元DDR3和eMMC、CameraLink传输接口及卫星通信传输接口模块等。其中微光图像传感器由电源模块提供所需的电源，在FPGA产生驱动控制脉冲控制下，通过光学系统耦合感知微光辐射并进行光电转换最终输出高速数字图像信号数据。该图像数据经由FPGA联合DDR3进行高速缓存与处理并存于eMMC，最后通过CameraLink接口上传至地面测试上位机进行显示。该系统电路实现了高帧频、高信噪比和微光探测的设计要求。
2. 详细硬件电路设计
2.1 图像传感器GSENSE2020简介
本文设计中采用了GSENSE2020微光图像传感器，是由国内公司长光辰芯研制的一款背照式CMOS图像传感器，具有2048×2048的分辨率，像素尺寸为6.5 μm，具有全局卷帘曝光模式。在量化位数为12 bit模式下，帧频最高高达43 frame/s，数据率可达4.8 Gbps。当配置为低增益模式时，最大SNR可达47.39 dB。
2.2 图像传感器驱动电路及电源电路设计
2.2.1 驱动电路设计
图像传感器GSENSE2020输出数字信号，具有16路LVDS输出数据通道和2对差分时钟，31个数字控制管脚以及5个配置管脚。本文采用FPGA作为控制处理单元，完成对图像传感器的驱动控制和数据采集。该FPGA选自Xilinx公司的K7系列的XC7K325T。设计中16路的数据线和2对差分时钟通过差分线与FPGA相连，36路控制线与FPGA单端相连。在PCB布局布线时，严格控制线路阻抗，16路差分数据线和2对差分时钟控制为100 Ω，36路控制线设置为50 Ω，并且16路差分数据线和2对差分时钟线走内部高速层，邻近上下层均为地层，形成屏蔽作用，同时做等长处理，从而保证信号质量，采集到低噪声图像数据。
2.2.2 电源电路设计
微光成像系统供电主要分为两大模块：图像传感器GSENSE2020供电电路和FPGA及其他模块供电电路。其中GSENSE2020需要4档供电电压，包括偏置电压，模拟电压及数字电压3类。图像传感器的供电电源对图像噪声有一定的影响，因此其电源设计应采用低噪声电源。同时考虑驱动能力和系统功耗，设计中采用DC/DC电源转换器和LDO（低压差线性稳压器）产生GSENSE2020所需的低噪声电压。其中DC/DC电源转换器采用了LINEAR公司的LTM4622A芯片，具有宽的输入电压范围，2 A的双通道输出，将输入电压转换为4.0 V、2.2 V以及1.5 V，再经过LDO产生图像传感器所需的电压：3.8 V、3.5 V、2.0 V以及0.8 V。LDO芯片采用了TI公司的TPS7A8300，具有2 A电流和低噪声6 μVrms输出，且支持软启动，便于控制上电顺序。图 2为TPS7A8300的典型设计电路，其输入输出均采用去耦电容对其进行去耦，并通过磁珠对电源线路上的高频噪声和尖峰干扰进行抑制。
另外，本设计采用了NXP公司的PMIC（电源管理集成电路）芯片MMPF0100，为FPGA提供电源电压。因为FPGA需要6档供电电压：1.0 V、1.2 V、1.8 V、1.5 V、2.5 V和3.3 V，种类比较多。同时FPGA的上电顺序有严格的要求，比如内核电压最先上电，GTX供电及其端接供电后上电，FPGA辅助供电、VCCO端口供电最后上电。MMPF0100芯片具有可配置和可编程的架构，拥有12路输出，上下电顺序灵活可控，可以满足FPGA的上电需求，保证FPGA的性能。
根据PMIC各通道输出支持的电压电流级别，以及FPGA的不同电源的需求，PMIC的硬件电路设计如图 3所示。通过OTP Configuration功能对PMIC输出电压及上电顺序进行配置，并进行烧录，完成对PMIC的控制，同时将配置信息保存为可烧录的脚本文件，便于后续多块电路板的快速配置。
由于3.3 V除了给FPGA供电，还需给其他模块供电，本电源电路还采用了TI公司的LDO芯片TPS7A8500。该芯片具有4 A大电流和低噪声4.4μVrms输出，支持软启动，便于控制上电顺序控制。利用PMIC的LDO输出控制TPS7A8500的使能EN引脚，实现该路的电源的开关，从而保证FPGA的上电顺序要求。
2.3 DDR3 SDRAM电路设计
GSENSE2020输出图像数据量大，在量化位数为12 bit模式下，数据率最高可达4.8 Gbps，因此本设计选择了两颗Micron公司的MT41K64M16TW-107的DDR3 SDRAM。MT41K64M16TW-107时钟频率最高可达933 MHz，容量为1 GB，可以满足设计要求。
设计中两颗DDR3的数据线、地址线以及控制线与FPGA之间的连接均采用了独立连接设计，互不干扰，既可以满足不同数据率下的图像缓存处理，又可以实现高速乒乓操作。图 4是单颗MT41K64M16TW-107的电路设计原理图，其中地址线和控制线均通过特定阻值的上拉电阻上拉到VTT电压，可以保证信号的质量，同时对时钟线设计了T形端接上拉并加入了隔直电容，可以能保证端接共模信号，同时使直流泄露最小，从而改善时钟波形。图像传感器输出的高速数据流，经过FPGA同时对两颗DDR3进行一读一写的操作实现缓存与处理。该电路实现了高速图像数据的缓存与处理，提高了数据吞吐量及系统性能。
2.4 eMMC电路设计
当微光探测成像系统装星之后，图像传感器获得的图像数据经过图像处理后，需要进行存储和延迟下传显示。因此本设计选用了4颗三星公司的eMMC芯片KLMCG4JENB-B041实现图像数据存储，阵列总存储容量高达256 GB。该eMMC集成了控制器和快闪存储器，接口简单，工作速度快，最高时钟频率可达200 MHz，可以满足图像传感器的高速存储、大容量的性能要求。
4颗eMMC与FPGA之间的连接，其中命令线CMD和数据线DAT0-DAT7是独立连接的，互不干扰，而时钟线CLK、电源线VCC、VCCQ以及地线VSS、VSSQ是共享的，可以实现4颗eMMC时钟同步和独立控制。在设计eMMC的电路时，在命令线和数据线与FPGA连接时，将其通过上拉电阻进行上拉，既可以提高芯片引脚的输出电平，也可以保证在上电配置过程中，芯片引脚为定态，还可以加大输出引脚的驱动能力。单颗KLMCG4JENB-B041的电路原理图设计如图 5所示。由于该eMMC最高时钟频率可达200 MHz，因此33 Ω的串联端接电阻既可以保证阻抗匹配，又可以减少干扰，从而改善时钟信号波形。
2.5 CameraLink电路设计
地面测试验证微光成像系统图像质量，采用了CameraLink接口作为图像数据的传输接口，通过CameraLink接口将图像数据传输到地面测试PC上位机进行显示。传统的CameraLink接口的数据发送和接收，均采用专用的串并转换芯片与成像系统进行数据传输，但是串并转换芯片占用体积大且其并行信号线会占用大量PCB布局布线资源，而且最高传输速率有限。Xilinx公司的K7系列FPGA内部集成了大量的IP核及原语如串并转换模块，可以实现CameraLink接口的低成本、小体积、更高速率、更稳定、无误码的传输并显示。
本设计基于CameraLink接口的Base模式实现微光成像系统的串行图像数据的传输。Base模式数据具有28位，包括1位帧有效位信号、1位行有效位信号、1位数据有效位信号、24位数据信号和保留信号，如表 1所示[11]。根据Base结构分析，在本系统电路输出端选用了MDR26连接器构建CameraLink接口，利用FPGA的并串转换原语模块OSERDESE2实现数据格式转换。由于K7系列FPGA的OSERDESE2支持8:1的并串转换，因此将已经经过图像处理的图像数据按照CameraLink的Base数据格式组成28位图像数据，然后分成4组，每组均以7:1方式通过一个OSERDESE2即可完成并串转换，得到4组LVDS图像信号，如图 6所示。以同样的方式对图像时钟按照CameraLink时钟格式进行并串转换得到LVDS时钟信号。最终将这4组LVDS图像信号和一组LVDS时钟信号连接至CameraLink接口，以实现图像数据在CameraLink接口的直接传输。
表 1 Base模式的端口分配Table 1. Base mode port allocationInput signal name 28-bit pin name Input signal name 28-bit pin name Strobe TxClk Out/RxClk In Port B2 TX/RX 9 LVAL TX/RX 24 Port B3 TX/RX12 FVAL TX/RX 25 Port B4 TX/RX 13 DVAL TX/RX 26 Port B5 TX/RX 14 Spare TX/RX 23 Port B6 TX/RX 10 Port A0 TX/RX 0 Port B7 TX/RX 11 Port A1 TX/RX 1 Port C0 TX/RX 15 Port A2 TX/RX 2 PortC1 TX/RX 18 Port A3 TX/RX 3 Port C2 TX/RX 19 Port A4 TX/RX 4 Port C3 TX/RX 20 Port A5 TX/RX 6 Port C4 TX/RX 21 Port A6 TX/RX 27 Port C5 TX/RX 22 Port A7 TX/RX 5 Port C6 TX/RX 16 Port B0 TX/RX 7 Port C7 TX/RX 17 Port B1 TX/RX 8 - - 3. 系统实验验证分析
根据上述描述，完成微光探测成像系统电路设计，对成像系统电路进行测试及成像实验，以验证系统电路的实际性能，实验结果如下。
硬件电路系统实物如图 7所示。首先对硬件电路进行测试调试，图 8为FPGA的1.0 V、1.2 V、1.8 V上电时序测试验证图，上电顺序及上电间隔均与设计相符。图像传感器的供电电源噪声对图像噪声质量有一定的影响，3.5 V作为GSENSE2020的偏置电压、模拟电源及像素电源主要供电电压之一，其供电电压噪声直接影响图像质量，图 9为3.5 V的电压纹波测试结果，大小为3.2 mV，这说明该电源噪声较小，可以满足低噪声设计要求。
GSENSE2020在量化位数为12 bit模式下，图像数据只通过8个通道输出，为了保证这些数据高速输出，其输入时钟需要一个高频率时钟。当输入时钟设置为典型值600 MHz时，其输出频率理论上可达300 MHz，利用Vivado的ILA（在线逻辑分析仪）对其速率进行实时监测。实测结果表明，其单通道速率可达500 Mb(ddr)，因此数据率约为：
$$ 500×8＝4\;\mathrm{Gbps} $$ (1) 由于受电路的布局布线的影响，且测试过程中图像传感器电路板和控制电路板之间的时钟线及数据线是通过普通的软排线连接，因此传感器的实测数据率会略低于理论值。
为测试验证整个成像系统的实际成像性能，在完成硬件系统电路调试后进行光机结构装调，然后对景物进行实际成像，通过CameraLink接口传输到PC图像采集上位机进行实时显示。由于上位机的CameraLink接收接口显示速率受限，因此配置图像传感器的输入时钟为375 MHz，通过ILA测得实际单通道速率约为300 Mb(ddr)。因此系统电路数据率可达：
$$ 300×8＝2.4\;\mathrm{Gbps} $$ (2) 与此同时根据公式(3)(4)(5)可计算得出理论的帧频为27.2 fps。在实验过程中上位机实际显示图像帧频为25 fps，如图 10所示，接近理论值。
$$ f_{\mathrm{clk{\_}seq}}＝f_{\mathrm{clk{\_}INTER}}/12 $$ (3) $$ T_{\mathrm{line}}＝560×T_{\mathrm{clk{\_}seq}} $$ (4) $$ T_{\mathrm{frame}}＝K×T_{\mathrm{line}} $$ (5) 式中：fclk_INTER等于输入时钟频率；K为输出的行数，K≤2048 rows。
为了测试成像系统的信噪比，固定设置图像传感器积分时间，并设置增益为低增益，利用积分球进行辐照度，根据公式(6)[12]计算得到成像系统的信噪比为45.5 dB，与理论值相近。
$$ \mathrm{SNR} = \frac{{{S_\mathrm{e}}}}{{{N_\mathrm{e}}}} = \frac{{\frac{{\sum\limits_{i = 1}^n {{x_i}} }}{n}}}{{\sqrt {\frac{{\sum\limits_{i = 1}^n {{{({x_i} - \bar x)}^2}} }}{n}} }} $$ (6) 式中：xi为像元i的响应灰度值；$ \bar x $为所有像元响应均值；n为总像元个数。
最终在低照度情况下，对实景进行探测成像，得到了清晰图像，如图 11所示。
4. 结论
本文基于微光图像传感器GSENSE2020设计了成像系统电路，利用FPGA驱动控制图像传感器的输出，实现了微光探测成像。同时该成像系统电路兼顾了控制双图像传感器扩展接口，为后续多波段同时探测成像设计如可见光加红外探测奠定了技术基础。经过实验验证，该成像系统电路功能和性能良好，电源供电纹波噪声低至3.2 mV，通过CameraLink接口传输图像到PC图像采集上位机进行实时显示，速率为300 Mb(ddr)，数据率高达2.4 Gbps，帧频可达25 fps，系统的信噪比为45.5 dB。这说明微光探测成像系统电路性能指标与理论分析值相近，且在低照度情况下得到了清晰图像，达到了预期设计要求。
-
![]()
图 4 “soldier behind smoke”图像的融合结果
Figure 4. The fusion results of image "soldier behind smoke"
![]()
图 6 “soldier behind smoke”图像上的消融实验
Figure 6. Ablation experiments on "soldier behind smoke" images
表 1 各融合方法在“soldier behind smoke”图像上的客观评价
Table 1 Objective evaluation of each fusion method on the "Soldier behind smoke" image
SSIM↑ EN↑ QCV↓ CC↑ Qs↑ Qnice↑ GTF 0.6140 6.5523 525.7348 0.7198 0.6932 0.8041 Densefuse 0.7034 7.0214 285.2439 0.7659 0.7461 0.8067 DRF 0.5065 6.1229 1465.5026 0.4732 0.4955 0.8030 DIDFuse 0.6235 7.3882 764.3228 0.7654 0.6548 0.8029 SDNet 0.6738 6.7770 442.1754 0.8144 0.7628 0.8037 LPSR 0.6996 7.0479 374.1844 0.7445 0.7145 0.8059 DIBF 0.7057 7.2659 361.5213 0.7082 0.8045 0.8132 
下载: 导出CSV
表 2 7种融合方法在“Kaptein”图像上的客观评价
Table 2 Objective evaluation of each fusion method on the " Kaptein " image
SSIM↑ EN↑ QCV↓ CC↑ Qs↑ Qnice↑ GTF 0.7112 6.9551 1876.9564 0.6421 0.7530 0.8079 Densfuse 0.7234 6.9105 638.447 0.7170 0.7371 0.8046 DRF 0.6775 6.7797 1076.7219 0.7517 0.6801 0.8045 DIDFuse 0.5218 6.6008 724.3656 0.6760 0.6948 0.8032 SDNet 0.7374 6.6134 1299.0327 0.7956 0.8290 0.8053 LPSR 0.7746 6.6977 602.4592 0.6960 0.8047 0.8048 DIBF 0.7789 6.9155 415.9648 0.7656 0.8349 0.8125
下载: 导出CSV
表 3 各方法在TNO数据集上的客观评价
Table 3 Objective evaluation of each method on TNO dataset
SSIM↑ EN↑ QCV↓ CC↑ Qs↑ Qnice↑ GTF 0.6816 6.7623 1089.6147 0.6388 0.7278 0.8075 Densfuse 0.7201 6.8161 527.9315 0.7077 0.7995 0.8052 DRF 0.6356 6.7744 858.1153 0.6741 0.6710 0.8045 DIDFuse 0.5046 6.6725 725.3649 0.6459 0.6721 0.8021 SDNet 0.6808 6.6822 773.5541 0.6894 0.7797 0.8060 LPSR 0.7394 6.4793 541.8054 0.7048 0.8020 0.8050 DIBF 0.7432 6.6954 367.5232 0.7082 0.8073 0.8166
下载: 导出CSV
表 4 40对图像消融实验客观指标
Table 4 Objective indicators of 40 pairs of image ablation experiments
SSIM↑ EN↑ QCV↓ CC↑ Qs↑ Qnice↑ Only Z is fused 0.6125 6.5611 1077.1563 0.6055 0.6986 0.7895 Only R is fused 0.7019 6.6682 525.6256 0.6411 0.7536 0.7999 Only λir/vis1 is used during the fusion of R 0.5986 6.5867 868.3145 0.6649 0.6745 0.8048 Only λir/vis2 is used during the fusion of R 0.5043 6.4123 925.3452 0.5479 0.6354 0.7958 DIBF 0.7432 6.6954 367.5232 0.7082 0.8073 0.8166
下载: 导出CSV
-
[1] 张冬冬, 王春平, 付强. 深度学习框架下的红外与可见光图像融合算法综述[J]. 激光与红外, 2022, 52(9): 1288-1298. DOI: 10.3969/j.issn.1001-5078.2022.09.004 ZHANG D D, WANG C P, FU Q. Overview of infrared and visible image fusion algorithms based on deep learning framework[J]. Laser & Infrared, 2022, 52(9): 1288-1298. DOI: 10.3969/j.issn.1001-5078.2022.09.004
[2] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[3] 陈永, 张娇娇, 王镇. 多尺度密集连接注意力的红外与可见光图像融合[J]. 光学精密工程, 2022, 30(18): 2253-2266. CHEN Y, ZHANG J J, WANG Z. Infrared and visible image fusion based on multi-scale dense attention connection network[J]. Optics and Precision Engineering, 2022, 30(18): 2253-2266.
[4] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576 SUN B, ZHUGE W W, GAO Y X, et al. Infrared and visible lmage fusion based on latent low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576
[5] 杨孙运, 奚峥皓, 王汉东, 等. 基于NSCT和最小化-局部平均梯度的图像融合[J]. 红外技术, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6 YANG S Y, XI Z H, WANG H D, et al. Image fusion based on NSCT and minimum-local mean gradient [J]. Infrared Technology, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6
[6] 刘智嘉, 贾鹏, 夏寅辉. 基于红外与可见光图像融合技术发展与性能评价[J]. 激光与红外, 2019, 49(5): 123-130. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201905022.htm LIU Z J, JIA P, XIA Y H, et al. Development and performance evaluation of infrared and visual image fusion technology[J]. Laser & Infrared, 2019, 49(5): 123-130. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201905022.htm
[7] Lee H Y, Tseng H Y, Mao Q, et al. Drit++: Diverse image-to-image translation via disentangled representations[J]. International Journal of Computer Vision, 2020, 128(10): 2402-2417.
[8] 马梁, 苟于涛, 雷涛, 等. 基于多尺度特征融合的遥感图像小目标检测[J]. 光电工程, 2022, 49(4): 49-65. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202204005.htm MA L, GOU Y T, LEI T, et al. Small object detection based on multi-scale feature fusion using remote sensing images[J]. Opto-Electronic Engineering, 2022, 49(4): 49-65. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202204005.htm
[9] 雷大江, 杜加浩, 张莉萍, 等. 联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法[J]. 电子与信息学报, 2022, 44(1): 237-244. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202201025.htm LEI D J, DU J H, ZHANG L P, et al. Multi-stream architecture and multi-scale convolutional neural network for remote sensing image fusion[J]. Journal of Electronics & Information Technology, 2022, 44(1): 237-244. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202201025.htm
[10] 李明, 刘帆, 李婧芝. 结合卷积注意模块与卷积自编码器的细节注入遥感图像融合[J]. 光子学报, 2022, 51(6): 406-418. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202206038.htm LI M, LIU F, LI J Z. Combining convolutional attention module and convolutional autoencoder for detail injection remote sensing image fusion[J]. Acta Photonica Sinica, 2022, 51(6): 406-418. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202206038.htm
[11] 刘博, 韩广良, 罗惠元. 基于多尺度细节的孪生卷积神经网络图像融合算法[J]. 液晶与显示, 2021, 36(9): 1283-1293. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS202109009.htm LIU B, HAN G L, LUO H Y. Image fusion algorithm based on multi-scale detail siamese convolutional neural network[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(9): 1283-1293. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS202109009.htm
[12] Krishna V A, Reddy A A, Nagajyothi D. Signature recognition using siamese neural networks[C]//IEEE International Conference on Mobile Networks and Wireless Communications (ICMNWC), 2021: 1-4.
[13] LI H, WU X J. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623.
[14] LI H, WU X J, Durrani T. NestFuse: An infrared and visible image fusion architecture based on nest connection and spatial/channel attention models[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(12): 9645-9656. DOI: 10.1109/TIM.2020.3005230
[15] LU B, CHEN J C, Chellappa R. Unsupervised domain-specific deblurring via disentangled representations[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 10225-10234.
[16] WANG G, HAN H, SHAN S, et al. Cross-domain face presentation attack detection via multi-domain disentangled representation learning[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 6678-6687.
[17] 文载道, 王佳蕊, 王小旭, 等. 解耦表征学习综述[J]. 自动化学报, 2022, 48(2): 351-374. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202202003.htm WEN Z D, WANG J R, WANG X X, et al. A review of disentangled representation learning[J]. Acta Automatica Sinica, 2022, 48(2): 351-374. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202202003.htm
[18] ZHAO Z, XU S, ZHANG C, et al. DIDFuse: Deep image decomposition for infrared and visible image fusion[J]. arXiv preprint arXiv: 2003.09210, 2020.
[19] XU H, WANG X, MA J. DRF: Disentangled representation for visible and infrared image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-13.
[20] XU H, GONG M, TIAN X, et al. CUFD: An encoder–decoder network for visible and infrared image fusion based on common and unique feature decomposition[J]. Computer Vision and Image Understanding, 2022, 218: 103407. DOI: 10.1016/j.cviu.2022.103407
[21] Tishby N, Pereira F C, Bialek W. The information bottleneck method[J]. arXiv preprint physics/0004057, 2000.
[22] Tishby N, Zaslavsky N. Deep learning and the information bottleneck principle[C]// IEEE Information Theory Workshop (ITW). IEEE, 2015: 1-5.
[23] Shwartz-Ziv R, Tishby N. Opening the black box of deep neural networks via information[J]. arXiv preprint arXiv: 1703.00810, 2017.
[24] Alemi A A, Fischer I, Dillon J V, et al. Deep variational information bottleneck[J]. arXiv preprint arXiv: 1612.00410, 2016.
[25] Tishby N, Zaslavsky N. Deep learning and the information bottleneck principle[C]//IEEE Information Theory Workshop (ITW). IEEE, 2015: 1-5.
[26] ZHANG Y, LIU Y, SUN P, et al. IFCNN: A general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011
[27] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001
[28] ZHANG H, MA J. SDNet: A versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129(10): 2761-2785. DOI: 10.1007/s11263-021-01501-8
[29] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
计量
- 文章访问数: 109
- HTML全文浏览量: 37
- PDF下载量: 30
