An Improved Dual Discriminator Generative Adversarial Network Algorithm for Infrared and Visible Image Fusion
-
摘要:
针对现有的红外与可见光图像融合算法对全局和多尺度特征提取不充分，对不同模态图像的关键信息提取不精准的问题，提出了基于双鉴别器生成对抗网络的红外与可见光图像融合算法。首先，生成器结合卷积和自注意力机制，捕获多尺度局部特征和全局特征；其次，将注意力机制与跳跃连接结合，充分利用多尺度特征并减少下采样过程中的信息丢失；最后，两个鉴别器引导生成器关注红外图像的前景显著目标和可见光图像的背景纹理信息，使融合图像保留更多关键信息。在公开数据集M3FD和MSRS上的实验结果表明，与对比算法相比，6种评价指标结果显著提高，其中平均梯度（Average Gradient, AG）在两个数据集上相较于次优结果分别提高了27.83%和21.06%。本文算法的融合结果细节丰富，具有较好的视觉效果。
Abstract:An infrared and visible image fusion algorithm, based on a dual-discriminator generative adversarial network, is proposed to address issues, such as the insufficient extraction of global and multiscale features and the imprecise extraction of key information, in existing infrared and visible image fusion algorithms. First, a generator combines convolution and self-attention mechanisms to capture multiscale local and global features. Second, the attention mechanism is combined with skip connections to fully utilize multiscale features and reduce information loss during the downsampling process. Finally, two discriminators guide the generator to focus on the salient targets of the infrared images and background texture information of visible-light images, allowing the fused image to retain more critical information. Experimental results on the public multi-scenario multi-modality (M3FD) and multi-spectral road scenarios (MSRS) datasets show that compared with the baseline algorithms, the results of the six evaluation metrics improved significantly. Specifically, the average gradient (AG) increased by 27.83% and 21.06% on the two datasets, respectively, compared with the second-best results. The fusion results of the proposed algorithm are rich in detail and exhibit superior visual effects.
-
0. 引言
有机电致发光器件（Organic Light Emitting Device，OLED）具有发光亮度高、响应时间短、可视范围大和可柔性化等优点，被称为“梦幻般的显示器”，被视为液晶显示后的下一代主流显示器，并初步应用于装饰和室内照明[1-6]。近年来，高性能顶发射器件逐渐成为研究热点，诸多科研工作者投身于实现高性能器件的研究中，目前主要从两个方面入手：一是新材料的研发，如新型有机发光分子材料[7]；二是新结构的开发，如超薄结构[8]、量子阱结构[9]和和微腔结构[10]等。在微腔结构方面，主要是通过理论计算改变有机结构层厚度，进而调节器件的微腔长度，获得不同模数的微腔，使器件处于不同微腔加强区，从而提升器件性能。
光学微腔是一种光学微型谐振腔，尺寸在光波长量级。有机微腔电致发光器件最早是日本九州大学在1993年完成的[11]。当前关于有机微腔发光的大部分研究致力于提升器件效率[12-14]，而对具有微腔效应顶发射器件的色纯度及稳定性的研究存在不足。因此，本文在现有器件研究的基础上，通过引入二阶微腔结构[15-16]，制备了一系列顶发射微型器件，验证二阶微腔长度范围内器件的光电性能，最终获得优化后的稳定绿光顶发射器件，实现标准绿光显示。
1. 实验
本文所制备的顶发射器件，微腔结构为简单的FP（Fabry-Perot）微腔结构[17-19]，底部全反射电极采用Ag，顶部光出射端采用半透明的金属阴极Mg/Ag作为半反射镜。器件各膜层通过蒸镀设备依次完成，主要膜层及所用材料见表 1，其中阳极为ITO，空穴注入层（Hole Injection Layer, HIL）为有机材料F16CuPc和NPB，F16CuPc为掺杂料；空穴传输层（Hole Transport Layer, HTL）为有机材料NPB；电子阻挡层（Electron Blocking Layer, EBL）为有机材料TCTA；有机发光层（Emitting Layer, EML）为有机材料mCP和Ir(ppy)3，mCP为绿色发光基质，Ir(ppy)3掺杂料；电子传输层（Electron Transport Layer, ETL）为有机材料Bphen和Liq，Liq为掺杂料；光输出耦合层（Capping Layer, CPL）为有机材料Alq3。器件中涉及的有机材料分子结构如图 1所示。
表 1 器件主要膜层及所用材料Table 1. Layers and materials of deviceLayer Material anode ITO HIL Copper(II)1, 2, 3, 4, 8, 9, 10, 11, 15, 16, 17, 18, 22, 23, 24, 25-hexadecafluoro-29H, 31H-phthalocyanine（F16CuPc）
N, N'-Di-[(1-naphthyl)-N, N'-diphenyl]-1, 1'-biphenyl)-4, 4'-diamine (NPB)HTL N, N'-Di-[(1-naphthyl)-N, N'-diphenyl]-1, 1'-biphenyl)-4, 4'-diamine (NPB) EBL 4, 4', 4''-tris(carbazol-9-yl)-triphenylamine (TCTA) EML 1, 3-bis(9-carbazolyl)benzene（mCP）
Iridium, tris[2-(2-pyridinyl-kN)phenyl-kC]（Ir(ppy)3）ETL 4, 7-Diphenyl-1, 10-phenanthroline（Bphen）
8-hydroxyquinoline lithium（Liq）cathode Mg/Ag CPL 8-Hydroxyquinoline aluminum salt（Alq3） ![]()
图 1 器件中涉及的有机材料分子结构Figure 1. Molecular structures of the materials in the OLED devices该器件采用云南北方奥雷德光电股份有限公司开发的硅基CMOS基板作为器件衬底，依次蒸镀各层有机材料，蒸发速率保持在0.1 nm/s，真空度保持在2×10-4 Pa。器件的亮度及光谱通过PR-655测量，电流和电压采用搭载Keithley 2400测试仪的测试系统进行测量。
2. 结果讨论
2.1 微腔长度对色纯度影响
一般来说，顶发射器件都存在微腔效应，器件发出的光谱强度I(λ)如式(1)[20]：
$$ I\left( \lambda \right) = \frac{{\left( {1 + {R_{\text{h}}}} \right)\left[ {1 + {R_{\text{f}}} + 2\sqrt {{R_{\text{f}}}} \cos \left( {\frac{{4{\rm{ \mathsf{ π} }}Z}}{\lambda }} \right)} \right]}}{{1 + {R_{\text{f}}}{R_{\text{h}}} - 2\sqrt {{R_{\text{f}}}{R_{\text{h}}}} \cos \left( {\frac{{4{\rm{ \mathsf{ π} }}L}}{\lambda }} \right)}}{I_0}\left( \lambda \right) $$ (1) 式中：Rf为全反射镜的反射率；Rh为半透明反射镜的反射率；I0(λ)为自由空间的光谱强度；L为器件微腔光学长度；Z为全反射镜与有机发光层之间的距离。其中，微腔的光学长度L计算式为：
$$ L = \sum {{n_{\text{m}}}{d_{\text{m}}}} + {n_{{\text{ITO}}}}{d_{{\text{ITO}}}} + \left| {\frac{{{\lambda _q}}}{{4{\rm{ \mathsf{ π} }}}}\sum\limits_i {{\phi _i}\left( \lambda \right)} } \right| = q\frac{{{\lambda _q}}}{2} $$ (2) 式中：nm、dm分别为有机材料的折射率和厚度；nITO、dITO分别为ITO的折射率和厚度；q（1, 2, 3, 4, …）是发射模的模（阶）数；λq是模（阶）数为q的共振发射波长；ϕt(λ)为光在有机界面/金属镜面之间的相移，i为阳极/有机界面或阴极/有机界面。由式(1)、(2)可知，通过调节有机材料膜层厚度，可以改变器件微腔长度，使腔模q的位置产生移动，从而改变微腔器件的出射光波长。为了使器件微腔的谐振波长与发光层电致发光谱的峰值波长相匹配以实现增益，利用公式(2)计算得到一阶腔长对应的有机层总厚度约为100 nm，二阶腔长对应的有机层总厚度约为250 nm。
通过调整空穴传输层和电子阻挡层厚度，实验中制作了5种不同微腔长度的器件A~E，如图 2所示。其结构为：Si Substrate/Ag/ITO/ NPB: F16CuPc(10 nm, 3%)/NPB(x nm)/TCTA(y nm)/ mCP: Ir(ppy)3(40 nm, 6%)/ Bphen: Liq(30 nm, 40%)/ Mg/Ag(12 nm)/Alq3(35 nm)，x表示空穴传输层（NPB）的膜层厚度，y表示电子阻挡层（TCTA）的膜层厚度。其中x分别为30、30、60、20、120，y分别为20、15、20、15、40，器件有机层厚度依次为130 nm、125 nm、160 nm、115 nm、240 nm。
![]()
图 2 5种不同微腔长度器件结构图Figure 2. Schematics of device structure with five microcavity lengths图 3为不同腔长器件EL光谱。器件A、B、C、D在524 nm处有一强峰，556 nm、552 nm、560 nm、560 nm处出现一弱峰，器件E为520 nm处唯一单峰。从图中可以看出，器件C→A→B→D→E长波一侧出现明显的窄化趋势，向短波一侧移动，出现蓝移，560 nm处的肩峰逐渐减弱至消失。这一现象是器件微腔效应导致的，根据腔量子电动力学效应，腔内光场的模式密度受到调制，在谐振波长处得到增强，而在其他波长处的受到抑制，光谱得到窄化[21]。微腔效应的强弱常通过半高宽（FWHM, full width at half maximum）来衡量，计算得到器件C→A→B→D→E半高宽从84 nm减小到33 nm，微腔效应逐渐增强。
不同腔长器件的发光性能如表 2所示。在A~E中，D在亮度、电流效率与外量子效率等方面表现较佳，B次之，C表现最差，而E色坐标偏移最小。这主要是因为，D位于一阶加强区，E位于二阶加强区，C远离加强区。可以看出，当器件腔长位于一阶加强区时，器件的光电效率会得到加强；当位于二阶加强区时，器件效率会低于一阶加强区[22-23]，但器件色纯度明显高于一阶加强区，说明处于二阶加强区对器件的色纯度有显著的提升作用。
表 2 不同腔长器件的光电特性Table 2. Optoectronic performance of device with different cavity lengthsDevice Luminance/(cd/m2) Current efficiency/(cd/A) Peak wavelength/nm FWHM/nm External quantum efficiency/% CIEx, y Color shift[CIE 1931] A 6330 33.80 524 73 9.19% (0.3713, 0.6019) (0.1613, 0.1081) B 7439 39.73 524 70 10.59% (0.3601, 0.6110) (0.1501, 0.0990) C 2198 11.74 524 84 3.39% (0.3959, 0.5821) (0.1859, 0.1279) D 9123 48.72 524 66 12.75% (0.3436, 0.6243) (0.1336, 0.0857) E 5477 29.25 520 33 7.67% (0.2092, 0.7167) (0.0008, 0.0067) 通过进一步的测试发现，制作得到的器件色坐标都具有很好的稳定性，如图 4所示。A~E色坐标CIEx，CIEy在低电压阶段经过短暂上升，电压达到2.8 V后，色坐标保持平稳。从整个变化情况来看，器件E色坐标出现了明显的突变，CIEx骤降到0.2左右，CIEy骤升到0.71左右，出现该现象的原因是器件A~D分别在556 nm、552 nm、560 nm、560 nm处存在一弱峰，导致色坐标产生偏离，发光时表现出黄绿光，而器件E为唯一单峰，在器件正常启亮后就表现出近乎接近标准绿光(0.21, 0.71)显示，如图 4(c)所示。这一结果也再次表明微腔长度处于二阶加强区，对器件发光色纯度有明显的提升作用。
![]()
图 4 不同腔长器件色坐标变化Figure 4. Color coordinate variation of device with different cavity lengths2.2 空穴传输层和电子阻挡层厚度对腔长影响
前述结果表明，当器件微腔长度位于二阶加强区时，器件的色纯度会得到明显提升。为了验证器件处于二阶加强区时，空穴传输层和电子阻挡层厚度是否对微腔长度改变起同等作用，制作了器件E1。在其他条件保持不变的情况下，空穴传输层厚度为40 nm，电子阻挡层厚度为120 nm。从表 3可以看出，E、E1在亮度、电流效率、外量子效率等性能方面表现相当，差异很小。通过光谱图（图 5）和色坐标（图 6）也可以看出，两者EL光谱基本重合，且CIEx、CIEy未发生较大改变。这一结果表明，空穴传输层与电子传输层厚度在微腔长度改变中作用相同，均能有效调节色纯度。
表 3 不同HTL & EBL厚度器件的光电特性Table 3. Optoectronic performance of device with different HTL & EBL thicknessDevice Luminance/(cd/m2) Current efficiency/(cd/A) Peak wavelength/nm FWHM/nm External quantum efficiency/% CIEx, y Color shift[CIE 1931] E 5477 29.25 520 33 7.67 (0.2092, 0.7167) (0.0008, 0.0067) E1 5261 28.09 520 32 7.58 (0.2079, 0.7173) (0.0021, 0.0073) ![]()
图 6 HTL&EBL厚度对色坐标影响Figure 6. Color coordinate variation of device with different HTL&EBL thickness3. 结论
研究发现器件结构为Si Substrate/Ag/ITO/ NPB: F16CuPc(10 nm, 3%)/NPB(x nm)/TCTA(y nm)/ mCP: Ir(ppy)3(40 nm, 6%)/Bphen: Liq(30 nm, 40%)/ Mg/ Ag(12 nm)/Alq3(35 nm)的顶发射绿光器件，通过调节器件空穴传输层和电子阻挡层的厚度使器件处于第二阶微腔加强区，可以使光谱明显窄化，器件色纯度得到极大提升，进一步研究发现，空穴传输层与电子阻挡层在微腔长度改变中作用相同，均能有效调节色纯度。器件在腔长为240 nm时，能实现稳定的高色纯度绿光显示，正向出射绿光的色坐标达到了(0.2092，0.7167)，接近标准绿光(0.21, 0.71)，该结果对二阶腔长绿光器件的应用有较好的参考意义。
-
表 1 M3FD数据集的定量分析
Table 1 Quantitative comparisons on the M3FD
EN MI SF SD Qabf AG DDcGAN 6.3775 2.7990 6.7409 24.1168 0.2589 2.3080 DenseFuse 6.6955 2.9281 9.2404 30.8108 0.4814 3.2054 LRRNet 6.4355 2.8201 10.6596 27.1722 0.4892 3.5832 NestFuse 6.7967 3.4503 10.9647 32.8006 0.5277 3.6390 RFN-Nest 6.8659 2.8897 7.5290 33.3992 0.3754 2.7471 Ours 6.8400 3.8980 13.4326 35.3704 0.5833 4.6136 
下载: 导出CSV
表 2 MSRS数据集的定量分析
Table 2 Quantitative comparisons of on the MSRS
EN MI SF SD Qabf AG DDcGAN 5.8754 2.4820 5.7872 22.3322 0.2685 1.8848 DenseFuse 6.1857 2.6777 7.3881 29.0080 0.4794 2.5167 LRRNet 6.1925 2.9334 8.4421 31.7756 0.4440 2.6286 NestFuse 6.5043 3.6730 9.7030 38.1962 0.6286 3.0880 RFN-Nest 6.1957 2.4469 6.1339 29.0760 0.3749 2.1015 Ours 6.6619 3.5331 11.4590 42.7672 0.6487 3.7383
下载: 导出CSV
表 3 消融实验的定量分析
Table 3 Quantitative comparisons of ablation
Models EN MI SF SD Qabf AG CCA+mask 6.4515 2.6611 9.4092 40.8056 0.5148 2.8907 PA+mask 6.0226 2.1242 9.1762 37.3983 0.2622 2.4948 PA+CCA 6.0910 2.1238 8.2665 32.3402 0.3747 2.3349 Ours 6.6619 3.5331 11.4590 42.7672 0.6487 3.7383
下载: 导出CSV
-
[1] ZHANG H, XU H, TIAN X, et al. Image fusion meets deep learning: a survey and perspective[J]. Information Fusion, 2021, 76: 323-336. DOI: 10.1016/j.inffus.2021.06.008
[2] 谭明川, 聂仁灿, 张谷铖, 等. 基于深度学习的红外与可见光图像融合综述[J]. 云南大学学报(自然科学版), 2023, 45(2): 326-343. TAN M, NIE R, ZHANG G, et al. A review of infrared and visible image fusion based on deep learning[J]. Journal of Yunnan University (Natural Science Edition), 2023, 45(2): 326-343.
[3] JIAN L, YANG X, LIU Z, et al. SEDRFuse: A symmetric encoder–decoder with residual block network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 70: 1-15.
[4] TANG L, YUAN J, ZHANG H, et al. PIAFusion: a progressive infrared and visible image fusion network based on illumination aware[J]. Information Fusion, 2022, 83: 79-92.
[5] MA J, TANG L, XU M, et al. STDFusionNet: an infrared and visible image fusion network based on salient target detection[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-13.
[6] Goodfellow I, Pouget Abadie J, Mirza M, et al. Generative adversarial nets[J/OL]. Advances in Neural Information Processing Systems, 2014: 2672-2680, https://arxiv.org/abs/1406.2661.
[7] LIU J, FAN X, HUANG Z, et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 5802-5811.
[8] RAO D, XU T, WU X J. TGFuse: An infrared and visible image fusion approach based on transformer and generative adversarial network[J/OL]. IEEE Transactions on Image Processing, 2023, Doi: 10.1109/TIP.2023.3273451.
[9] HUANG Z, WANG X, HUANG L, et al. Ccnet: Criss-cross attention for semantic segmentation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 603-612.
[10] ZHAO H, KONG X, HE J, et al. Efficient image super-resolution using pixel attention[C]//Computer Vision–ECCV, 2020: 56-72.
[11] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention–MICCAI, 2015: 234-241.
[12] Sandler M, Howard A, ZHU M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 4510-4520.
[13] ZHANG Y, TIAN Y, KONG Y, et al. Residual dense network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 2472-2481.
[14] SHI W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1874-1883.
[15] QIN X, ZHANG Z, HUANG C, et al. U2-Net: Going deeper with nested U-structure for salient object detection[J]. Pattern Recognition, 2020, 106: 107404. DOI: 10.1016/j.patcog.2020.107404
[16] MA J, XU H, JIANG J, et al. DDcGAN: A dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4980-4995. DOI: 10.1109/TIP.2020.2977573
[17] LI H, WU X J. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623.
[18] LI H, XU T, WU X J, et al. Lrrnet: A novel representation learning guided fusion network for infrared and visible images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(9): 11040-11052. DOI: 10.1109/TPAMI.2023.3268209
[19] LI H, WU X J, Durrani T. NestFuse: An infrared and visible image fusion architecture based on nest connection and spatial/channel attention models[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(12): 9645-9656. DOI: 10.1109/TIM.2020.3005230
[20] LI H, WU X J, Kittler J. RFN-Nest: An end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73: 72-86. DOI: 10.1016/j.inffus.2021.02.023
[21] TANG L, YUAN J, MA J. Image fusion in the loop of high-level vision tasks: A semantic-aware real-time infrared and visible image fusion network[J]. Information Fusion, 2022, 82: 28-42. DOI: 10.1016/j.inffus.2021.12.004
-
期刊类型引用(4)
1. 吕伽奇，丁帅，庞静珠，许小进. 基于改进LeNet-5网络的堆芯燃料组件编码识别. 东华大学学报(自然科学版). 2024(02): 121-128 . 
百度学术
2. 毛羽，郑怀华，李隆，张傲. 基于热红外图像的光伏板热斑检测方法研究. 自动化仪表. 2024(05): 25-29+34 . 百度学术
3. 王晓君，孙梓林，王雁. 基于AMP架构的青霉素结晶与发酵检测系统设计. 仪表技术与传感器. 2024(05): 66-73 . 百度学术
4. 赵兴文. 机器学习在信用贷款评分中的应用. 福建电脑. 2023(02): 31-34 . 百度学术
其他类型引用(15)
计量
- 文章访问数: 12
- HTML全文浏览量: 1
- PDF下载量: 4
- 被引次数: 19
