Mode Adaptive Infrared and Visible Image Fusion
-
摘要: 为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题，提出一种模态自适应的红外与可见光图像融合方法（mode adaptive fusion, MAFusion）。首先，在生成器中将红外图像与可见光图像输入自适应加权模块，通过双流交互学习二者差异，得到两种模态对图像融合任务的不同贡献比重；然后，根据各模态特征的当前特性自主获得各模态特征的相应权重，进行加权融合得到融合特征；最后，为了提高模型的学习效率，补充融合图像的多尺度特征，在图像融合过程中加入残差块与跳跃残差组合模块，提升网络性能。在TNO和KAIST数据集上进行融合质量测评，结果表明：主观评价上，提出的方法视觉效果良好；客观评价上，信息熵、互信息和基于噪声的评价性能指标均优于对比方法。Abstract: To solve the problems of low contrast and high noise of fused images in low illumination and smoky environments, a mode-adaptive infrared and visible image fusion method (MAFusion) is proposed. Firstly, the infrared and visible images are input into the adaptive weighting module in the generator, and the difference between them is learned through two streams interactive learning. The different contribution proportion of the two modes to the image fusion task in different environments is obtained. Then, according to the characteristics of each modal feature, the corresponding weights of each modal feature are obtained independently, and the fusion feature is obtained by weighted fusion. Finally, to improve the learning efficiency of the model and supplement the multi-scale features of the fused image, a residual block and jump connection combination module are added to the image fusion process to improve the network performance. The fusion quality was evaluated using the TNO and KAIST datasets. The results show that the visual effect of the proposed method is good in subjective evaluation, and the performance indexes of information entropy, mutual information, and noise-based evaluation are better than those of the comparison method.
-
Keywords:
- image fusion /
- mode adaptive /
- GAN /
- ResNet
-
0. 引言
太阳X射线-极紫外成像仪是风云三号卫星上的重要遥感仪器之一，它的任务和功能是利用太阳辐射的X射线波段和极紫外光线，用来监测和预报影响空间天气变化的主要太阳活动，成像资料为更准确地预报空间天气提供参考[1-2]。为保证对太阳指向跟踪的精度以及稳定性，设计高精度太阳导行镜指向跟踪系统，系统核心之一是四象限光电探测器[3]。航天任务中，对使用电子元器件的质量等级要求很高，真空特性、温度特性、抗辐照特性均要满足系统要求，需要对所选用的低等级器件进行筛选。通过筛选试验揭示探测器的质量缺陷及其他潜在缺陷，剔除早期失效的器件，确保器件在高可靠性领域的空间应用需求[4-5]。
长期以来国外对于各类光电二极管的性能参数测试方法做大量的研究，如采用动态谱分析仪测量以及CCD读出电路测量等方法[6]，例如，美国萨诺夫公司研制了一套CCD/CMOS相机性能参数系统。在国内，四象限探测器测量精度[7-9]的研究较多, 筛选四象限探测器的报道较少，多数筛选工作围绕图像探测器进行。金伟等[10]提出一种有利于空间外差光谱仪光谱复原的探测器筛选方法，通过影响空间外差光谱仪光谱复原的探测器响应参数进行相应试验测试，筛选出性能最优的探测器。朱双双[11]等是将星载红外探测器组件进行温度循环、力学及高温老炼等环境试验考核，分析组件试验前后相对光谱响应率变化，分析组件的环境适应性。多片线性CCD进行高温老练试验，观察数字图像的信噪比获取性能最优的探测器。姚萍萍等[12]通过测量面阵探测器筛选试验前后暗电流，像元响应非一致性，量子效率以及非线性误差等参数变化，选择参数最优探测器作为遥感仪器的装机器件。
本文中太阳导行镜指向跟踪系统选用进口四象限探测器作为导行镜探测器。为保证四象限探测器能够满足航天的严酷要求，提出四象限探测器筛选方法。筛选方法如下：对同批次四象限探测器依次进行温度贮存、温度循环以及高温老练等环境应力筛选试验，通过四象限探测器试验前后暗电流，响应度以及象限响应度均匀性的变化，依据判据挑选出参数性能最优的探测器，确保器件可靠性和稳定性，有效保证太阳导行镜对日指向跟踪系统的稳定性及可靠性。本文设计的筛选系统及提出的筛选方法能够有效完成四象限探测器筛选，剔除早期不合格的器件。
1. 系统设计
为使太阳X-EUV成像仪能够实现对日指向和跟踪，设计高精度太阳导行镜指向跟踪系统。其功能实现过程如下：太阳辐射经过透射望远镜照射到焦面上的四象限探测器上，由四象限探测器采集方位和俯仰两个方向上四个太阳边缘信号，经过电流电压转换电路将电流信号转换为电压信号，再经过增益变换电路将信号放大至合适值，获得相对的太阳边缘信号，经模数转换电路传递至FPGA，FPGA处理得到方位和俯仰上对日指向的偏差信号，利用偏差信号驱动太阳X-EUV成像仪的指向驱动机构实现对日指向的精密跟踪。
四象限探测器作为太阳导行镜指向跟踪系统的关键部件，必须对其进行环境适应性验证和环境应力筛选试验，以满足严酷环境的要求。为此本文设计一套面向空间应用的四象限探测器筛选系统，系统框图如图 1所示。其内容主要包括：在黑暗的环境下，保持筛选试验前后测试环境温度湿度等条件一致，采用卤钨灯作为光源发射光，利用积分球（Integrating Sphere）将发散光转换成均匀光输出，使用AXUV100G探测器对积分球辐射强度及稳定性进行实时监测，保证测试中光强条件保持一致。试验过程中，将筛选系统放置光学平台（Optical Platform）上，调整筛选系统的工装（Tooling），使待测四象限探测器对应工装的窗口（Window）与积分球的出光口水平对准，保证出射光均匀照射至四象限探测器上。四象限输出信号经过电流电压转换电路及增益变换电路后转变为合适的电压信号，利用美国国家仪器公司的采集设备（NI Acquisition Device）进行数据采集，将数据传输至LabVIEW对应的上位机上进行波形显示及数据存储。通过该筛选系统可完成对四象限探测器关键性能参数测试，如暗电流，响应度及象限响应均匀性等，进而评价四象限探测器的性能。
1.1 四象限探测器
选择同批次5片进口四象限探测器进行筛选，筛选过后选择其中一片性能最优的探测器使用至太阳导行镜指向跟踪系统。该类探测器工作原理如下：器件是利用半导体的“横向效应”原理制作而成。如图 2所示，探测器的四个输出电极X+、X－、Y+、Y－相当于直角坐标系的XY轴。当器件接收的目标信号光斑位置变化时，器件的输出光电流也随着位置变化而线性地变化，为此准确地测出目标的位置。该探测器主要参数见表 1，该探测器具有大光敏面，低暗电流，低噪声，高响应度以及高可靠性等特点，可以广泛应用于位置角度测定，跟踪制导，定位，对准以及自动聚焦等场景。
表 1 四象限探测器典型参数Table 1. Typical parameters of the four-quadrant detectorParameter Value Detector type AXUVPS7 Effective area 146 mm2 Responsiveness 0.3 A/W@570 nm Equivalent dark current ＜1 nA@VR=10 mV Working temperature in
atmospheric environment-10℃ to 40℃ 1.2 电路噪声分析
四象限探测器暗电流数值较小，电路噪声对其测量结果具有较大影响，特对系统电路噪声进行分析。四象限探测器信号处理电路主要包括IV转换电路及增益变换电路，以其中一通道信号处理电路为例，其噪声分析模型如图 3所示。
为保证测量四象限探测器暗电流的准确性，对电路的噪声性能进行评估，分析电路每一部分的噪声源贡献[13-14]。由图 2可见，该电路噪声源主要包括电阻的约翰逊噪声、运算放大器AD549的等效输入电压噪声以及等效输入电流噪声，运算放大器OP27的等效输入电压噪声。其中电阻的约翰逊噪声计算方式如公式(1)所示：
$$ {E_{{\rm{N\_R}}}} = \sqrt {4kTRB} $$ (1) 式中：EN_R表示热噪声电压，Vrms；k是玻尔兹曼常数，1.38×10－23 J/K)；T表示温度，K；R是电阻，Ω；B是噪声带宽，Hz。
运算放大器等效电压输入噪声计算方式如公式(2)所示：
$$ {U_{\rm{N}}} = \sqrt {\int_a^b {D_{\rm{U}}^2{\rm{d}}f} } $$ (2) 式中：UN为等效电压输入噪声，Vrms；DU为电压等效噪声密度，V/Hz；a, b表示噪声带宽。
运算放大器等效电流输入噪声计算方式如公式(3)所示：
$$ {I_{\text{N}}} = \sqrt {\int_a^b {D_{\text{I}}^{\text{2}}{\text{d}}f} } $$ (3) 式中：IN为等效电流输入噪声，Arms；DI为电流等效噪声密度，A/Hz；a, b表示噪声带宽。
IV转换电路中设计带宽为10 Hz，运算放大器AD549在0.1~10 Hz带宽内等效输入电压噪声UN_U1为6 μVpp，等效输入电流噪声为0.5 fArms，将电流噪声转换为等效电压噪声UN_I为0.05 μVrms，反馈电阻R5选用100 MΩ，利用公式(1)获得其等效噪声4.06 μVrms。四象限探测器在25℃下等效电阻为20 MΩ，利用公式(1)获得其等效噪声为1.81 μVrms，折算至Ⅳ转换电路输出端噪声密度UN_Rd为9.05 μVrms。四象限探测与IV转换电路总输出噪声计算可得EN_1为11.6 μVrms。其中增益变换电路中电阻较小，利用公式(1)转换的约翰逊噪声较小，可忽略。增益变换电路中运算放大器OP27A，等效输入电压噪声密度DN_U2为3.5 nV/Hz，利用公式(3)计算可得其等效输入电压噪声UN_U2为11.01 nVrms。在无增益档位下，IV转换电路与二级放大电路总输出噪声EN_Out为11.60 μVrms，等效为电路前端输入电流噪声0.58 fArms。
1.3 抗干扰设计
针对暗电流的测量，所测模拟信号过于微小，同时筛选器件较多，输入电源线及输出信号线较多，若处理不当，通常会引起干扰，如长线传输的互感，50 Hz的工频干扰，空间的磁场耦合以及不同接地点间电位差引起的共模干扰等。这些干扰都将为微弱模拟信号测量增加难度，为此本文做出以下处理，以降低干扰，其框图如图 4所示。其中包括：①电源引入的干扰是系统主要干扰之一，为此，所有信号处理电路板电源输入端均加钽电容及贴片陶瓷电容进行去耦；②因输入电源线及输出信号线数量较多，考虑降低信号间相互串扰，将输入电源线与输出信号线分开走线，线长尽可能短，且所有线均采用屏蔽双绞线以降低干扰，这样可有效抑制长线传输的互感以及来自空间耦合产生的差模干扰；③设备金属外壳均进行接地处理，其中包括供电电源、NI采集设备、计算机电脑、信号处理电路板工装以及放置探测器的工装等，并且将工装利用铜皮包裹，进一步降低空间干扰。
1.4 信号采集设备
试验中探测器数量较多，5片进口四象限探测器共输出20路模拟信号。鉴于对采集通道数目要求较多，选择PXLE-6358模块实现对模拟信号的采集，该采集卡具有高采样速度、高精度、宽采集范围的特点，其指标如下：可实现32路采集，位数16位，采样速率1.25 MS/s，采集电压范围－10~10 V。接线采用的NI SCB-68A是一款屏蔽式I/O接线盒，用于将I/O信号连接至配有68针连接端口的插入式DAQ设备。结合屏蔽式电缆时，SCB-68A可提供坚固且噪音极低的信号终端。最后，匹配LABVIEW提供的NI采集设备的上位机，即可完成对信号的实时监测和数据存储。
2. 四象限探测器筛选流程
为保证所选用的探测器满足环境条件严酷的航天需求，对同批次的5片四象限探测器进行环境适应性分析。对同批次四象限探测器进行二次深筛和性能优选，观察试验前中后四象限探测器主要性能参数的变化，如暗电流、响应度及象限响应度均匀性等，其中试验内容包括温度贮存、温度循环及高温老炼等温度评估试验，在通过全部测试的四象限探测器中依据合格判据挑选参数指标最优的四象限探测器安装至太阳导行镜指向跟踪系统上。
2.1 环境应力筛选试验
对四象限探测器进行环境应力筛选试验，依次进行温度贮存，温度循环，高温老炼等试验。低温贮存试验可考验器件工作在低温的情况下不改变其特性的能力，高温贮存试验则能够加快光电二极管内部物理及化学反应，提前剔除潜在易失效器件；温度循环试验变化的范围和速率能够考察光电探测器内部热胀冷缩程度和频次，增加产品的热应力；高温老炼试验是使产品在规定的高温条件下连续工作，消除器件内部应力，增加器件可靠性。
整个试验在高低温箱内进行，试验前中后需要对四象限探测器加电进行暗电流测试，为了避免温度变化影响电子学测量精度，将5片四象限探测器安装至带有插座的电路板上，并且利用工装封装，筛选测试系统放置在高低温箱体外，安装5片四象限探测器的电路板通过短屏蔽线缆与信号处理测试系统相连。NI采集设备与信号处理筛选系统通过线缆相连，并将采集的数据传递至电脑上位机端进行数据显示及存储。试验过程中，依据四象限探测器的工作环境温度为－10℃~40℃，分别设定试验低温及高温温度为－7℃及38℃，低温允许误差为±3℃，高温允许误差为±2℃。为保证试验过程中温度的准确性，在放置四象限探测器工装内粘贴铂电阻PT1000，用于监测四象限探测器温度变化。
2.2 筛选试验前后关键性能测试
光电二极管的暗电流越小，其性能越稳定。为考察四象限探测器的各通道暗电流值的变化，在相同温度及湿度的黑暗环境下，对筛选试验前后各四象限探测器各通道的暗背景电压值进行测试与记录，如图 5所示，将获得暗背景电压值经过电压电流的转换即可获得四象限探测器各通道的暗电流值。
响应度可以表征探测器将辐射信号转换成为输出信号的能力，为探测器的输出信号与入射到探测器的辐射功率之比。为考察四象限探测器的各通道响应度性能，保证筛选试验前后，加光强度不改变，测试环境不变的情况下，对各四象限探测器进行加光测试。即保证试验前后入射到探测器的辐射功率一致，则可以用探测器的输出信号表征其响应度。试验流程如下：待光源加电工作0.5 h，即光源强度稳定后，打开光源遮光罩，使用待测探测器测试积分球光辐射强度，获得输出信号强度a；关闭光源遮光罩，使用待测探测器测试环境光辐射强度，获得输出信号强度响应度b；将各通道获得的信号强度a与b作差，即可获得各通道实际信号响应度。各探测器各通道信号响应度对比如图 6所示。同时对各探测器各通道筛选试验前后信号响应度变化进行计算并记录，即筛选前后信号响应度作差与筛选后信号响应度相除。
![]()
图 6 筛选试验前后信号响应度对比Figure 6. Comparison of signal response intensity before and after screening test象限响应均匀性（Quadrant response uniformity）是四象限探测器在太阳导行镜跟踪系统中产生非线性误差的主要原因，其表示四象限探测器的各象限在相同入射光辐射的条件下各象限输出信号的均匀性。若4个象限的输出信号分别为Va、Vb、Vc及Vd，理想情况下，4个象限输出信号应该相等，4个象限间的差别即为象限响应度不一致性（Quadrant Response Inconsistency），任意两个象限i和j的响应不一致性di, j（i, j＝a, b, c, d）用公式(4)表示：
$$ {d_{i, j}} = \frac{{2\left| {{V_i} - {V_j}} \right|}}{{{V_i} + {V_j}}} \times 100\% $$ (4) 式中：di, j为任意两个象限响应不一致性，%；Vi及Vj为任意两个象限输出信号值，V。
整个四象限探测器的象限响应不一致性为所有di, j的均方根，如公式(5)所示：
$$ d = \sqrt {\frac{{d_{a, b}^2 + d_{a, c}^2 + d_{a, d}^2 + d_{b, c}^2 + d_{b, d}^2 + d_{c, d}^2}}{6}} $$ (5) 式中：d为整个四象限探测器象限响应不一致性，%；da, b，da, c，da, d，db, c，db, d及dc, d为四象限探测器任意两个象限间的响应不一致性，%。
则四象限探测器象限响应均匀性如公式(6)所示：
$$ U=1-d $$ (6) 式中：U为四象限探测器象限响应均匀性，%。
通过上式计算试验前后各四象限探测器的响应度均匀性变化，如图 7所示。由图 7可见，在保证测试环境不变的情况下，筛选的所有四象限探测器试验前后响应度均匀性均在99%以上，且变化较小。
![]()
图 7 筛选试验前后响应度均匀性对比Figure 7. Comparison of response uniformity before and after screening test3. 试验结果与分析
采用上述筛选系统和测试方法，对5片四象限探测器进行温度贮存、温度循环和高温老炼等温度评估试验，在筛选前后进行四象限探测器性能测试。经过筛选试验前后四象限探测器是否合格的判别准则如下：筛选试验前后四象限探测器各通道响应度及象限响应度均匀性允许变化范围为±5%，即若四象限探测器上述性能参数变化范围超过5%时，则认为四象限探测器失效；筛选试验前后及温度评估试验过程中，若四象限探测器某一通道暗电流绝对值大于x值（x值由太阳导行镜指向跟踪系统决定），则认为四象限探测器暗电流参数不合格。
以编号4号的四象限探测器为例，其筛选试验前后及温度评估试验中四象限探测器各象限暗电流绝对值最大值如表 2所示，其筛选前后响应度及象限响应度非一致性参数变化如表 3所示。筛选试验前后及温度评估过程中4号四象限探测器X+、X－、Y+、Y－通道的暗电流绝对值最大值为6.08 pA，小于太阳导行镜指向跟踪系统要求的x值；筛选试验前后四象限探测器X+、X－、Y+、Y－通道的响应度变化最大值为0.716%，小于5%；筛选试验前后四象限探测器各通道的象限响应度不一致性分别为0.795%及0.805%，即象限响应度均匀性分别为99.205%及99.195%，象限响应度非一致性筛选前后变化为1.24%，小于5%。经过测试，编号4号的四象限探测器的各项指标皆满足测试要求，说明经过环境试验考核后的四象限探测器具有较好的稳定性和可靠性，满足航天产品应用需求。
表 2 编号4号探测器各阶段暗电流Table 2. Dark current in each stage of No. 4 detectorTest background Channel X+ X- Y+ Y- pre-screening 2.32 5.22 2.96 2.91 temp-storage 4.21 4.38 3.21 6.08 temp-cycle 2.12 1.2 1.27 1.37 burn-in 2.46 1.31 1.49 1.86 post-screening 2.47 4.84 2.95 2.75 表 3 编号4号探测器响应度等参数变化Table 3. Changes in parameters such as responsivity of No. 4 detectorNO.4 Test
backgroundChannel Inconsistency/% X+ X- Y+ Y- Responsiveness/V pre-screening 6.924 6.843 6.852 6.900 0.795 post-screening 6.974 6.89 6.901 6.948 0.805 Variation/% pre-post 0.716 0.688 0.708 0.697 1.24 5片四象限探测器经过筛选试验后性能优选结果如表 4所示，该表描述各四象限探测器在筛选前后及温度评估试验中，各通道暗电流测试绝对值最大值，各通道响应度变化的最大值，各通道筛选前后象限响应度非一致性最大值以及前后变化值。对优选四象限探测器的评估标准如下：首先，优选筛选前后象限响应度非一致性小，且试验前后变化小的四象限探测器；其次，保证筛选试验前后响应度变化小；在此基础上，挑选满足暗电流绝对值最大值小于x的四象限探测器，且暗电流绝对值越小越好。通过试验结果与分析，选用试验编号为4号的四象限探测器使用在太阳X-EUV成像仪导行镜指向跟踪系统。
表 4 四象限探测器优选结果Table 4. Optimization results of four-quadrant detectorSerial number Max dark
current/pAMax responsiveness changes/% Pre- Inconsistency/% Post-Inconsistency/% Inconsistency changes/% 1 12.68 3.22 0.815 0.849 4.00 2 9.18 1.53 0.815 0.786 -3.69 3 12.64 -4.30 0.872 0.831 -4.93 4 6.08 0.72 0.795 0.805 1.24 5 10.85 2.94 0.911 0.898 -1.45 4. 结论
针对航天载荷应用的四象限探测器，设计筛选系统，该装置电路具有高准确度，其电路等效输入电流噪声为0.58 fArms，为避免暗电流测量时外界干扰，提出多种抗干扰设计保证测量准确度；提出筛选方法，合理设定试验条件完成温度贮存，温度循环以及高温老炼等筛选试验；结合筛选前后四象限探测器各象限的暗电流，响应度以及象限响应度均匀性等性能参数变化，提出通过筛选试验的四象限探测器的合格判据及优选四象限探测器的评估标准，挑选性能最优的探测器。结果表明：依据评估标准最终优选的四象限光电探测器各通道暗电流绝对值最大值为6.08 pA，各通道的响应度变化最大值为0.716%，各象限响应度非一致性筛选前后变化最大值为1.24%。该探测器已应用到风云三号系列卫星的有效载荷太阳X-EUV成像仪太阳导行镜指向跟踪系统，已实现高精度指向跟踪，满足航天产品应用需求。
-
![]()
图 6 KAIST数据集中“道路与行人”融合结果
Figure 6. Fusion results of "road and people" in KAIST dataset
![]()
图 7 TNO数据集中“烟雾中的士兵”融合结果
Figure 7. Fusion results of "a soldier in the smog" in KAIST dataset
![]()
图 8 TNO数据集中“士兵与车辆”融合结果
Figure 8. Fusion results of "soldiers and vehicles " in TNO dataset
表 1 生成器网络整体结构
Table 1 Overall structure of generator network
layer k s n1 Input n2 Output fill function Feature extraction l0_ir 5×5 1 1 VIS 128 Conv0_ir VALID LReLU l0_vis 5×5 1 1 IR 128 Conv0_vis VALID LReLU Adaptive weighting module L11_w_ir 3×3 1 256 Concat(Conv0_ir, Conv0_vis) 128 ir_weight SAME LReLU L22_w_vis 3×3 1 256 Concat(Conv0_ir, Conv0_vis) 128 vis_weight SAME LReLU Routine
convolutionLayer1 5×5 1 256 Concat[multiply(Conv0_ir, ir_weight),
multiply(Conv0_vis, vis_weight)]128 Net1 VALID LReLU Residual block Layer2 3×3 1 128 Net1 128 Net2 SAME LReLU Layer3 3×3 1 128 Net2 128 Net3 SAME - Add1 - - - Net1/Net3 - Net1+Net3 - LReLU Transfer layer Layer4 3×3 1 128 LReLU(Net1+Net3) 128 Net4 SAME LReLU Jump residual Add2 - - - Net1/net4 - Net1+net4 - - Output layer Layer5 3×3 1 128 Net4 64 Net5 VALID LReLU Layer6 3×3 1 64 Net5 32 Net6 VALID LReLU Layer7 1×1 1 32 Net6 1 Fused VALID tanh 
下载: 导出CSV
表 2 判别器网络整体结构
Table 2 Overall structure of discriminator network
Layer k s n1 Input n2 Output Padding Activation function Conv_1 5×5 2 1 VIS/Fused 32 Net1 VALID LReLU Conv_2 3×3 2 32 Net1 64 Net2 VALID LReLU Conv_3 3×3 2 64 Net2 128 Net3 VALID LReLU Conv_4 3×3 2 128 Net3 256 Net4 VALID LReLU Line_5 - - - Net4 - Net5(6*6*256) - - Output - - - Net5 1 Discriminant value (1) - -
下载: 导出CSV
表 4 KAIST数据集“道路与行人”融合图像客观评价
Table 4 Objective evaluation of "road and pedestrian" fusion image in KAIST dataset
Methods EN MI Nabf ADF 5.7176 11.4352 0.0782 WLS 5.8693 11.7387 0.2129 densefuse 6.0565 12.1129 0.0121 U2Fusion 5.3543 10.7086 0.0809 FusionGAN 5.8022 11.6044 0.0389 MAFusion 6.3678 12.5356 0.0447 Note：Bold font is the best value
下载: 导出CSV
表 5 KAIST数据集14组融合图像客观评价指标均值
Table 5 Mean value of objective evaluation of 14 groups fusion images in KAIST dataset
Methods EN MI Nabf ADF 6.2336 12.4673 0.0930 WLS 6.4248 12.8496 0.2465 CBF 6.5413 13.0827 0.1551 Densefuse 6.6039 13.2078 0.0223 U2Fusion 5.9722 11.9444 0.1318 FusionGAN 6.2516 12.5033 0.0921 MAFusion 6.7086 13.4042 0.0562 Note：Bold font is the best value
下载: 导出CSV
表 6 TNO数据集“烟雾中的士兵”融合图像客观评价
Table 6 Objective evaluation of "a soldier in the smog" fusion image in TNO dataset
Methods EN MI Nabf ADF 6.4886 13.1772 0.104 FusionGAN 6.3959 12.7919 0.026 MAFusion 6.6097 13.2193 0.018 Note：Bold font is the best value
下载: 导出CSV
表 7 TNO数据集“士兵与车辆”融合图像客观评价
Table 7 Objective evaluation of " Soldiers and vehicles " fusion image in TNO dataset
Methods EN MI Nabf ADF 6.4620 12.9241 0.1582 WLS 6.9916 13.9833 0.2652 Densefuse 7.0227 14.0453 0.0931 U2Fusion 7.1399 14.2797 0.4285 FusionGAN 7.0007 14.0015 0.1093 MAFusion 7.2017 14.4033 0.0801 Note：Bold font is the best value
下载: 导出CSV
表 8 TNO数据集18组融合图像客观评价指标均值
Table 8 Mean value of objective evaluation of 18 groups fusion images in TNO dataset
Methods EN MI Nabf ADF 6.6001 13.2003 0.0896 WLS 6.9157 13.8314 0.2404 CBF 6.9846 13.9697 0.3921 Densefuse 6.9482 13.8964 0.0854 U2Fusion 7.0457 14.0915 0.3313 FusionGAN 6.9058 13.8116 0.0892 MAFusion 7.0653 14.1306 0.0608 Note：Bold font is the best value
下载: 导出CSV
表 9 KAIST数据集消融实验客观评价
Table 9 Objective evaluation of ablation experiment in KAIST dataset
Method FusionGAN Direct stacking Two way feature extraction and adaptive weighting Ordinary convolution Residual block Jump residual block EN MI Nabf ① √ √ - √ - - 6.3787 12.7574 0.0921 ② √ √ - - √ √ 6.5284 13.0567 0.0607 ③ √ - √ - √ √ 6.7086 13.4042 0.0562 Note：Bold font is the best value
下载: 导出CSV
-
[1] 段辉军, 王志刚, 王彦. 基于改进YOLO网络的双通道显著性目标识别算法[J]. 激光与红外, 2020, 50(11): 1370-1378. DOI: 10.3969/j.issn.1001-5078.2020.11.014 DUAN H J, WANG Z, WANG Y. Two-channel saliency object recognition algorithm based on improved YOLO network[J]. Laser & Infrared, 2020, 50(11): 1370-1378. DOI: 10.3969/j.issn.1001-5078.2020.11.014
[2] 李舒涵, 宏科, 武治宇. 基于红外与可见光图像融合的交通标志检测[J]. 现代电子技术, 2020, 43(3): 45-49. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ202003012.htm LI S H, XU H K, WU Z Y. Traffic sign detection based on infrared and visible image fusion[J]. Modern Electronics Technique, 2020, 43(3): 45-49. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ202003012.htm
[3] Reinhard E, Adhikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Comput. Graph. Appl. , 2001, 21(5): 34-41. http://www.cs.northwestern.edu/~bgooch/PDFs/ColorTransfer.pdf
[4] Kumar P, Mittal A, Kumar P. Fusion of thermal infrared and visible spectrum video for robust surveillance[C]// Proceedings of the Indian Conference on Computer Vision, Graphics and Image Processing, 2006: 528-539.
[5] 常新亚, 丁一帆, 郭梦瑶. 应用整体结构信息分层匹配的红外与可见光遥感图像融合方法[J]. 航天器工程, 2020, 29(1): 100-104. DOI: 10.3969/j.issn.1673-8748.2020.01.015 CHANG X Y, DING Y F, GUO M Y. Infrared and visible image fusion method using hierarchical matching of overall structural information[J]. Spacecraft Engineering, 2020, 29(1): 100-104. DOI: 10.3969/j.issn.1673-8748.2020.01.015
[6] Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and karhunen-loeve transform[J]. IEEE Sensors, 2016, 16(1): 203-209. DOI: 10.1109/JSEN.2015.2478655
[7] Kumar B S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal Image Video Process, 2015, 9(5): 1193-1204. DOI: 10.1007/s11760-013-0556-9
[8] MA J, ZHOU Z, WANG B. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17. https://www.sciencedirect.com/science/article/pii/S1350449516305928
[9] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]. IET Image Process, 2014, 9(5): 347-357. DOI: 10.1049/iet-ipr.2014.0311
[10] Burt P, Adelson E. The Laplacian pyramid as a compact image code[J]. IEEE Trans. Commun. , 1983, 31(4): 532-540. DOI: 10.1109/TCOM.1983.1095851
[11] 马雪亮, 柳慧超. 基于多尺度分析的红外与可见光图像融合研究[J]. 电子测试, 2020, 24(4): 57-58. https://www.cnki.com.cn/Article/CJFDTOTAL-WDZC202024021.htm MA Xueliang, LIU Huichao. Research on infrared and visible image fusion based on multiscale analysis[J]. Electronic Test, 2020, 24(4): 57-58. https://www.cnki.com.cn/Article/CJFDTOTAL-WDZC202024021.htm
[12] LI S, YIN H, FANG L. Group-sparse representation with dictionary learning for medical image denoising and fusion[J]. IEEE Trans Biomed Eng. , 2012, 59(12): 3450-3459. DOI: 10.1109/TBME.2012.2217493
[13] Prabhakar K R, Srikar V S, Babu R V. DeepFuse: A deep unsupervised approach for exposure fusion with extreme exposure image[C]//Proc of the 2017 IEEE International Conference on Computer Vision, 2017: 4724-4732.
[14] MA J Y, YU W, LIANG P W, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[15] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//The 24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710.
[16] LI H, WU X. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614-2623. DOI: 10.1109/TIP.2018.2887342
[17] 董安勇, 杜庆治, 苏斌, 等. 基于卷积神经网络的红外与可见光图像融合[J]. 红外技术, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/59ccddf6-ee9a-43da-983b-35ee872dd707 DONG Anyong, DU Qingzhi, SU Bin, et al. Infrared and visible image fusion based on convolutional neural network[J]. Infrared Technology, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/59ccddf6-ee9a-43da-983b-35ee872dd707
[18] XU Han, MA Jiayi, JIANG Junjun, et al. U2Fusion: A unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44: 502-518.
[19] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014: 2672-2680.
[20] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770-778.
[21] Figshare. TNO Image Fusion Dataset[OL]. [2018-09-15]. https://flgshare.com/articles/TNOImageFusionDataset/1008029.
[22] Hwang S, Park J, Kim N, et al. Multispectral pedestrian detection: benchmark dataset and baseline[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015: 1037-1045.
[23] Roberts J W, Aardt J V, Ahmed F. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]. Appl. Remote Sens. , 2008, 2(1): 023522-023522-28. DOI: 10.1117/1.2945910
[24] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]. Electron Lett. , 2002, 38(7): 313-315. DOI: 10.1049/el:20020212
[25] Kumar B K S. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]. Signal, Image and Video Processing, 2013, 7(6): 1125-1143. DOI: 10.1007/s11760-012-0361-x
计量
- 文章访问数: 240
- HTML全文浏览量: 132
- PDF下载量: 65
