Saliency-based Multiband Image Synchronization Fusion Method
-
摘要: 针对多波段融合图像存在对比度低、显著目标不突出的问题，本文提出了一种基于显著性的多波段图像同步融合方法。首先，近红外图像被用来作为数据保真项，红外图像和可见光图像分别为融合结果提供红外显著信息和细节信息；其次，基于视觉显著的红外显著区域提取方法被用来构造权重图，以克服融合结果显著区域不突出和边缘模糊问题；最后，采用交替方向乘子法（alternating direction method of multipliers, ADMM）来求解模型，得到融合结果。研究结果表明，较于代表性图像融合算法，所提算法能在保留红外图像热辐射信息的同时，保有较好的清晰细节，并在多项客观评价指标上优于代表性算法。Abstract: To address the problem of low contrast and inconspicuous salient objects in multi-band image fusion, this paper presents a saliency-based multiband image synchronous fusion method. First, a near-infrared image was used as a data fidelity item, and infrared and visible light images provided salient and detailed information on the results of fusion, respectively. Second, a visual saliency-based infrared salient region extraction method was used to construct a weight map to overcome unsalient regions and blurred edges in the results of fusion. Finally, the alternating direction method of multipliers (ADMM) was used to solve the model and obtain the results of fusion. The research results showed that, compared with a representative image fusion algorithm, the proposed algorithm retained the thermal radiation information of the infrared image while retaining clearer details, and was better in many objective evaluation indicators.
-
Keywords:
- image fusion /
- multi-band images /
- saliency /
- total variation
-
0. 引言
鉴于单个传感器提供信息的有限性，多个不同类型的传感器被用于同一场景同一时刻的数据采集，以获得全面、准确的场景信息。然而，传感器的增加却导致了“信息过载”。图像融合技术在整合互补信息和减少冗余方面发挥着重要作用。其大致可分为：基于空间域方法[1]、变换域方法[2]、深度学习方法[3-4]。空间域方法通常是利用平均或最大权重策略产生融合结果，但是会丢失许多细节。基于变换域的方法通常是将源图像分解，然后手动设计不同的融合规则以分别融合不同层信息，最后重建得到融合结果。常用的多尺度变换的方法包括基于金字塔的算法[5]、基于小波的算法[6]、曲波变换[7]和非下采样轮廓波变换[8]。但是如何选取合适的分解方法和融合规则仍然是一个棘手的问题。近年深度学习被广泛应用于图像融合领域[9-11]，但其计算复杂度高，需要大规模数据和强大的硬件支持，可解释性弱，不确定性强，这严重减缓了深度学习方法在图像融合中的进展。
近十年来，基于优化模型的方法被广泛用于图像领域。这些方法不需要大量样本来训练或学习，并且可以在低性能硬件上运行。尽管基于优化模型的方法在图像融合方面取得了进展[12-13]，但仍有一些方面需要改进。文献[14-15]中，数据保真项只和红外图像相关，因此融合结果背景更加近似于红外图像。尽管它使用了正则项来尽可能多地保留可见光图像的细节信息，但可能会丢失可见光图像中的显著信息和对比度信息。在文献[16]中，虽然已经针对显著目标的提取的能量函数进行了改进，但是仅仅只是选择红外图像和可见光图像像素高的作为显著区域，所起到的作用有限。
为了解决这些问题，本文提出一种基于全变分的多波段图像同步融合模型。首先，采用近红外图像作为数据保真项，红外图像和可见光图像来分别为融合结果提供细节信息和显著信息，以此建立多波段图像同步融合模型；其次，用基于视觉显著的红外显著区域提取方法来构造权重图，以克服融合结果显著区域不突出和边缘模糊问题。最后，采用ADMM求解模型得到融合图像。
1. 基于显著性的多波段图像同步融合方法
1.1 多波段同步融合模型的建立
考虑到红外图像的成像原理与热辐射有关，而可见光图像成像原理则与光的反射有关。近红外图像的成像波段介于两者之间，所以成像结果包含热辐射和光反射的元素。故本文将近红外图像作为数据保真项，并依靠红外图像为其提供显著信息，通过可见光图像为其提供更加丰富的细节信息。则所建立的保真项可表示为：
$$ {R_1}(f) = \frac{1}{p}||f - {I_{\rm{nir}}}||_p^p $$ (1) 式中：f为融合结果；Inir为近红外图像；p表示采用的范数类型。
所建立的显著区域保真项可表示为：
$$ {R_2}(f) = \frac{{{I_{\rm{map}}}}}{q}||f - {I_{\rm{nir}}}||_q^q $$ (2) 式中：Imap为显著区域权重；Iir为红外图像；q表示采用的范数类型。
通过显著区域权重可以更好地保留红外图像的热目标，并且所保留的红外目标边缘清晰，不会出现文献[14-15]中模糊问题，显著区域权重构建方法为：
$$ {I_{\rm{map}}}(i, j) = \left\{ \begin{array}{l} 0{\text{ }}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;X < 0 \\ 1 - \cos ({\rm{ \mathsf{ π} }} *X){\text{ }}\;\;0 \leqslant X \leqslant 0.5 \\ 1{\text{ , }}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;X > 0.5{\text{ }} \end{array} \right. $$ (3) 式中：X＝Iir(i, j)－mean(Iir)，Iir(i, j)表示红外图像的$ (i, j) $点像素值；mean(Iir)表示红外图像像素的均值，经过计算后可使得红外图像中小于均值的像素值所对应的权重为0，而大于均值的像素值的权重为0~1之间，故红外图像的显著目标能够很好地提取到。根据得到的显著区域权重可以知道背景区域权重为1－Imap。如图 1所示。
对于背景区域，我们目的是让红外图像和可见光图像中的细节信息能够更加充分地融入到融合图像中，而图像细节信息可以通过梯度进行表征，因此本文所提出的背景保真项为：
$$ {R_3}(f) = \frac{{1 - {I_{\rm{map}}}}}{m}||{D_{\rm{f}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}}||_m^m $$ (4) 式中：D表示梯度操作；Df，Dvis和Dir分别表示融合图像梯度，可见光图像梯度和红外图像梯度；m表示采用的范数类型。
L2范数可以用来描述两幅图像之间的能量相似性，当融合结果与输入的能量差为高斯分布时，通常采用L2范数。因此对于保真项R1和R2我们采用L2范数即p＝q＝2。由于图像的梯度在平坦区域通常是不变的或者是变化缓慢的，而在边缘或纹理区域则变化剧烈。因此，其梯度矩阵趋于稀疏，即存在大量的0值。故对于R3我们采用更加鼓励稀疏的L1范数。最后，结合公式(1)、(2)、(4)，将多波段图同步像融合任务建模为：
$$ \begin{array}{c} \mathop {{\rm{min}}}\limits_f \frac{1}{2}||f - {I_{\rm{nir}}}||_2^2 + \frac{{{w_1}}}{2}{I_{\rm{map}}}||(f - {I_{\rm{ir}}})||_2^2 \\ {\text{ }} + {w_2}(1 - {I_{\rm{map}}})||({D_{\rm{f}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}})|{|_1} \end{array} $$ (5) 式中：w1和w2是权衡参数。
1.2 求解多波段同步融合模型
由于L1范数是一个不能直接求解的非凸函数。我们利用ADMM算法，通过变量分离求解无约束公式。首先，引入辅助变量v并且让v＝Df－Dvis－Dir来把无约束问题转为受约束问题，并且定义受约束问题的增广拉格朗日函数为：
$$ \begin{array}{l} L(f, v, \mu ){\text{ = }}\frac{1}{2}||f - {I_{\rm{nir}}}||_2^2 + \frac{{{w_1}}}{2}{I_{\rm{map}}}||f - {I_{\rm{ir}}}||_2^2 \\ \;\;{\text{ }} + {w_2}(1 - {I_{\rm{map}}})(||v|{|_1} + < \mu , {D_{\rm{f}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}} - v > \\ \;\;{\text{ }} + \frac{\rho }{2}||{D_{\rm{f}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}} - v||_2^2) \end{array} $$ (6) 式中：μ是拉格朗日乘子；ρ＞0为与约束相关的参数。
通过变量分离我们可以得到关于f、μ和v的3个子问题，它们以如下的ADMM迭代形式编写：
$$ {f^{k + 1}} = \arg \mathop {\min }\limits_f L(f, {\mu ^k}, {v^k}) $$ (7) $$ {v^{k + 1}} = \arg \mathop {\min }\limits_v L({f^{k + 1}}, {\mu ^k}, v) $$ (8) $$ {\mu ^{k + 1}} = \arg \mathop {\min }\limits_\mu L({f^{k + 1}}, \mu , {v^{k + 1}}) $$ (9) 式中：k代表迭代的次数。
接下来，我们需要根据每个子优化问题的具体情况分别找到它们的最优解。公式(7)的等价形式如下：
$$ \begin{array}{l} {f^{k + 1}}{\text{ = }}\mathop {{\text{argmin}}}\limits_f \frac{1}{2}||f - {I_{\rm{nir}}}||_2^2 + \frac{{{w_1}}}{2}{I_{\rm{map}}}||f - {I_{\rm{ir}}}||_2^2 \\ + {w_2}(1 - {I_{\rm{map}}})({\mu ^k}*{D_{{f}}} + \frac{\rho }{2}||{D_{{f}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}} - {v^k}||_2^2) \end{array} $$ (10) 对于f子问题，基于一阶最优性条件[17]，该解应该满足以下方程式的要求：
$$ \begin{array}{l} (1 + {w_1}{I_{\rm{map}}} + {w_2}(1 - {I_{\rm{map}}})\rho {\mathit{\boldsymbol{D}}^{\rm{T}}}\mathit{\boldsymbol{D}})f = \\ \;\;\;\;\;\;\;\;{\text{ }}{I}_{\rm{nir}} + ({w_1}{I_{\rm{map}}}){I_{\rm{ir}}} + {w_2}({I_{\rm{map}}} - 1) \\ \;\;\;\;\;\;\;\; {\text{ }}({\mathit{\boldsymbol{D}}^{\rm{T}}}{\mu ^k} - \rho {\mathit{\boldsymbol{D}}^{\rm{T}}}{v^k} - \rho {\mathit{\boldsymbol{D}}^{\rm{T}}}{{{D}}_{\rm{vis}}} - \rho \mathit{\boldsymbol{D}}{\boldsymbol{Z}^{\rm{T}}}{{{D}}_{\rm{ir}}}) \end{array} $$ (11) 线性方程可以使用快速傅里叶变换求解如下：
$$ {f^{k + 1}} = {F^{ - 1}}(\frac{{F({\rm{rh}}{{\rm{s}}^k})}}{{F({\rm{lh}}{{\rm{s}}^k})}}) $$ (12) 式中：rhsk＝Inir+(w1Imap)Iir+w2(Imap－1)(DTμk－ρDTvk－ρDTDIvis－ρDTDIir)；lhsk＝(1+w1(Imap+w2(1－(Imap)ρDTD)；F(·)代表快速傅里叶变换；F－1 (·)代表快速傅里叶逆变换。
公式(8)中的子问题可以写成如下等价形式：
$$ {v^{k + 1}} = \mathop {\arg \min }\limits_v ||v|{|_1} - {\mu ^k}v + \frac{\rho }{2}||{D_{{f^{k + 1}}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}} - v||_2^2 $$ (13) v子问题的解是一个封闭解，可以通过应用软收缩算子得到解，即：
$$ \begin{array}{l} {v^{k + 1}} = \mathop {\arg \min }\limits_v ||v|{|_1} + \frac{\rho }{2}||{D_{{f^{k + 1}}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}} + \frac{{{\mu ^k}}}{\rho } - v||_2^2 \\ \;\;\;\;\;\;\;\;\;\;{\text{ }} = {\rm{shrink}}({D_{{f^{k + 1}}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}} + \frac{{{\mu ^k}}}{\rho }, \frac{1}{\rho }) \end{array} $$ (14) 式中：$ {\rm{shrink}}(x, p) = \max (||x|{|_F} - p, 0) \cdot \frac{x}{{||x|{|_F}}} $。
而对于拉格朗日乘子μ，则可以通过下式获得其更新值：
$$ {\mu ^{k + 1}} = {\mu ^k} + \rho ({D_{{f^{k + 1}}}} - {D_{\rm{vis}}} - {D_{\rm{ir}}} - {v^{k + 1}}) $$ (15) 模型求解的优化算法呈现在算法1中：
输入：多波段图像细节层（ir, nir, vis）
1）初始化ρ＝0.01，tol＝1e－4；
2）While$ \frac{{||{f^{k + 1}} - {f^k}||}}{{||{f^{k + 1}}||}} \geqslant {\rm{tol}} $；
3）用公式(7)更新fk+1；
4）用公式(8)更新vk+1；
5）用公式(9)更新μk+1；
6）end while
输出：图像融合结果f。
2. 实验和结果分析
2.1 数据集和参数设置
在本节中，我们通过对TNO数据集（包括红外长波、红外短波和可见光3个波段）进行实验，重点验证了所提算法的有效性。在公式(5)中w1和w2两个参数的取值对实验结果有影响，本文做了对比实验，结果如图 2所示。从图可以看出w1不变的情况下，w2越大，则融合结果越趋近于可见光图像。当w2不变的情况下，w1越大，则融合结果越趋近于红外图像。故我们对主观评价较好的黄色框内图像进行客观指标评价如表 1所示，可以看出当w1＝0.7，w2＝0.5时在比较多的指标上取得好的结果。基于这个结果，在接下来的实验中，我们将w1设置为0.7，w2设置为0.5。
表 1 图 2中虚线区域客观评价指标Table 1. The quantitative comparisons of the region surrounded by the dotted line in Fig. 2$ {w_1} $ $ {w_2} $ EN C PSNR SSIM CC AG MI 0.5 0.1 6.891 26.469 38.267 0.265 0.436 2.972 5.784 0.5 6.893 26.083 38.565 0.329 0.435 2.417 5.501 0.7 6.910 25.882 38.692 0.357 0.433 2.227 5.309 0.7 0.5 6.767 23.654 39.580 0.319 0.439 3.281 5.185 0.7 6.813 24.208 39.417 0.346 0.437 3.194 5.047 1.3 6.887 24.928 39.018 0.421 0.431 2.966 4.656 1.3 0.7 6.320 16.222 34.579 0.289 0.434 2.622 4.445 1.3 6.444 17.739 36.047 0.366 0.432 2.515 4.225 2 6.579 19.452 37.359 0.439 0.426 2.495 3.963 2 1.3 6.003 11.476 29.331 0.270 0.414 2.138 3.814 2 6.128 12.831 30.582 0.336 0.415 2.096 3.648 2.5 6.217 13.862 31.478 0.380 0.413 2.095 3.532 2.5 2 5.895 10.012 27.508 0.272 0.399 1.944 3.453 2.5 5.978 10.794 28.226 0.310 0.401 1.932 3.362 2.2 结果分析
我们将本文方法与8种具有代表性的方法进行定性和定量比较。其中包括4种传统方法和4种基于深度学习的方法。传统方法有（gradient transfer fusion, GTF）[14]，（dual tree-complex wavelet transform, DTCWT）[6]，（nonsubsampled shearlet transform _ nonsubsampled contourlet transform, NSST_NSCT）[18]，（anisotropic diffusion fusion, ADF）[19]。深度学习方法包括（model and data-driven, MDDR）[3]，Dual Branch[20]，U2Fusion[21]，FusionGAN[22]。除了NSST_NSCT和MDDR其他方法都是适用于两个波段图像融合，这里通过两两序贯相融的方式转换为三波段图像融合。考虑到序贯式调用融合模型时，源图像输入顺序不同会有不同融合结果，这里统一选用最好的融合结果进行讨论。
2.2.1 定性比较
首先进行定性实验。如下显示了5个典型图像对的直观结果。与现有的方法相比，本文方法有3个明显的优势。第一，我们的结果可以清楚地保留和突出红外图像中的显著目标，如图 3、图 4和图 5所示，人物与环境的对比度高，这有利于目标的检测。第二，我们的结果可以很大程度保留原始图像的细节纹理信息，如图 6所示，这有利于后续的目标识别和提高识别的精度。第三，我们的结果能够很好地突显图像的对比度，如图 7所示，这更加符合人的视觉感受。
![]()
图 5 “soldier_behind_smoke”图像融合结果Figure 5. Fusion results on "soldier_behind_smoke" imageFusionGAN和GTF虽然可以很好地突出显著目标，但是从图 3和图 5可以看出其存在显著目标边缘模糊问题，并且GTF不能很好保留细节信息。U2Fusion虽然能够突出显著区域，并且细节信息也能很好保留，但是融合结果中会引入许多噪声。DTCWT和NSST_NSCT虽然能够很好地保留细节信息但是不能很好突出显著目标。ADF和Dual Branch图像整体对比度低，不够明显。MDDR虽然达到了较好的融合结果，但是清晰度低。相比之下本文提出的方法在突出红外显著目标和保留微小的细节信息上有强的竞争力。
2.2.2 定量比较
为了评价所提方法的有效性，我们比较了所有方法和所提方法在标准差（SD）、熵（EN）、对比度（C）、互信息（MI）、结构相似度（SSIM）和空间频率（SF）这6个指标上的表现。结果如表 2所示，其中最佳值为粗体显示。U2fusion在SF指标上都是取得最佳值，但是从图像可以看出U2Fusion的结果噪声比较大，这对SF指标有很大的影响。本文提出的方法在各指标上表现出色，其中SD和EN指标表现好，说明本文方法包含更多的信息，C指标比较高说明我们方法对比度高，SSIM指标表现好说明有更多的源图像信息被传输到融合结果中。这些客观评价都与主观评价相符，说明本文所提出的方法能够很好地保留源图像显著信息和细节信息，并且对比度高，图像更加符合人眼视觉特性。
表 2 各算法评价指标Table 2. Evaluation indexes of ten algorithmsImage Metrics GTF DTCWT NSST_NSCT ADF MDDR Dual Branch U2Fusion Fusion GAN Proposed Kaptein_1123 SD 37.34 39.87 35.41 38.04 50.55 24.34 41.50 27.98 45.95 EN 6.94 6.89 6.83 6.79 7.20 6.48 7.04 6.33 7.24 C 23.93 28.41 25.16 27.39 36.39 17.55 30.57 15.44 33.39 MI 3.38 2.96 2.57 3.36 3.29 2.61 2.58 3.43 3.50 SSIM 0.45 0.43 0.44 0.48 0.53 0.21 0.37 0.20 0.57 SF 7.08 9.55 10.30 5.91 8.42 4.79 11.56 3.94 7.64 Movie_01 SD 39.01 34.80 31.53 33.79 40.70 17.11 35.43 23.50 51.44 EN 6.77 6.49 6.39 6.35 6.51 5.98 6.94 5.95 6.84 C 31.05 23.52 20.65 22.91 26.77 12.89 23.99 13.92 35.06 MI 5.03 3.94 3.27 4.58 3.72 2.87 2.88 3.54 4.47 SSIM 0.16 0.19 0.21 0.32 0.32 0.05 0.19 0.10 0.53 SF 3.32 9.77 10.13 10.27 7.13 4.44 11.73 2.64 5.30 soldier_behind_smoke SD 42.88 27.90 24.89 26.18 30.61 35.13 35.26 24.93 45.24 EN 7.26 6.74 6.61 6.62 6.92 6.97 7.14 6.35 7.35 C 32.82 21.48 18.09 20.82 24.36 26.46 28.03 15.37 35.74 MI 3.48 2.51 1.86 3.12 1.97 3.53 1.80 2.33 3.16 SSIM 0.44 0.21 0.27 0.19 0.34 0.02 0.27 0.32 0.47 SF 8.93 11.43 12.61 9.78 10.35 8.18 13.21 5.18 8.01 Marne_04 SD 53.09 26.60 24.47 25.06 31.79 26.51 49.42 25.06 53.57 EN 7.57 6.69 6.63 6.58 6.99 6.54 7.60 6.58 7.62 C 47.65 20.95 18.69 19.74 24.63 19.72 40.38 19.74 43.29 MI 4.54 2.41 1.76 2.72 2.30 3.13 1.88 2.72 3.40 SSIM 0.21 0.26 0.26 0.20 0.36 0.29 0.22 0.20 0.54 SF 5.73 7.66 8.34 6.17 7.14 3.38 10.77 6.17 7.46 Marne_06 SD 47.39 27.90 25.76 26.78 34.65 28.29 46.15 46.67 53.53 EN 7.30 6.77 6.70 6.70 7.05 6.67 7.48 7.33 7.59 C 35.68 22.07 20.34 21.26 28.08 21.05 36.61 35.07 42.88 MI 4.26 2.95 2.31 3.23 2.69 2.74 2.48 3.07 3.46 SSIM 0.30 0.37 0.35 0.31 0.37 0.11 0.30 0.23 0.57 SF 6.05 7.00 7.66 4.74 6.44 3.82 10.15 5.95 5.27 3. 结论
本文提出了一种基于显著性的多波段图像同步融合模型，通过基于视觉显著的红外显著区域提取来构造权重图，对模型进行约束，以克服融合结果显著区域不突出和边缘模糊问题。根据模型特点采用ADMM算法进行模型求解。实验证明了该算法的可行性和有效性。这些实验表明，融合结果能够突出红外显著目标，并且具有丰富的细节，同时保证不会出现伪影或模糊，是一种行之有效的方法。
-
![]()
图 5 “soldier_behind_smoke”图像融合结果
Figure 5. Fusion results on "soldier_behind_smoke" image
表 1 图 2中虚线区域客观评价指标
Table 1 The quantitative comparisons of the region surrounded by the dotted line in Fig. 2
$ {w_1} $ $ {w_2} $ EN C PSNR SSIM CC AG MI 0.5 0.1 6.891 26.469 38.267 0.265 0.436 2.972 5.784 0.5 6.893 26.083 38.565 0.329 0.435 2.417 5.501 0.7 6.910 25.882 38.692 0.357 0.433 2.227 5.309 0.7 0.5 6.767 23.654 39.580 0.319 0.439 3.281 5.185 0.7 6.813 24.208 39.417 0.346 0.437 3.194 5.047 1.3 6.887 24.928 39.018 0.421 0.431 2.966 4.656 1.3 0.7 6.320 16.222 34.579 0.289 0.434 2.622 4.445 1.3 6.444 17.739 36.047 0.366 0.432 2.515 4.225 2 6.579 19.452 37.359 0.439 0.426 2.495 3.963 2 1.3 6.003 11.476 29.331 0.270 0.414 2.138 3.814 2 6.128 12.831 30.582 0.336 0.415 2.096 3.648 2.5 6.217 13.862 31.478 0.380 0.413 2.095 3.532 2.5 2 5.895 10.012 27.508 0.272 0.399 1.944 3.453 2.5 5.978 10.794 28.226 0.310 0.401 1.932 3.362 
下载: 导出CSV
表 2 各算法评价指标
Table 2 Evaluation indexes of ten algorithms
Image Metrics GTF DTCWT NSST_NSCT ADF MDDR Dual Branch U2Fusion Fusion GAN Proposed Kaptein_1123 SD 37.34 39.87 35.41 38.04 50.55 24.34 41.50 27.98 45.95 EN 6.94 6.89 6.83 6.79 7.20 6.48 7.04 6.33 7.24 C 23.93 28.41 25.16 27.39 36.39 17.55 30.57 15.44 33.39 MI 3.38 2.96 2.57 3.36 3.29 2.61 2.58 3.43 3.50 SSIM 0.45 0.43 0.44 0.48 0.53 0.21 0.37 0.20 0.57 SF 7.08 9.55 10.30 5.91 8.42 4.79 11.56 3.94 7.64 Movie_01 SD 39.01 34.80 31.53 33.79 40.70 17.11 35.43 23.50 51.44 EN 6.77 6.49 6.39 6.35 6.51 5.98 6.94 5.95 6.84 C 31.05 23.52 20.65 22.91 26.77 12.89 23.99 13.92 35.06 MI 5.03 3.94 3.27 4.58 3.72 2.87 2.88 3.54 4.47 SSIM 0.16 0.19 0.21 0.32 0.32 0.05 0.19 0.10 0.53 SF 3.32 9.77 10.13 10.27 7.13 4.44 11.73 2.64 5.30 soldier_behind_smoke SD 42.88 27.90 24.89 26.18 30.61 35.13 35.26 24.93 45.24 EN 7.26 6.74 6.61 6.62 6.92 6.97 7.14 6.35 7.35 C 32.82 21.48 18.09 20.82 24.36 26.46 28.03 15.37 35.74 MI 3.48 2.51 1.86 3.12 1.97 3.53 1.80 2.33 3.16 SSIM 0.44 0.21 0.27 0.19 0.34 0.02 0.27 0.32 0.47 SF 8.93 11.43 12.61 9.78 10.35 8.18 13.21 5.18 8.01 Marne_04 SD 53.09 26.60 24.47 25.06 31.79 26.51 49.42 25.06 53.57 EN 7.57 6.69 6.63 6.58 6.99 6.54 7.60 6.58 7.62 C 47.65 20.95 18.69 19.74 24.63 19.72 40.38 19.74 43.29 MI 4.54 2.41 1.76 2.72 2.30 3.13 1.88 2.72 3.40 SSIM 0.21 0.26 0.26 0.20 0.36 0.29 0.22 0.20 0.54 SF 5.73 7.66 8.34 6.17 7.14 3.38 10.77 6.17 7.46 Marne_06 SD 47.39 27.90 25.76 26.78 34.65 28.29 46.15 46.67 53.53 EN 7.30 6.77 6.70 6.70 7.05 6.67 7.48 7.33 7.59 C 35.68 22.07 20.34 21.26 28.08 21.05 36.61 35.07 42.88 MI 4.26 2.95 2.31 3.23 2.69 2.74 2.48 3.07 3.46 SSIM 0.30 0.37 0.35 0.31 0.37 0.11 0.30 0.23 0.57 SF 6.05 7.00 7.66 4.74 6.44 3.82 10.15 5.95 5.27
下载: 导出CSV
-
[1] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[2] YU B, JIA B, DING L, et al. Hybrid dual-tree complex wavelet transform and support vector machine for digital multi-focus image fusion[J]. Neurocomputing, 2016, 182: 1-9. DOI: 10.1016/j.neucom.2015.10.084
[3] LIN S, HAN Z, LI D, et al. Integrating model-and data-driven methods for synchronous adaptive multi-band image fusion[J]. Information Fusion, 2020, 54: 145-160. DOI: 10.1016/j.inffus.2019.07.009
[4] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]. Information Fusion, 2021, 66: 40-53. DOI: 10.1016/j.inffus.2020.08.022
[5] Toet A. Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253. DOI: 10.1016/0167-8655(89)90003-2
[6] Lewis J J, O'Callaghan R J, Nikolov S G, et al. Pixel-and region-based image fusion with complex wavelets[J]. Information Fusion, 2007, 8(2): 119-130. DOI: 10.1016/j.inffus.2005.09.006
[7] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[8] Vishwakarma A, Bhuyan M K. Image fusion using adjustable non-subsampled shearlet transform[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 68(9): 3367-3378.
[9] LI H, CEN Y, LIU Y, et al. Different input resolutions and arbitrary output resolution: a meta learning-based deep framework for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2021, 30: 4070-4083. DOI: 10.1109/TIP.2021.3069339
[10] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]. Information Fusion, 2021, 66: 40-53. DOI: 10.1016/j.inffus.2020.08.022
[11] MA J, LE Z, TIAN X, et al. SMFuse: multi-focus image fusion via self-supervised mask-optimization[J]. IEEE Transactions on Computational Imaging, 2021, 7: 309-320. DOI: 10.1109/TCI.2021.3063872
[12] WANG B, ZHAO Q, BAI G, et al. LIALFP: multi-band images synchronous fusion model based on latent information association and local feature preserving[J]. Infrared Physics & Technology, 2022, 120: 103975.
[13] NIE R, MA C, CAO J, et al. A total variation with joint norms for infrared and visible image fusion[J]. IEEE Transactions on Multimedia, 2021, 24: 1460-1472.
[14] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001
[15] MA Y, CHEN J, CHEN C, et al. Infrared and visible image fusion using total variation model[J]. Neurocomputing, 2016, 202: 12-19. DOI: 10.1016/j.neucom.2016.03.009
[16] WANG B, BAI G, LIN S, et al. A novel synchronized fusion model for multi-band images[J]. IEEE Access, 2019, 7: 139196-139211. DOI: 10.1109/ACCESS.2019.2943660
[17] Ng M K, WANG F, YUAN X, et al. Inexact alternating direction methods for image recovery[J]. SIAM Journal on Scientific Computing, 2011, 33(4): 1643-1668. DOI: 10.1137/100807697
[18] Moonon A U, HU J. Multi-focus image fusion based on NSCT and NSST[J]. Sensing and Imaging, 2015, 16(1): 1-16. DOI: 10.1007/s11220-014-0103-y
[19] Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and Karhunen-Loeve transform[J]. IEEE Sensors Journal, 2015, 16(1): 203-209.
[20] FU Y, WU X J. A dual-branch network for infrared and visible image fusion[C]//25th International Conference on Pattern Recognition (ICPR) of IEEE, 2021: 10675-10680.
[21] XU H, MA J, JIANG J, et al. U2Fusion: A unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518.
[22] MA J, YU W, LIANG P, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
计量
- 文章访问数: 141
- HTML全文浏览量: 43
- PDF下载量: 43
