Image Fusion Based on NSCT and Minimum-Local Mean Gradient
-
摘要: 针对传统红外图像与可见光图像融合存在对比度低、细节丢失、目标模糊等问题，本文基于非下采样轮廓波变换（Non-subsampled Contourlet Transform，NSCT）的思想，通过改进权重函数和融合规则，建立新的融合算法实现红外图像和可见光图像的有效融合。首先，通过NSCT变换对红外和可见光图像进行多尺度分解得到对应的低频系数和高频系数。然后，采用改进的最小化规则和局部平均梯度规则分别对低频系数和高频系数进行融合处理，得到对应的最优融合系数，并将所得融合系数进行NSCT逆变换得到最终融合图像。最后，使用公共数据集与其他5种算法进行对比实验，并在7个具有实际意义的性能评价指标约束下，验证所设计算法的有效性和鲁棒性。Abstract: To address the problems of low contrast, detail loss, and target blur in the fusion of traditional infrared and visible images, this study uses the idea of non-subsampled contourlet transform (NSCT) to improve the weight function and fusion rules and thus develops a new fusion algorithm to realize the effective fusion of infrared and visible images. First, NSCT is used to decompose infrared and visible images at multiple scales to obtain the corresponding low-and high-frequency coefficients. Then, the improved minimization and local mean gradient rules are used to fuse the low- and high-frequency coefficients, respectively, and thus to obtain the corresponding optimal fusion coefficient. The obtained fusion coefficient is then converted via an NSCT inverse transformation to obtain the final fused image. Finally, a public dataset is used to compare the proposed algorithm with the other five algorithms. The effectiveness and robustness of the proposed algorithm are verified under the constraints of seven performance evaluation indices having practical significance.
-
0. 引言
图像融合是将两个或多个图像的相关信息结合成一个综合图像的过程，可以认为是对原始场景的一种新的解释。由于单个视觉传感器在信息采集过程中往往具有局限性，实际中通常采用两种或多种传感器采集信息，并对信息数据进行融合处理，从而得到一个清晰完整的图片信息。考虑到实际应用中的可操作性，近年来采用红外传感器和可见光传感器相结合的方式进行视觉图像采集与融合的研究越来越多，特别是在环境感知和视频监控领域[1]。
红外视觉传感器可以通过红外辐射捕获明显的目标信息，然而获取的红外图像普遍存在场景信息丢失、分辨率低的缺点[2]。可见光视觉传感器可以获取丰富的细节和纹理信息，但在较差的照明条件下，或目标颜色和空间特征与背景相似时，获取的可见光图像往往较差[3]。将红外和可见光图像融合可以克服单一类型传感器只能提取特定方面信息的缺点，且融合后图像既保留了红外图像的目标高亮区域，又包含了可见光图像的纹理细节信息，利于人类视觉感知与分析处理[4]。
现有的红外图像和可见光图像融合的方法可以分为：变换域方法[5]、空间域方法[6]、深度学习方法[7]和其他的方法[8]。基于多尺度变换的方法是最典型的变换域方法，且多尺度变换理论是多种图像融合场景中最流行的工具。常用的多尺度变换工具有金字塔变换[9]、小波变换[10]、轮廓波变换[11]和NSCT等[12-13]。但是，金字塔变换融合后容易出现模糊现象，小波变换只能捕获水平、垂直和对角方向的信息，轮廓波变换容易产生频谱混叠。NSCT具有多尺度和多方向特性，分解结果具有平移不变性，并克服了频谱混叠问题，融合结果具有更好的边缘、细节信息。
综合以上分析，根据红外图像和可见光图像的特点，并从实际视觉特征识别与分析的角度出发，本文设计了一种新的融合算法实现对红外图像和可见光图像的有效融合，采用最小化-局部平均梯度规则进行融合处理，并在3组公共数据集基础上与5种经典融合算法进行对比实验，验证本文所设计算法的实用性和有效性。
1. NSCT理论
NSCT是由多尺度分解和多方向分解两部分组成，使用非下采样金字塔滤波器组和非下采样方向滤波器组实现，由于没有图像下采样的步骤，一幅图像经N级分解后，可以得到$ 1 + \sum\limits_{r = 1}^N {{2^{{k_r}}}} $个与原图像相同大小的子带图像，这其中源图像的低频近似图像为1个，高频子带图像为$\sum\limits_{r = 1}^N {{2^{{k_r}}}} $个，kr是尺度r上的方向分解级数。NSCT具体变换过程如图 1[14]所示。
2. 改进的图像融合算法
红外与可见光图像融合的思想是在充分地保留可见光图像丰富的背景信息基础上，进一步保留红外图像中显著的目标信息，使得融合结果更符合人类的视觉感知。源图像经NSCT分解后得到低频子带和高频子带，低频子带包含大量源图像的能量信息，用以描述图像的目标和背景特征。高频子带包含丰富的边缘和纹理信息，用以描述图像的细节轮廓特征。
2.1 低频子带系数融合
本文采用最小化规则进行低频子带系数融合，将m行n列的红外图像和可见光图像低频系数的对应每一列分别进行融合，其融合规则表述为如下最小化问题：
$$ \begin{array}{l} \hat Z = \mathop {\arg \min }\limits_Z \sum\limits_p {({{({Z_p} - I_p^l)}^2} + {W_P}{{({Z_p} - V_p^l)}^2})} \;\;\;或\\ \hat Z = \mathop {\arg \min }\limits_Z (||Z - {I^l}||_2^2 + \mathit{\boldsymbol{W}}||Z - {V^l}||_2^2) \end{array} $$ (1) 式中：Il和Vl分别是红外图像和可见光图像低频系数矩阵中对应的列向量；$\hat Z $是融合的列向量；p表示像素的位置；$ {\left\| \cdot \right\|_2}$表示2范数；W表示对角元素为权重值Wp的m×m对角矩阵。$\left\| {Z - {I^{\rm{l}}}} \right\|_2^2 $与$\left\| {Z - {V^{\rm{l}}}} \right\|_2^2 $两项分别控制融合列向量$\hat Z $与Il以及与Vl具有相同的像素强度，权重矩阵W控制着这两项之间的平衡关系，显然权重值Wp对融合方法的性能影响较大，合理定义权重值Wp也显得尤为重要。
对于式(1)的求解，参考文献[15]，将式(1)改写成如下形式：
$$ \hat Z = \mathop {\arg \min }\limits_Z \{ {(Z - {I^l})^T}(Z - {I^l}) + W{(Z - {V^l})^T}(Z - {V^l})\} $$ (2) 令M(Z)＝(Z－Il)T(Z－Il)+W(Z－Vl)T(Z－Vl)，进一步令M(Z)关于Z的导数等于0，可得：
$$ (\mathit{\boldsymbol{E}} + \mathit{\boldsymbol{W}})\hat Z - ({I^l} + W{V^l}) = 0 $$ (3) 式中：E为m×m的单位矩阵。经矩阵运算得：
$$ \hat Z = {(\mathit{\boldsymbol{E}} + \mathit{\boldsymbol{W}})^{ - 1}}({I^l} + \mathit{\boldsymbol{W}}{V^l}) $$ (4) 通过式(4)将红外图像低频系数和可见光图像的低频系数直接融合得到列向量$ \hat Z$，再将所有的融合列向量组合成m×n的低频融合系数矩阵L：
$$ \mathit{\boldsymbol{L}} = \left( {{{\hat Z}_1}{\kern 1pt} \;{\kern 1pt} {{\hat Z}_2}{\kern 1pt} \;{\kern 1pt} {{\hat Z}_3}{\kern 1pt} \;{\kern 1pt} \cdots {\kern 1pt} {\kern 1pt} {\kern 1pt} \;{{\hat Z}_n}} \right) $$ (5) 基于红外传感器获取的图像具有目标信息明显的特点，使用亮度对比度（Luminance Contrast，LC）的显著性检测方法提取红外图像中目标信息。定义红外图像I中某个像素Ip的显著性为Ip与I中其他所有像素在灰度上的距离之和，即全局的亮度对比可表示为：
$$ S({I_p}) = \sum\limits_{\forall {I_i} \in I} {||{I_p} - {I_i}||} $$ (6) 式中：S(Ip)表示像素Ip的显著性值；Ii取值范围为[0, 255]，将式(6)展开可得：
$$ S\left( {{I_p}} \right)=||{I_p} - {I_1}|| + ||{I_p} - {I_2}|| + \ldots + ||{I_p} - {I_N}|| $$ (7) 式中：N表示图像中像素的数量。
鉴于图像中不同位置可能具有相同的像素值，故式(7)可进一步改写为：
$$ S({I_p}) = \sum\limits_{b = 0}^{255} {{N_b}} ||{I_p} - b|| $$ (8) 式中：Nb表示图像I中像素值等于b的像素总数。图 2给出了一个红外图像和其对应的显著图。
下面，重点考虑融合算法中的权重值Wp的设计问题。现有算法大多采用如下权重值函数：
$$ {W_p} = |\lg (S({I_p}))| $$ (9) 将像素值进行归一化处理至[0, 1]范围。如果选用如式(9)所构造的权重值，如图 3所示，当S(Ip)值逼近0时，权重值Wp趋于无穷大，且过程曲线斜率变化剧烈，直接导致融合图像出现严重的伪影及明暗分布不均现象。为克服这一问题，本文给出一种新的权重值设计方法，定义融合算法中的权重值Wp为：
$$ {W_p} = {a^{S({I_p})}}\;, \quad 0 < a < 1 $$ (10) 式中：a为一个未知可调参数，用于调控图像质量，对于每一个图像，选取客观评价中的一个或若干个指标，通过迭代计算分析以获取一个最优值。
取a＝0.02，得到如图 4所示权重值函数图像，从图中可以看出当红外图像中p处的显著性值S(Ip)越大，权重值Wp越小，由式(1)可知，得到的图像中p处的像素从红外图像中转移的较多；当红外图像中p处的显著性值S(Ip)越小，权重值Wp越大，得到的图像中p处的像素从可见光图像中转移的较多，达到融合图像目标和背景均清楚的目的。即本文所设计的权重函数不仅可以实现对权重范围的控制，还可以通过控制权重实现对红外图像和可见光图像中每个像素在融合图像中作用的调节，从而实现对融合图像质量的控制。
![]()
图 4 式(10)函数对应表达Figure 4. The corresponding expression of equation (10) is the function根据式(1)中定义的融合规则，分别使用式(9)和式(10)中设计的权重值函数，得到改进前后的融合结果如图 5所示，原算法的融合结果存在伪影和明暗分布不均的问题，改进后算法所得融合结果的清晰度和明暗度明显改善很多。
2.2 高频系数融合
本文采用局部平均梯度规则进行高频子带系数融合。
令X方向的梯度为：
$$ {d_x}(i, j) = {V^{\rm{h}}}(i + 1, j) - {V^{\rm{h}}}(i, j) $$ (11) 令Y方向的梯度为：
$$ {d_y}(i, j) = {V^{\rm{h}}}(i, j + 1) - {V^{\rm{h}}}(i, j) $$ (12) 令图像中(i, j)处的梯度：
$$ G(i, j) = \sqrt {\frac{{d_x^2(i, j) + d_y^2(i, j)}}{2}} $$ (13) 故局部平均梯度计算公式如下：
$$ D(i, j) = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {G(i, j)} } $$ (14) 式中：M、N为滑动窗口的宽和高。本文选择使用3×3大小的滑动窗口，窗口内9个像素梯度的平均值作为窗口内中心像素的平均梯度。定义如下形式的高频系数局部平均梯度融合规则：
$$ {H_{k, r}}(i, j) = \left\{ \begin{array}{l} I_{k, r}^{\rm{h}}(i, j), D_{k, r}^{{I^{\rm{h}}}}(i, j) > D_{k, r}^{{V^{\rm{h}}}}(i, j)\\ V_{k, r}^{\rm{h}}(i, j), D_{k, r}^{{I^{\rm{h}}}}(i, j) < = D_{k, r}^{{V^{\rm{h}}}}(i, j) \end{array} \right. $$ (15) 式中：$ {D^{{I^h}}}$和$ {D^{{V^h}}}$分别为红外图像高频系数和可见光图像高频系数的局部平均梯度；Ih和Vh分别为红外图像和可见光图像的高频系数；k为方向子带数；r为尺度数；Hk, r表示r尺度上第k个方向子带的融合高频系数，所有的融合高频系数集合用H表示。
2.3 图像融合
将低频系数L和高频系数H进行NSCT逆变换得到融合图像F，具体融合过程如图 6所示。
3. 实验分析
本章将使用UN Camp、Kaptein_1123和Quad这3对已经过严格配准的红外与可见光图像进行实验，其中UN Camp和Kaptein_1123来自TNO数据集，Quad来自英国布里斯托大学博士Stavri Nikolov拍摄的“Bristol Quees Road”红外与可见光图像序列图。通过与低通比率金子塔（low pass ratio pyramid，LPRP）[16]、交叉双边滤波（cross bilateral filter，CBF）[17]、曲波变换（curvelet transform，CT）[18]、双树复合小波变换（dual-tree complex wavelet transform，DTCWT）[19]和非下采样轮廓波变换-均值（non-subsampled contourlet transform- mean，NSCT-M）5种融合算法进行对比试验，验证本文所提算法的有效性。
实验在Intel Core I5-4200M@2.50 GHz双核8 G内存，Win7操作系统，Matlab 2018b环境下实现。NSCT分级级数设置为3，每一级方向级数分别为[2, 3, 2]，a设置为0.02，图像大小均调整为120×100像素。
3.1 性能评估
为了定量分析融合算法的性能，本文选用信息熵（information entropy，IE）[20]、平均梯度（average gradient，AG）[20]、标准差（standard deviation，SD）[20]、空间频率（spatial frequency，SF）[21]、互信息（mutual information，MI）[22]、视觉信息保真度（visual information fidelity，VIF）[23]和边缘相似性度量（edge based on similarity measure，QABF）[23]作为综合评价指标。其中，IE衡量图像信息的丰富程度，熵值越大，融合图像的信息越丰富；AG表征融合图像的细节和纹理的表现能力，用于评价图像的清晰度，值越大图像清晰度越高；SD衡量样本分布均匀性，值越大表示图像具有更高的对比度；SF表征图像细节的明确性和图像的空间变化程度，值越大边缘和纹理越丰富；MI值越大融合图像包含源图像的信息越多；VIF和QABF衡量融合图像质量，值越大融合图像质量越好。
3.2 实验结果
利用3组图像对6种算法进行融合实验，结果如图 7~图 9所示，虽然6种算法都做到了保留源图像中重要的信息，并对互补信息做了较好的融合，但是仍存在一定的差异。在图 7中，与(c)、(d)、(e)、(f)和(g) 5幅融合结果图像相比，本文所提算法的融合结果明显具备对比度高且目标突出的特点。在图 8中，(c)、(d)、(e)和(g) 4幅融合结果图像目标不够突出，融合图像(f)中背景昏暗，本文所提算法的融合结果目标更为突出，且背景细节信息清晰。在图 9中，(c)、(d)和(g) 3幅融合结果图像对比度偏低，融合图像(e)明显模糊，融合图像(f)中存在伪影，本文所提算法对比度较好且目标更为清晰。
为更为直观地评判各种算法的融合效果，表 1~表 3给出在前述7个性能评价指标下的具体客观数据，表中每一行中的最优值采用黑体加粗标记，次优值数据下采用横线标记。由表 1和表 2可以得出，本文所设计算法在除互信息MI外的6个性能评价指标下均表现最优，MI评价结果为次优值且与最优值相差不大。由于“Quad”图像组本身目标多样细节复杂等特点，6种算法中没有任何一种算法在7个性能指标下均表现优秀，本文所设计算法表现为3个最优值，2个次优值，且其他2个值与最优值相差较小，整体性能相比其他算法仍然表现良好。
表 1 “UN Camp”图像融合结果的客观评价数据Table 1. Objective evaluation data of fusion results of "UN Camp" imageLPRP CBF CT DTCWT NSCT-M Ours IE 5.8736 5.8778 5.9535 6.6971 6.0300 6.7782 AG 5.0301 5.2612 5.9634 5.4543 6.9987 8.6568 SD 18.6783 18.5153 19.3430 28.6416 20.2610 33.7394 SF 10.5760 10.7665 12.6522 10.9804 14.8598 18.0516 MI 1.7317 1.7287 1.7345 1.8071 1.7482 1.7807 VIF 0.2834 0.2889 0.3066 0.4386 0.2932 0.5982 QABF 0.3531 0.3391 0.4069 0.3956 0.3895 0.4116 表 2 “Kaptein_1123”图像的融合结果的客观评价数据Table 2. Objective evaluation data of fusion results of "Kaptein_1123" imageLPRP CBF CT DTCWT NSCT-M Ours IE 6.5108 6.5400 6.4460 6.7483 6.4623 6.7527 AG 4.7763 6.2218 3.8271 5.1686 4.2784 7.1084 SD 32.0192 32.6583 30.8624 36.0783 31.3539 47.2670 SF 11.9578 17.3752 9.9378 15.4644 11.4173 19.4531 MI 1.6681 1.6794 1.6542 1.6272 1.6570 1.6728 VIF 0.2852 0.2693 0.2639 0.1811 0.2561 0.4387 QABF 0.3080 0.2947 0.2552 0.3225 0.2737 0.3362 表 3 “Quad”图像的融合结果客观评价数据Table 3. Objective evaluation data of fusion results of "Quad" imageLPRP CBF CT DTCWT NSCT-M Ours IE 5.7331 5.8807 6.4628 6.0780 5.7632 6.0501 AG 2.6998 3.1727 2.9816 3.0675 2.9061 3.4874 SD 29.8808 28.9345 34.2477 39.7308 26.0337 35.0966 SF 6.6144 7.5910 7.1388 7.4617 7.1121 8.1971 MI 1.7991 1.7882 1.8732 1.8816 1.7565 1.8579 VIF 0.1881 0.2749 0.3262 0.2403 0.2637 0.2963 QABF 0.2010 0.3970 0.3509 0.2436 0.4100 0.4534 为进一步说明各种算法在7个评价指标下的整体性能表现，用每一行中的各个数据除以该行中的最优值得每个数据的目标达成度[24]，最后统计算出各算法的总目标达成度（total goal attainment，TGA）。目标达成度公式如下：
$$ Q = P/N $$ (16) 式中：Q表示目标达成度；P表示表中的数据；N表示与P同行数据中的最优值。
表 4~表 6给出了各种算法在7个性能评价指标下的整体目标达成度，由表 4~表 6的数据可以看出，本文所设计算法整体目标达成度最优，且远好于次优的算法。故本文所设计算法在应用中具有稳定性好鲁棒性强的特点。
表 4 “UN Camp”融合图像的达成度Table 4. Degree of "UN Camp" fusion imageLPRP CBF CT DTCWT NSCT-M Ours IE 0.8665 0.8672 0.8783 0.9880 0.8896 1.0000 AG 0.5811 0.6078 0.6889 0.6301 0.8085 1.0000 SD 0.5536 0.5488 0.5733 0.8489 0.6005 1.0000 SF 0.5859 0.5964 0.7009 0.6083 0.8232 1.0000 MI 0.9583 0.9566 0.9598 1.0000 0.9674 0.9854 VIF 0.4738 0.4829 0.5125 0.7332 0.4901 1.0000 QABF 0.8579 0.8239 0.9886 0.9611 0.9463 1.0000 TGA 4.8770 4.8835 5.3023 5.7696 5.5256 6.9854 表 5 “Kaptein_1123”融合图像的达成度Table 5. degree of "Kaptein_1123" fusion imageLPRP CBF CT DTCWT NSCT-M Ours IE 0.9642 0.9685 0.9546 0.9993 0.9570 1.0000 AG 0.6719 0.8753 0.5384 0.7271 0.6019 1.0000 SD 0.6774 0.6909 0.6529 0.7633 0.6633 1.0000 SF 0.6147 0.8932 0.5109 0.7950 0.5869 1.0000 MI 0.9933 1.0000 0.9850 0.9689 0.9867 0.9961 VIF 0.6501 0.6139 0.6016 0.4128 0.5838 1.0000 QABF 0.9161 0.8766 0.7591 0.9593 0.8141 1.0000 TGA 5.4877 5.9183 5.0024 5.6257 5.1937 6.9961 表 6 “Quad”融合图像的达成度Table 6. degree of "Quad" fusion imageLPRP CBF CT DTCWT NSCT-M Ours IE 0.8871 0.9099 1.0000 0.9405 0.8917 0.9361 AG 0.7742 0.9098 0.8550 0.8796 0.8333 1.0000 SD 0.7521 0.7283 0.8620 1.0000 0.6553 0.8834 SF 0.8069 0.9261 0.8709 0.9103 0.8676 1.0000 MI 0.9562 0.9504 0.9955 1.0000 0.9335 0.9874 VIF 0.5766 0.8427 1.0000 0.7367 0.8084 0.9083 QABF 0.4433 0.8756 0.7739 0.5373 0.9043 1.0000 TGA 5.1964 6.1428 6.3573 6.0044 5.8941 6.7152 4. 结论
本文给出了一种新的基于NSCT变换方法的红外图像和可见光图像的融合方法。改进权重函数并结合红外图像的显著性信息，得到新的权重值，采用最小化原则进行低频系数部分融合，得到对应低频融合系数。采用局部平均梯度规则进行高频系数部分融合，得到对应高频融合系数，利用所得融合系数进行NSCT逆变换得到融合图像。选取5种经典算法在3个公共数据集中进行比较实验，实验结果表明本文所提算法综合表现明显优于其他5种算法且获得的图像对比度高、细节清晰、目标显著，说明了本文所设计算法的合理性和有效性。
-
![]()
图 4 式(10)函数对应表达
Figure 4. The corresponding expression of equation (10) is the function
表 1 “UN Camp”图像融合结果的客观评价数据
Table 1 Objective evaluation data of fusion results of "UN Camp" image
LPRP CBF CT DTCWT NSCT-M Ours IE 5.8736 5.8778 5.9535 6.6971 6.0300 6.7782 AG 5.0301 5.2612 5.9634 5.4543 6.9987 8.6568 SD 18.6783 18.5153 19.3430 28.6416 20.2610 33.7394 SF 10.5760 10.7665 12.6522 10.9804 14.8598 18.0516 MI 1.7317 1.7287 1.7345 1.8071 1.7482 1.7807 VIF 0.2834 0.2889 0.3066 0.4386 0.2932 0.5982 QABF 0.3531 0.3391 0.4069 0.3956 0.3895 0.4116 
下载: 导出CSV
表 2 “Kaptein_1123”图像的融合结果的客观评价数据
Table 2 Objective evaluation data of fusion results of "Kaptein_1123" image
LPRP CBF CT DTCWT NSCT-M Ours IE 6.5108 6.5400 6.4460 6.7483 6.4623 6.7527 AG 4.7763 6.2218 3.8271 5.1686 4.2784 7.1084 SD 32.0192 32.6583 30.8624 36.0783 31.3539 47.2670 SF 11.9578 17.3752 9.9378 15.4644 11.4173 19.4531 MI 1.6681 1.6794 1.6542 1.6272 1.6570 1.6728 VIF 0.2852 0.2693 0.2639 0.1811 0.2561 0.4387 QABF 0.3080 0.2947 0.2552 0.3225 0.2737 0.3362
下载: 导出CSV
表 3 “Quad”图像的融合结果客观评价数据
Table 3 Objective evaluation data of fusion results of "Quad" image
LPRP CBF CT DTCWT NSCT-M Ours IE 5.7331 5.8807 6.4628 6.0780 5.7632 6.0501 AG 2.6998 3.1727 2.9816 3.0675 2.9061 3.4874 SD 29.8808 28.9345 34.2477 39.7308 26.0337 35.0966 SF 6.6144 7.5910 7.1388 7.4617 7.1121 8.1971 MI 1.7991 1.7882 1.8732 1.8816 1.7565 1.8579 VIF 0.1881 0.2749 0.3262 0.2403 0.2637 0.2963 QABF 0.2010 0.3970 0.3509 0.2436 0.4100 0.4534
下载: 导出CSV
表 4 “UN Camp”融合图像的达成度
Table 4 Degree of "UN Camp" fusion image
LPRP CBF CT DTCWT NSCT-M Ours IE 0.8665 0.8672 0.8783 0.9880 0.8896 1.0000 AG 0.5811 0.6078 0.6889 0.6301 0.8085 1.0000 SD 0.5536 0.5488 0.5733 0.8489 0.6005 1.0000 SF 0.5859 0.5964 0.7009 0.6083 0.8232 1.0000 MI 0.9583 0.9566 0.9598 1.0000 0.9674 0.9854 VIF 0.4738 0.4829 0.5125 0.7332 0.4901 1.0000 QABF 0.8579 0.8239 0.9886 0.9611 0.9463 1.0000 TGA 4.8770 4.8835 5.3023 5.7696 5.5256 6.9854
下载: 导出CSV
表 5 “Kaptein_1123”融合图像的达成度
Table 5 degree of "Kaptein_1123" fusion image
LPRP CBF CT DTCWT NSCT-M Ours IE 0.9642 0.9685 0.9546 0.9993 0.9570 1.0000 AG 0.6719 0.8753 0.5384 0.7271 0.6019 1.0000 SD 0.6774 0.6909 0.6529 0.7633 0.6633 1.0000 SF 0.6147 0.8932 0.5109 0.7950 0.5869 1.0000 MI 0.9933 1.0000 0.9850 0.9689 0.9867 0.9961 VIF 0.6501 0.6139 0.6016 0.4128 0.5838 1.0000 QABF 0.9161 0.8766 0.7591 0.9593 0.8141 1.0000 TGA 5.4877 5.9183 5.0024 5.6257 5.1937 6.9961
下载: 导出CSV
表 6 “Quad”融合图像的达成度
Table 6 degree of "Quad" fusion image
LPRP CBF CT DTCWT NSCT-M Ours IE 0.8871 0.9099 1.0000 0.9405 0.8917 0.9361 AG 0.7742 0.9098 0.8550 0.8796 0.8333 1.0000 SD 0.7521 0.7283 0.8620 1.0000 0.6553 0.8834 SF 0.8069 0.9261 0.8709 0.9103 0.8676 1.0000 MI 0.9562 0.9504 0.9955 1.0000 0.9335 0.9874 VIF 0.5766 0.8427 1.0000 0.7367 0.8084 0.9083 QABF 0.4433 0.8756 0.7739 0.5373 0.9043 1.0000 TGA 5.1964 6.1428 6.3573 6.0044 5.8941 6.7152
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] HUANG Z, CHEN L, ZHANG Y, et al. Robust contact-point detection from pantograph-catenary infrared images by employing horizontal- vertical enhancement operator[J]. Infrared Physics & Technology, 2019, 101: 146-155.
[3] HUANG Z, FANG H, LI Q, et al. Optical remote sensing image enhancement with weak structure preservation via spatially adaptive gamma correction[J]. Infrared Physics & Technology, 2018, 94: 38-47.
[4] 肖中杰.基于NSCT红外与可见光图像融合算法优化研究[J].红外技术, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010 XIAO Zhongjie. Optimization of Infrared and Visible Image Fusion Algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010
[5] ZHANG B, LU X, PEI H, et al. A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J]. Infrared Physics & Technology, 2015, 73: 286-297.
[6] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26. DOI: 10.1016/j.inffus.2015.11.003
[7] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[8] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
[9] 肖进胜, 饶天宇, 贾茜, 等.基于图切割的拉普拉斯金字塔图像融合算法[J].光电子·激光, 2014, 25(7): 1416-1424. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201407032.htm XIAO Jinsheng, RAO Tianyu, JIA Qian, et al. Image fusion algorithm of Laplacian Pyramid based on graph Cutting[J]. Photoelectron Laser, 2014, 25(7): 1416-1424. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201407032.htm
[10] 刘斌, 付忠旺.基于四通道不可分提升小波的多聚焦图像融合[J].系统工程与电子技术, 2018, 40(2): 463-471. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD201802032.htm LIU Bin, FU Zhongwang. Multi-focus image fusion based on four-channel Indivisible Lifting Wavelet[J]. Systems Engineering and Electronics technology, 2018, 40(2): 463-471. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD201802032.htm
[11] 薛琴, 范勇, 李绘卓, 等.基于广义邻域结构相似度的红外和彩色可见光图像融合[J].四川大学学报:自然科学版, 2012, 49(3): 570-576. DOI: 10.3969/j.issn.0490-6756.2012.03.017 XUE Qin, FAN Yong, LI Huizhong, et al. Infrared and color visible light image fusion based on generalized neighborhood structure similarity[J]. Journal of Sichuan University: Natural Science, 2012, 49(3): 570-576. DOI: 10.3969/j.issn.0490-6756.2012.03.017
[12] DA Cunha A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101. DOI: 10.1109/TIP.2006.877507
[13] ZHU Z, YIN H, CHAI Y, et al. A novel multi-modality image fusion method based on image decomposition and sparse representation[J]. Information Sciences, 2018, 432: 516-529. DOI: 10.1016/j.ins.2017.09.010
[14] 甄媚, 王书朋.可见光与红外图像自适应加权平均融合方法[J].红外技术, 2019, 41(4): 341-346. http://hwjs.nvir.cn/article/id/hwjs201904008 ZHEN Mei, WANG Shupeng. Adaptive Weighted average fusion method for Visible light and infrared Images[J]. Infrared Technology, 2019, 41(4): 341-346. http://hwjs.nvir.cn/article/id/hwjs201904008
[15] XIA Z, PENG X, FENG X, et al. Scarce face recognition via two-layer collaborative representation[J]. IET Biometrics, 2017, 7(1): 56-62.
[16] 张新曼, 韩九强.基于视觉特性的多尺度对比度塔图像融合及性能评价[J].西安交通大学学报, 2004(4): 380-383. DOI: 10.3321/j.issn:0253-987X.2004.04.013 ZHANG Xinman, HAN Jiuqiang. Image fusion and Performance Evaluation of Multi-scale Contrast tower based on visual Characteristics[J]. Journal of Xi 'an Jiaotong University, 2004(4): 380-383. DOI: 10.3321/j.issn:0253-987X.2004.04.013
[17] 徐丹萍, 王海梅.基于双边滤波和NSST的红外与可见光图像融合[J].计算机测量与控制, 2018, 26(4): 201-204. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201804053.htm XU Danping, WANG Haimei. Infrared and visible image fusion based on bilateral Filtering and NSST[J]. Computer Measurement and Control, 2018, 26(4): 201-204. https://www.cnki.com.cn/Article/CJFDTOTAL-JZCK201804053.htm
[18] 李晖晖, 郭雷, 刘坤.基于曲波变换的遥感图像融合研究[J].光电子·激光, 2008(3): 400-403, 411. DOI: 10.3321/j.issn:1005-0086.2008.03.029 LI Huihui, GUO Lei, LIU Kun. Research on Remote sensing Image Fusion based on Qu Wave Transform[J]. Optoelectronics.Laser, 2008(3): 400-403, 411. DOI: 10.3321/j.issn:1005-0086.2008.03.029
[19] 王亚杰, 李殿起, 徐心和.基于双树复小波变换彩色多聚焦图像融合方法[J].计算机工程与应用, 2007(28): 12-14, 40. DOI: 10.3321/j.issn:1002-8331.2007.28.005 WANG Yajie, LI Dianqi, XU Xinhe. Color Multi-focus image fusion method based on Double tree Complex Wavelet Transform[J]. Computer Engineering and Applications, 2007(28): 12-14, 40. DOI: 10.3321/j.issn:1002-8331.2007.28.005
[20] JIN X, JIANG Q, YAO S, et al. A survey of infrared and visual image fusion methods[J]. Infrared Physics & Technology, 2017, 85: 478-501.
[21] 王跃华, 陶忠祥.红外与可见光图像融合质量评价方法综述[J].红外, 2012, 33(6): 7-11. DOI: 10.3969/j.issn.1672-8785.2012.06.002 WANG Yuehua, TAO Zhongxiang. Review of evaluation methods of infrared and visible image fusion quality[J]. Infrared, 2012, 33(6): 7-11. DOI: 10.3969/j.issn.1672-8785.2012.06.002
[22] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]. Electronics letters, 2002, 38(7): 313-315. DOI: 10.1049/el:20020212
[23] HAN Y, CAI Y, CAO Y, et al. A new image fusion performance metric based on visual information fidelity[J]. Information Fusion, 2013, 14(2): 127-135. DOI: 10.1016/j.inffus.2011.08.002
[24] 薄瑞峰, 苗鸿宾.目标达成度评价法在机械设计课程考核中的应用[J].机械设计, 2018, 35(S2): 236-238. https://www.cnki.com.cn/Article/CJFDTOTAL-JXSJ2018S2078.htm BO Ruifeng, MIAO Hongbin. Application of objective Achievement Evaluation method in mechanical Design Course Assessment[J]. Mechanical Design, 2018, 35(S2): 236-238. https://www.cnki.com.cn/Article/CJFDTOTAL-JXSJ2018S2078.htm
-
期刊类型引用(2)
1. 陈广秋，魏洲，段锦，黄丹丹. 基于复合域多尺度分解的红外偏振图像融合方法. 吉林大学学报(理学版). 2025(02): 479-491 . 
百度学术
2. 何赟泽，谯灵俊，郭隆强，常珊，刘圳康，周辉，王洪金. 以图像为主的多模态感知与多源融合技术发展及应用综述. 测控技术. 2023(06): 10-21 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 302
- HTML全文浏览量: 80
- PDF下载量: 40
- 被引次数: 2
