Visible and Infrared Image Fusion Based on Group K-SVD
-
摘要: 传统稀疏表示融合方法，以图像块进行字典训练和稀疏分解，由于没有考虑图像块之间的内在联系，易造成字典原子表征图像特征能力不足、稀疏系数不准确，导致图像融合效果不好。为此，本文提出可见光与红外图像组K-SVD（K-means singular value decomposition）融合方法，利用图像的非局部相似性，将相似图像块构造成图像结构组矩阵，通过组K-SVD进行字典训练和稀疏分解，可以有效提高字典原子的表征能力及稀疏系数的准确性。实验结果表明，该方法在主观和客观评价上都优于传统稀疏融合方法。Abstract: In the traditional image fusion method based on sparse representation, image blocks are used as units for dictionary training and sparse decomposition. The representation ability of dictionary atoms for image features is insufficient if the internal connection between the image blocks is not considered. Moreover, the sparse coefficients are inaccurate. Therefore, a fused image is not desirable. In view of the abovementioned problem, this paper proposes a fusion method based on the group K-means singular value decomposition (K-SVD) for visible and infrared images. Considering the image non-local similarity, this method constructs a structure group matrix using similar image blocks, and then, dictionary training and sparse decomposition are performed in the units of the structure group matrix by group K-SVD. Thus, this method can effectively improve the representation ability of dictionary atoms and the accuracy of the sparse coefficients. The experimental results show that this method is superior to the traditional sparse fusion method in terms of subjective and objective evaluation.
-
Keywords:
- image fusion /
- non-local similarity /
- structure group matrix /
- group K-SVD
-
0. 引言
红外成像技术通过接收目标的红外辐射，将肉眼不可见的红外辐射能量转化为电信号进行成像，可以探测到隐藏目标或伪装目标，具有很好的抗干扰能力，可以全天时全天候工作；可见光成像技术通过捕捉物体的反射光进行成像，可以很好地获取物体的细节信息、颜色信息和纹理特征[1, 2]，但易受天气、光照的影响。因此，可见光与红外图像具有较强的互补特性，只有将这两类图像信息进行融合，综合两类图像的互补信息，才能够有效提高成像系统的性能[3-4]。
目前，可见光与红外图像融合方法大致可以分为多尺度变换融合[5-6]、稀疏表示融合[7-11]、混合模型融合[12-14]、拟态融合[15]、深度学习融合[16-17]等。多尺度变换融合方法采用尺度变换数学模型描述图像特征，采用相应的融合规则进行合并，得到最终的融合图像。由于尺度变换数学模型往往对某一类图像特征敏感，易造成融合图像信息缺失。稀疏表示融合方法利用字典原子表征图像特征，通过合并稀疏系数重构得到最终的融合图像。Yang等[11]首次提出基于稀疏表示的图像融合算法，随后，Yu等[10]提出联合稀疏融合方法，Liu等[11]提出自适应稀疏融合方法，提高了稀疏融合的效果。混合模型融合方法采用多种算法进行嵌入、组合，如多尺度稀疏融合[12]、多尺度嵌入融合[13-14]等，混合模型融合方法在一定程度上克服了单一融合方法的局限性。拟态融合方法[15]是利用可见光与红外图像的差异特征，驱动选择相应的融合算法，为图像融合方法提供了新的研究思路。深度学习融合方法利用神经网络自主学习图像特征，获得了较好的融合效果[16-17]。
稀疏表示在过完备字典上对图像信号进行表示，可以有效表征图像特征，是目前图像融合的热点之一。但传统稀疏表示图像融合方法将图像分割成重叠的块，字典训练及稀疏分解过程均以图像块为单位进行，块与块之间是相互独立的，造成图像特征不能被准确提取，融合效果较差[18]。图像中的局部位置和非局部位置存在相似结构，这种特征被称为非局部相似性，通过非局部相似性可以建立图像相似块之间的联系。非局部相似性在图像去噪、图像去模糊等方面取得较好效果[12, 13]。
可见光与红外图像融合就是要将两类图像的显著特征进行有效合并，而实际上，图像中的显著特征不仅与局部结构有关，还与图像非局部结构有关。从两类图像的成像机理和成像特点可以看出，可见光图像具有丰富的结构信息，图像块反映了局部的几何结构，相似的结构在图像不同位置重复出现，具有非局部结构相似性。而红外图像中，绝大多数为背景区域，其灰度变化缓慢，背景区域的图像块之间存在较强相关性，也具有明显的非局部结构相似性。为了直观显示，如图 1所示，通过计算图像结构块的相似性，在可见光与红外图像分别自动选取了7个图像相似块，并进行局部放大，可以看出，图像相似块具有明显的非局部相似性，这也说明，可见光与红外图像的局部位置及非局部位置上均存在结构相似的图像块。因此，通过建立图像局部结构与非局部结构的内在联系，将相似的图像块构建成图像结构组，以结构组代替传统的图像块，利用结构组的重复结构和冗余信息，通过对结构组进行字典学习和稀疏分解，可以使字典原子和稀疏系数更有效地描述图像显著特征，从而有效解决传统稀疏表示融合方法存在的问题。
![]()
图 1 可见光与红外图像非局部相似性示意图Figure 1. Schematic diagram of non-local similarity for visible and infrared images本文针对传统稀疏表示融合方法字典表征能力不足，稀疏系数不准确的问题，通过非局部相似性建立相似图像块之间的联系，以欧氏距离为度量准则，依据图像的非局部相似性特征将相似图像块采用向量化、矩阵化的方式构建为结构组矩阵，在此基础上，构建组K-SVD训练模型，以结构组代替传统图像块，优化结构组字典学习和稀疏分解问题，将源图像的相似结构特征与融合过程充分结合。该方法建立了图像块之间的内在联系，以结构组矩阵为单位进行字典训练和稀疏分解，增强了字典原子的表征能力和稀疏系数的准确性，提高了图像的融合性能。
1. 模型构建
1.1 结构组矩阵构造
结构组矩阵构造基于图像的非局部相似性特征，首先采用滑动窗将源图分割成大小相同的图像块，然后根据相似性度量准则，从图像的确定邻域内提取相似块，对相似块采取向量化、矩阵化的方式构建成结构组矩阵，用于字典训练和融合过程，具体过程如图 2所示。
1）图像块提取
假设源图像I1、I2的大小均为M×N像素，采用滑动窗，滑动步长为1像素，按照图中所示的轨迹，自左向右、自上而下进行滑动。分别将源图像分解为大小为n×n的(M-n+1)·(N-n+1)个图像块。
2）结构组构建
在L×L的邻域内，以欧式距离作为度量准侧，计算每一个初始图像块xi最相似的s个图像块。将初始图像块xi与s个相似图像块构成一个结构组Gi，这样每个结构组中共有s+1个图像块。对于M×N的输入源图像，共有(M-n+1)·(N-n+1)个初始块，则可以构建(M-n+1)·(N-n+1)个结构组。
3）图像块向量化
对于初始图像块，按照列向量的顺序，对图像块进行逐像素排列，作向量化处理，可以得到图像块的向量表示${v_i} \in {R^{{n^2}}}$，i=1, 2, …, (M-n+1)·(N-n+1)。
4）结构组矩阵化：将结构组中的s+1个图像块作为矩阵的列进行组合，得到每个结构组对应的结构组矩阵${{\boldsymbol{M}}_i} \in {R^{{n^2} \times \left( {s + 1} \right)}}$，i=1, 2, …, (M-n+1)·(N-n+1)。
1.2 组K-SVD字典训练模型
假设信号y∈Rn，字典D∈Rn×m，当m大于n时，称字典D为冗余字典。信号y可以表示为y=Dα或者y≈Dα。α∈Rm为稀疏表示系数，α中的多数元素为0，只有少数元素不为0，称α是稀疏的，y可以在字典D上稀疏表示。因此，稀疏表示就是将信号表示为一个冗余字典中少数原子的线性组合。由于实际应用中存在噪声，当考虑噪声时，信号y在字典D上的稀疏表示求解可以表示为：
$$\begin{array}{*{20}{c}} {\arg \mathop {\min }\limits_{\mathit{\boldsymbol{D}}, \alpha } \left\| {y - \mathit{\boldsymbol{D}}\alpha } \right\|_2^2}&{{\rm{s}}{\rm{.t}}.}&{{{\left\| \alpha \right\|}_0} \leqslant \varepsilon } \end{array}$$ (1) 式中：$y \in {R^n}$为信号向量；D∈Rn×m（m＞n）为过完备字典；‖‖0是L0范数，可以计算向量中非零项的个数；ε≥0是允许的误差阈值，预先设定。
对于结构组矩阵M，在对应的字典D上的稀疏表示优化问题可以表示为如下的形式：
$$\begin{array}{*{20}{c}} {\arg \mathop {\min }\limits_{\mathit{\boldsymbol{D}}, \mathit{\boldsymbol{A}}} \left\| {\mathit{\boldsymbol{M}} - \mathit{\boldsymbol{DA}}} \right\|_{\rm{F}}^2}&{{\rm{s}}.{\rm{t}}.}&{{{\left\| {{\mathit{\boldsymbol{\alpha }}_i}} \right\|}_0} \le \mu , 1 \le i \le \left( {s + 1} \right)} \end{array}$$ (2) 式中：$\mathit{\boldsymbol{M}} \in {R^{{n^2} \times \left( {s + 1} \right)}}$为结构组矩阵；$\mathit{\boldsymbol{D}} \in {R^{{n^2} \times L}}$为字典；$\mathit{\boldsymbol{A}} \in {R^{L \times \left( {s + 1} \right)}}$为系数矩阵；αi是系数矩阵A的第i列；F表示Frobenius范数。
在字典学习中，字典更新阶段是在系数矩阵A不变的情况下，对字典D进行更新。可以表示为下面的优化问题：
$$\begin{array}{*{20}{c}} {\left\{ {\mathit{\boldsymbol{\hat D}}, \mathit{\boldsymbol{\hat A}}} \right\}{\rm{ = arg}}\mathop {{\rm{min}}}\limits_{\mathit{\boldsymbol{D}}, \mathit{\boldsymbol{A}}} \left\| {\mathit{\boldsymbol{M}}{\rm{ - }}\mathit{\boldsymbol{DA}}} \right\|_{{F}}^{\rm{2}}}&{{\rm{s}}.{\rm{t}}.}&{\mathit{\boldsymbol{A}} \odot \mathit{\boldsymbol{M}} = 0} \end{array}$$ (3) 式中：A☉M是两个大小相同矩阵之间的Schur乘积。掩膜矩阵M中只有0和1两种数值，通过M={|A|=0}得到，也就是，如果A(i, j)=0时，M(i, j)=1，其他的位置为0。因此，A☉M使得A中所有的零元素保持不变。虽然式(3)中的优化问题比求解整个字典简单，但是仍然是一个非凸的问题，求解困难。因此采用块坐标下降法，固定A并采用MOD算法最小化$\left\| {\mathit{\boldsymbol{M}} - \mathit{\boldsymbol{DA}}} \right\|_F^2$，对D进行求解。之后固定D对A进行更新，也就是通过解决下面的优化问题实现：
$$\begin{array}{*{20}{c}} {\mathit{\boldsymbol{\hat A}}{\rm{ = arg}}\mathop {{\rm{min}}}\limits_\mathit{\boldsymbol{A}} \left\| {\mathit{\boldsymbol{M}}{\rm{ - }}\mathit{\boldsymbol{DA}}} \right\|_\mathit{F}^{\rm{2}}}&{{\rm{s}}.{\rm{t}}.}&{\mathit{\boldsymbol{A}} \odot \mathit{\boldsymbol{M}} = 0} \end{array}$$ (4) 上式中的优化问题有一个封闭解，可以通过单独对A中的每一列求解，并且在求解过程中，只更新每一列的非零项，值为零的项保持不变，这样的优化问题可以表示为：
$${\hat \alpha _i}{\rm{ = }}\arg \mathop {\min }\limits_{{\alpha _i}} \left\| {{m_i} - {\mathit{\boldsymbol{D}}_i}{\alpha _i}} \right\|_2^2$$ (5) 式中：Di是D的子矩阵，包含在优化过程中参与表示的字典原子。$ {\hat \alpha _i}$是系数矩阵A第i列中的非零位置。
上述迭代算法先更新字典D，后更新系数矩阵A，可以得到式(3)优化问题的近似解。组K-SVD算法对迭代更新过程进行了改进，结构组矩阵M在字典D上的稀疏编码优化问题可以表示为：
$$\begin{array}{*{20}{c}} {\left\{ {\mathit{\boldsymbol{\hat D}}, \mathit{\boldsymbol{\hat A}}} \right\}{\rm{ = arg}}\mathop {{\rm{min}}}\limits_{\mathit{\boldsymbol{D}}, \mathit{\boldsymbol{A}}} \left\| {\mathit{\boldsymbol{M}}{\rm{ - }}\sum\limits_{{\rm{j = 1}}}^{\rm{n}} {{\mathit{\boldsymbol{d}}_\mathit{j}}} \mathit{\boldsymbol{a}}_\mathit{j}^{\rm{T}}} \right\|_\mathit{F}^{\rm{2}}}\\ {\begin{array}{*{20}{c}} {{\rm{s}}.{\rm{t}}.}&{\nabla 1 \le j \le L, {\mathit{\boldsymbol{m}}_j} \odot {\mathit{\boldsymbol{a}}_j} = 0} \end{array}} \end{array}$$ (6) 式中：$\mathit{\boldsymbol{M}} \in {R^{{n^2} \times \left( {s + 1} \right)}}$为结构组矩阵；dj是字典D的第j列；ajT是A的第j行；mjT是矩阵M的第j行，式中mj⊙aj是两个矩阵之间Schur乘积。采用块坐标下降法，通过对矩阵${\mathit{\boldsymbol{E}}_j} = \left( {\mathit{\boldsymbol{M}} - {\sum _{i \ne j}}{\mathit{\boldsymbol{d}}_i}\mathit{\boldsymbol{a}}_i^{\rm{T}}} \right) \odot \left( {{1_d} \cdot \mathit{\boldsymbol{m}}_j^{\rm{T}}} \right)$进行SVD分解来更新(dj, aj)，j=1, 2, …, L。掩膜矩阵${1_d} \cdot \mathit{\boldsymbol{m}}_j^T$是一个秩为1，大小为n2×(s+1)的矩阵，由d个mjT作为矩阵的行组成。掩膜矩阵有效地将$\mathit{\boldsymbol{X}} - \sum\nolimits_{i \ne j} {{\mathit{\boldsymbol{d}}_i}\mathit{\boldsymbol{a}}_i^{\rm{T}}} $相应的原子移除。
2. 融合方法
可见光与红外图像组K-SVD融合方法如图 3所示，具体步骤如下：
1）图像块提取：对于大小为M×N的输入源图像I1、I2，采用滑动窗技术，滑动步长为1像素，按照从左到右、自上而下的轨迹遍历整幅图像。设图像块大小为n×n，则可以分别提取源图像I1、I2的(M-n+1)·(N-n+1)个图像块。
2）结构组矩阵构建：对源图像I1，在L×L的邻域内，以欧式距离为度量准则，计算出初始图像块的最相似的s个图像块，并进行块向量化、结构组矩阵化处理，得到相应的结构组矩阵；对源图像I2，每个初始块对应的相似块与I1相同。
3）训练样本选取及字典学习：从源图像中随机选出x个初始块作为训练样本，采用组K-SVD字典训练方法求解源图像对应的字典。
4）稀疏系数求解：采用系数重用OMP（Orthogonal Matching Pursuit）算法，在得到的字典D上对源图像对应的结构组矩阵${\mathit{\boldsymbol{M}}_{1i}} \in {R^{{n^2} \times \left( {s + 1} \right)}}$，${\boldsymbol{M}_{2i}} \in {R^{{n^2} \times \left( {s + 1} \right)}}$，i=1, 2, …, (M-n+1)·(N-n+1)进行稀疏分解，得到对应的稀疏系数矩阵${\mathit{\boldsymbol{A}}_{1i}} \in {R^{L \times \left( {s + 1} \right)}}$，${\mathit{\boldsymbol{A}}_{2i}} \in {R^{L \times \left( {s + 1} \right) \cdot }}$。
5）稀疏系数融合：α1i(t)、α2i(t)，t=1, 2, …, s+1为系数向量，分别为稀疏系数矩阵A1、A2的第t列。对应的稀疏系数向量采用绝对值取大的规则进行融合：
$${\alpha _{{\rm{Fi}}}} = \left\{ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{\alpha _{1i}}\left( t \right)}&{\left| {{\alpha _{1i}}\left( t \right)} \right| \geqslant \left| {{\alpha _{2i}}\left( t \right)} \right|} \\ {{\alpha _{2i}}\left( t \right)}&{\left| {{\alpha _{2i}}\left( t \right)} \right| < \left| {{\alpha _{1i}}\left( t \right)} \right|} \end{array}}&{} \end{array}} \right.t = 1, 2, \cdots , s + 1$$ (7) 最终得到融合系数矩阵AFi。
6）图像重构：将得到的系数矩阵AFi与字典D重构得到融合结构组矩阵，对结构组矩阵进行逆变换得到融合的图像块，之后将每一个图像块放回到对应的位置，相同位置像素进行均值化，得到最终的融合图像。
3. 实验结果及分析
3.1 设定
为了评价组K-SVD融合性能，实验采用4组可见光与红外图像，分别为“UNcape”、“Kaptein”、“Dune”和“Road”。对比的融合方法采用3种传统的稀疏融合方法，分别为稀疏表示融合方法（Sparse Representation, SR）[9]、联合稀疏融合方法（Joint Sparse Representation, JSR）[10]和自适应稀疏融合方法（Adaptive Sparse Representation, ASR）[11]。评价指标采用Q0[21]、Qw[22]、Qe[22]和Qab/f[23]四个评价指标。Q0从图像的亮度、对比度和结构失真度来衡量融合图像的退化程度，Qw描述源图像的显著信息转移到融合图像的合并程度，而Qe和Qab/f主要描述源图像到融合图像的边缘信息融合程度。评价指标数值越大，说明融合效果越好。
组K-SVD融合方法参数设定如下：①结构组构造模型参数，图像块大小为8×8，滑动窗大小为40×40，滑动步长为1像素。②结构组稀疏模型参数，训练样本图像块数量为10000，相似图像块个数设定为19，字典大小为64×256，字典原子稀疏度为5。
3.2 结果分析
4组可见光与红外图像的融合结果如图 4~图 7所示，其中，(a)和(b)分别表示可见光与红外图像，(c)、(d)、(e)分别是稀疏表示融合方法、自适应稀疏融合方法和联合稀疏融合方法得到的融合图像，(f)是本文方法得到的融合图像。
图 4为“Nato_camp”的融合实验结果。从图 4(a)和(b)可以看出，红外图像行人目标位置清晰，背景信息（如树木、道路和房屋等）细节不清楚，信息丢失较为严重；而可见光图像中，道路、树木和房屋等背景信息清晰，但行人目标缺失，可以看出这两类图像具有很大的互补性。图 4(c)是SR融合图像，可以看出，融合图像的边缘信息较为模糊，纹理信息缺失严重；图 4(d)是ASR融合图像，融合图像较好保留了两类图像的主要互补信息，但依然存在图像边缘信息模糊，存在一定的伪影现象；图 4(e)是JSR融合图像，行人目标清晰，对比度较高，但融合图像存在过增强现象，背景信息缺失严重。图 4(f)是本文方法的融合图像，从结果可以看出，融合图像行人目标位置、轮廓信息清楚，背景信息如树木、房屋、道路等保留较好，图像整体视觉效果好于传统稀疏融合方法。
图 5为“Kaptein”的融合实验结果。图 5(a)和(b)分别是可见光和红外图像，图 5(c)、(d)和(e)分别是SR融合图像、ASR融合图像和JSR融合图像。从结果可以看出，SR融合图像虽然保留了红外图像的目标信息，但图像背景细节信息丢失严重，例如地面、树木等；ASR融合图像视觉效果好于SR融合图像，行人目标、背景信息较为清楚，但边缘信息较为模糊；JSR融合图像行人目标的对比度较高，但融合图像过增强现象严重，如树木、门窗的边缘细节信息丢失。图 5(f)是本文方法的融合结果，可以看出，融合图像包含了两类图像的主要互补信息，行人、地面、树木等细节信息清楚，视觉效果较好。
图 6和图 7分别为“Duine”和“Road”的融合实验结果。从实验结果来看，SR和ASR的融合效果相对较差，JSR融合图像虽然对比度较高，但细节信息丢失严重，本文方法的融合图像视觉效果较好，图像中的细节信息及边缘轮廓信息保留完整。从主观视觉来看，4组实验结果评价结果一致。
4组可见光与红外图像融合结果的客观评价指标如表 1~表 4所示，表 5为客观评价指标的平均值。从结果来看，对于“Kaptein”图像，本文融合方法获得最好的融合效果；对于“Nato_camp”图像，本文的融合方法在评价指标Qw、Qe和Qab/f获得最优的结果，Q0指标略低于ASR的结果；对于“Duine”和“Road”图像，本文的融合方法在评价指标Qw和Qe获得最优的结果，而指标Q0和Qab/f低于ASR方法，这说明本文的融合方法在提取显著特征信息和边缘信息保留方面效果较好，总体来看，本文的融合方法优于传统的稀疏表示融合方法。
表 1 “Nato_camp”图像融合客观评价指标Table 1. Objective evaluation index of Nato_camp imagesMethod Q0 Qw Qe Qab/f SR 0.5857 0.7322 0.7151 0.3216 ASR 0.5966 0.7617 0.7439 0.4673 JSR 0.5649 0.7311 0.7140 0.3760 The proposed 0.5926 0.7737 0.7556 0.4871 表 2 “Kaptein”图像融合客观评价指标Table 2. Objective evaluation index of Kaptein imagesMethod Q0 Qw Qe Qab/f SR 0.5759 0.7365 0.7193 0.2489 ASR 0.5760 0.7659 0.7480 0.4206 JSR 0.5445 0.7231 0.7062 0.3400 The proposed 0.5794 0.7941 0.7755 0.4807 表 3 “Duine”图像融合客观评价指标Table 3. Objective evaluation index of Duine imagesMethod Q0 Qw Qe Qab/f SR 0.6426 0.8760 0.8555 0.2463 ASR 0.6781 0.9247 0.9031 0.5604 JSR 0.3215 0.7440 0.7266 0.2091 The proposed 0.6750 0.9312 0.9094 0.4783 表 4 “Road”图像融合客观评价指标Table 4. Objective evaluation index of road imagesMethod Q0 Qw Qe Qab/f SR 0.6909 0.7994 0.7807 0.5101 ASR 0.6941 0.8053 0.7865 0.6073 JSR 0.6346 0.7763 0.7581 0.5210 The proposed 0.6924 0.8099 0.7909 0.5815 表 5 不同融合方法评价指标的平均值Table 5. The average evaluation for different fused methodsMethod Q0 Qw Qe Qab/f SR 0.6238 0.7860 0.7677 0.3276 ASR 0.6358 0.8156 0.7965 0.5066 JSR 0.5264 0.7436 0.7262 0.3544 The proposed 0.6349 0.8272 0.8079 0.5053 为了进一步对融合效果进行评价，采用两组名为“Nato_camp”和“Duine”的图像序列进行实验。“Nato_camp”图像序列为同一场景中32幅在时间上连续的图片，“Duine”图像序列为同一场景中23幅在时间上连续的图片。采用Q0、Qw、Qe和Qab/f对融合效果进行评价。将得到的评价指标绘制为曲线图进行对比，具体的绘制方法为：分别将4种融合方法的Q0值绘制为曲线，并将这4条曲线整合到同一幅图像中；另外3种评价指标曲线图的绘制方法与Q0相同。
图 8和图 9分别为图像序列“Nato_camp”和“Duine”对应的曲线图。如图 8所示，(a)、(b)、(c)、(d)分别为评价指标Q0、Qw、Qe和Qab/f对应的曲线图。每幅图中，点状曲线对应SR方法的评价指标，圈型曲线对应ASR方法，块状曲线对应JSR方法，叉型曲线对应本文提出的方法，右下角为图像序列不同融合方法对应评价指标的平均值。通过两组分析曲线可知：在图 8中本文方法的Q0值低于ASR方法，Qw、Qe和Qab/f值均为最高；在图 9中本文方法的Q0、Qw和Qe值略低于ASR方法，Qab/f值为最高。
因此，通过对4组可见光与红外图像及两组图像序列进行融合实验，结合主观视觉效果和客观评价指标对实验结果判断，本文方法与另外3种方法相比，融合效果最好。
4. 结语
本文提出了可见光与红外图像组K-SVD融合方法，利用图像非局部相似性，以欧式距离为度量准则，构建图像结构组矩阵，以结构组代替传统的图像块，在此基础上，研究了组K-SVD的稀疏分解模型，以结构组矩阵作为训练样本，构建学习字典，并进行组稀疏分解，采用绝对值取大的合并规则进行合并，得到最终的融合图像。实验结果表明，该方法可以有效提取图像的显著特征信息，减少边缘特征信息丢失，融合图像视觉效果较好，在主观和客观评价上，都优于传统的稀疏表示融合方法。
4. 结语
本文提出了可见光与红外图像组K-SVD融合方法，利用图像非局部相似性，以欧式距离为度量准则，构建图像结构组矩阵，以结构组代替传统的图像块，在此基础上，研究了组K-SVD的稀疏分解模型，以结构组矩阵作为训练样本，构建学习字典，并进行组稀疏分解，采用绝对值取大的合并规则进行合并，得到最终的融合图像。实验结果表明，该方法可以有效提取图像的显著特征信息，减少边缘特征信息丢失，融合图像视觉效果较好，在主观和客观评价上，都优于传统的稀疏表示融合方法。
-
![]()
图 1 可见光与红外图像非局部相似性示意图
Figure 1. Schematic diagram of non-local similarity for visible and infrared images
表 1 “Nato_camp”图像融合客观评价指标
Table 1 Objective evaluation index of Nato_camp images
Method Q0 Qw Qe Qab/f SR 0.5857 0.7322 0.7151 0.3216 ASR 0.5966 0.7617 0.7439 0.4673 JSR 0.5649 0.7311 0.7140 0.3760 The proposed 0.5926 0.7737 0.7556 0.4871 
下载: 导出CSV
表 2 “Kaptein”图像融合客观评价指标
Table 2 Objective evaluation index of Kaptein images
Method Q0 Qw Qe Qab/f SR 0.5759 0.7365 0.7193 0.2489 ASR 0.5760 0.7659 0.7480 0.4206 JSR 0.5445 0.7231 0.7062 0.3400 The proposed 0.5794 0.7941 0.7755 0.4807
下载: 导出CSV
表 3 “Duine”图像融合客观评价指标
Table 3 Objective evaluation index of Duine images
Method Q0 Qw Qe Qab/f SR 0.6426 0.8760 0.8555 0.2463 ASR 0.6781 0.9247 0.9031 0.5604 JSR 0.3215 0.7440 0.7266 0.2091 The proposed 0.6750 0.9312 0.9094 0.4783
下载: 导出CSV
表 4 “Road”图像融合客观评价指标
Table 4 Objective evaluation index of road images
Method Q0 Qw Qe Qab/f SR 0.6909 0.7994 0.7807 0.5101 ASR 0.6941 0.8053 0.7865 0.6073 JSR 0.6346 0.7763 0.7581 0.5210 The proposed 0.6924 0.8099 0.7909 0.5815
下载: 导出CSV
表 5 不同融合方法评价指标的平均值
Table 5 The average evaluation for different fused methods
Method Q0 Qw Qe Qab/f SR 0.6238 0.7860 0.7677 0.3276 ASR 0.6358 0.8156 0.7965 0.5066 JSR 0.5264 0.7436 0.7262 0.3544 The proposed 0.6349 0.8272 0.8079 0.5053
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004
[3] Elguebaly T, Bouguila N. Finite asymmetric generalized Gaussian mixture models learning for infrared object detection[J]. Computer Vision and Image Understanding, 2013, 117(12): 1659-1671. DOI: 10.1016/j.cviu.2013.07.007
[4] LI H, DING W, CAO X, et al. Image registration and fusion of visible and infrared integrated camera for medium-altitude unmanned aerial vehicle remote sensing[J]. Remote Sensing, 2017, 9(5): 441. DOI: 10.3390/rs9050441
[5] LI S, YANG B, HU J. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2011, 12(2): 74-84. DOI: 10.1016/j.inffus.2010.03.002
[6] FU Z, WANG X, XU J, et al. Infrared and visible images fusion based on RPCA and NSCT[J]. Infrared Physical Technology, 2016, 77: 114-123. DOI: 10.1016/j.infrared.2016.05.012
[7] ZHANG Q, LIU Y, Blum R, et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: a review[J]. Information Fusion, 2018, 40: 57-75. DOI: 10.1016/j.inffus.2017.05.006
[8] ZHANG Z, XU Y, YANG J, et al. A survey of sparse representation: Algorithms and Applications [J]. IEEE Access, 2015(3): 490-530. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=7102696
[9] YANG B, LI S. Multifocus image fusion and restoration with sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892. DOI: 10.1109/TIM.2009.2026612
[10] YU N, QIU T, BI F, et al. Image features extraction and fusion based on joint sparse representation[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5): 1074-1082. DOI: 10.1109/JSTSP.2011.2112332
[11] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]. IET Image Processing, 2014, 9(5): 347-357. http://ieeexplore.ieee.org/document/7095698
[12] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[13] WANG Z, YANG F, PENG Z, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]. Optik, 2015, 126(23): 4184-4190. DOI: 10.1016/j.ijleo.2015.08.118
[14] WANG Z, XU J, JIANG X, et al. Infrared and visible image fusion via hybrid decomposition of NSCT and morphological sequential toggle operator[J]. Optik, 2020, 201: 163497. DOI: 10.1016/j.ijleo.2019.163497
[15] 杨风暴. 红外偏振与光强图像的拟态融合原理和模型研究[J]. 中北大学学报: 自然科学版, 2017, 38(1): 1-7. DOI: 10.3969/j.issn.1673-3193.2017.01.001 YANG Fengbao. Research on Theory and Model of Mimic Fusion Between Infrared Polarization and Intensity Images[J]. Journal of North University of China, 2017, 38(1): 1-7. DOI: 10.3969/j.issn.1673-3193.2017.01.001
[16] LI H, WU X J. DenseFuse: A Fusion Approach to Infrared and Visible Images[J]. IEEE Transaction Image Processing, 2019, 28(5): 2614-2623. DOI: 10.1109/TIP.2018.2887342
[17] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[18] 姜晓林, 王志社. 可见光与红外图像结构组双稀疏融合方法研究[J]. 红外技术, 2020, 42(3): 272-278. http://hwjs.nvir.cn/article/id/hwjs202003010 JIANG Xiaolin, WANG Zhishe. Visible and Infrared Image Fusion Based on Structured Group and Double Sparsity[J]. Infrared Technology, 2020, 42(3): 272-278. http://hwjs.nvir.cn/article/id/hwjs202003010
[19] DONG W, LEI Z, SHI G. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2012, 22(4): 1620-1630. http://ieeexplore.ieee.org/document/6392274/
[20] ZHANG J, ZHAO D, GAO W. Group-based sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336-3351. DOI: 10.1109/TIP.2014.2323127
[21] WANG Z, Bovik A, A universal image quality index[J]. IEEE Signal Processing Letters. 2002, 9(3): 81–84. DOI: 10.1109/97.995823
[22] Piella G, Heijmans H. A new quality metric for image fusion[C]//Proceedings of the 10th International Conference on Image Processing, 2003: 173-176.
[23] Xydeas C. S, Petrovic V, Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309. DOI: 10.1049/el:20000267
-
期刊类型引用(1)
1. 曹世超，刘晓营，梁舒. 基于双密度双树复小波变换的红外图像降噪算法. 邢台职业技术学院学报. 2022(03): 93-97 . 
百度学术
其他类型引用(4)
计量
- 文章访问数: 598
- HTML全文浏览量: 142
- PDF下载量: 73
- 被引次数: 5
