Panchromatic and Multispectral Images Fusion Method Based on Detail Information Extraction
-
摘要: 全色（Panchromatic, Pan）图像与多光谱（Multi-spectral, MS）图像融合的目的是生成具有高空间分辨率的多光谱图像。为了进一步提升融合图像的质量，提出一种基于细节信息提取的融合方法。首先，使用滚动引导滤波器与差值运算分别获取Pan与MS的高频分量。其次，采用自适应强度-色度-饱和度（Adaptive Intensity-Hue-Saturation，AIHS）变换处理MS的高频分量与经像素显著性检测后Pan的高频分量，生成对应的强度分量（Intensity，I），再将Pan与I作差值运算获取细节图像。接着，采用引导滤波器计算Pan与MS的高频分量的差值，得到残差图像。最后，利用最速下降法将细节图像与残差图像注入到原始的MS图像中获得最终融合结果。实验结果表明，本文所提算法得到的融合图像能够取得较好的主观视觉效果，且客观定量评价指标较优。Abstract: The fusion of panchromatic images (Pan) and multi-spectral images (MS) is designed to generate multi-spectral images with high spatial resolution. A fusion method based on detailed information extraction is proposed to improve the quality of the fused images. First, the high-frequency components of Pan and MS are obtained by a rolling guidance filter and margin calculation, respectively. Second, the adaptive intensity-hue-saturation (AIHS) transform is used to process the high-frequency components of MS and Pan, determined by the pixel significance, to generate the corresponding intensity component (I, intensity). Then, the difference between Pan and I is calculated to obtain the detailed image. Then, the residual image is obtained by calculating the difference between the high-frequency components of Pan and MS with a guided filter. Finally, the detailed and residual images are integrated with the original MS image using the steepest descent method to obtain the final fusion result. The experimental results demonstrate that the fused images obtained by the proposed algorithm can achieve better subjective visual effect. Simultaneously, the objective evaluation indicators are better.
-
0. 引言
随着卫星传感器技术的不断发展，遥感数据获取能力进一步提升。受限于成像机理，卫星很难获得同时具有高空间分辨率和高光谱分辨率的遥感图像[1]。当下，大多数卫星都能同时提供单波段的全色图像和多波段的多光谱图像。全色图像具有较高的空间分辨率和较低的光谱分辨率，而多光谱图像具有较低的空间分辨率和较高的光谱分辨率。为了更好地集成两类图像的互补信息，可以通过全色锐化（Pansharpening）的技术对其进行融合，以获取具有高空间分辨率的多光谱图像。融合后的图像在精准农业、资源调查、环境监测、军事国防等领域可以发挥重要作用[2]。
全色锐化主要有3种方式[3]：基于成分替换的方法（Component Substitution，CS）、基于多分辨率分析的方法（Multiresolution Analysis，MRA）以及基于变分优化的方法（Variational Optimization，VO）。其中，CS方法的基本思想是通过从PAN图像中提取高频细节信息并将其注入到MS图像中[4]，其代表性算法有：主成分分析法、施密特正交化方法等。通常，此类方法具有较低的时间复杂度但却容易引起光谱畸变，其原因在于该类融合算法未充分考虑光谱信息的保留问题。基于MRA的方法首先使用金字塔或小波变换将原图像分解到多个尺度，然后采用恰当的融合规则对各个尺度的子带图像进行融合，最后利用逆变换得到融合图像[5]，其代表性算法有：à trous小波变换、非下采样轮廓波变换等。从整体上来看，由于此类方法考虑了图像中地物的各向异性，因此该类方法通常能够保持较好的光谱信息，然而其融合结果的质量严重依赖于融合规则、分解层数与方向数。基于VO的模型是一种重要的全色锐化方法[6]，它通常包含能量泛函的设计与求解两部分，其代表性算法有：P+XS、交替变分小波融合算法等。该类方法虽有较好的保真度，但其计算过程复杂且时间成本较高。
为了提取精细的空间结构信息，本文在考虑了多光谱图像在不同波段间存在差异性的基础上提出一种基于细节信息提取的融合方法。该方法首先通过滚动引导滤波器提取低频图像，并利用差值运算获取高频细节图像；接着采用自适应强度-亮度-饱和度（Adaptive Intensity-Hue-Saturation，AIHS）算法与差值运算获取初始细节图，再借鉴引导滤波器所具有的特征转移特性提取细节残差图；最后通过最速下降法将所有的细节图都注入到原多光谱中生成高保真的融合图像。
1. 相关理论
1.1 AIHS变换
IHS变换法可以对多光谱图像的空间信息和光谱信息进行有效分离。其基本原理为：将多光谱图像从RGB空间投影到IHS空间，其中I代表原RGB图像的亮度分量，也就是空间结构信息分量，而H和S两个分量共同表示MS图像的光谱信息。其亮度分量可以通过下式进行估算[7]：
$$ I = \sum\limits_{i = 1}^N {{\alpha _i}{\text{M}}{{\text{S}}_i}} $$ (1) 式中：N代表多光谱图像的波段数；αi的取值通常为1/N[8]；MSi代表多光谱图像的第i个通道。然而，尽管该方法能够很好地提取空间细节信息但却忽略了光谱信息丢失问题。因此，为了进一步解决光谱失真问题，有学者使用了AIHS[9]的方法，通过结合全色图像，其αi可以由如下方程获得：
$$ \begin{array}{*{20}{c}} {\min } \\ {{\alpha _i}, \cdots ,{\alpha _N}} \end{array}{\left\| {P - \sum\limits_{i = 1}^N {{\alpha _{_i}}M{S_i}} } \right\|^2}{\text{s}}{\text{.t}}{\text{. }}{\alpha _i} \geqslant 0, \cdots ,{\alpha _N} \geqslant 0 $$ (2) 式中：P代表全色图像。当求解出自适应因子αi后，最终融合结果可以表示为：
$$ F_{i}＝MS_{i}+C $$ (3) 式中：Fi代表第i个波段的融合结果图像；C为P与I的差值。
1.2 引导滤波
引导滤波（Guided Filter，GF）是一种基于局部线性模型的滤波方法。与其他种类的滤波处理方式不同，它着重于将导向图像的特征注入到输入图像中[10]。因此，GF不仅可以保留原输入图像的总体特征，还可以起到增强边缘细节的作用。目前，它已经广泛应用于许多图像处理场景，例如图像融合与细节增强等[11]。在数学表达上，给定输入图像p和引导图像G，则输出图像q可以表示为：
$$ {q_j} = {a_{_k}}{G_j} + {b_k},\forall j \in {\Omega _k} $$ (4) $$ {a_k} = \frac{{\frac{1}{{\left| \Omega \right|}}\sum\limits_{j \in {\Omega _k}} {{G_j}{p_j} - {u_{_k}}\overline {{p_k}} } }}{{\sigma _k^2 + \mathit{\gamma} }} $$ (5) $$ {b_k} = \overline {{p_k}} - {a_k}{u_k} $$ (6) 式中：窗口Ω大小为(2ω+1)×(2ω+1)；ak与bk是以像素k为中心的窗口Ωk的线性常系数；|Ω|是窗口Ωk内的像素点总数；uk与$ \overline {{p_k}} $分别代表G和p在窗口Ωk内的均值；σk2为G在窗口Ωk的方差；γ是为了限制ak值过大而设置的惩罚因子。为了方便分析，综合式(4)~式(6)，本文将引导滤波功能总结为：
$$ q = {\text{GF}}(p,G,\omega ,\mathit{\gamma} ) $$ (7) 式中：GF(⋅)代表引导滤波操作；ω为滤波窗口大小。
1.3 滚动引导滤波
滚动引导滤波（Rolling Guidance Filter, RGF）是Zhang[12]等提出的一种具有尺度感知能力的高效滤波器。相对于引导滤波器和双边滤波器而言，它不仅具有边缘保持的特性还兼具尺度感知功能。其整体工作流程可以分为两个步骤：小尺度结构平滑和大尺度结构边缘恢复[13]。
1）小尺度空间结构信息平滑过程：使用高斯滤波器过滤图像的小结构信息，如轮廓、纹理等。对输入图像p与输出图像q，则其实现过程可以写成如下形式：
$$ q = \frac{1}{{{\lambda _m}}}\sum\limits_{n \in {\Omega _m}} {\exp \left( { - \left. {\frac{{{{\left\| {m - n} \right\|}^2}}}{{2\sigma _{\text{s}}^2}}} \right)} \right.} p(n) $$ (8) $$ {\lambda _m} = \sum\limits_{n \in {\Omega _m}} {\exp \left( { - \left. {\frac{{{{\left\| {m - n} \right\|}^2}}}{{2\sigma _{\text{s}}^2}}} \right)} \right.} $$ (9) 式中：λm为归一化因子；Ωm代表以像素m为中心点的相邻像素集合；n是邻域块中的像素点；σs为空间标准差，其取值控制着滤波尺度大小。
2）大尺度结构边缘迭代恢复过程：使用双边滤波器经t次迭代逐步恢复空间细节信息，其迭代过程如下所示：
$$ {f^{t + 1}}(m) = \frac{1}{{{\lambda _m}}}\sum\limits_{n \in {\Omega _m}} {\exp \left( { - \left. {\frac{{{{\left\| {m - n} \right\|}^2}}}{{2\sigma _{\text{s}}^2}} - \frac{{{{\left\| {{f^t}(m) - {f^t}(n)} \right\|}^2}}}{{2\sigma _{\text{r}}^2}}} \right)} \right.} p(n) $$ (10) $$ {\lambda _m} = \sum\limits_{n \in {\Omega _m}} {\exp \left( { - \left. {\frac{{{{\left\| {m - n} \right\|}^2}}}{{2\sigma _{\text{s}}^2}} - \frac{{{{\left\| {{f^t}(m) - {f^t}(n)} \right\|}^2}}}{{2\sigma _{\text{s}}^2}}} \right)} \right.} $$ (11) 式中：f t+1为t次迭代边缘恢复后得到的输出图像；f t为经式(8)得到的滤波结果；σr为高斯函数在灰度域的权重参数。结合公式(8)~公式(11)，可以将滚动引导滤波的迭代滤波过程归纳为如下形式：
$$ q = {\text{RGF}}(p,{\sigma _{\text{s}}},{\sigma _{\text{r}}},t) $$ (12) 式中：RGF(⋅)代表滚动引导滤波操作。
2. 融合步骤与框架
本文所提算法的流程图如图 1所示，其具体步骤为：
1）考虑到MS图像的不同波段间存在一定差异性，假设MS图像的波段数为N，为了方便后续处理，首先将Pan图像构造成N维图像，其中任意维图像均与原Pan图像相同。
2）将1）中的N维Pan图像与MS图像进行逐波段直方图匹配可以得到经直方图匹配后的N维Pan图像，记作Pans。
3）将Pans与原多光谱图像利用式(12)进行迭代滤波获得低通图像PanL与MSL，接着通过差分运算获取各自的高频细节分量，其计算方式如下：
$$\rm Pans_{L}＝RGF(Pans, σ_{s}, σ_{r}, t) $$ (13) $$\rm MS_{L}＝RGF(MS, σ_{s}, σ_{r}, t) $$ (14) $$\rm Pans_{H}＝Pans－Pans_{L} $$ (15) $$\rm MS_{H}＝MS－MS_{L} $$ (16) 式中：PansH代表Pans的高频细节分量；MSH代表MS的高频细节分量。
4）将PansH经像素显著性判断法获取精细的单波段细节图像PanH，受启发于多分辨率分析模型中系数绝对值取大的融合规则，本文将显著性判断法定义为：
$$ {\text{Pa}}{{\text{n}}_{\text{H}}}(x,y) = \max ({\text{abs}}({\text{Pans}}_{\text{H}}^{\text{1}}(x,y), \cdots ,{\text{Pans}}_{\text{H}}^{\text{N}}(x,y))) $$ (17) 式中：x, y为图像PanH的横纵坐标；max(abs(⋅))代表绝对值取大运算。而后将PanH与经式(16)运算获得的MSH通过式(1)与式(2)估算出高频亮度分量IH。
5）提取PanH相对于IH额外拥有的细节信息Diniti，其实现过程可以通过下式表示：
$$ D_{{\text{init}}}^i = {\text{Pans}}_{\text{H}}^i - {I_{\text{H}}} $$ (18) 式中：i代表第i个波段，其取值范围为1~N。
6）由于引导滤波器具有优秀的细节转移特性，本文利用引导滤波器与差值运算提取多级细节残差Res，再结合Res与经式(18)获取的初始细节信息图Diniti得到最终的细节图Dfinal，其数学表达如下：
$$ {\text{M}}{{\text{S}}_{{{\text{H}}_m}}} = {\text{GF}}({\text{Pan}}{{\text{s}}_{\text{H}}},{\text{M}}{{\text{S}}_{\text{H}}},\omega ,\mathit{\gamma} ) $$ (19) $$ {\text{Res}} = {\text{M}}{{\text{S}}_{\text{H}}} - {\text{M}}{{\text{S}}_{{{\text{H}}_m}}} $$ (20) $$ {D_{{\text{final}}}} = D_{{\text{init}}}^i + {\text{Res}} $$ (21) 式中：$ {\text{M}}{{\text{S}}_{{{\text{H}}_m}}} $代表经GF操作得到的中间结果；ω与γ的定义与式(7)相同。
7）综合公式(1)、公式(3)，可以将融合结果图像的强度分量的高频分量$ \overline {{I_{\text{H}}}} $表示为：
$$ \overline {{I_{\text{H}}}} = \sum\limits_{i = 1}^N {{\alpha _i}{F_i} = } \sum\limits_{i = 1}^N {{\alpha _i}({\text{M}}{{\text{S}}_{\text{H}}} + {D_i})} $$ (22) 式中：Fi为第i个波段的融合结果；Di是经细节增强后的细节图。由于通过步骤3）消除了低频信息影响后，融合结果图像与原多光谱图像具有相同的光谱特征，因此在步骤4）中通过AIHS算法估算高频亮度分量IH时求得的自适应因子α不必更新[14]。其中，Di可以通过式(23)中的最速下降法[15]联合式(24)中的最小化差异函数τ进行估算：
$$ D_i^{t + 1} = D_i^{(t)} - {\left. {\eta \frac{{\partial F}}{{\partial {D_i}}}} \right|_{{D_i} = D_i^{(t)}}} $$ (23) $$ \begin{array}{*{20}{c}} {\arg \min } \\ {{D_i}} \end{array}\tau ({D_i}) = {\left\| {{\text{Pa}}{{\text{n}}_{\text{H}}} - \sum\limits_{i = 1}^N {{\text{M}}{{\text{S}}_{\text{H}}} + {D_i}} } \right\|^2} $$ (24) 式中：η为步长；初始时Di(0)取值为Dfinal。
8）获得细节增强后的细节图Di后。根据式(3)，其融合结果可以改写为下式：
$$ F_{i}＝{\rm MS}_{i}+D_{i} $$ (25) 式中：Fi代表具有高空间分辨率的多光谱图像；MSi与Di分别代表原多光谱图像与最终细节图的第i个波段。
3. 实验结果与分析
为了验证所提算法的有效性，分别从GeoEye1、WV2、WV3上选择4组数据进行融合实验。并通过直观视觉与客观评价两个方面对各个融合算法进行有效评估。由于缺乏真实参考图像进行定量评价，因此本实验遵循Wald协议[16]，将经下采样再上采样的MS图像与下采样的Pan图像作为输入，再将原MS图像作为参考图像。其中，本实验中全色图像大小为256×256像素，多光谱图像大小为64×64像素，重采样方法为双三次插值法，其权重参数分别设置为：σs＝2.2，σr＝1.2，t＝4，m＝16，γ＝0.01。
本文选择8种经典、主流的融合算法与所提算法进行对比，分别为：亮度-色度-饱和度调制法、调制传递函数与广义拉普拉斯金字塔相结合的方法（Modulation Transfer Function_Generalized Laplacian Pyramid，MTF-GLP）、局部参数估计的带相关空间细节融合法（Band Dependent Spatial Detail with Local Parameter Estimation，BDSD）、比值变换（Brovey Transform，BT）、非下采样轮廓波变换与稀疏表示相结合的方法（Non-subsampled Contourlet Transform and Sparse Representation，NSCT-SR）、亮度平滑滤波调制（Smoothing Filter-based Intensity Modulation，SFIM）、双树复小波变换融合法（Dual-tree Complex Wavelet Transform，DTCWT）以及基于上下文决策的多尺度分析方法（Context-Based Decision，CBD）。为了更好地体现本文所提方法的效果，8种对比算法的实验参数均设置为最佳。所有实验均在Windows10操作系统下Matlab 2016软件中完成，并在具有32GB RAM且CPU为Intel（R）3.70GHz的电脑中运行。
3.1 主观评价
图 2、图 3为WV3数据融合结果图像，分别记为WV3-Ⅰ、WV3-Ⅱ，图 4为GeoEye1图像的融合结果，WV2数据的融合结果如图 5所示。从图 2~图 5(d)中可以看到，由IHS变换融合方法获得的结果图像能够保持较好的空间结构，但其色调偏暗，说明该算法丢失了较多原多光谱图像的光谱特征从而导致了全局性的光谱扭曲。由SFIM算法获得的融合图像在图 3(e)、图 4(e)中均能取得不错的视觉效果，对比度鲜明且层次感较好，然而通过对比图 2(c)中的参考图像可以看出，图 2(e)中的水体边缘处存在明显的伪影，而图 5(e)与原MS图像相比则存在明显的光谱失真现象。BDSD算法获得的融合结果虽然能够较好地保留空间细节信息，但从图 2(f)处的绿色植被处可以看到此处存在轻微的光谱信息丢失问题，而图 5(f)中的道路两侧则存在过度锐化问题，其原因在于该算法从Pan图像中提取了较多的空间细节信息。对于BT算法而言，通过图 2~图 5(g)可以看出在4组实验结果中都出现了局部性的光谱失真，如图 4(g)中偏深蓝色的规整田地块及图 5(g)中呈紫色的道路侧。
DTCWT算法从总体上看表现一般，从图 2(h)中可以明显看到其绿色植被的颜色整体偏淡，图 5(h)的融合质量略优于IHS算法，但光谱失真依然严重。由NSCT-SR算法融合得到的结果轮廓模糊、清晰度较低且出现了全局性光谱畸变，通过目视解译看来，其融合结果质量相比于DTCWT算法更差。由MTF-GLP和CBD算法得到的融合结果都在一定程度上提高了原多光谱图像的空间分辨率，且并未出现明显的光谱失真现象，其融合图像的信息相对丰富且不存在明显结构性误差，通过图 5(j)和图 5(k)中的建筑物顶部和道路两侧的色调可以看出，CBD算法能够更多地保留光谱信息，因此CBD算法相对稳定。本文算法如图 2~图 5(l)所示，由图 2(l)中可以看出地物边界信息饱满，整体色调保持较好，无明显振铃效应。图 3(l)空间信息保持良好，但在操场与房顶处丢失了部分光谱信息，视觉效果相对较优。图 4(l)在光谱保真方面较优，相比于CBD算法而言，本文算法没有细节信息注入过度的风险。图 5(l)的空间细节清晰度较高，相比其他算法而言，图 5(l)保持了多光谱图像的绝大部分光谱特征，且在空间细节的提升方面仍具有竞争力。总体来说，本文提出的方法在细节信息改善与光谱信息保真方面表现良好。
3.2 客观评价
为了客观地评价各个融合结果的准确性，本文采用空间相关系数（Spatial Correlation Coefficient，SCC）、结构相似性（Structure Similarity Index，SSIM）、相对平均光谱误差（Relative Average Spectral Error，RASE）、相对无量纲的全局误差（Erreur Relative Globale Adimensionnelle de Synthese，ERGAS）、光谱角映射（Spectral Angle Mapper，SAM）、通用图像质量指数（Universal Image Quality Index，UIQI）、相关系数（Correlation Coefficient，CC）、均方根误差（Root Mean Squared Error，RMSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）9个指标在空间、光谱和整体一致性上对各融合算法进行定量评价。表 1~表 4分别对应图 2~图 5的客观评价结果。为了方便观察，将表中每一列的最优评价结果以加粗形式展示。
表 1 WV3-Ⅰ的定量评价结果Table 1. Quantitative evaluation results of WV3Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.8520 0.6323 27.5009 6.9281 0.0363 0.8451 0.6267 23.9945 20.5286 IHS 0.8509 0.5093 48.6246 21.4512 0.1710 0.6957 0.6160 42.4249 15.5784 CBD 0.8801 0.6437 27.7469 7.0537 0.0523 0.8746 0.6261 24.2091 20.4512 SFIM 0.8987 0.6397 23.6789 6.0072 0.0388 0.8986 0.6121 20.6598 21.8283 BDSD 0.8907 0.6614 24.7900 6.2571 0.0466 0.8904 0.6420 21.6292 21.4300 DTCWT 0.8860 0.6449 24.2148 6.1894 0.0457 0.8825 0.6352 21.1273 21.6339 NSCT-SR 0.8560 0.6278 26.9770 6.8812 0.0527 0.8491 0.6258 23.5374 20.6956 MTF-GLP 0.8941 0.6419 25.4094 6.5111 0.0513 0.8910 0.6486 22.1696 21.2156 Proposed 0.9076 0.6566 22.5488 5.7804 0.0493 0.9073 0.6548 19.6737 22.2531 表 2 WV3-Ⅱ的定量评价结果Table 2. Quantitative evaluation results of WV3Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.9730 0.8728 20.9863 5.2562 0.0627 0.9687 0.9397 14.5573 24.8692 IHS 0.9695 0.5631 63.2636 30.8796 0.2360 0.6860 0.9360 43.8831 15.2849 CBD 0.9763 0.8891 21.6071 5.4043 0.0849 0.9727 0.9400 14.9879 24.6160 SFIM 0.9814 0.8905 17.1809 4.3441 0.0635 0.9812 0.9282 11.9176 26.6070 BDSD 0.9758 0.8791 20.6105 5.182 0.0899 0.9745 0.9413 14.2966 25.0262 DTCWT 0.9815 0.8912 17.1121 4.2963 0.0677 0.9800 0.9406 11.8699 26.6419 NSCT-SR 0.9735 0.8720 20.7693 5.2093 0.0717 0.9697 0.9367 14.4067 24.9595 MTF-GLP 0.9816 0.9014 17.8018 4.4780 0.0776 0.9802 0.9383 12.3483 26.2987 Proposed 0.9838 0.9017 16.2089 4.0441 0.0841 0.9830 0.9368 11.2434 27.1129 表 3 GeoEye1的定量评价结果Table 3. Quantitative evaluation results of GeoEye1Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.7706 0.9285 9.7191 2.3714 0.0174 0.7663 0.9016 5.3156 33.6198 IHS 0.7049 0.7516 47.4709 26.5205 0.1517 0.4170 0.9170 25.9627 19.8438 CBD 0.9338 0.9128 7.1367 2.0122 0.0243 0.9220 0.8847 3.9032 36.3023 SFIM 0.9677 0.9575 4.0797 1.0938 0.0174 0.9666 0.9247 2.2312 41.1598 BDSD 0.9492 0.9631 5.3800 1.5113 0.0205 0.9479 0.9453 2.9424 38.7567 DTCWT 0.9207 0.9479 5.9575 1.5881 0.0184 0.9189 0.9246 3.2583 37.8711 NSCT-SR 0.8088 0.9349 9.0938 2.4113 0.0228 0.8041 0.9158 4.9736 34.1974 MTF-GLP 0.9750 0.9657 3.8028 1.0340 0.0155 0.9742 0.9432 2.0798 41.7704 Proposed 0.9783 0.9686 3.4253 0.9681 0.0155 0.9782 0.9466 1.8734 42.6783 表 4 VW2的定量评价结果Table 4. Quantitative evaluation results of VW2Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.8979 0.6623 18.2241 4.5660 0.0564 0.8822 0.8795 61.312 12.3799 IHS 0.8978 0.5226 47.6344 24.0439 0.1574 0.6827 0.8810 160.2582 4.0344 CBD 0.9499 0.7216 13.8956 3.5849 0.0490 0.9477 0.9047 46.7494 14.7353 SFIM 0.9502 0.7207 13.2566 3.3281 0.0564 0.9479 0.8930 44.5996 15.1442 BDSD 0.9487 0.7267 13.6076 3.5028 0.0495 0.9487 0.9162 45.7805 14.9172 DTCWT 0.9392 0.6876 14.8766 3.8229 0.0573 0.9307 0.8856 50.0500 14.1427 NSCT-SR 0.9033 0.6649 18.0106 4.6550 0.0616 0.8883 0.8800 60.5936 12.4823 MTF-GLP 0.9489 0.7100 14.084 3.6470 0.0578 0.9440 0.8901 47.3833 14.6183 Proposed 0.9580 0.7395 12.2714 3.1650 0.0460 0.9557 0.9123 41.2852 15.8149 其中，表 1和表 2是WV3卫星的定量评价结果。从表中可以看出，BT算法在SAM指标上总能取得最优值，但在RASE等指标上却没有明显优势，说明该算法在光谱保持方面还有待提高。IHS变换法在绝大部分指标上均未取得较好的效果，说明其保真性整体偏差。CBD、SFIM以及MTF-GLP融合算法整体表现较好，通过SCC与ERGAS可以看出这些算法空间结构维持较好且光谱扭曲度较低，但它们仍有进一步提升的空间。通过SCC与SSIM指标可以看出BDSD算法能够保持较好的细节信息，但ERGAS较大，说明光谱特征保持力较差。对于NSCT-SR算法而言，其在SAM上表现一般，而在其余指标的表现与BT算法整体相当。本文算法虽在SAM指标上表现一般，但在ERGAS、RASE等衡量光谱信息的指标上表现良好，因此从总体上看来，本文算法可以提高多光谱的空间分辨率，同时由于本算法消除了低频分量的影响，所以能在一定程度上克服光谱扭曲问题。
表 3、表 4分别为GeoEye1与WV2两组遥感图像关于上述几种融合方法的定量评价。从这两个表中可以看出，本文所提方法除了在WV2数据的SCC指标上取得次优值外，在其余指标上均取得最优值，这也与主观视觉评价相符。从整体来看，MTF-GLP算法能在GeoEye1数据上取得次优值，而BDSD算法能在WV2上取得次优值，以此说明这两种算法并不具有较强的鲁棒性。通过以上各个评价指标也可以看出，BT、IHS以及NSCT-SR算法总体结果偏差，说明它们都在不同程度上丢失了光谱或细节信息。从RASE等指标来看，CBD算法可以在一定程度降低光谱扭曲度，但是该算法在CC、SSIM等可以对图像的空间、光谱信息进行综合衡量的指标上并不具有明显优势。从UIQI、PSNR等指标可以看到，由SFIM算法得到的融合图像富含丰富的信息，但其在空间结构保持方面仍有待提高。NSCT-SR融合算法在CC、SSIM两个指标上表现偏差，说明与参考图像相比，其整体相关度偏低，同时，通过RASE及SCC可以分析出，该方法容易出现光谱失真、细节信息不丰富的问题。综上所述，相比其它融合算法而言，本文所提方法更具优势。
4. 结论
本文提出一种基于细节信息提取的遥感图像融合方法。考虑到多光谱图像波段之间的差异性，本文首先以多光谱图像的波段数为基准将全色图像构造成多波段图像，再将多波段的全色图像与多光谱图像进行逐波段直方图匹配以降低光谱失真。随后，通过RGF与AIHS算法提取多级细节图，接着利用GF逐波段提取残差。最后通过最速下降法获取增强细节图并注入到原多光谱图像中得到最终融合结果。本文将所提算法与8种经典、主流算法在GeoEye1、WV2及WV3三个数据集上进行了对比实验，其实验结果表明，本文算法在主观评价与客观指标上均有一定优势，能够在提高空间分辨率的同时较好地维持光谱特征。
-
表 1 WV3-Ⅰ的定量评价结果
Table 1 Quantitative evaluation results of WV3
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.8520 0.6323 27.5009 6.9281 0.0363 0.8451 0.6267 23.9945 20.5286 IHS 0.8509 0.5093 48.6246 21.4512 0.1710 0.6957 0.6160 42.4249 15.5784 CBD 0.8801 0.6437 27.7469 7.0537 0.0523 0.8746 0.6261 24.2091 20.4512 SFIM 0.8987 0.6397 23.6789 6.0072 0.0388 0.8986 0.6121 20.6598 21.8283 BDSD 0.8907 0.6614 24.7900 6.2571 0.0466 0.8904 0.6420 21.6292 21.4300 DTCWT 0.8860 0.6449 24.2148 6.1894 0.0457 0.8825 0.6352 21.1273 21.6339 NSCT-SR 0.8560 0.6278 26.9770 6.8812 0.0527 0.8491 0.6258 23.5374 20.6956 MTF-GLP 0.8941 0.6419 25.4094 6.5111 0.0513 0.8910 0.6486 22.1696 21.2156 Proposed 0.9076 0.6566 22.5488 5.7804 0.0493 0.9073 0.6548 19.6737 22.2531 
下载: 导出CSV
表 2 WV3-Ⅱ的定量评价结果
Table 2 Quantitative evaluation results of WV3
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.9730 0.8728 20.9863 5.2562 0.0627 0.9687 0.9397 14.5573 24.8692 IHS 0.9695 0.5631 63.2636 30.8796 0.2360 0.6860 0.9360 43.8831 15.2849 CBD 0.9763 0.8891 21.6071 5.4043 0.0849 0.9727 0.9400 14.9879 24.6160 SFIM 0.9814 0.8905 17.1809 4.3441 0.0635 0.9812 0.9282 11.9176 26.6070 BDSD 0.9758 0.8791 20.6105 5.182 0.0899 0.9745 0.9413 14.2966 25.0262 DTCWT 0.9815 0.8912 17.1121 4.2963 0.0677 0.9800 0.9406 11.8699 26.6419 NSCT-SR 0.9735 0.8720 20.7693 5.2093 0.0717 0.9697 0.9367 14.4067 24.9595 MTF-GLP 0.9816 0.9014 17.8018 4.4780 0.0776 0.9802 0.9383 12.3483 26.2987 Proposed 0.9838 0.9017 16.2089 4.0441 0.0841 0.9830 0.9368 11.2434 27.1129
下载: 导出CSV
表 3 GeoEye1的定量评价结果
Table 3 Quantitative evaluation results of GeoEye1
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.7706 0.9285 9.7191 2.3714 0.0174 0.7663 0.9016 5.3156 33.6198 IHS 0.7049 0.7516 47.4709 26.5205 0.1517 0.4170 0.9170 25.9627 19.8438 CBD 0.9338 0.9128 7.1367 2.0122 0.0243 0.9220 0.8847 3.9032 36.3023 SFIM 0.9677 0.9575 4.0797 1.0938 0.0174 0.9666 0.9247 2.2312 41.1598 BDSD 0.9492 0.9631 5.3800 1.5113 0.0205 0.9479 0.9453 2.9424 38.7567 DTCWT 0.9207 0.9479 5.9575 1.5881 0.0184 0.9189 0.9246 3.2583 37.8711 NSCT-SR 0.8088 0.9349 9.0938 2.4113 0.0228 0.8041 0.9158 4.9736 34.1974 MTF-GLP 0.9750 0.9657 3.8028 1.0340 0.0155 0.9742 0.9432 2.0798 41.7704 Proposed 0.9783 0.9686 3.4253 0.9681 0.0155 0.9782 0.9466 1.8734 42.6783
下载: 导出CSV
表 4 VW2的定量评价结果
Table 4 Quantitative evaluation results of VW2
Methods Metric CC SSIM RASE ERGAS SAM UIQI SCC RMSE PSNR Reference 1 1 0 0 0 1 1 0 +∞ BT 0.8979 0.6623 18.2241 4.5660 0.0564 0.8822 0.8795 61.312 12.3799 IHS 0.8978 0.5226 47.6344 24.0439 0.1574 0.6827 0.8810 160.2582 4.0344 CBD 0.9499 0.7216 13.8956 3.5849 0.0490 0.9477 0.9047 46.7494 14.7353 SFIM 0.9502 0.7207 13.2566 3.3281 0.0564 0.9479 0.8930 44.5996 15.1442 BDSD 0.9487 0.7267 13.6076 3.5028 0.0495 0.9487 0.9162 45.7805 14.9172 DTCWT 0.9392 0.6876 14.8766 3.8229 0.0573 0.9307 0.8856 50.0500 14.1427 NSCT-SR 0.9033 0.6649 18.0106 4.6550 0.0616 0.8883 0.8800 60.5936 12.4823 MTF-GLP 0.9489 0.7100 14.084 3.6470 0.0578 0.9440 0.8901 47.3833 14.6183 Proposed 0.9580 0.7395 12.2714 3.1650 0.0460 0.9557 0.9123 41.2852 15.8149
下载: 导出CSV
-
[1] 王芬, 郭擎, 葛小青. 深度递归残差网络的遥感图像空谱融合[J]. 遥感学报, 2021, 25(6): 1244-1256. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106004.htm WANG F, GUO Q, GE X Q. Pan-sharpening by deep recursive residual network[J]. National Remote Sensing Bulletin, 2021, 25(6): 1244-1256. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106004.htm
[2] 李树涛, 李聪妤, 康旭东. 多源遥感图像融合发展现状与未来展望[J]. 遥感学报, 2021, 25(1): 148-166. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202101010.htm LI S T, LI C Y, KANG X D. Development status and future prospects of multi-source remote sensing image fusion[J]. National Remote Sensing Bulletin, 2021, 25(1): 148-166. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202101010.htm
[3] MENG X, SHEN H, LI H, et al. Review of the pansharpening methods for remote sensing images based on the idea of meta-analysis: practical discussion and challenges[J]. Information Fusion, 2019, 46: 102-113. DOI: 10.1016/j.inffus.2018.05.006
[4] 陈毛毛, 郭擎, 刘明亮, 等. 密集卷积残差网络的遥感图像融合[J]. 遥感学报, 2021, 25(6): 1270-1283. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106006.htm CHEN M M, GUO Q, LIU M L, et al. Pan-sharpening by residual network with dense convolution for remote sensing images[J]. National Remote Sensing Bulletin, 2021, 25(6): 1270-1283. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202106006.htm
[5] YANG Y, LU H, HUANG S, et al. Pansharpening based on joint-guided detail extraction[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 389-401. DOI: 10.1109/JSTARS.2020.3032472
[6] YANG Y, WAN C, HUANG S, et al. Pansharpening based on low-rank fuzzy fusion and detail supplement[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 5466-5479. DOI: 10.1109/JSTARS.2020.3022857
[7] TU T M, HUANG P S, HUNG C L, et al. A fast intensity–hue–saturation fusion technique with spectral adjustment for IKONOS imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2004, 1(4): 309-312. DOI: 10.1109/LGRS.2004.834804
[8] 陈应霞, 陈艳, 刘丛. 遥感影像融合AIHS转换与粒子群优化算法[J]. 测绘学报, 2019, 48(10): 1296-1304. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201910011.htm CHEN Y X, CHEN Y, LIU C. Joint AIHS and particles swarm optimization for pan-sharpening[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(10): 1296-1304. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201910011.htm
[9] Rahmani S, Strait M, Merkurjev D, et al. An adaptive IHS pan-sharpening method[J]. IEEE Geoscience & Remote Sensing Letters, 2010, 7(4): 746-750.
[10] 王威, 张佳娥. 基于引导滤波和shearlet稀疏的遥感图像融合算法[J]. 计算机工程与科学, 2018, 40(7): 1250-1255. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201808017.htm WANG W, ZHANG J E. A remote sensing image fusion algorithm based on guided filtering and shearlet sparse base[J]. Computer Engineering and Science, 2018, 40(7): 1250-1255. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201808017.htm
[11] JIAN L, YANG X, WEI W, et al. Pansharpening using a guided image filter based on dual-scale detail extraction[J/OL]. Journal of Ambient Intelligence and Humanized Computing, 2018: 1-15, https://doi.org/ 10.1007/s12652-018-0866-4.
[12] ZHANG Q, SHEN X, XU L, et al. Rolling guidance filter[C]//European Conference on Computer Vision, 2014: 815-830.
[13] 陈峰, 李敏, 马乐, 等. 基于滚动引导滤波的红外与可见光图像融合算法[J]. 红外技术, 2020, 42(1): 54-61. http://hwjs.nvir.cn/article/id/hwjs202001008 CHEN F, LI M, MA L, et al. Infrared and visible image fusion algorithm based on the rolling guidance filter[J]. Infrared Technology, 2020, 42(1): 54-61. http://hwjs.nvir.cn/article/id/hwjs202001008
[14] LI Q, YANG X, WU W, et al. Pansharpening multispectral remote‐sensing images with guided filter for monitoring impact of human behavior on environment[J]. Concurrency and Computation: Practice and Experience, 2018, 33(4): e5074.
[15] Kalpoma K A, Kawano K, Kudoh J I. IKONOS image fusion process using steepest descent method with bi-linear interpolation[J]. International Journal for Remote Sensing, 2013, 34(1-2): 505-518.
[16] Wald L, Ranchin T, Mangolini M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]. Photogrammetric Engineering and Remote Sensing, 1997, 63(6): 691-699.
-
期刊类型引用(1)
1. 宋加文，朱大明，左小清，付志涛，陈思静. 一种结合结构与能量信息的全色与多光谱图像融合方法. 红外技术. 2023(07): 696-704 . 
本站查看
其他类型引用(1)
计量
- 文章访问数: 206
- HTML全文浏览量: 54
- PDF下载量: 39
- 被引次数: 2
