A Panchromatic and Multispectral Image Fusion Method Combining Energy and Structural Information
-
摘要: 分量替换是遥感图像融合中的一种经典方法,其具有良好的空间保真度,但容易产生光谱失真,为此本文提出一种结合结构与能量信息的全色与多光谱图像融合方法。方法首先通过超球面颜色空间变换分解多光谱图像的空间和光谱信息。其次,通过联合双边滤波引入了两层分解方案。然后,将全色图像和强度分量分解为结构层和能量层。最后,提出结构层通过邻域空间频率策略融合,强度分量的纯能量层用作预融合图像的能量层。强度分量定义颜色的强度,通过将预融合结构层与强度分量的能量层结合,可以有效地结合源图像的空间和光谱信息,从而减少全色锐化图像的光谱失真。本文在Pléiades和QuickBird数据集上进行大量实验,并对实验结果进行定性和定量分析,结果表明所提方法与现有先进方法相比具备一定优越性。Abstract: Component substitution is a classical method for remote-sensing image fusion that has good spatial fidelity but is prone to spectral distortion. Therefore, a panchromatic and multispectral image fusion method that combines structural and energy information is proposed. First, the method decomposes the spatial and spectral information of multispectral images by hyperspherical color-space transformation. Second, a two-layer decomposition scheme is introduced through joint bilateral filtering. The panchromatic image and intensity components are then decomposed into structural and energy layers. Finally, the structural layer is fused by the neighborhood spatial frequency strategy, and the pure energy layer of the intensity component is used as the energy layer of the pre-fusion image. The intensity component defines the color intensity. By combining the pre-fused structural layer with the energy layer of the intensity component, the spatial and spectral information of the source image can be effectively combined, thereby reducing the spectral distortion of the pansharpened image. In this study, several experiments were conducted on the Pléiades and QuickBird datasets, and the experimental results were qualitatively and quantitatively analyzed. The results show that the proposed method has certain advantages over existing methods.
-
0. 引言
随着红外制导技术的迅速发展,成像型导引头由于其灵敏度高、探测距离远、全天候工作等特点在现代战争中发挥了重要的作用[1]。为有效抑制红外成像制导武器,激光定向干扰技术在近年得到重点发展,并有望成为未来红外对抗的主要方式。
作为成像型导引头的核心器件红外探测器,由于其芯片灵敏度高、材料强度低,极易受到激光的干扰和损伤。因此,红外探测器的激光干扰、毁伤等问题受到世界各国的普遍重视。美国佐治亚理工(Georgia Tech)的信号技术实验室于20世纪90年代末研制开发了红外探测成像仿真系统(imaging simulation for infrared sensors,ISIS)用于红外成像导引头信号处理和红外对抗方面的研究[2];美国McDonnell Douglas公司研制了专门的激光辐照光电探测器的检测设备。以实验物理学家Bartoli为代表的一大批科学家开展了大量激光损伤探测器靶材的实验,得出了一批有价值的各类探测器损伤阈值[3]。国内也已开展了大量关于激光损伤效应的实验和理论研究工作,如中国科学院长春光学精密机械与物理研究所开展了激光对长波红外HgCdTe探测器干扰的实验研究[4];中国空空导弹研究院针对探测器窗口蓝宝石开展了长波连续激光热力学损伤特性研究[5];西安电子科技大学与中国空空导弹研究院联合开展了基于激光干扰红外成像系统的调制传递函数研究[6]。国防科技大学郑鑫等研究了波段外连续激光辐照对锑化铟探测器影响[7]。
本文主要针对中波InSb光伏型红外面阵探测器开展波段内脉冲激光定向干扰试验,通过试验分析InSb面阵探测器对波段内脉冲激光干扰的响应特性、损伤模式及损伤阈值,为后续及激光定向干扰研究提供理论支持。
1. 激光对红外探测系统的干扰机理
激光干扰主要是利用激光束辐照,使系统的红外探测器饱和或暂时失效,从而导致目标无法检出,失去制导能力[8]。激光对红外成像系统干扰的机理实质上就是利用激光高度集中的能量来辐照成像系统的红外探测器,使红外探测系统光电信号饱和、信号处理通道阻塞、甚至破坏红外探测器,使导弹丢失目标,从而使目标脱离导弹视场范围,激光干扰成像过程如图 1所示。
激光器发射激光,经过大气传输至光学系统上,光学系统接收能量并将能量会聚到探测器上。因此可以把激光能量传输的过程表示为:激光光束→大气传输→光学系统→探测器。激光在到达探测器焦平面前,存在诸多影响因素,可归纳为发散角、功率、波长等激光干扰的本征特征和大气、光学系统等外部特性[9]。
激光定向干扰技术利用激光束的相干性,将能量集中到很小的空间立体角内,并照射到红外成像系统实现诱骗、致眩和毁伤,从而使导弹失去制导能力。其中毁伤又分为致盲(波段内毁伤)和波段外毁伤,致盲一般是指采用波段内大功率激光器照射探测器使整个面阵饱和甚至直接破坏芯片,使其失去探测能力;而波段外毁伤是采用波段外超大功率的激光器,直接破坏红外成像系统光学元件、探测器,此处不加以讨论。接下来将针对波段内脉冲激光对中波InSb红外面阵探测器干扰特性进行研究。
2. 激光干扰试验
试验在实验室环境完成,试验装置主要包括激光干扰装置、红外成像探测系统、测试设备,试验布局如图 2所示。红外成像探测系统布置在一侧,激光干扰装置布置在另外一侧,两者之间的距离为5 m。激光从激光器中发出后,通过平行光管和扩束装置后,达到红外探测系统。
干扰对象为红外探测系统,该系统由光学分系统、红外成像探测器及其处理板组成。光学分系统采用折返式光学结构,成像探测器为128×128阵列的InSb探测器,响应光谱范围为3~5 μm。试验激光器输出中心波长设置为4.1 μm,频率为110 Hz。经过扩束装置后光斑直径为100 mm。通过功率计标定红外成像系统镜前功率密度。调整光路中的衰减片,从而改变干扰激光能量密度。
3. 试验结果分析
试验中,激光采用垂直入射方式,监测不同能量密度激光照射红外探测系统后,探测器输出的图像,分析激光对InSb面阵探测器的干扰、损伤特性。
3.1 干扰特性
在重复频率、占空比一定的情况下,不同能量密度脉冲激光在探测器上形成的光斑分布情况如图 3所示。图中(a)、(b)、(c)、(d)对应的脉冲激光能量密度分别为2×10-6 J/cm2、8×10-6 J/cm2、6×10-5 J/cm2、1×10-4 J/cm2。可发现随着干扰激光能量密度的增加,探测器输出的红外图像上的干扰光斑持续增大。
干扰光斑大小随干扰激光能量密度变化过程如图 4所示。当焦面能量密度小于10-5 J/cm2时,光斑面积较小,与目标相似,此时激光对红外成像系统干扰主要是诱骗。但当焦面能量密度大于10-5 J/cm2时,干扰光斑随激光能量的增加迅速变大,光学系统的内部反射也随之增强,激光对红外成像系统干扰主要是致眩效果。当焦面能量密度达到10-3 J/cm2时光斑占满视场但未仍饱和,但目标与激光干扰的分离更加困难。
干扰激光能量继续增加,探测器面阵也没有达到饱和。只有当焦面能量密度达到10-1 J/cm2时,干扰光斑中心像元性能下降,周围相邻像元才出现饱和现象,干扰去除后,中心像元对人体温度的红外辐射已无响应。当能量密度继续增大时,中心像元彻底损坏,周围相邻像元饱和现象消失。饱和像元数变化情况如图 5所示。
图 6为干扰光斑平均灰度和中心像元灰度与干扰激光能量密度的关系曲线。如图 6所示,当干扰激光能量小于10-6 J/cm2时,干扰光斑的平均灰度随干扰激光能量密度的增加而增大;当干扰激光能量在10-6 J/cm2~10-3 J/cm2之间时光斑的平均灰度随激光能量增加开始下降,主要是此时光斑面积迅速增大,致眩效果增强导致光斑平均灰度降低;当干扰激光能量密度大于10-3 J/cm2时,干扰光斑接近全屏后,其平均灰度随干扰激光能量密度的增加又开始增大,增大趋势逐渐趋缓。
图 7为不同能量密度激光干扰下探测器输出图像的三维灰度图。图中(a)、(b)、(c)、(d)对应的干扰激光焦面能量密度分别为10-6 J/cm2、10-5 J/cm2、10-4 J/cm2、10-2 J/cm2。
干扰光斑中心像元灰度与光斑平均灰度一样,随着干扰激光能量的增加也是先增大后减小,当焦面能量密度小于10-5 J/cm2时,中心像元的灰度随干扰激光的能量升高而增大,中心像元处于正常的响应状态;当焦面能量密度达到10-5 J/cm2以后,探测器出现信号记忆效应,输出电压降低,此时干扰光斑中心像元的灰度随着干扰激光能量的增加开始降低;当干扰激光能量达到10-2 J/cm2,中心像灰度迅速增加。具体变化过程如图 6所示。
3.2 损伤特性
当干扰激光焦面能量密度达到10-1 J/cm2,中心像元出现热损伤,探测器p-n结退化,探测器的暗电阻增加,光电探测器对信号光的响应率下降,表现为此时中心像元对人体温度的红外辐射没有响应。这种热损伤不可逆且可以积累,随着干扰激光能量密度的继续增加,当干扰激光焦面能量密度达到2×10-1 J/cm2时,探测器光敏芯片出现硬损伤,干扰光斑中心的像元损坏,失去探测能力,实现了波段内激光干扰局部致盲的效果。图 8中(a)、(b)分别为探测器焦平面能量密度为2×10-1 J/cm2激光照射前后探测器成像图。图(a)为激光照射前探测器对均匀背景的成像图,图中可见有4处盲元。图(b)为激光照射后探测器对同一均匀背景的成像图,图像增加一处盲元,如图内圆圈处所示。这主要是由于探测器芯片被激光照射后出现了点损伤,导致像面出现新的盲元簇。试验中,在激光功率不变的条件下,继续增加照射次数,损伤像元数会有所增加,但增大到一定范围后基本维持不变。
脉冲激光的辐照功率继续增大,当焦面能量密度达到4×10-1 J/cm2时,InSb探测器开始出现线损伤,如图 9(a)所示,图中白色线条为线损伤。脉冲激光照射次数继续增加,探测器线损伤情况加剧如图 9(b)所示。当照射次数累积到一定程度,线损伤情况不再变化,但探测器的整个像面探测率下降约30%左右,具体成像效果如图 9(c)所示。
通过试验发现,探测器芯片在脉冲激光照射下已经出现大面积裂纹,但探测器窗口、滤光片等光学元件依然完好,与波段外激光毁伤效果明显不同。受试验激光器条件限制,本次试验未实现探测器全区域致盲,但在波段内脉冲激光定向干扰下探测能力已显著下降。
4. 结语
对于中心波长为4.1 μm,频率为110 Hz的脉冲激光,随着干扰激光能量密度的增加,干扰光斑的大小随之变大直到占满全屏;干扰光斑的平均灰度和中心像元灰度随干扰激光能量密度的增加经历一个先增大再减小然后又增大的过程;低频脉冲激光干扰很难让探测器达到全屏饱和。
当焦面能量密度小于10-5 J/cm2时,脉冲激光对红外成像系统干扰主要是诱骗。当焦面能量密度大于10-5 J/cm2时,激光对红外成像系统干扰主要是致眩。当干扰激光焦面能量密度达到2×10-1 J/cm2,InSb面阵探测器出现点损伤;当焦面能量密度达到4×10-1 J/cm2时,探测器出现线损伤,整个像面探测率下降30%左右。
由此可知,低频脉冲激光对InSb面阵探测器干扰的光学效应有限,热学效应可使探测器出现点损伤、线损伤,从而使探测器局部致盲、探测能力显著下降。若脉冲激光功率足够大,完全有可能毁伤探测器整个芯片,使其彻底失去探测能力。
-
表 1 实验数据集细节
Table 1 Details about the experimental dataset
Satellite sensors Spatial resolution /m Image size Radiation resolution /bits Number of image pairs QuickBird PAN 0.61 1024×1024 11 16 MS 2.44 256×256×4 Pléiades PAN 0.5 1024×1024 12 21 MS 2.0 256×256×4 表 2 QuickBrid数据集融合结果定量评价
Table 2 Quantitative evaluation of QuickBird dataset fusion results
Methods QuickBird dataset Q4 QAVE SAM ERGAS SCC Time/s BDSD 0.7034 0.7222 6.4856 9.8482 0.8380 0.03 BDSD-PC 0.6980 0.7167 6.2529 9.7260 0.8318 0.10 BT-H 0.7140 0.7332 6.2158 9.7281 0.8262 0.16 C-GSA 0.7095 0.7314 7.1007 10.2968 0.8334 0.37 GS 0.6756 0.7007 6.1163 9.2789 0.8356 0.01 GSA 0.6911 0.7158 7.2136 10.6403 0.8307 0.03 Indusion 0.6833 0.7076 6.2064 9.2864 0.8337 0.03 MTF-GLP-FS 0.7263 0.7490 5.7840 51.8783 0.7578 0.09 MTF-GLP-HPM-R 0.7304 0.7465 6.0564 8.9605 0.8382 0.09 PWMBF 0.7059 0.7213 6.1322 9.3920 0.8328 0.31 Proposed 0.7330 0.7502 5.3899 7.9889 0.8398 0.04 Ideal value 1 1 0 0 1 - 表 3 Pléiades数据集融合结果定量评价
Table 3 Quantitative evaluation of Pléiades dataset fusion results
Methods Pléiades dataset Q4 QAVE SAM ERGAS SCC Time(s) BDSD 0.8486 0.8611 3.9816 5.1275 0.8959 0.04 BDSD-PC 0.8440 0.8556 3.7755 5.1322 0.8910 0.05 BT-H 0.8556 0.8740 3.1817 4.5330 0.8975 0.03 C-GSA 0.8532 0.8714 4.0837 4.8622 0.8906 0.31 GS 0.8666 0.8934 3.2357 3.9969 0.9059 0.02 GSA 0.8565 0.8765 3.7189 4.8350 0.8962 0.04 Indusion 0.8578 0.8775 3.2639 4.3429 0.8962 0.03 MTF-GLP-FS 0.8836 0.8910 3.2564 4.3697 0.9038 0.07 MTF-GLP-HPM-R 0.8805 0.8886 3.3768 4.3710 0.9006 0.07 PWMBF 0.8622 0.8699 3.7492 4.6760 0.8905 0.23 Proposed 0.9000 0.9083 2.8416 3.4911 0.9105 0.04 Ideal value 1 1 0 0 1 - -
[1] 朱卫东, 王虎, 邱振戈, 等. 自适应多尺度几何分析的全色和多光谱图像融合方法研究[J]. 红外技术, 2019, 41(9): 852-856. http://hwjs.nvir.cn/article/id/hwjs201909009 ZHU Weidong, WANG Hu, QIU Zhenge, et al. Fusion of panchromatic and multispectral images based on adaptive multiscale geometric analysis method[J]. Infrared Technology, 2019, 41(9): 852-856. http://hwjs.nvir.cn/article/id/hwjs201909009
[2] Vivone G, Dalla Mura M, Garzelli A, et al. A new benchmark based on recent advances in multispectral pansharpening: revisiting pansharpening with classical and emerging pansharpening methods[J]. IEEE Geoscience and Remote Sensing Magazine, 2021, 9(1): 53-81. DOI: 10.1109/MGRS.2020.3019315
[3] LIU P, XIAO L, LI T. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(3): 1788-1802. DOI: 10.1109/TGRS.2017.2768386
[4] 王欧, 罗小波. 基于细节信息提取的全色与多光谱图像融合方法[J]. 红外技术, 2022, 44(9): 920-928. http://hwjs.nvir.cn/article/id/77831bd5-eda2-46ea-bcdf-82ce141ac5ec WANG Ou, LUO Xiaobo. Panchromatic and multispectral images fusion method based on detail information extraction[J]. Infrared Technology, 2022, 44(9): 920-928. http://hwjs.nvir.cn/article/id/77831bd5-eda2-46ea-bcdf-82ce141ac5ec
[5] XIAO J, HUANG T, DENG L, et al. A new context-aware details injection fidelity with adaptive coefficients estimation for variational pansharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-15.
[6] WU Z, HUANG T, DENG L, et al. VO+Net: an adaptive approach using variational optimization and deep learning for panchromatic sharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-16.
[7] YANG Z, FU X, LIU A, et al. Progressive pan-sharpening via cross-scale collaboration networks[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5.
[8] WU Z, HUANG T, DENG L, et al. A new variational approach based on proximal deep injection and gradient intensity similarity for spatio-spectral image fusion[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 6277-6290. DOI: 10.1109/JSTARS.2020.3030129
[9] Deng L, Vivone G, Paoletti M, et al. Machine learning in pansharpening: a benchmark, from shallow to deep networks[J]. IEEE Geoscience and Remote Sensing Magazine, 2022, 10(3): 279-315. DOI: 10.1109/MGRS.2022.3187652
[10] ZHANG Z Y, HUANG T Z, DENG L J, et al. Pan-sharpening via rog-based filtering[C]//IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium, 2019: 2790-2793. DOI: 10.1109/IGARSS.2019.8899330.
[11] 侯昭阳, 吕开云, 龚循强, 等. 一种结合低级视觉特征和PAPCNN的NSST域遥感影像融合方法[J]. 武汉大学学报: 信息科学版, 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168. HOU Zhaoyang, LÜ Kaiyun, GONG Xunqiang, et al. Remote sensing image fusion based on low-level visual features and PAPCNN in NSST domain[J]. Geomatics and Information Science of Wuhan University, 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168
[12] 吕开云, 侯昭阳, 龚循强, 等. 一种基于ASR和PAPCNN的NSCT域遥感影像融合方法[J]. 遥感技术与应用, 2022, 37(4): 829-838. https://www.cnki.com.cn/Article/CJFDTOTAL-YGJS202204006.htm LUY Kaiyun, HOU Zhaoyang, GONG Xunqiang, et al. A remote sensing image fusion method based on ASR and PAPCNN in NSCT domain [J]. Remote Sensing Technology and Application, 2022(4): 829-838. https://www.cnki.com.cn/Article/CJFDTOTAL-YGJS202204006.htm
[13] 白鑫, 卫琳. 基于IHS变换与自适应区域特征的遥感图像融合算法[J]. 电子测量与仪器学报, 2019, 33(2): 161-167. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201902023.htm BAI Xin, WEI Lin. Remote sensing image fusion algorithm based on ihs transform and adaptive region features[J]. Journal of Electronic Measurement and Instrumentation, 2019, 33(2): 161-167. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201902023.htm
[14] 干林杰, 谭荣建. 一种双尺度分解的高分辨率遥感影像融合方法[J]. 通信技术, 2022, 55(2): 174-180. https://www.cnki.com.cn/Article/CJFDTOTAL-TXJS202202006.htm GAN Linjie, TAN Rongjian. A method for fusion of high-resolution remote sensing images based on Dual-Scale decomposition[J]. Communications Technology, 2022, 55(2): 174-180. https://www.cnki.com.cn/Article/CJFDTOTAL-TXJS202202006.htm
[15] Padwick C, Deskevich M, Pacifici F, et al. Worldview-2 pan-sharpening[C]//ASPRS 2010 Annual Conference, 2010: 1-14.
[16] ZHANG Qi, SHEN Xiaoyong, XU Li, et al. Rolling guidance filter[C]//European Conference on Computer Vision (ECCV), 2014: 815-830.
[17] LI X, ZHOU F, TAN H, et al. Multimodal medical image fusion based on joint bilateral filter and local gradient energy[J]. Information Sciences, 2021, 569: 302-325. DOI: 10.1016/j.ins.2021.04.052
[18] Garzelli A, Nencini F, Capobianco L. Optimal MMSE pan sharpening of very high resolution multispectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(1): 228-236. DOI: 10.1109/TGRS.2007.907604
[19] Vivone G. Robust band-dependent spatial-detail approaches for panchromatic sharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6421-6433. DOI: 10.1109/TGRS.2019.2906073
[20] Lolli S, Alparone L, Garzelli A, et al. Haze correction for contrast-based multispectral pansharpening[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(12): 2255-2259. DOI: 10.1109/LGRS.2017.2761021
[21] Restaino R, Dalla Mura M, Vivone G, et al. Context-adaptive pansharpening based on image segmentation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(2): 753-766.
[22] MENG X, XIONG Y, SHAO F, et al. A large-scale benchmark data set for evaluating pansharpening performance: overview and implementation[J]. IEEE Geoscience and Remote Sensing Magazine, 2021, 9(1): 18-52.
[23] Aiazzi B, Baronti S, Selva M. Improving component substitution pansharpening through multivariate regression of MS+Pan Data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3230-3239.
[24] Khan M M, Chanussot J, Condat L, et al. Indusion: fusion of multispectral and panchromatic images using the induction scaling technique[J]. IEEE geoscience and remote sensing letters, 2008, 5(1): 98-102.
[25] Vivone G, Restaino R, Chanussot J. Full scale regression-based injection coefficients for panchromatic sharpening[J]. IEEE Transactions on Image Processing, 2018, 27(7): 3418-3431.
[26] Vivone G, Restaino R, Chanussot J. A regression-based high-pass modulation pansharpening approach[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2): 984-996.
[27] Palsson F, Sveinsson J R, Ulfarsson M O, et al. Model-based fusion of multi- and hyperspectral images using PCA and wavelets[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(5): 2652-2663.
[28] Roberta H. Yuhas A F H G. Discrimination among semi-arid landscape endmembers using the spectral angle mapper (SAM) algorithm[J]. Proc. Summaries 3rd Annu. JPL Airborne Geosci. Workshop, 1992(1): 147-149.
[29] Alparone L, Wald L, Chanussot J, et al. Comparison of pansharpening algorithms: outcome of the 2006 GRS-S data-fusion contest[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3012-3021.
[30] Otazu X, Gonzalez-Audicana M, Fors O, et al. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(10): 2376-2385.
[31] ZHOU Wang, A C Bovik. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.
[32] Alparone L, Baronti S, Garzelli A, et al. A global quality measurement of pan-sharpened multispectral imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2004, 1(4): 313.