Visible and Infrared Image Fusion Based on Group K-SVD
-
摘要: 传统稀疏表示融合方法,以图像块进行字典训练和稀疏分解,由于没有考虑图像块之间的内在联系,易造成字典原子表征图像特征能力不足、稀疏系数不准确,导致图像融合效果不好。为此,本文提出可见光与红外图像组K-SVD(K-means singular value decomposition)融合方法,利用图像的非局部相似性,将相似图像块构造成图像结构组矩阵,通过组K-SVD进行字典训练和稀疏分解,可以有效提高字典原子的表征能力及稀疏系数的准确性。实验结果表明,该方法在主观和客观评价上都优于传统稀疏融合方法。Abstract: In the traditional image fusion method based on sparse representation, image blocks are used as units for dictionary training and sparse decomposition. The representation ability of dictionary atoms for image features is insufficient if the internal connection between the image blocks is not considered. Moreover, the sparse coefficients are inaccurate. Therefore, a fused image is not desirable. In view of the abovementioned problem, this paper proposes a fusion method based on the group K-means singular value decomposition (K-SVD) for visible and infrared images. Considering the image non-local similarity, this method constructs a structure group matrix using similar image blocks, and then, dictionary training and sparse decomposition are performed in the units of the structure group matrix by group K-SVD. Thus, this method can effectively improve the representation ability of dictionary atoms and the accuracy of the sparse coefficients. The experimental results show that this method is superior to the traditional sparse fusion method in terms of subjective and objective evaluation.
-
Keywords:
- image fusion /
- non-local similarity /
- structure group matrix /
- group K-SVD
-
0. 引言
随着我国近年来综合国力的迅猛发展,各种作战武器更新迭代速度日益加快,尤其各种舰船雨后春笋般迅速投入国防作战系统中,而这也加剧了周边部分国家的紧张感,频繁派遣海军舰船进入我国周边海域,导致区域紧张局势不断加剧。故为了维护我国国家安全与领土完整,需要对敌方作战舰船目标的红外辐射特性进行深入研究,以提高我方红外制导导弹在潜在作战中的实际效能[1-2]。在舰船红外辐射特征研究方面,西安电子科技大学毛佳晨利用计算机图形渲染技术,实现了天基探测平台下舰船目标的红外成像仿真,并分析了不同探测器参数及环境干扰对舰船目标红外成像特征的影响[3],国防科学技术大学的张胜辉基于大量实测与仿真舰船目标红外图像,分析了舰船目标的红外辐射特性,提取了辐射特征[4]。目前国内在舰船目标的红外辐射特征研究主要还集中在计算方法研究和国内目标研究方面,缺乏对国外非合作军事作战舰船的相关研究。因此为支撑作战筹划、实施和作战使用研究对典型作战舰船目标红外目标特性的需求,本文以“阿利•伯克”级驱逐舰为研究对象,通过构建三维舰船模型,采用数值仿真手段分析驱逐舰的流场特性与中、长波红外辐射特性[5-6]。
1. 物理模型
1.1 几何模型
采用商用建模软件CATIA对“阿利•伯克”级驱逐舰进行建模。通过查阅相关文献和资料[7],获得“阿利•伯克”级驱逐舰的几何参数,如表 1所示。通过对比实体模型,对“阿利•伯克”级驱逐舰进行参数化建模,根据后续仿真需求,对“阿利•伯克”级驱逐舰进行了必要的简化,如图 1和图 2所示。
表 1 “阿利·伯克”级驱逐舰主要参数Table 1. Main parameters of the "Ali Burke" class destroyerModel "Ali Burke" class destroyer Length/m 155.29 Width/m 20.4 Draft/m 6 Tonnage/t 9238 Engine 4*LM-2500 gas turbine engine Highest Speed 31knots Endurance 4200 nautical miles(20 knots) 1.2 数学模型
1.2.1 网格划分与边界条件
采用ICEM CFD对“阿利•伯克”级驱逐舰模型进行网格划分。由于“阿利•伯克”级驱逐舰的舰身结构不规则,采用非结构网格进行划分,远场采用结构网格进行划分。
“阿利•伯克”级驱逐舰的舰身网格如图 3所示,整体网格如图 4所示。
通过查阅相关文献资料[8]获得“阿利•伯克”级驱逐舰流场计算边界条件,驱逐舰模型来流方向远场网格边界设置为速度入口,速度为舰船航速28节(52 km/h),在底部方向为水面,忽略气、液交界面,设置为固壁,在其他方向边界设置为压力远场;烟囱入口为压力入口,根据舰船使用燃油组分结构式,计算得到燃烧排放尾气中CO2质量分数WCO2=0.0528,H2O质量分数WH2O=0.0216。
1.2.2 流场计算数值模型
在离散化网格模型基础上采用商业CFD软件ANAYS FLUENT对驱逐舰的流场特性进行求解。在FLUENT数值计算中采用基于压力的隐式求解器,湍流模型选择SST k-ε模型,辐射换热选用DO模型,烟囱内工质燃烧采用组份输运模型,工质选择不可压理想气体,工作压力为标准大气压。
本文对“阿利•伯克”级驱逐舰巡航稳定状态进行仿真,在巡航状态下,驱逐舰周边空气流场是一种复杂的非稳态流动,流体的各种物理参数,如温度、压力、速度等都随时间与空间发生随机的变化,非稳态的Navier-Stokes方程适用于湍流的复杂瞬时运动。本文湍流模型选择工程中应用最为广泛的k-ε模型,在k-ε模型中,为了使流体方程组封闭,引入了湍动能k,以及其散度率ε[9]。ε被定义为:
$$\varepsilon=\frac{\mu}{\rho} \overline{\left(\frac{\partial \mu_i^{\prime}}{\partial x_k}\right)\left(\frac{\partial \mu_i^{\prime}}{\partial x_k}\right)}$$ (1) 式中:μ是动力粘度;ρ是密度。
湍动粘度μt可表示成k和ε的函数,即:
$$\mu_{\mathrm{t}}=\rho C_\mu \frac{k^2}{\varepsilon}$$ (2) 式中:Cμ为常数。
在标准k-ε模型中,与k和ε对应的输运方程为:
$$\left\{\begin{array}{c}\frac{\partial(\rho k)}{\partial t}+\frac{\partial\left(\rho k \mu_i\right)}{\partial x_i}=\frac{\partial}{\partial x_j}\left[\left(\mu+\frac{\mu_t}{\rho_k}\right) \frac{\partial k}{\partial x_j}\right]+ \\ G_k+G_{\mathrm{b}}-\rho \varepsilon-Y_{\mathrm{M}}+S_k \\ \frac{\partial(\rho \varepsilon)}{\partial t}+\frac{\partial\left(\rho \varepsilon \mu_i\right)}{\partial x_i}=\frac{\partial}{\partial x_j}\left[\left(\mu+\frac{\mu_t}{\rho_k}\right) \frac{\partial k}{\partial x_j}\right]+ \\ G_{1 \varepsilon} \frac{\varepsilon}{k}\left(G_k+G_{3 \varepsilon} G_{\mathrm{b}}\right)-G_{2 \varepsilon} \rho \frac{\varepsilon^2}{k}+S_{\varepsilon}\end{array}\right.$$ (3) 式中:Gk是由于平均速度梯度引起的湍动能k的产生项;Gb是由于浮力引起的湍动能k的产生项;YM代表可压湍流中脉动扩张的贡献;C1ε、C2ε、C3ε为经验常数;ρk和ρε分别是与湍动能k和耗散率ε对应的Prandtl数,Sk和Sε是用户定义的源项[10]。
考虑舰船燃油燃烧后排出尾气具有多种气体成分,且不同气体成分具有不同的辐射能力,因此在流场计算过程中,需要考虑气体组分的影响,计算过程中引入组分输运方程。
在流场中,对于某组分Yi,有如下的守恒方程:
$$\frac{\partial}{\partial t}\left(\rho Y_i\right)+\nabla \cdot\left(\rho V Y_i\right)=-\nabla \cdot J_i+R_i+S_i$$ (4) 式中:Ri是化学反应过程中组分Yi的净生成率;Si是离散相引入的生成率与人工定义的源项之和;Ji是组分Yi的扩散流率,在湍流条件下可写为:
$$J_i=-\left(\rho D_{i, m}+\frac{\mu_t}{s c_t}\right) \nabla Y_i-D_{T, i} \frac{\nabla T}{T}$$ (5) 1.2.3 红外辐射计算模型
本文舰船目标的红外辐射计算采用基于逆向蒙特卡洛法(Reverse Monte Carlo Method,RMCM)模型,RMCM对物理过程进行直接模拟,不需要对入射平面的空间立体角进行离散,可以比较容易地解决包含复杂几何形状和各向异性散射等问题,在处理非均匀介质的辐射传输问题时,没有繁琐的积分求和运算,计算时只与表面及介质的本身辐射相联系,避免了求解固体壁面的有效辐射,因此可以取得很大的模拟量,提高了计算的精度[11]。
目标在探测平面处的入射光谱辐射照度Hλ计算公式为:
$$H_\lambda=\int_{\varOmega_{\mathrm{t}}} L_\lambda(\vec{s}) \cos \theta \mathrm{d} \varOmega_{\mathrm{d}}$$ (6) 式中:Lλ是λ波段辐射亮度;θ是探测平面的法线与入射方向夹角;Ω是探测平面立体角。
按照离散传递法的观点,求解上述积分式需要将入射立体角Ωd离散为很多微元立体角,然后在微元立体角中心求解辐射传输方程,得到特征射线在入射方向上到达探测点处的有效辐射亮度,从而将公式(6)转化为数值求和运算。而RMCM方法则不用将入射立体角Ωd离散,它会在Ωd立体角空间内随机地发射N条射线,利用概率密度函数判断射线的吸收点,以这N个具有统计意义的辐射源来代替实际的辐射源[12],因此可将公式(6)写为:
$$ {H_\lambda } = \sum\limits_{i = 1}^N {\left( {{L_{{\text{b}}\lambda }}\left( i \right)\cos {\theta _i}/N} \right)} \cdot {\varOmega _{\text{d}}} $$ (7) 式中:Lbλ(i)为第i条随机射线吸收点处的黑体光谱辐射亮度;θi为第i条随机射线与探测面处法线夹角,当探测点距离目标距离d很远时,cosθi≈1,将公式(7)代入辐射强度计算方程Iλ=Hλ×d2以及Ωλ=A/d2,可得到探测点处光谱辐射强度表达式:
$$ {I_\lambda } = {A_{\text{d}}}\sum\limits_{i = 1}^N {{L_{{\text{b}}\lambda }}\left( i \right)/N} $$ (8) 式中:Ad为目标区域在垂直于探测方位平面上的投影面积。
2. 流场特性计算结果
2.1 温度场
“阿利•伯克”级驱逐舰烟囱尾流温度场与壁面温度场的仿真计算结果如图 5、图 6所示,从图中可以看出,在烟囱出口处尾流温度最高,最高温度达到688.5 K,随着高温尾流与周围空气掺混,尾流温度沿着轴向与径向迅速降低,在一个舰身长度位置尾流温度与空气温度一致。
舰船壁面温度高温位置位于烟囱出口附近,因为靠近烟囱出口位置,受高温尾流热对流与热辐射影响,靠近烟囱出口的桅杆壁面温度较舰体其他壁面温度高,最高达360 K。
2.2 速度场
“阿利•伯克”级驱逐舰流场速度场的仿真计算结果如图 7所示,高温尾流经轮机燃烧从烟囱出口加速排出,尾流最大流速达45 m/s;受舰体遮挡,舰体壁面附近出现滞止区域,流速趋近于0。
2.3 CO2质量浓度场
“阿利•伯克”级驱逐舰流场CO2浓度质量分数的计算结果如图 8所示,驱逐舰燃料为重油,燃烧后尾流中主要气体成分为CO2等,在烟囱出口处CO2质量分数最高,达0.119,随着与空气逐渐掺混,尾流中CO2质量分数逐渐降低。
3. 红外特性计算结果
3.1 参数设置
基于ANSYS FLUENT的仿真计算结果,利用红外辐射理论,计算“阿利·伯克”级驱逐舰红外辐射特性。
红外仿真计算参数设置如表 2所示。
表 2 红外仿真计算参数设置Table 2. Infrared simulation calculation parameters settingInfrared calculation setting parameters Value Detection range/km 5 Number of detection points 60 Gas components H2O, CO2 Gas spectral band model Narrow spectral band Solid emissivity 0.8 Calculation method for atmospheric
transmittanceModtran Spectral calculation range/μm Medium-wave: 3-5
Long-wave: 8-12红外仿真探测点分布如图 9所示,共60个探测点。
3.2 中波红外计算结果
中波波段(3~5 μm)红外计算仿真计算结果如图 10所示,选择正上方、正侧方、前侧方、后侧方4个典型探测点进行展示,可以看出,在中波波段探测下,烟囱高温壁面及排出的高温尾流有着很强的红外辐射特征,而温度较低的舰身在中波探测下几乎不可见。
驱逐舰在中波波段(3~5 μm)典型探测点光谱曲线如图 11所示,在正侧方、前侧方、后侧方探测角度下的红外辐射主要来自于高温尾流,而高温尾流由于对称性,在这3个探测角度上的可视投影面积基本一致,因此3个探测角度下的中波波段红外光谱辐射强度基本一致,由于H2O和CO2分子的吸收与发散作用出现波峰与波谷,在4.6 μm和4.9 μm处为波峰,光谱辐射强度最大值在60000 W/(sr·μm)以上。
在正上方探测角度下的红外辐射由烟囱高温壁面和高温尾流贡献,因此不同于其他3个探测角度在强吸收波段内(3.4~4.2 μm、4.6~4.8 μm)光谱辐射强度值很低,由于高温壁面的贡献,在正上方探测角度下光谱辐射强度在这些波段内依然表现出很强的辐射特征,光谱辐射强度均在6000 W/(sr·μm)以上。但同时相比于其他探测角度,由于正上方探测角度下高温尾流可视面积小,导致在4.6 μm和4.9 μm两处波峰处的光谱辐射强度较低,最高为28000 W/(sr·μm)。
3.3 长波红外计算结果
长波波段(8~12 μm)仿真计算结果如图 12所示,选择正上方、正侧方、前侧方、后侧方4个典型探测点,可以看出,相较于中波波段,除高温尾流外,在长波红外下舰身辐射特征也非常明显,舰体轮廓清晰可见。
驱逐舰在长波波段(8~12 μm)典型探测点光谱曲线如图 13所示,舰体蒙皮是长波波段主要的红外辐射源,从正上方、正侧方、前侧方、后侧方视角,舰体投影面积逐渐减小,因此在舰体温度各方向基本一致的情况下,目标的光谱辐射强度也逐渐降低。
从仿真计算结果可看出,由于在正上方视角下驱逐舰目标可视投影面积最大,在后侧方视角下可视投影面积最小,因此长波波段下红外辐射强度在正上方视角下辐射强度最高,最大值达18200 W/(sr·μm),在后侧方长波辐射强度值最小。
3.4 仿真模型准确性验证
公开资料无法获取外场实测“阿利·伯克”级驱逐舰及相似军舰目标的红外辐射特征分布。因此为验证仿真模型与结果准确性,以民用渔船为验证对象(图 14),对比分析了中波和长波波段渔船外场实测数据与仿真数据,结果如图 15所示,从对比结果可以看出,仿真结果与外场试验实测结果整体趋势相同,整体吻合度较好,满足仿真准确性的要求。
4. 结论
针对红外导弹对驱逐舰目标的红外辐射特性的研究需求,本文搭建了“阿利•伯克”级驱逐舰目标红外辐射特性模型,首先建立了“阿利•伯克”级驱逐舰的三维物理模型,通过仿真模拟计算得到了模型在巡航状态下的流场特征与红外辐射特征,并采用民用渔船实测数据与仿真数据对比,验证了“阿利•伯克”级驱逐舰模型计算准确度,可用于反舰红外制导导弹打击舰船目标作战评估及战法推演。所得到的主要结论有:
1)在巡航状态下,“阿利•伯克”级驱逐舰高温部件主要是烟囱壁面和羽流,温度最高达688.5 K,尾流的最大流速达45 m/s,且尾流中CO2质量分数最高达0.119;
2)舰船目标在中波和长波波段下红外辐射特征差异明显,在中波波段探测下,仅可见高温尾流和高温壁面,在长波波段探测下,低温舰体和高温尾流均清晰可见;
3)舰船目标的中波波段光谱辐射主要由高温尾流贡献,长波波段光谱辐射主要由舰体壁面贡献,且中波波段光谱辐射强度最大值(65000 W/(sr·μm))明显大于长波波段光谱辐射强度最大值(18200 W/(sr·μm));
4)舰船目标的光谱辐射强度在不同探测角度下差异明显,主要是因为在不同探测角度下目标的可视投影面积区别较大。
综上所述,针对作战实际情况可对红外导弹探测波段选择提供支撑,在明确重点打击目标部位后,依据中长波探测差异综合判断选择,支撑单波段或者多波段红外导弹探测能力论证。
-
表 1 “Nato_camp”图像融合客观评价指标
Table 1 Objective evaluation index of Nato_camp images
Method Q0 Qw Qe Qab/f SR 0.5857 0.7322 0.7151 0.3216 ASR 0.5966 0.7617 0.7439 0.4673 JSR 0.5649 0.7311 0.7140 0.3760 The proposed 0.5926 0.7737 0.7556 0.4871 表 2 “Kaptein”图像融合客观评价指标
Table 2 Objective evaluation index of Kaptein images
Method Q0 Qw Qe Qab/f SR 0.5759 0.7365 0.7193 0.2489 ASR 0.5760 0.7659 0.7480 0.4206 JSR 0.5445 0.7231 0.7062 0.3400 The proposed 0.5794 0.7941 0.7755 0.4807 表 3 “Duine”图像融合客观评价指标
Table 3 Objective evaluation index of Duine images
Method Q0 Qw Qe Qab/f SR 0.6426 0.8760 0.8555 0.2463 ASR 0.6781 0.9247 0.9031 0.5604 JSR 0.3215 0.7440 0.7266 0.2091 The proposed 0.6750 0.9312 0.9094 0.4783 表 4 “Road”图像融合客观评价指标
Table 4 Objective evaluation index of road images
Method Q0 Qw Qe Qab/f SR 0.6909 0.7994 0.7807 0.5101 ASR 0.6941 0.8053 0.7865 0.6073 JSR 0.6346 0.7763 0.7581 0.5210 The proposed 0.6924 0.8099 0.7909 0.5815 表 5 不同融合方法评价指标的平均值
Table 5 The average evaluation for different fused methods
Method Q0 Qw Qe Qab/f SR 0.6238 0.7860 0.7677 0.3276 ASR 0.6358 0.8156 0.7965 0.5066 JSR 0.5264 0.7436 0.7262 0.3544 The proposed 0.6349 0.8272 0.8079 0.5053 -
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004
[3] Elguebaly T, Bouguila N. Finite asymmetric generalized Gaussian mixture models learning for infrared object detection[J]. Computer Vision and Image Understanding, 2013, 117(12): 1659-1671. DOI: 10.1016/j.cviu.2013.07.007
[4] LI H, DING W, CAO X, et al. Image registration and fusion of visible and infrared integrated camera for medium-altitude unmanned aerial vehicle remote sensing[J]. Remote Sensing, 2017, 9(5): 441. DOI: 10.3390/rs9050441
[5] LI S, YANG B, HU J. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2011, 12(2): 74-84. DOI: 10.1016/j.inffus.2010.03.002
[6] FU Z, WANG X, XU J, et al. Infrared and visible images fusion based on RPCA and NSCT[J]. Infrared Physical Technology, 2016, 77: 114-123. DOI: 10.1016/j.infrared.2016.05.012
[7] ZHANG Q, LIU Y, Blum R, et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: a review[J]. Information Fusion, 2018, 40: 57-75. DOI: 10.1016/j.inffus.2017.05.006
[8] ZHANG Z, XU Y, YANG J, et al. A survey of sparse representation: Algorithms and Applications [J]. IEEE Access, 2015(3): 490-530. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=7102696
[9] YANG B, LI S. Multifocus image fusion and restoration with sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892. DOI: 10.1109/TIM.2009.2026612
[10] YU N, QIU T, BI F, et al. Image features extraction and fusion based on joint sparse representation[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5): 1074-1082. DOI: 10.1109/JSTSP.2011.2112332
[11] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]. IET Image Processing, 2014, 9(5): 347-357. http://ieeexplore.ieee.org/document/7095698
[12] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[13] WANG Z, YANG F, PENG Z, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]. Optik, 2015, 126(23): 4184-4190. DOI: 10.1016/j.ijleo.2015.08.118
[14] WANG Z, XU J, JIANG X, et al. Infrared and visible image fusion via hybrid decomposition of NSCT and morphological sequential toggle operator[J]. Optik, 2020, 201: 163497. DOI: 10.1016/j.ijleo.2019.163497
[15] 杨风暴. 红外偏振与光强图像的拟态融合原理和模型研究[J]. 中北大学学报: 自然科学版, 2017, 38(1): 1-7. DOI: 10.3969/j.issn.1673-3193.2017.01.001 YANG Fengbao. Research on Theory and Model of Mimic Fusion Between Infrared Polarization and Intensity Images[J]. Journal of North University of China, 2017, 38(1): 1-7. DOI: 10.3969/j.issn.1673-3193.2017.01.001
[16] LI H, WU X J. DenseFuse: A Fusion Approach to Infrared and Visible Images[J]. IEEE Transaction Image Processing, 2019, 28(5): 2614-2623. DOI: 10.1109/TIP.2018.2887342
[17] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[18] 姜晓林, 王志社. 可见光与红外图像结构组双稀疏融合方法研究[J]. 红外技术, 2020, 42(3): 272-278. http://hwjs.nvir.cn/article/id/hwjs202003010 JIANG Xiaolin, WANG Zhishe. Visible and Infrared Image Fusion Based on Structured Group and Double Sparsity[J]. Infrared Technology, 2020, 42(3): 272-278. http://hwjs.nvir.cn/article/id/hwjs202003010
[19] DONG W, LEI Z, SHI G. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2012, 22(4): 1620-1630. http://ieeexplore.ieee.org/document/6392274/
[20] ZHANG J, ZHAO D, GAO W. Group-based sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336-3351. DOI: 10.1109/TIP.2014.2323127
[21] WANG Z, Bovik A, A universal image quality index[J]. IEEE Signal Processing Letters. 2002, 9(3): 81–84. DOI: 10.1109/97.995823
[22] Piella G, Heijmans H. A new quality metric for image fusion[C]//Proceedings of the 10th International Conference on Image Processing, 2003: 173-176.
[23] Xydeas C. S, Petrovic V, Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309. DOI: 10.1049/el:20000267