Image Fusion Based on Simplified Two-Dimensional Kaniadakis Entropy Segmentation Algorithm and Fast Guided Filtering
-
摘要:
红外与可见光图像融合是红外技术研究中的关键领域之一。为了得到目标明确、细节丰富的红外与可见光融合图像,本文提出了一种改进的二维Kaniadakis熵分割法结合快速引导滤波的红外与可见光图像融合方法。首先,使用改进的二维Kaniadakis熵分割法(S2DKan)对红外图像进行充分地目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的高频分量进行快速引导滤波,以保留丰富的可见光细节信息。由提取的目标图像与红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法得到的融合图像目标明确、背景信息清晰,而且算法效果稳定。
-
关键词:
- 图像融合 /
- 二维Kaniadakis熵 /
- 快速引导滤波 /
- 双通道脉冲发放皮层模型
Abstract:In the field of infrared technology, the fusion of infrared and visible images is important. To obtain infrared and visible fusion images with clear targets and rich details, this paper proposes an infrared and visible image fusion method based on an improved two-dimensional Kaniadakis entropy segmentation method and fast guided filtering. First, a simplified two-dimensional Kaniadakis entropy segmentation algorithm (S2DKan) is used to fully extract the target from the infrared image. Then, the non-subsampled shearlet transform (NSST) is performed on the infrared and visible images to obtain the low- and high-frequency sub-bands, and fast guided filtering is applied to the obtained high-frequency components to retain rich visible image details. The low-frequency fusion coefficient is obtained from the extracted target image and the infrared and visible low-frequency components using the low-frequency fusion rule. The high-frequency fusion coefficient is obtained from the enhanced high-frequency sub-band components using the dual-channel spiking cortical model (DCSCM). Finally, the fused image is obtained using the inverse NSST transform. Experimental results show that the fusion image obtained by the proposed algorithm has clear targets and background information and that the algorithm's effect is stable.
-
0. 引言
随着红外制导导弹速度和射程的不断提高,加之其钝头外形[1],靠近红外整流罩表面的来流高马赫数空气,特别是附面层部分受到摩擦和阻滞,产生大量热气流,这些热气流以对流换热形式进入红外整流罩结构,使结构受热,即气动加热qw[2]。qw对整流罩结构有很大影响,当其加热产生的热应力σ热超过整流罩强度时,整流罩强度极限σmax失效(炸裂)。这就是所谓“热障”问题[3]。由于热障问题的主动因素是σ热,因此,为了缓解“热障”,针对整流罩σ热展开分析,给设计提供必要的力学参考。
目前,有多种关于极端环境下整流罩热应力σ热冲击研究。兵器209所红外整流罩材料尖晶石spinel试片热震冲击[4],航空014基地的蓝宝石sapphire红外整流罩热应力冲击[5],长春光机所的氟化镁(magnesium fluoride)共形整流罩热应力分析[6],上海交大与航天八院半球形氟化镁红外整流罩的电弧风洞试验分区与热应力分析[1],美国雷神公司(Raytheon Company)的红外导弹整流罩驻点气动热qw简化分析[7],美国约翰·霍普金斯大学应用物理实验室(Johns Hopkins APL)的蓝宝石sapphire红外导弹整流罩0°,30°,60°驻点气动热qw试验研究[8],美国雷神公司的红外导弹整流罩气动热qw冲击综合品质因素分析[9],然而,关于红外整流罩自由状态纯热应力σ纯热的分析,报道较少。
红外整流罩自由状态纯热应力σ纯热的分析是一种根据热弹原理[1-2],为整流罩早期材料的选取和是否需要继续进行下一步整流罩约束状态的研究,提供一种简单明了的快捷判断方法。虽然导弹飞行过程中,整流罩处于与金属壳体的位移约束WΓ约束状态,并不存在自由状态的整流罩,但是根据热弹原理[1-2],热应力σ泛热分为两种,一种是纯热应力σ纯热,另一种是热应力σ热,σ热由于约束位移WΓ的引入,其值大于单纯由温度梯度▽T [1]引起的σ纯热,所以,根据热应力σ热的这个特性,将σ纯热从热应力σ热中剥离出来单独分析,抛开WΓ的影响。然后,根据均匀温度场T均匀的▽T最小,结合▽T与纯热应力σ纯热成正比,判断由T均匀引起的σ纯热最小,因此,以T均匀引起的σ纯热单独冲击自由状态整流罩,可据此查看整流罩材料强度极限σmax能否抵抗这种最小σ纯热,如果能,即σmax大于σ纯热,结合冯氏判据,继续整流罩约束状态热应力σ热研究;否则,更换σmax更大的整流罩材料。显然,由于不考虑WΓ的影响,抓住引起整流罩热炸裂的主动因素▽T,所以,红外整流罩σ纯热分析是导弹整流罩研制早期,高效选材的一种快速力学判据(Fast Force Judgement,FFJ)。而且,这种方法还可用于导弹整流罩热炸裂故障诊断,因为单从导弹整流罩热炸裂的结果看,并不能分清是σ热使得整流罩炸裂,还是σ纯热令整流罩热炸裂。所以,需要将σ纯热剥离出来单独分析,分清楚究竟是单独σ纯热就导致整流罩炸裂,还是叠加了位移约束WΓ的σ热所致。如果是σ纯热导致,那就更换材料;如果是σ热,可以调整位移约束WΓ,为解决整流罩热炸裂提供一种办法。故,该方法可用于诊断风洞试验中的整流罩是由于σ纯热导致热炸裂,还是σ热所致,只要将均匀温度场T均匀变更为试验所测的温度边界条件T风洞;同理,也可用于诊断挂飞导弹整流罩与试飞导弹整流罩的热炸裂原因,根据诊断,采取不同的解决方案。
此外,针对整流罩σ纯热求解中,由于其处于自由状态,刚度矩阵κ奇异,提出微约束WΓ微法解决刚度矩阵κ奇异。针对整流罩力学特征轴对称,提出采用轴对称简化热弹方程描述整流罩σ纯热,既突显整流罩力学特性、便于分析查看,又节约计算资源。
1. 纯热应力分析
红外整流罩纯热应力分析分为两个部分、两个关键点:其一是整流罩材料的选择与几何外形尺寸的确定;其二温度边界条件TΓ的设置。一个关键点是弹性力学边界条件W的设置,微约束WΓ微法解决自由状态刚度矩阵κ奇异;另一个关键点是纯应力σ纯热分析轴对称简化。
1.1 材料及几何外形尺寸
考虑到导弹红外双色制导以及抵抗气动力与气动热的需求,整流罩材料需要较高的红外中波和长波透射率τ以及较高的材料强度极限σmax,目前可供选择的典型材料有硫化锌ZnS、硒化锌ZnSe、CVD金刚石,其2 mm厚度的τ和σmax如表 1所示。
表 1 双色红外整流罩材料光学性能与力学性能(厚度2 mm)Table 1. Double wavelength infrared dome material optical and force property如表 1所示,CVD金刚石的综合指标是最好的,但其制备大尺寸球形壳体较困难,目前能够制备的球壳体直径ϕ70 mm,直径超过ϕ120 mm大尺寸球形壳体制备未见报道,而红外整流罩采用的大尺寸球形壳体直径普遍超过ϕ120 mm [13],故舍去CVD金刚石。比较ZnS与ZnSe,二者光学性能τ相似,文献报道经过热处理后的厚度5 mm的ZnS中波与长波的平均透射率τ平均达到73%[12],厚度6 mm的ZnS中波τ值接近70%,长波τ值达到72%[13],满足导弹红外成像制导需求[10-11],可以作为导弹整流罩材料。ZnS力学性能σmax较ZnSe好,但其100 MPa的σmax也不高,难以抵抗较大应力σ的冲击,σ由气动力P与气动热qw产生。因此,有必要分析其P,确定整流罩外形尺寸,再根据气流速度v和整流罩外形尺寸得出气动热qw,由qw得出热应力σ热,由于P产生的气动应力σp≪σ热,σp不作重点分析。综合分析光学双色透射率τ,力学材料强度极限σmax,大尺寸半球壳体制备工艺三方面,初步选择ZnS作为双色红外整流罩制备材料。然后,根据气动力P和整流罩内部空间要求设置ZnS整流罩外形及尺寸,文献[14]指出,设定整流罩飞行速度V飞行1~3Ma、零攻角、高度2.5 km,考虑整流罩必须满足σmax大于σp和装载红外探测器转框的要求,将整流罩设置为直径d为150 mm、厚度b为6 mm的半球壳体。如图 1所示。
1.2 温度边界条件TΓ
整流罩根据气动力P设定几何外形尺寸,以此为基础,进一步分析导致整流罩炸裂的主要因素热应力σ热,为了抛开位移约束WΓ影响,快速判断初选材料是否能用,又从热应力σ热剥离出主导因素纯热应力σ纯热。单独分析自由状态下σ纯热,探索最小的σ纯热,找出既能覆盖红外探测器工作温区,同时产生的纯热应力σ纯热最小(σ纯热min)的温度边界条件TΓ,借此,以σ纯热中最小的σ纯热min试探整流罩强度极限σmax,查看整流罩强度极限σmax是否大于σ纯热min,据此判断材料的取舍。如果材料σmax大于σ纯热min,继续下一步约束研究;否则,换材料。整流罩纯热应力σ纯热与热应力σ纯热min示意图如图 2所示。
考虑到整流罩由于受到气动加热qw作用,其过高的温度产生的热辐射Γ会导致红外探测器过饱和,严重时会致盲,丧失探测功能,文献[15]指出:整流罩温度不能超过450 K,否则会导致红外探测器过饱和。所以将整流罩最高温度设置为450 K。根据文献[1]指出纯热应力σ纯热由温度梯度▽T决定,与之成正比,显然,温度均匀场的σ纯热是最小的,综合以上两点,将整流罩外壁面Γ外壁的温度边界条件TΓ设置为450 K均匀场T外均。
同理,整流罩内壁面也设置为温度均匀场,由于整流罩密封,将其内壁面设置为室温300 K,综合以上两点,整流罩内壁面Γ内壁温度边界条件TΓ设置为300 K均匀场T内均。
考虑到整流罩密封,将其内部空气设置为静止状态,所以整流罩内壁面与空气的热交换设为自然对流,自然对流系数h,由式(1)确定[16]:
$$ h = 1.24{(\frac{{\Delta t}}{r})^{\frac{1}{4}}} $$ (1) 根据这个公式,将Δt=450-300=150℃,r=0.069 m,代入计算,得到自然对流换热系数h=7.12 W/m2·℃。
所以,整流罩温度边界条件:外壁面Γ外壁为450 K均匀场T外均,内壁面Γ内壁为300 K均匀场T内均,内壁面Γ内壁与空气的热交换设为自然对流,自然对流系数h=7.12 W/m2·℃,由于考虑的是径向温度梯度▽T,整流罩端面Γ端面温度边界条件TΓ与之垂直,故,不计端面Γ端面温度边界条件。
1.3 微约束
1.3.1 问题分析
对于整流罩纯热应力σ纯热的分析,由于其处于自由状态,在采用有限元计算时,刚度矩阵κ奇异。针对这个问题,从弹性力学原理分析,κ奇异是由于其离散的热弹方程TE本身在描述整流罩纯热应力σ纯热分析时,整流罩处于自由状态,也就是说,没有弹性力学边界条件WΓ的约束,热弹方程处于自由状态L,其解δ是通解δ通,不是唯一的特解δ特,反应在离散的有限元方程组上,就是刚度矩阵κ奇异。
1.3.2 解决方法
根据这个分析,提出一种有别于以往采用罚函数法,加大数C至奇异矩阵A对角线元素,消除A奇异[17]从数学层面解决A奇异的办法——微约束法,追本溯源,A具化为物理力学中的刚度矩阵κ,根据热弹力学原理,从物理层面解决κ奇异的问题。刚度矩阵κ奇异的本质原因是整流罩没有弹性力学边界条件WΓ的约束,要解决刚度矩阵κ奇异,只有施加约束WΓ,但是,求解整流罩σ纯热又要求没有WΓ,为了解决这个矛盾,提出微约束法,通过设置一个微小的弹性力学第一边界条件微位移约束WΓ微,既满足弹性力学边界条件FΓ的约束,消除刚度矩阵κ奇异,又保证求解整流罩纯热应力σ纯热所必须的自由状态。即根据纯热应力σ纯热是由于温度梯度▽T引起的热膨胀Δl引起的,那么根据牛顿第三定律作用力F与反作用力F反的互相作用在施力物体与受力物体上,只要约束整流罩边界的施力物体置于膨胀Δl边缘,此时,受力物体整流罩的反作用力F反,即σ纯热不能作用于施力物体,那么,施力物体自然不会约束整流罩,只需将弹性力学边界条件位移约束W设置在整流罩受热膨胀Δl边缘,由于计算误差,位移约束W不可能正好等于Δl热膨胀,会产生一个偏差位移W偏差,这个偏差位移W偏差就是微位移约束WΓ微,它巧妙的解决了求解整流罩纯热应力σ纯热刚度矩阵奇异κ与自由状态之间的矛盾,如图 3所示。。
整流罩壁面位移约束W由式(2)确定[18]:
$$ W = \Delta l = - \alpha \Delta Tr $$ (2) 式中:Δl为膨胀量;α为膨胀系数;ΔT为温差;r为整流罩内半径。
观察整流罩外表面Γ外,即外壁面Γ外壁、内壁面Γ内壁、端面Γ端,根据圣维南应力σ局部集中原理,Γ端应力集中系数ξ最大,Γ外壁则容易构成封闭力学结构,影响整流罩自由状态,Γ内壁应力集中系数ξ小且为开放力学结构,在此处施加微约束,最逼近整流罩自由状态,所以,选择Γ内壁为约束对象,即弹性力学边界条件W的作用对象为Γ内壁。根据式(2),将α=6.8×10-6 K-1,ΔT=450-300=150K,r=0.069m代入上式计算,得出W=7.038×10-5 m,即Γ内壁的微约束为WΓ微=7.038×10-5 m。
至此,整流罩自由状态通过微约束法求解纯热应力σ纯热,同时,又消除刚度矩阵κ奇异。微约束的对象是内壁面Γ内壁,大小是WΓ微=7.038×10-5 m,方向径向$\vec r$。
1.4 轴对称
结合导弹研制早期工况零攻角设置要求,参考上述整流罩几何外形及材料,温度边界条件TΓ,弹性力学边界条件位移约束W的设置。可以得出整流罩纯热应力σ纯热分析关于整流罩子午面φ的轴线对称,包括几何外形半球壳体轴对称;材料是均质ZnS,自然也是轴对称;温度边界条件TΓ轴对称;弹性力学边界条件位移约束W轴对称,所以,为了抓住整流罩轴对称特性,突显其轴对称力学特性,给后续研究提供鲜明的力学参考,同时,也为了节约计算资源,因此,将三维整流罩纯热应力分析简化为轴对称,由以下方程表述[19]:
$$ \begin{array}{l} \frac{{\partial {\sigma _r}}}{{\partial r}} + \frac{{\partial {\tau _{zr}}}}{{\partial z}} + \frac{{{\sigma _r} - {\sigma _\Phi }}}{r} + {f_r} = 0\\ \frac{{\partial {\sigma _z}}}{{\partial z}} + \frac{{\partial {\tau _{rz}}}}{{\partial r}} + \frac{{{\tau _{rz}}}}{r} + {f_z} = 0 \end{array} $$ (3) 式中:σr、σz、σϕ为轴对称结构体径向、轴向、环向热应力;fr、fz为径向、轴向体力,由于结构体轴对称,环向体力为0,所以方程中没有环向平衡微分方程。
整流罩轴对称示意如图 4。
1.5 强度失效判据
根据冯氏应力判据,破坏失效的发生条件是当应变能量达到其破坏值。这种情况下,应变能量的等效应力在本文中定义如下[20]:
$$ {\sigma _{{\rm{eq}}}} = \sqrt {\frac{1}{2}[{{({\sigma _1} - {\sigma _2})}^2} + {{(\sigma {}_2 - {\sigma _3})}^2} + {{({\sigma _3} - {\sigma _1})}^2}]} \le [\sigma ] $$ (4) 式中:σ1,σ2,σ3为主应力,Pa;[σ]为许用应力,MPa。针对ZnS红外整流罩,[σ]就是ZnS的材料强度极限σmax,其值为100 MPa。
在各向同性体之中,应变与应力主向是重合的,此时,主应力与σr、σz、σϕ与σ1,σ2,σ3是相等的[19],也就是说,求出σr、σz、σϕ,代入冯氏应力判据,可以判断应力破坏失效。
2. 物理模型
根据以上分析讨论,以Ansys17为纯热应力σ纯热分析平台,采用APDL(ANSYS Parameter Design Language)语言编写红外整流罩纯热应力分析物理模型。据此,得到ZnS能否用于设定边界条件下整流罩的选材判据以及开展下一步约束研究的依据,同时,验证红外整流罩纯热应力σ纯热分析是一种高效快捷的力学判断方法。
2.1 ZnS热物性参数
温度场热导率λ是热弹计算中重要的物性参数,λ描述物质导热能力的高低,λ的确定非常重要,工程计算中用到的λ数值通过专门实验测定。ZnS的热物性参数如表 2所示。
2.2 计算与分析
根据红外整流罩的几何尺寸及外形、温度边界条件TΓ、弹性力学边界条件W的讨论与分析,以及ZnS热物性参数的分析,得出ZnS红外整流罩物理模型,根据物理模型,以Ansys17为计算平台,采用APDL编程计算得出整流罩纯热应力,并展开分析。
1)模型描述
几何尺寸及外形:直径ϕ150 mm,厚度b为6 mm的半球形壳体;轴对称简化;
温度边界条件:外壁面Γ外壁为450 K均匀场T外均,内壁面300 K均匀场T内均,自然对流换热,换热系数h=7.12 W/m2·℃,端面不施加温度边界条件;轴对称简化;
弹性力学边界条件:微约束WΓ微,内壁面Γ内壁位移约束WΓ微=7.038×10-5 m,轴对称简化;
2)力学分析单元与网格划分
有限元建模分析采用Ansys17,选择APDL语言建模,并选择相应的轴对称热分析单元PLANE55进行求解,为确保应力计算符合有限元单元体体内应力一致性,采用放射式划分,即内壁密实,外壁松弛。选择与热分析单元PLANE55对应的结构分析单元PLANE42计算纯热应力σ纯热。
3)结果与分析
根据上述有限元模型讨论分析,编写APDL程序制作出纯热应力σ纯热有限元模型,求解、计算出温度场T与纯热应力σ纯热,其等温分布图 5可知,在整流罩外壁面Γ外壁温度边界条件T均匀=450K(180℃)均布加载下,温度场T的温度梯度▽T沿径向逐层递减分布,T最低处为内壁面Γ内壁,温度179.6℃,各层温度均匀分布。
纯热应力计算结果如图 6所示,剔除轴对称设置引起的少数计算应力σ计算尖锐点,整流罩的σ纯热基本均布,纯热应力值σ纯热为30MPa,小于ZnS材料强度极限σmax的100 MPa(根据1.4,冯氏应力判据)。
综合上述模型热应力计算结果和分析,自由状态下的ZnS红外整流罩,450 K温度载荷均布加载,不会导致整流罩炸裂σ纯热失效。也就是说,自由状态下的整流罩可以抗住最高温度450 K、以及内外表面最大温差150 K的热冲击。覆盖整流罩内红外探测器工况温差150 K。
3. 试验证明
根据2.2节ZnS整流罩物理模型纯热应力σ纯热分析得出,σ纯热小于σmax,可以开展下一步约束状态研究,采用与ZnS整流罩物理模型相同外形尺寸与热物性参数的整流罩实体,开展温度边界条件包络300~450 K的约束状态下热应力σ热冲击试验,试验结果表明整流罩并未产生热炸裂,即σ热小于σmax,如图 7所示。
根据热弹原理[1-2],ZnS红外整流罩自由状态的σ纯热小于其约束状态整流罩的σ热,结合试验结果σ热小于σmax,根据不等式传递性,得出σ纯热小于σmax,与模型计算结果σ纯热30MPa小于σmax 100MPa匹配,由此佐证了红外整流罩纯热应力σ纯热分析的正确性。同时,也验证了红外整流罩纯热应力σ纯热分析可为导弹整流罩早期选材研究提供一种快速判据。
4. 结论
针对红外整流罩热炸裂σmax失效,从其主要因素热应力σ热中剥离出纯热应力σ纯热分析,抓住σ纯热在σ热中的主导性,高效、简单、快捷地指出初步选择的整流罩材料是否能用,是一种红外整流罩研制早期的快速力学判断方法。
1)ZnS整流罩物理模型纯热应力σ纯热为30 MPa,小于其材料ZnS强度极限σmax=100 MPa,不必更换材料,可以开展下一步约束状态研究来模拟整流罩固结与导弹金属壳体的实际工作状态。在约束状态研究中,与模型相同的实体ZnS整流罩在σ热的冲击下,并不炸裂,即σ热小于σmax,结合热弹原理σ纯热小于约束状态的σ热,根据不等式传递性,得出σ纯热小于σmax,与模型计算结果σ纯热30 MPa小于σmax 100 MPa匹配,由此佐证了红外整流罩纯热应力σ纯热分析的正确性。而且,30 MPa的σ纯热与100 MPa的σ纯热相比较,占比η达到30%,验证了σ纯热分析在整流罩早期研制中,可作为一种选材和开展下一步研究的快速力学判据。
2)为了支撑纯热应力σ纯热分析的快速判断,根据σ纯热由温度梯度▽T决定且成正比的理论,提出采用▽T最小的温度均匀场T均匀来试探整流罩材料强度极限σmax的承受力,并且,T均匀应覆盖红外探测器工作温区。
3)从物理层面,提出微约束法解决整流罩自由状态求解纯热应力σ纯热刚度矩阵κ奇异的问题,有别于以往数学层面的罚函数大数矩阵法,更贴近力学边界条件。
4)针对红外整流罩轴对称特性,根据弹性力学原理,提出以轴对称方式简化三维分析,既凸显整流罩力学分析的主要特质,又节约计算资源。
5)红外整流罩纯热应力σ纯热分析还可以为后续的整流罩热炸裂提供故障诊断判据,也就是分清是σ纯热导致热炸裂,还是叠加位移约束WΓ所致,方便采取不同的应对策略,做到有的放矢,减少无效工作。
-
图 2 S2DKan法示例。(a) 原红外图像;(b) 红外图像的目标分割图像;(c) 中值滤波图像分割图像;(d) 中值滤波去掉的噪声图像;(e) 中值滤波增加的边缘点;(f) 最终的分割图像
Figure 2. S2DKan method example. (a) Infrared image 1; (b) Target segmentation of infrared images; (c) Median filtering for image segmentation; (d) Image with noise removed by median filtering; (e) Edge points added by median filtering; (f) Final segmented image
图 5 S2DKan法与1d-Kan对含椒盐噪图像的处理。(a1)~(a4) 红外图像;(b1)~(b4) 1d-Kan法对红外图像的分割效果;(c1)~(c4) S2DKan法对红外图像的分割效果
Figure 5. S2DKan method and 1d-Kan for processing salt noisy images. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of 1d-Kan method on infrared images; (c1)~(c4) the segmentation effect of S2DKan method on infrared images
图 6 S2DKan法与1d-Kan对含高斯噪声图像的处理。(a1)~(a4) 红外图像;(b1)~(b4) 1d-Kan法对红外图像的分割效果;(c1)~(c4) S2DKan法对红外图像的分割效果
Figure 6. S2DKan method and 1d-Kan for processing Gaussian noisy images. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of 1d-Kan method on infrared images; (c1)~(c4) the segmentation effect of S2DKan method on infrared images
图 7 四种不同图像分割方法效果对比。(a1)~(a4) 红外图像;(b1)~(b4) Tsallis相对熵对红外图像的分割效果;(c1)~(c4) 2D_Renyi对红外图像的分割效果;(d1)~(d4) Region grow法对红外图像的分割效果;(e1)~(e4) S2DKan法对红外图像的分割效果
Figure 7. Comparison of four different image segmentation methods. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of Tsallis relative Entropy method on infrared images; (c1)~(c4) the segmentation effect of 2D_Renyi method on infrared images; (d1)~(d4) the segmentation effect of region grow method on infrared images; (e1)~(e4) the segmentation effect of S2DKan method on infrared images
图 8 五组可见光与红外光图像。(a) man可见光图像;(b) meeting可见光图像;(c) traffic可见光图像;(d) tree可见光图像;(e) Kaptein可见光图像;(f) man红外图像;(g) meeting红外图像;(h) traffic红外图像;(i) tree红外图像;(j) Kaptein红外图像
Figure 8. Five groups of visible and infrared images. (a) Visible image of 'man'; (b) Visible image of 'meeting'; (c) Visible image of 'traffic'; (d) Visible image of 'tree'; (e) Visible image of 'Kaptein'; (f) Infrared image of 'man'; (g) Infrared image of 'meeting'; (h) Infrared image of 'traffic'; (i) Infrared image of 'tree'; (j) Infrared image of 'Kaptein'
图 9 五组图像融合效果对比。(a1)~(a5) IFCNN方法融合图像;(b1)~(b5) SDNet方法融合图像;(c1)~(c5) PIAFusion方法融合图像;(d1)~(d5) U2Fusion方法融合图像;(e1)~(e5) 本文方法融合图像
Figure 9. Comparison of five sets of image fusion effects. (a1)~(a5) IFCNN method for image fusion; (b1)~(b5) SDNet method for image fusion; (c1)~(c5) PIAFusion method for image fusion; (d1)~(d5) U2Fusion method for image fusion; (e1)~(e5) proposed method for image fusion
表 1 五组融合图像客观评价指标
Table 1 Objective evaluation indexes of 5 sets of fused images
Image set Algorithm AG SD MI EN QAB/F CC Man IFCNN 5.4231 8.2342 1.4358 6.2422 0.4536 0.6353 SDNet 5.5443 8.4744 1.6575 6.7445 0.3564 0.5567 PIAFusion 4.1214 8.7453 2.9123 6.7235 0.4234 0.5622 U2Fusion 5.8622 8.6323 1.6623 6.9422 0.3534 0.6534 Proposed 5.0938 9.1461 2.8520 7.1887 0.4274 0.8081 Meeting IFCNN 5.1634 8.3345 2.1345 7.1415 0.4246 0.3523 SDNet 4.5253 8.1435 1.3534 6.3262 0.4632 0.4235 PIAFusion 4.1523 8.2243 3.2141 6.2341 0.5232 0.2423 U2Fusion 4.3465 8.5346 1.8242 6.8141 0.4124 0.3265 Proposed 4.6096 8.6978 2.5561 6.9219 0.4769 0.5875 Traffic IFCNN 3.6325 6.8243 1.6421 6.1532 0.5262 0.6363 SDNet 3.0123 7.4235 2.9133 6.2522 0.4251 0.5234 PIAFusion 3.3346 7.8533 3.5633 6.5456 0.6654 0.6446 U2Fusion 2.4464 6.3744 1.9645 5.5574 0.4464 0.6755 Proposed 3.6690 7.9192 3.4328 6.7860 0.6074 0.8655 Tree IFCNN 6.2645 7.7546 1.1765 6.5353 0.3745 0.4756 SDNet 5.7575 8.3567 0.8643 6.3234 0.3124 0.4521 PIAFusion 5.1152 7.9346 2.6348 6.7346 0.5744 0.3584 U2Fusion 7.6464 8.8436 1.2243 7.0521 0.3423 0.4633 Proposed 5.9203 8.6942 2.8591 7.1712 0.4277 0.6027 Kaptein IFCNN 4.9463 8.0142 2.1355 6.8534 0.4333 0.5643 SDNet 4.3242 6.6343 1.5234 6.1515 0.3235 0.5432 PIAFusion 4.1214 7.2425 2.2435 6.1324 0.5552 0.4533 U2Fusion 4.4522 8.9414 2.3523 6.9351 0.4235 0.4312 Proposed 4.7293 9.0274 3.4800 7.3962 0.4889 0.9731 -
[1] 常天庆, 张杰, 赵立阳, 等. 基于可见光与红外图像融合的装甲目标检测算法[J]. 兵工学报, 2024, 45(7): 2085-2096. CHANG Tianqing, ZHANG Jie, ZHAO Liyang, et al. Research on armored vehicle detection algorithm based on visible and infrared image fusion[J]. Acta Armamentarii, 2024, 45(7): 2085-2096.
[2] ZHAO J, ZHOU Q, CHEN Y, et al. Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition[J]. Infrared Physics & Technology, 2013, 56: 93-99.
[3] ZHANG H, XU H, TIAN X, et al. Image fusion meets deep learning: a survey and perspective[J]. Information Fusion, 2021, 76: 323-336. DOI: 10.1016/j.inffus.2021.06.008
[4] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[5] LIU W, WANG Z. A novel multi-focus image fusion method using multiscale shearing non-local guided averaging filter[J]. Signal Processing, 2020, 166: 107252. DOI: 10.1016/j.sigpro.2019.107252
[6] 张洲宇, 曹云峰, 丁萌, 等. 采用多层卷积稀疏表示的红外与可见光图像融合[J]. 哈尔滨工业大学学报, 2021, 53(12): 51-59. ZHANG Zhouyu, CAO Yunfeng, DING Meng, et al. Infrared and visible image fusion using multi-layer convolutional sparse representation[J]. Journal of Harbin Institute of Technology, 2021, 53(12): 51-59.
[7] 王文卿, 马笑, 刘涵. 基于联合低秩稀疏分解的红外与可见光图像融合[J]. 信号处理, 2021, 37(9): 1770-1780. WANG Wenqing, MA Xiao, LIU Han. Infrared and visible image fusion via joint low-rank and sparse decomposition[J]. Journal of Signal Processing, 2021, 37(9): 1770-1780.
[8] LIU C, DING W. Variational model for infrared and visible light image fusion with saliency preservation[J]. Journal of Electronic Imaging, 2019, 28(2): 023023-023023.
[9] 冯鑫, 杨杰铭, 张鸿德, 等. 基于双通道残差密集网络的红外与可见光图像融合[J]. 光子学报, 2023, 52(11): 285-296. FENG Xin, YANG Jieming, ZHANG Hongde, et al. Infrared and visible image fusion based on dual channel residual dense network[J]. Acta Photonica Sinica, 2023, 52(11): 285-296.
[10] ZHOU H, HOU J, ZHANGY, et al. Unified gradient-and intensity-discriminator generative adversarial network for image fusion[J]. Information Fusion, 2022, 88: 184-201.
[11] ZHANG H, MA J. SDNet: a versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129(10): 2761-2785.
[12] TANG L, YUAN J, ZHANG H, et al. PIAFusion: a progressive infrared and visible image fusion network based on illumination aware[J]. Information Fusion, 2022, 83: 79-92.
[13] Kaniadakis G. Statistical mechanics in the context of special relativity[J]. Physical Review E, 2002, 66: 056125.
[14] Beck C. Generalised information and entropy measures in physics[J]. Contemporary Physics, 2009, 50(4): 495-510.
[15] Kaniadakis G. Theoretical foundations and mathematical formalism of the power-law tailed statistical distributions[J]. Entropy, 2013, 15(10): 3983-4010.
[16] Sparavigna A C. Shannon, Tsallis and Kaniadakis entropies in bi-level image thresholding[J]. arXiv: 1502.06556, 2015.
[17] LEI B, FAN J L. Infrared pedestrian segmentation algorithm based on the two-dimensional Kaniadakis entropy thresholding[J]. Knowledge-Based Systems, 2021, 225: 107089.
[18] HE K, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(6): 1397-1409.
[19] HE K, SUN J. Fast guided filter[J]. arXiv preprint arXiv: 1505.00996, 2015.
[20] TOET A. TNO image fusion dataset[DB/OL] [2014-04-26]. http://dx.doi.org/10.6084/m9.figshare.1008029.
[21] Lannan N, ZHOU L, FAN G. A multiview depth-based motion capture benchmark dataset for human motion denoising and enhancement research[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2022: 426-435(doi: 10.1109/CVPRW56347.2022.00058).
[22] Bavirisetti D P, XIAO G, ZHAO J, 16et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]. Circuits, Systems, and Signal Processing, 2019, 38: 5576-5605.
[23] XU H, MA J, JIANG J, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518.
-
期刊类型引用(1)
1. 吴绍华,赵劲松,赵跃进,杨伟声,姜杰,李茂忠,董汝昆,母婷婷,郑丽和. 硫化锌体材料制备及其光学性能研究进展. 红外技术. 2022(05): 453-461 . 本站查看
其他类型引用(3)