Image Fusion Based on Simplified Two-Dimensional Kaniadakis Entropy Segmentation Algorithm and Fast Guided Filtering
-
摘要:
红外与可见光图像融合是红外技术研究中的关键领域之一。为了得到目标明确、细节丰富的红外与可见光融合图像，本文提出了一种改进的二维Kaniadakis熵分割法结合快速引导滤波的红外与可见光图像融合方法。首先，使用改进的二维Kaniadakis熵分割法（S2DKan）对红外图像进行充分地目标提取，然后，对红外和可见光图像使用非下采样剪切波变换（NSST），并对获得的高频分量进行快速引导滤波，以保留丰富的可见光细节信息。由提取的目标图像与红外和可见光低频分量通过低频融合规则得到低频融合系数，增强后的高频分量通过双通道脉冲发放皮层模型（DCSCM）得到高频融合系数，最后经NSST逆变换得到融合图像。实验结果表明，所提算法得到的融合图像目标明确、背景信息清晰，而且算法效果稳定。
-
关键词:
- 图像融合 /
- 二维Kaniadakis熵 /
- 快速引导滤波 /
- 双通道脉冲发放皮层模型
Abstract:In the field of infrared technology, the fusion of infrared and visible images is important. To obtain infrared and visible fusion images with clear targets and rich details, this paper proposes an infrared and visible image fusion method based on an improved two-dimensional Kaniadakis entropy segmentation method and fast guided filtering. First, a simplified two-dimensional Kaniadakis entropy segmentation algorithm (S2DKan) is used to fully extract the target from the infrared image. Then, the non-subsampled shearlet transform (NSST) is performed on the infrared and visible images to obtain the low- and high-frequency sub-bands, and fast guided filtering is applied to the obtained high-frequency components to retain rich visible image details. The low-frequency fusion coefficient is obtained from the extracted target image and the infrared and visible low-frequency components using the low-frequency fusion rule. The high-frequency fusion coefficient is obtained from the enhanced high-frequency sub-band components using the dual-channel spiking cortical model (DCSCM). Finally, the fused image is obtained using the inverse NSST transform. Experimental results show that the fusion image obtained by the proposed algorithm has clear targets and background information and that the algorithm's effect is stable.
-
0. 引言
可见光、红外传感器技术在目标探测、信息解释等领域发挥着重要作用，但单一传感器从单一方面获取信息，有其片面性。将红外与可见光图像进行融合，可以得到具有可见光丰富的纹理信息和红外图像热辐射信息的图像。图像融合技术已广泛应用于军事[1]、导航[2]、机器视觉[3-4]等领域。
近年来，红外与可见光图像融合领域提出了诸多方法。传统方法中主要分为多尺度变换的方法[5]、基于稀疏表示的方法[6-7]、基于显著性的方法[8]。基于深度学习的方法通常使用特定的损失函数来优化融合网络，以达到更好的融合结果[9]。Zhou等人[10]提出了一种统一的梯度和强度鉴别器生成对抗网络，将融合任务统一为基于生成对抗网络的融合图像梯度和强度分布判别。Zhang等人[11]提出了SDNet，将多个融合问题转化成为梯度和强度信息的提取和重构，但融合图像中红外目标融合不充分。Tang等人[12]还提出了一种基于光照感知的渐进式图像融合网络，该网络保留了背景中的纹理信息，且自适应地保持了突出目标的灰度分布。现有的方法虽在一定程度上提升了融合效果，但有些方法还存在着融合图像的细节丢失、红外目标融合不充分、算法不稳定等问题。
为解决上述问题，本文首先提出了一种新的简化二维Kaniadakis熵分割法（simple two-dimensional Kaniadakis entropy thresholding method, S2DKan），然后基于S2DKan算法与快速引导滤波算法提出了一种红外与可见光图像融合方法。该融合方法首先使用改进的二维最大Kaniadakis熵分割法充分提取红外图像中的目标；其次，对红外和可见光图像使用NSST获得高低频子带，高频子带中主要包含图像的细节信息，然后使用快速引导滤波算法对高频子带进行增强，再对高低频子带与红外目标图像使用不同的融合规则得到高低频融合系数；最后，经过NSST逆变换得到融合图像。实验结果表明，本文方法较其他对比算法具有突出的红外目标、丰富的可见光细节信息和更为稳定的性能。
1. 基本原理
1.1 二维Kaniadakis熵阈值法
红外图像是含目标热辐射信息的图像，一般红外图像中的红外目标像素只占整幅图像像素中较小的比例，图像的直方图分布呈现出一种拖尾分布的形态。在广义统计力学理论中，G. Kaniadakis基于概率的k分布提出了一种广义形态的熵-k熵[13]，已证明k熵可较好地处理具有拖尾形态概率分布的能力[14-16]，k熵也称作Kaniadakis熵。在红外光与可见光图像融合中，通常需要对目标进行提取，红外中波波段和长波波段的灰度图像直方图分布呈现出一种拖尾分布的形态，使用Kaniadakis熵阈值法可较好地分割出红外目标图像。
对于尺寸为M×N的图像，设Pij表示像素(x, y)的灰度级分布。Pij可由下式计算：
$$ {P_{ij}} = \frac{{{c_{ij}}}}{{M \times N}} $$ (1) 式中：cij为(i, j)出现的次数，0≤i，j≤L－1，$ \sum\nolimits_{i = 0}^{L - 1} {\sum\nolimits_{j = 0}^{L - 1} {{P_{ij}} = 1} } $。
根据二维直方图的定义，假设图像在阈值点(s, t)处分为四个区域，如图 1所示。对角线上的两个区域分别对应对象和背景，远离对角线的区域3和4分别对应边缘和噪声。一般情况下，3和4区域的Pij都约等于0，在图 1中，区域1和区域2分别为目标和背景，标记为C0(s, t)和C1(s, t)。
$$ {P_0}(s, t) = \sum\limits_{(i, j) \in {C_0}(s, t)} {{P_{i, j}} = \sum\limits_{i = 0}^s {\sum\limits_{j = 0}^t {{P_{i, j}}} } } $$ (2) $$ {P_1}(s, t) = \sum\limits_{(i, j) \in {C_1}(s, t)} {{P_{i, j}} = \sum\limits_{i = s = 1}^s {\sum\limits_{j = t + 1}^t {{P_{i, j}}} } } $$ (3) 满足：
$$ P_0(s, t)+P_1(s, t) \approx 1 $$ (4) $$ \begin{array}{l} {S_{{K_0}}}(s, t) = - \frac{1}{{2k}}\sum\limits_{(i, j) \in {C_0}(s, t)} {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 + k}} - {{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 - k}}} \right]} \hfill \\ \;\;\;\; \;\;\;\;\;\;\;\;\;\;{\text{ }} = - \frac{1}{{2k}}\sum\limits_{i = 0}^s {\sum\limits_{j = 0}^t {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 + k}} - {{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 - k}}} \right]} } \hfill \end{array} $$ (5) $$ \begin{array}{l} {S_{{K_1}}}(s, t) = - \frac{1}{{2k}}\sum\limits_{(i, j) \in {C_1}(s, t)} {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 + k}} - {{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 - k}}} \right]} \hfill \\ \;\;\;\; \;\;\;\;\;\;\;\;\;\;{\text{ }} = - \frac{1}{{2k}}\sum\limits_{i = 0}^s {\sum\limits_{j = 0}^t {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 + k}} - {{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 - k}}} \right]} } \hfill \end{array} $$ (6) $$ \begin{array}{l} {K_0}(s, t) = - \frac{1}{2}\sum\limits_{(i, j) \in {C_0}(s, t)} {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 + k}} + {{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 - k}}} \right]} \hfill \\ \;\;\;\; \;\;\;\;\;\;\;\;\;\;{\text{ }} = - \frac{1}{2}\sum\limits_{i = 0}^s {\sum\limits_{j = 0}^t {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 + k}} + {{\left( {\frac{{{P_{ij}}}}{{{P_0}(s, t)}}} \right)}^{1 - k}}} \right]} } \hfill \end{array} $$ (7) $$ \begin{array}{l} {K_1}(s, t) = - \frac{1}{2}\sum\limits_{(i, j) \in {C_1}(s, t)} {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 + k}} + {{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 - k}}} \right]} \hfill \\ \;\;\;\; \;\;\;\;\;\;\;\;\;\;{\text{ }} = - \frac{1}{2}\sum\limits_{i = s + 1}^{L - 1} {\sum\limits_{j = t + 1}^{L - 1} {\left[ {{{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 + k}} + {{\left( {\frac{{{P_{ij}}}}{{{P_1}(s, t)}}} \right)}^{1 - k}}} \right]} } \hfill \end{array} $$ (8) 二维Kaniadakis熵阈值算法的目标函数表示为：
$$ {S_K}(s, t) = {S_{k0}}(s, t){K_1}(s, t) + {S_{k1}}(s, t){K_0}(s, t) $$ (9) 式(10)是一维Kaniadakis熵阈值法对应的二维广义表达式。通过最大化二维Kaniadakis熵SK(s, t)来选择最优阈值：
$$ ({s^*}, {t^*}) = {\rm{Arg}}\mathop {\max }\limits_{0 < s < L - 1, 0 < t < L - 1} {S_K}(s, t) $$ (10) 通过最优阈值(s∗, t∗)分割得到图像：
$$ \overline f (x, {\text{y}}) = \left\{ {\begin{array}{*{20}{l}} {0{\text{ }}\;\;\;\;\;\;f(x, y) < {s^*}, g(x, y) < {t^*}} \\ {255\;\;\;\;{\text{ }}{\rm{others}}} \end{array}} \right. $$ (11) 1.2 简化的二维Kaniadakis熵阈值法
Lei等人[17]所提出的二维Kaniadakis熵阈值法（2d-Kan）在1d-Kan的基础上，它不仅考虑像素的灰度信息，而且考虑像素的邻域平均灰度信息，因此可以处理复杂图像和带有噪声的图像。但是2d-Kan方法的步骤复杂、计算量过大，无法满足实时性要求，在红外与可见光图像融合中，需要更快速的融合算法。因此，下面提出简化的二维Kaniadakis熵阈值分割法（S2DKan）：
中值滤波具有较好的去噪效果、速度较快，并且能够较好地保护图像边缘，它使用一个像素邻域中的灰度级的中值$ \hat f(x, y) $来代替该像素的值，如式(12)所示。Sxy指的是3邻域，g(i, j)是Sxy中(i, j)点的灰度值。
$$ \hat f(x, y) = \mathop {{\text{median}}}\limits_{(i, j) \in {S_{xy}}} \left\{ {g(i, j)} \right\} $$ (12) S2DKan方法首先对原红外图像X使用1d-Kan方法得到分割图像Xs。如式(13)所示为Xs的表达式，其中最佳阈值为T，f(x, y)为图像X中像素点(x, y)的灰度值。同时对原红外图像X进行中值滤波去噪得到图像Xm。若对Xm在阈值T处分割得到Xms，即：
$$ {X_{\rm{s}}}(x, y) = \left\{ {\begin{array}{*{20}{l}} {0{\text{ }}\;\;\;\;\;\;f(x, y) < T} \\ {255\;\;\;\; {\text{ others}}} \end{array}} \right. $$ (13) $$ {X_{{\rm{ms}}}}(x, y) = \left\{ {\begin{array}{*{20}{l}} {0\;\;\;\;\;\;{\text{ }}{f_{\rm{m}}}(x, y) < T} \\ {255\;\;\;\;{\text{ others}}} \end{array}} \right. $$ (14) 式中：fm(x, y)为图像Xm中像素点(x, y)的灰度值。虽然Xms较Xs去掉了一些噪声，但在边缘处增加了一些像素点。因此，取Xs和Xms的交集，即取两幅图像中相同位置且灰度值都为255的像素点组成最终的分割图像XIK，即：
$$ {X_{{\rm{IK}}}}(x, y) = \left\{ {\begin{array}{*{20}{l}} {255\;\;\;\;\;\;{\text{ }}{X_{\rm{s}}}(x, y) = {X_{{\rm{ms}}}}(x, y) = 255} \\ {0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\text{ others}}} \end{array}} \right. $$ (15) 如图 2(a)所示为原红外图像X′，图 2(b)为X′得到的分割图像Xs′，X′经过中值滤波的图像为Xm′，它的分割图像Xms′如图 2(c)所示，图 2(d)为Xms′相对于Xs′去掉的噪点，图 2(e)为Xms′相对于Xs′增加的像素点，图 2(f)为最终的分割图像XIK′，这里K取0.4。
![]()
图 2 S2DKan法示例。(a) 原红外图像；(b) 红外图像的目标分割图像；(c) 中值滤波图像分割图像；(d) 中值滤波去掉的噪声图像；(e) 中值滤波增加的边缘点；(f) 最终的分割图像Figure 2. S2DKan method example. (a) Infrared image 1; (b) Target segmentation of infrared images; (c) Median filtering for image segmentation; (d) Image with noise removed by median filtering; (e) Edge points added by median filtering; (f) Final segmented image但式(13)~(15)需要对相同尺寸的图像遍历4次，而S2DKan方法中由X、Xm以及T只需遍历2次可得到XIK，即：
$$ {X_{{\rm{IK}}}}(x, y) = \left\{ {\begin{array}{*{20}{l}} {255\;\;\;\;{\text{ }}f(x, y) > = T, {f_{\rm{m}}}(x, y) > = T} \\ {0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\text{ others}}} \end{array}} \right.{\text{ }} $$ (16) S2DKan算法在2d-Kan算法的基础上做了简化，得到的分割图像XIK不仅保留了主要的红外目标，消除了Xs中的噪点和中值滤波的多余像素点，而且S2DKan算法的效率较2d-Kan算法有较大的提升。
1.3 快速引导滤波
由K. He等人提出的引导滤波[18]是一种具有边缘感知特性的图像滤波器。K. He在2015年又提出了快速引导滤波，是引导滤波基础上的加速算法[19]。
引导滤波算法中，记引导图像、输入图像和输出图像中像素点τ的值分别为Mτ、Pτ、Qτ，则Mτ与Qτ之间有线性关系：
$$ Q_\tau=a_d M_\tau+b_d, \quad \forall \tau \in \omega_d $$ (17) 式中：ad、bd为线性系数。ωd为以向导图M中一点d为中心，大小为(2r+1)×(2r+1)的局部窗。求解滤波结果，可转化为求解最优化的问题：
$$ E({a_d}, {b_d}) = \sum\limits_{i \in {{\boldsymbol{\omega }}_d}} {\left[ {{{({a_d}{M_\tau } + {b_d} - {P_\tau })}^2} + {\varepsilon _{\text{1}}}{a_d}^2} \right]} $$ (18) 式中：ε1为归一化因子。可使用线性回归求解公式的解：
$$ {a_d} = \frac{{\frac{1}{{\left| \omega \right|}}\sum\limits_{\tau \in {{\boldsymbol{\omega }}_d}} {{M_\tau }{P_\tau } - {\mu _d}\overline {{P_d}} } }}{{\sigma _d^2 + {{\rm{ \mathsf{ ε} }}_1}}} $$ (19) $$ {b_d} = {\overline P _d} - {a_d}{\mu _d} $$ (20) 式中：μd为引导图M的均值；σd2表示M的方差；$ {\overline P _d} $表示输入图像P在窗口ωd中的均值；$ \left| \omega \right| $表示窗口内的像素数。滤波的输出如式(21)所示：
$$ {Q_\tau } = {\overline a _d}{M_\tau } + {\overline b _d} $$ (21) 式中：$ {\overline a _d} $和$ {\overline b _d} $是a和b在以d为中心的窗口ωd上的平均值。
在快速引导滤波算法中，需要先对引导图像、输入图像和半径r以比例s进行下采样，在得到$ {\overline a _d} $和$ {\overline b _d} $后，再对矩阵$ {\overline a _d} $和$ {\overline b _d} $按照比例s进行上采样，最终得到滤波的输出Qτ。快速引导滤波的算法复杂度由引导滤波的O(N)降低到O(N2)，算法效率有了很大的提升。
2. 融合框架
本文融合方法的实现过程如图 3所示。首先，对源红外图像使用S2DKan算法获得目标图像O，并使用NSST将源红外图像I与源可见光图像V分解得到各自的高低频子带。然后，在融合过程中，通过低频融合规则和高频融合规则分别得到低频融合系数和高频融合系数。最后，将得到的融合系数进行NSST逆变换得到融合图像。
2.1 低频融合规则
在低频融合过程中，用S2DKan法提取源红外图像的目标图像O，再将O化为赋时矩阵O0，即O0中目标像素所在点值为1，其余像素所在点值为0，然后用O0点乘红外低频子带I1即可得到目标区域低频系数Fol(i, j)，如式(22)所示：
$$ {F_{{\text{ol}}}}(i, j) = {{\boldsymbol{O}}_0}(i, j) \cdot {I_1}(i, j) $$ (22) 选取信息熵较大的图像分解系数作为背景区域的低频融合系数Fbl(i, j)可使融合的图像保留更多的背景信息，即：
$$ {F_{{\text{bl}}}}(i, j) = \left\{ \begin{array}{l} {V_{\text{l}}}(i, j){\text{ , E}}{{\text{N}}_{{\text{V1}}}} \geqslant {\text{E}}{{\text{N}}_{{\text{I1}}}}{\text{ or }}{V_{\text{l}}}(x, y) \geqslant {I_{\text{l}}}(x, y){\text{ }} \hfill \\ {I_{\text{l}}}(i, j){\text{ , else}} \hfill \end{array} \right. $$ (23) 信息熵EN为：
$$ {\text{EN}} = - \sum\limits_{m = 0}^{255} {{p_{{m}}}\lg {p_{{m}}}} $$ (24) 式中：pm为图像第m级灰度值出现的概率。
最终的低频融合系数F1(i, j)为：
$$ {F_{\text{l}}}(i, j) = \left\{ \begin{array}{l} {F_{{\text{ol}}}}(i, j), {\text{ }}(i, j) \in O \hfill \\ {F_{{\text{bl}}}}(i, j), {\text{ }}(i, j) \notin O \hfill \end{array} \right. $$ (25) 2.2 高频融合规则
先对红外和可见光高频子带进行快速引导滤波以保留更多细节信息，分别得到红外和可见光的增强高频子带I2和V2，再使用DCSCM模型对高频子带进行融合，结合能测量图像清晰度和边缘突出程度的区域能量E与改进拉普拉斯能量和SML作为DCSCM的外部激励，获得高频子带图像的融合系数Fh(i, j)。
1）计算区域能量E
$$ {E_{\text{I}}}(i, j) = \sum\limits_{m = - (M - 1)/2}^{(M - 1)/2} {\sum\limits_{n = - (N - 1)/2}^{(N - 1)/2} {{{({I_{\text{h}}}(i + m, j + n))}^2}} } $$ (26) 式中：Ih为红外光图像。
2）计算每个高频子带图像在源图像对应位置处的改进拉普拉斯能量和SML：
$$ {\rm{SM}}{{\rm{L}}_{{\text{Ih}}}}(i, j) = \sum\limits_{r = - (M - 1)/2}^{(M - 1)/2} {\sum\limits_{c = - (N - 1)/2}^{(N - 1)/2} {{\rm{M}}{{\rm{L}}_{{\text{Ih}}}}(i + r, j + c)} } $$ (27) 式中：M和N取值均为常数，当取值都为3，即取3邻域时，得到的融合图像客观指标较优，且计算效率较高。MLIh定义为：
$$ \begin{array}{l} {\rm{M}}{{\rm{L}}_{{\text{Ih}}}}(i, j) = \left| {2{I_{\text{h}}}(i, j) - {I_{\text{h}}}(i + 1, j) - {I_{\text{h}}}(i - 1, j)} \right| \hfill \\ \;\;\;\; \;\;\;\;\;\;\;\;{\text{ }} + \left| {2{I_{\text{h}}}(i, j) - {I_{\text{h}}}(i, j + 1) - {I_{\text{h}}}(i, j - 1)} \right| \hfill \end{array} $$ (28) 3）将E与SML的乘积，作为DCSCM的外部激励：
$$ S(i, j)=E_{\mathrm{Ih}}(i, j) ^* \operatorname{SML}_{\mathrm{Ih}}(i, j) $$ (29) 4）由于输入激励越大，像素点的点火周期越小，所以采用信息熵取大且赋时矩阵取小的方法得到高频子带图像的融合系数Fh(i, j)，具体的方法如下：
$$ {F_{\text{h}}}(i, j) = \left\{ \begin{array}{l} {V_{\text{h}}}(i, j), {\text{ }}{{\boldsymbol{U}}_{{V_{\text{h}}}}}(i, j) < {{\boldsymbol{U}}_{{I_{\text{h}}}}}(i, j) \hfill \\ {I_{\text{h}}}(i, j), {\text{ }}{{\boldsymbol{U}}_{{V_{\text{h}}}}}(i, j) > {{\boldsymbol{U}}_{{I_{\text{h}}}}}(i, j) \hfill \end{array} \right. $$ (30) 式中：U为DCSCM输出的赋时矩阵，记录了像素点发放脉冲时的迭代次数，定义为：
$$ {{\boldsymbol{U}}}_{ij}(n)=\left\{ \begin{array}{l} n, \text{ if }{Y}_{ij}(1)=1\text{ }\\ {{\boldsymbol{U}}}_{ij}(n-1)\text{, else} \end{array} \right. $$ (31) Yij(1)是DCSCM神经元网络第1次迭代时神经元的点火状态，当Yij(1)＝1时，代表神经元点火。当$ {{\boldsymbol{U}}_{{V_{\text{h}}}}}(i, j) = {{\boldsymbol{U}}_{{I_{\text{h}}}}}(i, j) $时，选取信息熵大的系数作为高频融合系数：
$$ {F_{\text{h}}}(i, j) = \left\{ \begin{array}{l} {V_{\text{h}}}(i, j), \quad {\rm{E}}{{\rm{N}}_{\rm{V}}} \geqslant {\rm{E}}{{\rm{N}}_{\rm{I}}} \hfill \\ {I_{\text{h}}}(i, j), \quad {\rm{E}}{{\rm{N}}_{\rm{V}}} <{\rm{ E}}{{\rm{N}}_{\rm{I}}} \hfill \end{array} \right. $$ (32) 3. 实验与分析
3.1 S2DKan算法消融实验
本文所用原图像来源为TNO数据集[20]和OTCBVS数据集[21]，实验运行环境：处理器为i7-10750H，2.6 GHz，内存为32 G。
S2DKan法中，k值的选取会影响分割效果。图 4是4幅红外图像在不同k值下的分割效果，(a1)~(a2)为OTCBVS数据集中的红外图像，(a3)~(a4)为TNO数据集中的红外图像，(b1)~(b4)为k＝1.4[17]时相应红外图像的分割效果，(c1)~(c4)为k＝0.4时相应红外图像的分割效果，可见当k＝1.4时，分割效果较差，而当k＝0.4，可将红外目标分割出来。因此，本文的图像融合算法中k＝0.4，可获得较好的目标提取效果。
![]()
图 4 不同k值下的S2DKan法分割效果。(a1)~(a4) 红外图像；(b1)~(b4) k=1.4的分割效果；(c1)~(c4) k=0.4的分割效果Figure 4. The segmentation effect of GWO-S2DKan method under different k values. (a1)~(a4) Infrared image; (b1)~(b4) Segmentation effect with k=1.4; (c1)~(c4) Segmentation effect with k=0.4S2DKan算法考虑了图像中像素的邻域空间信息，因此在对含噪图像的处理上较1d-Kan更佳。图 5是4幅红外图像在增加方差为0.01的椒盐噪声后的分割效果，图 6是4幅红外图像在增加方差为0.01的高斯噪声后的分割效果，(a1)~(a2)为OTCBVS数据集中的红外图像加噪声，(a3)~(a4)为TNO数据集中的红外图像加噪声，(b1)~(b4)为使用1d-Kan时相应红外图像的分割效果，(c1)~(c4)为使用S2DKan时相应红外图像的分割效果，可见使用S2DKan能够有效地去除噪声，分割效果较1d-Kan更好。
![]()
图 5 S2DKan法与1d-Kan对含椒盐噪图像的处理。(a1)~(a4) 红外图像；(b1)~(b4) 1d-Kan法对红外图像的分割效果；(c1)~(c4) S2DKan法对红外图像的分割效果Figure 5. S2DKan method and 1d-Kan for processing salt noisy images. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of 1d-Kan method on infrared images; (c1)~(c4) the segmentation effect of S2DKan method on infrared images![]()
图 6 S2DKan法与1d-Kan对含高斯噪声图像的处理。(a1)~(a4) 红外图像；(b1)~(b4) 1d-Kan法对红外图像的分割效果；(c1)~(c4) S2DKan法对红外图像的分割效果Figure 6. S2DKan method and 1d-Kan for processing Gaussian noisy images. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of 1d-Kan method on infrared images; (c1)~(c4) the segmentation effect of S2DKan method on infrared images图 7是4种不同图像分割方法对TNO数据集的4幅红外图像的分割效果对比图。可见Tsallis相对熵法和区域生长法对红外目标的分割效果较差，一些图像中无法提取到红外目标；2D_Renyi法虽可以提取出红外目标，但是分割的图像中那个人仍然含有一定的噪声点；而本文所提S2DKan算法可将具有红外信息的目标像素点分割出来，且所提取到的目标信息较为完整，边缘更加平滑。
![]()
图 7 四种不同图像分割方法效果对比。(a1)~(a4) 红外图像；(b1)~(b4) Tsallis相对熵对红外图像的分割效果；(c1)~(c4) 2D_Renyi对红外图像的分割效果；(d1)~(d4) Region grow法对红外图像的分割效果；(e1)~(e4) S2DKan法对红外图像的分割效果Figure 7. Comparison of four different image segmentation methods. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of Tsallis relative Entropy method on infrared images; (c1)~(c4) the segmentation effect of 2D_Renyi method on infrared images; (d1)~(d4) the segmentation effect of region grow method on infrared images; (e1)~(e4) the segmentation effect of S2DKan method on infrared images3.2 图像融合实验
融合实验选取了TNO数据集中的5组已配准图像进行融合实验，如图 8所示，并与其他4种算法：IFCNN[22]、SDNet[11]、PIAFusion[12]、U2Fusion[23]进行比较。本文提出的算法设定4层NSST分解，使用“maxflat”滤波器进行多尺度分解。快速引导滤波的引导图像是红外和可见光的源图像，滤波的窗口半径r＝2，正则化参数λ＝0.01。
![]()
图 8 五组可见光与红外光图像。(a) man可见光图像；(b) meeting可见光图像；(c) traffic可见光图像；(d) tree可见光图像；(e) Kaptein可见光图像；(f) man红外图像；(g) meeting红外图像；(h) traffic红外图像；(i) tree红外图像；(j) Kaptein红外图像Figure 8. Five groups of visible and infrared images. (a) Visible image of 'man'; (b) Visible image of 'meeting'; (c) Visible image of 'traffic'; (d) Visible image of 'tree'; (e) Visible image of 'Kaptein'; (f) Infrared image of 'man'; (g) Infrared image of 'meeting'; (h) Infrared image of 'traffic'; (i) Infrared image of 'tree'; (j) Infrared image of 'Kaptein'5组红外与可见光的融合结果对比如图 9所示。图 9(a1)~(a5)为IFCNN方法的融合结果，从中可看出man图像中树木细节丢失，meeting图像对比度低、细节丢失，traffic图像对比度低，无法分辨红外目标，tree图像对比度低，红外目标不明显，Kaptein图像对比度低；图 9(b1)~(b5)为SDNet方法的融合结果，可见man图像中树木和栅栏纹理信息丢失，meeting图像红外目标不突出、树木旁有伪影，traffic图像对比度较低，可见光图像信息丢失较为严重，tree图像树木细节信息不明显，Kaptein图像中几乎没有融入可见光图像信息；图 9(c1)~(c5)为PIAFusion方法的融合结果，可见man图像中有树木细节信息丢失，红外目标不明显，meeting图像红外目标不明显，tree图像红外目标和树木细节信息不明显，Kaptein图像对比度较低；图 9(d1)~(d5)为U2Fusion方法的融合结果，可见man图像中红外目标不明显，meeting图像左上角树木边缘有伪影，traffic图像对比度低，无法分辨红外目标，tree图像中红外目标提取不充分，Kaptein图像无法分辨红外目标；图 9(e1)~(e5)为本文方法得到的融合图像，可见本文方法融合图像红外目标突出，纹理细节信息丰富，视觉效果较好，man图像的树木和栅栏、meeting图像中的树木纹理都比较清晰，traffic图像对比度较高，可较好地分辨红外目标，tree图像中红外目标明显的同时没有丢失树木细节信息，Kaptein图像红外目标提取较为充分。
![]()
图 9 五组图像融合效果对比。(a1)~(a5) IFCNN方法融合图像；(b1)~(b5) SDNet方法融合图像；(c1)~(c5) PIAFusion方法融合图像；(d1)~(d5) U2Fusion方法融合图像；(e1)~(e5) 本文方法融合图像Figure 9. Comparison of five sets of image fusion effects. (a1)~(a5) IFCNN method for image fusion; (b1)~(b5) SDNet method for image fusion; (c1)~(c5) PIAFusion method for image fusion; (d1)~(d5) U2Fusion method for image fusion; (e1)~(e5) proposed method for image fusion为了定量评价不同的算法的性能差异，本文选取以下6种客观评价指标：平均梯度（AG）、标准差（SD）、互信息（MI）、信息熵（EN）、边缘保留因子（QAB/F）和相关系数（CC），其中平均梯度反映图像清晰度，标准差反映图像对比度和边缘清晰度，互信息反映灰度分布相似度，信息熵反映图像包含信息量的多少，边缘保留因子反映图像边缘信息的表现能力，相关系数反映两幅图的线性关系。
表 1给出了5组图像的客观评价结果，黑体标注为最优结果。在man图像融合的结果对比中，本文方法有3个指标为最优，两个指标为次优；在meeting图像中，本文方法有两个指标为最优，三个指标为次优；在traffic图像中，本文方法有4个指标为最优，两个指标为次优；在tree图像中，本文方法有3个指标为最优，两个指标为次优；在Kaptein图像中，本文方法有4个指标为最优，两个指标为次优。由主观与客观评价可看出本文算法所得融合图像，目标清晰且突出，细节丰富，融合效果较好。
表 1 五组融合图像客观评价指标Table 1. Objective evaluation indexes of 5 sets of fused imagesImage set Algorithm AG SD MI EN QAB/F CC Man IFCNN 5.4231 8.2342 1.4358 6.2422 0.4536 0.6353 SDNet 5.5443 8.4744 1.6575 6.7445 0.3564 0.5567 PIAFusion 4.1214 8.7453 2.9123 6.7235 0.4234 0.5622 U2Fusion 5.8622 8.6323 1.6623 6.9422 0.3534 0.6534 Proposed 5.0938 9.1461 2.8520 7.1887 0.4274 0.8081 Meeting IFCNN 5.1634 8.3345 2.1345 7.1415 0.4246 0.3523 SDNet 4.5253 8.1435 1.3534 6.3262 0.4632 0.4235 PIAFusion 4.1523 8.2243 3.2141 6.2341 0.5232 0.2423 U2Fusion 4.3465 8.5346 1.8242 6.8141 0.4124 0.3265 Proposed 4.6096 8.6978 2.5561 6.9219 0.4769 0.5875 Traffic IFCNN 3.6325 6.8243 1.6421 6.1532 0.5262 0.6363 SDNet 3.0123 7.4235 2.9133 6.2522 0.4251 0.5234 PIAFusion 3.3346 7.8533 3.5633 6.5456 0.6654 0.6446 U2Fusion 2.4464 6.3744 1.9645 5.5574 0.4464 0.6755 Proposed 3.6690 7.9192 3.4328 6.7860 0.6074 0.8655 Tree IFCNN 6.2645 7.7546 1.1765 6.5353 0.3745 0.4756 SDNet 5.7575 8.3567 0.8643 6.3234 0.3124 0.4521 PIAFusion 5.1152 7.9346 2.6348 6.7346 0.5744 0.3584 U2Fusion 7.6464 8.8436 1.2243 7.0521 0.3423 0.4633 Proposed 5.9203 8.6942 2.8591 7.1712 0.4277 0.6027 Kaptein IFCNN 4.9463 8.0142 2.1355 6.8534 0.4333 0.5643 SDNet 4.3242 6.6343 1.5234 6.1515 0.3235 0.5432 PIAFusion 4.1214 7.2425 2.2435 6.1324 0.5552 0.4533 U2Fusion 4.4522 8.9414 2.3523 6.9351 0.4235 0.4312 Proposed 4.7293 9.0274 3.4800 7.3962 0.4889 0.9731 4. 结论
本文提出了一种改进的Kaniadakis熵分割法结合快速引导滤波的红外与可见光图像融合方法。该方法二维Kaniadakis熵分割法进行改进，得到了一种新的S2DKan算法，并使用该算法对红外目标进行提取；然后利用快速引导滤波良好的保边性能和DCSCM模型快速整合图像子带信息的优点，设计了高低频的融合策略，并结合NSST多尺度分解的性质对图像进行融合。实验结果表明，S2DKan算法可较好地应用于红外目标分割，且算法性能稳定、效率较高；快速引导滤波的应用使融合图像更平滑，细节纹理更丰富；整体图像融合算法在主客观综合性能上优于其它几种对比融合算法，得到的融合图像目标突出，细节纹理丰富。
-
![]()
图 2 S2DKan法示例。(a) 原红外图像；(b) 红外图像的目标分割图像；(c) 中值滤波图像分割图像；(d) 中值滤波去掉的噪声图像；(e) 中值滤波增加的边缘点；(f) 最终的分割图像
Figure 2. S2DKan method example. (a) Infrared image 1; (b) Target segmentation of infrared images; (c) Median filtering for image segmentation; (d) Image with noise removed by median filtering; (e) Edge points added by median filtering; (f) Final segmented image
![]()
图 4 不同k值下的S2DKan法分割效果。(a1)~(a4) 红外图像；(b1)~(b4) k=1.4的分割效果；(c1)~(c4) k=0.4的分割效果
Figure 4. The segmentation effect of GWO-S2DKan method under different k values. (a1)~(a4) Infrared image; (b1)~(b4) Segmentation effect with k=1.4; (c1)~(c4) Segmentation effect with k=0.4
![]()
图 5 S2DKan法与1d-Kan对含椒盐噪图像的处理。(a1)~(a4) 红外图像；(b1)~(b4) 1d-Kan法对红外图像的分割效果；(c1)~(c4) S2DKan法对红外图像的分割效果
Figure 5. S2DKan method and 1d-Kan for processing salt noisy images. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of 1d-Kan method on infrared images; (c1)~(c4) the segmentation effect of S2DKan method on infrared images
![]()
图 6 S2DKan法与1d-Kan对含高斯噪声图像的处理。(a1)~(a4) 红外图像；(b1)~(b4) 1d-Kan法对红外图像的分割效果；(c1)~(c4) S2DKan法对红外图像的分割效果
Figure 6. S2DKan method and 1d-Kan for processing Gaussian noisy images. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of 1d-Kan method on infrared images; (c1)~(c4) the segmentation effect of S2DKan method on infrared images
![]()
图 7 四种不同图像分割方法效果对比。(a1)~(a4) 红外图像；(b1)~(b4) Tsallis相对熵对红外图像的分割效果；(c1)~(c4) 2D_Renyi对红外图像的分割效果；(d1)~(d4) Region grow法对红外图像的分割效果；(e1)~(e4) S2DKan法对红外图像的分割效果
Figure 7. Comparison of four different image segmentation methods. (a1)~(a4) Infrared image; (b1)~(b4) the segmentation effect of Tsallis relative Entropy method on infrared images; (c1)~(c4) the segmentation effect of 2D_Renyi method on infrared images; (d1)~(d4) the segmentation effect of region grow method on infrared images; (e1)~(e4) the segmentation effect of S2DKan method on infrared images
![]()
图 8 五组可见光与红外光图像。(a) man可见光图像；(b) meeting可见光图像；(c) traffic可见光图像；(d) tree可见光图像；(e) Kaptein可见光图像；(f) man红外图像；(g) meeting红外图像；(h) traffic红外图像；(i) tree红外图像；(j) Kaptein红外图像
Figure 8. Five groups of visible and infrared images. (a) Visible image of 'man'; (b) Visible image of 'meeting'; (c) Visible image of 'traffic'; (d) Visible image of 'tree'; (e) Visible image of 'Kaptein'; (f) Infrared image of 'man'; (g) Infrared image of 'meeting'; (h) Infrared image of 'traffic'; (i) Infrared image of 'tree'; (j) Infrared image of 'Kaptein'
![]()
图 9 五组图像融合效果对比。(a1)~(a5) IFCNN方法融合图像；(b1)~(b5) SDNet方法融合图像；(c1)~(c5) PIAFusion方法融合图像；(d1)~(d5) U2Fusion方法融合图像；(e1)~(e5) 本文方法融合图像
Figure 9. Comparison of five sets of image fusion effects. (a1)~(a5) IFCNN method for image fusion; (b1)~(b5) SDNet method for image fusion; (c1)~(c5) PIAFusion method for image fusion; (d1)~(d5) U2Fusion method for image fusion; (e1)~(e5) proposed method for image fusion
表 1 五组融合图像客观评价指标
Table 1 Objective evaluation indexes of 5 sets of fused images
Image set Algorithm AG SD MI EN QAB/F CC Man IFCNN 5.4231 8.2342 1.4358 6.2422 0.4536 0.6353 SDNet 5.5443 8.4744 1.6575 6.7445 0.3564 0.5567 PIAFusion 4.1214 8.7453 2.9123 6.7235 0.4234 0.5622 U2Fusion 5.8622 8.6323 1.6623 6.9422 0.3534 0.6534 Proposed 5.0938 9.1461 2.8520 7.1887 0.4274 0.8081 Meeting IFCNN 5.1634 8.3345 2.1345 7.1415 0.4246 0.3523 SDNet 4.5253 8.1435 1.3534 6.3262 0.4632 0.4235 PIAFusion 4.1523 8.2243 3.2141 6.2341 0.5232 0.2423 U2Fusion 4.3465 8.5346 1.8242 6.8141 0.4124 0.3265 Proposed 4.6096 8.6978 2.5561 6.9219 0.4769 0.5875 Traffic IFCNN 3.6325 6.8243 1.6421 6.1532 0.5262 0.6363 SDNet 3.0123 7.4235 2.9133 6.2522 0.4251 0.5234 PIAFusion 3.3346 7.8533 3.5633 6.5456 0.6654 0.6446 U2Fusion 2.4464 6.3744 1.9645 5.5574 0.4464 0.6755 Proposed 3.6690 7.9192 3.4328 6.7860 0.6074 0.8655 Tree IFCNN 6.2645 7.7546 1.1765 6.5353 0.3745 0.4756 SDNet 5.7575 8.3567 0.8643 6.3234 0.3124 0.4521 PIAFusion 5.1152 7.9346 2.6348 6.7346 0.5744 0.3584 U2Fusion 7.6464 8.8436 1.2243 7.0521 0.3423 0.4633 Proposed 5.9203 8.6942 2.8591 7.1712 0.4277 0.6027 Kaptein IFCNN 4.9463 8.0142 2.1355 6.8534 0.4333 0.5643 SDNet 4.3242 6.6343 1.5234 6.1515 0.3235 0.5432 PIAFusion 4.1214 7.2425 2.2435 6.1324 0.5552 0.4533 U2Fusion 4.4522 8.9414 2.3523 6.9351 0.4235 0.4312 Proposed 4.7293 9.0274 3.4800 7.3962 0.4889 0.9731 
下载: 导出CSV
-
[1] 常天庆, 张杰, 赵立阳, 等. 基于可见光与红外图像融合的装甲目标检测算法[J]. 兵工学报, 2024, 45(7): 2085-2096. CHANG Tianqing, ZHANG Jie, ZHAO Liyang, et al. Research on armored vehicle detection algorithm based on visible and infrared image fusion[J]. Acta Armamentarii, 2024, 45(7): 2085-2096.
[2] ZHAO J, ZHOU Q, CHEN Y, et al. Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition[J]. Infrared Physics & Technology, 2013, 56: 93-99.
[3] ZHANG H, XU H, TIAN X, et al. Image fusion meets deep learning: a survey and perspective[J]. Information Fusion, 2021, 76: 323-336. DOI: 10.1016/j.inffus.2021.06.008
[4] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[5] LIU W, WANG Z. A novel multi-focus image fusion method using multiscale shearing non-local guided averaging filter[J]. Signal Processing, 2020, 166: 107252. DOI: 10.1016/j.sigpro.2019.107252
[6] 张洲宇, 曹云峰, 丁萌, 等. 采用多层卷积稀疏表示的红外与可见光图像融合[J]. 哈尔滨工业大学学报, 2021, 53(12): 51-59. ZHANG Zhouyu, CAO Yunfeng, DING Meng, et al. Infrared and visible image fusion using multi-layer convolutional sparse representation[J]. Journal of Harbin Institute of Technology, 2021, 53(12): 51-59.
[7] 王文卿, 马笑, 刘涵. 基于联合低秩稀疏分解的红外与可见光图像融合[J]. 信号处理, 2021, 37(9): 1770-1780. WANG Wenqing, MA Xiao, LIU Han. Infrared and visible image fusion via joint low-rank and sparse decomposition[J]. Journal of Signal Processing, 2021, 37(9): 1770-1780.
[8] LIU C, DING W. Variational model for infrared and visible light image fusion with saliency preservation[J]. Journal of Electronic Imaging, 2019, 28(2): 023023-023023.
[9] 冯鑫, 杨杰铭, 张鸿德, 等. 基于双通道残差密集网络的红外与可见光图像融合[J]. 光子学报, 2023, 52(11): 285-296. FENG Xin, YANG Jieming, ZHANG Hongde, et al. Infrared and visible image fusion based on dual channel residual dense network[J]. Acta Photonica Sinica, 2023, 52(11): 285-296.
[10] ZHOU H, HOU J, ZHANGY, et al. Unified gradient-and intensity-discriminator generative adversarial network for image fusion[J]. Information Fusion, 2022, 88: 184-201.
[11] ZHANG H, MA J. SDNet: a versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129(10): 2761-2785.
[12] TANG L, YUAN J, ZHANG H, et al. PIAFusion: a progressive infrared and visible image fusion network based on illumination aware[J]. Information Fusion, 2022, 83: 79-92.
[13] Kaniadakis G. Statistical mechanics in the context of special relativity[J]. Physical Review E, 2002, 66: 056125.
[14] Beck C. Generalised information and entropy measures in physics[J]. Contemporary Physics, 2009, 50(4): 495-510.
[15] Kaniadakis G. Theoretical foundations and mathematical formalism of the power-law tailed statistical distributions[J]. Entropy, 2013, 15(10): 3983-4010.
[16] Sparavigna A C. Shannon, Tsallis and Kaniadakis entropies in bi-level image thresholding[J]. arXiv: 1502.06556, 2015.
[17] LEI B, FAN J L. Infrared pedestrian segmentation algorithm based on the two-dimensional Kaniadakis entropy thresholding[J]. Knowledge-Based Systems, 2021, 225: 107089.
[18] HE K, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(6): 1397-1409.
[19] HE K, SUN J. Fast guided filter[J]. arXiv preprint arXiv: 1505.00996, 2015.
[20] TOET A. TNO image fusion dataset[DB/OL] [2014-04-26]. http://dx.doi.org/10.6084/m9.figshare.1008029.
[21] Lannan N, ZHOU L, FAN G. A multiview depth-based motion capture benchmark dataset for human motion denoising and enhancement research[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2022: 426-435(doi: 10.1109/CVPRW56347.2022.00058).
[22] Bavirisetti D P, XIAO G, ZHAO J, 16et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]. Circuits, Systems, and Signal Processing, 2019, 38: 5576-5605.
[23] XU H, MA J, JIANG J, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518.
计量
- 文章访问数: 29
- HTML全文浏览量: 0
- PDF下载量: 15
