Infrared and Visible Image Fusion Based on Three-branch Adversarial Learning and Compensation Attention Mechanism
-
摘要:
针对现有深度学习图像融合方法依赖卷积提取特征，并未考虑源图像全局特征，融合结果容易产生纹理模糊、对比度低等问题，本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先，生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后，利用通道特征和空间特征变化构建补偿注意力机制提取全局信息，更进一步提取红外目标和可见光细节表征。其次，设计聚焦双对抗鉴别器，以确定融合结果和源图像之间的相似分布。最后，选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比，本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果，而且客观度量指标优于其他先进方法。
Abstract:The existing deep learning image fusion methods rely on convolution to extract features and do not consider the global features of the source image. Moreover, the fusion results are prone to texture blurring, low contrast, etc. Therefore, this study proposes an infrared and visible image fusion method with adversarial learning and compensated attention. First, the generator network uses dense blocks and the compensated attention mechanism to construct three local-global branches to extract feature information. The compensated attention mechanism is then constructed using channel features and spatial feature variations to extract global information, infrared targets, and visible light detail representations. Subsequently, a focusing dual-adversarial discriminator is designed to determine the similarity distribution between the fusion result and source image. Finally, the public dataset TNO and RoadScene are selected for the experiments and compared with nine representative image fusion methods. The method proposed in this study not only obtains fusion results with clearer texture details and better contrast, but also outperforms other advanced methods in terms of the objective metrics.
-
0. 引言
红外目标检测是目标识别、目标监视与预警的基础，由于红外检测属于无源检测，自身不辐射能量，隐蔽性强，其在军民领域中得到广泛应用。目前随着现代军事技术发展和军事环境的要求，需要尽早发现目标，目标检测往往要在成像距离很远的条件下对仅有的几个像素进行识别。如何提高弱小目标的检测精度和效率成为目前红外检测领域研究的热点，针对单帧红外图像是很难区分弱小目标和干扰源，但对于多帧图像可基于时域运动特征加以识别检测，对此国内外专家进行了深入研究。比如帧间差分法是将相邻两帧红外图像差值运算[1-2]，但该方法在背景和点状干扰源附近易产生残差，影响后续检测；多级假设检验法是对目标运动形式进行假设，根据假定运动轨迹进行目标检测[3-4]，但该方法难以去除点状干扰源所形成的轨迹，误导目标检测；动态规划法被应用到红外弱小目标检测中取得了不错的效果[5-6]；三维匹配滤波将红外弱小目标检测转化成三维空间上的速度匹配[7-8]，但这两种方法没有区分目标和点状干扰源的匹配机制，弱小目标检测精度不高；时空对比法将对比度定义在时空剖面上，从而对时空背景区域进行抑制，增强对弱小目标的检测[9-12]，但面对点状干扰源时，其与目标都表现为冲击信号，无法有效区分；光流估计法根据灰度不变原理计算红外图像的光流场，依据图像光流场信息识别弱小目标[13-15]，但随着帧间距离的增大该方法对光流场估计的精度会随之降低，并且光流场计算易受噪声影响。以上这些常用方法在处理红外图像视场变化时，目标检测的精度会降低，计算复杂度也颇高。近年来，核相关滤波方法在目标识别领域取得了不错的效果[16-19]。核相关滤波器根据当前和之前帧信息训练滤波器，基于此对实时帧进行相关性计算快速获得目标，检测精度和计算复杂度有一定的优势[20-23]，为此，本文提出了一种结合帧差的核相关滤波弱小红外目标检测算法（Weak and Small Infrared Target Detection Combined With Frame Difference Kernel Correlation Filtering, KCF-FF）。
1. 脊回归模型
核相关滤波利用脊回归模型对样本数据进行训练，这里先简单介绍脊回归模型及其简化求解。
脊回归模型的目标是寻找线性函数f(Z)：
$$ f(\boldsymbol{Z})= \boldsymbol{W}^{\rm{T}}\boldsymbol{Z} $$ (1) 使得样本数据xi的函数值与回归值yi间的均方差取得最小值为：
$$ \mathop {\min }\limits_{\boldsymbol{W}} {\sum\limits_i {(f({\boldsymbol{x}_i}) - {\boldsymbol{y}_i})} ^2} + \alpha ||{\boldsymbol{W}}|{|^2} $$ (2) 式中：α表示正则化系数，其解为：
$$ {\boldsymbol{W}} = {({{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}} + \alpha {\boldsymbol{I}})^{ - 1}}{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{y}} $$ (3) 式中：X表示样本矩阵；xi为其行矩阵；y为回归值矩阵；I为单位矩阵。由于核滤波的频域计算量较大，对式(3)进行共轭转置，获得其复数：
$$ \begin{gathered} {\boldsymbol{W}} = {({{\boldsymbol{X}}^{\rm{H}}}{\boldsymbol{X}} + \alpha {\boldsymbol{I}})^{ - 1}}{{\boldsymbol{X}}^{\rm{H}}}{\boldsymbol{y}} \hfill \\ \;\;\;\;{{\boldsymbol{X}}^{\rm{H}}} = {({{\boldsymbol{X}}^*})^{\rm{T}}} \hfill \\ \end{gathered} $$ (4) 式中：XH为共轭转置运算；X*为矩阵X的共轭复数矩阵。求式(4)的解析解，需要求解大型线性方程组，这极其耗时。矩阵的循环移位可简化计算过程，但前提条件是训练样本可由基础样本循环移位获得。
1.1 循环移位矩阵
将基础训练样本x以向量表示：
$$ \boldsymbol{x}=[x_{1}, x_{2}, x_{3}, …, x_{n}] $$ (5) 以x为基础样本循环移位构建训练样本X：
$$ {\boldsymbol{X}} = C({\boldsymbol{x}}) = \left[ \begin{array}{l} {x_1},{x_2},{x_3}, \cdots ,{x_n} \hfill \\ {x_n},{x_1},{x_2}, \cdots ,{x_{n - 1}} \hfill \\ {x_{n - 1}},{x_n},{x_1}, \cdots ,{x_{n{\text{ - }}2}} \hfill \\ .......................... \hfill \\ {x_2},{x_3},{x_4}, \cdots ,{x_1} \hfill \\ \end{array} \right] $$ (6) 循环移位矩阵存在特殊的性质，即可被离散傅里叶变换矩阵对角化，由此可得：
$$ \begin{gathered} {\boldsymbol{X}} = \boldsymbol{F}{\text{diag(}}\widehat {\boldsymbol{x}}{\text{)}}{\boldsymbol{F}^{\text{H}}} \hfill \\ \widehat {\boldsymbol{x}} = \boldsymbol{F}({\boldsymbol{x}}) \hfill \\ \end{gathered} $$ (7) 式(7)中：F表示离散傅里叶变换矩阵；$ \widehat {\boldsymbol{x}} $表示向量x的离散傅里叶变换。根据上式(7)，可简化式(4)中的XHX：
$$ {{\boldsymbol{X}}^{\rm{H}}}{\boldsymbol{X}} = \boldsymbol{F}\text{diag}({\widehat {\boldsymbol{x}}^*}){\boldsymbol{F}^{\rm{H}}}\boldsymbol{F}\text{diag}(\widehat {\boldsymbol{x}}){\boldsymbol{F}^{\rm{H}}} $$ (8) 因为FHF=I，上式(8)可得：
$$ {{\boldsymbol{X}}^{\rm{H}}}{\boldsymbol{X}} = \boldsymbol{F}\text{diag}({\widehat {\boldsymbol{x}}^*} \odot \widehat {\boldsymbol{x}}){\boldsymbol{F}^{\rm{H}}} $$ (9) 式中：⊙表示对角矩阵的点乘，根据式(9)对式(4)进行替换：
$$ \begin{array}{l} {\boldsymbol{W}} = {({{\boldsymbol{X}}^{\rm{H}}}{\boldsymbol{X}} + \alpha {\boldsymbol{I}})^{ - 1}}{{\boldsymbol{X}}^{{H}}}{\boldsymbol{y}} \hfill \\ \;\;\; = {(\boldsymbol{F}\text{diag}({\widehat {\boldsymbol{x}}^*} \odot \widehat {\boldsymbol{x}}){\boldsymbol{F}^{\rm{H}}} + \alpha {\boldsymbol{I}})^{ - 1}}\boldsymbol{F}\text{diag}({\widehat {\boldsymbol{x}}^*}){\boldsymbol{F}^{{H}}}{\boldsymbol{y}} \hfill \\ \;\;\; = F{(diag({\widehat {\boldsymbol{x}}^*} \odot \widehat {\boldsymbol{x}} + \alpha ))^{ - 1}}{\boldsymbol{F}^{\rm{H}}}\boldsymbol{F}\text{diag}({\widehat {\boldsymbol{x}}^*}){\boldsymbol{y}} \hfill \\ \;\;\; = \boldsymbol{F}\text{diag}(\frac{{{{\widehat {\boldsymbol{x}}}^*}}}{{{{\widehat {\boldsymbol{x}}}^*} \odot \widehat {\boldsymbol{x}} + \alpha }}){\boldsymbol{F}^{\rm{H}}}{\boldsymbol{y}} \hfill \\ \end{array} $$ (10) 对上式(10)两边同时进行离散傅里叶变换，可得：
$$ \widehat {\boldsymbol{W}} = \text{diag}(\frac{{{{\widehat {\boldsymbol{x}}}^*}}}{{{{\widehat {\boldsymbol{x}}}^*} \odot \widehat {\boldsymbol{x}} + \alpha }})\widehat {\boldsymbol{y}} $$ (11) 式(11)简化为：
$$ \widehat {\boldsymbol{W}} = \frac{{{{\widehat {\boldsymbol{x}}}^*} \odot \widehat {\boldsymbol{y}}}}{{{{\widehat {\boldsymbol{x}}}^*} \odot \widehat {\boldsymbol{x}} + \alpha }} $$ (12) 根据式(4)可知，由于矩阵求逆运算，脊回归的计算复杂度为O(n3)，若对训练样本改为矩阵循环移位，脊回归的计算复杂度可降为O(nlogn)。
1.2 核脊回归
现实中并不是所有的回归都符合线性回归模型，为了扩展表达能力，将样本数据映射到非线性空间，并基于此建立脊回归模型：
$$ f(\boldsymbol{z}) = {{\boldsymbol{W}}^{\rm{T}}}\phi ({\boldsymbol{z}}) $$ (13) 式(13)中测试样本数据z被映射为ϕ(z)，而回归系数W为非线性空间中各样本数据线性组合：
$$ {\boldsymbol{W}} = \sum\limits_i {{\beta _i}} \phi ({{\boldsymbol{x}}_i}) $$ (14) 式(14)中β所在参数空间为对偶空间，与回归系数W所在空间一致，这里将回归系数W的优化转化为对参数β的优化。以核函数形式对ϕ(x)非线性空间下的内积进行表示：
$$ {\phi ^{\rm{T}}}({\boldsymbol{x}})\phi ({\boldsymbol{x'}}) = \kappa ({\boldsymbol{x}},{\boldsymbol{x'}}) $$ (15) 设核矩阵Kn×n，其内容为非线性空间中各样本数据间的内积，表示如下：
$$ \boldsymbol{K}_{i,j}=κ(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}) $$ (16) 综上，核脊回归模型的回归函数如下：
$$ f({\boldsymbol{z}}) = {{\boldsymbol{W}}^{\rm{T}}}\phi ({\boldsymbol{z}}) = \sum\limits_{i = 1}^n {{\beta _i}\kappa ({\boldsymbol{z}},{{\boldsymbol{x}}_i})} $$ (17) 参考文献[24]，给出上式(17)的解：
$$ {\boldsymbol{\beta }} = {({\boldsymbol{K}} + \alpha {\boldsymbol{I}})^{ - 1}}{\boldsymbol{y}} $$ (18) 式(18)中矩阵β由参数βi构成，为对偶空间的解，若核矩阵K为循环移位矩阵，上式(18)可快速求解，文献[24]给出了判断矩阵K为循环移位矩阵的充分条件，分析条件可知，径向基和内积核函数都满足。若核矩阵K为循环移位矩阵，针对式(7)借助离散傅里叶变换矩阵对矩阵K对角化：
$$ {\boldsymbol{K}} = {F}\text{diag}{\text{(}}{\widehat {\boldsymbol{k}}^{{\boldsymbol{xx}}}}{\text{)}}{{F}^{\rm{H}}} $$ (19) 上式(19)中kxx表示核矩阵K第一行，$ {\widehat {\boldsymbol{k}}^{{\boldsymbol{xx}}}} $表示kxx的傅里叶变换，将式(19)代入式(18)可得：
$$ \begin{array}{l} {\boldsymbol{\beta }} = {({\boldsymbol{K}} + \alpha {\boldsymbol{I}})^{ - 1}}{\boldsymbol{y}} \hfill \\ \;\;\; = {(\boldsymbol{F}\text{diag}{\text{(}}{\widehat {\boldsymbol{k}}^{{\boldsymbol{xx}}}}{\text{)}}{\boldsymbol{F}^{\rm{H}}} + \alpha {\boldsymbol{I}})^{ - 1}}{\boldsymbol{y}} \hfill \\ \;\;\; = \boldsymbol{F}{(\text{diag}({\widehat {\boldsymbol{k}}^{{\boldsymbol{xx}}}} + \alpha ))^{ - 1}}{\boldsymbol{F}^{\rm{H}}}{\boldsymbol{y}} \hfill \\ \;\;\; = \boldsymbol{F}\text{diag}(\frac{1}{{{{\widehat {\boldsymbol{k}}}^{{\boldsymbol{xx}}}} + \alpha }}){\boldsymbol{F}^{\rm{H}}}{\boldsymbol{y}} \hfill \\ \end{array} $$ (20) 对上式(20)离散傅里叶变换，可得：
$$ \widehat {\boldsymbol{\beta }} = \text{diag}(\frac{1}{{{{\widehat {\boldsymbol{k}}}^{{\boldsymbol{xx}}}} + \alpha }})\widehat {\boldsymbol{y}} $$ (21) 进一步简化为：
$$ \widehat {\boldsymbol{\beta }} = \frac{{\widehat {\boldsymbol{y}}}}{{{{\widehat {\boldsymbol{k}}}^{{\boldsymbol{xx}}}} + \alpha }} $$ (22) 通过上式(22)可知，当训练样本所构成的矩阵为循环位移矩阵时，只需计算出基础训练样本数据x的kxx，代入式(22)可快速求解核脊回归模型。
1.3 核滤波
基础训练样本x经循环位移获得训练样本，据此可根据式(23)求取测试样本z回归值：
$$ f({\boldsymbol{z}}) = {{\boldsymbol{k}}^{{\boldsymbol{x}}z}}{\boldsymbol{\beta }} $$ (23) 式中：kxz表示向量x和z的核相关函数，其第j个元素如下：
$$ {\boldsymbol{k}}_j^{{\boldsymbol{xz}}} = \kappa ({\boldsymbol{z}},{\boldsymbol{x}}{\boldsymbol{Q}^{j - 1}}) $$ (24) 式中：Q为置换矩阵，表示如下：
$$ \boldsymbol{Q} = \left[ \begin{gathered} 0\;\;1\;\;0\;\; \cdots \;\;0 \hfill \\ 0\;\;0\;\;1\;\; \cdots \;\;0 \hfill \\ 0\;\;0\;\;0\;\; \cdots \;\; \vdots \hfill \\ \vdots \;\;\; \vdots \;\;\; \vdots \;\;\; \ddots \;\;1 \hfill \\ 1\;\;0\;\;0\;\; \cdots \;\;0 \hfill \\ \end{gathered} \right] $$ (25) 定义Kz表示所有训练样本和测试样本的核矩阵，其由基础训练样本x和基础测试样本z的核函数确定，可表示为：
$$ {{\boldsymbol{K}}^z} = C({{\boldsymbol{k}}^{{\boldsymbol{x}}z}}) $$ (26) 对于测试样本的回归值，可由以下获取：
$$ f({\boldsymbol{z}}) = {{\boldsymbol{K}}^{\boldsymbol{z}}}{\boldsymbol{\beta }} $$ (27) 式(27)中：f(z)表示所有测试样本的回归值，其可将kxz看作滤波器，那么f(z)就可看作滤波器kxz对β的滤波结果，基于此，计算公式(27)称之为核滤波。借助离散傅里叶变换矩阵对核矩阵Kz对角化，可得：
$$ \hat f({\boldsymbol{z}}) = {{\boldsymbol{\hat k}}^{{\boldsymbol{x}}z}} \odot {\boldsymbol{\hat \beta }} $$ (28) 根据公式(28)可完成核脊回归模型检测，这里将核相关滤波简化为式(22)和(28)两步计算，其中式(22)涉及计算kxx，式(28)涉及计算kxz，核相关滤波计算任务繁重。
1.4 核函数简化计算
通过上节核滤波的推导可知，核相关函数的计算复杂度与核函数类型有关，会影响整个核滤波的效率。本节分别分析内积型和径向基核函数的计算。内积型核函数（含多项式）表示如下：
$$ \kappa ({{\boldsymbol{x}}_1},{{\boldsymbol{x}}_2}) = h({{\boldsymbol{x}}_1}{\boldsymbol{x}}_2^{\rm{T}}) $$ (29) 式(29)中：h(x)代表某函数，向量x1, x2的核函数：
$$ {{\boldsymbol{k}}^{{{\boldsymbol{x}}_1}{x_2}}} = h((C({{\boldsymbol{x}}_1}){\boldsymbol{x}}_2^{\rm{T}})) $$ (30) 对C(x1)对角化，可得：
$$ {{\boldsymbol{k}}^{{{\boldsymbol{x}}_1}{x_2}}} = h({F^{ - 1}}({\widehat {\boldsymbol{x}}_1} \otimes {\widehat {\boldsymbol{x}}_2})) $$ (31) 通过式(31)可知内积型核函数可通过离散傅里叶变换和点乘获得计算结果，计算复杂度为O(nlogn)。径向基核函数表示如下：
$$ \kappa ({{\boldsymbol{x}}_1},{{\boldsymbol{x}}_2}) = g(||{{\boldsymbol{x}}_1} - {{\boldsymbol{x}}_2}|{|^2}) $$ (32) 式(32)中：g(x)为高斯核函数，这是取将上式(32)展开：
$$ \kappa ({{\boldsymbol{x}}_1},{{\boldsymbol{x}}_2}) = g(||{{\boldsymbol{x}}_1}|{|^2} + ||{{\boldsymbol{x}}_2}|{|^2} - 2{{\boldsymbol{x}}_1}{\boldsymbol{x}}_2^{\rm{T}}) $$ (33) 可将上式(33)中||x1||2和||x2||2视为常量，故而将式(33)看作内积型，根据式(31)求解内积型核函数，可得径向基核函数结果如下：
$$ {{\boldsymbol{k}}^{{{\boldsymbol{x}}_1}{x_2}}} = g(||{{\boldsymbol{x}}_1}|{|^2} + ||{{\boldsymbol{x}}_2}|{|^2} - 2{\boldsymbol{F}^{ - 1}}({\widehat {\boldsymbol{x}}_1} \otimes {\widehat {\boldsymbol{x}}_2})) $$ (34) 以高斯径向基为例，其相关核函数为：
$$ {{\boldsymbol{k}}^{{{\boldsymbol{x}}_1}{x_2}}} = \exp ( - \frac{{(||{{\boldsymbol{x}}_1}|{|^2} + ||{{\boldsymbol{x}}_2}|{|^2} - 2{\boldsymbol{F}^{ - 1}}({{\widehat {\boldsymbol{x}}}_1} \otimes {{\widehat {\boldsymbol{x}}}_2}))}}{{{\eta ^2}}}) $$ (35) 式(35)中：η表示带宽，通过上式(35)可知径向基核函数的核函数也可通过离散傅里叶变换和点乘获得计算结果，其计算复杂度为O(nlogn)。
2. 本文算法
本节将利用核相关滤波算法对帧间背景运动进行补偿，借助帧间差分对相对运动进行特征提取，最后通过阈值化完成红外弱小运动目标的检测。本文算法的示意图如图 1所示。
2.1 本文算法各阶段
帧间运动补偿阶段：通过示意图可知，在帧间运动补偿阶段，算法以i－t帧作为基础训练样本x，训练核脊回归模型，以i帧为基础测试样本z，借助核滤波获得所有基础测试样本回归值，取回归值中最大值，计算其相对于基础测试样本的差值μ。然后将i－t帧x整体以位移量μ进行循环移位获得对第i帧的估计z′，实现对帧间背景运动补偿。
相对运动特征提取阶段：对于红外图像序列中的运动目标而言，由于弱小目标相对于背景进行了运动，因此弱小目标在测试样本z和估计帧z′中的位置也发生了变化，那么对z和z′进行帧间差分可以进一步凸显目标，同时可以抑制背景各种杂波。基于此，本阶段将z和z′进行帧间差分获得相对运动特征图，经过循环移位，z和z′的差分图在边缘区域会残留背景（如图 1相对运动特征提取结果），设置边缘区域宽度d，通过对边缘宽度内置零，改善相对运动特征图。
目标识别阶段：经过前两个阶段，弱小目标处于相对运动特征图中显著位置，为了有效识别，采用如下阈值分割法获得最终二值化检测结果：
$$ T=\varpi +r×ξ $$ (36) 式中：ϖ表示相对运动特征图各像素特征值均值；ξ表示相对运动特征图各像素特征值标准差；r为阈值，一般取值[20, 40]。
这里参考文献[25]的思想，在帧差法中引入面积阈值在判断目标运动的大体帧数。首先获得当前i帧红外图像和前t帧的灰度图像Fi(x, y)、Fi－t(x, y)，获得差分图像Dt(x, y)：
$$ D_{t}(x,y)=|F_{i}(x,y)－F_{i－t}(x,y)| $$ (37) 由于Dt(x, y)中运动目标像素点灰度值较高，这里借助最大类间方差获得自适应阈值Tt。而后记二值图像Rt(x, y)中灰度值为1像素点个数为M，若M小于阈值Tt，则增大间隔帧数（t=t+1），重复以上过程，直到M大于阈值Tt为止，此时t为弱小目标运动的最小帧数。
2.2 算法流程
综合以上，本文算法伪代码如下：
Input：第i－t和i帧红外图像，回归值y，带宽ηy，正则化系数α，边缘区域宽度d，间接帧数t，阈值r。
Step1：以i－t帧作为基础训练样本x，以i帧为基础测试样本z；
Step2：根据式(35)求解核相关函数kxx；
Step3：分别对核相关函数kxx和回归值y傅里叶变换，获得$ {{\boldsymbol{\hat k}}^{{\boldsymbol{x}}x}} $和$ \widehat {\boldsymbol{y}} $；
Step4：根据式(22)求得对偶空间解β及傅里叶变换值$ \widehat {\boldsymbol{\beta }} $；
Step5：根据式(35)求解核相关函数kxz，并进行傅里叶变化获得$ {{\boldsymbol{\hat k}}^{{\boldsymbol{x}}z}} $；
Step6：根据$ {{\boldsymbol{\hat k}}^{{\boldsymbol{x}}z}} $和$ \widehat {\boldsymbol{\beta }} $，代入式(28)，获得$ \hat {\boldsymbol{f}}({\boldsymbol{z}}) $，f(z)是由所有测试样本z回归值组成的二维矩阵；
Step7：根据f(z)获得测试样本回归值最大值位置(amax, omax)；
Step8：计算第i帧红外图像相对于第i－t的位移量μ=(amax－1, omax－1)；
Step9：对第i－t帧红外图像以位移量μ平移，得到第i帧图像估计z′；
Step10：对z′和z差分获得差分图并按照设定边缘区域宽度d进行置零，得到相对运动特征图；
Step11：根据式(36)获得分割阈值T；
Step12：根据T对相对运动特征图进行阈值分割，得到第i帧红外图像二值化结果。
假设第i帧红外图像拥有n个像素，核相关滤波的复杂度为O(nlogn)，那么基于核相关滤波的帧间运动补偿计算复杂度为O(nlogn)，帧间差分计算复杂度为O(n)，运动特征提取计算复杂度为O(n)，阈值分割计算复杂度也为O(n)，综上可知，本文算法的整体计算复杂度最大为O(n)，运算开销较低。
3. 仿真实验与对比分析
本文利用4幅红外对地观测图像来验证算法有效性和优越性。硬件环境为Intel(R) Core(TM) i5-10500@3.1 GHz，RAM: 8 GB，软件环境为：Matlab R2016b。其中实验4种测试场景都是200帧，图像大小为256×256，根据前述目标识别估算可知，弱小目标运动速度在8帧左右，这与后面间隔帧参数t的验证基本一致。实验场景具体如图 2所示。
![]()
图 2 测试场景示意图。(a)场景一；(b)场景二；(c)场景三；(d)场景四Figure 2. Schematic diagram of testing scenario. (a) Scene one; (b) Scene two; (c) Scene three; (d) Scene four在4种测试场景中都包含弱小目标（方框内），其中场景一存在树木、道路等多种杂波，背景存在高强度点状干扰源；场景二存在沟壑、河道、树木多种杂波，目标强度低；场景三存在道路、树木、池塘等多种杂波，边缘干扰较强；红外图像四存在道路、树木、线杆等多种杂波，线性杂波干扰较强。4种测试场景都有明显背景运动。
3.1 参数设置
在算法的初始化阶段需要确定其中的参数，有些参数是根据经验值设定，其中参考文献[26]，将公式(22)中回归值y设置呈高斯分布，$ {\eta _y} = \sqrt N/10 $，正则化系数α=10－3，采用高斯径向基核函数，设公式(35)中带宽η=1，边缘区域宽度d=20。此外帧间运动补偿阶段，间隔帧数t也是需要设定的参数，为了获得高质量差分结果，这里分别测试t=1, 3, 5, 10时4种测试场景的相对运动特征图。
图 3~图 6的(a)~(d)分别为各场景中t=1, 3, 5, 10时的单帧图像，图 3~图 6的(e)~(h)分别对应t=1, 3, 5, 10单帧图像的相对运动特征图。通过图 3~图 6的结果可以看出，当t=1时，4种场景的相对运动特征不明显，当t=3和t=5时，4种场景下的相对运动特征逐渐明显，当t=10时，弱小目标与背景相对运动特征有较为明显的差异，由于间隔帧的设置与弱小目标的实际运动有关，结合4种场景中目标的实际运动，这里设置t=10，当目标运动过快时，可根据情况适当调小间隔帧数。
![]()
图 3 场景一在不同间隔帧数下相对特征。(a)第1帧图像；(b) 第3帧图像；(c)第5帧图像；(d)第10帧图像；(e)第1帧图像相对运动特征图；(f)第3帧图像相对运动特征图；(g)第5帧图像相对运动特征图；(h)第10帧图像相对运动特征图Figure 3. Relative characteristics of Scene one at different interval frames. (a) First frame image; (b) Third frame image; (c) Fifth frame image; (d)Tenth frame image; (e) Relative motion feature of the first frame image; (f) Relative motion feature of the third frame image; (g) Relative motion feature of the fifth frame image; (h) Relative motion feature of the tenth frame image![]()
图 4 场景二在不同间隔帧数下相对特征。(a)第1帧图像；(b) 第3帧图像；(c)第5帧图像；(d)第10帧图像；(e)第1帧图像相对运动特征图；(f)第3帧图像相对运动特征图；(g)第5帧图像相对运动特征图；(h)第10帧图像相对运动特征图Figure 4. Relative characteristics of Scene two at different interval frames. (a) First frame image; (b) Third frame image; (c) Fifth frame image; (d)Tenth frame image; (e) Relative motion feature of the first frame image; (f) Relative motion feature of the third frame image; (g) Relative motion feature of the fifth frame image; (h) Relative motion feature of the tenth frame image![]()
图 5 场景三在不同间隔帧数下相对特征。(a)第1帧图像；(b) 第3帧图像；(c)第5帧图像；(d)第10帧图像；(e)第1帧图像相对运动特征图；(f)第3帧图像相对运动特征图；(g)第5帧图像相对运动特征图；(h)第10帧图像相对运动特征图Figure 5. Relative characteristics of Scene three at different interval frames. (a) First frame image; (b) Third frame image; (c) Fifth frame image; (d)Tenth frame image; (e) Relative motion feature of the first frame image; (f) Relative motion feature of the third frame image; (g) Relative motion feature of the fifth frame image; (h) Relative motion feature of the tenth frame image![]()
图 6 场景四在不同间隔帧数下相对特征。(a)第1帧图像；(b) 第3帧图像；(c)第5帧图像；(d)第10帧图像；(e)第1帧图像相对运动特征图；(f)第3帧图像相对运动特征图；(g)第5帧图像相对运动特征图；(h)第10帧图像相对运动特征图Figure 6. Relative characteristics of Scene four at different interval frames. (a) First frame image; (b) Third frame image; (c) Fifth frame image; (d)Tenth frame image; (e) Relative motion feature of the first frame image; (f) Relative motion feature of the third frame image; (g) Relative motion feature of the fifth frame image; (h) Relative motion feature of the tenth frame image3.2 算法有效性
利用本算法对4种场景进行目标检测，以验证本文算法的有效性，结果如图 7~图 10所示。
![]()
图 7 场景一检测结果。(a)场景一单帧图像；(b)图a前10帧红外图像；(c)图a和图b的差分结果；(d)图b运动补偿结果；(e) 图a与图d差分结果；(f)图e边缘置零结果；(g)相对运动特征图；(h)目标检测结果Figure 7. Detection results of scenario one. (a)Single frame image in scene one; (b)The first ten infrared images of Figure a; (c)The difference results of Figures a and b; (d)Motion compensation results in Figure b; (e)Difference Results of Figures a and d; (f) The result of edge zeroing in Figure e; (g)Relative motion features; (h)Target detection results![]()
图 8 场景二检测结果。(a)场景二单帧图像；(b)图a前10帧红外图像；(c)图a和图b的差分结果；(d)图b运动补偿结果；(e) 图a与图d差分结果；(f)图e边缘置零结果；(g)相对运动特征图；(h)目标检测结果Figure 8. Detection results of scenario two. (a)Single frame image in scene two; (b)The first ten infrared images of Figure a; (c)The difference results of Figures a and b; (d)Motion compensation results in Figure b; (e)Difference Results of Figures a and d; (f) The result of edge zeroing in Figure e; (g)Relative motion features; (h)Target detection results![]()
图 9 场景三检测结果。(a)场景三单帧图像；(b)图a前10帧红外图像；(c)图a和图b的差分结果；(d)图b运动补偿结果；(e) 图a与图d差分结果；(f)图e边缘置零结果；(g)相对运动特征图；(h)目标检测结果Figure 9. Detection results of scenario three. (a)Single frame image in scene three; (b)The first ten infrared images of Figure a; (c)The difference results of Figures a and b; (d)Motion compensation results in Figure b; (e)Difference Results of Figures a and d; (f) The result of edge zeroing in Figure e; (g)Relative motion features; (h)Target detection results![]()
图 10 场景四检测结果。(a)场景四单帧图像；(b)图a前10帧红外图像；(c)图a和图b的差分结果；(d)图b运动补偿结果；(e) 图a与图d差分结果；(f)图e边缘置零结果；(g)相对运动特征图；(h)目标检测结果Figure 10. Detection results of scenario four. (a)Single frame image in scene four; (b)The first ten infrared images of Figure a; (c)The difference results of Figures a and b; (d)Motion compensation results in Figure b; (e)Difference Results of Figures a and d; (f) The result of edge zeroing in Figure e; (g)Relative motion features; (h)Target detection results图 7~图 10为4种场景目标检测结果，其中图(a)表示测试场景中的当前帧，图(b)表示当前帧之前10帧的单帧红外图像，图(c)表示图(a)和图(b)的差分结果，图(d)表示图(b)经过运动补偿后的结果，图(e)表示图(a)与图(d)差分结果，图(f)表示将图(e)边缘置零结果，图(g)表示最终相对运动特征图，图(h)表示真实目标图。
从图 7(c)~图 10(c)可以看出，由于背景在两帧红外图像间有明显运动，将当前红外图像与之前10帧红外图像进行差分会产生背景杂波干扰；从图 7(e)~图 10(e)可以看出，经过背景运动补偿，所得的差分图中背景杂波被明显抑制；从图 7(g)~图 10(g)可以看出，在最终的结果中算法有效将背景信息过滤，弱小目标被完整检测出。
3.3 算法优越性
为了验证本文算法的优越性，引入当前或经典红外目标检测算法进行仿真对比。4种对比算法分别为：频域核滤波目标检测算法（Aerial infrared target tracking algorithm based on kernel correlation filters under complex interference environment, GF-KCF）[21]、多尺度块对比检测算法（Multiscale Patch-based Contrast Measure for small infrared target detection, MPCM）[27]、相对性局部对比检测算法（Infrared small target detection utilizing the multiscale Relative Local Contrast Measure, RLCM）[28]、自适应特征融合目标检测（Robust thermal infrared object tracking with continuous correlation filters and adaptive feature fusion，RCCF-TIR） [29]，目标检测结果如图 11所示。
![]()
图 11 五种算法在4种测试场景中的目标检测结果。(a)场景一；(b)场景二；(c)场景三；(d)场景四；(e)-(h)算法MPCM在4种测试场景中的目标检测结果；(i)-(l)算法RLCM在4种测试场景中的目标检测结果；(m)-(p)算法RCCF-TIR在4种测试场景中的目标检测结果；(q)-(t)算法GF-KCF在4种测试场景中的目标检测结果；(u)-(x)算法KCF-FF在4种测试场景中的目标检测结果Figure 11. Target detection results of five algorithms in four test scenarios. (a) Scene one; (b) Scene two; (c) Scene three; (d) Scene four; (e)-(h)Target detection results of MPCM algorithm in four test scenarios; (i)-(l)Target detection results of RLCM algorithm in four test scenarios; (m)-(p)Target detection results of RCCF-TIR algorithm in four test scenarios; (q)-(t)Target detection results of GF-KCF algorithm in four test scenarios; (u)-(x)Target detection results of KCF-FF algorithm in four test scenarios图 11的第一行为4种测试场景，弱小目标已被红色方框标出，第二行~第六行分别为MPCM、RLCM、RCCF-TIR、GF-KCF和本文算法的目标检测结果。MPCM虽然对杂波有较好的抑制，但基本无法抑制点状干扰源，弱小目标无法识别；RLCM结果存在杂波，无法辨识弱小目标；RCCF-TIR有效对杂波进行了抑制，但对点状干扰源的抑制还有待提高，弱小目标虽能被检测但混杂在点状干扰源中，辨识度不高；GF-KCF对杂波和点状干扰源都有很好的抑制，弱小目标也基本识别，但对场景四中目标识别时，背景抑制过度；本文算法（KCF-FF）利用帧间运动补偿实现了前后两帧图像的匹配，可以很好地抑制点状干扰源和明显的帧间运动背景，较好实现了对弱小目标的检测。
为了更直观地对比各算法的性能，这里采用ROC曲线（Receiver Operating Characteristic curve, ROC）和曲线下面积AUC（Area Under Curve, AUC）来定量评价，其中ROC曲线以检测率TPR（True Positive Rate, TPR）为纵坐标，以虚警率FPR（False Positive Rate, FPR）为横坐标，理想状态下，TPR=1，FPR=0，也就是ROC曲线越靠近左上方越好，而曲线下面积AUC越大，算法性能越好，各算法在红外图像上的ROC曲线如图 12所示。
![]()
图 12 各算法在4种测试场景上的ROC曲线。(a)五种算法在场景一上的ROC曲线；(b) 五种算法在场景二上的ROC曲线；(c) 五种算法在场景三上的ROC曲线；(d) 五种算法在场景四上的ROC曲线Figure 12. ROC curve of each algorithm under four testing scenarios. (a) ROC curves of five algorithms on scenario one; (b) ROC curves of five algorithms on scenario two; (c) ROC curves of five algorithms on scenario three; (d) ROC curves of five algorithms on scenario four图 12(a)~(d)分别为各算法在测试场景一~测试场景四上的ROC曲线，其中本文算法(KCF-FF)的ROC曲线都最靠近左上角，面对强点状干扰和多种杂波都表现出了较高的检测性能。各算法在不同测试环境下的AUC指标如表 1所示。
表 1 各算法在4种测试场景下AUC值Table 1. AUC value of each algorithm under four testing scenariosAlgorithm Test scenario Scene One Scene Two Scene Three Scene Four MPCM 0.9252417 0.9878632 0.9964728 0.9397536 RLCM 0.9933118 0.9945269 0.9982756 0.9528677 RCCF-TIR 0.9961529 0.9953715 0.9989752 0.9874292 GF-KCF 0.9982573 0.9979236 0.9990135 0.9946382 KCF-FF 0.9999892 0.9997392 0.9999948 0.9986514 由表 1各算法在不同测试场景上的AUC值可以看出，本文算法的AUC值最高，其次是GF-KCF，这与各算法在测试场景上的ROC曲线一致，体现了本文弱小目标检测的优异性能。从表 2各算法在不同测试场景下运行时间看，GF-KCF的运行时间最少，本文算法次之，但两者的运行时间差距不大，在可控范围内。
表 2 各算法在4种测试场景下运行时间Table 2. The running time of each algorithm under four testing scenariosAlgorithm Test scenario Scene One Scene Two Scene Three Scene Four MPCM 0.038 0.036 0.028 0.043 RLCM 4.082 4.017 3.825 4.263 RCCF-TIR 0.052 0.049 0.035 0.059 GF-KCF 0.019 0.018 0.011 0.022 KCF-FF 0.025 0.024 0.017 0.031 4. 结论
本文提出了一种结合帧差的核相关滤波弱小红外目标检测算法，借助核相关滤波补偿帧间背景运动，利用帧间差分法提取相对运动特征，通过阈值分割获得最终目标检测结果。对比实验可知，本算法取得了较高的目标检测率和运算效率。算法主要利用图像序列的时域和频域特征，而单帧图像还有空域特征，如何多重利用红外序列图像的时域、频域和空域特征来进一步提高目标检测的精度将是本文下一步研究的重点。
-
![]()
图 6 10组源图像的8种客观评价指标对比
Figure 6. Comparison of eight objective evaluation metrics for 10 sets of source images
![]()
图 7 FLIR_00006场景的主观评价对比结果
Figure 7. Comparative results of subjective evaluation of FLIR_00006 scenes
表 1 代表性图像的客观评价结果（第四列图像）
Table 1 Objective evaluation results of representative images (Fourth column images)
Methods EN AG SD SF VIFF CC MI MSSSIM FusionGAN 6.0183 1.6860 4.7715 4.6687 0.1133 0.0905 12.0366 0.6645 BF 6.6117 2.9497 5.9747 7.9090 0.3070 0.9662 13.2234 0.8852 SDNet 6.2120 4.3359 4.9257 10.8688 0.2373 0.3034 12.4239 0.8042 SMVIF 6.3927 3.8549 5.2895 10.3887 0.3384 0.8488 12.7855 0.8822 RTVD 6.7321 3.5092 6.2998 9.5507 0.2946 0.6309 13.4642 0.7830 U2Fusion 6.5800 3.7273 5.3552 8.6307 0.3528 0.8178 13.1599 0.8911 SwinFusion 6.7706 4.4139 6.5156 11.0276 0.4470 0.7718 13.5411 0.8891 PIAFusion 6.6548 4.0317 6.5047 10.0641 0.4158 0.8453 13.3097 0.9094 FLFusion 6.1153 2.5540 4.7810 6.5569 0.1681 0.6325 12.2308 0.7440 Ours 7.0854 4.2056 7.0897 11.1093 0.4646 0.9682 14.1709 0.9298 
下载: 导出CSV
表 2 7组图像的客观评价指标平均值
Table 2 Average of objective evaluation indexes of 7 groups of images
Methods EN AG SD SF VIFF CC MI MSSSIM FusionGAN 6.3272 2.0612 5.0497 5.1198 0.2267 0.1786 12.6718 0.7276 BF 6.1464 2.3461 4.9419 5.8386 0.2103 0.8886 12.2927 0.8789 SDNet 6.4704 4.2226 5.1469 10.0102 0.3489 0.3938 12.9409 0.8584 SMVIF 6.0544 3.2066 4.5489 8.1944 0.2917 0.6290 12.1088 0.9014 RTVD 6.6056 2.8126 5.6856 7.1157 0.2328 0.5575 13.2111 0.7889 U2Fusion 6.1796 3.1756 4.6321 7.0709 0.3423 0.5475 12.3592 0.9186 SwinFusion 6.5968 3.4010 5.8062 8.1872 0.3592 0.6646 13.1935 0.8958 PIAFusion 6.4558 3.1007 5.6763 7.5976 0.2652 0.8107 12.9116 0.8712 FLFusion 5.9349 2.2358 4.3565 5.3895 0.1653 0.4108 11.8698 0.7768 Ours 7.0646 4.3918 6.6350 10.4934 0.5808 0.8746 14.1293 0.9173 AMIR 11.996% 48.804% 30.256% 46.366% 114.001% 54.906% 11.980% 8.377%
下载: 导出CSV
表 3 不同融合算法的运行时间
Table 3 Running time of different fusion methods
s Methods FusionGAN BF SDNet SMVIF RTVD U2Fusion SwinFusion PIAFusion FLFusion Ours Time 1.251 1.029 0.992 0.803 3.561 2.499 48.063 1.136 1.072 1.058
下载: 导出CSV
表 4 FLIR_00006场景的客观评价对比结果
Table 4 Comparative results of the objective evaluation of the FLIR_00006 scenario
Methods EN AG SD SF VIFF MI MSSSIM CNN 6.9642 6.4636 6.5088 23.0067 0.5664 2.4576 0.9442 MLGCF 7.0043 6.5462 5.7386 23.0275 0.4041 2.7186 0.9227 SwinFusion 6.9047 5.2062 6.5814 18.5056 0.2202 2.1103 0.3850 CDL 6.9642 5.7096 6.1676 18.8730 0.2764 2.8324 0.8055 Fractal 7.7249 6.5918 6.4663 23.0894 0.6032 3.2194 0.8915 PCNN 7.2290 6.3944 6.5351 22.7765 0.4827 2.6052 0.9070 Ours 7.6876 6.8140 6.8379 23.7251 0.6675 3.2313 0.9513
下载: 导出CSV
表 5 消融实验客观评价结果
Table 5 Objective evaluation results of ablation experiments
Models EN AG SF MI SCD Denseblock 6.3184 1.9436 6.2444 12.6369 0.8091 CBAM 6.8433 3.0356 7.9358 13.6865 1.8115 Attention-generator 6.8484 2.4442 7.0260 13.6971 1.8593 Attention-discriminator 6.9290 2.8020 7.5908 13.8580 1.6908 All 7.0877 3.1903 8.3740 14.1755 1.9091
下载: 导出CSV
-
[1] YANG B, JIANG Z, PAN D, et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors[J]. Information Fusion, 2023, 99: 101851. DOI: 10.1016/j.inffus.2023.101851
[2] ZHANG X, DAI X, ZHANG X, et al. Joint principal component analysis and total variation for infrared and visible image fusion[J]. Infrared Physics & Technology, 2023, 128: 104523.
[3] TANG L, XIANG X, ZHANG H, et al. DIVFusion: Darkness-free infrared and visible image fusion[J]. Information Fusion, 2023, 91: 477-493. DOI: 10.1016/j.inffus.2022.10.034
[4] WANG Z, SHAO W, CHEN Y, et al. Infrared and visible image fusion via interactive compensatory attention adversarial learning[J]. IEEE Transactions on Multimedia, 2022, 25: 1-12.
[5] 唐丽丽, 刘刚, 肖刚. 基于双路级联对抗机制的红外与可见光图像融合方法[J]. 光子学报, 2021, 50(9): 0910004. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202109035.htm TANG Lili, LIU Gang, XIAO Gang. Infrared and visible image fusion method based on dual-path cascade adversarial mechanism[J]. Acta Photonica Sinica, 2021, 50(9): 0910004. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202109035.htm
[6] 王志社, 邵文禹, 杨风暴, 等. 红外与可见光图像交互注意力生成对抗融合方法[J]. 光子学报, 2022, 51(4): 0410002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm WANG Zhishe, SHAO Wenyu, YANG Fengbao, et al. Infrared and visible image fusion method via interactive attention-based generative adversarial network [J]. Acta Photonica Sinica, 2022, 51(4): 0410002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202204029.htm
[7] RAO D, XU T, WU X. Tgfuse: An infrared and visible image fusion approach based on transformer and generative adversarial network[J]. IEEE Transactions on Image Processing, 2023, 5: 1-11.
[8] XIE Q, MA L, GUO Z, et al. Infrared and visible image fusion based on NSST and phase consistency adaptive DUAL channel PCNN[J]. Infrared Physics & Technology, 2023, 131: 104659.
[9] 江泽涛, 蒋琦, 黄永松, 等. 基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法[J]. 光子学报, 2020, 49(4): 0410001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202004019.htm JIANG Zetao, JIANG Qi, HUANG Yongsong, et al. Infrared and low-light-level visible light enhancement image fusion method based on latent low-rank representation and composite filtering [J]. Acta Photonica Sinica, 2020, 49(4): 0410001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202004019.htm
[10] WANG C, WU Y, YU Y, et al. Joint patch clustering-based adaptive dictionary and sparse representation for multi-modality image fusion [J]. Machine Vision and Applications, 2022, 33(5): 69. DOI: 10.1007/s00138-022-01322-w
[11] PANG Y, ZHAO X, ZHANG L, et al. Multi-scale interactive network for salient object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 9413-9422.
[12] CHEN J, WU K, CHENG Z, et al. A saliency-based multiscale approach for infrared and visible image fusion[J]. Signal Processing, 2021, 182: 107936. DOI: 10.1016/j.sigpro.2020.107936
[13] VESHKI F G, VOROBYOV S A. Coupled feature learning via structured convolutional sparse coding for multimodal image fusion[C]//ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2022: 2500-2504.
[14] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018. DOI: 10.1142/S0219691318500182
[15] Prabhakar K R, Srikar V S, Babu R V. DeepFuse: a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]//Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017: 4714-4722.
[16] MA J, YU W, LIANG P, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[17] ZHANG H, YUAN J, TIAN X, Ma J. GAN-FM: Infrared and visible image fusion using GAN with full-scale skip connection and dual Markovian discriminators[J]. IEEE Transactions on Computational Imaging, 2021, 7: 1134-1147. DOI: 10.1109/TCI.2021.3119954
[18] SUN X, HU S, MA X, et al. IMGAN: Infrared and visible image fusion using a novel intensity masking generative adversarial network[J]. Infrared Physics & Technology, 2022, 125: 104221.
[19] LE Z, HUANG J, XU H, et al. UIFGAN: An unsupervised continual-learning generative adversarial network for unified image fusion[J]. Information Fusion, 2022, 88: 305-318. DOI: 10.1016/j.inffus.2022.07.013
[20] Toet Alexander. The TNO Multiband image data collection[J]. Data in Brief, 2017, 15: 249-251. DOI: 10.1016/j.dib.2017.09.038
[21] ZHANG H, MA J. SDNet: a versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129: 2761-2785. DOI: 10.1007/s11263-021-01501-8
[22] ZHAO Z, XU S, ZHANG C, et al. Bayesian fusion for infrared and visible images[J]. Signal Processing, 2020, 177: 107734. DOI: 10.1016/j.sigpro.2020.107734
[23] CHEN J, LI X, WU K. Infrared and visible image fusion based on relative total variation decomposition[J]. Infrared Physics & Technology, 2022, 123: 104112.
[24] XU H, MA J, JIANG J, et al. U2Fusion: a unified unsupervised image fusion network [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. DOI: 10.1109/TPAMI.2020.3012548
[25] MA J, TANG L, FAN F, et al. SwinFusion: cross-domain long-range learning for general image fusion via swin transformer [J]. IEEE/CAA Journal of Automatica Sinica, 2022, 9(7): 1200-1217. DOI: 10.1109/JAS.2022.105686
[26] TANG L, YUAN J, ZHANG H, et al. PIAFusion: a progressive infrared and visible image fusion network based on illumination aware [J]. Information Fusion, 2022, 83: 79-92.
[27] XUE W, WANG A, ZHAO L. FLFuse-Net: A fast and lightweight infrared and visible image fusion network via feature flow and edge compensation for salient information [J]. Infrared Physics & Technology, 2022, 127: 104383.
[28] TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition [J]. Applied optics, 2019, 58(12): 3064-3073. DOI: 10.1364/AO.58.003064
[29] VESHKI FG, OUZIR N, VOROBYOV SA, et al. Multimodal image fusion via coupled feature learning[J]. Signal Processing, 2022, 200: 108637. DOI: 10.1016/j.sigpro.2022.108637
[30] Panigrahy C, Seal A, Mahato N K. Fractal dimension based parameter adaptive dual channel PCNN for multi-focus image fusion[J]. Optics and Lasers in Engineering, 2020, 133: 106141.
[31] Panigrahy C, Seal A, Mahato N K. Parameter adaptive unit-linking dual-channel PCNN based infrared and visible image fusion[J]. Neurocomputing, 2022, 514: 21-38.
-
期刊类型引用(2)
1. 伍祥，伍岳，韦佳佳. 一种基于帧差法的运动物体检测改进方法. 兰州文理学院学报(自然科学版). 2025(02): 40-47+72 . 
百度学术
2. 李建华，韩宇，石开铭，张可嘉，郭红领，方东平，曹佳明. 施工现场小目标工人检测方法. 图学学报. 2024(05): 1040-1049 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 94
- HTML全文浏览量: 21
- PDF下载量: 46
- 被引次数: 3
