Multi-modality Image Fusion Algorithm Based on NSST-DWT-ICSAPCNN
-
摘要: 为了增加融合图像的信息量，结合非下采样剪切波变换（Non-Subsampled Shearlet Transform, NSST）和离散小波变换（Discrete Wavelet Transform, DWT）的互补优势，提出了改进的多模态图像融合方法。采用NSST对两幅源图像进行多尺度、多方向的分解，得到相应的高频子带和低频子带；利用DWT将低频子带进一步分解为低频能量子带和低频细节子带，并利用最大值选择规则融合能量子带；采用改进连接强度的自适应脉冲耦合神经网络（Improved Connection Strength Adaptive Pulse Coupled Neural Network, ICSAPCNN）分别融合细节子带和高频子带，并对能量子带和细节子带进行DWT逆变换，得到融合的低频子带；采用NSST逆变换重构出细节信息丰富的融合图像。实验证明，提出的算法在主观视觉和客观评价方面均优于其他几种算法，且能同时适用于红外与可见光源图像、医学源图像的融合。
-
关键词:
- 多模态图像 /
- 图像融合 /
- 离散小波变换 /
- 自适应脉冲耦合神经网络 /
- 非下采样剪切波变换
Abstract: To increase the information of the fused image, this paper proposes an improved multi-modality image fusion algorithm that combines the complementary advantages of the non-subsampled shearlet transform (NSST) and discrete wavelet transform (DWT). NSST was used to decompose the two source images in multiscale and multi-direction to obtain the corresponding high-frequency and low-frequency sub-bands. The low-frequency sub-bands were further decomposed into low-frequency energy sub-bands and low-frequency detail sub-bands by the DWT, and the low-frequency energy sub-bands were fused by the maximum selection rules. An adaptive pulse-coupled neural network with improved connection strength (ICSAPCNN) was used to fuse the detailed sub-bands and high-frequency sub-bands, and the energy sub-bands and detailed sub-bands were fused by inverse DWT to obtain the fused low-frequency sub-bands. The NSST inverse transform was used to reconstruct the fusion image with rich details. The experimental results verified that the proposed algorithm is superior to the other algorithms in both subjective vision and objective evaluation and can be applied to the fusion of both infrared and visible source images and medical source images. -
0. 引言
红外复杂场景下的小目标跟踪研究的意义极其重要。首先，在军事领域的导弹防空预警、导弹精准制导和海上漂浮地雷侦查中发挥了非常重要的作用[1]。其次，现如今由于轻量化的小型无人机的普遍使用，导致存在边防间谍无人机的威胁与在敏感设施中未经授权的无人机侦查偷拍的威胁，所以远距离跟踪非法无人机至关重要。
传统的红外小目标跟踪方法主要可以分为3类：①基于模板匹配。此类算法通过框架之间的设计模板来测量相似度，以找到最相似的目标。文献[2]提出了联合概率数据关联法，通过使用联合关联概率估计目标的状态而获得的显著跟踪改进。文献[3]提出了基于贝叶斯滤波的跟踪算法，不受高斯或者线性相关的背景噪声的限制，可以用于多种状态的转换与模型测量。②基于均值漂移。此类算法利用核加权灰度直方图来表示目标并通过均值平移法找到其位置。文献[4]开发了一种在混乱环境中跟踪多个目标的算法，能够启动跟踪，解决虚假或丢失的报告以及处理相关报告集。文献[5]同时收集包含目标特征和背景噪声的帧，以一种动态编程算法最佳地检测穿过传感器视场的昏暗移动目标。③基于粒子滤波器。此类算法通过基于一组粒子计算后验概率密度来估计目标状态。文献[6]提出了一种权重选择方法，结合灰度特征和梯度特征建立了基于红外图像特征的观测模型。文献[7]提出的粒子滤波跟踪算法使用了均值漂移方法使粒子向目标区域移动，但是在稍微复杂一点的场景中就不稳定。
本文提出了一种基于超分辨率增强与在线检测DSST的小目标跟踪算法。首先，基于融入红外图像特征的超分辨率重建算法对原始图像进行更新，增强了弱小目标，随后，增强的图像被用作基于在线检测DSST算法的输入，得到响应映射，估计目标位置。
1. 所提跟踪方案
本文所提出的红外小目标跟踪方案流程如图 1所示。
1.1 基于SIFT特征的图像超分辨率处理
常用的红外图像超分辨率处理可分为单帧与多帧。单帧处理的过程不需要多帧图像，使用的场景比较多[8]。线性插值法常用于单帧处理中，可在短时间内完成超分辨率处理，但是也会遗失图像高频信号[9]。不同于单一处理图像若干特征的稀疏光流，稠密光流可以对图像的像素点进行逐一匹配，图像的稠密计算可以使得图像中的像素点的偏移量得以计算而累积为稠密光流场[10-11]。
局部特征描述子（Scale Invariant Feature Transform，SIFT）是一种稳定的局部特征[12]，其对于尺度的缩放、图像的旋转以及图像亮度的转变等可以维持特征不变。可以通过计算稠密度，对全局的像素点进行SIFT特征的提取，计算其稠密度。计算全局像素点的SIFT特征而得到目标轨迹流场W＝(x, y)。
设连续的前后两帧的像素坐标为P，则连续的前后两帧的特征可以表示为s1(p)与s2(p)，则位于坐标P点的流可以表示为w(p)＝(x(p), y(p))。其中x(p)表示为水平流场，y(p)表示为垂直流场。
在特征匹配过程中，邻域像素P计算相似度匹配，需按局部特征向量s1(p)与s2(p)进行，即需满足：
$$ M_{w}=\min \sum\limits_{P}\left(\left\|S_{1}(P)-S_{2}(P+w)\right\|\right)$$ (1) 而在实际情况中，流速x2(p)+y2(p)为相邻帧像素速率，值不应太大，即需要满足：
$$ N_{w}=\sum\limits_{P} \gamma(|x(P)|+|y(P)|) $$ (2) 此外，像素点的邻近区域ε内的像素具有类似的流向量，即满足：
$$ R_{w}=\min (\alpha|x(p)-x(q)|, d)$$ (3) $$ S_{w}=\min (\alpha|y(p)-y(q)|, d) $$ (4) $$ P_{w}=\sum\limits_{(p, q) \in N}\left(R_{w}+S_{w}\right) $$ (5) 式中：α、d、γ为参数。综上所述，特征流场的计算可以总结为：
$$ F(w)=M(w)+N(w)+P(w) $$ (6) 根据以上公式计算，得到对应图像之间的水平和垂直流场分别定义为FH, FV。
对红外图像进行稠密计算，其水平流场与垂直流场可以表示相邻图像的局部特征的变化，对比邻接的图像帧，进行高质量、高精确度的匹配。融合图像帧后可增强红外图像的分辨率。图像融合步骤如下：
1）将连续3帧序列通过双立方插值放大m倍后输出：BIR1、BIR2、BIR3；
2）计算BIR1、BIR2、BIR3的特征流场，输出对应序列间的水平和垂直流场：FH21、FV21、FH23、FV23
3）将BIR1、BIR3的像素坐标映射在BIR2上对应位置，输出：BIRs1、BIRs3。
4）设(x, y)为BIR上的像素坐标；(X, Y)为FH21, FV2上的矩阵数值的坐标；
计算：(X, Y)＝(X+x, Y+y)
输出BIR1的像素映射到BIR2时对应的新坐标(X, Y)。
5）用双线性插值法，将BIR1像素灰度值映射到新坐标(X, Y)上，输出BIRs3，同理输出BIRs3。
6）融合BIR2与其相似图像BIRs1和BIRs3，输出BIRs2。
7）利用中值法融合BIRs2、BIRs3和BIRs2：对比BIRs2、BIRs3和BIRs2的每个像素灰度数值，取中值输出为融合结果图像。
8）循环操作：计算流场、映射与融合，直至图像收敛：
$$ \sum {\sum {{{\left( {{\text{BIR}}{s_2}\left( {x,y} \right) - {\text{BI}}{{\text{R}}_2}\left( {x,y} \right)} \right)}^2} \leqslant \delta } } $$ 式中：BIRs2(x, y)表示BIR2的新的像素灰度数值；BIR2(x, y)表示上一次迭代生成的BIR2的像素灰度数值；δ（δ＞0）表示最大误差值。
图 2(a1)与图 2(b1)为红外原始数据图像，图 2(a2)与图 2(b2)为本文的超分辨率方案处理后的效果图，可以很直观地看出效果比较好。
1.2 DSST与PN学习
DSST是在MOSSE（Minimum Output Sum of Squared Error filter）[13]的基础上衍生而来的，基于学习获得位置的相关滤波，然后用此滤波器估计在下一帧图像中目标的坐标。DSST可以分为两个滤波器，第一个是位置滤波器，第二个是尺度滤波器。DSST利用判别相关滤波来估计坐标。
由于相似性和相关性之间的正相关关系，相关滤波是用于测量两个信号的相似性的模式。将相关滤波应用于跟踪问题是基于这样的思想，即当将手工特征过滤到高维空间中时，两个连续帧之间的两个相似对象可以高度相关。在第一帧中给出感兴趣区域作为输入，并对其进行训练以获得相应的相关滤波。余弦窗函数和快速傅里叶变换（Fast Fourier transform，FFT）通过输入信号执行，然后乘以相关滤波以定位最大响应点。最大响应点的获取过程表示如下：
$$ g_{\mathrm{i}}=f_{\mathrm{i}} \otimes h $$ (7) 式中：gi是响应输出值；fi是输入图像；⊗表示卷积操作；h是过滤器模板。
公式(7)是一个费时的卷积过程。因此，采用FFT将卷积操作更改为点乘法运算，可以将其描述为：
$$ F(g)＝F(f⊗g)＝F(g)⋅F(h)^{*} $$ (8) 式中：F是傅里叶变换，“⋅”表示点乘法。公式可简单表述为：
$$ G＝F⋅H^{*} $$ (9) 然后转移视觉跟踪任务以寻找最佳过滤器H*：
$$ H^{*}＝G/F $$ (10) 对于原始DSST，从给定的感兴趣区域（Region of interest，ROI）中提取要跟踪的特征，并对其进行训练以获得第一个输入帧的相关滤波。然后，将FFT变换的输出乘以相关滤波，以找到最大响应点。DSST的最大瓶颈在于，应不断正确更新滤波器模板，以获取每帧的最大输出响应。在没有遮挡的情况下，最大化地将位置指向正确的目标，但是当发生遮挡时，跟踪结果通常不理想，因为响应图被困在局部极值中。
文献[14]提出了PN（P-expert & N-expert）学习，通过一对“专家”来估计错误：①P专家估计错过的检测，②N专家估计错误警报。PN学习分为4个模块：P-N experts、训练样本、学习前分类器与监督学习。PN学习在红外图像的每一帧中都会对检测器进行评估。估计的误差增加了检测器的训练集，并且对检测器进行重新训练以避免将来出现这些误差。PN专家也自己犯错，但如果专家错误的可能性在一定范围内，则错误会相互补偿，从而达到学习稳定。PN学习利用有监督训练进行初始化，对每一帧红外图像都进行以下操作：①对当前帧评估检测器；②使用PN专家估计检测器错误；③通过专家输出的带标签示例更新检测器。在学习结束时获得的检测器称为最终检测器。
图 3(a)所示为红外视频序列的3个帧，其被扫描网格覆盖。网格中的每个边界框都定义了一个图像块，其标签在图 3(b)和图 3(c)中用实心圆点表示。每个基于扫描窗口的检测器都将补丁视为独立补丁。因此，有2N单个框架中可能的标签组合，其中N是网格中边界框的数量。图 3(b)所示为这样的标记。标签表明对象出现在单个帧中的多个位置，并且运动中没有时间上的连续性。这样的标签不太可能是正确的。另一方面，如果检测器输出图 3(c)所示的结果，则标记是合理的，因为对象出现在每一帧的一个位置，并且检测到的位置会及时建立轨迹。换句话说，补丁的标签是相关的，这种属性称为结构。本文采用思想为利用数据中的结构来识别检测器错误。
PN学习中的P专家使用红外图像序列中的时间信息结构，并且假定目标沿着轨迹进行运动，且会记录目标在上一帧中的坐标，使用图像帧之间的跟踪器预测当前图像帧中小目标的位置。如果检测结果否定了当前坐标，即产生错误的否定错误，则P专家会生成肯定的示例。
PN学习中的N专家使用红外图像序列中的空间信息结构，并且估计目标大概率能出现的单个坐标位置。N专家通过计算将当前帧中检测器产生的响应与跟踪器产生的响应进行对比分析，得出最佳的响应。然后与最大置信度色标不重叠的色标被标记为负色。最可能的像素补丁区域会重新初始化为跟踪器的位置。
尽管快速DSST可以成功解决视觉跟踪问题，但在红外小目标图像中在空间上跟踪隐蔽目标的性能仍然不令人满意，当发生遮挡时，快速DSST将无法连续跟踪。这是用于估计二维图像空间中的三维位置的病态问题。物体外观的遮挡和变形通常在动态背景下发生，在动态背景下，运动目标和相机之间存在相对运动，DSST的跟踪效果在没有遮挡的情况下令人满意，而在发生遮挡时完全失去了跟踪目标。
鲁棒的跟踪方案需要在跟踪过程中发生丢失目标的现象时进行重新检测，不同于一些公开成型的跟踪器，在每一帧上进行重新检测，本文使用一个阈值Tr激活检测器，如果max(ys)＜Tr则激活。为了提高计算效率，本文采用PN学习作为检测器。
采用短期反遮挡策略来确定目标是否通过高斯响应图被遮挡。最大值对应的位置y最大限度响应图的目标是目标的新位置。当被遮挡的目标出现时，响应图会剧烈振荡。当前帧的响应输出与响应图的最大值之间的差异可以用作标准。
$$ \left\|y-\frac{1}{2} y_{\max }\right\|>T_{\mathrm{r}} $$ (11) 式中：Tr是一个阈值，阈值Tr的标准通过反复试验的经验来定义。如果值$\left\|y-\frac{1}{2} y_{\max }\right\| $超过一定数量，本文可以得出结论发生了咬合。然后，将停止更新CF模型，以避免模型漂移和不必要的FFT转换计算以及其他耗时的操作。
1.3 在线检测DSST
本文提出的红外小目标跟踪算法改进的地方为：在DSST跟踪算法的框架加上在线检测机制，SVM（Support Vector Machine）分类器计算出置信度（响应值）最高的图，SVM可看为阈值组件。然后导入在线PN学习进行在线训练与学习，进行重检测。图 4所示即为融合在线学习的DSST的框架。
相关跟踪：平移跟踪（HOG（Histogram of Oriented Gradient）特征）→尺度跟踪（21个尺度HOG特征），对于尺度跟踪的响应，如果最大响应值小于重检测阈值，跟踪失败，调用detector全图重检测。
重检测阈值THre_dector从前3帧的目标响应值中计算，如式(12)所示：
$$ \mathrm{Th}_{\mathrm{re}_{-} \text {dector }}=\left|\frac{\left(\mathrm{IR}_{t-1}+\mathrm{IR}_{t-2}+\mathrm{IR}_{t-3}\right) \times \frac{1}{3}-\mathrm{IR}_{t} \mid}{\lambda \mathrm{IR}_{t}}\right| $$ (12) 式中：IRt表示第t帧所有候选样本中的最大响应值，λIRt表示相邻的前3帧最大的目标响应值的标准差。
在线检测：将历次检测到的结果resize到15×15，特征：gray特征成功跟踪到的样本为正样本，跟踪失败为负样本。全局检测，当最大响应值大于重跟踪阈值，检测成功，重新跟踪。
2. 实验分析
2.1 数据集与评估指标
本文所有实验均通过Python3.5在配备Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz CPU，NVIDIA GeForce GT 730和16 GB内存的计算机上执行。
本文实验采用数据集为收集于网络的视频进行标注而获得，如表 1所示。在Seq.1中，云的边缘非常强，以至于昏暗目标的SNR（Signal-Noise Ratio）低于1.5。此外，目标会在背景边缘移动数十幅图像，序列长度为429帧。在Seq.2中，目标运动相对来说是不稳定的，是由固定相机拍摄的。它的大小从5×5像素到6×6像素变化。在Seq.4中，手动添加了一个小的目标，其大小设置为2×2像素。此外，目标经历杂乱的背景，并以较大的瞬时速度（即每帧8个像素）以曲线形式移动。序列包含300帧。在Seq.5中，空间背景下的暗淡目标出现在开始时的右上角，并遵循向下的对角线路径。此外，图像序列中还会出现一些假物体。该序列总长349帧。在Seq.6中，昏暗目标的性质与在Seq.5中相同。唯一的区别是Seq.4包含移动的云，其移动速度比Seq.3中的移动速度快。
表 1 实验数据集Table 1. Experimental data setSequence name Seq.1 Seq.2 Seq.3 Seq.4 Seq.5 Seq.6 Image size/pixel 256×256 256×256 256×256 256×256 256×256 256×256 Sequence length/frame 429 341 463 30 349 302 Target size/pixel 5×5 6×6 5×6 2×2 6×6 2×2 Noise scale Large Larger Small Large Larger Large Object speed/(pixel/frame) 6 115 9 12 15 12 Target type Airplane Military drone Civilian drone Pixel point Civilian drone Pixel point 为了评估本文所提出的跟踪算法的性能，使用单次通过评估（One-Pass Evaluation，OPE）作为评估协议。OPE有两个部分，分别称为精确率图和成功率图。成功率图（success plot）是标注的跟踪框和跟踪的跟踪框之间的重叠程度，如式(13)，其中Rt和R0分别为标注的目标框和跟踪的目标框的矩阵框。
$$ \text { success plot }=\left|\frac{\boldsymbol{R}_{\mathrm{t}} \cap \boldsymbol{R}_{0}}{\boldsymbol{R}_{\mathrm{t}} \cup \boldsymbol{R}_{0}}\right| $$ (13) 2.2 对比实验
本文对比实验是在公开评测框架Visual Tracker Benchmark下完成的，本文算法与几种比较常见的算法进行比较：CT（Compressive Tracking）、IVT（Incremental Visual Tracking）、DFT（Distribution Fields for Tracking）、ASLA（Adaptive Structural Local sparse Appearance model tracking）、L1APG（L1 tracker using Accelerated Proximal Gradient approach）、ORIA（Online Robust Image Alignment）、DSST（Discriminative Scale Space Tracking）、CSK（Circulant Structure Kernel）、LOT（Locally Orderless Tracking）。本文算法在对比实验中标注为SRDSST（Super-Resolution DSST）。
图 5分别显示了不同算法在红外小目标数据集上检测的实时结果，其中正红色框（箭头所指示）为本文算法的跟踪效果。图 6显示了本文整理的红外小目标运动数据集中所有图像序列的精确率图和成功率图。
可以直观地从图 5中看出本文所提出的基于超分辨率与在线检测DSST的红外小目标跟踪方案对于红外图像下小目标的有效跟踪，一些常见的算法都表现出目标跟踪丢失的现象。图 5(a)系列与图 5(c)系列直观看出CSK算法在Seq.1与Seq.6数据集中，一开始就表现出尺度估计错误且目标丢失的情况。
从图 5(a)与图 6(a)、图 5(e)与图 6(c)中可以看出，当背景出现复杂的情况，云层边缘比较强的时候，其他算法都出现了检测性能下降的情况，而红色框（SRDSST）仍然可以准确地跟踪到小目标，且成功率表现良好。从图 5(c)与图 6(c)可以看出DSST在简单背景或无遮挡的情况下表现比较出色，而在图 5(a)与图 5(e)中出现略微遮挡情况时，其跟踪性能就表现得差强人意，而SRDSST则弥补了这一不足。
图 6所示为红外图像序列下跟踪小目标的精度图和成功图，可以直观地看出本文所提出的基于超分辨率与在线检测DSST的红外小目标跟踪方案在这几个红外序列中都表现良好，采用超分辨率图像增强技术对红外图像的增强，使得改进版DSST能够更加有效快速地跟踪到红外小目标。
3. 结语
本文主要研究解决复杂红外背景下的小目标跟踪，通过超分辨率算法获得了增强的图像序列，作为改进的DSST算法的输入，并加入遮挡丢失重检测机制，并且通过上一步所获得的响应值来计算出目标位置。经过实验与分析，该算法在实现高精度和高速度方面均表现出很不错性能。即本文所提出的方案可以有效地跟踪红外小目标，有较好的跟踪精度，而且对目标外观变化，杂波干扰和噪声干扰具有鲁棒性。今后的研究，将基于本文方案再提升跟踪速度。
-
![]()
图 4 “road”红外和可见光图像以及融合结果
Figure 4. The "road" infrared and visible source images and fusion results
![]()
图 5 “tree”红外和可见光图像以及融合结果
Figure 5. The "tree" infrared and visible source images and fusion results
![]()
图 6 致死性脑卒中CT和MRI图像以及融合结果
Figure 6. The fatal stroke CT and MRI source images and fusion results
![]()
图 7 脑膜瘤CT和MRI图像以及融合结果
Figure 7. The meningoma CT and MRI source images and fusion results
表 1 两组红外与可见光图像客观评估指标值
Table 1 Values of objective evaluation index for 2 groups of infrared and visible images
Images Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN Road QEN 7.1339 7.4964 7.3703 7.331 7.4247 QMI 3.0046 3.2051 3.0786 3.2336 3.0167 QSD 38.3922 48.4964 45.5887 44.5039 51.7009 QVIFF 0.4469 0.5842 0.5206 0.5078 0.6275 QIE 0.8055 0.8054 0.8052 0.8053 0.8062 QTE 0.5749 0.5207 0.5401 0.5454 0.5886 Tree QEN 6.3464 7.1022 6.9596 6.9152 7.1043 QMI 1.2234 1.1755 1.3188 1.7535 2.1287 QSD 24.3398 37.2648 32.8565 31.4357 34.8227 QVIFF 0.3177 0.4706 0.3822 0.3798 0.4261 QIE 0.8033 0.8043 0.8035 0.8035 0.8040 QTE 0.4090 0.2861 0.2981 0.3279 0.3282 
下载: 导出CSV
表 2 六组红外与可见光图像客观评估指标平均值
Table 2 Average values of objective evaluation index for 6 groups of infrared and visible images
Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN QEN 6.2345 6.8978 6.9633 6.9094 7.0247 QMI 2.8656 3.2917 3.6756 4.1826 4.3438 QSD 24.7236 38.7514 37.0670 35.4332 38.6467 QVIFF 0.3761 0.5399 0.5445 0.5032 0.5514 QIE 0.8063 0.8076 0.8086 0.8090 0.8097 QTE 0.7311 0.6582 0.6534 0.6971 0.6841
下载: 导出CSV
表 3 两组医学图像客观评估指标值
Table 3 Values of objective evaluation index for 2 groups of medical images
Images Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN fatal stroke QEN 4.5440 4.8244 5.0632 4.8747 5.1693 QMI 2.5170 2.8593 2.7118 2.8665 2.7618 QSD 72.3351 90.2448 90.0339 84.2365 88.4652 QVIFF 0.2691 0.3333 0.3259 0.3100 0.3131 QIE 0.8051 0.8055 0.8054 0.8051 0.8054 QTE 0.6663 0.7252 0.7277 0.7102 0.7896 meningoma QEN 4.1794 4.2013 4.3485 4.6852 4.6013 QMI 2.5408 2.9163 2.9516 3.0001 3.0665 QSD 72.0789 88.7470 92.8914 90.2904 91.3901 QVIFF 0.4940 0.6192 0.6279 0.5624 0.6292 QIE 0.8056 0.8059 0.8062 0.8064 0.8064 QTE 0.7907 0.7923 0.8445 0.8733 0.8804
下载: 导出CSV
表 4 八组医学图像客观评估指标平均值
Table 4 Average values of objective evaluation index for 8 groups of medical images
Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN QEN 4.3242 4.6515 4.7943 4.7715 4.8254 QMI 2.6843 2.9002 2.8697 2.8998 2.9848 QSD 66.6290 83.3568 85.9244 85.7634 85.7755 QVIFF 0.3561 0.4417 0.4562 0.4491 0.4647 QIE 0.8057 0.8061 0.8061 0.8062 0.8062 QTE 0.7033 0.7494 0.7608 0.7593 0.7818
下载: 导出CSV
-
[1] YANG Y, QUE Y, HUANG S, et al. Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain[J]. IEEE Sensors Journal, 2016, 16(10): 3735-3745. DOI: 10.1109/JSEN.2016.2533864
[2] LI G, LIN Y, QU X. An infrared and visible image fusion method based on multi-scale transformation and norm optimization[J]. Information Fusion, 2021, 71: 109-129. DOI: 10.1016/j.inffus.2021.02.008
[3] LI X, ZHOU F, TAN H. Joint image fusion and denoising via three-layer decomposition and sparse representation[J]. Knowledge-Based Systems, 2021, 224: 107087. DOI: 10.1016/j.knosys.2021.107087
[4] XU H, MA J. EMFusion: An unsupervised enhanced medical image fusion network[J]. Information Fusion, 2021, 76: 177-186. . DOI: 10.1016/j.inffus.2021.06.001
[5] Bulanon D M, Burks T F, Alchanatis V. Image fusion of visible and thermal images for fruit detection[J]. Biosystems Engineering, 2009, 103(1): 12-22. DOI: 10.1016/j.biosystemseng.2009.02.009
[6] ZHAN L, ZHUANG Y, HUANG L. Infrared and visible images fusion method based on discrete wavelet transform[J]. J. Comput. , 2017, 28(2): 57-71.
[7] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]. IET Image Processing, 2015, 9(5): 347-357. DOI: 10.1049/iet-ipr.2014.0311
[8] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): 1850018. DOI: 10.1142/S0219691318500182
[9] ZHU Z, ZHENG M, QI G, et al. A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain[J]. IEEE Access, 2019, 7: 20811-20824. DOI: 10.1109/ACCESS.2019.2898111
[10] ZHANG L, ZENG G, WEI J, et al. Multi-modality image fusion in adaptive-parameters SPCNN based on inherent characteristics of image[J]. IEEE Sensors Journal, 2019, 20(20): 11820-11827.
[11] 张蕾. 采用改进平均梯度与自适应PCNN的图像融合[J]. 计算机应用与软件, 2021, 38(3): 218-223. DOI: 10.3969/j.issn.1000-386x.2021.03.033 ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN[J]. Computer Application and Software, 2021, 38(3): 218-223. DOI: 10.3969/j.issn.1000-386x.2021.03.033
[12] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 68(1): 49-64.
[13] Diwakar M, Singh P, Shankar A. Multi-modal medical image fusion framework using co-occurrence filter and local extrema in NSST domain[J]. Biomedical Signal Processing and Control, 2021, 68: 102788. DOI: 10.1016/j.bspc.2021.102788
[14] 邓辉, 王长龙, 胡永江, 等. 脉冲耦合神经网络在图像融合中的应用研究[J]. 电光与控制, 2019, 26(11): 19-24. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201911006.htm DENG Hui, WANG Changlong, HU Yongjiang, et al. Application of pulse coupled neural network in image fusion[J]. Electronics Options & Contral, 2019, 26(11): 19-24. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201911006.htm
[15] 杨风暴, 董安冉, 张雷, 等. DWT、NSCT和改进PCA协同组合红外偏振图像融合[J]. 红外技术, 2017, 39(3): 201-208. http://hwjs.nvir.cn/article/id/hwjs201703001 YANG Fengbao, DONG Aran, ZHANG Lei, et al. Infrared Polarization Image fusion using the synergistic combination of DWT, NSCT and improved PCA[J]. Infrared Technology, 2017, 39(3): 201-208. http://hwjs.nvir.cn/article/id/hwjs201703001
[16] TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J]. Neural Computing and Applications, 2020: 1-21.
[17] JIANG L, ZHANG D, CHE L. Texture analysis-based multi-focus image fusion using a modified Pulse-Coupled Neural Network (PCNN)[J]. Signal Processing: Image Communication, 2021, 91: 116068. DOI: 10.1016/j.image.2020.116068
[18] LIU Z, Blasch E, XUE Z, et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: a comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 34(1): 94-109.
-
期刊类型引用(3)
1. 关晓丹，郑东平，肖成. 基于全卷积网络的复杂背景红外弱小目标检测研究. 激光杂志. 2024(04): 254-258 . 
百度学术
2. 余云霞，李毅鹏，陈姝敏. 基于锚框的远距离多尺度红外目标跟踪技术. 激光与红外. 2024(10): 1594-1599 . 百度学术
3. 孟祥瑞，李成良，文继权. 基于局部梯度的红外线列扫描图像小目标检测. 激光杂志. 2023(10): 52-56 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 211
- HTML全文浏览量: 80
- PDF下载量: 38
- 被引次数: 6
