Infrared and Visible Image Fusion Based on Convolutional Neural Network
-
摘要: 非下采样剪切波变换(NSST)域中低频子带的融合需要人工给定融合模式,因此未能充分捕获源图像的空间连续性和轮廓细节信息.针对上述问题,提出了基于深度卷积神经网络的红外与可见光图像融合算法.首先,使用孪生双通道卷积神经网络学习NSST域低频子带的特征来输出衡量子带空间细节信息的特征图.然后,根据高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应地调整NSST域低频子带的融合模式.最后,根据NSST域高频子带的方差、局部区域能量以及可见度特征来自适应地设置脉冲耦合神经网络参数完成NSST域高频子带的融合.实验结果表明:该算法QAB/F指标略弱于对比算法,但SF、SP、SSIM以及VIFF指标分别提高了约50.42％、14.25％、7.91％以及61.67％,有效地解决了低频子带融合模式给定的问题,同时又克服了手动设置PCNN参数的缺陷.
-
关键词:
- 图像融合 /
- 卷积神经网络 /
- 参数自适应脉冲耦合神经网络 /
- NSST变换
-
-
期刊类型引用(11)
1. 何伟，杨大伟，马天福，马崇瑞，苑学贺. 基于多模态深度学习的特定虚拟图像视觉特征自动补偿. 计算技术与自动化. 2024(03): 102-107 . 
百度学术
2. 黄玲琳，李强，路锦正，贺贤珍，彭波. 基于多尺度和注意力模型的红外与可见光图像融合. 红外技术. 2023(02): 143-149 . 本站查看
3. 曹宇彤，宦克为，薛超，韩丰地，李向阳，陈笑. 基于卷积神经网络结合NSCT的红外与可见光图像融合. 红外技术. 2023(04): 378-385 . 本站查看
4. 陈欣. 基于双注意力机制的红外与可见光图像融合方法. 红外技术. 2023(06): 639-648 . 本站查看
5. 华冬. 煤矿低照度图像融合算法研究. 煤矿机械. 2023(08): 42-44 . 百度学术
6. 武凌霄，康家银，姬云翔. NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合. 红外技术. 2023(09): 915-924 . 本站查看
7. 曲海成，王宇萍，高健康，赵思琪. 模态自适应的红外与可见光图像融合. 红外技术. 2022(03): 268-276 . 本站查看
8. 冀鲸宇，王长龙，李永科，张玉华. 多源图像融合及效果评价综述. 电光与控制. 2022(05): 59-65 . 百度学术
9. 田立凡，杨莘，梁佳明，吴谨. 基于SGWT和多显著性的红外与可见光图像融合. 红外技术. 2022(07): 676-685 . 本站查看
10. 曹中森. 基于卷积神经网络图像融合算法的电力巡检系统研究. 安阳师范学院学报. 2022(05): 29-32 . 百度学术
11. 李明. 基于校准网络的红外与可见光图像融合算法. 长江信息通信. 2022(10): 52-54 . 百度学术
其他类型引用(4)
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 15
下载:
