基于卷积神经网络的红外与可见光图像融合

基金项目: 昆明市科技局科技成果推广应中及科技惠民计划项目(昆科计字2016-2-G-05372)

详细信息

Infrared and Visible Image Fusion Based on Convolutional Neural Network

摘要: 非下采样剪切波变换(NSST)域中低频子带的融合需要人工给定融合模式,因此未能充分捕获源图像的空间连续性和轮廓细节信息.针对上述问题,提出了基于深度卷积神经网络的红外与可见光图像融合算法.首先,使用孪生双通道卷积神经网络学习NSST域低频子带的特征来输出衡量子带空间细节信息的特征图.然后,根据高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应地调整NSST域低频子带的融合模式.最后,根据NSST域高频子带的方差、局部区域能量以及可见度特征来自适应地设置脉冲耦合神经网络参数完成NSST域高频子带的融合.实验结果表明:该算法QAB/F指标略弱于对比算法,但SF、SP、SSIM以及VIFF指标分别提高了约50.42％、14.25％、7.91％以及61.67％,有效地解决了低频子带融合模式给定的问题,同时又克服了手动设置PCNN参数的缺陷.
- 图像融合 /
- 卷积神经网络 /
- 参数自适应脉冲耦合神经网络 /
- NSST变换

1.	蔡宁静，曾祥忠，王波. EBCMOS相机盲元检测方法的研究. 应用光学. 2021(01): 137-142 . 百度学术
2.	孙超，张洪文，王沛，李军. 中波红外相机盲元的实时动态检测与补偿方法. 红外技术. 2021(09): 869-875 . 本站查看
3.	李兵，许浩文，琚天公，曾文波，赵锋. 聚类算法在电力设备红外图像盲元快速检测中的应用. 传感器与微系统. 2020(11): 158-160 . 百度学术
4.	张东阁，傅雨田. 基于一类支持向量机的盲元检测方法. 红外与激光工程. 2018(04): 76-82 . 百度学术