Infrared and Visible Image Fusion Algorithm Based on Gaussian Fuzzy Logic and Adaptive Dual-Channel Spiking Cortical Model
-
摘要: 为了克服当前的红外与可见光图像融合算法存在着目标不够突出、纹理细节丢失等现象，本文提出了一种基于高斯模糊逻辑和自适应双通道脉冲发放皮层模型（Adaptive Dual-Channel Spiking Cortical Model, ADCSCM）的红外与可见光图像融合算法。首先，使用非下采样剪切波变换（Non-Subsampled Sheartlet Transform, NSST）将源图像分解为低频和高频部分。其次，结合新拉普拉斯能量和（New Sum of Laplacian, NSL）与高斯模糊逻辑，设定双阈值来指导低频部分进行融合；同时，采用基于ADCSCM的融合规则来指导高频部分进行融合。最后，使用NSST逆变换进行重构来获取融合图像。实验结果表明，本文算法主观视觉效果最佳，并在互信息、信息熵和标准差3项指标上高于其他7种融合算法，能够有效突出红外目标、保留较多纹理细节，提高融合图像的质量。
-
关键词:
- 图像融合 /
- 非下采样剪切波变换 /
- 高斯模糊逻辑 /
- 自适应双通道脉冲发放皮层模型
Abstract: To overcome the shortcomings of current infrared and visible image fusion algorithms, such as non-prominent targets and the loss of many textural details, a novel infrared and visible image fusion algorithm based on Gaussian fuzzy logic and the adaptive dual-channel spiking cortical model (ADCSCM) is proposed in this paper. First, the source infrared and visible images are decomposed into low- and high-frequency parts by non-subsampled shearlet transform (NSST). Then, these are combined with the new sum of the Laplacian and Gaussian fuzzy logic, and dual thresholds are set to guide the fusion of the low-frequency part; simultaneously, the fusion rule based on the ADCSCM is used to guide the fusion of the high-frequency part. Finally, the fused low- and high-frequency parts are reconstructed using inverse NSST to obtain the fused image. The experimental results show that the proposed algorithm has the best subjective visual effect and is better than the other seven fusion algorithms in terms of mutual information, information entropy, and standard deviation. Furthermore, the proposed algorithm can effectively highlight the infrared target, retain more textural details, and improve the quality of the fused image. -
0. 引言
饰面层（building decorative layers, BDLs）广泛应用于建筑外墙，但由于环境影响、施工质量等原因，饰面层容易发生脱粘剥落，且随着时间的推移，在雨水、冰冻、暴晒、强风等的作用下，脱粘面积会逐渐增大，最终导致饰面层从主体结构上剥离、脱落。近年来建筑外墙饰面层剥落事故时有发生，对居民生命财产安全带来巨大威胁，尤其对于高层建筑，一旦出现饰面层脱落将导致严重后果，迫切需要采取有效的检测手段来避免此类事故的发生。
传统饰面层脱粘缺陷检测手段主要有：目测法、锤击法、拉拔法[1-2]，需要搭设支架依靠人工攀爬检测，时间长、成本高且检测人员安全存在风险，因此采用传统人工检测的方法识别饰面层脱粘缺陷无实际意义。近年来基于固定或手持红外热成像设备对外墙饰面砖脱粘缺陷检测相关研究发展迅速[3-4]，相关学者研究了饰面层脱粘缺陷的温度场分布规律，并利用红外设备对外墙饰面层模型进行热成像，识别缺陷面积。但由于红外热成像与可见光成像相比具有成像范围较小、分辨率低的特点[5]，固定或手持红外热成像设备对外墙饰面砖脱粘缺陷检测尚没有得到广泛应用。
近年来，旋翼无人飞机在航空拍照、测量、高压输电线路巡视、农业等民用领域得到广泛应用[6-10]。在无人飞机搭载红外热像仪进行结构检测方面，Omar利用无人机机载红外热像仪检查混凝土桥面脱空[11]。Patel基于无人飞机红外热成像测量了建筑围护构件的传热系数[12]。Ellenberg使用无人机分别搭载红外相机、普通相机对地面预制梁进行检测，分析混凝土结构表面缺陷特征[13]。Dusik Kim利用无人飞机携带红外热像仪对光伏电站的太阳能面板进行检测，应用阈值分割和形态学算法提出太阳面板的面积自动提取算法，识别的正确率达到96.9%[14]。但由于饰面脱粘缺陷为隐蔽缺陷，其热成像温度场受太阳辐射角度影响随时间变化。此外，不同颜色、规格的脱粘缺陷温度场规律可能不一致。因此基于无人飞机平台进行饰面层脱粘缺陷热成像检测还需进一步研究。
同时，由于红外热成像像素分辨率低，边缘模糊，使得基于传统图像处理方法难以识别红外热成像缺陷面积。近年来机器学习、深度学习技术发展迅速[15-16]，适于大规模的机载热成像图像识别。Olivier利用卷积神经网络识别红外图像自动确定机器的状态[17]。Gong将深度学习方法用于基于热成像的电气设备检测[18]。Zhang结合压缩感知与分类卷积神经网络，提出超分辨率红外图像处理方法[19]。Luo建立了适于红外热成像缺陷检测的VGG-Unet网络[20]。Saeed提出了一种基于卷积神经网络和迁移学习的缺陷自动检测方法[21]。但无人飞机热成像的脱粘缺陷识别基于检测飞行试验建立小规模样本集，且基于文献及试验已得到缺陷热成像先验规律，利用深度学习卷积神经网络获得高阶特征进行红外图像语义分割的方法人工标记时间成本高，且特征冗余，造成识别精度和鲁棒性较低。
因此，本文以六旋翼无人飞机为工作台搭载红外热成像仪，在无人飞机加装三点激光测距仪与热像仪视频同步测距[22-23]，基于无人飞机热成像试验获得饰面层脱粘缺陷热成像敏感性规律；基于饰面层脱粘缺陷红外图像特点，提出热源模糊聚类二值分割方法，和适于小样本的机器学习算法，并与开源深度学习语义分割效果比较；基于空间分辨率换算识别缺陷面积，并与传统人工检测进行比较，验证本文所提出方法的精度，系统架构如图 1所示。
1. 饰面层脱粘缺陷热成像敏感性试验研究
近年来，有关学者研究了基于热成像的饰面脱粘缺陷识别，但受拍摄仰角、分辨率的限制难以进行大规模实际应用[1-4]。旋翼无人飞机具有使用灵活的特点，以旋翼无人机为平台，搭载红外热成像仪是否满足饰面层脱粘缺陷识别要求，取决于机载热成像对于温度变化下饰面层缺陷的敏感程度，以及不同规格饰面层的脱粘缺陷热成像温度场特性是否具有一致性。为满足建筑饰面层脱粘缺陷智能识别要求，利用无人飞机机载热成像对基于人工检测的脱粘缺陷进行检测，研究脱粘缺陷热成像温度特性，为基于机器学习图像处理的饰面层脱粘缺陷识别提供先验特征。
1.1 饰面层缺陷识别热成像原理
文献[1-4]研究了建筑饰面层的热传递规律，如图 2所示为建筑物外墙饰面层的能量辐射示意图，当饰面层与建筑外墙之间发生剥离、脱空时，在脱空位置将形成很薄的空气层，由于气体具有很好的隔热性，使得饰面层与建筑结构之间的热传递减少。升温时，在太阳照射下墙体的温度迅速升高并向建筑内部传导热量，由于脱粘缺陷位置有空气层的存在热量向内传递相应减少，导致脱粘缺陷表面的温度异常高于正常位置；降温时，由于脱粘缺陷阻挡了建筑内部的热量向表面传递，使缺陷表面的温度异常低于正常位置。利用饰面层脱粘缺陷的热传递规律，脱粘缺陷处的红外热成像图像与正常位置应具有明显差异，为识别饰面层脱粘缺陷位置与面积提供了实验与理论依据。
1.2 温度变化下饰面层缺陷热成像试验
根据建筑饰面层的热传递规律，利用如图 3所示六旋翼无人飞机平台，搭载DY640红外热成像仪（温度分辨率0.04℃，热灵敏度0.035℃，图像分辨率640×480，帧率25帧）和三点激光测距仪，对人工检测的脱粘缺陷位置进行成像检测。将机载红外热成像视频逐帧解压，对缺陷区域红外热成像照片按典型时段排列，并计算其灰度分布图，如图 4所示。表明在8:00 am~14:00 pm的升温过程中，脱粘缺陷的灰度范围与正常背景之间存在明显的差异，显著高于背景，其中在10:00 am左右由于剧烈升温导致图像灰度差异最为明显，脱粘缺陷区域灰度差异值在40以上。在降温过程中，脱粘缺陷处灰度值低于正常背景，在16:00 pm左右差异最为明显。试验结果与建筑外墙饰面层能量传递规律一致，且升温时热成像图像灰度特征变化更为明显，表明利用快速升温时缺陷区域机载热成像结果的显著灰度差异识别饰面层缺陷具有可行性。
![]()
图 3 饰面层缺陷机载热成像检测：(a) 机载热成像测试原理；(b) 机载热成像测试结果Figure 3. The detection process of UAV thermography: (a) Test principle of UAV thermography; (b) Test result of UAV thermography1.3 不同规格饰面层脱粘缺陷热成像试验
利用前述无人飞机系统，在升温最剧烈的时间段对多座曾出现过饰面层剥落的大楼进行机载红外热成像实验，选取同一规格饰面建筑的不同面积脱粘缺陷热成像图像进行对比，如图 5所示，表明不同面积的脱粘缺陷区域温度场都有中心向边缘的灰度梯度变化，具有普遍一致性，利用机载热像仪无差别视频录像识别不同面积饰面层缺陷具有可行性。
![]()
图 5 不同面积饰面层脱粘缺陷热成像灰度分布规律Figure 5. Debonding defect's temperature field of the different areas of BDLS如图 6所示，对比不同规格饰面层的缺陷热成像图像，表明脱粘缺陷温度场变化与饰面种类、颜色、规格无关，缺陷温度场特性具有普遍一致性，饰面层脱粘缺陷热成像图像边缘模糊、由中心向边缘温度梯度变化明显、区域形状特征与其他干扰噪声有明显区别，表明通过建立饰面缺陷图像数据集，利用无人飞机机载热成像视频无差别检测飞行，利用机器学习方法快速识别缺陷病害具有可行性。
![]()
图 6 不同规格饰面层脱粘缺陷热成像灰度分布规律Figure 6. Debonding defect's temperature field of the different sizes of BDLS2. 无人飞机热成像饰面层脱粘缺陷识别算法
基于前述试验分析，表明设定无人飞机航迹进行无差别机载红外视频成像识别饰面层脱粘缺陷具有可行性，但由于视频成像数据量巨大，同时在饰面层热成像图像中，饰面砖勾缝、金属窗、空调外机等物体大量存在，其比热容小升温迅速，与脱粘缺陷的温度场具有类似的特点，引起脱粘缺陷的误识别，因此如何利用图像处理技术快速准确识别脱粘缺陷面积尤为重要。基于前述特点，本文提出基于热源模糊聚类的二值分割方法，和基于支持向量机的缺陷形状自动筛选机器学习算法，自动提取并识别饰面层脱粘缺陷面积。
2.1 基于热源模糊聚类的红外图像分割
为准确识别饰面层脱粘缺陷面积，需对缺陷图像区域内每一像素点进行分类判断，实现语义分割[24]。而聚类是把某些具有相同特征的样本数据聚集在一起，从而实现对样本数据进行分类。基于热源模糊聚类的红外图像分割使用迭代搜索聚类中心即热成像图像中热源中心，并通过区域内像素与中心之间的隶属度关系来计算目标函数的最小值，实现红外图像模糊边界的分离和缺陷区域图像的像素级分割[25]。算法的目标函数如式(1)所示：
$$ J = \sum\limits_{i = 1}^n {\sum\limits_{k = 1}^c {u_{ik}^m} } {({X_i} - {X_{\rm K}})^2} $$ (1) 式中：n是像素数目；C表示聚类中心数；μikm表示i相对于类k的隶属度；m表示模糊权重系数；Xi表示像素灰度；XK表示聚类中心。隶属度uikm的约束条件为：
$$ \sum\limits_{k = 1}^c {u_{ik}^m} = 1, \forall i = 1, 2, 3 \cdots , n $$ (2) 因此求解聚类问题变成了一个非线性优化，求解在约束公式(2)下的目标函数最小值，通过引入拉格朗日乘子，将方程变成如下：
$$ J = \sum\limits_{i = 1}^n {\sum\limits_{k = 1}^c {u_{ik}^m} } {({X_i} - {X_K})^2}{\text{ + }}\sum\limits_{i = 1}^n {{\lambda _i}} (1 - \sum\limits_{k = 1}^c {{u_{ik}}} ) $$ (3) 基于升温时段饰面脱粘缺陷和噪声都具有异常高的温度场特性，利用上述模糊聚类算法进行热成像图像分割，其步骤的如下：①将图 7(a)所示原始图片进行灰度化，并计算其灰度直方图，如图 7(c)所示；②根据灰度直方图确定聚类类别数为2类；③计算目标函数。如果目标函数比某确定阈值小，或相对于某阈值ε大于上次目标函数值的改变量，则算法停止；④用公式(2)计算新的模糊矩阵U，然后返回步骤③。从而确定各类聚类的中心和各个样本数据属于各类的隶属度矩阵，完成聚类分割，如图 7(d)所示。
2.2 基于支持向量机的饰面层缺陷识别
经过模糊聚类分割后，红外图像中窗户、空调外机、勾缝等具有集中温度场特性的噪声与饰面缺陷同时被聚类出来。为实现小样本数据集下的脱粘缺陷面积精确识别，基于脱粘缺陷区域形状特征参数构造向量集，训练基于支持向量机的脱粘缺陷面积识别模型。
2.2.1 形状特征向量集构造
为快速区分二值图像内脱粘缺陷与其他噪声，如图 7所示，利用区域提取函数对分割后区域进行标记。根据文献，计算图 7标记区域内等主要形状指标面积、最小外接矩形长宽比、矩形度、圆形度、周长、伸长度、偏心率，结果表 1所示，缺陷与噪声区域形状特征有明显区别，表明利用形状参数筛选缺陷区域具有可行性[26]。随机选取20张含不同像素面积的脱粘缺陷图像，统计其形状特征参数值，并进行归一化处理，建立筛选曲线，以形状特征面积和区域圆度为例，如图 8和图 9所示，其中缺陷区域像素面积与噪声像素面积范围互相重合，无法对缺陷区域和噪声进行筛选，而区域圆度则能有效区分缺陷与噪声区域。统计上述区域形状特征指标对样本区域的筛选率，选取筛选率高的圆度C、最小外接矩形长宽比B、偏心率E、矩形度R作为脱粘缺陷区域特征向量。构建X＝(C, B, E, R)的缺陷形状特征向量。
表 1 脱粘缺陷区域形状特征参数计算Table 1. Calculation of shape characteristic parameters of debonding defect areaItem Area (1) Area (2) Area/pixel 3233 1685 Rectangularity 0.83 0.29 Elongation 0.82 0.69 Circularity 0.76 0.19 Circumference /pixel 725 382 Eccentricity 0.26 0.91 Minimum bounding rectangle 0.97 0.52 2.2.2 支持向量机算法构建
支持向量机（support vector machines, SVM）是基于结构风险最小化的一种机器学习算法，具有泛化能力强、适用于小样本分类等优点[27]。而基于机载热成像的饰面层脱粘缺陷区域识别样本数据集制作的时间成本较高，因此本文利用支持向量机算法，建立小样本饰面缺陷识别数据集，训练脱粘缺陷自动识别模型。选取具有强学习能力、适应范围宽的径向基（radial basis function, RBF）核函数作为支持向量机的核函数。该核函数为：
$$ K({X_i}, {X_j}) = \exp {( - g\left\| {{X_i} - {X_j}} \right\|)^2} $$ (4) 对应参数寻优的二次规划问题转化为以下的最大值问题：
$$ \mathop {\max }\limits_{{a_i}} \sum\limits_{i = 1}^n {{a_i}} - \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{y_i}{y_j}} } {a_i}{a_j}\exp {( - g\left\| {{X_i} - {X_j}} \right\|)^2}\, $$ $$ {\rm{s.t.}}\sum\limits_{i = 1}^n {{y_i}} {a_i} = 0\text{，} 0 \leqslant {a_i} \leqslant C $$ (5) 相应的最优函数为：
$$ f(X) = {\rm{sign}}[{\sum\limits_{i = 1}^n {{a_i}{y_i}\exp ( - g\left\| {{X_i} - {X_j}} \right\|)} ^2} + b] $$ (6) SVM即为构造最优分割平面，将基于筛选的脱粘缺陷区域形状特征向量映射到高维空间，实现基于最优分割平面的缺陷区域与噪声区域分类，实现脱粘缺陷区域与非缺陷区域的自动筛选滤除。
2.2.3 模型训练与验证
选取200张经过聚类分割后的脱粘缺陷红外图像进行区域标记。随机选取像素面积不同的n个区域作为样本集(xi, yi)，其中i＝1, 2, 3, …, n，取n＝200为样本数。xi为脱粘缺陷红外图像的特征向量，yi为缺陷特征向量的人工标记。标记图像的大小为640 pixel×480 pixel，按照“训练集：验证集＝4:1”的比例，将图像样本数据集分成训练集和验证集，训练集图像数量为160张，验证集图像数量为40张。利用Python编写程序完成样本训练，将学习模型对验证集进行交叉验证，测试结果显示39个验证集样本实现了正确分类，正确率为97.5%。
3. 无人飞机建筑饰面层脱粘缺陷热成像试验分析
为验证本文所提出系统方法的有效性，进行无人飞机建筑饰面层脱粘缺陷热成像试验，试验以作者单位某五层教学楼为依托工程，该教学楼于2005建成，其采用20 cm×8 cm规格瓷砖作为外墙饰面，近年来出现多次饰面层脱落事件。选择出现剥落较多的东立面、南立面作为检测飞行对象，在夏季升温最快的上午10:00左右进行机载热成像试验，成像设备为六旋翼无人飞机平台，搭载DY640红外热成像仪（温度分辨率0.04℃，热灵敏度0.035℃，图像分辨率640×480，帧率25帧），配备与热像仪同频率三点激光测距仪，及高清图传系统，如图 10所示，飞行检测过程如图 11所示。
3.1 饰面缺陷无人飞机成像试验
机载红外摄像具有检测速度快、检测范围全覆盖的优点，只需在低速平稳状态下进行无差别扫描摄像。饰面层的脱粘缺陷识别要求对建筑物外墙立面进行快速、全覆盖检测，因此选择机载红外摄像作为成像方式。在试验飞行过程中，利用三点激光测距仪实时测量并记录无人飞机系统与建筑外墙之间物距，为保证机载红外摄像具有足够的分辨率，经过现场反复飞行检测验证，设定检测飞行物距为4~6 m。根据文献[21-22]，在6 m物距下像素解析度计算如式(7)所示：
$$ J = L{\text{*}}\lambda {\text{ = }}6000{\rm{mm}}{\text{*0}}{\text{.00}}17{\rm{pixe}}{{\rm l}^{ - 1}}{\text{ = }}10.2{\rm{mm}}/{\rm{pixel}} $$ (7) 式中：J为像素解析度（像素尺寸所代表的实际尺寸），$ L $为成像物距6 m，像素尺寸与实际尺寸的转换比$ A $为0.0017。本文采用的机载红外摄像视频为每秒25帧，根据文献[28]，航拍视频的清晰标准为任一帧内成像点位移小于3像素宽度，为保证饰面层脱粘缺陷检测视频不出现虚焦、模糊，计算无人飞机飞行速度，如式(8)所示：
$$ {V_{\rm{uav}}} = \frac{{{S_{\rm{pixel}}}}}{t} = \frac{{n*J}}{t} = \frac{{3{\text{*}}0.0102}}{{0.04}}{\rm{m/s}} = 0.765{\rm{m/s}} $$ (8) 式中：Vuav是待求的无人飞机飞行速度；Spixel为保证视频清晰的最小像移；n为保证视频清晰的最小像素数；J为像素解析度；t为视频中单帧拍摄时间。根据(7)、(8)式计算，设定飞行物距4~6 m，飞行速度0.7 m/s。对获取的红外视频进行解压，得到饰面层缺陷红外热成像图像如图 12所示，对图 12进行人工分割识别如图 13所示。
3.2 饰面层缺陷图像分割
对于无人飞机机载热成像的饰面层脱粘缺陷图 12按前述方法进行聚类分割，将红外图像中的热源中心及其附近区域聚类，结果如图 14所示。聚类分割后的图像上存在窗、空调外机、饰面勾缝等比热容较低的物体区域。将图 14所示二值图像进行区域标记，将形成的区域特征向量代入前述训练好的支持向量机模型，消除非缺陷区域，并重新进行区域标记得图 15所示缺陷区域图像。结果显示所提出的识别方法具有更好的分割效果，对金属窗户、勾缝等伪特征噪声有较强的抑制能力，对边缘的分割效果也更接近如图 13所示的饰面脱粘缺陷人工分割图像。
为了评估所提出热源模糊聚类二值分割和支持向量机筛选预测模型的精确性，采用交互比进行模型评估，其计算方法如式(9)[29]：
$${\rm{ IoU} = \frac{{TP}}{{TP + FP + FN}}} $$ (9) 式中：TP是被模型预测为正的正样本；FP是被模型预测为正的负样本；FN是被模型预测为负的正样本。计算图 15所示分割结果对比人工分割样本的IoU值，对比图 16采用开源Deeplab V3+深度学习语义分割网络[30]所分割图像，本文算法的IoU值平均在0.9以上，分割的精度优于训练好的语义分割模型。表明利用饰面层脱粘温度场变化先验特征、基于支持向量机建立筛选分类模型，在小样本数据集中对比开源深度学习网络更具有优越性和可解释性，对于对比度较低、边缘模糊、且有伪特征干扰的脱粘缺陷红外图像具有更好的分割精度。
3.3 缺陷面积计算与分析
图 12所示机载热成像饰面缺陷同步激光测距如表 2所示，对于图 15中提取的缺陷形状，通过工具箱分别统计各脱粘缺陷区域内总像素数，根据文献[21-22]，利用物距法计算单个像素对应的实际面积，最后得到脱粘缺陷区域总的实际面积，计算结果如表 2所示。
表 2 机载热成像饰面缺陷面积识别与比对Table 2. Recognition and comparison of debonding defects based on UAV thermography imageryItem Area Ι Area Ⅱ Area Ⅲ Object distance/m 5.388 4.018 4.864 Pixel resolution/(mm/pixel) 8.99 6.83 8.27 Pixels 5024 6287 4569 Area/m2 0.406 0.293 0.312 Artificial detection width/m2 0.400 0.304 0.336 Accuracy/% 98.5 96.4 92.8 对比基于传统人工敲击检测脱粘缺陷区域面积，如表 2所示，基于无人飞机热成像的建筑饰面脱粘缺陷识别结果，与人工检测数据相比所得结果相差较小，机载热成像系统达到90%以上精度，表明基于无人飞机热成像饰面层脱粘缺陷识别具有可行性。
4. 结论
① 通过无人飞机饰面层脱粘缺陷热成像敏感性试验，得到饰面层脱粘缺陷温度场随时间变化规律；比较在最佳检测时间内不同饰面层热成像试验结果，表明不同面积和不同饰面规格的脱粘缺陷热成像灰度分布具有一致性，利用无人飞机机载红外无差别扫描录像识别脱粘缺陷位置与面积大小具有可行性。
② 本文提出了一种结合聚类和机器学习的小样本脱粘缺陷面积识别方法。基于红外图像边缘模糊、灰度梯度明显、脱粘缺陷区域形状与其他干扰噪声有明显区别的特点，提出热源模糊聚类二值分割方法，并基于支持向量机建立缺陷形状自动筛选模型，达到90%以上面积识别精度。表明利用温度场特性和形状参数先验特征，在小样本数据集上对比开源深度学习网络更具有优越性和可解释性，具有更好的分割精度。利用无人飞机机载红外热成像系统可有效识别饰面层脱粘缺陷，为后续的维修和预警提供了有效检测数据，具有良好的社会和工程应用价值。
③ 根据本文试验及分析结果，建议无人飞机机载热成像检测时段应该选择在夏季、秋季的温度迅速升高时段。
④ 本文对饰面层脱粘缺陷的识别为事后分析，制作专门分析软件内置入机载热成像系统进行实时检测还需要进一步研究。
-
表 1 4组融合图像的客观评价结果
Table 1 The objective evaluation results of four groups of fused images
Fused
imagesEvaluation indexes Algorithms CVT NSCT GTF NSCT-PCNN NSST-PAPCNN MS-WLS MLGCF Proposed Camp MI 1.3967 1.4703 1.9961 1.6344 1.9792 1.5511 1.7092 2.2472 IE 6.5574 6.5693 6.6812 6.8681 6.8064 6.6214 6.6152 7.1566 SF 12.2275 12.2860 8.8771 11.6638 10.5236 13.2651 12.7512 12.9934 SD 27.1526 27.3415 27.0939 31.4014 30.2752 28.5545 29.2437 38.8731 VIFF 0.3606 0.4256 0.2257 0.3611 0.3716 0.4692 0.4587 0.4724 Lake MI 1.5413 1.6058 2.0167 2.1878 2.2921 2.0636 2.3721 3.9960 IE 6.6745 6.6764 6.6217 7.2516 7.1673 7.0032 7.0096 7.4731 SF 11.8183 11.7529 9.9321 12.2781 8.7916 12.2331 11.2376 12.1353 SD 27.1584 27.5441 40.4490 39.8795 43.4509 35.9000 35.0912 49.5824 VIFF 0.3260 0.3687 0.1731 0.3967 0.2784 0.4265 0.3977 0.4040 Flower MI 3.3300 3.5893 3.1504 3.6886 3.9911 3.8955 3.9984 4.3305 IE 6.5636 6.5577 6.2639 6.7200 6.8380 6.6259 6.6323 6.8793 SF 20.6859 21.3924 18.3972 20.3276 19.6811 21.6768 22.4519 22.1945 SD 36.2790 37.3107 36.3495 41.2683 41.5738 38.8609 39.5655 42.9559 VIFF 0.7544 0.8101 0.6731 0.8449 0.8452 0.7901 0.7841 0.9164 Bench MI 1.7790 1.8198 1.5464 3.5589 2.3970 2.3330 2.8215 3.9774 IE 6.9686 6.9609 6.7781 7.4965 7.3619 7.1646 7.1909 7.6089 SF 23.1776 23.2413 21.8150 23.4501 21.3190 26.3591 23.4811 23.6494 SD 34.9933 35.2022 30.8383 59.3188 50.2010 48.4621 49.5238 63.2357 VIFF 0.2333 0.2529 0.1260 0.2711 0.2646 0.4007 0.3662 0.2882 
下载: 导出CSV
-
[1] 刘佳, 李登峰. 马氏距离与引导滤波加权的红外与可见光图像融合[J]. 红外技术, 2021, 43(2): 162-169. http://hwjs.nvir.cn/article/id/56484763-c7b0-4273-a087-8d672e8aba9a LIU Jia, LI Dengfeng. Infrared and visible light image fusion based on mahalanobis distance and guided filter weight-ing[J]. Infrared Technology, 2021, 43(2): 162-169. http://hwjs.nvir.cn/article/id/56484763-c7b0-4273-a087-8d672e8aba9a
[2] 江泽涛, 何玉婷, 张少钦. 一种基于对比度增强和柯西模糊函数的红外与弱可见光图像融合算法[J]. 光子学报, 2019, 48(6): 149-158. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201906019.htm JIANG Zetao, HE Yuting, ZHANG Shaoqin. Infrared and low-light-level visible image fusion algorithm based on contrast enhancement and cauchy fuzzy function[J]. Acta Photonica Sinica, 2019, 48(6): 149-158. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201906019.htm
[3] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[4] 王建, 吴锡生. 基于改进的稀疏表示和PCNN的图像融合算法研究[J]. 智能系统学报, 2019, 14(5): 922-928. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm WANG Jian, WU Xisheng. Image fusion based on the improved sparse representation and PCNN[J]. CAAI Transactions on Intelligent Systems, 2019, 14(5): 922-928. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm
[5] LIU Z, FENG Y, CHEN H, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]. Optics & Lasers in Engineering, 2017, 97: 71-77.
[6] 邓立暖, 尧新峰. 基于NSST的红外与可见光图像融合算法[J]. 电子学报, 2017, 45(12): 2965-2970. DOI: 10.3969/j.issn.0372-2112.2017.12.019 DENG Linuan, YAO Xinfeng. Research on the fusion algorithm of infrared and visible images based on non-subsampled shearlet transform[J]. Acta Electronica Sinica, 2017, 45(12): 2965-2970. DOI: 10.3969/j.issn.0372-2112.2017.12.019
[7] 王聪, 钱晨, 孙伟, 等. 基于SCM和CST的红外与可见光图像融合算法[J]. 红外技术, 2016, 38(5): 396-402. http://hwjs.nvir.cn/article/id/hwjs201605007 WANG Cong, QIAN Chen, SUN Wei, et al. Infrared and visible images fusion based on SCM and CST[J]. Infrared Technology, 2016, 38(5): 396-402. http://hwjs.nvir.cn/article/id/hwjs201605007
[8] TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J]. Applied Optics, 2019, 58(12): 3064-3073. DOI: 10.1364/AO.58.003064
[9] 冯贺, 李立, 赵凯. 基于拉普拉斯分解耦合亮度调节的可见光与红外图像融合算法[J]. 电子测量与仪器学报, 2020, 34(10): 91-97. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY202010011.htm FENG He, LI Li, ZHAO Kai. Fusion algorithm of visible and infrared image based on Laplace decomposition coupled with brightness adjustment[J]. Journal of Electronic Measurement and Instrument, 2020, 34(10): 91-97. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY202010011.htm
[10] GUO K, LABATE D. Optimally sparse multidimensional representation using shearlets[J]. SIAM Journal on Mathematical Analysis, 2007, 39(1): 298-318. DOI: 10.1137/060649781
[11] 焦姣, 吴玲达. 向导滤波和NSST相结合的多光谱与全色图像融合算法[J]. 通信学报, 2018, 39(S2): 79-87. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB2018S2012.htm JIAO Jiao, WU Lingda. Multispectral and panchromatic images fusion method based on guided filter and NSST[J]. Journal on Communications, 2018, 39(S2): 79-87. https://www.cnki.com.cn/Article/CJFDTOTAL-TXXB2018S2012.htm
[12] ZHAN K, ZHANG H, MA Y. New spiking cortical model for invariant texture retrieval and image processing[J]. IEEE Transactions on Neural Networks, 2009, 20(12): 1980-1986. DOI: 10.1109/TNN.2009.2030585
[13] ZHAO C, HUANG Y, QIU S. Infrared and visible image fusion algorithm based on saliency detection and adaptive double-channel spiking cortical model[J]. Infrared Physics & Technology, 2019, 102: 102976.
[14] 罗娟, 王立平, 谭云兰. 二代Curvelet变换耦合细节度量模型的遥感图像融合算法[J]. 电子测量与仪器学报, 2019, 33(7): 129-136. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201907017.htm LUO Juan, WANG Liping, TAN Yunlan. Remote sensing image fusion method using second generation curvelet transform coupled with detail metric model[J]. Journal of Electronic Measurement and Instrument, 2019, 33(7): 129-136. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201907017.htm
[15] 苏金凤, 张贵仓, 汪凯. 结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合[J]. 激光与光电子学进展, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm SU J F, ZHANG G C, WANG K. Compressed fusion of infrared and visible images combining robust principal component analysis and non-subsampled contour transform[J]. Laser & Optoelectronics Progress, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm
[16] YIN S, CAO L, TAN Q, et al. Infrared and visible image fusion based on NSCT and fuzzy logic[C]//Proceedings of the 2010 IEEE International Conference on Mechatronics and Automation, 2010: 671-675.
[17] 朱攀, 黄战华. 基于二维经验模态分解和高斯模糊逻辑的红外与可见光图像融合[J]. 光电子·激光, 2017, 28(10): 1156-1162. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201710016.htm ZHU Pan, HUANG Zhanhua. Fusion of infrared and visible images based on BEMD and GFL[J]. Journal of Optoelectronics · Laser, 2017, 28(10): 1156-1162. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201710016.htm
[18] 闫利, 向天烛. NSCT域内结合边缘特征和自适应PCNN的红外与可见光图像融合[J]. 电子学报, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002 YAN Li, XIANG Tianzhu. Fusion of infrared and visible based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002
[19] 侯瑞超, 周冬明, 聂仁灿, 等. 结合HSI变换与双通道脉冲发放皮层的彩色多聚焦图像融合[J]. 云南大学学报: 自然科学版, 2019, 41(2): 245-252. https://www.cnki.com.cn/Article/CJFDTOTAL-YNDZ201902006.htm HOU Ruichao, ZHOU Dongming, NIE Rencan, et al. Multi-focus color image fusion using HSI transform and dual channel spiking cortical model[J]. Journal of Yunnan University: Natural Sciences Edition, 2019, 41(2): 245-252. https://www.cnki.com.cn/Article/CJFDTOTAL-YNDZ201902006.htm
[20] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[21] ZHANG Q, Guo B. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Process, 2009, 89(7): 1334-1346. DOI: 10.1016/j.sigpro.2009.01.012
[22] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001
[23] QU X, YAN J, XIAO H, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]. Acta Automatica Sinica, 2008, 34(12): 1508-1514. DOI: 10.1016/S1874-1029(08)60174-3
[24] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(1): 49-64. DOI: 10.1109/TIM.2018.2838778
-
期刊类型引用(1)
1. 单幼芳. 基于深度学习算法的太赫兹人体安检图像处理技术研究. 电脑编程技巧与维护. 2024(07): 127-129 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 146
- HTML全文浏览量: 56
- PDF下载量: 29
- 被引次数: 2
