Infrared and Visible Image Fusion Method Based on Improved Saliency Detection and Non-subsampled Shearlet Transform
-
摘要: 针对当前基于显著性检测的红外与可见光图像融合方法存在目标不够突出、对比度低等问题，本文提出了一种结合改进显著性检测与非下采样剪切波变换（non-subsampled shearlet transform, NSST）的融合方法。首先，使用改进最大对称环绕（maximum symmetric surround, MSS）算法提取出红外图像的显著性图，并进一步通过改进伽马校正进行增强，同时应用同态滤波增强可见光图像。然后，对红外图像与增强的可见光图像进行NSST分解，利用显著性图指导低频部分进行融合；同时设定区域能量取大规则指导高频部分融合。最后，通过NSST逆变换重构融合图像。实验结果表明，本文方法在平均梯度、信息熵、空间频率和标准差上远优于其他7种融合方法，可以有效突出红外目标，提高融合图像的对比度和清晰度，并保留可见光图像的丰富背景信息。Abstract: To address the problems in the current infrared and visible image fusion method wherein targets are not prominent and contrast is low based on saliency detection, this paper proposes a fusion method by combining improved saliency detection and non-subsampled shearlet transform (NSST). First, the improved maximum symmetric surround algorithm is used to extract the saliency map of an infrared image, the improved gamma correction method is utilized to enhance the map, and the visible image is enhanced through homomorphic filtering. Second, the infrared and enhanced visible images are decomposed into low-and high-frequency parts through NSST, and the saliency map is used to guide the fusion of the low-frequency parts. Simultaneously, the rule of maximum region energy selection is used to guide the fusion of the high-frequency parts. Finally, the fusion image is reconstructed using the inverse NSST. The experimental results show that the proposed method is far superior to other seven fusion methods in terms of average gradient, information entropy, spatial frequency, and standard deviation. Thus, proposed method can effectively highlight the infrared target, improve the contrast and definition of fused images, and preserve rich background information of visible images.
-
0. 引言
图像融合技术可以表述为将同一场景下捕捉的两幅或多幅传感器图像合成一幅组合了互补信息源、对场景信息描述更准确的图像，红外与可见光图像融合则是多源传感器信息融合领域中一个较为重要的分支[1]。它将红外图像的目标区域与可见光图像的细节信息相结合，形成一幅描述场景信息更全面的融合图像，能够克服红外传感器与可见光传感器各自成像时的缺陷，如红外图像的细节信息缺失、对比度和分辨率低，可见光图像易受反射光等外界环境的干扰，目标信息难提取等。当前，红外与可见光图像融合技术已广泛应用于红外夜视、资源勘探和生物医学等领域[2]。
NSST（non-subsampled shearlet transform）为一种近期较流行的多尺度变换方法，它具备较优的多分辨率性、各向异性及平移不变性等，能够克服图像边缘处的伪吉布斯现象[3]。基于NSST的图像融合方法表现良好，融合效果优于先前提出的小波变换、轮廓波变换以及非下采样轮廓波变换（non-subsampled contourlet transform, NSCT）等多尺度变换方法[4]。
近年来，随着视觉显著性检测的兴起，诸多显著性检测模型已被国内外学者先后提出[5]，同时视觉显著性检测也被成功应用在图像融合领域，并取得了较好的融合效果[2, 6-8]。文献[6]利用引导滤波改进频率调谐（frequency-tuned, FT）显著性检测算法[9]，获取的融合图像突出了红外目标、保留了较多的可见光背景信息，但对比度提升不够明显且目标处可能存在伪影现象。文献[7]中，首先利用L0范数改进FT算法，其次对红外显著性图进行S型曲线拉伸变换，同时使用对比度受限的自适应直方图均衡化算法增强可见光图像，获取的融合图像中可见光细节信息丰富、红外目标区域突出，但该方法易使红外目标偏暗，还丢失了部分可见光背景信息。文献[8]提出暗抑制思想改进最大对称环绕（maximum symmetric surround, MSS）显著性检测算法[10]，并利用显著性图构成不同的规则来融合基础层和细节层，获取的融合图像的效果较优，红外目标突出，没有区域污染的现象，但其对比度与清晰度仍有待提高。文献[2]提出二维经验模态分解改进FT算法，并用灰度因子增强红外图像，该方法的红外目标亮度适用、融合图像清晰度较高，但融合图像对比度偏暗，还丢失了部分可见光背景细节。
针对上述问题，本文采用改进MSS算法提取出红外图像的显著性图并通过改进伽马校正进一步增强，同时用同态滤波增强可见光图像，结合NSST的各向异性、平移不变性等，提出了一种结合改进显著性检测与NSST的红外与可见光图像融合方法。实验结果表明，相比于其他7种图像融合方法，本文方法在主观视觉分析和客观指标评估上均取得最优。
1. 基于改进MSS和改进伽马校正的红外图像显著性检测算法
1.1 MSS显著性检测算法
MSS算法属于FT算法的改进版本，通过像素点与图像边缘之间的距离来改变图像边界附近中心环绕的滤波带宽[8]。MSS算法不仅继承了FT算法的优势，还具有准确性高、速度快等特点，但易使图像背景处显著性降低。
MSS算法采用高斯差分滤波方法，该过程中高斯核尺寸为5×5，高频截止频率为π/2.75。对于一幅输入图像I，其显著性图获取的公式表示为：
$$ S(x, y)=\left\|I_{\mathtt{μ}}(x, y)-I_{\text {whc }}(x, y)\right\| $$ (1) 式中：Iμ(x, y)表示输入图像I的“最大对称环绕”子图像在像素(x, y)处的均值；Iwhc(x, y)表示输入图像I经过高斯模糊滤波后在像素(x, y)处的灰度值；||·||表示L2范数，即求取输入图像I内各颜色通道处高斯模糊滤波后各点像素值与均值之差的平方和。Iμ(x, y)的计算方法由式(2)表示：
$$ I_{\mathtt{μ}}(x, y)=\frac{1}{S_{A}} \sum\limits_{(m, n) \in A} I(x, y) $$ (2) 式中：A表示输入图像I中的某个区域，SA表示区域A的面积。A的范围由式(3)表示；SA的大小由式(4)表示：
$$ A=\left\{(m, n)\left|x-x_{0} \leq m \leq x+x_{0}, y-y_{0} \leq n \leq y+y_{0}\right|\right\} $$ (3) $$ S_{A}=\left(2 \cdot x_{0}+1\right)\left(2 \cdot y_{0}+1\right) $$ (4) 式中：x0与y0取值范围可分别表示为x0=min(x, w-x)，y0=min(y, h-y)，其中w与h为输入图像I的宽与高。
1.2 加权最小二乘滤波
加权最小二乘（weighted least squares, WLS）滤波为一种经典的边缘保持性算法，属于非线性滤波[11]。通过WLS滤波，平滑的结果图像U与输入图像I近似，并与边缘部分信息保持着一致，结果图像U表示为：
$$ \begin{aligned} U=&\underset{U}{\arg \min }\left(\left(U_{\mathrm{p}}-I_{\mathrm{p}}\right)^{2}+\lambda\left(a_{x, \mathrm{p}}(I)\left(\frac{\partial U}{\partial x}\right)_{\mathrm{p}}^{2}+\right.\right. \\ &\left.\left.a_{y, \mathrm{p}}(I)\left(\frac{\partial U}{\partial y}\right)_{\mathrm{p}}^{2}\right)\right) \end{aligned} $$ (5) 式中：下标p表示像素位置，λ为正则化参数；ax, p、ay, p为平滑权重系数。(Up-Ip)2的作用是使平滑图像U与输入图像I更相似。
其中$ \lambda\left(a_{x, \mathrm{p}}(G)\left(\frac{\partial U}{\partial x}\right)_{\mathrm{p}}^{2}+a_{y, \mathrm{p}}(G)\left(\frac{\partial U}{\partial y}\right)_{\mathrm{p}}^{2}\right)$是正则化项，通过最小化U的偏导数来平滑I。ax, p、ay, p由下式(6)~(7)表示：
$$ a_{x, \mathrm{p}}(G)=\left(\left|\frac{\partial l}{\partial x}(p)\right|^{\alpha}+\varepsilon\right)^{-1} $$ (6) $$ a_{y, \mathrm{p}}(G)=\left(\left|\frac{\partial l}{\partial y}(p)\right|^{\alpha}+\varepsilon\right)^{-1} $$ (7) 式中：I表示输入图像I的对数亮度通道；α表示对输入图像I的梯度敏感度；ε为较小常数，避免出现0值的情况，本文取ε=0.00001。
1.3 伽马校正
伽马校正又称幂次变换，是一种灰度非线性增强方法，通过改变图像对比度达到细节增强，从而改善输出图像的整体视觉效果[12]。通常的伽马校正表示为：
$$ F_{\text {out }}(x, y)=c F_{\text {in }}(x, y)^{\gamma} $$ (8) 式中：Fout(x, y)表示原始图像伽马校正后对应像素；Fin(x, y)表示原始图像的各处像素，像素范围为[0, 1]；c为常数；γ为伽马系数。
若γ＜1，高灰度值区域的动态范围变小，低灰度值区域的动态范围变大；γ＞1，与之相反。通过设定多个γ值，可以有效地调整图像的对比度和清晰度。
1.4 红外图像的显著性检测
为了较好地解决经典MSS算法在进行高斯模糊滤波时易引起图像边缘模糊、细节信息丢失等问题，同时提高显著性图的质量，本文提出利用具有较强的边缘保持、和细节增强能力的加权最小二乘法滤波器代替经典MSS算法中的高斯模糊滤波器，形成改进MSS算法来获取红外图像的显著性图，即：
$$ S_{\mathrm{wls}}(x, y)=\left\|I_{\mathtt{μ}}(x, y)-I_{\mathrm{wls}}(x, y)\right\| $$ (9) 式中：Iwls(x, y)表示输入图像I经过加权最小二乘滤波后在像素(x, y)处的灰度值；Swls(x, y)表示相应的显著性图。
获取显著性图Swls后，本文提出使用改进伽马校正法来突出显著性图里的红外目标，并弱化背景信息，从而提高显著性图的整体质量。
首先，对Swls进行归一化处理，得到归一化显著性图，表示为：
$$ S_{\mathrm{nom}}(x, y)=\frac{S_{\mathrm{wls}}(x, y)-\left.S_{\mathrm{wls}}\right|_{\min }}{\left.S_{\mathrm{wls}}\right|_{\max }-\left.S_{\mathrm{wls}}\right|_{\min }} $$ (10) 式中：$\left.S_{\mathrm{wls}}\right|_{\min } $为Swls中的最小灰度值；$\left.S_{\text {wls }}\right|_{\max } $为Swls中的最大灰度值；Snom表示归一化显著性图，其灰度值范围为[0, 1]。
其次，对Snom进行改进伽马校正。以红外图像的整体像素均值Im作为标准，若显著性图Swls内某点像素值Swls(x, y)大于Im的平方，可称该点为高灰度区域点，否则称为低灰度区域点。为了提高显著性图Snom的整体对比度，更好地突出红外目标，弱化背景细节。可以对显著性图Snom内的低灰度区域进行压缩，同时对其高灰度区域进行扩展，增强低高灰度区域之间的差异性，从而获取对比度增强的显著性图，表示为：
$$ S_{\mathrm{gam}}(x, y)= \begin{cases}\left(S_{\mathrm{nom}}(x, y)+S_{0}\right)^{\gamma_{1}}, & S_{\mathrm{wls}}(x, y) \leq I_{\mathrm{m}}{ }^{2} \\ \left(S_{\mathrm{nom}}(x, y)+S_{0}\right)^{\gamma_{2}}, & S_{\mathrm{wls}}(x, y)>I_{\mathrm{m}}{ }^{2}\end{cases} $$ (11) 式中：Sgam(x, y)为进行改进伽马校正后的显著性图；S0为较小常数，避免式(11)出现0值的情况，本文取S0=0.00001，γ1、γ2为自适应的伽马因子，为了有效地提高红外图像显著性图的对比度，需保证γ1＞1、γ2＜1。经过多次实验运算，当γ1、γ2可自适应地取为式(12)和式(13)时，本文方法的融合性能较优，即：
$$ \gamma_{1}=1.4+0.5 \cdot S_{\text {nom }} $$ (12) $$ \gamma_{2}=0.6-0.5 \cdot S_{\text {nom }} $$ (13) 最后，将3种经典的显著性检测算法，即LC（luminance contrast）算法[13]、FT算法、MSS算法提取的红外显著性图以及本文方法中显著性图Swls、Sgam进行对比实验，并对显著性检测的结果进行主观评价，本文以红外图像“Camp”为例，5种显著性图的结果对比如图 1所示。
从人眼的主观视觉效果上观察图 1，发现本文方法提取出的显著性图Swls和Sgam的人物目标更清晰且突出，同时显著性图Sgam的背景信息最少，人物目标的宽度更接近于原始的红外图像，其边缘轮廓最清晰、亮度效果最佳。表明了显著性图Sgam在Swls的基础上，进一步地抑制了红外图像的山坡、灌木等背景信息。通过前面的主观视觉分析可知，本文方法提取出的红外显著性图优于LC算法、FT算法和MSS算法所提取的红外显著性图。
2. 结合改进显著性检测与NSST指导的图像融合
2.1 同态滤波
由于可见光图像常存在着因光照不足或清晨、夜间拍摄等原因造成图像整体偏暗，背景细节的清晰度不够高。本文决定对NSST分解前的原可见光图像进行预处理，适当地提高图像的整体亮度，同时增强背景细节的清晰度。图像预处理的常见方法有直方图均衡化法、中值滤波以及同态滤波等。
直方图均衡化法简单有效，对图像进行均匀变换，但对于图像中过亮或过暗区域无法实现有效的增强。中值滤波能够有效地抑制图像中的噪声，强调出图像细节部分，但易造成图像模糊。同态滤波是一种基于傅里叶变换的频域增强算法，它将图像空域特征与频域特征相结合，通过动态压缩图像的灰度值范围来调整图像的照射和反射强度，能在不丢失图像亮区细节的同时增强图像暗区细节，提升图像的整体对比度，从而提高非均匀光照条件下的图像质量[14]。本文综合考虑多种可见光图像的预处理方法后，决定采用优势较为明显的同态滤波，并对增强后的可见光图像进行归一化处理。
图 2为分别应用直方图均衡化法、中值滤波法以及同态滤波法对可见光图像“Camp”进行增强的结果对比。
观察图 2，发现图 2(b)中的图像整体过亮，对比度过高，背景细节偏模糊，增强过度；图 2(c)中的图像整体对比度较低，背景细节不清晰，边缘轮廓较模糊，增强效果一般；图 2(d)中的图像整体视觉效果最佳，其对比度适中，边缘轮廓和背景细节清晰度最高，符合人眼的视觉特性，这表明经过同态滤波后的可见光图像有更优的增强效果。
2.2 非下采样剪切波变换
NSST可以使剪切波变换避免下采样的操作，表现出平移不变性，同时NSST还具有运算简单、时间复杂度低特性以及良好的稀疏表示性能等[15]。NSST分解由非下采样金字塔滤波器组（non-subsampled pyramid, NSP）和剪切滤波器（shearlet filter, SF）组成。第一步，利用NSP对图像进行k多尺度分解，形成1个低频子带和k个高频子带，实现平移不变性；第二步，利用SF对高频子带进行l级多方向分解，形成2l个高频方向子带，从而有效地捕获方向信息，保持各向异性。
NSST分解后的子带图像与源图像尺寸相同，且具有高稀疏性、准确表征融合信息的性能。源图像经过3级NSST分解过程如图 3所示。
2.3 融合流程及融合规则
2.3.1 融合流程
本文提出的结合改进显著性检测与NSST的红外与可见光图像融合方法的流程框图如图 4所示，具体融合步骤分为以下5步：
步骤1），输入已配准的红外图像IR和可见光图像VIS；
步骤2），利用改进MSS算法提取出红外图像IR的显著性图，再使用改进伽马校正进行增强，同时利用同态滤波法对可见光图像VIS进行增强；
步骤3），将红外图像IR和增强后的可见光图像VIS进行NSST分解，获取相应的低频子带DIR(x, y)、DVIS(x, y)和高频子带Dk, lIR(x, y)、Dk, lVIS(x, y)，其中k为分解尺度，l为k尺度上的方向数；
步骤4），利用增强的红外显著性图指导低频子带融合，采用区域能量取大规则指导高频子带融合，获取融合后的低频子带DF(x, y)和高频子带Dk, lF(x, y)；
步骤5），对DF(x, y)、Dk, lF(x, y)进行NSST逆变换，获取融合图像F并输出。
2.3.2 融合规则
低频子带为源图像的近似成分，为了充分突出红外目标特征，并保留可见光图像的细节信息，本文利用基于改进MSS算法提取出的红外图像显著性图指导低频部分系数进行融合，融合规则为：
$$ D^{\mathrm{F}}(x, y)=\omega_{\mathrm{IR}}(x, y) \cdot D^{\mathrm{IR}}(x, y)+\omega_{\mathrm{VIS}}(x, y) \cdot D^{\mathrm{VIS}}(x, y) $$ (14) 式中：ωIR(x, y)、ωVIS(x, y)分别为红外和可见光权重系数，取为：
$$ \left\{\begin{array}{l} \omega_{\mathrm{IR}}(x, y)+\omega_{\mathrm{VIS}}(x, y)=1 \\ \omega_{\mathrm{IR}}(x, y)=S_{\mathrm{gam}}(x, y) \end{array}\right. $$ (15) 高频子带代表源图像的细节成分，常见的绝对值取大规则易使融合图像混杂许多无效信息，因此本文使用区域能量取大的规则来融合高频部分系数，表示为：
$$ D_{k, l}^{\mathrm{F}}(x, y)= \begin{cases}D_{k, l}^{\mathrm{IR}}(x, y), & E_{k, l}^{\mathrm{IR}}(x, y) \geq E_{k, l}^{\mathrm{VIS}}(x, y) \\ D_{k, l}^{\mathrm{VIS}}(x, y), & E_{k, l}^{\mathrm{IR}}(x, y)<E_{k, l}^{\mathrm{VIS}}(x, y)\end{cases} $$ (16) 式中：Ek, l(x, y)表示某像素处的高频部分区域能量大小，表示为：
$$ \begin{aligned} E_{k, l}(x, y)=& \sum\limits_{i=-M}^{M} \sum\limits_{j=-N}^{N} \boldsymbol{w}(i+M+1, j+N+1)\cdot \\ &\left[D_{k, l}(x+i, y+j)\right]^{2} \end{aligned} $$ (17) 式中：M和N为区域窗口测度，表示区域窗口大小为(2M+1)×(2N+1)，本文取为3×3；w为窗口掩膜矩阵，越靠近中心点表明其权值相对越大，本文取$\boldsymbol{w}=\frac{1}{18}\left[\begin{array}{lll} 1 & 2 & 1 \\ 2 & 6 & 2 \\ 1 & 2 & 1 \end{array}\right] $。
3. 实验分析
为了检验本文方法的有效性，将本文方法与LP[16]、CVT[17]、NSCT[18]、NSST-PCNN[4]、NSST- PAPCNN[19]、NSST-FT（低频采用FT算法获取的显著性图指导融合、高频采用区域能量取大规则指导融合的NSST方法）和文献[6]方法进行图像融合实验对比，实验中采用6组经典的红外与可见光图像，其中前5组来源于TNO数据集[20]，第6组为常规的轮船图像。6组图像已经过严格地图像配准，分别记为“Camp”、“Kaptein”、“Tree”、“APC”、“Marne”和“Steamboat”图像。
实验相关环境设置为：Intel Core i7-9750H，CPU主频为2.60 GHz，内存为16 GB，选用Windows10操作系统和Matlab2019a软件仿真平台。本文方法的实验中相关参数设置：NSST分解中，选择“maxflat”为NSST分解滤波器，分解方向数为{8, 8, 16, 16}；加权最小二乘滤波中，λ=0.7，α=0.6；同态滤波中，锐化参数C=2.0，高频增益为RH=3.2，低频增益为RL=0.75，截止频率为D0=80。则6组经典红外与可见光图像在8种融合方法下的融合结果如图 5~10所示。
首先，本文对6组图像融合结果进行主观视觉评价。观察上图 5~10，发现8种融合方法都基本实现了红外目标和可见光细节的提取，但LP、CVT及NSCT三种传统方法的融合图像对比度和清晰度较低、边缘轮廓模糊，同时红外目标过暗，存在着明显的伪影现象。NSST-PCNN和NSST-PAPCNN方法的融合图像整体过亮，存在着红外目标与边缘轮廓模糊现象，NSST-PCNN方法丢失了较多的可见光背景细节，仅在“APC”图像上获取较好地融合效果，而NSST-PAPCNN方法在“Tree”、“Marne”和“Steamboat”图像上存在着严重的区域污染，直接降低了融合图像的质量。NSST-FT、文献[6]及本文方法的融合图像整体较清晰，对比度适中，优于3种传统方法、NSST-PCNN及NSST-PAPCNN方法获取的融合图像，但NSST-FT和文献[6]方法在“Camp”图像上存在伪影现象，树木、尘土等背景信息偏暗，使得融合图的对比度和清晰度弱于本文方法，在“Marne”图像的天空上方区域存在全黑的污染现象，同时“Steamboat”图像上的红外目标较暗。
本文方法的6组融合图像对比度适中，清晰度高，具有丰富的背景细节信息，例如林木、尘土和烟雾信息，这些背景信息边缘轮廓清晰且亮度适中，更符合人眼视觉系统对灰度图像信息的认知特性，红外目标突出；“Camp”图像中的人物目标清晰且周围无伪影，灌木、围栏等背景细节信息十分丰富；“Kaptein”图像中的人物目标特征突出，树木信息丰富；“Tree”图像中的视野信息保真度最高，整幅图像有明显地“去雾”效果，有效突显了林木图像的原始特征；“APC”图像中的纹理细节丰富，边缘轮廓清晰；“Marne”图像中，无任何天空区域污染现象，树木细节清晰；“Steamboat”图像中的人物目标亮度最佳，轮船和水面细节清晰。综上分析，本文方法的融合结果在主观视觉评价上表现最佳。
其次，本文选用互信息（mutual information, MI）、平均梯度（average gradient, AG）、信息熵（information entropy, IE）、空间频率（spatial frequency, SF）以及标准差（standard deviation, SD）共5项指标对6组图像的融合结果进行客观评价[7]。5项客观指标均为正项指标，其值越大表明融合效果相对更好。表 1~2为选用5项客观指标的评价结果。
表 1 前三组融合图像的客观评价结果Table 1. The objective evaluation results of the first three groups of fused imagesImages Methods MI AG IE SF SD Camp LP 1.4778 6.4761 6.6515 12.3629 28.9089 CVT 1.3857 6.3399 6.5356 11.9980 26.7685 NSCT 1.4565 6.3190 6.5447 12.0755 26.9155 NSST-PCNN 1.9196 6.0255 6.6738 11.0564 28.8536 NSST-PAPCNN 2.0762 5.8494 6.7943 10.5186 29.5982 NSST-FT 2.4885 6.7244 7.0753 12.6604 38.0868 Refs [6] 2.5042 6.6892 7.0785 12.6110 38.2066 Proposed 2.7722 6.8739 7.2089 12.7387 39.1209 Kaptein LP 1.5623 5.8712 6.6301 11.4779 35.3726 CVT 1.4951 5.6699 6.5105 11.0531 30.6265 NSCT 1.5836 5.7224 6.4981 11.2409 31.2731 NSST-PCNN 2.1031 5.4520 6.7022 10.5732 38.4590 NSST-PAPCNN 2.5149 4.8540 6.9353 9.5255 41.3301 NSST-FT 3.3999 6.0008 7.2952 11.6395 56.2293 Refs [6] 3.4299 6.0415 7.2943 11.7266 56.3160 Proposed 3.9293 7.0654 7.6067 13.0026 65.3635 Tree LP 1.5992 5.0152 6.0166 8.7768 16.4923 CVT 1.5299 4.8874 5.9432 8.5367 15.3844 NSCT 1.5883 4.8566 5.9525 8.5571 15.5355 NSST-PCNN 1.9811 4.7939 6.2575 8.3593 19.8322 NSST-PAPCNN 1.4902 4.8654 6.4536 8.5262 21.7829 NSST-FT 2.0784 5.1505 6.3483 8.9234 20.8631 Refs [6] 2.1290 5.1189 6.3475 8.8783 20.8498 Proposed 3.1750 6.9352 7.1273 11.9791 36.2389 表 2 后三组融合图像的客观评价结果Table 2. The objective evaluation results of the last three groups of fused imagesImages Methods MI AG EN SF SD APC LP 0.6861 5.6418 5.8989 9.6969 15.0333 CVT 0.5984 5.5327 5.7615 9.5127 13.5490 NSCT 0.6326 5.5686 5.8252 9.5973 14.1751 NSST-PCNN 1.3097 5.2874 5.9710 9.1733 15.6671 NSST-PAPCNN 1.0539 3.5190 6.0989 6.4778 16.9964 NSST-FT 2.0421 5.7441 6.4358 9.8360 21.0700 Refs [6] 2.0316 5.7494 6.4383 9.8406 21.1113 Proposed 2.4917 6.9622 6.7164 11.7056 25.5275 Marne LP 2.1164 3.9831 6.7132 7.2543 27.6995 CVT 1.8075 4.0716 6.6968 7.2306 27.4600 NSCT 2.1117 3.8934 6.5826 7.0751 25.3114 NSST-PCNN 2.9627 3.6828 6.9520 6.6598 36.0598 NSST-PAPCNN 4.8694 3.2487 6.9969 6.2804 37.1140 NSST-FT 2.7102 4.0981 7.1696 7.4645 45.7950 Refs [6] 2.7344 4.1054 7.1787 7.5188 45.9412 Proposed 3.3513 4.8461 7.4630 8.4996 73.7589 Steamboat LP 1.6304 2.7601 5.3071 7.0341 14.0743 CVT 1.4169 2.7281 5.2087 6.9052 12.4699 NSCT 1.5171 2.7462 5.1657 6.9943 12.6583 NSST-PCNN 3.3886 2.3807 5.7938 6.5980 18.9923 NSST-PAPCNN 2.5101 2.7789 6.1287 6.9999 21.0319 NSST-FT 2.7227 2.8126 5.9811 7.0718 18.4518 Refs [6] 2.7219 2.8231 5.9639 7.1179 18.5114 Proposed 3.0865 2.9878 6.2459 7.3507 25.2450 由表 1~2可知，相比于其他7种融合方法，本文方法在5项客观指标值上有明显提升，这与主观视觉评价的结果相一致。对于前4组图像，本文方法在5项指标上均为最佳值，并在“Kaptein”、“Tree”图像上，本文方法的5项指标值与其他7种方法之间差距尤为明显。在“Marne”图像上，本文方法的MI低于NSST-PAPCNN方法；在“Steamboat”图像上，本文方法的MI低于NSST-PCNN方法，而其余4项指标均仍为最佳值。通过利用上述5项指标融合结果的客观评价，表明了本文方法的所获取融合图像所含信息量更丰富，同时融合图像的反差更大、清晰度和对比度更高。
通过主观视觉评价以及客观指标评价，充分证实了本文提出的改进方法融合性能优异，胜于另外7种传统、流行及基于显著性检测的融合方法。
4. 结语
本文在经典的MSS算法基础上进行改进，同时考虑到可见光图像因成像机制存在偏暗的问题，提出了一种结合改进显著性检测与NSST的红外与可见光图像融合方法。在经典的MSS算法中混入加权最小二乘法滤波，提取出红外图像的显著性图，并进一步通过改进伽马校正增强显著性图，可以有效突出显著性图中的红外目标，同时抑制红外背景信息；利用同态滤波对可见光图像进行预处理，提高可见光图像的整体亮度，增强其背景细节清晰度；然后依据NSST分解原理，使用增强后的显著性图指导低频部分融合，同时使用区域能量取大规则指导高频部分融合。实验结果表明本文方法能够有效地应用于红外与可见光图像融合领域，属于一种实用性高、可行性强的红外与可见光图像融合方法。
-
表 1 前三组融合图像的客观评价结果
Table 1 The objective evaluation results of the first three groups of fused images
Images Methods MI AG IE SF SD Camp LP 1.4778 6.4761 6.6515 12.3629 28.9089 CVT 1.3857 6.3399 6.5356 11.9980 26.7685 NSCT 1.4565 6.3190 6.5447 12.0755 26.9155 NSST-PCNN 1.9196 6.0255 6.6738 11.0564 28.8536 NSST-PAPCNN 2.0762 5.8494 6.7943 10.5186 29.5982 NSST-FT 2.4885 6.7244 7.0753 12.6604 38.0868 Refs [6] 2.5042 6.6892 7.0785 12.6110 38.2066 Proposed 2.7722 6.8739 7.2089 12.7387 39.1209 Kaptein LP 1.5623 5.8712 6.6301 11.4779 35.3726 CVT 1.4951 5.6699 6.5105 11.0531 30.6265 NSCT 1.5836 5.7224 6.4981 11.2409 31.2731 NSST-PCNN 2.1031 5.4520 6.7022 10.5732 38.4590 NSST-PAPCNN 2.5149 4.8540 6.9353 9.5255 41.3301 NSST-FT 3.3999 6.0008 7.2952 11.6395 56.2293 Refs [6] 3.4299 6.0415 7.2943 11.7266 56.3160 Proposed 3.9293 7.0654 7.6067 13.0026 65.3635 Tree LP 1.5992 5.0152 6.0166 8.7768 16.4923 CVT 1.5299 4.8874 5.9432 8.5367 15.3844 NSCT 1.5883 4.8566 5.9525 8.5571 15.5355 NSST-PCNN 1.9811 4.7939 6.2575 8.3593 19.8322 NSST-PAPCNN 1.4902 4.8654 6.4536 8.5262 21.7829 NSST-FT 2.0784 5.1505 6.3483 8.9234 20.8631 Refs [6] 2.1290 5.1189 6.3475 8.8783 20.8498 Proposed 3.1750 6.9352 7.1273 11.9791 36.2389 
下载: 导出CSV
表 2 后三组融合图像的客观评价结果
Table 2 The objective evaluation results of the last three groups of fused images
Images Methods MI AG EN SF SD APC LP 0.6861 5.6418 5.8989 9.6969 15.0333 CVT 0.5984 5.5327 5.7615 9.5127 13.5490 NSCT 0.6326 5.5686 5.8252 9.5973 14.1751 NSST-PCNN 1.3097 5.2874 5.9710 9.1733 15.6671 NSST-PAPCNN 1.0539 3.5190 6.0989 6.4778 16.9964 NSST-FT 2.0421 5.7441 6.4358 9.8360 21.0700 Refs [6] 2.0316 5.7494 6.4383 9.8406 21.1113 Proposed 2.4917 6.9622 6.7164 11.7056 25.5275 Marne LP 2.1164 3.9831 6.7132 7.2543 27.6995 CVT 1.8075 4.0716 6.6968 7.2306 27.4600 NSCT 2.1117 3.8934 6.5826 7.0751 25.3114 NSST-PCNN 2.9627 3.6828 6.9520 6.6598 36.0598 NSST-PAPCNN 4.8694 3.2487 6.9969 6.2804 37.1140 NSST-FT 2.7102 4.0981 7.1696 7.4645 45.7950 Refs [6] 2.7344 4.1054 7.1787 7.5188 45.9412 Proposed 3.3513 4.8461 7.4630 8.4996 73.7589 Steamboat LP 1.6304 2.7601 5.3071 7.0341 14.0743 CVT 1.4169 2.7281 5.2087 6.9052 12.4699 NSCT 1.5171 2.7462 5.1657 6.9943 12.6583 NSST-PCNN 3.3886 2.3807 5.7938 6.5980 18.9923 NSST-PAPCNN 2.5101 2.7789 6.1287 6.9999 21.0319 NSST-FT 2.7227 2.8126 5.9811 7.0718 18.4518 Refs [6] 2.7219 2.8231 5.9639 7.1179 18.5114 Proposed 3.0865 2.9878 6.2459 7.3507 25.2450
下载: 导出CSV
-
[1] CHEN J, LI X, LUO L, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]. Information Sciences, 2020, 508(1): 64-78. http://www.sciencedirect.com/science/article/pii/S0020025519308163
[2] 崔晓荣, 沈涛, 黄建鲁, 等. 基于BEMD改进的视觉显著性红外和可见光图像融合[J]. 红外技术, 2020, 42(11): 1061-1071. http://hwjs.nvir.cn/article/id/c89c0447-6d07-4a75-99f6-1bf8681cf588 CUI Xiaorong, SHEN Tao, HUANG Jianlu, et al. Infrared and visble image fusion based on BEMD and improved visual saliency[J]. Infrared Technology, 2020, 42(11): 1061-1071. http://hwjs.nvir.cn/article/id/c89c0447-6d07-4a75-99f6-1bf8681cf588
[3] CHENG B, JIN L, LI G. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]. Neurocomputing, 2018, 310(10): 135-147. http://www.onacademic.com/detail/journal_1000040423651710_9d04.html
[4] 郑伟, 赵成晨, 郝冬梅. NSST和改进PCNN相结合的甲状腺图像融合[J]. 光电工程, 2016, 43(10): 42-48, 55. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201610008.htm ZHENG Wei, ZHAO Chengchen, HAO Dongmei. Thyroid image fusion based on NSST and improved PCNN[J]. Opto-Electronic Engineering, 2016, 43(10): 42-48, 55. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201610008.htm
[5] Borji A, Itti L. State-of-the-art in visual attention modeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185-207. DOI: 10.1109/TPAMI.2012.89
[6] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007 FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-363. DOI: 10.3969/j.issn.1001-0548.2017.02.007
[7] 林子慧, 魏宇星, 张建林, 等. 基于显著性图的红外与可见光图像融合[J]. 红外技术, 2019, 41(7): 640-645. http://hwjs.nvir.cn/article/id/hwjs201907008 LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible images based on saliency map[J]. Infrared Technology, 2019, 41(7): 640-645. http://hwjs.nvir.cn/article/id/hwjs201907008
[8] 安影, 范训礼, 陈莉, 等. 结合FABEMD和改进的显著性检测的图像融合[J]. 系统工程与电子技术, 2020, 42(2): 292-300. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD202002006.htm AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]. Systems Engineering and Electronics, 2020, 42(2): 292-300. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD202002006.htm
[9] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision & Pattern Recognition, 2009: 1597-1604.
[10] Achanta R, Susstrunk S. Saliency detection using maximum symmetric surround[C]//Proc. of IEEE International Conference on Image Processing, 2010: 2653-2656.
[11] 冯维, 吴贵铭, 赵大兴, 等. 多图像融合Retinex用于弱光图像增强[J]. 光学精密工程, 2020, 28(3): 736-744. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202003024.htm FENG Wei, WU Guiming, ZHAO Daxing, et al. Multi images fusion Retinex for low light image enhancement[J]. Optics and Precision Engineering, 2020, 28(3): 736-744. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202003024.htm
[12] 吴京辉, 唐林波, 赵保军. 局部特征与全局信息联合的自适应图像增强算法[J]. 北京理工大学学报, 2014, 34(9): 955-960. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201409015.htm WU Jinghui, TANG Linbo, ZHAO Baojun. Local-to-global adaptive image enhancement algorithm[J]. Transactions of Beijing Institute of Technology, 2014, 34(9): 955-960. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201409015.htm
[13] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th ACM International Conference on Multimedia, 2006: 815-824.
[14] DONG S, MA J, SU Z, et al. Robust circular marker localization under non-uniform illuminations based on homomorphic filtering[J]. Measurement, 2021, 170(1): 108700. http://www.sciencedirect.com/science/article/pii/S0263224120312070
[15] 焦姣, 吴玲达, 于少波, 等. 混合多尺度分析和改进PCNN相结合的图像融合方法[J]. 计算机辅助设计与图形学学报, 2019, 31(6): 988-996. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906015.htm JIAO Jiao, WU Lingda, YU Shaobo, et al. Image fusion method using multi-scale analysis and improved PCNN[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(6): 988-996. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906015.htm
[16] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]. IEEE Transactions on Communications, 1983, 31(4): 532-540. DOI: 10.1109/TCOM.1983.1095851
[17] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[18] ZHANG Q, GUO B. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Process, 2009, 89(7): 1334-1346. DOI: 10.1016/j.sigpro.2009.01.012
[19] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(1): 49-64. DOI: 10.1109/TIM.2018.2838778
[20] Figshare. TNO Image Fusion Dataset[EB/OL]. [2014-04-26]. https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029.
-
期刊类型引用(1)
1. 张关应，束云豪，赵宇嘉，候姝斌，李庆武. 红外与可见光图像特征引导融合的电力线检测方法. 应用科技. 2024(05): 66-72 . 
百度学术
其他类型引用(3)
计量
- 文章访问数: 267
- HTML全文浏览量: 219
- PDF下载量: 66
- 被引次数: 4
