Infrared and Visible Image Fusion Based on Global Energy Features and Improved PCNN
-
摘要:
为了改善红外与可见光融合图像存在不清晰、图像对比度低以及缺少纹理细节的问题，本文提出了一种基于参数自适应脉冲耦合神经网络（parameter-adaptive pulse-coupled neural network，PA-PCNN）图像融合算法。首先，对源红外图像进行暗通道去雾，增强图像的清晰度；然后，使用非下采样剪切波变换（non-subsampled shearlet transform，NSST）分解源图像，使用全局能量特征结合改进的空间频率自适应权重融合低频系数，将纹理能量作为PA-PCNN外部输入融合高频系数；最后，通过逆NSST变换得到最终融合灰度图像。本文方法与7种经典算法在2组图像中进行对比实验，实验结果表明：本文方法在评价指标中明显优于对比算法，提高了融合图像的清晰度和细节信息，验证了本文方法的有效性。将灰度图像转为伪彩色图像进一步增强了融合图像的辨识度和人眼的感知效果。
Abstract:To improve the low clarity, low contrast, and insufficient texture details of infrared and visible image fusion, an image fusion algorithm based on a parameter-adaptive pulse-coupled neural network (PA-PCNN) was proposed. First, the source infrared image was dehazed by a dark channel to enhance the clarity of the image. Then, the source images were decomposed by non-subsampled shearlet transform (NSST), and the low-frequency coefficients were fused by the proposed global energy feature extraction algorithm combined with a modified spatial frequency adaptive weight. Texture energy was used as the external input of the PA-PCNN to fuse the high-frequency coefficients, and the fused gray image was obtained using the inverse NSST. To further enhance the perception of the human eye, a multiresolution color transfer algorithm was used to convert the grayscale image to a color image. The proposed method was compared with seven classical algorithms for two image pairs. The experimental results show that the proposed method is significantly better than the comparison algorithms in terms of evaluation indicators, and improves the clarity and detail information of the fused image, which verifies its effectiveness. The conversion of the fused grayscale images into pseudo-color images further enhances recognition and human eye perception.
-
0. 引言
图像融合技术定义为将两幅及以上的图像通过算法合并为一幅图像[1]。在这个过程中不仅需要去除冗余信息保留互补信息，还要去除噪声，改善视觉效果，便于人类观察或用于计算机视觉处理任务[2]。
由于成像单元不同的物理机制，可以采集同场景不同波段的互补信息。红外成像单元能捕捉隐藏目标的热辐射信息，但缺少细节信息。可见光图像则拥有丰富的纹理细节信息，但易受天气、光照等因素所影响[3]。红外与可见光图像融合成既有场景中丰富的纹理细节，又具有突出的红外目标的图像。克服了单个成像单元的局限性，提高了人眼的辨识度。图像融合技术在军事侦察、视频监控、医学图像、遥感和人脸识别等领域发挥着关键作用[4]。
目前红外与可见光图像融合方法主要分为3大类：空间域算法[5]、变换域算法[6]和深度学习算法[7-8]。在变换域中研究人员提出了多种分解方法，如曲波变换[9]、轮廓波变换[10]、非下采样轮廓波变换（non-subsampled contourlet transform，NSCT）[11]和NSST[12]。
小波变换不能准确表示图像的曲线和边缘，为了解决小波的局限性，学者们提出曲波和轮廓波。在曲波的基础上提出了轮廓波，由于变换过程中使用了下采样，融合图像易出现伪吉布斯现象[4]。NSCT取消了下采样，同时具备平移不变性、多尺度和多方向性，克服了伪吉布斯现象，但也存在方向受限的问题。NSST方向不受限制也具备平移不变性、多尺度和方向性，与NSCT相比NSST的计算效率更高[13]。文献[2, 4, 12]提出了基于NSST的方法，相比于其他多尺度方法，NSST具有更加优良的融合效果。
脉冲耦合神经网络（pulse-coupled neural network，PCNN）[14]源于Ecknorn基于猫的视觉特性设计的模型[15]。传统PCNN参数设计过于困难，文献[16]将参数自适应PCNN引入医学图像融合领域，并取得了不错的融合效果，但是融合规则简单的选取高频系数的绝对值作为PCNN的输入，易产生振铃效应。文献[17-19]采用PCNN融合红外与可见光图像，融合效果均有所提升，证明了PCNN适用于图像融合任务。
基于以上分析，本文提出了基于NSST的图像融合方法。受拍摄条件的影响，红外图像通常呈现出雾蒙蒙的状态，可见光图像可能会出现对比度和清晰度低的状况，分别采用暗通道先验去雾[20]和同态滤波[21]对红外图像和可见光图像进行增强。低频系数一般采用加权平均的方法，易降低图像对比度。本文提出了全局能量特征算法提取源红外图像的显著特征和改进的空间频率算法指导低频融合；针对高频系数，选择改进的PCNN优化了参数的计算，选用纹理能量[22]代替高频系数的绝对值作为输入。实验结果表明，本文方法保留了大部分可见光图像的纹理细节、取得了优于其他算法的融合效果。
本文的融合图像以灰度图的方式呈现。然而，根据人类视觉系统（human visual system，HVS）原理，人眼对颜色更加敏感[23]。因此，合适的颜色表达可以帮助观察者更好地理解场景内容。本文采用多分辨率颜色传递（multi-resolution color transfer，MRCT）方法在YUV色彩空间对融合图像进行伪彩色映射，最终得到与日光下彩色图像相似的融合图像，进一步增强了人眼的态势感知。
1. 参数自适应PCNN
不同于传统的神经网络，PCNN不需要训练只需要进行迭代计算。像素与神经元的关系是对应的，即有多少像素就有多少神经元。传统的PCNN要手动设置参数，如链接强度、衰减系数和各种幅值。本文选取文献[16]中提出的自适应模型，该模型简化了传统PCNN参数设置过程，实验证明PA-PCNN具有收敛速度快，迭代次数少的特点。其数学模型表示为：
$$ {F_{ij}}[n] = {S_{ij}} $$ (1) $$ {L}_{ij}[n]={V}_{L}\sum \limits_{kl}{W}_{ijkl}{Y}_{kl}[n-1] $$ (2) $$ {U_{ij}}[n] = {{\rm{e}}^{ - {\alpha _{\rm{f}}}}}{U_{ij}}[n - 1] + {F_{ij}}[n]\left( {1 + \beta {L_{ij}}[n]} \right) $$ (3) $$ {Y_{ij}}[n] = \left\{ {\begin{array}{*{20}{c}} {1, }&{{\text{if }}{U_{ij}}[n] > {E_{ij}}[n - 1]} \\ {0, }&{{\text{otherwise}}} \end{array}} \right. $$ (4) $$ {E_{ij}}[n] = {{\rm{e}}^{ - {\alpha _{\rm{e}}}}}{E_{ij}}[n - 1] + {V_E}{Y_{ij}}[n] $$ (5) 在上述模型中，n表示迭代数；ij表示像素位置；Fij[n]表示馈电输入；Sij为外部输入；Lij[n]表示链接输入；VL链接输入的幅值，通过突能权重Wijkl与之前8个相邻像素关联起来，令：
$$ {W_{ijkl}} = \left[ {\begin{array}{*{20}{c}} {0.5}&1&{0.5} \\ 1&0&1 \\ {0.5}&1&{0.5} \end{array}} \right] $$ 式中：Uij[n]表示内部活动；αf是指数衰减系数；β为链接强度能够对Lij[n]实现调制。Yij[n]表示输出脉冲，若神经元点火则输出为1，否则为0。Eij[n]表示动态阈值，αe为衰减指数，VE为幅值。图 1展示了PA-PCNN模型的结构。
由以上分析可知该模型只有5个自由设置的参数，分别为VL、αf、β、αe和VE。Chen[24]等人经过大量实验证实VL的取值大小对最终结果没有影响，这里取VL＝1。实际上该模型只剩下4个参数需要设置，文献[24]给出了参数自适应设置的过程如下：
$$ {\alpha _f} = \log (1/\sigma (S)) $$ (6) $$ \beta = \frac{{\left( {{S_{\max }}/S'} \right) - 1}}{6} $$ (7) $$ {V_{\rm{E}}} = {{\rm{e}}^{ - {\alpha _f}}} + 1 + 6\beta $$ (8) $$ {\alpha _{\rm{e}}} = \ln \left( {\frac{{{V_{\rm{E}}}}}{{S'}}/\frac{{1 - {{\rm{e}}^{ - 3{\alpha _{\rm{f}}}}}}}{{1 - {{\rm{e}}^{ - {\alpha _{\rm{f}}}}}}} + 6\beta {{\rm{e}}^{ - {\alpha _{\rm{f}}}}}} \right) $$ (9) 式中：σ(S)表示外部输入的标准差，本文中使用归一化的纹理能量作为输入。Smax和S′分别表示输入的最大值和归一化Otsu全局阈值。
2. 改进的融合算法
2.1 概述
首先使用文献[20]提出的暗通道先验算法和文献[21]的同态滤波算法对图像进行预处理。
本文提出的融合算法如图 2所示，包括(a)灰度融合和(b)伪彩色映射两大部分。其中，灰度图像融合包含5步：图像增强、NSST分解、全局能量特征提取、子带系数融合以及NSST图像重构；伪彩色映射包含4步：参考图像从RGB转换到YUV空间、对Y、U和V分量进行NSST分解、颜色传递、NSST重构以及YUV转换到RGB空间。红外图像IR和可见光图像Ⅵ经过NSST分解之后，低频子带记为LIR(x, y)和LⅥ(x, y)，高频子带记为HIRl, k(x, y)和HⅥl, k(x, y)。其中，l表示尺度分解的层数，k表示该尺度下高频子带位于哪一个方向。
2.2 低频融合
2.2.1 全局能量特征提取算法
根据灰度红外图像物理成像原理，在红外图像中通常以灰度的强度为特征，像素的灰度强度差异代表了目标与背景的差异。目标物体热辐射量越大在图像中则表现为物体亮度越高，灰度越强目标物体具有的能量就越高，背景部分灰度值远低于目标物体的灰度值，进一步说明了背景部分的能量远低于目标的能量。根据以上分析和实验本文提出了一种全局能量特征提取的算法，其数学方程为：
$$ {\rm{EF}}(x, y) = c{\left( {{E_{\rm{S}}}\left( {x, y} \right) - {S_{{\rm{gf}}}}\left( {x, y} \right)} \right)^\gamma } $$ (10) 式中：EF(x, y)为全局能量特征图；源图像S(x, y)的取值范围为[0, 1]；Sgf(x, y)表示S(x, y)经过高斯滤波之后的图像，高斯核的大小为5×5，标准差设置为1.5，使用原始图像的高斯模糊版本是为了消除精细的纹理细节以及噪声和编码伪影的影响。ES(x, y)表示图像Sgf(x, y)的8邻域能量，其数学表达式为：
$$ {E_{\rm{S}}}\left( {x, y} \right) = \sum\limits_{i = - 1}^{i = 1} {\sum\limits_{j = - 1}^{j = 1} {{S_{{\rm{gf}}}}{{\left( {x, y} \right)}^2}} } $$ (11) 对结果进行伽马变换增强图像的对比度，参数c和γ为常数参数，本文中c取值为1，γ取值为2，最后对能量图进行归一化得到与源图像灰度范围一致的全局能量特征图。全局能量特征图如图 3(d)所示。
![]()
图 3 本文提出的全局能量特征提取算法Figure 3. The global energy feature extraction algorithm proposed in this paper观察图 3(c)和(d)，虽然归一化的能量特征图提取出了显著的目标，但是(c)中的部分信息却被忽略了。为了能保留更多的红外特征信息，设定了一个阈值对归一化的全局能量特征图进行阈值分割，不仅保留了目标特征还有效地保留了目标附近的信息。分割之后像素大小为0的区域称为背景；像素大小为0.5的区域称为次目标区域，该区域包含较多的红外信息；像素大小为1的区域称为目标区域，包含最丰富的红外信息。最后使用改进的空间频率对次目标区域进行融合，改进的空间频率将在2.2.2节中进行介绍。阈值分割的结果如图 3(e)所示，数学表达如式(12)所示：
$$ {\rm{seg}}\left( {x, y} \right) = \left\{ \begin{array}{l} 0\;\;{\text{ }}{\rm{EF}}(x, y) \leqslant 0.1\mu \hfill \\ 0.5\;\;{\text{ }}{\rm{EF}}(x, y) \leqslant \mu \hfill \\ 1\;\;\;\;\;\;\;\;{\text{ otherwise}} \hfill \end{array} \right. $$ (12) 式中：seg(x, y)为分割后的图像；μ为归一化全局能量特征的均值，经过多次实验，阈值取为0.1μ、μ和其他。
2.2.2 改进的空间频率
空间频率（spatial frequency，SF）表示了像素的活跃程度，能够反映出图像的边缘信息和结构信息等细小的信息，在一定程度上能够表征图像的清晰程度。传统的空间频率只计算了水平和竖直两个方向的信息，忽略了对角线像素对该点影响。假定某图像的低频子带为L(x, y)，则它的改进局部空间频率可以表示为：
$$ {\rm{LSF}}\left( {x, y} \right) = \sqrt {\begin{array}{l} {\rm{RF}}{\left( {x, y} \right)^2} + {\rm{CF}}{\left( {x, y} \right)^2} + \hfill \\ {\rm{V}}{{\rm{F}}_1}{\left( {x, y} \right)^2} + {\rm{V}}{{\rm{F}}_2}{\left( {x, y} \right)^2} \hfill \end{array}} $$ (13) 式中：RF、CF、VF1和VF2分别表示行频率、列频率、主对角线频率和副对角线频率，其数学表达式如下：
$$ \left\{ \begin{array}{l} {\rm{RF}}\left( {x, y} \right) = \sqrt {\frac{1}{{mn}}\sum\limits_{x = 1}^m {\sum\limits_{y = 2}^n {{{\left( {L\left( {x, y} \right) - L\left( {x, y - 1} \right)} \right)}^2}} } } \hfill \\ {\rm{CF}}\left( {x, y} \right) = \sqrt {\frac{1}{{mn}}\sum\limits_{y = 1}^m {\sum\limits_{x = 2}^n {{{\left( {L\left( {x, y} \right) - L\left( {x - 1, y} \right)} \right)}^2}} } } \hfill \\ {\rm{V}}{{\rm{F}}_1}\left( {x, y} \right) = \sqrt {\frac{1}{{mn}}\sum\limits_{x = 2}^m {\sum\limits_{y = 2}^n {{{\left( {L\left( {x, y} \right) - L\left( {x - 1, y - 1} \right)} \right)}^2}} } } \hfill \\ {\rm{V}}{{\rm{F}}_2}\left( {x, y} \right) = \sqrt {\frac{1}{{mn}}\sum\limits_{x = 2}^m {\sum\limits_{y = 1}^{n - 1} {{{\left( {L\left( {x, y} \right) - L\left( {x - 1, y + 1} \right)} \right)}^2}} } } \hfill \end{array} \right. $$ (14) 式中：m和n表示局部窗口的大小，本文取3×3的局部窗口计算像素点的空间频率。
2.2.3 低频融合规则设计
低频系数代表了源图像的近似轮廓，保留了大部分图像的信息。因此，低频系数子带的融合结果对整幅图像的融合效果起到了决定性的作用，合理地选择融合策略既能保留图像的近似信息又保留了其中的细节信息。基于这一原则本文结合所提出的全局能量特征与改进的空间频率设计融合规则，全局能量特征能够提取红外源图像能量较高的信息，空间频率则能表征图像的边缘细节信息。把红外图像基于全局能量特征的阈值分割图记为segIR(x, y)，红外与可见光图像的空间频率分别记为LSFIR(x, y)和LSFⅥ(x, y)。低频系数分别为LIR(x, y)和LⅥ(x, y)。基于2.2.1和2.2.2节的分析，本文提出的融合规则如下所示：
$$ {L_{\rm{F}}}\left( {x, y} \right) = \left\{ \begin{array}{l} {L_{{\rm{IR}}}}\left( {x, y} \right){\text{, }}{\rm{se}}{{\rm{g}}_{IR}}\left( {x, y} \right) = 1 \hfill \\ {L_{{\rm{VI}}}}\left( {x, y} \right){\text{, }}{\rm{se}}{{\rm{g}}_{{\rm{IR}}}}\left( {x, y} \right) = 0 \hfill \\ {\alpha _1}\left( {x, y} \right){L_{{\rm{IR}}}}\left( {x, y} \right) + \hfill \\ {\alpha _2}\left( {x, y} \right){L_{{\rm{VI}}}}\left( {x, y} \right){\text{, otherwise}} \hfill \end{array} \right. $$ (15) 式中：LF(x, y)表示融合的低频子带系数。α1和α2表示基于改进空间频率的自适应权重，且α1+α2＝1，其数学表达式为：
$$ \left\{ \begin{array}{l} {\alpha _1}\left( {x, y} \right) = \frac{{{\rm{LS}}{{\rm{F}}_{{\rm{IR}}}}\left( {x, y} \right)}}{{{\rm{LS}}{{\rm{F}}_{{\rm{IR}}}}\left( {x, y} \right) + {\rm{LS}}{{\rm{F}}_{{\rm{VI}}}}\left( {x, y} \right)}} \hfill \\ {\alpha _2}\left( {x, y} \right) = \frac{{{\rm{LS}}{{\rm{F}}_{{\rm{VI}}}}\left( {x, y} \right)}}{{{\rm{LS}}{{\rm{F}}_{{\rm{IR}}}}\left( {x, y} \right) + {\rm{LS}}{{\rm{F}}_{{\rm{VI}}}}\left( {x, y} \right)}} \hfill \end{array} \right. $$ (16) 2.3 高频融合
2.3.1 纹理能量
高频系数子带图像包含边缘和纹理等细节信息。一般的融合规则是选择绝对值取大，但是该方案对噪声比较敏感，同时因为系数选择是基于单个系数值而不考虑相邻系数也易造成细节信息的丢失。Ganasala[21]等人提出了纹理能量的概念，纹理能量度量法能够提取图像的各种特征，如斑点、边缘、波纹和波浪等。通过使用这些特征构建的融合法则，能够使融合图像具有更多细节。该度量法是由3个基本向量组合成的9个矩阵计算而得，该3个向量分别为：K1＝[1 2 1]、K2＝[－1 0 1]和K3＝[－1 2 －1]。K1代表加权平均，K2代表一维边沿检测，K3的作用是检测图像中的点。这些矩阵表示为Wij，并通过下式获得：
$$ \boldsymbol{W}_{i j}=\boldsymbol{K}_i^{\mathrm{T}} \boldsymbol{K}_j $$ (17) 然后，将高频系数的平方与每个掩码矩阵进行卷积、取绝对值、归一化并求和，得到高频系数的活动水平。其数学表达式为：
$$ \left\{ \begin{array}{l} {\rm{TEH}}_{{\rm{IR}}}^{l, k} = \sum\limits_{i = 1}^3 {\sum\limits_{j = 1}^3 {{\rm{norm}}\left( {\left| {{{\left( {H_{{\rm{IR}}}^{l, k}} \right)}^2} * {{\boldsymbol{W}}_{ij}}} \right|} \right)} } \hfill \\ {\rm{ TEH}}_{{\rm{VI}}}^{l, k} = \sum\limits_{i = 1}^3 {\sum\limits_{j = 1}^3 {{\rm{norm}}\left( {\left| {{{\left( {H_{{\rm{VI}}}^{l, k}} \right)}^2} * {{\boldsymbol{W}}_{ij}}} \right|} \right)} } \hfill \end{array} \right. $$ (18) 式中：l表示尺度分解的层数，k表示该尺度下高频子带位于哪一个方向。norm表示归一化。*表示卷积操作。
2.3.2 高频融合规则设计
将红外图像和可见光图像高频系数的纹理能量作为PA-PCNN模型的输入激励而不是系数的绝对值。通过迭代计算可以得出点火条件，在每次模型结束计算的时候增加公式(19)来累计触发时间，作为高频系数的活动水平度量。
$$ {T_{ij}}\left[ n \right] = {T_{ij}}\left[ {n - 1} \right] + {Y_{ij}}\left[ n \right] $$ (19) 每个神经元的触发时间记为$ {T_{ij}}\left[ N \right] $，N是迭代数，本文取N为110。系数$ H_{{\rm{IR}}}^{l, k}\left( {x, y} \right) $和$ H_{{\rm{VI}}}^{l, k}\left( {x, y} \right) $的触发时间分别记为$ T_{{\rm{IR}}, xy}^{l, k}\left[ N \right] $和$ T_{{\rm{VI}}, xy}^{l, k}\left[ N \right] $，融合规则表示为：
$$ \begin{array}{l} H_{\rm{F}}^{l, k}\left( {x, y} \right) = \hfill \\ \left\{ \begin{array}{l} H_{{\rm{IR}}}^{l, k}\left( {x, y} \right), T_{{\rm{IR}}, xy}^{l, k}\left[ N \right] \geqslant T_{{\rm{VI}}, xy}^{l, k}\left[ N \right] \hfill \\ H_{{\rm{VI}}}^{l, k}\left( {x, y} \right){\text{, otherwise}} \hfill \end{array} \right. \hfill \end{array} $$ (20) 最后对LF(x, y)和HFl, k(x, y)进行NSST反变换，重构出灰度融合图像IF(x, y)。
2.4 多分辨率颜色传递
2.4.1 概述
虽然灰度图像已经包含了源图像各自特有的信息和互补信息，实现了图像融合的目的，但是与具备颜色的图像相比，人眼能辨识的灰度信息更少。研究表明，视觉细胞对色彩变化更加敏感，能识别出的颜色数远高于灰度数。Toet[25]等人第一次提出了颜色转移技术用于生成具有自然色彩灰度融合图像，但是在颜色空间转换时涉及对数及指数运算增加了计算的时间复杂度。为了保证最终图像的颜色恒常性同时减轻计算压力，本文采用多分辨率颜色传递技术在YUV空间对融合灰度图像进行伪彩色染色，使其与参考的彩色图像具有近似的颜色分布。YUV与RGB是线性映射的转换关系，大大减轻了计算压力。由于YUV各分量之间是去相关的，相互之间互不影响。颜色传递的关键是使需要染色的灰度图像具有参考图像的均值与标准差。Y表示亮度，U和V表示色度。
2.4.2 算法细节
RGB与YUV空间的相互转换的数学表达式如下：
$$ \left[ {\begin{array}{*{20}{c}} Y \\ U \\ V \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {0.299}&{0.587}&{0.114} \\ { - 0.147}&{ - 0.289}&{0.436} \\ {0.615}&{ - 0.515}&{ - 0.100} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} R \\ G \\ B \end{array}} \right] $$ (21) $$ \left[ {\begin{array}{*{20}{c}} R \\ G \\ B \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {1.000}&0&{1.140} \\ {1.000}&{ - 0.395}&{ - 0.581} \\ {1.000}&{2.032}&0 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} Y \\ U \\ V \end{array}} \right] $$ (22) 如图 2(b)所示，伪彩色映射包含4步：
① 首先将RGB参考图像转换为YUV，转换后的各分量记为：YR、UR和VR。
② 对颜色分量进行NSST分解，得到各自的高低频分量，分别记为：YLR、YHRl, k、ULR、UHRl, k、VLR和VHRl, k。L和H表示低频和高频，l和k表示尺度和方向。
③ 构建需要进行颜色传递的YUV分量，记作Ynew、Unew和Vnew。新分量的高低频系数数学表达式为：
$$ \left\{ \begin{array}{l} {\rm{Y}}{{\rm{L}}_{{\rm{new}}}} = {L_{\rm{F}}} \hfill \\ {\rm{ YH}}_{{\rm{new}}}^{l, k} = H_{\rm{F}}^{l, k} \hfill \\ {\rm{U}}{{\rm{L}}_{{\rm{new}}}} = {L_{{\rm{VI}}}} - {L_{{\rm{IR}}}} \hfill \\ {\rm{ UH}}_{{\rm{new}}}^{l, k} = H_{{\rm{VI}}}^{l, k} - H_{{\rm{IR}}}^{l, k} \hfill \\ {\rm{V}}{{\rm{L}}_{{\rm{new}}}} = {L_{{\rm{IR}}}} - {L_{{\rm{VI}}}} \hfill \\ {\rm{VH}}_{{\rm{new}}}^{l, k} = H_{{\rm{IR}}}^{l, k} - H_{{\rm{VI}}}^{l, k} \hfill \end{array} \right. $$ (23) 式中：使用融合的灰度系数作为新的Y分量，使最终结果具有更多的纹理细节。使用红外和可见光图像的差作为新的U和V，模拟了人眼的颜色对抗原理。颜色传递的表达式如下：
$$ \left\{ \begin{array}{l} {\rm{P}}{{\rm{L}}_{{\rm{new}}, {\rm{F}}}} = \frac{{{\sigma _{{\rm{P}}{{\rm{L}}_{\rm{R}}}}}}}{{{\sigma _{{\rm{P}}{{\rm{L}}_{{\rm{new}}}}}}}}\left( {{{P}}{{{L}}_{{\rm{new}}}} - {\mu _{{\rm{P}}{{\rm{L}}_{{\rm{new}}}}}}} \right) + \\ \;\;\;\;\;\;\;\;\;\; {\mu _{{\rm{P}}{{\rm{L}}_{\rm{R}}}}} \\ {\rm{PH}}_{{\rm{new}}, {\rm{F}}}^{l, k} = \frac{{{\sigma _{{\rm{PH}}_{\rm{R}}^{l, k}}}}}{{{\sigma _{{\rm{PH}}_{{\rm{new}}}^{l, k}}}}}\left( {{\rm{PH}}_{{\rm{new}}}^{l, k} - {\mu _{{\rm{PH}}_{{\rm{new}}}^{l, k}}}} \right) + \\ \;\;\;\;\;\;\;\;\;\;{\mu _{{\rm{PH}}_{\rm{R}}^{l, k}}} \end{array} \right. $$ (24) 式中：P＝Y, U, V。σ和μ表示标准差和均值。各个分量可以从步骤2和式(23)获得。最后将式(24)的结果进行NSST重构得到Ynew, F、Unew, F和Vnew, F。
④ 将Ynew, F、Unew, F和Vnew, F转换到RGB空间得到最终的伪彩色融合图像RGBF。
3. 实验结果与分析
为了验证所提方法有效性，选取七种经典的方法进行比较。其中包括文献[26]提到的4种方法：LP、RP、DTCWT和NSCT，文献[27]的LatLRR方法、文献[28]的DCHWT方法和文献[29]的Hybrid-MSD方法。选择TNO数据集[30]中的2组图像进行实验，其中的图像经过严格配准，2组图像分别记为：Movie_18和Nato_camp。
实验平台为搭载Windows 11操作系统的笔记本电脑，CPU是11th Gen Intel(R) Core(TM) i5-11400H@ 2.70 GHz 2.69 GHz，16 GB内存，512GB固态硬盘。软件环境为MATLAB R2021b。
图像的大小全部调整为200×200像素，本文算法中源图像的灰度范围全部归一化到[0, 1]区间内，最后的融合结果像素值的范围调整为[0, 255]。
NSST采用4层分解，滤波器为“maxflat”，方向分解数为[8,8,16,16]。暗通道去雾的参数ω为0.95，窗口大小为7×7。暗通道去雾中引导滤波器参数半径r＝0.01和正则化数ε＝0.01。同态滤波器D0取50，rH取0.8，rL取0.5。n取1，c取0.5。其余参数设置已在上文中给出，融合结果如图 4~5所示。伪彩色的融合结果如图 6所示。本文结合主客观评价对融合结果进行分析。
3.1 主观评价
从图 4~5可以看出所有方法都实现了图像融合。从人眼视觉最直观的感受来说，本文方法比其他方法的图像清晰度和对比度高。其他方法所呈现的融合结果看起来不够清晰，像是笼罩了一层薄薄的雾气，这是由于拍摄时受到天气条件和相机固有属性的影响。通过去雾算法和同态滤波，增强了源图像的清晰度和对比度。在图 4(j)中车子的轮廓更清楚具备更多的细节。在图 5(j)中窗户位置包含了两部分，而其他方法只显示了可见光图像中的窗户位置，树木及草丛本文方法也具备更多的细节。
图 6展示了本文所用方法的伪彩色图像，参考图像1为iPhone 7拍摄的图像，其余3幅参考图像均选自TNO数据集。参考图像只需要与融合图像相似即可，不需要完全相同。从图中可以看出，经过染色后的融合图像与参考图像具有相似的颜色。在式(23)中源图像也参与了颜色传递，所以伪彩色图像具有更多的纹理细节。相比于灰度图像，丰富的颜色进一步增强了人眼的态势感知能力。
综上分析，本文提出的融合算法取得了优于对比算法的结果，在这一基础之上又引入了多分辨率颜色传递算法，进一步增强了融合结果的观察效果。
3.2 客观评价
为了客观公正地评价融合结果，本文选择5种经典的指标对融合结果进行评判。这5种指标分别为：信息熵（information entropy, IE）[31]、空间频率（spatial frequency, SF）[31]、互信息（mutual information, MI）[31]、平均梯度（average gradient, AG）[31]和标准差（standard deviation, SD）[31]。文献[31]指出，这5种评价指标全部为数值越大代表融合效果越好。评价指标如表 1~2所示。对于指标中的最优结果使用粗体突出显示。
表 1 Movie_18客观评价结果Table 1. Objective evaluation results of Movie_18Methods IE SF MI AG SD LP 5.9545 8.3646 1.7206 3.0967 17.9892 RP 5.7520 9.0084 1.5003 3.1423 16.3032 DTCWT 5.6640 7.8037 1.6294 2.8594 14.5863 NSCT 5.8977 8.2244 1.6706 3.0956 17.1809 LatLRR 5.7567 5.6675 1.8386 2.1204 15.8572 DCHWT 5.5755 6.6402 1.6596 2.4455 15.0237 Hybrid_MSD 6.2333 9.2791 2.3197 3.3676 21.1429 Proposed 7.5234 14.5618 3.7738 5.3200 61.9098 表 2 Nato_camp评价结果Table 2. Objective evaluation results of Nato_campMethods IE SF MI AG SD LP 6.5428 13.3161 1.8429 5.4627 27.1921 RP 6.4695 14.4194 1.7099 5.7463 26.5474 DTCWT 6.3798 12.3317 1.7946 4.9284 24.8110 NSCT 6.5779 13.0485 1.8503 5.4635 27.4312 LatLRR 6.6512 10.6986 1.9514 4.6828 30.8389 DCHWT 6.3150 10.4244 1.7259 4.2937 24.4684 Hybrid_MSD 6.6957 14.7813 2.1097 5.8705 28.2485 Proposed 7.1799 17.6869 1.9848 7.4426 37.9646 从表 1中可以看出在5种指标中本文的方法都取得了最优的结果，说明该幅图像均包含源图像中丰富的互补信息。并且，所有的指标远远超过经典方法中最好的结果。在表 2中除了MI指标，本文方法均取得了最优结果。
综合考虑主观与客观评价，本文提出的方法能够融合出清晰度更高、对比度更强和纹理细节更丰富的融合图像。虽然有的指标不是最优结果，但是人眼的主观感受要好于其他方法。主观与客观相结合验证了所提方法的有效性和优越性。
4. 结论
本文选择NSST作为分解工具，提出了一种基于全局能量特征与改进PCNN的红外与可见光图像融合。首先，对图像进行预处理增强源图像的清晰度和对比度。然后，使用NSST分解图像，低频融合规则采用全局能量特征与改进的空间频率自适应权重相结合完成低频系数融合，避免了融合图像因简单的加权平均融合规则造成的可见光图像纹理细节丢失和对比度下降的问题。为了保留更多的高频细节，使用纹理能量作为PA-PCNN输入，避免了振铃效应的产生，且纹理能量的计算涉及了均值滤波使高频融合规则具有一定的抗噪声能力。最后，通过NSST反变换得到融合的灰度图像。选取7种经典算法，在公共数据集上进行对比实验，实验结果表明：在主观评价和客观评价方面，本文提出的方法优于其他7种方法，融合图像纹理细节丰富，清晰度和对比度都得到了提高，验证了本文方法优越性和有效性。在灰度融合图像的基础上，使用多分辨率颜色传递技术实现了融合图像的伪彩色显示，进一步增强人眼的感知效果。
-
![]()
图 3 本文提出的全局能量特征提取算法
Figure 3. The global energy feature extraction algorithm proposed in this paper
表 1 Movie_18客观评价结果
Table 1 Objective evaluation results of Movie_18
Methods IE SF MI AG SD LP 5.9545 8.3646 1.7206 3.0967 17.9892 RP 5.7520 9.0084 1.5003 3.1423 16.3032 DTCWT 5.6640 7.8037 1.6294 2.8594 14.5863 NSCT 5.8977 8.2244 1.6706 3.0956 17.1809 LatLRR 5.7567 5.6675 1.8386 2.1204 15.8572 DCHWT 5.5755 6.6402 1.6596 2.4455 15.0237 Hybrid_MSD 6.2333 9.2791 2.3197 3.3676 21.1429 Proposed 7.5234 14.5618 3.7738 5.3200 61.9098 
下载: 导出CSV
表 2 Nato_camp评价结果
Table 2 Objective evaluation results of Nato_camp
Methods IE SF MI AG SD LP 6.5428 13.3161 1.8429 5.4627 27.1921 RP 6.4695 14.4194 1.7099 5.7463 26.5474 DTCWT 6.3798 12.3317 1.7946 4.9284 24.8110 NSCT 6.5779 13.0485 1.8503 5.4635 27.4312 LatLRR 6.6512 10.6986 1.9514 4.6828 30.8389 DCHWT 6.3150 10.4244 1.7259 4.2937 24.4684 Hybrid_MSD 6.6957 14.7813 2.1097 5.8705 28.2485 Proposed 7.1799 17.6869 1.9848 7.4426 37.9646
下载: 导出CSV
-
[1] GONG J, WANG B, LIN Q, et al. Image fusion method based on improved NSCT transform and PCNN model[C]// 2016 9th International Symposium on Computational Intelligence and Design (ISCID) of IEEE, 2016, 1: 28-31.
[2] LI J, LI B, JIANG Y. An infrared and visible image fusion algorithm based on LSWT-NSST[J]. IEEE Access, 2020, 8: 179857-179880. DOI: 10.1109/ACCESS.2020.3028088
[3] 沈英, 黄春红, 黄峰, 等. 红外与可见光图像融合技术的研究进展[J]. 红外与激光工程, 2021, 50(9): 20200467. doi: 10.3788/ IRLA20200467. SHEN Ying, HUANG Chunhong, HUANG Feng, et al. Research progress of infrared and visible image fusion technology[J]. Infrared and Laser Engineering, 2021, 50(9): 20200467. DOI: 10.3788/IRLA20200467.
[4] 李威, 李忠民. NSST域红外和可见光图像感知融合[J]. 激光与光电子学进展, 2021, 58(20): 2010014. . https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202120021.htm LI Wei, LI Zhongmin. NSST-bsed perception fusion method for infrared and visible images[J]. Laser & Optoelectronics Progress, 2021, 58(20): 2010014. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202120021.htm
[5] YU Z A, YU L B, PENG S C, et al. IFCNN: a general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011
[6] YU Z, BAI X, TAO W. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]. Information Fusion, 2017, 35: 81-101. DOI: 10.1016/j.inffus.2016.09.006
[7] MA J, WEI Y, LIANG P, et al. Fusion GAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[8] ZHAO Z, XU S, ZHANG C, et al. DIDFuse: deep image decomposition for infrared and visible image fusion[EB/OL] [2020]. https://ar5iv.labs.arxiv.org/html/2003.09210.
[9] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[10] YANG S, MIN W, JIAO L, et al. Image fusion based on a new contourlet packet[J]. Information Fusion, 2010, 11(2): 78-84. DOI: 10.1016/j.inffus.2009.05.001
[11] 杨孙运, 奚峥皓, 王汉东, 等. 基于NSCT和最小化-局部平均梯度的图像融合[J]. 红外技术, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6 YANG Sunyun, XI Zhenghao, WANG Handong, et al. Image fusion based on NSCT and minimum-local mean gradient[J]. Infrared Technology, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6
[12] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805 YE Kuntao, LI Wen, SHU Leilei, et al. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]. Infrared Technology, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805
[13] LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004
[14] Johnson J L. Pulse-coupled neural nets: translation, rotation, scale, distortion, and intensity signal invariance for images[J]. Applied Optics, 1994, 33(26): 6239-6253. DOI: 10.1364/AO.33.006239
[15] Eckhorn R, Reitboeck H, Arndt M, et al. Feature linking via synchronization among distributed assemblies: simulations of results from cat visual cortex[J]. Neural Computation, 2014, 2(3): 293-307.
[16] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 68(1): 49-64.
[17] 高红霞, 魏涛. 改进PCNN与平均能量对比度的图像融合算法[J]. 红外与激光工程, 2022, 51(4): 20210996. doi: 10.3788/IRLA20210996. GAO Hongxia, WEI Tao. Image fusion algorithm based on improved PCNN and average energy contrast[J]. Infrared and Laser Engineering, 2022, 51(4): 20210996. DOI: 10.3788/IRLA20210996
[18] 黄陈建, 戴文战. 基于PCNN图像分割的医学图像融合算法[J]. 光电子⋅激光, 2022, 33(1): 37-44. https: HUANG Chenjian, DAI Wenzhan. Medical image fusion algorithm based on PCNN image segmentation[J]. Journal of Opto-electronics·Laser, 2022, 33(1): 37-44. https:
[19] 李致金, 顾鹏, 钱百青. 基于参数自适应PCNN和卷积稀疏的多聚焦图像融合[J]. 太赫兹科学与电子信息学报, 2021, 19(3): 471-477. https://www.cnki.com.cn/Article/CJFDTOTAL-XXYD202103020.htm LI Zhijin, GU Peng, QIAN Baiqing. Multi-focus image fusion based on parameter adaptive and convolutional sparse representation[J]. Journal of Terahertz Science and Electronic Information Technology, 2021, 19(3): 471-477. https://www.cnki.com.cn/Article/CJFDTOTAL-XXYD202103020.htm
[20] HE K, JIAN S, Fellow, et al. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2341-2353.
[21] 冯相辉. 一种改进的同态滤波图像增强算法[J]. 重庆邮电大学学报(自然科学版), 2020, 32(1): 138-145. https://www.cnki.com.cn/Article/CJFDTOTAL-CASH202001017.htm FENG Xianghui. An improved homomorphic filtering image enhancement algorithm[J]. Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition), 2020, 32(1): 138-145. https://www.cnki.com.cn/Article/CJFDTOTAL-CASH202001017.htm
[22] Ganasala P, Prasad A D. Functional and Anatomical Image Fusion based on Texture Energy Measures in NSST Domain[C]// 2020 First International Conference on Power, Control and Computing Technologies (ICPC2T) of IEEE, 2020: 417-420.
[23] YU X, REN J, CHEN Q, et al. A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(20): 6010-6016. DOI: 10.1016/j.ijleo.2014.07.059
[24] CHEN Y, Park S K, MA Y, et al. A new automatic parameter setting method of a simplified PCNN for image segmentation[J]. IEEE Transactions on Neural Networks, 2011, 22(6): 880-892. DOI: 10.1109/TNN.2011.2128880
[25] Toet A, Franken E M. Perceptual evaluation of different image fusion schemes[J]. Displays, 2003, 24(1): 25-37. DOI: 10.1016/S0141-9382(02)00069-0
[26] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[27] LI H, WU X J. Infrared and visible image fusion using latent low-rank representation[J/OL]. arXiv preprint arXiv: 1804.08992, 2018.
[28] Kumar B. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]. Signal, Image & Video Processing, 2013, 7: 1125-1143.
[29] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26. DOI: 10.1016/j.inffus.2015.11.003
[30] Alexander T. TNO Image Fusion Dataset[EB/OL]. [2014-04-26]. https://www.semanticscholar.org/paper/TNO-Image-Fusion-Dataset-Alexander/fcdfecf97c55db0a431788d01e8ef2b18be144612014. (DOI: 10.6084/M9.FIGSHARE.1008029.Ⅵ).
[31] 张小利, 李雄飞, 李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报, 2014, 40(2): 306-315. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201402014.htm ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]. Acta Automatica Sinica, 2014, 40(2): 306-315. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201402014.htm
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 100
- HTML全文浏览量: 18
- PDF下载量: 33
- 被引次数: 1
