结合信息感知与多尺度特征的红外与可见光图像融合

曲海成, 胡倩倩, 张雪聪

曲海成, 胡倩倩, 张雪聪. 结合信息感知与多尺度特征的红外与可见光图像融合[J]. 红外技术, 2023, 45(7): 685-695.
引用本文: 曲海成, 胡倩倩, 张雪聪. 结合信息感知与多尺度特征的红外与可见光图像融合[J]. 红外技术, 2023, 45(7): 685-695.
QU Haicheng, HU Qianqian, ZHANG Xuecong. Infrared and Visible Image Fusion Combining Information Perception and Multiscale Features[J]. Infrared Technology , 2023, 45(7): 685-695.
Citation: QU Haicheng, HU Qianqian, ZHANG Xuecong. Infrared and Visible Image Fusion Combining Information Perception and Multiscale Features[J]. Infrared Technology , 2023, 45(7): 685-695.

结合信息感知与多尺度特征的红外与可见光图像融合

基金项目: 

辽宁省教育厅一般项目 LJ2019JL010

辽宁工程技术大学学科创新团队资助项目 LNTU20TD-23

详细信息
    作者简介:

    曲海成(1981-),男,博士,副教授,主要研究方向:图像与智能信息处理。E-mail:quhaicheng@lntu.edu.cn

  • 中图分类号: TP391

Infrared and Visible Image Fusion Combining Information Perception and Multiscale Features

  • 摘要:

    现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明:与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。

    Abstract:

    Existing image fusion algorithms based on deep learning are unable to satisfy the demands of computational efficiency and fusion effect. Most have also adopted a fusion strategy based on a single-scale model, which cannot effectively extract the contextual information in images. This study proposes an end-to-end image fusion network based on information perception and multiscale features. The network consists of an encoder, a fusion strategy, and decoder. Specifically, the multiscale features of the infrared and visible images were extracted by the encoder, and a feature complementary enhancement module was designed to fuse different modal multiscale features. Finally, the lightweight decoder was designed to combine the low-level details and high-level semantic information. In addition, the information entropy of the source image was used to construct an information-sensing loss function to train the fusion network and generate the fused image with rich information. The proposed fusion framework was evaluated on the TNO and MSRS datasets. The results show that compared with existing fusion methods, the proposed network was superior to other methods in terms of both subjective visual description and objective index evaluation, with higher computational efficiency.

    前言

    多源图像融合能最大限度地综合各信道有利信息,在计算机视觉、军事遥感、医学图像处理等领域发挥着重要作用。近年来,在以混合型融合算法为代表的智能化浪潮推动下,多源图像融合领域取得了长足的发展和进步。基于此,《红外技术》面向研究人员推出“多源图像融合专栏”,力图展示多源图像融合技术的最新研究成果,为从事相关研究的读者提供参考。

    通过广泛征集和严格评审,本期专栏收录了来自西安工业大学、中国石油大学等从事多源图像融合团队的7篇论文。论文内容既有对红外与可见光图像融合等热门方向的研究,也有面向全色与多光谱图像融合、夜视抗晕光针对性融合、无人机目标检测自适应融合等最新应用技术的研究。

    然而,图像特征的差异性、探测环境的复杂性、应用场景的多样性等都对多源图像融合技术的发展和应用提出了更严峻的挑战。本期专栏只是一个起点,希望能够启发广大读者做出更多更精彩的研究。

    最后,感谢各位审稿专家和编辑的辛勤工作。

    ——杨风暴

  • 地球上海洋面积广阔且具有丰富的资源,如今随着经济的发展,每个国家对资源的需求不断增长,然而相比海洋资源,陆地上的资源随着人类大量开采而不断减少,因此,扩大对海洋资源的开发利用是未来人类发展的方向。不同于陆地环境,海洋环境存在着许多复杂的问题,在海洋环境下成像问题是最基础的问题同时也是最大的问题,这直接影响着是否能够探索到海洋资源。通常直接获取的水下图像会出现严重的噪声干扰、颜色衰退、图像信息的丢失等问题,这直接造成无法提取到有用的信息,无法进行后续工作的开展,因此进行水下图像增强具有重要的意义。

    水下图像增强一直是当前很多专家学者研究的方向。2018年,Mishra等[1]对CLAHE进行了改进并应用于水下图像增强,这种方法在很大程度上将水下图像的对比度得到提高,但是经过这种方法处理过的水下图像会出现部分细节模糊的现象。2019年,Sun等人[2]提出了一种暗通道先验结合MSRCR水下图像增强算法,该算法有效地解决了低照度水下图像颜色衰退的问题,但是增强后的图像会出现雾化的问题。2020年,Wang等人[3]提出了一种低照度多尺度Retinex水下图像增强算法。该方法可以有效避免图像在输出时产生光影,并且可以解决水下图像不清晰、对比度较差等问题。但是,实验结果表明水下图像在图像颜色衰退部分还是有待改进。同年,Dhanya等人[4]提出L-CLAHE增强滤波图像算法,该算法由L-CLAHE、增强和滤波三个模块组成。L-CLAHE模块的输出经过Gamma校正、直方图均衡化和双边滤波等强化和滤波阶段处理,结果表明,输出图像对比度得到改善,但是图像局部边缘细节视觉效果差。2021年,朱佳琦等人[5]提出一种红通道先验与CLAHE融合的水下增强算法,该算法首先利用红通道先验理论计算出预估透射率,然后在CLAHE算法增强图像前加入Gamma校正,实验结果表明,图像整体对比度得到改善,但是图像局部对比度差距较小时增强效果较差。范新南等人[6]提出一种MSRCR与多尺度融合的水下图像增强算法,该算法首先将图像进行色偏校正并转换到Lab颜色空间对亮度分量进行增强,然后对MSRCR色彩校正图像和Lab空间亮度分量进行多尺度分解并融合,增强后的水下图像色彩丰富,但是图像对比度没有得到有效改善。张薇等人[7]提出基于白平衡和相对全变分的低照度水下图像增强,算法采用灰度世界先验校正水下图像颜色,依据引导滤波的保边平滑性构造新的相对全变分约束来估计照度图,水下图像的颜色得到了校正,但是图像雾化严重对比度低,同时部分水下图像颜色容易校正过度。

    针对图像颜色衰退和图像结构复杂会导致局部区域过度增强色彩不真实和对比度低边缘细节模糊的问题,本文针对水下图像颜色衰退的问题提出用融合导向滤波的MSRCR算法,针对水下图像对比度低的问题提出融合Gamma校正的CLAHE算法,同时针对水下图像边缘细节模糊采用多尺度融合来增强图像中的边缘细节信息。最后通过对比实验,以验证本文所提出方法的有效性。

    多尺度Retinex(MSR)[8]在水下图像增强中通常会出现图像颜色衰退严重,噪声没有得到抑制,引起增强后的图像整体视觉效果不佳。Jobson等[9]提出的带色彩恢复因子的MSR算法(MSRCR)可以有效地解决图像颜色失真的问题,MSRCR的计算公式如下:

    $$ {R_{{\text{MSRCR}}}}(x, y) = {C_i}(x, y)\sum\limits_{n = 1}^N {{\omega _n}} \{ \ln I(x, y) - \ln [I(x, y)*{G_n}(x, y)]\} $$ (1)

    式中:I(x, y)为输入图像;Ci(x, y)表示图像第i个通道的颜色恢复参数,用来调节不同颜色通道之间的比例关系;N表示尺度数目,通常为3;ωn为第n个尺度的加权系数;Gn(x, y)为高斯滤波函数。

    高斯滤波通常易产生图像被过度光滑,导致图像缺乏边缘细节。针对此问题,本文在MSRCR中采用导向滤波[10]代替高斯低通滤波,以有效解决水下图像颜色失真的问题和MSRCR算法增强水下图像时易造成边缘细节丢失的问题。

    导向滤波的基本原理为对于输出图像和导向图在滤波窗口存在局部线性关系,其公式如下:

    $$ \begin{gathered} {q_i} = {p_i} - {n_i} \hfill \\ {q_i} = {a_k}{I_i} + {b_k}, \forall i \in {\omega _k} \hfill \\ \end{gathered} $$ (2)

    式中:pi为输入图像;Ii为导向图;qi为输出图像;ni为噪声;ak, bk为局部线性函数系数;ωk为滤波窗口。

    对于在确定的窗口ωk中,ak, bk将会是唯一的常量系数,这就保证了在局部区域里,如果导向图Ii有一个边缘的时候,输出图像qi也保持边缘不变。因此只要求得了系数ak, bk也就得到了输出图像qi。为使得输入图像和输出图像的差别特别小,而且还可以保持局部线性模型,利用带正则项的岭回归计算滤波窗口内的损失函数E(ak, bk),计算过程如下:

    $$ E({a_k}, {b_k}) = \sum\limits_{i \in {\omega _k}}^{} {({{({a_k}{I_i} + {b_k} - {p_i})}^2} + \varepsilon {a_k}^2)} $$ (3)
    $$ \begin{gathered} {a_k} = \frac{{\frac{1}{{|\omega |}}\sum\limits_{i \in {\omega _k}}^{} {{I_i}{p_i} - {\mu _k}{{\overline p }_k}} }}{{{\sigma _k}^2 + \varepsilon }}, \quad {b_k} = {\overline p _k} - {a_k}{\mu _k} \hfill \\ {q_i} = \frac{1}{{|\omega |}}\sum\limits_{k|i \in {\omega _k}}^{} {({a_k}{I_i} + {b_k})} \hfill \\ \end{gathered} $$ (4)

    式中:μk, σk2分别是导向图在ωk窗口大小的均值与方差;ε为正则化参数;|ω|表示窗口内像素总数$\overline {{p_k}} = \frac{1}{{|\omega |}}\sum\limits_{i \in {\omega _k}}^{} {{p_i}} $表示在ωk窗口内输入图像的像素均值。

    使用线性相关参数(ak, bk),滤波输出图像就可以通过qiakIi+bk线性模型得到。针对不同的窗口大小我们就会得到不同的导向滤波输出图像qi值。

    本文在MSRCR算法中用导向滤波函数代替高斯低通滤波函数,具体计算如下:

    $$ {R^*}_{{\text{MSRCR}}}(x, y) = {C_i}(x, y)\sum\limits_{n = 1}^N {{\omega _n}} \{ \ln I(x, y) - \ln [I(x, y)*D(x, y)]\} $$ (5)

    式中:RMSRCR*(x, y)表示改进的MSRCR算法输出图像;D(x, y)为导向滤波函数。

    图 1(a)为水下拍摄的原图,图像整体呈现出颜色失真的状态;图 1(b)为经过MSR处理后的图像,图像对比度有所提高,但是颜色矫正不佳,出现了色偏;图 1(c)为经过MSRCR处理后的图像,图像对比度明显提高,但是图像局部细节较为模糊;图 1(d)为改进的MSRCR处理后的图像相较于图 1(c)图像边缘细节清晰。

    图  1  不同MSR的处理结果
    Figure  1.  Processing results of different MSR

    图 2(a)为经过MSRCR处理后选取局部区域放大后的图像,图 2(b)为经过改进MSRCR处理后选取局部区域放大后的图像。对比可得,图 2(b)的边缘细节更加清晰,改进后的MSRCR算法解决了MSRCR算法增强图像带来的部分边缘细节模糊的问题。

    图  2  局部细节图
    Figure  2.  Local diagrams in details

    常用的对比度增强算法[11-13]有HE(Histogram Equalization)、AHE(Adaptive Histogram Equalization)、CLAHE。HE算法主要是用来对图像的整体对比度进行增强,适用于图像的背景和前景接近的情况下。但是该方法在对较暗的区域均衡处理后由于亮度被拉得太高而出现噪点,并最终弱化了图像细节。AHE算法是在HE算法的基础上,将图像划分为几块分别处理,这样有利于处理图像数据的局部细节。但是该算法的复杂度较高,降低了图像的处理效率,同时图像块与块之间的过渡处理欠佳。CLAHE算法是在AHE算法的基础上进行改进,通过加入阈值对图像噪声进行抑制,同时通过使用线性插值的方法对图像区域块连接处进行优化,使图像整体变得平滑。但是CLAHE算法只提高了图像的对比度,然而并没有对图像的边缘细节信息进行增强。

    综上,本文在CLAHE算法中引入Gamma校正[14],在图像经过CLAHE处理前、后都加入Gamma校正,以增强图像整体对比度同时提高图像局部对比度,尤其对于相邻区域之间相差较小时增强效果明显。具体步骤如下所示:

    1)对图像进行Gamma校正并将图像分割成连续,非重叠的M×N的区域块,每个区域块含有的像素为n,区域块的大小与图像对比度的增强有着紧密的联系,区域块越大图像对比度增强越大,但是图像细节信息丢失的越多。

    2)获取每个区域块的直方图,根据每个区域块的直方图分布规律计算裁剪幅值T

    $$ T = {C_{{\text{clip}}}} \times \frac{{{N_x} \times {N_y}}}{H} $$ (6)

    式中:Cclip是裁剪系数;Nx, Ny为在每个子块x, y方向上的像素个数;H为灰度级数。

    3)计算出图像区域块的分布直方图并设置阈值,将高于阈值的直方图部分进行切除,同时将该部分平均分布在直方图的下方,如图 3所示。

    图  3  CLAHE算法直方图变换过程
    Figure  3.  Histogram transformation process of CLAHE algorithm

    4)在重新分配后的直方图上,对每个区域块进行直方图均衡化,同时对区域块的位置进行像素重构。

    5)对图像进行Gamma校正。如式(7)所示,当γ<1时,如果图像区域块输入灰度值低,那么图像区域块输出灰度值变化将变大,图像对比度将会增强;如果图像区域块输入灰度值高,那么图像区域块输出灰度值变化将变小,图像对比度将会降低。当γ>1时,如果图像区域块输入灰度值低,那么图像区域块输出灰度值变化将变小,图像对比度将会降低;如果图像区域块输入灰度值高,那么图像区域块输出灰度值变化将变大,图像对比度将会增强。

    $$ s = c{\left( {r + \varepsilon } \right)^\gamma } $$ (7)

    式中:cε为常量;γ为Gamma校正参数,该参数决定校正效果;r为输入灰度级;s为输出灰度级。

    图 4是对图 1(d)所示的水下图像运用不同对比度增强算法得到结果。

    图  4  不同直方图均衡算法的处理结果
    Figure  4.  Processing results of different histogram equalization algorithms

    图 4可以看出,图 4(a)是HE算法处理后的图像,易看出图像对比度增强过度,许多不重要的背景噪声同时也被增强,图像部分细节没有得到增强反而变得模糊不清;图 4(b)是AHE算法处理后的图像,易看出图像块与块之间没有做过渡处理并且出现图像背景噪声被过度增强;图 4(c)是CLAHE算法处理后的图像,易看出图像整体对比度得到了改善,背景噪声没有出现增强过度,但是图像局部对比度增强不足,部分细节不清晰;图 4(d)是改进的CLAHE算法处理后的图像,该算法有效地增强了图像整体对比度的同时也增强了图像局部对比度。

    图像融合通常的做法就是对不同图像赋予不同的值,然后通过叠加得到最终的结果图,但是这种做法往往会出现图像细节不清晰,图像出现重影晕环。为了解决这个问题,本文采用多尺度图像金字塔来融合图像,多尺度图像融合指的是图像在不同尺度下进行融合,通常情况下在单一尺度很难获取图像特征然而在另外一种尺度下就很容易获取,为了极大可能地保留图像结构特征,采用多尺度图像融合是一种较好的方式之一。

    单一的图像权重[15]不能完整地反映图像各个基本特征。因此,要想完整地反映图像各个基本特征需要融合多个图像权重,本文选取了拉普拉斯对比度权重、亮度权重、饱和度权重、显著性权重。

    拉普拉斯对比度权重可以清楚地显示出图像的边缘特征信息,通过使用拉普拉斯滤波器可以得到图像的全局对比度,这样可以保证图像的边缘和纹理具有较高的值。亮度权重负责为具有良好可见性的像素分配高值,该权重图是通过观察输入的R、G、B三通道与亮度通道L(给定位置的像素强度的平均值)之间的偏差来计算;显著性权重为了突出显示水下图像具有更高显著性的区域,可以通过输入的平均值减去其高斯平滑后得到结果。饱和度权重用于调整图像中的饱和区域,以获得饱和度均匀的融合图像。归一化权重是对上述权重进行归一化处理。

    图 5分别是颜色校正图像,颜色校正图像的拉普拉斯对比度、亮度、饱和度、显著性权重图以及归一化权重图。图 6分别是对比度增强图像,对比度增强图像的拉普拉斯对比度、亮度、饱和度、显著性权重图以及归一化权重图。

    图  5  颜色增强图像的权重图
    Figure  5.  Weight diagram of color enhanced images
    图  6  对比度增强图像的权重图
    Figure  6.  Weight diagram of contrast enhanced image

    图像金字塔技术是以不同角度展示图像细节的一种方式,高斯图像金字塔和拉普拉斯图像金字塔是最常见的图像金字塔技术,通常会结合这两种技术综合使用。对颜色校正图像和对比度增强图像的归一化权重图进行高斯金字塔分解,得到不同尺度的权重图;对颜色校正图像和对比度增强图像采用拉普拉斯金字塔分解,得到不同尺度的图像,最后将不同尺度的图像进行重建,得到最终的增强图。

    高斯图像金字塔可以保持图像的结构纹理信息,首先会对图像进行高斯滤波并且进行连续下采样,从而得到多种分辨率的图像。

    $$ \begin{gathered} {G_l}(i, j) = \sum\limits_{m = - 2}^2 {\sum\limits_{n = - 2}^2 {\omega (m, n){G_{l - 1}}(2i + m, 2j + n)} } \hfill \\ (1 \leqslant L \leqslant N, 1 \leqslant i \leqslant {R_L}, 1 \leqslant j \leqslant {C_L}) \hfill \\ \end{gathered} $$ (8)

    式中:N表示图像金字塔不同的层数;RL, CL表示第L层输入图像的行和列;ω(m, n)表示高斯核函数。

    拉普拉斯金字塔是用来重新构造出一幅图像,通过高斯金字塔得到的不同分辨率的图像,然后将每一层与上一层进行作差,同时进行上采样并且做高斯卷积,最终会得到不同的差值图像,通常称这些差值图像为拉普拉斯图像金字塔。

    $$ {L_l} = {K_l} - {\text{Up}}({\text{Down}}({K_l})) $$ (9)

    式中:Kl为原始输入图像;Ll为拉普拉斯金字塔分解图像;Up, Down分别为向上采样,向下采样。

    多尺度金字塔融合计算公式为:

    $$ \begin{gathered} {F_l}(x) = \sum\limits_k^{} {{G_l}[{{\overline W }_k}(x)]{L_l}[{I_k}(x)]} \hfill \\ F(x) = \sum\limits_l {{F_l}(x){ \uparrow ^d}} \hfill \\ \end{gathered} $$ (10)

    式中:l为金字塔的不同层数;k为输入图像金字塔的索引;Gl为高斯金字塔的分解;L为拉普拉斯金字塔的分解;${\bar W_k}$表示权重值归一化;Ik表示输入图像;Fl(x)为多尺度融合图像;F(x)为最后的融合结果;↑d表示该过程采用上采样方式。

    本文针对水下图像颜色衰退严重、对比度低及细节特征模糊等问题,提出一种改进的MSRCR与CLAHE多尺度融合的图像增强算法。图 7为多尺度图像融合的原理图及最终效果图,其中图 7(a)为水下图像经过颜色校正和对比度校正后的高斯金字塔图像和拉普拉斯图像,图 7(b)为水下图像经过颜色校正和对比度校正多尺度融合后的图像。为图 8为本文算法流程图,该算法首先将采集到的水下图像运用带导向滤波的MSRCR算法进行颜色校正;同时将颜色校正后的图像运用带有Gamma校正的CLAHE算法增强图像对比度;最后对经过颜色校正和对比度增强的水下图像进行多尺度图像融合得到最终水下增强图像。

    图  7  图像多尺度融合
    Figure  7.  Image multi-scale fusion and reconstruction
    图  8  本文算法流程
    Figure  8.  Algorithm flow chart of this paper

    实验的硬件系统为CPU i7-10875H,16GB DDR4;软件仿真环境是Matlab2016a,Win10操作系统。为了求证本文算法的可行性,将本文算法和文献[3]、文献[7]、文献[13]、文献[16]的算法进行对比,同时从主观和客观方面进行对比分析。

    本文实验选择10种不同水下环境下的图像进行对比仿真实验,处理结果如图 9所示。

    图  9  10种不同图像增强算法处理结果
    Figure  9.  Results of ten different image enhancement algorithms

    图 9中可以看出,文献[3]算法整体上对图像细节清晰度和对比度有一定的提升,但是没有解决水下图像颜色衰退的问题;文献[7]算法增强后的水下图像颜色校正明显,但是对于偏蓝色的水下场景并没有很好的校正,并且图像对比度低,图像细节模糊;文献[13]算法基本解决了水下图像颜色衰退的问题,图像细节和对比度同时也得到了提升,但是对于偏蓝色的水下场景颜色校正效果差(如Picture 10);文献[16]算法整体上图像对比度提升明显,图像细节较为清晰,但是颜色校正效果稍显不足(如Picture 2,Picture 4,Picture 8);本文算法整体上解决了不同水下环境的颜色衰退问题,对比度大幅度的提高,图像局部细节清晰明显,符合自然光照下的图像。

    本文采用3种性能指标来评估水下图像质量,即PSNR、SSIM和UIQE[17-18]。PSNR是基于对应像素点间的误差计算,主要计算最大值信号与背景噪声之间的比值,其数值越大则表示失真越小,其计算公式为:

    $$ {\text{MSE}} = \frac{1}{{H*W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {(X(i, j)} - Y(i, j){)^2}} $$
    $$ {\text{PSNR}} = 10\lg (\frac{{{{({2^n} - 1)}^2}}}{{{\text{MSE}}}}) $$ (11)

    式中:MSE表示图像的均方误差;HW表示图像的宽,高;n表示图像像素的比特数。

    SSIM是衡量两幅图像相似度的指标,其计算公式为:

    $$ {\text{SSIM}} = \frac{{(2{x_1}{x_2} + {C_1})(2{y_{1, 2}} + {C_2})}}{{({x_1}^2 + {x_2}^2 + {C_1})({y_1}^2 + {y_2}^2 + {C_2})}} $$ (12)

    式中:x1y1表示输入图像的均值,标准差;y1y2表示增强后图像的均值,标准差;y1, 2表示输入图像和增强后图像的协方差;C1C2为常数。SSIM数值越大表示输入原图的结构损失越小。

    UIQE是专门用来评价水下图像质量的指标,通常对评价颜色保真度、对比度、清晰度3个分量根据水下环境微调不同的权重参数,3个权重参数的确定需要通过多元的线性回归计算,最后线性相加不同的分量得出最终指标。

    $$ {\text{UIQE}} = {c_1}*\alpha + {c_2}*\beta + {c_3}*\chi $$ (13)

    式中:c1c2c3是不同分量的权重;α表示颜色保真度的测量指标;β表示对比度测量指标;χ表示清晰度的测量指标。

    上述实验的客观评价数据如表 1~表 3

    表  1  不同算法PSNR性能比较
    Table  1.  PSNR performance comparison of different algorithms
    PNSR Original Reference[3] Reference[7] Reference[13] Reference[16] Ours
    Picture 1 - 13.8014 14.2261 16.3929 21.0436 24.2896
    Picture 2 - 6.2876 6.7461 6.2519 14.0142 18.9873
    Picture 3 - 15.9585 12.5442 13.0328 20.9045 22.3212
    Picture 4 - 7.3254 7.9521 8.1265 13.2158 19.9914
    Picture 5 - 12.9871 14.8561 15.8516 17.3258 20.5563
    Picture 6 - 15.6243 15.9985 16.2546 18.2319 24.7963
    Picture 7 - 11.8274 13.2873 14.7931 19.2291 19.9639
    Picture 8 - 10.2034 11.2544 15.2698 16.3245 19.3312
    Picture 9 - 14.5758 15.9152 18.3223 20.5513 24.3698
    Picture10 - 11.4522 12.3756 13.4851 16.6334 19.3497
    下载: 导出CSV 
    | 显示表格
    表  2  不同算法SSIM性能比较
    Table  2.  Performance comparison of different SSIM algorithms
    SSIM Original Reference[3] Reference[7] Reference[13] Reference[16] Ours
    Picture 1 - 0.5609+ 0.5943 0.8321 0.8384 0.9611
    Picture 2 - 0.5223 0.5081 0.6869 0.8612 0.8874
    Picture 3 - 0.6186 0.7926 0.8031 0.8299 0.9212
    Picture 4 - 0.5743 0.5178 0.8163 0.8752 0.9649
    Picture 5 - 0.7121 0.7963 0.8263 0.8998 0.9088
    Picture 6 - 0.6933 0.7432 0.7966 0.8364 0.8997
    Picture 7 - 0.6074 0.5927 0.6988 0.7411 0.8796
    Picture 8 - 0.5871 0.5988 0.6355 0.7843 0.8894
    Picture 9 - 0.6121 0.6028 0.7123 0.7652 0.9126
    Picture 10 - 0.5386 0.6103 0.7521 0.8419 0.8696
    下载: 导出CSV 
    | 显示表格
    表  3  不同算法UIQE性能比较
    Table  3.  UIQE performance comparison of different algorithms
    UIQE Original Reference[3] Reference[7] Reference[13] Reference[16] Ours
    Picture 1 2.6449 4.9242 4.6436 5.0271 3.6167 5.2238
    Picture 2 1.7252 4.0814 0.2696 3.9252 2.1831 4.9121
    Picture 3 1.9542 3.0251 1.3447 3.5738 2.2406 4.4633
    Picture 4 1.5241 4.5296 1.0328 4.2153 3.6574 5.9685
    Picture 5 1.7551 3.1221 3.0217 3.9746 4.9962 6.2312
    Picture 6 1.9978 2.2173 2.1179 4.5023 4.8785 6.0178
    Picture 7 1.2212 1.3258 2.3647 4.2589 4.5565 6.9872
    Picture 8 2.0121 2.2365 3.4562 4.2199 4.8456 5.5463
    Picture 9 2.7853 2.8742 3.9893 4.5631 4.7987 6.2971
    Picture 10 0.6721 2.9255 3.2372 3.4801 1.5899 3.6943
    下载: 导出CSV 
    | 显示表格

    表 1中可以看出本文算法的PSNR基本上高于其他文献算法的值,除了Picture 3的PSNR数值略低于CLAHE算法,然而PSNR的数值并不能完全代表图像的质量,所以要结合图像的主观比较结果,从图中可以清晰看出Picture 3的颜色校正过度,红色分量过多出现颜色偏差,因此结合主观视觉来看,PSNR指标还是最好的。从表 2中可以看出,本文算法的SSIM数值和其他算法相比是最优的,说明本文算法保留了更多的图像的原始信息。从表 3中,本文算法的UIQE数值远远大于其他算法数值,其中,UIQE的权重系数c1=0.0351,c2=0.3128,c3=3.5792,UIQE数值越大表明图像的颜色保真度、清晰度、对比度越佳。

    主观上,从图 8中不同图像增强后的结果可以看出,本文算法可以有效地解决不同环境下的水下图像共同存在的问题,呈现出优良的视觉效果;客观上,从表 1~3中可以看出本文算法的不同指标数值几乎是最优的。因此,本文算法可以从不同方向有效的增强水下图像。

    本文研究了水下图像增强几种具有代表性的算法。针对水下图像存在图像颜色衰退严重,对比度低,细节特征模糊等问题,提出了一种具有导向滤波的MSRCR算法,该算法解决了水下图像颜色衰退的问题同时又保留了图像边缘细节;提出了一种具有Gamma校正的CLAHE算法,该算法有效地增强了水下图像整体对比度的同时也增强了图像局部对比度;最后结合多尺度图像融合,将两种算法增强后的图像逐层提取融合,保留了大量的图像特征信息,最终增强后的水下图像有效地解决了图像颜色衰退严重,对比度低,细节特征模糊的问题。对比实验结果显示,本文算法在主客观方面优于其他几种经典的水下图像增强算法。

  • 图  1   MFF-Net整体框架

    Figure  1.   Overall framework of MFF-Net

    图  2   FEF网络结构

    Figure  2.   Architecture of FEF network

    图  3   ECA模块示意图

    Figure  3.   Diagram of ECA module

    图  4   解码器网络结构

    Figure  4.   Architecture of decoder network

    图  5   MSRS数据集中白天场景一融合结果

    Figure  5.   Fusion results of daytime scene 1 in MSRS dataset

    图  6   MSRS数据集中白天场景二融合结果

    Figure  6.   Fusion results of daytime scene 2 in MSRS dataset

    图  7   MSRS数据集中夜间场景一融合结果

    Figure  7.   Fusion results of nighttime scene 1 in MSRS dataset

    图  8   MSRS数据集中夜间场景二融合结果

    Figure  8.   Fusion results of nighttime scene 2 in MSRS dataset

    图  9   TNO数据集部分一融合结果图

    Figure  9.   The TNO dataset partially 1 fuses the result graph

    图  10   TNO数据集部分二融合结果图

    Figure  10.   The TNO dataset partially 2 fuses the result graph

    表  1   编码器网络整体结构

    Table  1   Overall structure of encoder network

    Layer Input k s Padding n1 n2 Activation function Output
    Encoder Conv0 64×64 1 1 - 1 16 ReLU 64×64
    Conv1 64×64 3 1 Reflect(1) 16 64 ReLU 64×64
    DCB-1 64×64 1 1 - 64 112 ReLU 32×32
    DCB-2 32×32 1 1 - 112 128 ReLU 16×16
    下载: 导出CSV

    表  2   解码器网络整体结构

    Table  2   Overall structure of decoder network

    Layer Input k s Padding n1 n2 Activation function Output
    Decoder Conv-5 16×16 3 1 Reflect(1) 128 128 - 16×16
    Conv-6 16×16 3 1 Reflect(1) 128 128 - 16×16
    Up1 16×16 1 1 - 128 112 - 32×32
    Up2 32×32 1 1 - 112 64 - 64×64
    Conv-7 32×32 3 1 Reflect(1) 112 112 - 32×32
    Conv-8 64×64 3 1 Reflect(1) 64 64 - 64×64
    Up3 16×16 1 1 - 128 112 - 32×32
    Up4 32×32 1 1 - 112 64 - 64×64
    Conv-9 64×64 3 1 Reflect(1) 64 1 Tanh 64×64
    下载: 导出CSV

    表  3   融合算法在MSRS数据集上的客观评价指标

    Table  3   Quantitative comparison of fused images on MSRS dataset

    Methods SD SF EN MI VIF SCD Qabf
    CBF 7.7880 0.0527 6.4528 2.3140 0.7053 1.1759 0.5543
    WLS 7.2165 0.0492 6.2557 2.3176 0.8327 1.4460 0.5983
    DenseFuse 7.4370 0.0236 5.9353 2.6540 0.7025 1.2507 0.3641
    RFN-Nest 7.7975 0.0242 6.1846 2.4534 0.7332 1.4696 0.3870
    FusionGAN 5.9594 0.0171 5.4369 1.8721 0.5001 0.9827 0.1394
    PIAFusion 8.3451 0.0451 6.5710 4.5837 0.9476 1.5964 0.6597
    NestFuse 8.2033 0.0372 6.4502 4.3981 0.9229 1.5210 0.6440
    MMF 8.4057 0.0475 6.6374 3.9909 1.0423 1.7012 0.6605
    下载: 导出CSV

    表  4   融合算法在TNO数据集上的客观评价指标

    Table  4   Quantitative comparison of fused images on TNO dataset

    Methods SD SF EN MI VIF SCD Qabf CPU Inference speed /s GPU Inference speed /ms
    CBF 8.9962 0.0563 6.9025 2.2250 0.5296 1.3407 0.4152 17.1433 -
    WLS 8.8128 0.0498 6.8034 2.0866 0.8206 1.7473 0.4972 2.0014 -
    DenseFuse 9.2424 0.0352 6.8193 2.3019 0.8175 1.7838 0.4457 0.8064 8.5483
    RFN-Nest 9.3589 0.0230 6.9632 2.1184 0.8183 1.7843 0.3342 6.4789 20.6544
    FusionGAN 8.6736 0.0246 6.5580 2.3352 0.6541 1.3793 0.2341 6.8548 188.1594
    PIAFusion 9.0679 0.0377 6.8143 3.3576 0.8714 1.6032 0.5281 3.6406 11.6401
    NestFuse 9.4417 0.0392 7.0200 3.4612 0.9819 1.7129 0.5219 4.7373 16.4316
    MMF 9.3766 0.0418 7.0539 3.8345 0.9297 1.7947 0.5452 2.0770 10.6815
    下载: 导出CSV

    表  5   FEF模块的消融实验结果

    Table  5   Ablation experiment results of FEF module

    Index Mean Max FEF
    SD 9.3203 9.2381 9.3766
    SF 0.0409 0.0422 0.0418
    EN 6.9346 6.9194 7.0539
    MI 3.223 3.0378 3.8345
    VIF 0.8921 0.8788 0.9297
    SCD 1.5765 1.5839 1.7947
    Qabf 0.5501 0.5577 0.5452
    下载: 导出CSV

    表  6   损失函数的消融实验

    Table  6   Ablation experiment results of loss function

    Index p1 p2 p3 p4 p5
    SD 9.2666 9.6089 9.0371 9.3457 9.3766
    SF 0.0432 0.0316 0.0424 0.0412 0.0418
    EN 6.9494 7.1032 6.7531 6.9172 7.0539
    MI 2.7852 3.3849 2.2977 3.2337 3.8345
    VIF 0.8903 0.9038 0.4650 0.9056 0.9297
    SCD 1.7151 1.5606 0.7138 1.6246 1.7947
    Qabf 0.5597 0.4342 0.5238 0.5488 0.5452
    下载: 导出CSV
  • [1] 白玉, 侯志强, 刘晓义, 等. 基于可见光图像和红外图像决策级融合的目标检测算法[J]. 空军工程大学学报: 自然科学版, 2020, 21(6): 53-59. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm

    BAI Yu, HOU Zhiqiang, LIU Xiaoyi, et al. An object detection algorithm based on decision-level fusion of visible light image and infrared image[J]. Journal of Air Force Engineering University: Natural Science Edition, 2020, 21(6): 53-59. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm

    [2]

    CAO Yanpeng, GUAN Dayan, HUANG Weilin, et al. Pedestrian detection with unsupervised multispectral feature learning using deep neural networks[J]. Information Fusion, 2019, 46: 206-217. DOI: 10.1016/j.inffus.2018.06.005

    [3] 段辉军, 王志刚, 王彦. 基于改进YOLO网络的双通道显著性目标识别算法[J]. 激光与红外, 2020, 50(11): 1370-1378. DOI: 10.3969/j.issn.1001-5078.2020.11.014

    DUAN Huijun, WANG Zhigang, WANG Yan. Two-channel saliency object recognition algorithm based on improved YOLO network[J]. Laser & Infrared, 2020, 50(11): 1370-1378. DOI: 10.3969/j.issn.1001-5078.2020.11.014

    [4]

    TANG Linfeng, YUAN Jiteng, MA Jiayi. Image fusion in the loop of high-level vision tasks: A semantic-aware real-time infrared and visible image fusion network[J]. Information Fusion, 2022, 82: 28-42. DOI: 10.1016/j.inffus.2021.12.004

    [5]

    CHEN Jun, LI Xuejiao, LUO Linbo, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]. Information Sciences, 2020, 508: 64-78. DOI: 10.1016/j.ins.2019.08.066

    [6]

    LIU Xingbin, MEI Wenbo, DU Huiqian. Structure tensor and nonsubsampled shearlet transform based algorithm for CT and MRI image fusion[J]. Neurocomputing, 2017, 235: 131-139. DOI: 10.1016/j.neucom.2017.01.006

    [7]

    LIU Yipeng, JIN Jing, WANG Qiang, et al. Region level based multi-focus image fusion using quaternion wavelet and normalized cut[J]. Signal Processing, 2014, 97: 9-30. DOI: 10.1016/j.sigpro.2013.10.010

    [8]

    ZHANG Qiong, Maldague X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics & Technology, 2016, 74: 11-20.

    [9]

    LI Hui, WU Xiaojun J, Kittler J. MDLatLRR: A novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746. DOI: 10.1109/TIP.2020.2975984

    [10]

    LIU Yu, CHEN Xun, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE signal Processing Letters, 2016, 23(12): 1882-1886. DOI: 10.1109/LSP.2016.2618776

    [11]

    FU Zhizhong, WANG Xue, XU Jin, et al. Infrared and visible images fusion based on RPCA and NSCT[J]. Infrared Physics & Technology, 2016, 77: 114-123.

    [12]

    MOU Jiao, GAO Wei, SONG Zongxi. Image fusion based on non-negative matrix factorization and infrared feature extraction[C]//6th International Congress on Image and Signal Processing (CISP). IEEE, 2013, 2: 1046-1050.

    [13]

    MA Jiayi, CHEN Chen, LI Chang, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001

    [14]

    LIU Yu, LIU Shuping, WANG Zengfu. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004

    [15]

    LI Hui, WU Xiaojun. DenseFuse: A fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623.

    [16]

    MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004

    [17] 武圆圆, 王志社, 王君尧, 等. 红外与可见光图像注意力生成对抗融合方法研究[J]. 红外技术, 2022, 44(2): 170-178. http://hwjs.nvir.cn/article/id/7f2ae6e4-af9c-4929-a689-cb053b4dda85

    WU Yuanyuan, WANG Zhishi, WANG Junyao, et al. Infrared and visible image fusion using attention-based generative adversarial networks[J]. Infrared Technology, 2022, 44(2): 170-178. http://hwjs.nvir.cn/article/id/7f2ae6e4-af9c-4929-a689-cb053b4dda85

    [18]

    HOU Ruichao, ZHOU Dongming, NIE Rencan, et al. VIF-Net: an unsupervised framework for infrared and visible image fusion[J]. IEEE Transactions on Computational Imaging, 2020, 6: 640-651. DOI: 10.1109/TCI.2020.2965304

    [19]

    TANG Linfeng, YUAN Jiteng, ZHANG Hao, et al. PIAFusion: A progressive infrared and visible image fusion network based on illumination aware[J]. Information Fusion, 2022, 83: 79-92.

    [20]

    LI Hui, WU Xiaojun, Durrani T. NestFuse: An infrared and visible image fusion architecture based on nest connection and spatial/channel attention models[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(12): 9645-9656.

    [21]

    LI Hui, WU Xiaojun, Kittler J. RFN-Nest: An end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73: 72-86.

    [22]

    Toet Alexander. TNO Image Fusion Dataset[EB/OL]. [2022-08-20]. https://doi.org/10.6084/m9.figshare.1008029.v2.

    [23]

    WANG Qilong, WU Banggu, ZHU Pengfei, et al. ECA-Net: efficient channel attention for deep convolutional neural networks[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020: 11531-11539.

    [24]

    Kumar B S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal Image Video Process, 2015, 9(5): 1193-1204.

    [25]

    MA Jinlei, ZHOU Zhiqiang, WANG Bo, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.

  • 期刊类型引用(18)

    1. 陶洋,谭浩,周立群. ULCF-Net:跨尺度结构与色彩融合的水下低照度图像增强算法. 激光与光电子学进展. 2025(02): 430-440 . 百度学术
    2. 闫建红,李佳欣. 基于改进的MSR和γ-CLAHE的骶髂关节CT图像增强算法. 现代信息科技. 2025(06): 126-129+134 . 百度学术
    3. 刘芸萌,龙永红,李欣. 基于轻量化神经网络的低照度图像增强算法. 湖南工业大学学报. 2025(04): 41-47 . 百度学术
    4. 梅杰,覃嘉锐,陈定方,陈昆. 基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法. 中国机械工程. 2024(02): 268-279 . 百度学术
    5. 高航,白晨博,贾强. 基于改进MSRCR的光伏板图像去雾方法研究. 长江信息通信. 2024(04): 138-141 . 百度学术
    6. 周辉奎,章立,胡素娟. 改进直方图匹配和自适应均衡的水下图像增强. 红外技术. 2024(05): 532-538 . 本站查看
    7. 弭永发,迟明善,张强,刘鹏杰,王天佑. 基于颜色校正与改进的CLAHE多尺度融合水下图像增强. 无线电工程. 2024(06): 1470-1480 . 百度学术
    8. 刘晓朋,张涛. 全局-局部注意力引导的红外图像恢复算法. 红外技术. 2024(07): 791-801 . 本站查看
    9. 段燕北,程航. 匹配变换和线性变换融合的水下图像增强. 实验室研究与探索. 2024(07): 23-27+182 . 百度学术
    10. 韩丽,王中训,陈玉杰,刘培学,王林霖. 基于NSST与PCNN的水下图像融合方法研究. 电子设计工程. 2024(20): 72-77 . 百度学术
    11. 何婧,邱欣欣,温强. 基于边缘检测的数字媒体深度交互式图像分割算法. 吉林大学学报(信息科学版). 2024(05): 952-958 . 百度学术
    12. 赵燕萍. 基于引导滤波技术的低照度图像细节增强处理算法. 现代计算机. 2024(17): 18-22 . 百度学术
    13. 肖海柳. 分段均匀重分布和对数校正的水下图像增强. 火力与指挥控制. 2024(10): 135-141+148 . 百度学术
    14. 黄绿娥,陈祥林,肖文祥,邓亚峰. 基于分级多尺度融合的河道水下图像增强. 机电工程技术. 2024(12): 35-40+100 . 百度学术
    15. 戴永东,李明江,王茂飞,蒋承伶,马洲俊. Swin Transformer的电网设备缺陷检测与识别研究. 西安工业大学学报. 2024(06): 813-822 . 百度学术
    16. 王子昱. 基于图像增强的低光弱人脸检测算法分析. 信息与电脑(理论版). 2023(16): 144-147 . 百度学术
    17. 王金刚,林森. 基于颜色校正及特征融合的海洋遗迹图像增强. 海洋测绘. 2023(06): 61-65 . 百度学术
    18. 张菲菲,肖玉玲,陈伟雄,刘正熙,彭明骏,张高菘,林叶. 面向移动终端的恶劣环境图像增强软件的设计与实现. 现代计算机. 2023(22): 108-112 . 百度学术

    其他类型引用(17)

图(10)  /  表(6)
计量
  • 文章访问数:  358
  • HTML全文浏览量:  62
  • PDF下载量:  103
  • 被引次数: 35
出版历程
  • 收稿日期:  2022-08-27
  • 修回日期:  2022-11-29
  • 网络出版日期:  2024-05-15
  • 刊出日期:  2023-07-19

目录

/

返回文章
返回