A Visible and Infrared Image Fusion Method based on Generative Adversarial Networks and Attention Mechanism
-
摘要: 针对低照度可见光图像中目标难以识别的问题，提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法，该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合。在生成对抗网络中，生成器采用具有编码层和解码层的U-Net结构，判别器采用马尔科夫判别器，并引入注意力机制模块，使得融合图像可以更关注红外图像上的高强度信息。实验结果表明，该方法在维持可见光图像细节纹理信息的同时，引入红外图像的主要目标信息，生成视觉效果良好、目标辨识度高的融合图像，并在信息熵、结构相似性等多项客观指标上表现良好。Abstract: A new fusion method for visible and infrared images based on generative adversarial networks is proposed to solve the problem of recognizing targets in low-light images; the method can be directly applied to the fusion of RGB three-channel visible images and infrared images. In generative adversarial networks, the generator adopts a U-Net structure with encoding and decoding layers. The discriminator adopts a Markovian discriminator, and the attention mechanism is introduced to force the fused image to pay more attention to the high-intensity information on infrared images. The experimental results show that the proposed method not only maintains the detailed texture information of visible images but also introduces the main target information of infrared images to generate fusion images with good visual effects and high target identification, and it performs well in information entropy, structural similarity, and other objective indexes.
-
0. 引言
以六氟化硫（SF6，sulfur hexafluoride）作为灭弧和绝缘介质的高压电气设备具有重量轻、体积小、容量大、适应环境能力强和运行可靠性高等优点，自20世纪80年代后，SF6气体被广泛应用于高压和超高压领域的电气设备如六氟化硫全封闭组合电器（gas insulated switchgear, GIS），SF6断路器等[1-2]。但是，GIS中的SF6气体泄漏的现象时有发生，泄漏的SF6气体会带来严重的不良后果[3]。因此，寻求一种安全、高效、及时的SF6泄漏检测方案是极其重要且具有十分深远的意义。
由于SF6和空气对红外辐射的吸收能力在10~11 μm波段的差异较大，通过红外探测技术可以观察到可见光下看不到的SF6泄漏[4]。美国FLIR公司利用SF6的红外特性研发了GF306气体检漏仪，GF306红外热像仪能够实时捕捉SF6泄漏视频图像，该方法通过直接观察SF6泄漏视频图像来判别SF6设备的泄漏点，其相比于传统检测方法，具有无需停电、危险性小等优点[5]。因此，手持红外气体检漏仪对SF6泄漏进行检测逐渐成为一种主要的电力巡检方式。但SF6电气设备在变电站中广泛分布，SF6泄漏环境复杂多变，因此，手持红外气体检漏仪来判别SF6设备的泄漏点不可避免地存在漏检以及误检的问题，造成设备的安全隐患，并且不能及时发现突发性的泄漏。基于此，文献[6]提出一种基于红外视频的SF6泄漏在线检测算法，该算法采用直方图均衡化算法（histogram equalization, HE）增强SF6图像的对比度，虽有效改善泄漏区域的对比度，但也提高了背景的整体对比度，使得泄漏区域的检测难度成倍增加。针对以上缺陷，文献[7]提出一种基于改进限制对比度的自适应直方图均衡（contrast limited adaptive histogram equalization, CLAHE）的SF6红外图像局部增强方法，该算法采用双边滤波将SF6图像分解为基础图像和细节图像，然后采用CLAHE算法处理基础图像，以此提高泄漏区域的对比度，但需要手动调节加权参数才能获得有效的增强效果，并不适用于SF6泄漏在线检测。此外，双边滤波在图像色差较大时容易产生伪影。
针对以上算法的不足，本文提出基于改进HE的SF6泄漏区域增强算法，并采用引导滤波和单尺度Retinex（single-scale-Retinex，SSR）增强泄漏区域的边缘并抑制图像的高斯噪声，最后，对室内和室外的SF6图像进行实验测试，并对实验结果进行对比和分析。
1. 基于改进HE的SF6泄漏区域增强算法
本文利用SSR与引导滤波将SF6红外图像进行分解，提升SF6图像的视觉效果。本文算法首先利用SSR算法对原始SF6图像的灰度分布进行调整，突显暗背景中的图像边缘，然后利用引导滤波将反射图像R分解为细节层与基本层，最后采用改进的直方图均衡化来自适应处理基本层，调节泄漏区域的对比度，并采用绝大值取大算法[8]将增强后的图像进行融合，获得增强后的图像。算法的工作流程图如图 1所示。
1.1 Retinex原理
E. H. Land提出基于人眼视觉特性的Retinex理论[9]，该理论认为，一幅图像I(x, y)可用式(1)表示：
$$ I(x, y) = R(x, y)L(x, y) $$ (1) 式中：R(x, y)为反射分量；L(x, y)为照射分量。反射分量R(x, y)反映景物本身的性质，与环境的亮度无关，含有大量的高频信息。照射分量L(x, y)反映景物所在环境的亮度，与景物本身无关，含有缓慢变化的低频信息。Retinex理论的示意图如图 2所示。
Retinex理论的本质是先估计出一幅图像中的照射分量并去除，最终获得反映景物本质的反射分量。所以，Retinex算法的核心在于如何有效、准确地估计照射分量。
Jobson等人基于Retinex理论提出单尺度Retinex（single-scale Retinex, SSR）图像增强算法[10]。SSR算法采用高斯环绕函数与原图像进行卷积，从而获得照射分量。SSR算法的数学模型如式(2)所示：
$$ \begin{aligned} \lg R(x, y) & =\lg I(x, y)-\lg L(x, y) \\ & =\lg I(x, y)-\lg [G(x, y) * I(x, y)] \end{aligned} $$ (2) 式中：G(x, y)为高斯环绕函数，其表达式如式(3)所示，“∗”为卷积运算。
$$ G(x, y) = \lambda {{\rm{e}}^{ - \frac{{({x^2} + {y^2})}}{\delta }}} $$ (3) 式(3)中：λ为归一化常数，使得$ \iint {G(x, y){\rm{d}}x{\rm{d}}y = 1} $；δ为尺度因子，δ决定了待增强图像的细节保留程度。由式(3)可知，原图与高斯低通G(x, y)的卷积得到的照射分量为图像的低频部分，经原图中的低频照射分量去除，得到的是原图像中的高频部分，正好是人眼比较敏感的边缘和细节等信息，决定着图像的本质特征。
综上可知，SSR算法可以实现边缘和细节的增强。
1.2 引导滤波
为了细化图像去雾算法中的透射图，何凯明等人提出了一种类似于双边滤波的引导滤波算法[11]。它不仅具有双边滤波的边缘保持特性，而且还具有去除高斯噪声的能力。同时，还克服了双边滤波在图像色差较大时产生伪影的缺点。引导滤波是一个线性模型，如式(4)所示：
$$ {q_i} = {a_k}{I_i} + {b_k}, \forall i \in {\omega _k} $$ (4) 式(4)中：q是输出图像；I为引导图像，当局部窗口为ωk时，ak、bk为线性函数的系数。对式(4)求导得到式(5)：
$$ \nabla q = a\nabla I $$ (5) 从式(5)可以看出，当I的梯度变化时，输出图像q也有相应的梯度变化，所以引导滤波算法在对红外图像去除高斯噪声的同时，也可保留图像的边缘信息。式(5)的系数a可以通过线性回归求出，可令拟合函数的真实值与输出值的差值最小，即求式(6)的最小值。
$$ E({a_k}, {b_k}) = \sum\limits_{i \in {\omega _k}} {({{({a_k}{I_i} + {b_k} - {p_i})}^2} + \varepsilon a_k^2)} $$ (6) 式(6)中：p是待处理图像；ε是用于限制求解的a过大的参数，通过最小二乘法可得：
$$ \begin{array}{l} {a_k} = \frac{{\frac{1}{{\left| \omega \right|}}\sum\limits_{i \in {\omega _k}} {{I_i}{p_i} - {\mu _k}{{\bar p}_k}} }}{{\delta _k^2 + \varepsilon }} \hfill \\ {b_k} = {{\bar p}_k} - {a_k}{\mu _k} \hfill \end{array} $$ (7) 式(7)中：μk是I在窗口ωk的平均值；δk2是I在ωk中的方差；$ \left| \omega \right| $是ωk中像素的数量，$ {\bar p_k} $是待处理图像p在ωk中的均值。当一个像素被多个窗口包含时，在求取该点的最终输出时，将该点的函数值做平均，最终输出如式(8)所示：
$$ \begin{array}{l} {q_i} = \frac{1}{{\left| \omega \right|}}\sum\limits_{k:i \in {\omega _k}} {{a_k}{I_i} + {b_k}} \hfill \\ \;\;\;\;= {{\bar a}_i}{I_i} + {{\bar b}_i} \hfill \end{array} $$ (8) 式(8)中：qi是最终的像素值，窗口ωk包含所有像素，i, k是其中心位置。当引导图像等于输入图像p时，此时有：
$$ \begin{array}{l} {a_k} = \frac{{\delta _k^2}}{{\delta _k^2 + \varepsilon }} \hfill \\ {b_k} = (1 - {a_k}){\mu _k} \hfill \end{array} $$ (9) 式(9)中，当ε＝0时，有ak＝1，bk＝0，qi＝Ii＝pi，即输出图像和输入图像相同。
当ε＞0且图像局部方差较大时，有δk2≫ε⇒ak≈1，bk≈0，此时输出图像近似等于输入图像，保持了与输入图像相同的边缘信息。
当ε＞0且图像局部方差较小时，有δk2≪ε⇒ak≈0，bk≈μk，此时图像q的灰度值可近似为ωk的平均值，则该区域被平滑了。这就是引导滤波算法的保边平滑特性。
综上可知，引导滤波算法不仅具有边缘保持特性，而且还具有去除高斯噪声的能力。
1.3 改进的直方图均衡化
HE通过非线性映射处理输入图像，使得图像的像素值在每个灰度级上都是均匀分布的。从而得到动态范围较广和对比度较高的图像。HE的基本原理是：假设原始输入图像和输出图像的灰度分别为r和s，pr(r)为原始图像的概率密度函数，T(r)为灰度区间[1, L－1]内严格单调递增的映射函数，则HE的数学变换关系如式(10)所示：
$$ s = T(r) = \int\limits_0^r {{p_r}(r){\rm{d}}r , } 0 \leqslant r \leqslant L - 1 $$ (10) 式(10)中：r＝L－1为白色，r＝0为黑色。令映射函数T(r)为r的累积分布函数（cumulative distribution function，CDF），由于T(r)为严格单调递增函数，则有：
$$ \frac{{{\rm{d}}s}}{{{\rm{d}}r}} = \frac{{\rm{d}}}{{{\rm{d}}r}}\int\limits_0^r {{p_r}(r){\rm{d}}r} = {p_r}(r) $$ (11) 则输出图像的概率密度函数ps(s)的表达式为：
$$ \begin{array}{l} {p_s}(s) = {p_r}(r)\left| {\frac{{{\rm{d}}r}}{{{\rm{d}}s}}} \right| = {p_r}(r)\left| {\frac{1}{{(L - 1){p_r}(r)}}} \right| = \hfill \\ \quad \quad \;\;\frac{1}{{L - 1}} , 0 \leqslant s \leqslant L - 1 \hfill \end{array} $$ (12) 由式(12)可知，ps(s)为均匀概率密度函数，即输出图像的灰度值是均匀分布的。式(10)适用于连续函数的计算。而实际应用中，离散图像的直方图均衡化过程为：
$$ {p_r}({r_k}) = \frac{{{n_k}}}{{MN}} , k = 0, 1, 2, \cdots , L - 1 $$ (13) 式(13)中：MN是图像中像素的总数；nk是灰度为rk的像素个数。则由式(13)可以得到：
$$ \begin{array}{l} {s_k} = (L - 1)\sum\limits_{i = 0}^k {{p_r}({r_i})} = \hfill \\ \frac{{(L - 1)}}{{MN}}\sum\limits_{i = 0}^k {{n_i}} , k = 0, 1, 2, \cdots , L - 1 \hfill \end{array} $$ (14) HE算法对所有像素值都采用相同变换，并未考虑图像的局部特征。这导致经过HE算法处理后的图像将丢失有用的边缘的细节信息。因此，直方图均衡化并不适合用于SF6红外图像的增强处理。为此，本文提出改进的直方图均衡化对SF6图像进行局部增强处理。本文利用图像的局部特征来设计处理算法，不同的局部采用相适的对比度增强方法，即增强图像的每个像素值都通过一个映射函数得到，而映射函数由局部窗口W的直方图均衡化获得。则局部对比度增强的表达式为：
$$ {x_{ij}}^\prime = \left\{ \begin{array}{l} {T^{{\rm{HE}}}}({x_{ij}}) + k({x_{ij}} - {m_{ij}}) &0 \leqslant {x_{ij}} \leqslant 255 \hfill \\ {T^{{\rm{HE}}}}({x_{ij}}) &{\rm{others}} \hfill \end{array} \right. $$ (15) 式(15)中：xij′、xij分别为变换后和变换前的中心像素，$ {T}^{{\rm{HE}}}({x}_{ij})=1/mn{\displaystyle \sum _{(i, j)\in W}^{}{x}_{ij}^{{\rm{HE}}}} $为窗口W经HE算法处理后所有像素的灰度均值，$ {m}_{ij}=1/mn{\displaystyle \sum _{(i, j)\in W}^{}{x}_{ij}} $为窗口W所有像素的灰度均值。从式(15)可以看出，THE(xij)调节了局部子图像的动态范围，k(xij－mij)主要起到增强局部对比度的作用。因此，改进的直方图均衡化算法的关键在于自适应参数k的设计上。当窗口W的中心像素xij与周围像素无明显差异时，k应趋向于零；而当窗口W的中心像素xij与周围像素具有明显差异时，此时窗口W包含较多的图像细节，k应取一个合适的正值。基于此，本文采用窗口W的邻域灰度方差来自适应计算k的值，其表达式为：
$$ k = \left( {\frac{{\delta _{ij}^2}}{{\delta _n^2}} - 1} \right) $$ (16) 式(16)中：δij2为窗口W的邻域灰度方差；δn2为整幅图像的噪声方差。
综上所示，改进的直方图均衡化算法具体实现过程如下：
1）计算原始SF6图像所有灰度级的像素数ni。
2）求解原始SF6图像的累积直方图。
3）采用式(3)~(16)计算k值。
4）采用式(3)~(15)计算窗口W的对比度，实现直方图均衡化。
5）采用ni/n重新计算直方图。
2. SF6红外图像局部增强实验分析
为了验证所提算法对泄漏区域的增强效果，采用本文算法对不同场景下的SF6红外图像进行实验。所有实验均在酷睿I5，Windows10系统、内存为8 G的测试平台上进行，编译环境：OpenCV3.3.4+VS2017，为了验证所提算法的有效性，将本文算法与HE算法[12]和文献[7]的基于改进限制对比度的自适应直方图均衡化（CLAHE）进行比较，并从客观和主观两个方面进行分析。
2.1 主观评价
实验分别对室内和室外的SF6红外图像进行测试，实验图像由型号为FLIR GF306的红外成像仪在白天对变电站GIS设备的SF6泄漏进行检测时采集而得。算法对SF6泄漏区域的增强结果及其相应的直方图如图 3和图 4所示，采用矩形方框对SF6泄漏区域进行标注。从图 3(a)及其直方图的分布可知，图 3(a)中SF6泄漏区域的对比度低，边缘不清晰。图 3(f)的直方图分布均匀，这说明HE算法能够有效增强泄漏区域的对比度并拓展图像的动态范围，但图像整体的对比度被过度放大且泄漏区域的局部细节并不清晰。图 3(g)的直方图主峰位于图像的中右部，这表明文献[7]的增强效果是要优于HE算法，图 3(h)直方图的峰值处于图像的右部，SF6泄漏区域的对比度得到了提高，从图 3(d)也可以看出，SF6泄漏区域的边缘突出，其轮廓明显。
![]()
图 3 不同算法对SF6图像a的增强结果Figure 3. The enhancement results of the SF6 image a by the different algorithms![]()
图 4 不同算法对SF6图像b的增强结果Figure 4. The enhancement results of the SF6 image b by the different algorithms图 4(e)灰度级大多分布于直方图的左中部，这与图 4(a)的图像整体较暗相互印证。图 4(f)与图 3(f)的直方图分布类似，从图 4(b)的增强效果也可以看出，HE算法使得图像的整体亮度过高，泄漏区域增强效果并不明显，图 4(g)的峰值较高，这表明文献[7]的算法有效增强泄漏区域的对比度。采用本文算法增强SF6图像，图 4(h)的直方图峰值集中于右部，结合图 4(d)的增强效果可得，本文算法有效增强泄漏区域的对比度，泄漏区域的纹理细节和边缘更加清晰，边缘的保留效果是优于文献[7]的。
2.2 客观评价
本文采用标准差（standard deviation, SD）、信息熵（information entropy, IE）和峰值信噪比（peak signal-to-noise ratio, PSNR）作为客观评价标准，来验证SF6图像的增强效果。
① 图像标准差指的是图像均值与其灰度值的差异，该值越大，则表示图像的对比度越高，相反，标准差越小，图像对比度越低。标准差的表达式为：
$$ \left\{ \begin{array}{l} {\rm{SD}}=\sqrt{\frac{1}{M\times N}{{\displaystyle {\sum }_{i=1}^{M}{\displaystyle {\sum }_{j=1}^{N}(I(i, j)-\mu )}}}^{2}}\\ \mu =\frac{1}{M\times N}{\displaystyle \sum _{i=1}^{M}{\displaystyle \sum _{j=1}^{N}I}}(i, j) \end{array} \right.$$ (17) 式(17)中：μ表示图像的灰度平均值。
② 图像信息熵反映直方图灰度级的分布情况，能够表征图像的细节信息，其定义为：
$$ {\rm{IE}} = - \sum\limits_{i = 0}^{L - 1} {{p_i}{{\log }_2}} {p_i} $$ (18) 式(18)中：L为图像的灰度级总数；pi表示图像中灰度i出现的概率。
③ 峰值信噪比是衡量图像去噪效果最为常用的指标，其定义为：
$$ {\rm{PSNR}} = 10\lg (\frac{{{{255}^2}}}{{{\rm{MSE}}}}) $$ (19) 式(20)中：MSE为均方差，其定义为：
$$ {\rm{MSE}} = \frac{1}{{mn}}{\sum\limits_{i = 0}^{m - 1} {\sum\limits_{j = 0}^{n - 1} {\left\| {f(x, y) - f'(x, y)} \right\|} } ^2} $$ (20) 式中：f′(x, y)为原图像f(x, y)经过滤波后得到的图像。
本文通过对上述算法所得的图像求其信息熵、标准差、峰值信噪比和实时处理时间。比较结果如表 1所示。由表 1可知，HE算法的标准差最大、峰值信噪比最小，这说明HE算法虽能提高图像的整体对比度，但存在过增强的现象。文献[7]算法的信息熵和标准差有所增加，峰值信噪比相比于HE算法有所提高，这说明文献[7]抑制噪声的效果比HE算法要好。本文算法的信息熵和峰值信噪比最大，SF6红外图像的局部对比度得到了提高，泄漏区域的边缘和纹理细节更加丰富。抑制高斯噪声的效果比文献[7]要好。HE算法的实时处理速度最快，本文算法的处理速度适中，但总体来说，实时处理速度相差并不大，完全能够满足实时运行的应用需求。
表 1 不同算法的客观评价指标Table 1. Objective evaluation indicators for the different algorithmsImage Index Original HE Literature [7] Proposed Image a IE 6.031 7.103 7.066 7.227 SD 37.046 73.821 44.946 46.465 PSNR - 6.615 9.975 16.045 T/s - 0.047 0.089 0.082 Image b IE 6.405 7.118 6.781 7.273 SD 62.109 74.408 63.094 64.496 PSNR - 4.891 5.561 8.951 T/s - 0.046 0.086 0.085 3. 结论
本文基于非锐化掩模图像的基本思想提出基于改进HE的SF6泄漏区域增强算法。本文算法首先利用SSR算法对原始SF6图像的灰度分布进行调整，突显暗背景中的图像边缘，然后利用引导滤波将反射图像R分解为细节层与基本层，最后采用改进的HE来自适应处理基本层，调节泄漏区域的对比度，并采用绝大值取大算法将增强后的图像进行融合，实验结果和分析表明：本文算法不仅能够提高泄漏区域的对比度，而且具有良好边缘保持特性。能够有效改善SF6红外图像低对比度和低信噪比特性。同时也为后续SF6泄漏检测的研究工作提供一个新的思路，使得后续的研究工作能够顺利进行。
-
表 1 生成器网络参数
Table 1 The parameters of generator
Convolution layer Kernel size/stride Padding Input size Output size Conv1 4×4/2 (1, 1) 480×640×4 240×320×32 CBAM 4×4/2 (1, 1) 240×320×32 240×320×32 Conv2 4×4/2 (1, 1) 240×320×32 120×160×64 Conv3 4×4/2 (1, 1) 120×160×64 60×80×128 Conv4 4×4/2 (1, 1) 60×80×128 30×40×256 Conv5 4×4/2 (2, 1) 30×40×256 16×20×512 Conv6 4×4/2 (1, 1) 16×20×512 8×10×512 Conv7 4×4/2 (1, 2) 8×10×512 4×6×512 Conv8 4×4/2 (1, 1) 4×6×512 2×3×512 ConvTrans8 4×4/2 (1, 1) 2×3×512 4×6×512 ConvTrans7 4×4/2 (1, 2) 4×6×1024 8×10×512 ConvTrans6 4×4/2 (1, 1) 8×10×1024 16×20×512 ConvTrans5 4×4/2 (2, 1) 16×10×1024 30×40×256 ConvTrans4 4×4/2 (1, 1) 30×40×512 60×80×128 ConvTrans3 4×4/2 (1, 1) 60×80×256 120×160×64 ConvTrans2 4×4/2 (1, 1) 120×160×128 240×320×32 ConvTrans1 4×4/2 (1, 1) 240×320×64 480×640×3 
下载: 导出CSV
表 2 判别器参数
Table 2 The parameters of discriminator
Convolution layer Kernel size/stride Padding Output size Conv1 4×4/2 (1, 1) 240×320×64 Conv2 4×4/2 (1, 1) 120×160×128 Conv3 4×4/2 (1, 1) 60×80×256 Conv4 4×4/2 (1, 1) 30×40×512 Conv5 4×4/2 (1, 1) 15×20×512 Conv6 1×1/1 (0, 0) 15×20×1
下载: 导出CSV
表 3 融合图像客观指标值
Table 3 The quantitative comparisons of fusion images
Fusion methods EN MI FMI SSIM CC PSNR LP 5.918 11.836 0.944 0.681 0.646 68.496 LP-SR 6.393 12.785 0.945 0.823 0.566 67.801 NSCT 5.821 11.643 0.942 0.671 0.652 68.575 NSCT-SR 6.224 12.447 0.940 0.859 0.575 67.472 DTCWT 5.804 11.608 0.942 0.670 0.647 68.570 DTCWT-SR 6.455 12.910 0.945 0.782 0.525 67.338 DenseFuse 6.036 12.071 0.939 0.631 0.684 67.319 CBAM-GAN 5.918 11.836 0.928 0.796 0.649 68.751 Avarage 6.111 12.223 0.941 0.740 0.606 67.967
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] Burt P J, Adelson E H. The Laplacian pyramid as a compact image code[J]. Readings in Computer Vision, 1987, 31(4): 671-679. https://www.sciencedirect.com/science/article/pii/B9780080515816500659
[3] Selesnick I W, Baraniuk R G, Kingsbury N C. The dual-tree complex wavelet transform[J]. IEEE Signal Processing Magazine, 2005, 22(6): 123-151. DOI: 10.1109/MSP.2005.1550194
[4] A L da Cunha, J Zhou, M N Do. Nonsubsampled contourilet transform: filter design and applications in denoising[C]//IEEE International Conference on Image Processing 2005, 749: (doi: 10.1109/ICIP.2005.1529859).
[5] Hariharan H, Koschan A, Abidi M. The direct use of curvelets in multifocus fusion[C]//16th IEEE International Conference on Image Processing (ICIP), 2009: 2185-2188(doi: 10.1109/ICIP.2009.5413840).
[6] LI Hui. Dense fuse: a fusion approach to infrared and visible images[C]//IEEE Transactions on Image Processing, 2018, 28: 2614- 2623(doi: 0.1109/TIP.2018.2887342).
[7] MA J, YU W, LIANG P, et al. Fusion GAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[8] Ronneberger O, Fischer P, Brox T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention, 2015: 234-241.
[9] Hwang S, Park J, Kim N, et al. Multispectral pedestrian detection: Benchmark dataset and baseline[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1037-1045.
[10] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems, 2014: 2672-2680.
[11] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J/OL][2015-11-07]. arXiv preprint arXiv: 1511.06434, 2015: https://arxiv.org/abs/1511.06434v1.
[12] MAO X, LI Q, XIE H, et al. Least squares generative adversarial networks[C]//2017 IEEE International Conference on Computer Vision (ICCV), 2017: 2813-2821(doi: 10.1109/ICCV.2017.304).
[13] Isola Phillip, ZHU Junyan, ZHOU Tinghui, et al. Image-to-image translation with conditional adversarial networks, 2017: 5967-5976 (doi: 10.1109/CVPR.2017.632).
[14] Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in Neural Information Processing Systems, 2015: 2017-2025.
[15] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.
[16] Woo S, Park J, Lee J Y, et al. Cbam: convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.
-
期刊类型引用(4)
1. 王封疆，王梦飞，周杰. 基于CHEBWO的多目标棉田图像增强算法. 石河子大学学报(自然科学版). 2024(04): 505-513 . 
百度学术
2. 常祺钰，刘宾，李坤，王旋. 基于FastSAM物料颗粒图像分割算法研究. 河南科学. 2024(10): 1415-1421 . 百度学术
3. 程英哲，赵鑫成，李升晖，陈洁昊，潘威，林秋凯. 多层感知机神经网络在SF6密度监测中的应用研究. 环境技术. 2024(10): 81-86 . 百度学术
4. 刘晓伟，刘迪. 基于HSV与级联卷积神经网络的图像增强模型在低照度图像中的应用. 湖北理工学院学报. 2024(06): 55-60 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 572
- HTML全文浏览量: 150
- PDF下载量: 129
- 被引次数: 4
