Saliency-based Multiband Image Synchronization Fusion Method
-
摘要: 针对多波段融合图像存在对比度低、显著目标不突出的问题，本文提出了一种基于显著性的多波段图像同步融合方法。首先，近红外图像被用来作为数据保真项，红外图像和可见光图像分别为融合结果提供红外显著信息和细节信息；其次，基于视觉显著的红外显著区域提取方法被用来构造权重图，以克服融合结果显著区域不突出和边缘模糊问题；最后，采用交替方向乘子法（alternating direction method of multipliers, ADMM）来求解模型，得到融合结果。研究结果表明，较于代表性图像融合算法，所提算法能在保留红外图像热辐射信息的同时，保有较好的清晰细节，并在多项客观评价指标上优于代表性算法。Abstract: To address the problem of low contrast and inconspicuous salient objects in multi-band image fusion, this paper presents a saliency-based multiband image synchronous fusion method. First, a near-infrared image was used as a data fidelity item, and infrared and visible light images provided salient and detailed information on the results of fusion, respectively. Second, a visual saliency-based infrared salient region extraction method was used to construct a weight map to overcome unsalient regions and blurred edges in the results of fusion. Finally, the alternating direction method of multipliers (ADMM) was used to solve the model and obtain the results of fusion. The research results showed that, compared with a representative image fusion algorithm, the proposed algorithm retained the thermal radiation information of the infrared image while retaining clearer details, and was better in many objective evaluation indicators.
-
Keywords:
- image fusion /
- multi-band images /
- saliency /
- total variation
-
0. 引言
目标检测一直以来都是计算机视觉领域的研究重点[1]，也是计算机视觉领域的难点[2]之一。在工业生产、无人驾驶、视频监控等领域都有广泛应用[3]。红外图像目标检测系统具有抗干扰性、全天候工作等特点，在电力行业发挥了重要的作用，红外图像检测质量将直接影响电网系统正常工作的有效作用距离、监控设备及人员的配置，在红外图像预警系统中发挥着至关重要的作用。
在设备采集的过程中，红外图像分辨率受环境因素（大气吸收和散射）的影响，不能还原真实分辨率，对比度表现效果不足，不能完全反映待检测目标的纹理信息[4]。通过传统机器学习方法不能精准分类识别户外一次设备[5]缺陷，同时受到其他环境因素及非一次运行设备发热点影响，易造成误判断。
传统的目标检测方法提出使用一些特征描述来检测目标[6]，取得了一些效果但是检测精度太低，在真实变电站场景下不具备广泛适用性，不能满足实践需求。
在没有结合深度学习以前，传统的目标检测方法主要有两大类：目标实例检测和传统的目标类别检测[7]。2014年以来，主要有两类目标检测方法：one-stage类别的目标检测方法和two-stage类别的目标检测方法。目前常用的典型one-stage网络有（You Only Look Once，YOLO）[8]、YOLO9000[9]、YOLO v3[9]结合YOLO和（Regions with Convolutional Neural Networks，RCNN）模型特点的（Single Shot MultiBox Detector，SSD）[10]系列。常用的典型two-stage网络有RCNN[11]系列。不管two-stage方法还是one-stage方法都各有优劣。受限于模型的架构大小和检测标准要求，这两类方法在实际场景中的应用达不到预期的效果。
2019年4月，中科院联合牛津大学、华为诺亚方舟实验室在已有基础上提出了新的检测方法CenterNet[12]。该方法提供了一种新的思路，将物体检测的问题转换为中心关键点的检测，在目标不完整的前提下就能获得感知物体内部信息的能力，模型结构简单直接，对计算能力的要求较小，在数据集（Common Objects in Context，COCO）上，检测准确率达到47%，领先以往one-stage算法的幅度至少达4.9%，是目标检测现阶段算法中性能最好的方法。
目前应用于变电站设备检测的CenterNet模型研究还处于初级阶段。因此，本文在CenterNet模型的基础上，研究变电站红外图像的目标检测技术，针对基于红外图像的目标检测算法检测精度低的问题，给出基于改进高斯卷积核的变电站设备红外图像检测方法，该目标检测方法模型网络结构精简，模型计算量较小，从而实现红外图像中变电站设备中心点位及目标分类，提高一次设备和关键点位[13]的识别定位的精准度。通过收集现场变电站设备红外热图像数据样本，训练及验证算法模型，最终实现红外图像变电设备目标检测。
1. 变电站设备红外数据集
通过巡检机器人搭配红外热成像仪器对变电站设备进行红外图像采集，对得到的红外图像通过（Open Source Computer Vision Library，OpenCV）技术进行数据预处理，包括翻转变换、随机修剪、旋转变换、仿射变换、尺度变换等操作。为后续送入无锚点深度学习模型训练做充足准备。
训练使用的变电站红外数据集一共有1570张图像，分为10类目标，图像分辨率640×480。如表 1所示。
表 1 红外图像数据集Table 1. Infrared image data setClassname Label name Picture numbers Arrester Arrester 123 Breaker Breaker 166 Current transformer Current transformer 137 Disconnector Disconnector 73 Electricreactor Electricreactor 150 Voltage transformer Voltage transformer 303 Aerial conductor Aerial conductor 86 Condenser Condenser 236 Main transformer Main transformer 224 Tubular busbar Tubular busbar 72 在图 1中可以看到，变电站设备红外图像数据集具有以下特点：目标部分信息丢失，看不到目标整体轮廓；图像失焦，几乎没有较大像素值之间的变化，对比度较差，温度区间界限不明显；红外图像中设备被探测设备实时显示数据遮挡；红外图像中设备类型多且复杂[15]。对于以上特点，用现有的目标检测算法对红外图像中的设备识别有较大难度。
2. 实践依据
2.1 无锚点目标检测方法介绍
基于无锚点方法的CenterNet网络目标检测流程如图 2所示。
得到一些预测参数：预测中心点的heatmap以及基于中心点(x, y)的预测框宽w和高h。整个模型除了识别属性类别以外，只对x, y, w, h进行回归，即中心点(x, y)以及(w, h)。
通过主网络得到图像的特征图，再通过高斯核函数[16]将关键点分布到特征图上。根据特征图上的值筛选出100个大于或者等于周围8个相邻点值的点作为初步预测的中心点；使用3×3的MaxPooling取100个中心点。
通过网络预测出中心关键点的偏移量（i表示第i个目标）：
$$ \hat O{\rm{ = }}\left( {\delta {{\hat x}_i},\delta {{\hat y}_i}} \right) $$ (1) 和当前点对应目标的长宽：
$$ \hat S = \left( {{{\hat w}_i},{{\hat h}_i}} \right) $$ (2) 得到预测的bounding box的坐标值（标定框）：
$$ \left[ {\left( {{{\hat x}_i} + \delta {{\hat x}_i} - \frac{{{{\hat w}_i}}}{2},{{\hat x}_i} + \delta {{\hat x}_i} - \frac{{{{\hat h}_i}}}{2}} \right),\left( {{{\hat y}_i} + \delta {{\hat y}_i} + \frac{{{{\hat w}_i}}}{2},{{\hat y}_i} + \delta {{\hat y}_i} + \frac{{{{\hat h}_i}}}{2}} \right)} \right] $$ (3) CenterNet将图像像素点和中心点结合使用。预测每一个像素点是否为物体中心，如果是的话，针对中心点预测物体边界。预测框的选择标准是，首先尽可能选择与标签图（Ground Truth，GT）有高交并比的预测框，以及满足GT的中心区域与预测框的中心区域重合，若以上条件都满足则选择该预测框，如图 3所示。
2.2 热力图生成
输入红外图像I表示如下：
$$ I \in R^{W \times H \times 3} $$ (4) 式中：W和H分别是红外图像的宽和高，目标输出则是生成关键点的热力图（key point heatmap）[17]：
$$ \hat Y \in {\left[ {0,1} \right]^{\frac{W}{R} \times \frac{H}{R} \times C}} $$ (5) 式中：R是变换尺度，对应原图的步长；C是关键点类型数目（输出特征通道数、类别数），本次实验红外目标共10类，因此C＝10；变换尺度R＝4，且当${\hat Y_{x,y,c}} \approx 1$时表示在当前坐标(x, y)中检测到了这种类别的物体，存在检测的红外目标。
${\hat Y_{x,y,c}} \approx 0$表示当前坐标中不存在该类别的红外目标，即背景。
2.3 关键点分布到特征图
对于每个标签图中类别数C，关键点p的计算方式：
$$ p = \left( {\frac{{{x_1}{\rm{ + }}{x_{\rm{2}}}}}{{\rm{2}}}\frac{{{y_1}{\rm{ + }}{y_{\rm{2}}}}}{{\rm{2}}}} \right) $$ (6) 计算下采样后的坐标$\tilde p$：
$$ \tilde p = \left[ {\frac{p}{R}} \right] $$ (7) 式中：R是下采样因子，R＝4，最终计算出来的中心点是对应低分辨率的中心点。通过高斯核Yxyc计算将关键点分布到特征图上，如下所示：
$$ {Y_{xyc}} = \exp \left( { - \frac{{{{\left( {x - {{\tilde p}_x}} \right)}^2} + {{\left( {y - {{\tilde p}_y}} \right)}^2}}}{{2{\sigma _p}^2}}} \right) $$ (8) 2.4 无锚点算法损失函数
计算损失函数，总的损失函数公式如下：
$$ {L_{\det }} = {L_{\rm{k}}} + {\lambda _{{\rm{size}}}}{L_{{\rm{size}}}} + {\lambda _{{\rm{off}}}}{L_{{\rm{off}}}} $$ (9) 式中：Lk表示中心点损失函数；Lsize表示目标大小的损失函数；Loff表示目标中心点偏置损失函数。λsize和λoff为权重系数，λsize＝0.1，λoff＝1。
3. 改进高斯核函数
实验希望GT框和候选框左上角和右下角存在一个可控的误差范围，为了计算该范围，我们引入高斯核函数。设置热力图GT的时候，我们不能仅仅只在top-left/bottom-right的位置标签，如图 4所示。
其中实线框为GT框，虚线框其实同样可以很好地包围目标。所以检测中只要预测的范围在top-left/bottom-right点的某一个半径r内，并且其与GTbox的交并比（Intersection over Union，IOU）大于阈值0.7，不直接将这些点的标签置为0，采用一种改进的二维高斯核，在原高斯散射核的热力图计算上加以改进。正常情况下，热力图在实际检测中是椭圆，调整半径计算方法。有3种情况，如图 5所示。
![]()
图 5 预测框与GT box三种不同位置关系图Figure 5. Three different position relation diagrams of prediction box and GT box首先确定高斯核半径r，以上3种情况整理为r的方程，overlap为预测框与GTbox的比值，如下所示：
第一种情况：
$$ {\rm{overlap}} = \frac{{h \times w}}{{\left( {h + 2r} \right)\left( {w + 2r} \right)}} $$ (10) $$ {r_1} = \frac{{\sqrt {h + w - 4\left( {1 - {\rm{overlap}}} \right)\left( {h \times w} \right)} }}{4}{\kern 1pt} {\kern 1pt} + \frac{{h + w}}{4} $$ (11) 第二种情况：
$$ {\rm{overlap}} = \frac{{\left( {h - 2r} \right)\left( {w - 2r} \right)}}{{h \times w}} $$ (12) $$ {r_2} = \frac{{\sqrt {{{\left( {h + w} \right)}^2} - 4\left( {1 - {\rm{overlap}}} \right)\left( {h \times w} \right)} }}{4}{\kern 1pt} + \frac{{h + w}}{4} $$ (13) 第三种情况：
$$ {\rm{overlap}} = \frac{{\left( {h - r} \right)\left( {w - r} \right)}}{{2 \times h \times w - \left( {h - r} \right)\left( {w - r} \right)}} $$ (14) $$ {r_3} = \frac{{\sqrt {{{\left( {h + w} \right)}^2} - \frac{{4\left( {1 - {\rm{overlap}}} \right)\left( {h \times w} \right)}}{{1 + {\rm{overlap}}}}} }}{2}{\kern 1pt} {\kern 1pt} + \frac{{h + w}}{2} $$ (15) 综合3种情况，设这3个中的最小值为高斯半径，即r＝min(r1, r2, r3)。但是实践应用中构造热力图GT的过程中存在这样的情况：
1）待检测目标的高斯半径是相等的（圆形）。
2）bbox计算的坐标范围未覆盖整个热力图。
因为待检测目标的形状往往是不规则的，使用普通的高斯核函数无法完全匹配热力图形状，需要让热力图随着待检测目标长宽的趋势进行变化，然后根据待检测目标尺寸计算一个自适应半径，再全图构造热力图。高斯核半径计算需要注意以下两各方面：
① 对待检测目标，高斯核半径应该随着目标的宽w和高h的趋势变化；
② 计算的坐标范围应该限于目标框以内。
修改前与修改后的区别如图 6所示，左图表示对于不同形状的待检测目标都是一个圆形热力图，不随着目标形状变化而变化，右图表示热力图随着目标形状而发生改变。左图bbox以外存在大于0的热力值，而右图中bbox包含整个热力图。这种差异带来的差别是，左图的热力图构造方式会导致正负样本划分模糊，在计算loss时加权不准确，迷惑卷积网络的自主学习，加重模型的计算量。
![]()
图 6 高斯卷积核改进前后的Boundingbox和Heatmap示意图Figure 6. Bounding box and Heat map before and after the improvement of Gaussian convolution kernel除了中心点外，其他都为负样本。但是负样本损失是有权重的，离中心点越近，负样本损失权重越低，反之越高。那么对于bbox外的点，都是负样本，理论上反映到热力图上，bbox外的值应该为0，由此可见改进后的热力图更加合理的。否则采用改进前的热力图计算时，bbox外的样本损失权重大于1，但实际是小于1的值，本来严格的负样本变得有一定的权重偏向于正样本，这与实际不符。
采用改进的高斯卷积核，热力图随着目标的长宽发生改变，热力图在实际检测中是椭圆，平均精确度（Average Precision，AP）值越高，检测效果越好。
用3D方式展示高斯核函数，通过调用matplotlib的函数，画出二维高斯核函数的三维网格图，如图 7、图 8所示。
图中：σ是一个与目标大小(w, h)相关的标准差，每个点$\hat Y$的范围是0~1，其中1代表的是这个目标的中心点，也是我们要预测学习的点。
σ＝1和σ＝5时，如果同一类别的两个高斯分布重合了，我们使用重合部分取最大值的方法来作为高斯的函数值。最中心的位置标签值为1，周围的标签呈${{\mathop{\rm e}\nolimits} ^{ - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}}}$规律递减。
4. 实验结果与分析
实验使用Windows10操作系统，PyTorch深度学习框架，计算机硬件配置如表 2所示。在图片训练之前用Labelimg对采集到的红外图像进行设备标注，然后整理成符合COCO标准图片格式的训练集，完成后使用CenterNet进行多次对照实验训练，每个步骤迭代训练200次，学习速率为0.001。
表 2 计算机硬件配置Table 2. Computer hardware configurationName Type CPU Intel Core I7 9700K GPU Nvidia RTX 2080 Ti hard disk 4T SAS 7.2K*1 memory 512 G 实验通过基于改进的高斯卷积核目标检测系统，完成了对变电站红外图像的训练和测试，通过训练得到的模型，在测试集上进行预测。分析常用的目标检测评价指标，如平均精度均值（Mean Average Precision，mAP）、交并比IOU和Loss值，对模型进行评价。
计算目标检测算法的结果参照两个指标[18]：
1）能否正确地预测框物体的类别。
2）预测的框和人工标注框的重合程度。
平均精度均值，即先计算每个类别的精度均值，再各自取出每一类的精度均值，然后计算所有类别的精度均值的平均值，结果是对检测结果的整体测评[19]。交并比用来判断预测的物体框和真实框的重合程度。设置交并比IOU＝0.5的阈值评价最终结果性能，模型根据该IOU进行计算，大于该值，就找到了符合条件的检测结果，该结果可以作为计算平均精度均值的评价指标。
在DLA-34、Res-101、Res-18三个基础网络上做了高斯卷积核改进前后的对比实验，结果如下所示：
由表 3测试结果可知，DLA-34、ResNet-101、ResNet-18的mAP值分别提升了2.9%、9.4%、25.7%，平均提升mAP值12.7%。通过改进高斯卷积，模型的训练准确度总体有所上升，其中ResNet -18模型提升的最为明显。通过实验证明，改进高斯卷积核后的模型，目标检测精度方面表现优于原Centenet模型。
表 3 红外图像数据集测试结果Table 3. Test results of infrared image data setbn Model mAP Epoch hm_loss wh_loss off_loss Loss DLA-34 before 0.685 200 1.2178887 3.385998 0.229195 1.646682 after 0.705 200 1.1233817 2.775918 0.212195 1.415212 Res-101 before 0.661 200 0.396270 3.179799 0.244151 1.138400 after 0.723 200 0.521400 1.897403 0.232067 1.043208 Res-18 before 0.463 200 0.451421 2.713203 0.262212 0.994953 after 0.582 200 0.813421 2.113203 0.256721 0.87198 由表 3可知，应用改进后的高斯卷积核后，ResNet-101基础网络的mAP值最大，因此将其作为改进后CenterNet模型的基础网络。本次实验测试是在真实场景下进行的，使用了387张变电站红外图片，结果如表 4所示。
表 4 针对变电站真实条件下的性能试验记录表Table 4. Performance test record for substationType Picture numbers Target numbers Correct detection
numberAverage accuracy Miss raio Fallout ratio Total time Aerialconductor 12 16 12 0.750 0.250 0 1.080 Arrester 38 62 54 0.871 0.129 0 3.040 Breaker 45 125 114 0.912 0.024 0.064 4.562 Condenser 83 83 71 0.855 0.133 0.012 8.088 Currenttransformer 33 91 83 0.912 0.030 0.058 2.699 Disconnector 16 16 13 0.813 0.187 0 1.746 Electricreactor 34 65 56 0.862 0.138 0 2.919 Maintransformer 42 42 36 0.857 0.143 0 3.606 Tubular busbar 8 15 12 0.800 0.200 0 0.874 Voltagetransformer 76 146 133 0.911 0.048 0.041 6.519 由表 4可知，断路器、电流互感器、电压互感器这3类的平均准确度（被正确预测的正样本）均达到了90%以上。将所有的平均准确率相加除以类别数，得到所有类别的平均准确度达到85.4%，能够满足变电站红外图像目标检测高精度的要求，有广泛的应用前景。
检测图像的部分检测结果如图 9所示。
结果表明，通过该方法可以有效排除红外图片中的多种干扰因素，自动定位并识别出变电站设备类型，提高了变电站设备的识别定位精度。
5. 结语
红外图像目标检测系统在电网领域具有抗干扰性、全天候工作等特点，在电力行业发挥了重要的作用，红外图像检测质量将直接影响电网系统正常工作的有效作用距离及监控设备和人员的配置，在红外图像预警系统中发挥着至关重要的作用。但在变电站设备红外目标检测实际检测过程中面临目标部分信息丢失、图像失焦、图像被遮挡、设备类型多等多种因素干扰，给红外图像变电站设备检测造成了一定的困难和挑战。
本文给出了基于改进高斯卷积核的变电站设备红外图像检测方法。实验结果表明，该方法可以从较为复杂的红外图像中以较高的准确率将红外图像中的变电站设备识别定位出来，具备较好的检测效果，为变电站设备红外检测提供了更加精准高效的检测思路。
-
![]()
图 5 “soldier_behind_smoke”图像融合结果
Figure 5. Fusion results on "soldier_behind_smoke" image
表 1 图 2中虚线区域客观评价指标
Table 1 The quantitative comparisons of the region surrounded by the dotted line in Fig. 2
$ {w_1} $ $ {w_2} $ EN C PSNR SSIM CC AG MI 0.5 0.1 6.891 26.469 38.267 0.265 0.436 2.972 5.784 0.5 6.893 26.083 38.565 0.329 0.435 2.417 5.501 0.7 6.910 25.882 38.692 0.357 0.433 2.227 5.309 0.7 0.5 6.767 23.654 39.580 0.319 0.439 3.281 5.185 0.7 6.813 24.208 39.417 0.346 0.437 3.194 5.047 1.3 6.887 24.928 39.018 0.421 0.431 2.966 4.656 1.3 0.7 6.320 16.222 34.579 0.289 0.434 2.622 4.445 1.3 6.444 17.739 36.047 0.366 0.432 2.515 4.225 2 6.579 19.452 37.359 0.439 0.426 2.495 3.963 2 1.3 6.003 11.476 29.331 0.270 0.414 2.138 3.814 2 6.128 12.831 30.582 0.336 0.415 2.096 3.648 2.5 6.217 13.862 31.478 0.380 0.413 2.095 3.532 2.5 2 5.895 10.012 27.508 0.272 0.399 1.944 3.453 2.5 5.978 10.794 28.226 0.310 0.401 1.932 3.362 
下载: 导出CSV
表 2 各算法评价指标
Table 2 Evaluation indexes of ten algorithms
Image Metrics GTF DTCWT NSST_NSCT ADF MDDR Dual Branch U2Fusion Fusion GAN Proposed Kaptein_1123 SD 37.34 39.87 35.41 38.04 50.55 24.34 41.50 27.98 45.95 EN 6.94 6.89 6.83 6.79 7.20 6.48 7.04 6.33 7.24 C 23.93 28.41 25.16 27.39 36.39 17.55 30.57 15.44 33.39 MI 3.38 2.96 2.57 3.36 3.29 2.61 2.58 3.43 3.50 SSIM 0.45 0.43 0.44 0.48 0.53 0.21 0.37 0.20 0.57 SF 7.08 9.55 10.30 5.91 8.42 4.79 11.56 3.94 7.64 Movie_01 SD 39.01 34.80 31.53 33.79 40.70 17.11 35.43 23.50 51.44 EN 6.77 6.49 6.39 6.35 6.51 5.98 6.94 5.95 6.84 C 31.05 23.52 20.65 22.91 26.77 12.89 23.99 13.92 35.06 MI 5.03 3.94 3.27 4.58 3.72 2.87 2.88 3.54 4.47 SSIM 0.16 0.19 0.21 0.32 0.32 0.05 0.19 0.10 0.53 SF 3.32 9.77 10.13 10.27 7.13 4.44 11.73 2.64 5.30 soldier_behind_smoke SD 42.88 27.90 24.89 26.18 30.61 35.13 35.26 24.93 45.24 EN 7.26 6.74 6.61 6.62 6.92 6.97 7.14 6.35 7.35 C 32.82 21.48 18.09 20.82 24.36 26.46 28.03 15.37 35.74 MI 3.48 2.51 1.86 3.12 1.97 3.53 1.80 2.33 3.16 SSIM 0.44 0.21 0.27 0.19 0.34 0.02 0.27 0.32 0.47 SF 8.93 11.43 12.61 9.78 10.35 8.18 13.21 5.18 8.01 Marne_04 SD 53.09 26.60 24.47 25.06 31.79 26.51 49.42 25.06 53.57 EN 7.57 6.69 6.63 6.58 6.99 6.54 7.60 6.58 7.62 C 47.65 20.95 18.69 19.74 24.63 19.72 40.38 19.74 43.29 MI 4.54 2.41 1.76 2.72 2.30 3.13 1.88 2.72 3.40 SSIM 0.21 0.26 0.26 0.20 0.36 0.29 0.22 0.20 0.54 SF 5.73 7.66 8.34 6.17 7.14 3.38 10.77 6.17 7.46 Marne_06 SD 47.39 27.90 25.76 26.78 34.65 28.29 46.15 46.67 53.53 EN 7.30 6.77 6.70 6.70 7.05 6.67 7.48 7.33 7.59 C 35.68 22.07 20.34 21.26 28.08 21.05 36.61 35.07 42.88 MI 4.26 2.95 2.31 3.23 2.69 2.74 2.48 3.07 3.46 SSIM 0.30 0.37 0.35 0.31 0.37 0.11 0.30 0.23 0.57 SF 6.05 7.00 7.66 4.74 6.44 3.82 10.15 5.95 5.27
下载: 导出CSV
-
[1] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[2] YU B, JIA B, DING L, et al. Hybrid dual-tree complex wavelet transform and support vector machine for digital multi-focus image fusion[J]. Neurocomputing, 2016, 182: 1-9. DOI: 10.1016/j.neucom.2015.10.084
[3] LIN S, HAN Z, LI D, et al. Integrating model-and data-driven methods for synchronous adaptive multi-band image fusion[J]. Information Fusion, 2020, 54: 145-160. DOI: 10.1016/j.inffus.2019.07.009
[4] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]. Information Fusion, 2021, 66: 40-53. DOI: 10.1016/j.inffus.2020.08.022
[5] Toet A. Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253. DOI: 10.1016/0167-8655(89)90003-2
[6] Lewis J J, O'Callaghan R J, Nikolov S G, et al. Pixel-and region-based image fusion with complex wavelets[J]. Information Fusion, 2007, 8(2): 119-130. DOI: 10.1016/j.inffus.2005.09.006
[7] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[8] Vishwakarma A, Bhuyan M K. Image fusion using adjustable non-subsampled shearlet transform[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 68(9): 3367-3378.
[9] LI H, CEN Y, LIU Y, et al. Different input resolutions and arbitrary output resolution: a meta learning-based deep framework for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2021, 30: 4070-4083. DOI: 10.1109/TIP.2021.3069339
[10] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]. Information Fusion, 2021, 66: 40-53. DOI: 10.1016/j.inffus.2020.08.022
[11] MA J, LE Z, TIAN X, et al. SMFuse: multi-focus image fusion via self-supervised mask-optimization[J]. IEEE Transactions on Computational Imaging, 2021, 7: 309-320. DOI: 10.1109/TCI.2021.3063872
[12] WANG B, ZHAO Q, BAI G, et al. LIALFP: multi-band images synchronous fusion model based on latent information association and local feature preserving[J]. Infrared Physics & Technology, 2022, 120: 103975.
[13] NIE R, MA C, CAO J, et al. A total variation with joint norms for infrared and visible image fusion[J]. IEEE Transactions on Multimedia, 2021, 24: 1460-1472.
[14] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001
[15] MA Y, CHEN J, CHEN C, et al. Infrared and visible image fusion using total variation model[J]. Neurocomputing, 2016, 202: 12-19. DOI: 10.1016/j.neucom.2016.03.009
[16] WANG B, BAI G, LIN S, et al. A novel synchronized fusion model for multi-band images[J]. IEEE Access, 2019, 7: 139196-139211. DOI: 10.1109/ACCESS.2019.2943660
[17] Ng M K, WANG F, YUAN X, et al. Inexact alternating direction methods for image recovery[J]. SIAM Journal on Scientific Computing, 2011, 33(4): 1643-1668. DOI: 10.1137/100807697
[18] Moonon A U, HU J. Multi-focus image fusion based on NSCT and NSST[J]. Sensing and Imaging, 2015, 16(1): 1-16. DOI: 10.1007/s11220-014-0103-y
[19] Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and Karhunen-Loeve transform[J]. IEEE Sensors Journal, 2015, 16(1): 203-209.
[20] FU Y, WU X J. A dual-branch network for infrared and visible image fusion[C]//25th International Conference on Pattern Recognition (ICPR) of IEEE, 2021: 10675-10680.
[21] XU H, MA J, JIANG J, et al. U2Fusion: A unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518.
[22] MA J, YU W, LIANG P, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
-
期刊类型引用(14)
1. 邓长征，刘明泽，付添，弓萌庆，骆冰洁. 基于改进YOLOv7-Tiny的变电设备红外图像识别. 红外技术. 2025(01): 44-51 . 
本站查看
2. 钟志明. 基于改进YOLOv7的变电站套管红外图像智能诊断模型构建及应用. 国外电子测量技术. 2025(01): 140-147 . 百度学术
3. 范继锋，张彦斌，李智，张伟，陈杰. 变电站多旋翼无人机巡检红外图像目标检测. 激光与红外. 2025(04): 599-606 . 百度学术
4. 何明，佘乐欣，严铿博，李思尧，黄煜伟，刘晓松. 基于改进深度学习的开关柜局部放电检测与故障识别. 微型电脑应用. 2024(01): 123-126 . 百度学术
5. 吴跃，宝贵，韩文军，占龙，郭沣慧. 基于空间光学传感技术的变电站设备高热故障红外识别方法. 环境技术. 2024(03): 137-142+151 . 百度学术
6. 柳皓，马强，付强，陈远，赵通汉. 基于改进YOLOv4的智能变电站二次设备稳态AR红外测温技术. 计算技术与自动化. 2024(02): 35-40 . 百度学术
7. 张佳钰，蔡泽烽，冯杰. 基于改进的CenterNet变电站设备红外温度检测方法. 计算机测量与控制. 2024(07): 50-56 . 百度学术
8. 张绘敏，赵扬，康会峰. 基于卷积神经网络算法的光伏组件热斑图像检测方法研究. 计算机测量与控制. 2024(07): 57-63 . 百度学术
9. 李长红，田芳芳. 基于红外热成像的变电站设备异常检测方法. 电气技术与经济. 2024(10): 343-346 . 百度学术
10. 黄志鸿，颜星雨，陶岩，张辉，徐先勇. 基于多模态图像信息的配电网部件定位方法. 湖南电力. 2024(06): 83-89 . 百度学术
11. 孙猛，邓志成，程相杰，陈荣泽，方超. 基于程序模块化建模的智慧电站一体化平台构建. 电力大数据. 2023(01): 76-82 . 百度学术
12. 骆会详. 基于小波域CHMT模型的110 kV变电站设备超温红外预警方法. 计算技术与自动化. 2023(02): 64-70 . 百度学术
13. 许冰，李斌，陈世海，文建军. 基于深度学习的GIS局部放电故障诊断技术研究. 微型电脑应用. 2023(08): 118-121 . 百度学术
14. 熊黎黎，贾璐. 轻质混凝土承压监测方法设计与仿真. 计算机仿真. 2022(06): 284-288 . 百度学术
其他类型引用(5)
计量
- 文章访问数: 144
- HTML全文浏览量: 43
- PDF下载量: 44
- 被引次数: 19
