基于潜在低秩表示的红外和可见光图像融合

孙彬, 诸葛吴为, 高云翔, 王梓萱

孙彬, 诸葛吴为, 高云翔, 王梓萱. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862.
引用本文: 孙彬, 诸葛吴为, 高云翔, 王梓萱. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862.
SUN Bin, ZHUGE Wuwei, GAO Yunxiang, WANG Zixuan. Infrared and Visible Image Fusion Based on Latent Low-Rank Representation[J]. Infrared Technology , 2022, 44(8): 853-862.
Citation: SUN Bin, ZHUGE Wuwei, GAO Yunxiang, WANG Zixuan. Infrared and Visible Image Fusion Based on Latent Low-Rank Representation[J]. Infrared Technology , 2022, 44(8): 853-862.

基于潜在低秩表示的红外和可见光图像融合

基金项目: 

四川省科技计划资助 2020YFG0231

四川省中央引导地方科技发展专项 2020ZYD016

电子科技大学基于项目的研究生创新培养计划建设项目 XMZ20203-9

详细信息
    作者简介:

    孙彬(1984-),副教授,主要研究方向为信息融合、图像处理、导航定位。E-mail: sunbinhust@uestc.edu.cn

  • 中图分类号: TP391

Infrared and Visible Image Fusion Based on Latent Low-Rank Representation

  • 摘要: 红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。
    Abstract: Infrared and visible image fusion is widely used in target tracking, detection, and recognition. To preserve image details and enhance contrast, this study proposed an infrared and visible image fusion method based on latent low-rank representation. The latent low-rank representation was used to decompose the source images into base and significant layers, in which the base layers contained the main content and structure information, and the salient layers contained the local area with relatively concentrated energy. The ratio of low-pass pyramid was also adopted to decompose the base layer into low-frequency and high-frequency layers. The corresponding fusion rules were designed according to the characteristics of the different layers. A sparse representation was used to express the relatively dispersed energy of the low-frequency base, and the rules of the maximum L1 norm and maximum sparse coefficient were weighted averages to retain different significant features. The absolute value of the high-frequency part of the base layer was used to enhance the contrast. Local variance was used for the salient layer to measure significance, and the weighted average was used to highlight the target area with enhanced contrast. Experimental results on the TNO datasets show that the proposed method performed well in both qualitative and quantitative evaluations. The method based on low-rank decomposition can enhance the contrast of the targets and retain rich details in infrared and visible fusion images.
  • 变电站电力设备长期处于工况运行状态,易发生各类故障而威胁电网安全稳定运行。研究显示[1],在电气设备故障中超过半数均伴有设备异常发热现象。

    20世纪中期国外的一些研究机构与电力企业尝试使用热像仪记录设备温度进行故障检测[2]。发展至今,国内外的技术人员通过对运行设备定期热拍照,由检测者观察设备热图像的温度分布并判定设备中存在的异常温升,确定热故障类型[3],该方法可有效检测出电力设备的异常温升。加上其无接触检测的优点,适应电力系统要求,因而在电力系统故障检测中得到推广运用。然而当前电力设备热图谱普遍采用人工观察,判断较主观[4-5],且其准确程度对检测人员经验依赖大,准确度波动大且不够高效,并且此类传统的人工图像特征分析方法较难提炼异常发热区域特征与分布。近年来计算机技术和人工智能技术飞速发展,研究者们提出了一些具有自动化和智能化功能的设备热像图故障识别方法,以提高判定与故障处理效率与准确性。对于自动化算法来说,如何利用电力设备的各类特点敏锐地发现热像图中的异常温升区域是热故障识别的关键。胡世征等人通过检测设备对应测量点间温差与其中较热点温升的比值,实现相对温差判断[6]。郭英军等提出使用红外摄像仪在线监测与计算变压器铁心的温升变化情况[7]。王如意等根据设备热图谱在异常温升处的色差进行图像分割而提取故障点[8]。孙怡等人提出利用不同电气设备出现异常温升的经验数值进行分类阈值判定的方法[9]。王淼等人通过分析导线热像图诊断输电线路[10]。冯振新等采用局部区域聚类的方法对热图谱温升区进行提取[11]。而现有研究较多关注于故障点程度的分割、计算和分析工作,而运用三相设备自有特征进行故障区域自动查找定位的研究却较少涉及。

    在目前现状下,本文提出一种三相自搜寻比较的电力设备热像图自动诊断算法,变电站三相设备或并列运行的同类设备通常具有完全相同的外观特点,其电气运行状态相同或相近(严重三相不平衡和短路故障情况除外),因而正常运行时三相设备一般具有相同的热状态,对应部位的发热状态一致,这是热检测的重要判据。当其中某相设备发生局部热故障时,正常相设备可成为其余两相设备发热异常判定的良好参照物。通过计算机自动搜寻算法提取并利用三相对应的热状态信息对比,可自动高效地发现热故障并准确判定其发生部位,进行诊断分析。

    三相自搜寻比较法的思路是以热点区域为追踪目标,对三相设备热像图进行计算机处理,自动化地得到可直接相比较分析的三相图片。其方法实施流程如图 1所示。

    图  1  三相自搜寻比较法执行流程图
    Figure  1.  Three-phase self - search comparison execution flowchart

    为实现自动热区域搜寻和比较,本路线中先利用数学形态学的方法对图像中视图相连的三相设备进行分割处理,进一步将每相提取为单独图片,另外由于取景角度和杂物的影响,需对单相图像进行图像调整使其保持相同图像大小、角度,通过这样的自动化处理就得到了可进行对应区域映射对比的单相图片。接着为了最优程度地进行对应处比较,采用数据模块化方法,将处理完成的单相图像按照同等规格进行区块划分,由于先前的单相图同等化处理和同规格的分区,每相图片相同坐标的区块温度很大程度上反应了三相设备相同部位的温度水平。对每区温度取平均值,并对三相设备全区块进行温度分布统计,可很好地反应出各相的温度水平和温升情况,基于此相同的数据模型,可以便捷地实现设备温升判定和热数据信息分析,完成自动温升搜寻和故障比较识别。

    实现三相设备或同类设备之间的热像图对比,需要将图片中三相设备按相进行分离。由于图像中存在连接体、环境异物影响,以及拍摄角度不规范导致设备局部重叠等原因,致使照片中的设备间常有连接物存在,增加了三相设备主体形域的提取分割难度,如图 2所示。

    图  2  断路器三相设备连接图及其二值化
    Figure  2.  Circuit breaker three-phase equipment connection diagram and its binarization

    图 2为电力断路器三相设备热像图及其提取的二值化图像。热像图中最亮处温度达68.1℃,最暗处为-0.2℃。从图中可看出,对图像二值化后,这些干扰一般体现为设备主体形状间的纤细连接,为去除这些连接干扰,可以采用对三相设备热像图的二值图像进行形态学开操作运算。

    形态学是由动植物形态研究发展而来。数学形态学的处理可实现从图像中提取边界、骨架等表达描绘图形的图像分量,常用操作有腐蚀膨胀,开闭运算等。

    形态学上称类似的图形间的纤细连接为不可靠连接,可以使用形态腐蚀膨胀等操作将其切断去除。其中,在二维图像Z2(即一个二维整数空间)以一个一定像素大小的结构元B对图形对象A进行空间卷积,$\hat B$为B的补集,BA腐蚀定义为:

    $$ A⊖B\{ z|{\left( B \right)_z} \subseteq A\} $$ (1)

    而膨胀则是:

    $$A \oplus B = \left\{ {z\left| {{{\left( {\hat B} \right)}_z} \cap A \ne \emptyset } \right.} \right\}$$ (2)

    可得出,腐蚀操作可消除运算对象接触的所有边界点,使其边界向内收缩,该过程能够消除目标对象附近小而无意义的物体(可干扰体)[2],而膨胀操作则相反,其使目标区域范围“变大”。将目标区域接触的背景点合并到该目标物中,使目标边界向外部扩张[2],可以用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声。

    在此基础上,利用腐蚀和膨胀操作可以衍生出开启运算:

    $$ A \circ B = (A⊖B) \oplus B $$ (3)

    即对图形对象进行先腐蚀后膨胀的操作。

    以及闭合运算:

    $$ A\cdot B=(A \oplus B)⊖B $$ (4)

    即对图形对象进行先膨胀后腐蚀的操作。它们对图形操作具有不同的效果,都能部分平滑对象轮廓,开操作断开较窄的狭颈并消除细的突出物,闭操作则一般弥合较窄的间断和细长的沟壑,消除小的孔洞,填补轮廓线中的断裂等[12]

    结合三相设备热像图及其得到的二值图像的特点,可对其分别进行合适的开闭类操作,实现对不可靠连接干扰的处理。

    图 3所示,可看出开运算对短小纤细处等不可靠连接进行了“切断”处理,并去除了周边的小干扰体,而闭运算弥合了狭窄的目标间缝隙,使得目标扩大连接在一起。

    图  3  开运算和闭运算操作
    Figure  3.  Opening and closing operations

    针对去除不可靠连接,分离三相设备主体形态的目的,可使用合适程度的开运算操作,现采用合适大小的圆状结构元,对图 4所示三相断路器设备的热像图进行开运算操作。

    图  4  三相设备开运算
    Figure  4.  Opening operation for three-phase equipment

    可以看出,开运算操作对三相设备热像图二值图像中不可靠连接具有较好的“切断”作用。且开运算运用像素半径不同的结构元执行,将得到有区别的执行效果,结构元尺寸减小,图像将由从连接处“猛烈截断”到保留了更多区域细节,应根据图像情况调整合适的结构元大小。

    经过形态处理后还需进一步将三相设备主体提取出来,观察形态处理后的二值图像,可以看出白色目标区域主要是设备主体区域以及无用的杂散对象,在图像中,把这些具有相同像素值且相互邻接的一片像素区域作为连通区域或连通分量,在二值图像中即前景白色的数个区域。为进一步提取设备区域,可将图像中的连通区域分配不同数字标签并标定。根据其分布特性,将每个白色(像素值1)的连通分量像素标为同一值,不同连通分量分别标定1, 2, 3…等标签,形成新的标签矩阵,并将其用不同颜色表示,如图 5所示。

    图  5  连通分量的标定
    Figure  5.  Calibration of connected components

    根据分析与标签结果,图像中标定的区域主要是设备主体区域以及附带设备、背景或未完全去除的线管等。依据开运算操作时处理尺度不同,标定区域的大小与数量也不同,而在所有的标签区域中,需要提取三相设备主体所在的连通分量。

    根据设备热像图的拍摄特点分析,设备本体是拍摄的主要目标,对合格的设备热像图来说,电气设备主体应占据照片主要区域。利用这个特点,三相设备热像图中,标定连通区域中像素数量最大的3个区域即是三相设备的主体区域,即设备目标区域。

    图 6所示,搜集所有标定区域的像素数与标签号,找到具有前三多像素数的区域标签,并将其标记到新的矩阵图像中并进行颜色标定。可以看出,图像中标定了三相设备主体所在的最大的3个连通区域,去除了其他干扰区域的影响。

    图  6  三相主体区域提取
    Figure  6.  Three phase main area extraction

    因二值图像目标区域像素值为1,而背景为0,进一步可将新的三相区域二值矩阵与原设备热像图执行对应元素相乘,如图 7所示,能够得到去除所有干扰与背景元素的三相设备热像对比图。

    图  7  三相设备主体目标热图像
    Figure  7.  Thermal image of main target of three-phase equipment

    得到三相设备主体的热图像后,为实现每相设备之间的热状态对比,应将其每相分离至单张图片上,并裁切调整至一致。由于每相所在的连通区域已标定不同标签,能够确定标签及所在位置,因此可为每相区域创建相同大小图像,将三相区域分别标定,即能得到分离的三相设备热图像。

    将每相设备图像如图 8单独分离后,由于其大小有差异以及背景位置不同,为进行对应位置的比对,应将其裁切并调整为相同图片大小与方向。利用每相二值图像记录的设备区域位置裁切,并可通过图像分辨率调整将其调整为等大图像,如图 9所示。

    图  8  设备热图像多相分离
    Figure  8.  Device thermal image multiphase separation
    图  9  单相设备热像图调整
    Figure  9.  Thermal image adjustment of single-phase equipment

    采用同类比较法,判定设备某区域是否出现异常温升,在完成了设备提取和图像调整后,三相热像图应是大小一致的图像。热像图中由颜色亮暗代表温度高低,由比色条色彩标定,由此将热像图矩阵转变为对应像素的温度分布矩阵,即可进行温度对比。可将彩色热像图的RGB像素值转换为反应亮暗程度的灰度图像:

    $$ {\rm{gray}} = 0.299R + 0.587G + 0.114B $$ (5)

    由热像图比色条中给出的图像温度区间[Tmin, Tmax],将灰度图像素值矩阵映射至该温度区间,即:

    $$ T = ({T_{{\rm{max}}}} - {T_{{\rm{min}}}}){\rm{gray}} + {T_{{\rm{min}}}} $$ (6)

    由此可得相同大小设备温度分布矩阵。而根据电气设备的故障发热特点,某处的故障可能会造成该处一片区域发热而产生异常温升,因此,可将每相的温度分布矩阵划分为数个区块,每个区块温度取其均值,以反映每处的温度分布水平。如图 10是实验设备三相的分区块均温分布表。

    图  10  三相分区温度分布表(℃)
    Figure  10.  Three-phase partition temperature distribution table (℃)

    根据各个区块的平均温度值分布情况,还可对各相不同温度范围内的区块数量进行统计,更直观地分析其温度分布情况,如图 11将示例三相断路器的每相的温度分布的区块数量以直方图统计。由图可看出,排除背景的低温区块,该设备温度区块主要分布在30℃~40℃温度范围内。而在更高的温度层级,B相、C相有少量区块的温度跨过了一般范围直接达到60℃~70℃温度范围,相对大多数区块所在温度范围属于较明显的温升,而A相则相对正常,无少量区块相较有明显的温度跃升。

    图  11  每相各温度区块数量分布直方图
    Figure  11.  Histogram of quantity distribution of each temperature block in each phase

    除讨论不同温度范围的区块数量外,各区块相对位置的温度分布情况是判定温升区域的重点。为了能够清晰地看出每相设备的区块温度分布情况,使用常规的红外图像比色条对温度分布表中每区块温度进行映射,如图 12所示。

    图  12  热像图比色条
    Figure  12.  Thermal image colorimetric bar

    将所有区块按温度均值映射回红外图像标记色。如图 13可见,可清晰获取感知每区块的均值温度,而按红外图像温度颜色标记的区块图可清晰地体现区块的温度水平及每相对应区块的温差。为更清晰体现温度比对水平,可进一步将红外比色区块图制为柱状图,如图 14

    图  13  三相设备区块对比
    Figure  13.  Three-phase equipment block comparison
    图  14  三相设备温度对比柱状图
    Figure  14.  Three phase equipment temperature comparison bar chart

    至此,每相设备分区块的温度对比即已清晰明了,只要根据设定的阈值标准,即可判定异常温升的存在,在热成像电力设备故障检测领域中,即可根据同类比较,如同组三相设备、同相设备之间及同类设备之间对应部位的温差进行比较分析,这类判定方法中的相对温差法是一种良好的根据周边温度差值进行温升判定的检测方法[6],利用相对温差δt即同类设备对应测量点间的温差与其中较高温点温升的比值:

    $${\delta _{\rm{t}}} = \frac{{{\tau _1} - {\tau _2}}}{{{\tau _1}}} \times 100\% = \frac{{{T_1} - {T_2}}}{{{T_1} - {T_0}}} \times 100\% $$ (7)

    式中:τ1T1为发热点的温升和温度;τ2T2为正常相对应点的温升和温度;T0为环境温度参照体的温度。以示例三相断路器图谱分析,设定异常温升参考值为20 K,进行区块温差比较计算发现,B相区块中部和C相顶部连接处出现异常温度高值,计算相对四周的δt过大、超限,结果符合图 15的温度区块数分布图的统计分析结果。由此能判定B相和C相均存在区域发生了超限温升热故障。

    图  15  异常温升区块判定
    Figure  15.  Determination of abnormal temperature rise block

    图 15所示,准确地分析出设备存在的发热区域,是快速识别诊断热故障的关键。运用该方法可有效实现三相设备异常温升区域的自动查找。图 16图 17分别为用该方法实现两组不同角度拍摄的三相电流互感器设备发热故障搜寻效果图。

    图  16  三相自搜寻比较法发热查找
    Figure  16.  Three-phase self-search comparative method heat search
    图  17  三相自搜寻比较法发热查找
    Figure  17.  Three-phase self-search comparative method heat search

    基于此,三相自搜寻比较法按照图 1本文方法流程对电力设备热像图进行内部比较判断,自动分析识别,从而能更有效地识别设备温升与热故障。

    该方法适用于具有成套相同设备、多相并列运行等易于进行相间温度比较的电力设备或者相内温升明显易确定相对温差的设备。若针对拍摄角度随意的多相设备热图谱,其记录的各相热信息缺失,较难准确地对各部位的温升情况做出故障判定,另外对于形态较为独特或不连续的设备,其判定能力可能受限。因此本方法对热像图拍摄质量有一定要求,后续研究可通过积累大量热故障判定实例来提高多相判定的准确性和对各种热图谱的兼容性,以提升方法智能化水平。

    以电力设备红外热成像检测中同类比较法与相对温差法为基础,本文提出了一种基于电气设备热信息的三相自搜寻比较检测算法。对电网常见的三相设备、同类设备的检测热像图,本算法针对三相设备热像图的故障显示特征,基于图像处理和温差分析实施对热故障的自动搜寻与处理,获得三相温升比较对象,并进行分区块温度分布统计与自动温升比较分析,实现以同类比较法和相对温差法为分析基础的电力设备热故障高效自动化检测。与传统的设备热像图人工检测分析方法相比,本方法能够实现设备热故障的计算机自动搜寻检测,相对人工检测具有更高的效率和准确度,且能够实现三相设备热故障的全自动化搜寻检测。不足之处是对热像图拍摄角度、质量有一定要求,工程实际中需要对红外检测作业人员的拍摄角度进行必要规范,形成符合要求的三相设备热像图。

  • 图  1   LatLRR分解结果示例

    Figure  1.   Example of LatLRR decomposition results

    图  2   提出的算法框架图

    Figure  2.   The proposed algorithm framework

    图  3   各层分解示例

    Figure  3.   Example of each layer

    图  4   比率金字塔-稀疏表示融合算法示意

    Figure  4.   Schematic diagram of ratio pyramid-sparse representation algorithm

    图  5   不同融合规则融合结果

    Figure  5.   Base layer images of different methods

    图  6   使用的10对源图像

    Figure  6.   Ten pairs of source images

    图  7   9种方法在‘soldier behind smoke’上的结果

    Figure  7.   Results of the nine methods on 'soldier behind smoke'

    图  8   9种方法在“street”上的结果

    Figure  8.   Results of the nine methods on 'street'

    图  9   9种方法在“boat”上的结果

    Figure  9.   Results of the nine methods on 'boat'

    表  1   9种方法在‘soldier behind smoke’、‘street’和‘boat’上的客观指标

    Table  1   Objective evaluation indexes of nine methods on'soldier behind smoke', 'street' and'boat'

    Source image Methods
    ADF CSR TE-MST FPDE GF LatLRR MSVD TIF OURS
    Soldier behind smoke EN 6.892 6.925 6.563 6.899 7.166 6.924 6.894 7.053 7.297
    AG 3.604 3.580 4.500 3.567 3.369 2.674 2.871 3.863 3.232
    CE 3.766 3.014 2.349 3.109 2.982 2.870 3.173 2.485 1.544
    SF 10.606 11.225 11.930 10.161 9.767 7.755 9.693 11.360 8.558
    SD 33.280 34.120 28.180 33.346 39.749 33.797 33.101 36.420 41.472
    EI 33.163 34.478 43.443 32.901 32.719 26.200 25.596 38.837 33.934
    Street EN 6.040 6.013 6.776 6.067 6.133 6.030 5.935 6.414 6.852
    AG 2.682 2.525 3.597 4.105 2.714 2.413 2.176 3.298 5.551
    CE 3.278 3.255 2.994 3.111 3.447 1.076 3.494 2.222 4.863
    SF 9.790 11.064 12.593 12.484 10.445 9.184 9.964 11.612 18.467
    SD 21.981 23.207 35.386 22.172 31.453 27.485 21.149 30.346 42.875
    EI 27.827 26.632 38.053 41.107 28.833 25.682 22.388 35.128 56.952
    Boat EN 5.005 4.965 6.436 4.984 5.362 5.076 4.892 5.226 6.373
    AG 1.728 1.456 2.169 1.681 1.530 1.406 1.215 1.969 2.348
    CE 3.999 3.955 1.396 3.367 4.186 1.571 3.573 3.540 1.780
    SF 6.041 5.764 7.233 5.176 5.429 4.756 3.897 6.303 8.537
    SD 11.082 11.250 33.517 10.800 15.426 12.892 10.456 13.169 27.118
    EI 17.479 15.085 22.265 17.052 15.792 14.562 12.183 20.446 23.994
    下载: 导出CSV

    表  2   9种方法在10对源图像上的客观指标平均值

    Table  2   Average values of objective evaluation indexes of nine methods on ten pairs of source images

    Average Methods
    ADF CSR TE-MST FPDE GF LatLRR MSVD TIF Ours
    EN 6.083 6.068 6.724 6.078 6.310 6.198 6.019 6.340 6.862
    AG 2.743 2.388 3.464 2.840 2.336 2.233 2.074 3.001 3.529
    CE 2.306 2.266 1.558 1.911 2.218 1.354 1.998 1.847 1.393
    SF 7.283 7.011 9.218 7.272 6.725 6.158 6.602 8.144 9.768
    SD 21.866 22.238 32.147 21.771 30.854 24.791 21.416 26.060 35.556
    EI 26.600 23.911 34.097 27.485 23.694 22.300 19.541 30.484 34.776
    下载: 导出CSV

    表  3   9种方法在3种不同分辨率源图像上的运行时间以及平均值

    Table  3   The running time and average value of nine methods on three different resolution source images (seconds per image pair) s

    Source image Resolution Methods
    ADF CSR TE-MST FPDE GF LatRR MSVD TIF Ours
    Boat street 505×510 0.421 52.381 0.006 0.952 0.101 97.959 0.295 0.031 99.247
    Soldier 632×496 0.486 68.214 0.012 1.119 0.232 126.849 0.374 0.028 127.150
    Behind smoke 768×576 0.699 79.660 0.015 1.682 0.146 215.724 0.490 0.088 217.110
    Average - 0.535 66.752 0.011 1.251 0.160 146.844 0.386 0.049 147.836
    下载: 导出CSV
  • [1] 沈英, 黄春红, 黄峰, 等. 红外与可见光融合技术的研究进展[J]. 红外与激光工程, 2021(9): 1-16. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202109014.htm

    SHEN Y, HUANG C H, HUANG F, et al. Infrared and visible image fusion: review of key technologies [J]. Infrared and Laser Engineering, 2021(9): 1-16. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202109014.htm

    [2] 杨孙运, 奚峥皓, 王汉东, 等. 基于NSCT和最小化-局部平均梯度的图像融合[J]. 红外技术, 2021, 43(1): 13-20. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202101003.htm

    YANG S Y, XI Z H, WANG H D, et al. Image fusion based on NSCT and minimum-local mean gradient [J]. Infrared Technology, 2021, 43(1): 13-20. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS202101003.htm

    [3]

    ZHANG X, YE P, XIAO G. VIFB: A Visible and Infrared Image Fusion Benchmark[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops IEEE, 2020: 468-478.

    [4]

    CHEN J, WU K, CHENG Z, et al, A saliency-based multiscale approach for infrared and visible image fusion[J]. Signal Processing, 2021, 182(4): 107936.

    [5]

    LIU Y, CHEN X, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE signal processing letters, 2016, 23(12): 1882-1886. DOI: 10.1109/LSP.2016.2618776

    [6]

    MA J Y, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. DOI: 10.1016/j.inffus.2016.02.001

    [7]

    ZHANG H, XU H, TIAN X, et al. Image fusion meets deep learning: A survey and perspective[J]. Information Fusion, 2021, 76(11): 323-336.

    [8]

    Bavirisetti D P, D Huli R. Two-scale image fusion of visible and infrared images using saliency detection[J]. Infrared Physics & Technology, 2016, 76: 52-64.

    [9]

    LI H, WU X J. Infrared and visible image fusion using latent low-rank representation[J/OL] [2018-04-24]. arXiv preprint. https://arxiv.org/abs/1804.08992.

    [10]

    LIU G, YAN S. Latent low-rank representation for subspace segmentation and feature extraction[C]//International Conference on Computer Vision, 2011: 1615-1622.

    [11] 刘琰煜, 周冬明, 聂仁灿, 等. 低秩表示和字典学习的红外与可见光图像融合算法[J]. 云南大学学报: 自然科学版, 2019, 41(4): 689-698. https://www.cnki.com.cn/Article/CJFDTOTAL-YNDZ201904007.htm

    LIU Y Y, ZHOU D M, NIE R C, et al. Infrared and visible image fusion scheme using low rank representation and dictionary learning[J]. Journal of Yunnan University: Natural Sciences Edition, 2019, 41(4): 689-698. https://www.cnki.com.cn/Article/CJFDTOTAL-YNDZ201904007.htm

    [12] 王凡, 王屹, 刘洋. 利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合[J]. 信号处理, 2020, 36(4): 572-583. https://www.cnki.com.cn/Article/CJFDTOTAL-XXCN202004012.htm

    WANG F, WANG Y, LIU Y. Infrared and visible image fusion method based on sparse representation with structured and spatial consistency constraints[J]. Journal of Signal Processing, 2020, 36(4): 572-583. https://www.cnki.com.cn/Article/CJFDTOTAL-XXCN202004012.htm

    [13]

    LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015(24): 147-164.

    [14]

    LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004

    [15]

    Toet Alexander. The TNO Multiband image data collection[J]. Data in Brief, 2017, 15: 249-251. DOI: 10.1016/j.dib.2017.09.038

    [16]

    Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and Karhunen-Loeve transform[J]. IEEE Sensors Journal, 2015, 16(1): 203-209.

    [17]

    CHEN J, LI X J, LUO L B, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]. Information Sciences, 2020, 508: 64-78. DOI: 10.1016/j.ins.2019.08.066

    [18]

    Ba Virisetti D P. Multi-sensor image fusion based on fourth order partial differential equations[C]//20th International Conference on Information Fusion (Fusion) of IEEE, 2017: 1-9.

    [19]

    MA J Y, ZHOU Y. Infrared and visible image fusion via gradientlet filter[J]. Computer Vision and Image Understanding, 2020, 197: 103016.

    [20]

    Bavirisetti D P, D Huli R. Two-scale image fusion of visible and infrared images using saliency detection[J]. Infrared Physics & Technology, 2016, 76: 52-64.

    [21]

    Naidu V. Image fusion technique using multi-resolution singular value decomposition[J]. Defence Science Journal, 2011, 61(5): 479-484. DOI: 10.14429/dsj.61.705

    [22] 刘智嘉, 贾鹏, 夏寅辉. 基于红外与可见光图像融合技术发展与性能评价[J]. 激光与红外, 2019, 49(5): 123-130. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201905022.htm

    LIU Z J, JIA P, XIA Y H, et al. Development and performance evaluation of infrared and visual image fusion technology[J]. Laser & Infrared, 2019, 49(5): 123-130. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201905022.htm

  • 期刊类型引用(0)

    其他类型引用(1)

图(9)  /  表(3)
计量
  • 文章访问数:  238
  • HTML全文浏览量:  59
  • PDF下载量:  61
  • 被引次数: 1
出版历程
  • 收稿日期:  2021-08-19
  • 修回日期:  2021-09-24
  • 刊出日期:  2022-08-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日