NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合

武凌霄, 康家银, 姬云翔

武凌霄, 康家银, 姬云翔. NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合[J]. 红外技术, 2023, 45(9): 915-924.
引用本文: 武凌霄, 康家银, 姬云翔. NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合[J]. 红外技术, 2023, 45(9): 915-924.
WU Lingxiao, KANG Jiayin, JI Yunxiang. Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain[J]. Infrared Technology , 2023, 45(9): 915-924.
Citation: WU Lingxiao, KANG Jiayin, JI Yunxiang. Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain[J]. Infrared Technology , 2023, 45(9): 915-924.

NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合

基金项目: 

连云港市“海燕计划”基金 2018-QD-011

江苏海洋大学自然科学基金项目 Z2015009

研究生科研与实践创新计划项目 KYCX2021-052

江苏省自然科学基金 BK20191469

详细信息
    作者简介:

    武凌霄(1997-),男,硕士研究生,主要从事图像处理、机器学习方面的研究。E-mail:wlx970831@163.com

    通讯作者:

    康家银(1974-),男,教授,硕士生导师,主要从事图像处理、机器学习方面的研究。E-mail:kangjy@jou.edu.cn

  • 中图分类号: TP391

Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain

  • 摘要: 图像融合技术旨在解决单模态图像呈现信息不充分、不全面的问题。本文针对红外和可见光图像的融合,提出了一种新的在非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)域下基于引导滤波(Guided Filter, GF)和稀疏表示(Sparse Representation, SR)的融合算法。具体地,①利用NSST对红外与可见光图像分别进行分解,以得到各自的高频子带图像和低频子带图像;②使用GF加权融合策略对高频子带图像进行融合;③使用滚动引导滤波器(Rolling Guidance Filter, RGF)将低频子带图像进一步分解为基础层和细节层:其中基础层采用SR进行融合,细节层利用基于一致性验证的局部最大值策略进行融合;④对融合后的高频子带和低频子带图像进行NSST反变换,从而得到最终的融合结果。在公开数据集上的实验结果表明,相较于其它一些方法,本文方法得到的融合结果的纹理细节信息更丰富、主观视觉效果更好,此外,本文算法所得融合结果的客观评价指标也相对占优。
    Abstract: Image fusion technology aims to solve the problem of insufficient and incomplete information provided by a single-modality image. This paper proposes a novel method based on guided filter (GF) and sparse representation (SR) in the non-subsampled shearlet transform (NSST) domain, to fuse infrared and visible images. Specifically, ① the infrared and visible images are respectively decomposed using NSST to obtain the corresponding high-frequency and low-frequency sub-band images; ② The GF-weighted fusion strategy is exploited to fuse the high-frequency sub-band images; ③ Rolling guidance filter (RGF) is used to further decompose the low-frequency sub-band images into base and detail layers, whereby the base layers are fused via SR, and the detail layers are fused using local maximum strategy which is based on consistency verification; ④ An inverse NSST is performed on the fused high-frequency and low-frequency sub-band images to obtain the final fusion result. Compared to those of other methods, experimental results on public datasets show that the fusion result obtained by the proposed method has richer texture detail and better subjective visual effects. In addition, the proposed method achieves overall better performance in terms of objective metrics that are commonly used for evaluating fusion results.
  • 锗(Ge)是一种银灰色的脆性金属,在地壳中的含量约为百万分之七。1886年,德国化学家克莱门斯·温克勒在分析硫银锗时发现了这种物质。作为一种典型的稀有分散金属元素和重要的不可再生战略稀缺资源,在光纤通信、航天、红外光学、化学催化、新能源、半导体材料等领域得到了广泛的应用[1-2]

    相比世界上的大多数国家,我国锗矿资源相对丰富,截至2008年底,已查明的锗资源主要散布于12个省,其中广东、云南、内蒙古、吉林、山西、广西、贵州、江西等8个省/自治区储量最大,占全国锗资源总量的96%左右。锗由于其亲硫、亲铁和亲有机的化学性质,难以独立成矿,通常情况下,它以分散的状态分布在由其他元素组成的矿物中,成为多金属矿床的伴生组分。我国锗资源主要来源于铅锌矿中伴生(占锗总储量的70%左右)和褐煤中含有,其中伴生锗的铅锌矿主要来源于矽卡岩型铅锌矿(湖南长宁)和MVT(The Mississippi Valley-type)型铅锌矿(广东仁化、云南曲靖)。锗含量较高的褐煤矿主要分布于云南和内蒙古,重要的矿床包括云南临沧的大寨、中寨锗矿等,内蒙古锡林郭勒胜利煤田和呼伦贝尔伊敏煤田,前者已开发利用多年,后两者开发利用相对较晚,褐煤中的锗含量相对较低,但未来有望成为我国重要的锗矿资源产地[2]

    1984年,美国将锗金属作为一种国防资源进行战略储备保护。

    2010年,在欧盟委员会的重要报告《对欧盟生死攸关的原料》中,锗被明确列为14种重要矿产资源之一。

    2011年,“十二五”期间,我国的10种国家战略储备稀有金属中就包含锗[1]

    据美国地质调查局(United States Geological Survey,USGS)公布的数据,2019年全球金属锗产量约为130 t,其中我国产量就达到了85 t,俄罗斯6 t,其他国家为40 t(表 1)。2015~2018年期间,美国金属锗进口总量中的59%来自于中国,22%来自比利时,9%来自德国,7%来自俄罗斯,其他来源占比3%(表 2)。

    表  1  2019年全球锗金属产量
    Table  1.  Global germanium metal production in 2019
    China Russia Other countries
    65% 5% 30%
    Other countries: Includes Belgium, Canada, Germany, Japan, and Ukraine
    下载: 导出CSV 
    | 显示表格
    表  2  2015~2018年美国锗金属进口来源
    Table  2.  USA germanium metal import sources from 2015 to 2018
    China Belgium Germany Russia Other countries
    59% 22% 9% 7% 3%
    Notes: Import sources are based on gross weight of wrought and unwrought germanium metal and germanium metal powders
    下载: 导出CSV 
    | 显示表格

    1947年,贝尔实验室使用普渡大学生长且具有良好半导体性能的锗多晶制造了第一个晶体管,普渡大学的研究将锗确立为一种有用且有价值的半导体,并建立了解半导体特性的模型。更可靠的晶体管研发需要高纯度的锗材料,为此,贝尔实验室的蒂尔(Teal)和利特尔(Little)开创了锗单晶生长技术的发展应用,1948年,第一根锗单晶由蒂尔和利特尔用直拉法(Czochralski,CZ)生长[3]。中国科学院院士王守武于1957年,在北京电子管厂拉制出了中国第一根锗单晶[4]

    锗单晶的常用制备方法主要有直拉法和布里奇曼法(Bridgman)。后者又包括水平布里奇曼(Horizontal Bridgman,HB)、垂直布里奇曼(Vertical Bridgman,VB)和垂直梯度凝固法(vertical gradient freeze,VGF),另外的生长方法还有热交换法、定向结晶法等[5]。目前世界上应用范围较广的主要是直拉法和垂直梯度凝固法。

    直拉法和垂直梯度凝固法均使用6N的区熔锗锭作为原材料,通过掺杂不同的微量金属元素生长出用途各异的锗单晶。目前的锗单晶生长设备均采用硅单晶生长设备的制造技术,根据所需锗单晶的生长热场、材料性能、尺寸等具体要求改装而成,比较成熟的全自动设备生产商主要有美国的凯克斯(Kayex)公司、我国的浙江晶盛、上海汉宏等。另外,大连连城于2013年收购美国500强企业斯必克(SPX)旗下的凯克斯单晶炉事业部,从而获得凯克斯的商标及制造技术。

    直拉法主要包括引晶、缩颈、放肩、转肩、等径、收尾等流程。籽晶位于熔体之上,首先找到适合的温度点,将籽晶浸入区熔锗锭熔体中形成非均匀成核,非均匀成核有利的降低临界过冷度,大大提高形核率。通过设计好的热场,有效控制纵向和径向温度分布,然后以一定的速度旋转籽晶并向上提拉,新凝固的晶体在籽晶上缓慢生长成为单晶。通过直拉法生长单晶的关键是为单晶炉配备合理的热场系统,较好的热场分布应该让纵向温度梯度尽可能大,保证晶体生长有足够的动力,又不能过大,避免变晶。径向温度梯度则尽量趋于0,保证结晶界面的平稳。此外,直拉法生长单晶的设备和工艺相对简单,易于实现自动化控制,生产效率高,容易拉制直径较大的单晶,能够更好地控制单晶内的杂质浓度,满足不同应用对锗单晶材料的要求[6]

    垂直梯度凝固法则恰恰相反,籽晶位于熔体之下。首先将区熔锗锭敲断,表面经过化学处理、清洗及烘干,装入坩埚(与直拉法的石墨坩埚不同,一般选用氮化硼坩埚),然后用石英管对其真空封装,将封装完成的石英管按技术要求置入锗单晶炉内。设计好低位错生长型VGF炉热场纵向和径向温度梯度,按照选定的技术参数编制计算机程序群控技术从而实现区熔锗锭的逐渐升温熔化、籽晶结晶生长、用设定拉速控制石英管向下缓慢移动,固液界面精准降温控制结晶界面的形状和生长速度,最后采用封管晶体退火方法获得高均匀性和低应力的锗单晶。垂直梯度凝固法虽然生长速度慢、效率低,但是晶体位错较低。

    锗单晶材料性能不同、用途各异,有用于辐射探测器的高阻锗单晶、用于红外光学器件具有均匀电阻率的锗单晶,以及用于太阳能电池领域中作为砷化镓外延的低阻锗单晶等[6]

    国内生产锗单晶的厂家主要有云南锗业(CZ和VGF)、南京中锗科技股份有限公司(CZ)、有研国晶辉新材料有限公司(CZ)、北方驰宏光电有限公司(CZ)、广东先导稀材股份有限公司(VGF)等。国外的锗单晶生产厂家主要有比利时的Umicore(CZ)、美国AXT(VGF)、德国的Photonic Sense(CZ)、俄罗斯的Germanium and Applications Ltd.等。另外,德国的CGS和Photonic Sense公司经过互相合作,前者提供单晶生长的工艺技术支持,后者负责具体的单晶生长操作,于2005年12月30日对外宣布已经成功研制出世界上直径最大的锗单晶,经过测量直径已超过了360 mm[7]。通过对各公司官网中产品信息的了解,统计出国内外锗单晶主要生产厂家参数指标的大致情况,由于难以进行实地考察,相关数据与各生产厂家的实际情况有可能存在一定的差异(见表 3)。

    表  3  锗单晶参数指标统计
    Table  3.  Germanium single crystal parameter statistics
    Company Growthmethod Conductivitytype Size
    (upon request)
    Larger sizes Resistivity
    (upon request)
    Yunnan Lincang Xinyuan Germanium Co., Ltd CZ N 10-350 mm 380 mm 5-40 Ω·cm
    VGF P 4、6 inch 8 inch 0.001-0.04 Ω·cm
    China Germanium Co., Ltd. CZ N ≤105 mm >105 mm 5-40 Ω·cm
    P 4、6 inch 6 inch 0.001-0.04 Ω·cm
    GRINM Electro-optic Materials Co., Ltd. CZ N 5-350 mm 350 mm 5-40 Ω·cm
    Yunnan KIRO-CH Photonics Co. Ltd. CZ N 10-300 mm 300 mm 5-40 Ω·cm
    Vital Materials Co., Ltd. CZ N 3-310 mm 310 mm 5-40 Ω·cm
    VGF P 4、6 inch 6 inch 0.001-0.04 Ω·cm
    Umicore CZ N 10-350 mm 350 mm 5-40 Ω·cm
    P 0.001-0.04 Ω·cm
    AXT VGF P 4、6 inch 6 inch 0.001-0.04 Ω·cm
    Photonic Sense CZ N 10-330 mm 450 mm 5-40 Ω·cm
    P - 0.001-0.04 Ω·cm
    Germanium and Applications Ltd. CZ N 8-300 mm 300 mm 5-40 Ω·cm
    P 4、6 inch 6 inch 0.01-0.05 Ω·cm
    下载: 导出CSV 
    | 显示表格

    红外光学用锗单晶是目前世界上应用最广泛的红外光学材料之一,通常采用直拉法制备。其成品元件主要包括红外锗透镜和锗窗。其中,红外锗镜头中锗透镜的数量因用途不同而有所差异。军用红外锗镜头对精度和技术要求较高,通常含锗透镜6~10片以上,而民用红外锗镜头技术要求相对较低,一般含锗透镜2~3片,锗窗则一般用于军用设备。假设每个红外热像仪的用锗量为500 g,并假设全球需求的增长速度一直保持在6%左右,2020年预估在红外领域锗的用量将达到47 t(图 1[8]

    图  1  预计2020年红外用锗量(单位:吨)
    Figure  1.  Estimated infrared germanium consumption in 2020(unit: ton)

    目前军用红外产品的国际市场主要被欧美发达国家主导,且在军队中的应用较广,由于红外产品的特殊性,各国往往采取技术封锁、禁止或者限制出口[9]。与之相比,红外产品在我国军事领域的应用尚处于发展初期,在强军思想、军民融合的方针指引下,国家正积极推进军队信息化、武器装备智能化,这必将促进国内军用红外市场的快速增长。现阶段红外用锗单晶受限于生长设备及技术等原因,通常难以生长出直径较大的锗单晶,国外少数企业已具备生长400 mm以上锗单晶的能力,国内企业的水平基本在300~400 mm之间。为了满足机载、舰载等锗窗大于500 mm以上的特殊需求,在锗行业中引入了硅行业的准单晶概念,准单晶主要有无籽晶铸锭和有籽晶铸锭两种工艺,但是准单晶技术如何定义,在行业内尚未达成共识及统一的标准,这项技术对于企业的研发、设计、加工能力均是巨大的考验。

    此外,红外产品相关技术的不断发展和日渐成熟,企业之间在市场中的自由竞争,导致成本和价格降低,红外产品在民用领域的应用越来越广泛,其增长速度远远高于军用领域。现在较为成熟的应用主要是在电力行业的预防和检测方面,随着热像仪在消防、工程建设、安保、森林防火、车载系统等领域的快速发展和应用普及,红外市场潜力巨大。据权威咨询机构Maxtech International的分析,预计2023年全球军用和民用红外市场总额将分别达到107.95亿美元和74.65亿美元(见表 4[8-9]

    表  4  全球军民用红外市场规模及预测
    Table  4.  Global military and civilian infrared market size andforecastMillion Dollars
    Year 2017 2018 2019 2020E 2023E
    Military market 8546 8886 9251 9566 10795
    Civil market 4125 4573 5041 5601 7465
    下载: 导出CSV 
    | 显示表格

    2020年初突然爆发的新型冠状肺炎疫情越发凸显红外锗单晶的重要性。此次新型冠状病毒感染的典型症状之一是患者会出现发热,利用红外测温仪能够迅速筛查和识别有发热症状的疑似传染人员然后进行隔离,因此红外测温仪对打赢此次疫情阻击战至关重要。由于本次疫情的影响,经过调研目前的锗单晶生产企业订货量均有增加,这一突发情况将导致我国红外锗单晶的产量在2020年达到近几年的一个峰值,上面提及到国内的5个锗单晶生产企业按每家年产10~15 t计算,再加上中小型企业的产量,预计2020年的红外锗单晶产量将达到75 t以上,随着疫情结束,2021~2025年将会趋于平稳,但也有望保持每年55~65 t左右的产量。

    太阳能锗晶片主要运用于空间、地面太阳能电站的建设、超亮度汽车用LED灯、还可用于军用设备的充电装置等,约占锗总用量的20%。目前国内主要采用直拉法或者垂直梯度凝固法制备,主要的区别在于直拉法虽然快速和高度可控,但要生长低位错密度锗单晶较为困难。国内外有少数企业通过对直拉锗单晶炉的热场系统进行自主设计改进,优化单晶生长参数,也能生长出合格的低位错P型锗单晶。

    位错密度是决定锗晶体质量的重要参数之一,热应力和晶体温度是影响晶体内位错密度分布的主要因素,实际生产中获得低位错密度的高纯度锗晶体本身就是一个难题,需要晶体生长过程中的知识和经验的积累。为了用直拉法获得低位错锗单晶,俄罗斯圣彼得堡的STR集团公司曾对浮埚法进行过相关研究,热场中包括主坩埚和位于熔体中的附加浮动内坩埚,侧面和底部使用石墨毡保温,主加热器对主坩埚中的锗熔体进行加热,而位于熔体表面上方的副加热器对晶体外围进行加热(图 2[10]。此外,德国相关研究人员也提出了无坩埚接触VGF法锗单晶生长,与常规生长的锗晶体相比,分离生长的晶体具有更优越的结构完美性,位错值比附着生长的晶体低一个数量级以上,这可以归因于生长过程中坩埚壁与晶体之间无接触,从而降低了热应力和热机械应力[11]

    图  2  生长炉方案(1-晶座;2-石英防护罩;3-锥形防护罩;4-副加热器;5-内坩埚;6-主坩埚;7-基座;8-主加热器;9-石墨毡。)
    Figure  2.  The scheme of growth furnace(1-crystal holder; 2-quartz shield; 3-cone shield; 4-additional heater; 5-inner crucible; 6-main crucible; 7-pedestal; 8-main heater; 9-graphite felt)

    砷化镓太阳能电池可以将太阳能直接转换成电能,具有许多优点,如效率高、寿命长、可靠性高等,锗衬底片正是制备太阳能电池的关键材料。因此,太阳能锗单晶材料的品质决定了太阳能电池的关键技术参数及最终的使用性能。

    航空航天领域的迅速发展,将进一步增加以锗晶片为衬底的GaInP/GaAs/Ge三结太阳能电池的用量。现在世界上绝大部分的空间电源都使用锗晶片为衬底的太阳能电池,制造一颗普通卫星,大约需要6000~15000片含有锗衬底的高效太阳能电池。要制造一颗大型卫星,需要数万太阳能电池,建立和维护空间站所需的太阳能锗晶片数量甚至更多。以北斗导航系统等民用和军用卫星发射需求为支撑,预计我国每年将有约20颗卫星发射,需求将稳步增长。而且,锗基Ⅲ-Ⅴ族化合物半导体电池的光电转换效率为30%左右,远高于硅太阳能电池,电池寿命也将延长20%以上[1]

    太阳能电池用锗晶片的优越性能决定了其在空间光伏领域的不可替代性。由于GaAs太阳能电池在地面光伏领域价格相对较高,商业化应用缓慢。假设每颗卫星的平均锗用量为275 kg,未来的卫星保持年发射增长率约为7%的速度。预计到2020年,光伏领域对锗的需求量将达到43 t(图 3[8]

    图  3  预计2020年光伏用锗量(单位:吨)
    Figure  3.  Estimated germanium amount for photovoltaic in 2020 (unit: ton)

    高纯锗单晶材料是世界上最高端的锗产品,纯度达到13N,是制造高纯锗探测器(HPGe)的核心材料。为了达到探测器的使用要求,就必须保证锗单晶的材料性能,因此锗单晶的生长制备工艺难度极高,但是高纯锗探测器与其他探测器相比,具有能量分辨率好、探测效率高、稳定性强等无可比拟的优点。它对X射线、γ射线的能量分辨率可达千分之几,比HgI2、CdTe、GaAs等常用探测器的能量分辨率高一个数量级(见表 5[12]

    表  5  高纯锗探测器能量分辨率的优势
    Table  5.  Advantages of high purity germanium detector energy resolution
    Detector Ray energy/keV FWHM(full width at half maxima)/keV
    HPGe 1330 1.75
    HgI2 1330 22
    CdTe 1330 25
    GaAs 1330 22
    下载: 导出CSV 
    | 显示表格

    20世纪60年代,因为制备的锗单晶纯度不高(1013~1014 cm-3),锂漂移被引入,它可以补偿锗晶体中的p型受体杂质,但是制备探测器的工艺复杂,且要在液氮温度下储存。直到70年代初,通过对直拉法的改进生长出的高纯锗晶体,才将电活性杂质的浓度降低到1010 cm-3,从而满足高纯锗探测器的制造要求,除此之外,位错密度和分布的均匀性也会影响探测器的性能。由于高纯锗探测器的特殊性能,不仅成为核物理、粒子物理、天体物理实验研究的首选,而且被逐渐应用到核工业、军事、医学、海关检查等多个领域[12-13]

    美国于1965年和1972年分别研发出锗(锂)探测器和HPGe探测器,目前这两种探测器均已批产,然而高纯锗单晶的生长工艺和关键技术参数从未公布[14]。高纯锗单晶的制备首先对锗原料进行区熔提纯,然后采用范德波霍尔(van der Pauw Hall)测量方法对其电性能进行测量,如果区熔锗锭的杂质水平达到1010~1011 cm-3,相对于原区熔锗锭的1013~1014 cm-3减少3个数量级,这种提纯后的区熔锗就可以用来生长高纯锗单晶。晶体生长后,使用x射线衍射分析、范德波霍尔测量、光热电离光谱(photo thermal ionization spectroscopy,PTIS)和位错测量来表征生长的晶体。若晶体的杂质水平达到109~1010 cm-3,位错密度范围在102~104 cm-2之间,就可以用来制作探测器。因此,在高纯锗单晶制备过程中,对生长后的晶体进行表征必不可少(图 4[15]

    图  4  高纯锗晶体生长与探测器制作流程图
    Figure  4.  Flow chart of HPGe crystal growth and detector fabrication

    2019年,南达科他大学(University of South Dakota)在美国能源部以及南达科他州的支持下,经过7年的项目研发,现已生长出最大直径达5 in(127 mm)的高纯锗单晶[16]。尽管我国在高纯锗单晶和探测器制备上已经取得了一些进展,但目前国内尚未完全掌握成熟的制备技术,离真正的产业化应用还有不小的差距。据相关研究资料表明,每年我国需要从奥泰克(ORTEC),堪培拉(Canberra)等美国公司进口数百个高纯锗探测器,金额巨大。自20世纪70年代以来,欧美一直主导着高纯锗单晶和探测器的国际市场。他们以每公斤8000~10000元的价格从我国购买区熔锗,经深加工成高纯锗单晶后以30~40倍的价格向我们出售,最高可达25~30万元每公斤。含一公斤锗的高纯锗探测器的价格则是原材料的60到100倍。要改变这一现状,打破欧美的技术垄断,唯一途径就是通过国内相关领域研究人员的共同努力以及相关政策支持,真正研发出自主可控的高纯锗单晶材料[12]

    我国金属锗资源储量虽居世界第二,也是金属锗的主要生产国,但是在精加工领域的技术比较薄弱,一直以来仍以供应初级锗原材料为主。鉴于锗的资源稀缺性,应加强锗资源的管控和利用,合理的对锗产业中下游加工和应用布局。

    现阶段国内锗单晶的生产厂家主要以直拉法和垂直梯度凝固法为主,生产能力以及技术水平差别不大。随着直拉法以及垂直梯度凝固法在锗单晶生产过程中的日渐成熟,红外光学用锗单晶、太阳能电池用锗单晶已经得到广泛的应用,但是在产品尺寸、性能、质量等方面仍有进一步提升的空间。而高纯锗单晶由于提纯工艺难度大,研制基础薄弱,技术水平与国外相比差距较大。因此,需要加强对高纯锗单晶产业的研发力度,加快产学研合作的步伐,早日实现高纯锗单晶的自主研制和推广应用。

  • 图  1   本文提出的用于红外和可见光图像融合的算法框架图

    Figure  1.   Algorithm framework of the proposed method for infrared and visible image fusion

    图  2   NSST高频子带融合框架

    Figure  2.   Fusion framework of NSST high frequency sub-band

    图  3   NSST低频子带基础层的融合框架

    Figure  3.   Framework of the base layer of the low frequency sub-band

    图  4   NSST低频子带细节层源图像及融合结果

    Figure  4.   Source images and fused image of the detail layer of the NSST low frequency sub-band

    图  5   不同算法的融合结果

    Figure  5.   Fused results of different algorithms

    图  6   不同算法在融合10组图像时取得的评价指标

    Figure  6.   Evaluation index regarding 10 pairs of images resulted by the different fusion algorithms

    图  7   迭代次数N对融合性能的影响

    Figure  7.   Impact of the number of iterations on fusion performance

    图  8   不同算法的融合结果

    Figure  8.   Fused results of different algorithms

    表  1   不同算法在融合10组图像时取得的评价指标的平均值

    Table  1   Average value of evaluation index regarding 10 pairs of images resulted by the different fusion algorithms

    Method Metric
    AG IE SF QAB/F NCIE Qe
    GTF 2.3751 6.8289 6.7526 0.3520 0.8095 0.3190
    ASR 2.2214 6.2858 6.6897 0.3040 0.8047 0.5888
    GFF 2.8831 6.7084 7.8868 0.5446 0.8062 0.5556
    NSCT-SR 3.0440 6.3341 8.2105 0.4922 0.8046 0.6437
    CSR 2.4636 6.2832 6.8114 0.4668 0.8049 0.5900
    Our 3.2777 6.9005 8.6467 0.5338 0.8091 0.6598
    下载: 导出CSV

    表  2   尺度参数Rrgf对融合性能的影响

    Table  2   Impact of the scale parameter on fusion performance

    Value of the parameter Rrgf AG IE SF QAB/F NCIE Qe
    4 3.25744 6.85791 8.62015 0.53398 0.81018 0.65698
    8 3.26514 6.86893 8.63135 0.53501 0.80989 0.65918
    16 3.27777 6.90049 8.64670 0.53375 0.80912 0.65978
    32 3.29768 6.95487 8.68145 0.52785 0.80812 0.65647
    下载: 导出CSV

    表  3   不同算法在融合10组图像时取得的评价指标的平均值

    Table  3   Average value of evaluation index regarding 10 pairs of images resulted by the different fusion algorithms

    Methods Metric
    AG IE SF QAB/F NCIE Qe
    Max-absolute 3.2738 6.8993 8.6385 0.5339 0.8090 0.6614
    Ours 3.2777 6.9005 8.6467 0.5338 0.8091 0.6598
    下载: 导出CSV
  • [1]

    MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004

    [2]

    LIU Y P, JIN J, WANG Q, et al. Region level based multi-focus image fusion using quaternion wavelet and normalized cut[J]. Signal Processing, 2014, 97: 9-30. DOI: 10.1016/j.sigpro.2013.10.010

    [3]

    Toet A. Image fusion by a ratio of low-pass pyramid[J]. Pattern Recognition Letters, 1989, 9(4): 245-253. DOI: 10.1016/0167-8655(89)90003-2

    [4]

    Choi M, Kim R Y, Nam M R, et al. Fusion of multispectral and panchromatic satellite images using the curvelet transform[J]. IEEE Geoscience and Remote Sensing Letters, 2005, 2(2): 136-140. DOI: 10.1109/LGRS.2005.845313

    [5]

    Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46. DOI: 10.1016/j.acha.2007.09.003

    [6] 康家银, 陆武, 张文娟. 融合NSST和稀疏表示的PET和MRI图像融合[J]. 小型微型计算机系统, 2019, 40(12): 2506-2511. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX201912006.htm

    KANG J Y, LU W, ZHANG W J. Fusion of PET and MRI images using non-subsampled shearlet transform combined with sparse representation[J]. Journal of Chinese Computer Systems. 2019, 40(12): 2506-2511. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX201912006.htm

    [7]

    LIU Z W, FENG Y, CHEN H, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]. Optics and Lasers in Engineering, 2017, 97: 71-77. DOI: 10.1016/j.optlaseng.2017.05.007

    [8] 董安勇, 杜庆治, 苏斌, 等. 基于卷积神经网络的红外与可见光图像融合[J]. 红外技术, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009

    DONG A Y, DU Q Z, SU B, et al. Infrared and visible image fusion based on convolutional neural network[J]. Infrared Technology, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009

    [9] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    YE K T, LI W, SHU L L, et al. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]. Infrared Technology, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805

    [10] 王晓娜, 潘晴, 田妮莉. 基于NSST-DWT-ICSAPCNN的多模态图像融合算法[J]. 红外技术, 2022, 44(5): 497-503. http://hwjs.nvir.cn/article/id/0644931d-58ad-4bbd-a752-5f4bbd2061e1

    WANG X N, PAN Q, TIAN N L. Multi-modality image fusion algorithm based on NSST-DWT-ICSAPCNN[J]. Infrared Technology, 2022, 44(5): 497-503. http://hwjs.nvir.cn/article/id/0644931d-58ad-4bbd-a752-5f4bbd2061e1

    [11] 常莉红. 基于剪切波变换和稀疏表示理论的图像融合方法[J]. 中山大学学报: 自然科学版, 2017, 56(4): 16-19. https://www.cnki.com.cn/Article/CJFDTOTAL-ZSDZ201704003.htm

    CHANG L H. Fusion method based on shearlet transform and sparse representation[J]. Acta Scientiarum Naturalium Universitatis Sunyatsen, 2017, 56(4): 16-19. https://www.cnki.com.cn/Article/CJFDTOTAL-ZSDZ201704003.htm

    [12] 王相海, 邢俊宇, 王鑫莹, 等. 基于剪切波和低秩稀疏表示的噪声图像融合算法研究[J]. 辽宁师范大学学报: 自然科学版, 2022, 45(2): 191-200. https://www.cnki.com.cn/Article/CJFDTOTAL-LNSZ202202008.htm

    WANG X H, XING J Y, WANG X Y, et al. Noisy image fusion algorithm based on shearlet and low-rank sparse representation[J]. Journal of Liaoning Normal University (Natural Science Edition), 2022, 45(2): 191-200. https://www.cnki.com.cn/Article/CJFDTOTAL-LNSZ202202008.htm

    [13] 吴月. 基于非下采样剪切波变换和稀疏表示的图像融合算法研究[D]. 北京: 北京交通大学, 2018.

    WU Y. Image Fusion Algorithm Based on Sparse Representation and Non-Subsampled Shearlet Transform[D]. Beijing: Beijing Jiaotong University, 2018.

    [14]

    HE K M, SUN J, TANG X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409. DOI: 10.1109/TPAMI.2012.213

    [15]

    ZHANG Q, SHEN X, XU L, et al. Rolling guidance filter[C]//13th European Conference on Computer Vision, 2014: 815-830.

    [16]

    MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.

    [17]

    Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322. DOI: 10.1109/TSP.2006.881199

    [18]

    YANG B, LI S T. Multifocus image fusion and restoration with sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892. DOI: 10.1109/TIM.2009.2026612

    [19]

    LI H, Manjunath B S, Mitra S K. Multisensor image fusion using the wavelet transform[J]. Graphical Models and Image Processing, 1995, 57(3): 235-245.

    [20]

    MA J Y, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109.

    [21]

    LIU Y, WANG Z F. Simultaneous image fusion and denoising with adaptive sparse representation[J]. IET Image Processing, 2015, 9(5): 347-357.

    [22]

    LI S T, KANG X D, HU J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875.

    [23]

    LIU Y, LIU S P, WANG Z F. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164.

    [24]

    LIU Y, CHEN X, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886.

    [25]

    SHEN Y, NA J, WU Z D, et al. Tetrolet transform images fusion algorithm based on fuzzy operator[J]. Journal of Frontiers of Computer Science and Technology, 2015, 9(9): 1132.

    [26] 敬忠良, 肖刚, 李振华. 图像融合—理论与应用[M]. 北京: 高等教育出版社, 2007.

    JING Z L, XIAO G, LI Z H. Image Fusion: Theory and Applications[M]. Beijing: High Education Press, 2007. (in Chinese)

    [27]

    ZHENG Y, Essock E A, Hansen B C, et al. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]. Information Fusion, 2007, 8(2): 177-192.

    [28]

    Xydeas C S, Petrovic V S. Objective pixel-level image fusion performance measure[C]//AeroSense, 2000: 89-98.

    [29]

    WANG Q, SHEN Y, JIN J. Performance Evaluation of Image Fusion Techniques[M]. Amsterdam: Elsevier, 2008: 469-492.

    [30]

    Piella G, Heijmans H. A new quality metric for image fusion[C]// International Conference on Image Processing, IEEE, 2003(2): Ⅲ-173-6.

  • 期刊类型引用(6)

    1. 黄洁,杨晶媛,徐海华,普凌. 云南锗产业发展现状及对策建议. 中国科技产业. 2024(05): 53-55 . 百度学术
    2. 陈应红,彭伟校. 含氟锗精矿氯化蒸馏固氟工艺研究. 广州化工. 2024(18): 154-156 . 百度学术
    3. 张臣智,李文琪,李静川,滕祥青,代兵,徐梁格,朱嘉琦. 红外罩失效及修复研究进展. 表面工程与再制造. 2024(05): 11-31 . 百度学术
    4. 向兴宇. 锗在太阳能电池中的应用. 现代工业经济和信息化. 2023(01): 170-172 . 百度学术
    5. 方迪,苏春风,孙梦荷. 碱熔-电感耦合等离子体原子发射光谱(ICP-AES)法测定锗精矿中锗的含量. 中国无机分析化学. 2023(08): 869-874 . 百度学术
    6. 许丰,郭建友,於国兵,徐平,张建. 基于虚拟刻度原理对放射性体源效率刻度方法的发展. 原子核物理评论. 2022(03): 352-358 . 百度学术

    其他类型引用(5)

图(8)  /  表(3)
计量
  • 文章访问数:  184
  • HTML全文浏览量:  48
  • PDF下载量:  48
  • 被引次数: 11
出版历程
  • 收稿日期:  2022-08-01
  • 修回日期:  2022-09-12
  • 刊出日期:  2023-09-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日