全局-局部注意力引导的红外图像恢复算法

刘晓朋, 张涛

刘晓朋, 张涛. 全局-局部注意力引导的红外图像恢复算法[J]. 红外技术, 2024, 46(7): 791-801.
引用本文: 刘晓朋, 张涛. 全局-局部注意力引导的红外图像恢复算法[J]. 红外技术, 2024, 46(7): 791-801.
LIU Xiaopeng, ZHANG Tao. Global-Local Attention-Guided Reconstruction Network for Infrared Image[J]. Infrared Technology , 2024, 46(7): 791-801.
Citation: LIU Xiaopeng, ZHANG Tao. Global-Local Attention-Guided Reconstruction Network for Infrared Image[J]. Infrared Technology , 2024, 46(7): 791-801.

全局-局部注意力引导的红外图像恢复算法

基金项目: 

船舶总体性能创新研究开放基金项目 14422102

详细信息
    作者简介:

    刘晓朋(1998-),男,陕西汉中人,硕士研究生,主要从事深度学习,图像处理。E-mail: 6201910027@stu.jiangnan.edu.cn

  • 中图分类号: TP394.1

Global-Local Attention-Guided Reconstruction Network for Infrared Image

  • 摘要:

    针对真实世界的红外图像恢复算法中存在的图像模糊、纹理失真、参数过大等问题,提出了一种用于真实红外图像的全局-局部注意力引导的超分辨率重建算法。首先,设计了一种跨尺度的全局-局部特征融合模块,利用多尺度卷积和Transformer并行融合不同尺度的信息,并通过可学习因子引导全局和局部信息的有效融合。其次,提出了一种新颖的退化算法,即域随机化退化算法,以适应真实红外场景图像的退化域。最后,设计了一种新的混合损失函数,利用权重学习和正则化惩罚来增强网络的恢复能力,同时加快收敛速度。在经典退化图像和真实场景红外图像上的测试结果表明,与现有方法相比,该算法恢复的图像纹理更逼真,边界伪影更少,同时参数总数最多可减少20%。

    Abstract:

    To solve the problems of image blur smoothing, texture distortion, and excessively large parameters in real-world infrared-image recovery algorithms, a global-local attention-guided super-resolution reconstruction algorithm for infrared images is proposed. First, a cross-scale global-local feature fusion module utilizes multi-scale convolution and a transformer to fuse information at different scales in parallel and to guide the effective fusion of global and local information by learnable factors. Second, a novel domain randomization degradation model accommodates the degradation domain of real-world infrared images. Finally, a new hybrid loss based on weight learning and regularization penalty enhances the recovery capability of the network while speeding up convergence. Test results on classical degraded images and real-world infrared images show that, compared with existing methods, the images recovered by the proposed algorithm have more realistic textures and fewer boundary artifacts. Moreover, the total number of parameters can be reduced by up to 20%.

  • 在红外热成像设备的设计和应用中,经常针对不同厂家或者不同型号的红外探测器定制非标的红外图像处理算法,以及标定不同的算法参数。由于算法模型或者算法参数经常变化,导致设计算法、仿真、在硬件上调试算法的时间很多,开发周期很长,开发效率低下等问题。而常规的红外图像处理算法,包括数据采集、时域滤波、非均匀性校正、空域滤波、锐化增强、坏点校正以及调光映射等。设计的初期,需要从算法原理设计、算法模型的建立、数学过程的计算,转化成可实现的编程语言,然后实现和显示。

    随着小型化、低功耗、低成本的红外热成像设备应用的普及和民用。FPGA处理器非常适合于该种应用需求,FPGA是高速并行的处理器,适合于图像阵列的算法处理和加速,并且功耗低,可反复编程设计,所以常应用于红外热成像设备中。

    基于FPGA的红外图像处理算法,仿真流程示意图如图 1所示。

    图  1  传统仿真方法示意图
    Figure  1.  Schematic diagram of traditional simulation methods

    图 1中可知,利用FPGA处理器进行图像处理,需要两步的仿真结果。

    第一步:根据算法需求,设计算法原理,在Matlab软件上编程实现算法过程,先用浮点数进行设计和计算,代码设计和编写完成后,导入测试图像,进行仿真和显示,在显示窗口中显示出来[1-4]。对显示出来的图像效果进行评估,看看图像效果有没有达到算法原理期望的结果,如果没有,调整算法参数和实现过程,反复迭代调整直至图像效果达到期望的结果。达到期望结果后,进行定点化设计,将算法实现过程中的浮点数,全部转化成定点化数,比如INT8、INT16、INT32等,并且转化完成后,保证算法实现的结果仍然达到期望值,不损失精度,不丢失细节。然后再更换测试图像,测试数据设计成依次递增或者递减的特征数据,再进行仿真。

    第二步:文献[5]、[6]提出定点化之后的算法原理和实现过程,编写FPGA的硬件描述语言,设计FPGA的逻辑,将第一步过程中的算法原理实现出来,再进行ModelSim仿真,仿真测试的输入激励是第一步中同样依次递增或者递减的特征数据,得到仿真结果,与第一步中每个关键节点(关键步骤)的结果进行比对,保证每一步的结果都与Matlab仿真的结果相同,才能确保算法效果的达到。

    传统的红外图像仿真方法,分成上述两个步骤,先要进行Matlab仿真,显示评判效果达到之后,再启动定点化,将定点化之后的算法过程转化成FPGA中可以实现的过程,并用FPGA的硬件描述语言实现相关的逻辑,再进行ModelSim仿真,由于ModelSim不能像Matlab工具一样方便导入一张图像(图片数据)进行仿真,仿真结果不能直观地可视化显示。所以在第一步、第二步过程中,输入激励的时候制作一些递增、递减的相同特征数据进行仿真。对每一步关键步骤和最后结果的仿真比对,保证数据正确,才能保证算法原理的实现和算法效果的达到。

    从上述传统的红外图像仿真过程看,既要实现Matlab代码编写、仿真、还要做定点化设计。等FPGA代码编写完成后,在ModelSim仿真的时候还要进行每一步过程的计算结果比对,并且不能直接可视化的方式看到算法运行的结果。存在实现过程复杂、开发效率低下,开发周期长等问题。针对这些问题,本文提出了一种新的基于ModelSim可视化仿真的红外图像仿真方法。如图 2所示为本文的实现框图。

    图  2  基于modelsim的红外图像仿真框图
    Figure  2.  Simulation block diagram of image based on modelsim

    图 2中可知,基于ModelSim可视化的红外图像仿真方法相比传统的红外图像仿真方法,仿真过程简单很多,开发效率也会提高很多。在算法原理设计完成后,直接编写FPGA的硬件描述语言实现算法计算过程,再进行ModelSim仿真,仿真的时候,不再用特定的递增数据或者递减的特征数据做输入激励,而是用之前原始采集到的红外图像,如果算法原理是针对16 bit的原始红外图像处理,可以是Y16数据,针对8 bit的调光之后红外图像处理可以是Y8数据,之前采集到的红外图像Y16或者Y8数据,存放在RAW文件中。而RAW文件中的图像数据是可以用ImageJ查看的,ImageJ工具可以直接显示16位或者8位的RAW图像。

    对于红外图像算法所用到的数据文件——RAW文件,是不能直接导入ModelSim进行仿真的,需要经过binary工具将raw文件转换成txt文件,在ModelSim中通过系统调用$readmemb/ readmemh函数读入TXT文件的方式读入到内存中,然后进行图像算法处理,算法处理完成,调用$writememb/ $writememh函数将算法处理之后的图像写入txt文件中,通过txt2bin工具,将txt格式的数据转换成bin文件,再通过直接改后缀名,将.bin改成.raw文件。这样输入输出都是raw格式的数据文件,导入ImageJ工具中显示,以可视化的方式显示出了图像。

    所以,这样红外图像算法处理的输入是图像数据,输出是处理之后的图像数据,可以直观地在ImageJ工具中显示出来对比,分析红外图像算法的处理过程是否正确。并且每一步的计算过程和关键步骤的结果也可以通过如图 3内存查看的方式、图 4内存读写过程仿真的方式查看数据在内存中存储、写入和读出是否异常。并通过如图 5红外图像算法处理仿真过程来查看数据计算过程正确与否。

    图  3  红外图像算法处理内存数据
    Figure  3.  Infrared image algorithm processing memory data
    图  4  红外图像数据内存读写仿真波形数据
    Figure  4.  Infrared image data memory reading and writing simulation waveform data
    图  5  红外图像算法处理仿真波形数据
    Figure  5.  Infrared image algorithm processing simulation waveform data

    这样数据输入,写入内存,然后从内存中读出,再进行红外图像算法处理,每一步数据的处理都是可以查询和追溯的,所以既方便又快捷。如图 6所示为本文进行红外图像滤波降噪算法处理过程中的输入源图和处理完成之后输出结果对比图Image显示,图 7为本文中基于ModelSim仿真过程中输入输出文件结构示意图。

    图  6  红外图像滤波降噪输入输出对比图
    Figure  6.  Infrared image filtering noise reduction input and output contrast diagram
    图  7  基于ModelSim仿真过程文件结构示意图
    Figure  7.  Schematic diagram of file structure based on ModelSim

    在反复调整算法过程,以及算法参数的情况下,能够很快得到想要的算法结果,比如图 6中右边是降噪之后的效果图,降噪之后,图像噪声能消除了,但是图像变得模糊了,说明降噪算法参数设置不合适,通过调整滤波器的系数和阈值之后,降噪效果有明显的改善,如图 8所示。

    图  8  红外图像滤波降噪后优化参数效果图
    Figure  8.  Optimization parameter effect after infrared image filtering and noise reduction

    上述图 6图 8中的红外图像滤波降噪算法为非局部平均滤波降噪算法,算法流程如图 9所示。这种降噪算法是一种利用图像自相似性的空域滤波算法,相比传统高斯平滑、双边滤波等方法,保护更多的图像细节。图像各点之间可以同时进行运算,非常适合于在FPGA并行处理器上运算。根据相似性计算权重的时候,如果相似性阈值选择太大,算法滤波出来的效果如图 6所示,过度平滑了,图像变模糊了,而选择合适的相似性阈值,得到滤波出来的效果如图 8所示,既能滤除噪声,又能保留图像细节。在该种红外图像仿真方法中能很快得到一组适合的算法参数。

    图  9  非局部平均降噪算法流程图
    Figure  9.  Non local average noise reduction algorithm flowchart

    基于该种ModelSim可视化的红外图像仿真方法,能够快速地修改算法参数和调整算法计算过程,运行之后得到图像算法的仿真结果,并且输入、算法计算、输出等环节里的每一步数据都是可以通过内存或者波形查看的方式追溯数据处理过程,保证数据向着期望的方向计算和处理。

    本文提出两种红外图像的仿真方法,传统的红外图像仿真方法,需要进行Matlab仿真,仿真结束后,再进行定点化设计,才能指导FPGA进行编程和实现,最后启动ModelSim的仿真,并且传统的ModelSim仿真并不能直接对图像数据的输入进行仿真并且可视化,而是制作相关的递增或者递减的特征数据作为输入,并且Matlab仿真同样以该特征数据作为输入,进行仿真,最后对2组仿真数据结果进行比对,比对结果一致代表该算法在FPGA中运行正常,能达到期望的算法效果。该过程复杂、繁琐、开发效率低下、开发周期长等问题不可忽视。所以本文在传统的红外图像仿真方法上进行了改进和优化,提出了一种新的基于ModelSim可视化的红外图像仿真方法与系统。该种方法在传统方法上省去了Matlab仿真的过程和环节,同时也省去了定点化的设计过程。在算法原理设计完成后,启动FPGA硬件描述语言的编写和仿真,只是在仿真的时候,输入图像可以用之前采集好的红外图像或者用PS工具生成一张图片,保存为.raw文件,在仿真输入的时候用binary工具将raw格式文件转换成txt文件,就可以启动仿真过程了,仿真结束后,生成的结果TXT,再通过txt2bin工具,将txt格式的数据转换成bin文件,再通过直接改后缀名的方式,将.bin改成.raw文件。用ImageJ工具打开source.raw和result.raw文件就可以直观地对比显示在图像窗口上了。并且对于算法参数、计算过程的调整,也是很快得到相应的输出结果。该过程相对传统的Matlab仿真和ModelSim联合仿真要方便很多,尤其是在算法调整和参数的调整的情况下,又要重复一遍Matlab仿真,再去ModelSim仿真的过程。但是该种方法对于红外图像算法原理的理解和FPGA逻辑实现图像算法的能力要求比较高。并且本文针对红外图像的仿真方法与传统的红外图像仿真方法,在适用范围上是一样的,对象都是红外图像的算法仿真。针对具体的算法模型,需要将算法分解成各计算步骤,然后针对各计算步骤进行数据仿真,所以对于其他文献[7]中不同的算法,比如弱小目标的背景的抑制,突出目标的增强算法等都是一样的仿真过程。

    对于红外图像处理算法在FPGA的实现过程中,本文阐述了传统的仿真方法,先进行Matlab仿真,仿真效果达到的前提下,再进行定点化设计,指导FPGA进行逻辑设计,完成算法原理的实现,最后启动ModelSim仿真,而且仿真结果的正确评判标准是与Matlab仿真结果比对一致,不一致的话,要优化定点化过程,再进行仿真,重复直至结果一致。而本文的仿真方法基于ModelSim的可视化仿真,省去了上述繁琐的开发过程,直接将图像源文件转化后导入ModelSim仿真,算法处理完成后,转成图像结果文件进行比对,用可视化的方式评判图像经过算法处理之后是否达到算法原理期望达到的算法效果。同时如果算法未到达期望效果,通过调整参数、算法实现过程,以及追溯输入图像、写入、读出内存过程,判断图像算法计算过程中数据的正确与否。所以该方法与传统的红外图像仿真方法相比,评估算法效果以可视化显示输入、输出对比图差异性来达到。评估算法计算过程的正确性,同样可以追溯数据处理过程的每一步的正确性来达到。所以该仿真方法的仿真效果是与传统的方法一致的。但是开发过程缩减了和效率上大大提升了,开发周期短。尤其是在反复调参和优化过程中,显得更为明显和方便便捷。

  • 图  1   比例因子为2的退化模型的示意图

    Figure  1.   Schematic illustration of the proposed degradation model for a scale factor of 2

    图  2   用于图像恢复的GLAGSR的架构

    Figure  2.   The architecture of the proposed GLAGSR for image restoration

    图  3   全局-局部特征融合块

    Figure  3.   Global-local feature fusion block

    图  4   多尺度卷积块(a)和分组残差GFF块(b), β是残差比例参数

    Figure  4.   The multi-scale convolution block (a)and the grouped residual GFF block (GR-GFF Block) (b), and β is the residual scaling parameter

    图  5   GLAGSR不同设置下的消融研究. (a)不同的GR-GFF数量块; (b)不同的LR图像块; (c)不同的数量块

    Figure  5.   Ablation study on different settings of GLAGSR. (a)Different GR-GFF block numbers; (b) Different Patch sizes; (c) Different block numbers

    图  6   鉴别器设计的消融研究

    Figure  6.   Ablation of two discriminator designs

    图  7   对于Urban100上的图像SR(×2),PSNR结果与不同方法的参数总数相比较

    Figure  7.   PSNR results vs the total number of parameters for different methods for image SR (×2) on Urban100

    图  8   超分辨率(×4)方法在红外图像上的视觉比较

    Figure  8.   Visual comparison of super-resolution (×4) methods on real-world infrared images

    表  1   GFF模块数量设计的消融研究表

    Table  1   Ablation study on GFF block number design

    GFF block number 2 3 4
    PSNR 32.60 32.68 32.64
    SSIM 0.8999 0.9010 0.9011
    下载: 导出CSV

    表  2   权重因子的消融研究表

    Table  2   Ablation study on weight factor

    Weight Factor w0: w1=1 w0: w1=2 w0: w1=0.5
    PSNR 32.15 32.68 32.04
    SSIM 0.8887 0.9012 0.8786
    下载: 导出CSV

    表  3   损失函数的消融研究表

    Table  3   Ablation study of the proposed hybrid loss

    Index Loss1 Loss2 Loss3 Loss4 Loss5
    L1 × × ×
    Lp × × ×
    Lg × × ×
    Ld × ×
    PSNR 32.62 32.58 32.53 32.51 32.68
    SSIM 0.9000 0.8994 0.8985 08987 0.9011
    下载: 导出CSV

    表  4   基准数据集上双三次退化图像的超分辨率性能(PSNR/SSIM)与最新方法的定量比较

    Table  4   Quantitative comparison of super-resolution performance (average PSNR/SSIM) with the state-of-the-art methods for bicubic degradation images on benchmark datasets

    Method Scale Training dataset Set5[10] Set14[8] BSD100[7] Urban100[7]
    PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM
    SRCNN[6] ×2 DIV2K 36.66 0.9542 32.45 0.9067 31.36 0.8879 29.50 0.8946
    EDSR[9] ×2 DIV2K 38.11 0.9602 33.92 0.9195 32.32 0.9013 32.93 0.9773
    RDN[14] ×2 DIV2K 38.24 0.9614 34.01 0.9212 32.34 0.9017 33.39 0.9353
    RCAN[22] ×2 DIV2K 38.27 0.9614 34.12 0.9216 32.41 0.9027 33.34 0.9384
    SAN[28] ×2 DIV2K 38.31 0.9620 34.07 0.9213 32.42 0.9028 33.10 0.9370
    HAN[23] ×2 DIV2K 38.27 0.9614 34.16 0.9217 32.42 0.9027 33.35 0.9385
    NLSA[2] ×2 DIV2K 38.34 0.9618 34.08 0.9231 32.43 0.9027 33.42 0.9394
    GLAGSR (Ours) ×2 DIV2K 38.37 0.9616 34.17 0.9221 32.48 0.9029 33.49 0.9395
    SRCNN[6] ×3 DIV2K 36.66 0.9542 32.45 0.9067 31.36 0.8879 29.50 0.8946
    EDSR[9] ×3 DIV2K 34.76 0.9290 30.66 0.8481 29.32 0.8104 29.02 0.8685
    RDN[14] ×3 DIV2K 34.58 0.9280 30.53 0.8447 29.23 0.8079 28.46 0.8582
    GLAGSR (Ours) ×3 DIV2K 34.90 0.9314 30.80 0.8498 29.40 0.8130 29.55 0.8751
    SRCNN[6] ×4 DIV2K 30.84 0.8628 27.50 0.7513 26.90 0.7101 24.52 0.7221
    EDSR[9] ×4 DIV2K 32.46 0.8968 28.80 0.7876 27.71 0.7420 26.64 0.8033
    RDN[14] ×4 DIV2K 32.47 0.8990 28.81 0.7871 27.72 0.7419 26.61 0.8028
    RCAN[22] ×4 DIV2K 32.63 0.9002 28.87 0.7889 27.77 0.7436 26.82 0.8087
    SAN[28] ×4 DIV2K 32.64 0.9003 28.92 0.7888 27.78 0.7436 26.79 0.8068
    HAN[23] ×4 DIV2K 32.64 0.9002 28.90 0.7890 27.80 0.7442 26.85 0.8094
    NLSA[2] ×4 DIV2K 32.59 0.9000 28.87 0.7891 27.78 0.7444 26.96 0.8109
    GLAGSR (Ours) ×4 DIV2K 32.80 0.9029 29.03 0.7928 27.89 0.7461 27.02 0.8135
    下载: 导出CSV
  • [1] 胡德敏, 闵天悦. 改进型轻量级GAN的红外图像超分辨率方法[J]. 小型微型计算机系统, 2022, 43(8): 1711-1717. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX202208021.htm

    HU Demin, MIN Tianyue. Infrared image super-resolution via improved lightweight GAN[J]. Journal of Chinese Computer Systems, 2022, 43(8): 1711-1717. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX202208021.htm

    [2]

    MEI Y, FAN Y, ZHOU Y. Image super-resolution with non-local sparse attention[C]//Proc. CVPR, 2021: 3517-3526. DOI: 10.1109/CVPR46437.2021.00352.

    [3] 马敏慧, 王红茹, 王佳. 基于改进的MSRCR-CLAHE融合的水下图像增强算法[J]. 红外技术, 2023, 45(1): 23-32. http://hwjs.nvir.cn/cn/article/id/69e5b90e-9c0c-43c6-b4e2-dedede3eb414

    MA Minhui, WANG Hongru, WANG Jia. An underwater image enhancement algorithm based on improved MSRCR-CLAHE fusion[J]. Infrared Technology, 2023, 45(1): 23-32. http://hwjs.nvir.cn/cn/article/id/69e5b90e-9c0c-43c6-b4e2-dedede3eb414

    [4]

    ZHANG D, SHAO J, LI X, et al. Remote sensing image super-resolution via mixed high-order attention network[J]. IEEE Trans. Geosci. Remote Sens. , 2021, 59(6): 5183-5196. DOI: 10.1109/TGRS.2020.3009918

    [5] 刘云峰, 赵洪山, 杨晋彪, 等. 基于GNR先验的电力设备热成像超分辨率方法[J]. 红外技术, 2023, 45(1): 40-48. http://hwjs.nvir.cn/cn/article/id/3f88d6d0-ab5c-4cd7-999e-b50ffce93699

    LIU Yunfeng, ZHAO Hongshan, YANG Jinbiao, et al. Super resolution method for power equipment infrared imaging based on gradient norm-ratio prior[J]. Infrared Technology, 2023, 45(1): 40-48. http://hwjs.nvir.cn/cn/article/id/3f88d6d0-ab5c-4cd7-999e-b50ffce93699

    [6]

    DONG C, Loy C, HE K, et al. Learning a deep convolutional network for image super-resolution[C]//Proc. Computer Vision, ECCV, 2014: 184-199. DOI: 10.1007/978-3-319-10593-2_13.

    [7] 聂丰英, 侯利霞, 万里勇. 自适应双边滤波与方向梯度的红外图像增强[J]. 红外技术, 2022, 44(12): 1309-1315. http://hwjs.nvir.cn/cn/article/id/8fbb7847-4550-463c-a220-9e97cd402968

    NIE Fengying, HOU Lixia, WAN Liyong. Infrared image enhancement based on adaptive bilateral filtering and directional gradient[J]. Infrared Technology, 2022, 44(12): 1309-1315. http://hwjs.nvir.cn/cn/article/id/8fbb7847-4550-463c-a220-9e97cd402968

    [8]

    Timofte R, Rothe R, Van Gool L. Seven ways to improve example-based single image super resolution[C]//Proc. CVPR, 2016: 1865-1873. DOI: 10.1109/CVPR.2016.206

    [9]

    Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proc. CVPRW, 2017: 136-144. Doi: 10.1109/CVPRW.2017.151

    [10]

    Bevilacqua M, Roumy A, Guillemot C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]// Proc. BMVC, 2012: 135-141. DOI: 10.5244/C.26.135.

    [11]

    TANG Y, GONG W, CHEN X, et al. Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 31(5): 1514-1528.

    [12]

    CAI J, ZENG H, YONG H, et al. Toward real-world single image super-resolution: a new benchmark and a new model[C]//Proc. ICCV, 2019: 3086-3095. DOI: 10.1109/ICCV.2019.00318.

    [13]

    SHI W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proc. CVPR, 2016: 1874-1883. DOI: 10.1109/CVPR.2016.207.

    [14]

    ZHANG Y, TIAN Y, KONG Y, et al. Residual dense network for image super-resolution[C]//Proc. CVPR, 2018: 2472-2481. DOI: 10.1109/CVPR.2018.00262.

    [15]

    Esser P, Rombach R, Ommer B. Taming transformers for high-resolution image synthesis[C]//Proc. CVPR, 2021: 12873-12883. DOI: 10.1109/CVPR46437.2021.01268.

    [16]

    JIANG Y, CHANG S, WANG Z. Transgan: two transformers can make one strong GAN[J/OL]. Computer Vision and Pattern Recognition, 2021, 34: https://arxiv.org/abs/2102.07074.

    [17]

    ZHANG K, LIANG J, Van Gool L, et al. Designing a practical degradation model for deep blind image super-resolution[C]//Proc. ICCV, 2021: 4771-4780. DOI: 10.1109/ICCV48922.2021.00475.

    [18]

    WANG X, XIE L, DONG C, et al. Real-ESRGAN: Training real-world blind super-resolution with pure synthetic data[C]//Proc. ICCVW, 2021: 1905-1914. DOI: 10.1109/ICCVW54120.2021.00217

    [19]

    Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proc. CVPR, 2017: 4681-4690. DOI: 10.1109/CVPR.2017.19.

    [20]

    ZHOU Y, WU G, FU Y, et al. Cross-MPI: cross-scale stereo for image super-resolution using multiplane images[C]//Proc. CVPR, 2021: 14842-14851. DOI: 10.1109/CVPR46437.2021.01460.

    [21] 烟台艾睿光电科技有限公司. 艾睿光电红外开源数据库[EB/OL]. [2023-02-26]. http://openai.raytrontek.com/apply/Super_resolution.html/.

    IRay Technology Co., Ltd. IRay Optoelectronic Infrared Open Source Database[EB/OL]. [2023-02-26]. http://openai.raytrontek.com/apply/Super_resolution.html/.

    [22]

    ZHANG Y, LI K, LI K, et al. Image super-resolution using very deep residual channel attention networks[C]//Proc. ECCV, 2018: 286-301. DOI: 10.1007/978-3-030-01234-2_18.

    [23]

    NIU B, WEN W, REN W, et al. Single image super-resolution via a holistic attention network[C]//Proc. ECCV, 2020, 12357: 191-207.

    [24]

    WANG X, YU K, WU S, et al. ESRGAN: Enhanced super-resolution generative adversarial networks[C]// Proc. ECCV, 2019: 63-79. DOI: 10.1007/978-3-030-11021-5_5.

    [25]

    LIU Z, LIN Y, CAO Y, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//Proc. ICCV, 2021: 9992-10002. DOI: 10.1109/ICCV48922.2021.00986.

    [26]

    WANG Y, WANG L, WANG H, et al. Resolution-aware network for image super-resolution[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 29(5): 1259-1269.

    [27]

    Andreas Lugmayr, Martin Danelljan, Radu Timofte. Unsupervised learning for real-world super-resolution[J]. ICCV Workshop, 2019, 2(3): 3408-3416.

    [28]

    DAI T, CAI J, ZHANG Y, et al. Second-order attention network for single image super-resolution[C]//Proc. CVPR, 2019: 11057-11066. DOI: 10.1109/CVPR.2019.01132.

    [29]

    Agustsson E, Timofte R. Ntire 2017 challenge on single image super-resolution: Dataset and study[C]// Proc. CVPRW, 2017: 126-135. DOI: 10.1109/CVPRW.2017.150.

    [30]

    LIANG J, CAO J, SUN G, et al. SwinIR: Image restoration using swin transformer[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 1833-1844. DOI: 10.1109/ICCVW54120.2021.00210.

    [31]

    Blau Y, Mechrez R, Timofte R, et al. The 2018 PIRM challenge on perceptual image super-resolution[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018, DOI: 10.1007/978-3-030-11021-5_21

    [32]

    MA C, YANG C Y, YANG X, et al. Learning a no-reference quality metric for single-image super-resolution[J]. Computer Vision and Image Understanding, 2017, 158: 1-16. DOI: 10.1016/j.cviu.2016.12.009

图(8)  /  表(4)
计量
  • 文章访问数:  67
  • HTML全文浏览量:  19
  • PDF下载量:  36
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-02-25
  • 修回日期:  2023-03-30
  • 网络出版日期:  2024-07-24
  • 刊出日期:  2024-07-19

目录

/

返回文章
返回