Global-Local Attention-Guided Reconstruction Network for Infrared Image
-
摘要:
针对真实世界的红外图像恢复算法中存在的图像模糊、纹理失真、参数过大等问题，提出了一种用于真实红外图像的全局-局部注意力引导的超分辨率重建算法。首先，设计了一种跨尺度的全局-局部特征融合模块，利用多尺度卷积和Transformer并行融合不同尺度的信息，并通过可学习因子引导全局和局部信息的有效融合。其次，提出了一种新颖的退化算法，即域随机化退化算法，以适应真实红外场景图像的退化域。最后，设计了一种新的混合损失函数，利用权重学习和正则化惩罚来增强网络的恢复能力，同时加快收敛速度。在经典退化图像和真实场景红外图像上的测试结果表明，与现有方法相比，该算法恢复的图像纹理更逼真，边界伪影更少，同时参数总数最多可减少20%。
Abstract:To solve the problems of image blur smoothing, texture distortion, and excessively large parameters in real-world infrared-image recovery algorithms, a global-local attention-guided super-resolution reconstruction algorithm for infrared images is proposed. First, a cross-scale global-local feature fusion module utilizes multi-scale convolution and a transformer to fuse information at different scales in parallel and to guide the effective fusion of global and local information by learnable factors. Second, a novel domain randomization degradation model accommodates the degradation domain of real-world infrared images. Finally, a new hybrid loss based on weight learning and regularization penalty enhances the recovery capability of the network while speeding up convergence. Test results on classical degraded images and real-world infrared images show that, compared with existing methods, the images recovered by the proposed algorithm have more realistic textures and fewer boundary artifacts. Moreover, the total number of parameters can be reduced by up to 20%.
-
0. 引言
近年来，我国的航空工业取得了长足的进步，其中航空发动机叶片的突破扮演了重要的角色[1]。在航空发动机叶片的研制过程中，实时、精确地掌握航空发动机叶片的工作温度，有着重要的研究价值。本文旨在提出一种基于红外热成像测温的温度校准算法和三维温度场重建算法，在保证测温范围、测温精度的同时，又还原了空间的位置信息，具有较强的创新性和应用前景。
测温技术发展较早，目前已经建成完善的测温体系。总体上，测温技术可以分为接触式和非接触式两种。接触式测温以热电偶、热电阻、测温晶体和示温漆为代表，非接触式测温以红外测温、光纤测温等为代表[2-3]。热电偶和热电阻具有实时性、响应快、准确高等优点，示温漆可以用于一般测温手段难以覆盖的区域，测温晶体体积小、测温上限高[4-5]。这些优点红外测温大多兼具，且红外测温由点及面，能够覆盖整个目标区域[6]，应用范围广，不用直接接触被测物体，且不会破坏目标物体表面温度场[7]。
红外测温也面临一些挑战，测温精度容易受到测温物体表面工况、光洁度、清洁度和大气折射与散射的影响。为了提升红外测温的精度，大量的滤波算法被运用以强化成像质量。稀疏表示理论基于图片噪声不能稀疏化这一假设，能够有效地去除图片噪声[8-9]。多尺度双边滤波同时考虑灰度域和空间域的影响，实现保留图片边缘的同时平滑图片，在提升红外测温精度上也有不俗的表现[10-11]。除此之外，一些动态参考技术也应用在了红外图像的温度校正上，解决了红外成像非均匀性随环境变化的问题[12]。近年来随着机器学习技术的快速发展，将人工智能算法应用于红外测温精度提升也取得了令人瞩目的成就[13]。
此外，红外测温还存在天然的缺陷。由热成像仪得到的红外图像，属二维平面图像，失去了被测温度场的空间信息。具有空间位置信息的三维温度场分布能够帮助科研人员更精准、形象地掌握被测物体的温度信息，更立体地判断被测物的工作状态。因此，一种由红外热像仪得到目标物三维温度场分布的技术便越来越受到人们的关注。通常，人们通过设置多个红外热像仪对被测物体同时成像，然后融合多视角红外图像，以恢复在红外成像过程中丢失的深度信息[14-15]。
本文首先通过多层感知机(multi-layer percep-tron, MLP)网络，实现了对红外温度的高精度校准。在此基础上，创造性地提出了基于被测物体三维建模的单视角下红外图像三维温度场重构算法，实现了只需一台红外热像仪就能完成高精度温度场三维重构的设想。
1. 基于MLP的红外温度校准模型
实时掌握航空发动机叶片精确的温度场分布，对航空发动机的研制和应用有着重要意义。由于航空发动机叶片的工作环境温度极高(最高可达2000℃)，常规的测温方式一般是非实时点状式测温，得到某个区域完整的温度分布依然存在巨大挑战。通过拍摄航空发动机叶片的实时红外图像，实现温度的测量，是一种较为理想的途径。然而由于红外相机自身精度和环境因素的影响，红外图像所展示的温度与实际温度往往具有较大的偏差。为了弥补红外图像测温精度不足的问题，本文提出了基于MLP的红外温度校准策略及模型。通过构建MLP网络拟合红外测温误差与温度分布的函数关系，实现了对航空发动机叶片红外温度测量的校准。
1.1 红外温度校准策略
我们假定初次获得的红外温度图片上的温度信息是准确的，为了模拟真实红外图像拍摄，我们针对红外图像增加高斯噪声。图 1展示了原始红外图像及添加高斯噪声后的红外图像，可以很明显地看到添加高斯噪声后，图片变得模糊。
根据物体的三维热传导方程：
$$ \frac{{{\text{d}}u}}{{{\text{d}}t}} = {\text{div}}\left( {{U_{\text{u}}}} \right) = k(\frac{{{\partial ^2}u}}{{\partial {x^2}}} + \frac{{{\partial ^2}u}}{{\partial {y^2}}} + \frac{{{\partial ^2}u}}{{\partial {z^2}}}) $$ (1) 式中：u＝u(t, x, y, z)代表物体温度；k是热扩散率，决定于材料的热导率、密度与热容。由以上方程可知温度分布是连续的，并且某一个点的温度与且只与其周围一个邻域内的温度分布有关。我们的任务是建立起一个点的真实温度与这个点周围(包括其自身)带误差的温度分布函数关系：
$$ \left\{ {\begin{array}{*{20}{c}} {T_{(h, k)}^{'} = f\left( {{T_{\left( {{m_1}, {{\text{n}}_1}} \right)}}, \cdots , {T_{\left( {{m_M}, {n_N}} \right)}}} \right)} \\ {\left( {{m_i}, {n_j}} \right) \in \Phi } \end{array}} \right. $$ (2) 式中：T(h, k)′代表红外图像中像素坐标(h, k)的真实温度；Φ代表像素位置(h, k)周围的某一邻域；(mi, nj)表示该邻域内的像素坐标。
图 2展示了整个温度校准流程。采用窗口滑动的方法，通过一个矩形窗口来框定目标像素的邻域范围，目标像素点位于矩形窗口的中心位置。我们选择的目标像素邻域是该像素点前后左右4个像素范围内的像素点的集合，即以该像素点为中心的一个9×9的矩阵。窗口每滑动到一个位置，我们就将这个窗口覆盖的矩阵中的81个温度值展开成一个向量，并将其作为温度校准模型的输入，模型的输出为该像素点温度的校准值。这样窗口每到达一个位置，就实现了对窗口中心位置的红外温度进行校准，我们记录每一个校准值并将其填充到一个与原始图片大小一致的矩阵A的对应位置上。当窗口滑动的轨迹铺满整张红外图片时，矩阵A的每个位置均被填入了一个校准值，这样便实现了对整张红外图像温度的校准。
1.2 MLP模型的建立
我们的目标就是要找出目标点邻域内的温度分布与目标点真实温度之间的函数关系。考虑到在红外摄影中影响温度精度的因素比较多，难以直接建立温度校准的数学模型。我们试图借助神经网络强大的函数拟合能力，来建立目标点的真实温度与该点周围温度分布之间的数学联系。
本实验采用的神经网络模型如图 3所示。该模型是一个4层的MLP模型。模型的输入层包含81个神经元，第一个隐藏层包含1000个神经元，第二个隐藏层包含100个神经元，输出层含1个神经元。模型输入层的81个神经元对应包括目标像素在内的周围9×9矩阵的81个元素(红外温度值)，模型的输出直接为目标像素的温度校准值。第一个隐藏层神经元以Sigmoid函数作为激活函数，其余层均以线性函数作为激活函数。在模型的训练过程中，模型的参数通过误差反向传播(back propagation, BP)算法进行修正，使得模型的输出值越来越接近真实温度值。尽管神经网络模型的可解释性较差，但其具备拟合复杂函数的能力，以便于实际应用。
2. 红外温度场三维重建
对红外图像进行了温度校准之后，需要恢复红外图像上各点的空间位置信息，以便达到对二维温度分布到三维温度分布的重建工作。其中，本工作亟需解决以下两个问题，即对红外图像中的航空发动机叶片轮廓的识别和二维图像与三维模型之间的位置映射关系的确立。图 4(a)和(b)是航空发动机叶片模型实物，(c)是航空发动机叶片3D模型。
2.1 轮廓识别
所谓轮廓识别，就是找出红外图像中目标成像物体与背景之间边界像素位置的集合。为了完整地提取航空发动机叶片对应的成像区域，我们先对图片进行了灰度处理，然后进行了二值化处理。如图 5所示，通过设立一个合理的阈值，将图片中灰度值大于该阈值的像素值设为1，图片中灰度值小于该阈值的像素值设为0。图 5(a)展示了红外图像二值化处理后的图片。红外图像在二值化后，图片中目标物体与背景之间的界限便非常清晰。通过识别图片中黑白区域的边界，便实现了对目标物体轮廓的识别。图 5(b)勾勒了航空发动机的轮廓曲线。
2.2 三维温度场重建
在获取航空发动机叶片红外图像轮廓后，我们将轮廓范围内的像素映射至航空发动机叶片3D模型上，以达到建立三维温度场分布的目的。其步骤如下：
① 对被测航空发动叶片进行3D建模，并获取航空发动机叶片单视角红外图像(设航空发动机叶片在红外图像中占据的像素行数为m)；
② 根据步骤①中所构建的3D模型，获取模型表面的三维点云数据，共取M个三维点；
③ 根据步骤①中的红外图像，获取航空发动机叶片红外图像的外围轮廓像素位置(每一行像素记录一个左端点和一个右端点，即[Lj, Rj]，其中j表示所拍摄红外图像中航空发动机叶片所占据部分图像的第j行像素)；
④ 根据红外相机拍摄位置及角度，确定红外相机成像所在平面的法向量及所成图像的像素行、像素列的单位向量；
⑤ 根据步骤④所得红外图像的像素列的单位向量，计算步骤②中各点在红外图像的像素列的单位向量上的投影值ai(i取值为1~M)，并排序(投影值范围为[p, q])；
⑥ 根据红外图像包含的像素行数m，将投影值([p, q])等距划分为m个区间，投影值处于同一个区间内的三维点对应红外图像的同一行像素；
⑦ 分别计算步骤⑥中每个区间中所有三维点在步骤④所得红外图像像素行的单位向量上的投影值bj, r(投影值范围为[h, k]，其中j表示对应航空发动机叶片所占红外图像第j行像素，r表示处于该区间的第r个三维点)，根据bj, r在[h, k]范围中的相对位置，计算该三维点对应在红外图像中像素列的坐标G。计算公式如下：
$$ G = \left\lfloor {{L_j}{\text{ + }}\left( {{R_j} - {L_j}} \right) \times \left( {{b_{j{\text{, }}r}} - h} \right) \times \left( {k - h} \right)} \right\rfloor $$ (3) 式中：$ \left\lfloor {} \right\rfloor $表示向下取整操作；
⑧ 判断每一个三维点是否存在被遮挡的情况，若存在遮挡则该点不能够被红外相机拍摄，即不能赋予温度信息。判断方法为，若三维点法向量与成像平面法向量的内积大于某个阈值，则存在被遮挡的情况；
⑨ 根据步骤⑥、步骤⑦和步骤⑧，可以确定任意一个三维点在航空发动机红外图像对应点的像素位置，并确定其温度；
⑩ 在每一个三维点完成获取红外温度信息后，对三维点云进行表面重建。
上述过程整体上是通过投影法来实现的，其内积操作和排序操作的目的就是为了在红外相机所在平面确定三维点云正确的投影位置。在三维点云有序地、正确地投影在红外摄像头所在平面上之后，将投影点与红外图像目标轮廓内的像素一一建立联系，这样便实现了二维温度场到三维温度场的重构工作。图 6展示了上述温度场重构过程。
3. 结果与数据分析
3.1 温度校准精度
本次实验采集的航空发动机叶片模型的红外图像样本共有33份，其中28份样本作为训练集，5份样本作为测试集。模型训练的迭代次数设为300。图 7展示了模型训练过程中单份测试样本所有像素位置误差总和的变化曲线，当迭代次数接近300时，单份测试样本所有像素位置误差总和在40附近摆动。图 8展示了5份测试样本校准前后的对比情况，实验证明本文提出的温度校准模型成功地去除了噪点，达到了温度校准的目的。表 1是样本平均误差，从表中可以看出，5份测试样本单个像素位置温度误差分别为1.08℃、1.83℃、0.97℃、0.95℃和1.37℃，单个像素位置平均温度误差为1.24℃。
表 1 样本平均温度误差E/mmTable 1. Average temperature error of test samplesTest sample Average temperature error of sample/℃ Average value/℃ 1 1.0770 1.24 2 1.8330 3 0.9736 4 0.9483 5 1.3708 3.2 温度场重建效果
图 9展示了最终三维温度场重建的温度分布图像，我们的工作成功地将二维温度分布转化为三维温度场分布，使得在获取温度信息的同时，还能获取观测区域的位置信息。这为掌握航空发动机工作状态提供了新的解决方案，不仅兼顾了无接触、实时性等优势，而且保证了一定的测量精度。
为了更加客观地评价我们三维重构的精度，我们设计了相应的实验进行验证。我们的思路是在3D模型和拍摄的红外图像上分别找出一个三维点D和其在红外图像上精确对应的像素S，之后再利用我们的温度场重构算法将像素S的温度信息赋予到三维点D′。我们将D和D′坐标之间距离作为温度场重构的误差，并以此来评估我们算法的性能。误差计算公式如下：
$$ E = \sqrt[2]{{{{\left( {{x_D} - {x_{D{\text{'}}}}} \right)}^2} + {{\left( {{y_D} - {y_{D{\text{'}}}}} \right)}^2} + {{\left( {{z_D} - {z_{D{\text{'}}}}} \right)}^2}}} $$ (4) 式中：x、y、z分别表示三维点的坐标分量。我们将D点设置在航空发动机叶片模型正面的中心位置，并在其红外图像的中心位置找到对应像素S，之后计算误差E并用不同的红外图像重复了10次。图 10展示了10次温度场重建的误差，实验结果表明，我们的温度场重建算法，在叶片模型尺寸为100 mm×200 mm、红外拍摄距离为1 m的条件下，平均误差为3.53 mm。依据红外温度场重构原理，误差的主要来源为轮廓识别，要实现更加精确的温度场重构，需要开发出更加精确的轮廓识别技术，这也是我们未来研究的方向。
4. 结论
本文提出了一种基于MLP网络的航空发动机叶片红外温度校准模型，在此基础上，通过建立二维红外图像和三维模型之间的位置映射关系，实现了由二维温度分布到三维温度场的重构工作。在红外温度校准的工作中，将目标点周围81个紧邻像素位置的温度作为MLP模型的输入，模型的输出值作为温度的校正值，成功地去除了人工添加的高斯噪声，实现了单幅红外图像平均校正误差1.24℃，达到了温度校准的目的。在温度场三维重建的工作中，利用投影法对投影值进行排序，配合法向量估计，建立了二维红外图像到三维模型的空间映射关系，成功实现了红外温度场的三维重构，平均重构误差为3.53 mm。
-
![]()
图 1 比例因子为2的退化模型的示意图
Figure 1. Schematic illustration of the proposed degradation model for a scale factor of 2
![]()
图 2 用于图像恢复的GLAGSR的架构
Figure 2. The architecture of the proposed GLAGSR for image restoration
![]()
图 4 多尺度卷积块(a)和分组残差GFF块(b), β是残差比例参数
Figure 4. The multi-scale convolution block (a)and the grouped residual GFF block (GR-GFF Block) (b), and β is the residual scaling parameter
![]()
图 5 GLAGSR不同设置下的消融研究. (a)不同的GR-GFF数量块; (b)不同的LR图像块; (c)不同的数量块
Figure 5. Ablation study on different settings of GLAGSR. (a)Different GR-GFF block numbers; (b) Different Patch sizes; (c) Different block numbers
![]()
图 7 对于Urban100上的图像SR(×2)，PSNR结果与不同方法的参数总数相比较
Figure 7. PSNR results vs the total number of parameters for different methods for image SR (×2) on Urban100
![]()
图 8 超分辨率(×4)方法在红外图像上的视觉比较
Figure 8. Visual comparison of super-resolution (×4) methods on real-world infrared images
表 1 GFF模块数量设计的消融研究表
Table 1 Ablation study on GFF block number design
GFF block number 2 3 4 PSNR 32.60 32.68 32.64 SSIM 0.8999 0.9010 0.9011 
下载: 导出CSV
表 2 权重因子的消融研究表
Table 2 Ablation study on weight factor
Weight Factor w0: w1＝1 w0: w1＝2 w0: w1＝0.5 PSNR 32.15 32.68 32.04 SSIM 0.8887 0.9012 0.8786
下载: 导出CSV
表 3 损失函数的消融研究表
Table 3 Ablation study of the proposed hybrid loss
Index Loss1 Loss2 Loss3 Loss4 Loss5 L1 ✔ × × × ✔ Lp × ✔ × × ✔ Lg × × ✔ × ✔ Ld ✔ × × √ ✔ PSNR 32.62 32.58 32.53 32.51 32.68 SSIM 0.9000 0.8994 0.8985 08987 0.9011
下载: 导出CSV
表 4 基准数据集上双三次退化图像的超分辨率性能（PSNR/SSIM）与最新方法的定量比较
Table 4 Quantitative comparison of super-resolution performance (average PSNR/SSIM) with the state-of-the-art methods for bicubic degradation images on benchmark datasets
Method Scale Training dataset Set5[10] Set14[8] BSD100[7] Urban100[7] PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM SRCNN[6] ×2 DIV2K 36.66 0.9542 32.45 0.9067 31.36 0.8879 29.50 0.8946 EDSR[9] ×2 DIV2K 38.11 0.9602 33.92 0.9195 32.32 0.9013 32.93 0.9773 RDN[14] ×2 DIV2K 38.24 0.9614 34.01 0.9212 32.34 0.9017 33.39 0.9353 RCAN[22] ×2 DIV2K 38.27 0.9614 34.12 0.9216 32.41 0.9027 33.34 0.9384 SAN[28] ×2 DIV2K 38.31 0.9620 34.07 0.9213 32.42 0.9028 33.10 0.9370 HAN[23] ×2 DIV2K 38.27 0.9614 34.16 0.9217 32.42 0.9027 33.35 0.9385 NLSA[2] ×2 DIV2K 38.34 0.9618 34.08 0.9231 32.43 0.9027 33.42 0.9394 GLAGSR (Ours) ×2 DIV2K 38.37 0.9616 34.17 0.9221 32.48 0.9029 33.49 0.9395 SRCNN[6] ×3 DIV2K 36.66 0.9542 32.45 0.9067 31.36 0.8879 29.50 0.8946 EDSR[9] ×3 DIV2K 34.76 0.9290 30.66 0.8481 29.32 0.8104 29.02 0.8685 RDN[14] ×3 DIV2K 34.58 0.9280 30.53 0.8447 29.23 0.8079 28.46 0.8582 GLAGSR (Ours) ×3 DIV2K 34.90 0.9314 30.80 0.8498 29.40 0.8130 29.55 0.8751 SRCNN[6] ×4 DIV2K 30.84 0.8628 27.50 0.7513 26.90 0.7101 24.52 0.7221 EDSR[9] ×4 DIV2K 32.46 0.8968 28.80 0.7876 27.71 0.7420 26.64 0.8033 RDN[14] ×4 DIV2K 32.47 0.8990 28.81 0.7871 27.72 0.7419 26.61 0.8028 RCAN[22] ×4 DIV2K 32.63 0.9002 28.87 0.7889 27.77 0.7436 26.82 0.8087 SAN[28] ×4 DIV2K 32.64 0.9003 28.92 0.7888 27.78 0.7436 26.79 0.8068 HAN[23] ×4 DIV2K 32.64 0.9002 28.90 0.7890 27.80 0.7442 26.85 0.8094 NLSA[2] ×4 DIV2K 32.59 0.9000 28.87 0.7891 27.78 0.7444 26.96 0.8109 GLAGSR (Ours) ×4 DIV2K 32.80 0.9029 29.03 0.7928 27.89 0.7461 27.02 0.8135
下载: 导出CSV
-
[1] 胡德敏, 闵天悦. 改进型轻量级GAN的红外图像超分辨率方法[J]. 小型微型计算机系统, 2022, 43(8): 1711-1717. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX202208021.htm HU Demin, MIN Tianyue. Infrared image super-resolution via improved lightweight GAN[J]. Journal of Chinese Computer Systems, 2022, 43(8): 1711-1717. https://www.cnki.com.cn/Article/CJFDTOTAL-XXWX202208021.htm
[2] MEI Y, FAN Y, ZHOU Y. Image super-resolution with non-local sparse attention[C]//Proc. CVPR, 2021: 3517-3526. DOI: 10.1109/CVPR46437.2021.00352.
[3] 马敏慧, 王红茹, 王佳. 基于改进的MSRCR-CLAHE融合的水下图像增强算法[J]. 红外技术, 2023, 45(1): 23-32. http://hwjs.nvir.cn/cn/article/id/69e5b90e-9c0c-43c6-b4e2-dedede3eb414 MA Minhui, WANG Hongru, WANG Jia. An underwater image enhancement algorithm based on improved MSRCR-CLAHE fusion[J]. Infrared Technology, 2023, 45(1): 23-32. http://hwjs.nvir.cn/cn/article/id/69e5b90e-9c0c-43c6-b4e2-dedede3eb414
[4] ZHANG D, SHAO J, LI X, et al. Remote sensing image super-resolution via mixed high-order attention network[J]. IEEE Trans. Geosci. Remote Sens. , 2021, 59(6): 5183-5196. DOI: 10.1109/TGRS.2020.3009918
[5] 刘云峰, 赵洪山, 杨晋彪, 等. 基于GNR先验的电力设备热成像超分辨率方法[J]. 红外技术, 2023, 45(1): 40-48. http://hwjs.nvir.cn/cn/article/id/3f88d6d0-ab5c-4cd7-999e-b50ffce93699 LIU Yunfeng, ZHAO Hongshan, YANG Jinbiao, et al. Super resolution method for power equipment infrared imaging based on gradient norm-ratio prior[J]. Infrared Technology, 2023, 45(1): 40-48. http://hwjs.nvir.cn/cn/article/id/3f88d6d0-ab5c-4cd7-999e-b50ffce93699
[6] DONG C, Loy C, HE K, et al. Learning a deep convolutional network for image super-resolution[C]//Proc. Computer Vision, ECCV, 2014: 184-199. DOI: 10.1007/978-3-319-10593-2_13.
[7] 聂丰英, 侯利霞, 万里勇. 自适应双边滤波与方向梯度的红外图像增强[J]. 红外技术, 2022, 44(12): 1309-1315. http://hwjs.nvir.cn/cn/article/id/8fbb7847-4550-463c-a220-9e97cd402968 NIE Fengying, HOU Lixia, WAN Liyong. Infrared image enhancement based on adaptive bilateral filtering and directional gradient[J]. Infrared Technology, 2022, 44(12): 1309-1315. http://hwjs.nvir.cn/cn/article/id/8fbb7847-4550-463c-a220-9e97cd402968
[8] Timofte R, Rothe R, Van Gool L. Seven ways to improve example-based single image super resolution[C]//Proc. CVPR, 2016: 1865-1873. DOI: 10.1109/CVPR.2016.206
[9] Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proc. CVPRW, 2017: 136-144. Doi: 10.1109/CVPRW.2017.151
[10] Bevilacqua M, Roumy A, Guillemot C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]// Proc. BMVC, 2012: 135-141. DOI: 10.5244/C.26.135.
[11] TANG Y, GONG W, CHEN X, et al. Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 31(5): 1514-1528.
[12] CAI J, ZENG H, YONG H, et al. Toward real-world single image super-resolution: a new benchmark and a new model[C]//Proc. ICCV, 2019: 3086-3095. DOI: 10.1109/ICCV.2019.00318.
[13] SHI W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proc. CVPR, 2016: 1874-1883. DOI: 10.1109/CVPR.2016.207.
[14] ZHANG Y, TIAN Y, KONG Y, et al. Residual dense network for image super-resolution[C]//Proc. CVPR, 2018: 2472-2481. DOI: 10.1109/CVPR.2018.00262.
[15] Esser P, Rombach R, Ommer B. Taming transformers for high-resolution image synthesis[C]//Proc. CVPR, 2021: 12873-12883. DOI: 10.1109/CVPR46437.2021.01268.
[16] JIANG Y, CHANG S, WANG Z. Transgan: two transformers can make one strong GAN[J/OL]. Computer Vision and Pattern Recognition, 2021, 34: https://arxiv.org/abs/2102.07074.
[17] ZHANG K, LIANG J, Van Gool L, et al. Designing a practical degradation model for deep blind image super-resolution[C]//Proc. ICCV, 2021: 4771-4780. DOI: 10.1109/ICCV48922.2021.00475.
[18] WANG X, XIE L, DONG C, et al. Real-ESRGAN: Training real-world blind super-resolution with pure synthetic data[C]//Proc. ICCVW, 2021: 1905-1914. DOI: 10.1109/ICCVW54120.2021.00217
[19] Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proc. CVPR, 2017: 4681-4690. DOI: 10.1109/CVPR.2017.19.
[20] ZHOU Y, WU G, FU Y, et al. Cross-MPI: cross-scale stereo for image super-resolution using multiplane images[C]//Proc. CVPR, 2021: 14842-14851. DOI: 10.1109/CVPR46437.2021.01460.
[21] 烟台艾睿光电科技有限公司. 艾睿光电红外开源数据库[EB/OL]. [2023-02-26]. http://openai.raytrontek.com/apply/Super_resolution.html/. IRay Technology Co., Ltd. IRay Optoelectronic Infrared Open Source Database[EB/OL]. [2023-02-26]. http://openai.raytrontek.com/apply/Super_resolution.html/.
[22] ZHANG Y, LI K, LI K, et al. Image super-resolution using very deep residual channel attention networks[C]//Proc. ECCV, 2018: 286-301. DOI: 10.1007/978-3-030-01234-2_18.
[23] NIU B, WEN W, REN W, et al. Single image super-resolution via a holistic attention network[C]//Proc. ECCV, 2020, 12357: 191-207.
[24] WANG X, YU K, WU S, et al. ESRGAN: Enhanced super-resolution generative adversarial networks[C]// Proc. ECCV, 2019: 63-79. DOI: 10.1007/978-3-030-11021-5_5.
[25] LIU Z, LIN Y, CAO Y, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]//Proc. ICCV, 2021: 9992-10002. DOI: 10.1109/ICCV48922.2021.00986.
[26] WANG Y, WANG L, WANG H, et al. Resolution-aware network for image super-resolution[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 29(5): 1259-1269.
[27] Andreas Lugmayr, Martin Danelljan, Radu Timofte. Unsupervised learning for real-world super-resolution[J]. ICCV Workshop, 2019, 2(3): 3408-3416.
[28] DAI T, CAI J, ZHANG Y, et al. Second-order attention network for single image super-resolution[C]//Proc. CVPR, 2019: 11057-11066. DOI: 10.1109/CVPR.2019.01132.
[29] Agustsson E, Timofte R. Ntire 2017 challenge on single image super-resolution: Dataset and study[C]// Proc. CVPRW, 2017: 126-135. DOI: 10.1109/CVPRW.2017.150.
[30] LIANG J, CAO J, SUN G, et al. SwinIR: Image restoration using swin transformer[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 1833-1844. DOI: 10.1109/ICCVW54120.2021.00210.
[31] Blau Y, Mechrez R, Timofte R, et al. The 2018 PIRM challenge on perceptual image super-resolution[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018, DOI: 10.1007/978-3-030-11021-5_21
[32] MA C, YANG C Y, YANG X, et al. Learning a no-reference quality metric for single-image super-resolution[J]. Computer Vision and Image Understanding, 2017, 158: 1-16. DOI: 10.1016/j.cviu.2016.12.009
-
期刊类型引用(1)
1. 范锦珑，王高，李建民. 温敏荧光材料YAG:Tm在高温系统中的发光特性. 电子制作. 2024(24): 87-89+10 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 67
- HTML全文浏览量: 19
- PDF下载量: 36
- 被引次数: 1
