Infrared Images with Super-resolution Based on Deep Convolutional Neural Network
-
摘要: 由于器件及工艺等技术限制，红外图像分辨率相对可见光图像较低，存在细节纹理特征模糊等不足。对此，本文提出一种基于深度卷积神经网络（convolutional neural network，CNN）的红外图像超分辨率重建方法。该方法改进残差模块，降低激活函数对信息流影响的同时加深网络，充分利用低分辨率红外图像的原始信息。结合高效通道注意力机制和通道-空间注意力模块，使重建过程中有选择性地捕获更多特征信息，有利于对红外图像高频细节更准确地进行重建。实验结果表明，本文方法重建红外图像峰值信噪比（peak signal to noise ratio，PSNR）优于传统的Bicubic插值法以及基于CNN的SRResNet、EDSR、RCAN模型。当尺度因子为×2和×4时，重建图像的平均PSNR值比传统Bicubic插值法分别提高了4.57 dB和3.37 dB。Abstract: Owing to technical limitations regarding the device and process, the resolution of infrared images is relatively low compared to that of visible images, and deficiencies occur such as blurred textural features. In this study, we proposed a super-resolution reconstruction method based on a deep convolutional neural network (CNN) for infrared images. The method improves the residual module, reduces the influence of the activation function on the information flow while deepening the network, and makes full use of the original information of low-resolution infrared images. Combined with an efficient channel attention mechanism and channel-space attention module, the reconstruction process selectively captures more feature information and facilitates a more accurate reconstruction of the high-frequency details of infrared images. The experimental results show that the peak signal-to-noise ratio (PSNR) of the infrared images reconstructed using this method outperforms those of the traditional Bicubic interpolation method, as well as the CNN-based SRResNet, EDSR, and RCAN models. When the scale factor is ×2 and ×4, the average PSNR values of the reconstructed images improved by 4.57 and 3.37 dB, respectively, compared with the traditional Bicubic interpolation method.
-
0. 引言
车载热成像系统目前在一些高端汽车上作为夜间驾驶辅助设备有所部署。由于热成像系统依据物体的温差进行成像，不受光源影响，同时受到天气变化的影响较小，且具备较长的探测距离[1]，因此车载热成像对于高级驾驶辅助系统（advanced driving assistance system, ADAS）的夜间行车模块具备很强的应用价值[2-3]。结合近年来高度发展的机器视觉，人工智能深度学习技术，希望提出一种针对车载热成像系统的高效目标检测方法。
目标检测领域，得益于深度卷积神经网络[4]（convolutional neural network, CNN）的算法，目标检测的准确率得到大幅提升。学术界涌现出一系列基于R-CNN的检测算法，如SPP-Net（Spatial Pyramid Pooling Net）[5]，Fast-RCNN[6]，Faster-RCNN[7-9]等，检测精度得到大幅度提升。同时出现了区别于R-CNN系列两步检测方法的端到端检测算法，如SSD（Single Shot Multi Box Detector）[10]和YOLO（You Only Look Once）[11]等，检测速度得到较大提升。其中YOLO系列目标检测框架相对现行其他目标检测框架具备检测精度高，速度快的优点[12]。
对于车载热成像系统而言，目标检测方法需要考虑以下3个方面的问题：
1）对红外图像中远距离低分辨率，细节模糊的小目标识别检测精度。目前车载热成像仪在兼顾成本，视场角与探测识别距离情况下普遍采用19 mm镜头，384×288分辨率机芯（奥迪，宝马，奔驰等高端车型所部署的车载热成像成像系统）。该配置成本较低，同时成像视场较大，可在100 m距离上提供可识别人体红外图像，200 m距离上提供可识别机动车红外图像，而较远距离上成像像素较低，普遍为10×10像素级别。
2）在车载动态环境中目标检测方法的实时性。车载热成像机芯刷新频率普遍为50 Hz，可在行车速度低于60 km/h的情况下实时提供流畅红外图像，红外视频传输速率为25 fps，因此目标检测算法要求平均处理速度需高于30 fps。
3）网络的精简程度，是否适宜部署于车载嵌入式系统。目前最新可用于车载嵌入式系统的边缘计算ASIC如Google Edge TPU，要求网络轻量级，模型权重大小在100 MB之内，方可部署。
结合以上3个问题考虑，如使用YOLO系列中检测精度较高，满足红外小目标检测精度的YOLOV3目标检测网络，存在网络结构复杂，模型权重大（234 MB），实时性低的缺点，无法部署于边缘计算系统。如使用YOLO系列中针对移动端，边缘计算领域的轻量级目标检测网络Tiny-YOLOV3[13]将提高检测实时性，网络轻量级，模型权重大小（34 MB）适宜部署车载嵌入式系统，但该类轻量级目标检测网络对红外小目标检测精度较低，难以满足车载热成像目标检测率方面要求。
针对车载热成像系统目标检测的实时性与轻量化需求，本文基于目前目标检测效果良好的轻量级目标检测网络Tiny-YOLOV3基础框架，针对红外图像特点提出了一种增强型轻量级红外目标检测框架I-YOLO，该网络构架分为主干网络与检测网络两部分：主干网络在Tiny-YOLOV3基础结构上进行增强设计，根据红外小目标低像素特点，提取浅层卷积层特征，构造浅层卷积特征输出层，增加原网络特征金字塔网络尺度，提高红外小目标检测率，同时根据红外图像格式，在主干网络中第一个卷积层使用单通道卷积核，降低运算量。检测层参考文献[14]使用CenterNet的检测方式以降低目标的误检率，提高检测实时性。
1. 车载热成像目标检测网络
1.1 Tiny-YOLOV3目标检测模型
Tiny-YOLOV3目标检测模型为YOLO系列中针对移动端与边缘计算设计的轻量级目标检测网络，特点为精简、高实时性、检测精度较高。
Tiny-YOLOV3主干网络为YOLOV3的简化，由13个卷积层，6个最大池化层，1个维度连接层构成，结构如图 1所示。
Tiny-YOLOV3检测层根据输入的图像数据，在2个尺度上运用回归分析法输出图像数据的多个滑动窗口位置及该窗口中检测到的目标类别，设置多个锚点框（anchor box）以检测目标。
Tiny-YOLOV3的分类函数使用独立的logistic分类器，分类器表达式如下：
$$ \begin{array}{l} {b_x} = \sigma ({t_x}) + {c_x}\\ {b_y} = \sigma ({t_y}) + {c_y}\\ {b_w} = {p_w} \times {e^{{t_w}}}\\ {b_h} = {p_h} \times {e^{{t_h}}} \end{array} $$ (1) 式中：tx、ty、tw、th表示模型的预测输出；cx和cy表示网络栅格的坐标；pw和ph表示预测前边框的尺寸；bx、by、bw和bh就是预测得到的边框的中心的坐标和尺寸。
在每一个预测尺度上Tiny-YOLOV3检测层将输入图像分成S×S个单元格，每个单元格的神经元负责检测落入该单元格的对象，最多可包括两个预测对象的滑动窗口。T为目标置信度，它反映当前滑动窗口是否包含检测对象及其预测准确性的估计概率，计算如下式：
$$ T{\rm{ = }}{P_{\rm{o}}} \times {P_{\rm{I}}} $$ (2) 式中：Po表示检测对象落在滑动窗口内的概率，PI表示滑动窗口与真实检测对象区域的重叠面积（像素单位）。Tiny-YOLOV3的2个预测尺度分别为13×13，26×26。以S＝13为例，检测原理如图 2所示。
1.2 I-YOLO增强型轻量级红外目标检测网络
Tiny-YOLOV3目标检测网络具备轻量级，高实时性的优点，适宜部署移动端，嵌入式系统，边缘计算单元，但针对车载热成像远距离小目标分辨率低（10×10像素级别），细节模糊的特点，该检测网络需进一步强化其目标检测性能，且根据红外图像单通道特点，可进一步降低运算量，提高实时性。本文提出的I-YOLO增强型轻量级红外目标检测模型，在Tiny-YOLOV3目标检测网络基础上进行主干网络与检测网络的改进，提升其目标检测性能，降低计算量，提升实时性。
对于远距离低分辨率红外小目标的特征提取，Tiny-YOLOV3目标检测网络浅层卷积Conv4层能够较为有效地表征红外小目标的语义信息，而Conv3层感受野太小，Conv5层则感受野太大，包含一定的背景噪声干扰。因此，为提升红外小目标检测能力，I-YOLO目标检测网络将Tiny-YOLOV3中Maxpool3层更换为Conv4层，并且为了减少无用参数，增加了Conv5层的压缩维度；除此以外，在Tiny-YOLOV3模型的基础上增加上采样层Upsample2，将Conv5层和Upsample2在通道维度上进行连接操作，Conv7通过Upsample2进行升采样操作，从而形成特征金字塔增加的一个特征图层，特征金字塔网络由Tiny-YOLOV3的13×13和26×26像素提升为13×13、26×26和52×52像素的3检测尺度结构。同时，由于红外图像的单通道特点，为了减少运算量并提高算法的实时检测能力，可通过在第一个卷积层中采用单通道卷积核的方式来实现。而对于检测网络模块，使用CenterNet结构以替换原有YOLO层，对于检测方法进行优化，降低误检率，进一步提高实时性。I-YOLO网络结构如图 3所示。
为进一步提高红外图像中红外目标的检测精度，提高算法的实时检测能力，有效减少运算量，检测网络模块采用了CenterNet结构，用无锚点方式（anchor free）代替原有基于锚点（anchor box）的YOLO检测层。使改进后的目标检测网络更适合检测红外小目标。
CenterNet是ICCV2019大会上提出的目标检测最新方法[14]，其基本思想为：因为缺少对于相关裁剪区域的附加监督，致使基于锚点（anchor box）的方法会出现大量有误的边界框，因此原Tiny-YOLOV3在检测层中需要大量的anchor box进行目标检测。而CenterNet是一个ont-stage的关键点检测模型，在检测时不预先生成候选框进行分类，而是直接通过三元组（中心点及上下对角点），在降低运算量提高实时性的同时提高检测准确率及召回率。I-YOLO所使用的CenterNet通过Cascade corner pooling及Center pooling来丰富3个关键点处的信息提取。本文使用CenterNet检测结构如图 4所示。
CenterNet网络中的Center Pooling模型由2个Conv-BN-ReLU，1个Left Pooling，1个Right Pooling，1个Top Pooling以及1个Bottom Pooling组成，可以有效地感知proposal的中心区域。Cascade corner pooling模型由2个Conv-BN-ReL，1个Left Pooling，1个Conv-BN以及1个Top Pooling构成，其目的是增加原始的corner pooling以感知内部信息的功能。以尺度S＝13为例CenterNet检测原理如图 5所示。
在使用CenterNet进行检测时，边界框的检测情况受中心区域面积的影响较大，为了适应不同尺寸的目标物，这里采取尺度敏感区域，以生成可以适应不同大小目标的中心区域。比如，如果要对一个边界框I的保留情况做出判断，tlx，tly代表边界框左上角的点，brx, bry代表边界框右下角的点。这里定义一个中心区域j，设左上角的点的位置坐标为(ctlx, ctly)，右下角点的位置坐标为(cbrx, cbry)。这些参数定义满足如下式：
$$ \begin{array}{l} ct{{\rm{l}}_x} = \frac{{(n + 1)t{{\rm{l}}_x} + (n - 1)b{{\rm{r}}_x}}}{{2n}}\\ ct{\rm{l}}y = \frac{{(n + 1)t{{\rm{l}}_y} + (n - 1)b{{\rm{r}}_y}}}{{2n}}\\ cb{{\rm{r}}_x} = \frac{{(n - 1)t{{\rm{l}}_x} + (n + 1)b{{\rm{r}}_x}}}{{2n}}\\ cb{{\rm{r}}_y} = \frac{{(n - 1)t{{\rm{l}}_y} + (n + 1)b{{\rm{r}}_y}}}{{2n}} \end{array} $$ (3) 式中：n代表中心区域j的大小（n为奇数）。当边界框小于150时n＝3，大于150时n＝5。实验证明，此设置对于单通道红外小目标图像仍然适用。
I-YOLO在原Tiny-YOLOV3目标检测网络基础上增加了一定数量卷积层以提取低层卷积特征增加检测尺度，在检测模块使用了CenterNet结构从而在一定程度上提升检测算法的实时性并降低误检率。因此在原目标检测网络基础上加深了网络结构，使得训练模型权重由34MB增加至96MB，而相比小目标检测性能良好的YOLO V3目标检测网络模型权重234 MB，I-YOLO属于轻量级目标检测网络，其模型权重大小可满足在嵌入式系统与边缘计算单元上的部署。除此以外，对于尺度在8×8像素级别以上的红外小目标，I-YOLO可产生较好的目标检测效果。机动车红外图像小目标尺度普遍在10×10像素级别，因此，I-YOLO适用于车载热成像的目标识别。
2. 实验结果及分析
2.1 实验平台
实验硬件数据采集平台为氧化钒384×288分辨率机芯，19 mm镜头的户外热成像探测仪，输出为单通道16 bit数据。车载红外热成像数据采集平台如图 6所示。
模型训练与测试使用硬件平台为Core i7-8750H 2.2 GHz处理器+16 GB内存+Geforce GTX 1080 8 GB显卡。软件平台使用Win10+tensorflow1.9.0+CUDA9.2+VS2017+Open CV4.0。
2.2 评价标准
为评价I-YOLO在车载热成像目标检测应用方面性能，采用平均准确率Mp，平均误检率Mf，平均漏检率Mm，平均运算速度Mo，以及模型权重大小Mw作为评价指标，其中Mp、Mf、Mm计算如下式：
$$ {M_p} = \frac{{{\rm{TP}}}}{{{\rm{TP + FP}}}} $$ (4) $$ {M_{\rm{f}}} = \frac{{{\rm{FP}}}}{{{\rm{FP + TN}}}} $$ (5) $$ {M_{\rm{m}}} = \frac{{{\rm{FN}}}}{{{\rm{FN + TP}}}} $$ (6) 式中：TP表示视红外图像中正确检测出的目标数量；FN表示红外图像中没有检测出来的目标数量；FP表示红外图像中误检出来的目标数量；TN表示红外图像中没有误检的目标数量；Mo与Mw由实际测试及训练得到。
2.3 实验数据集及模型训练
实验训练数据集使用了2018年传感器系统开发商FLIR公司发布的自动驾驶开源红外热成像数据集，该数据集汇集了12000个白天和夜间场景的热图像。该红外热成像数据集的应用将有助于驾驶员或未来的自动驾驶车辆适应黑暗，雾，烟等具有挑战性的环境。
按5:1比例将该数据集划分为训练集与测试集，标注需要检测的4类目标。FLIR部分数据集如图 7所示。
在模型训练环节，对数据集中的图像样本进行预处理，产生416×416像素的图像，训练时选取100幅的图像数量作为小批量训练的样本数量阈值，权重在每一批图像训练之后得到一次更新。将衰减率设为0.0005，动量设置为0.9，学习率初始化为0.001，对I-YOLO网络进行20000次迭代，保存等间隔的10次模型版本，最终选取精度最高的模型。
整个训练的目标损失函数计算公式如下：
$$ L = L_{{\rm{det}}}^{{\rm{co}}} + L_{{\rm{det}}}^{{\rm{ce}}} + {L_{\rm{d}}} $$ (7) 式中：$L_{{\rm{det}}}^{{\rm{co}}}$与$L_{{\rm{det}}}^{{\rm{ce}}}$分别为边缘关键点与中心点的散焦损失，用于训练检测目标边缘与中心点。Ld为向量距离损失函数，计算如下式：
$$ {L_{\rm{d}}} = \alpha L_{{\rm{pull}}}^{{\rm{co}}} + \beta L_{{\rm{push}}}^{{\rm{co}}} + \gamma (L_{{\rm{off}}}^{{\rm{ce}}} + L_{{\rm{off}}}^{{\rm{co}}}) $$ (8) 式中：$L_{{\rm{pull}}}^{{\rm{co}}}$为边缘点回拉损失，用于将同一目标内嵌向量最小化；$L_{{\rm{push}}}^{{\rm{co}}}$为边缘点外推损失，用于将不同目标内嵌向量最大化；$L_{{\rm{off}}}^{{\rm{ce}}}$与$L_{{\rm{off}}}^{{\rm{co}}}$分别为中心关键点与边缘关键点的偏移损失，用于预测二者的偏移值。α，β，γ为权重系数，根据文献[14]分别取0.1, 0.1, 1。
经过20000次迭代，模型平均损失降至0.2以下。如图 8所示。
2.4 测试结果及分析
实际测试使用车载热成像在夜间城市街道实地拍摄的红外视频，视频总长400帧，包括需要检测的4类感兴趣目标，为对比I-YOLO性能指标，采用相同数据集与训练参数进行训练的SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3模型进行对比测试，随机选取测试视频中3帧检测结果进行对比，测试效果如图 9所示。
图 9中，(a)为SSD300×300检测结果，(b)为RetinaNet-50-500检测结果，(c)为Tiny-YOLOV3检测结果，(d)为YOLOV3检测结果，(e)为本文方法检测结果。由实际检测结果可见，SSD300×300在121帧检测出轿车6辆，行人1人，在318帧，检测出轿车6辆，卡车1辆，在326帧，检测出轿车5辆，平均检测速度13FPS。RetinaNet-50-500在121帧检测出轿车7辆，行人1人，在318帧，检测出轿车7辆，卡车1辆，在326帧，检测出轿车5辆，平均检测速度7FPS。Tiny-YOLOV3在121帧检测出轿车6辆，行人1人，在318帧，检测出轿车6辆，卡车1辆，在326帧，检测出轿车4辆，平均检测速度62FPS。YOLOV3在121帧检测出轿车7辆，行人1人，在318帧，检测出轿车7辆，卡车1辆，在326帧，检测出轿车5辆，卡车1辆，平均检测速度21FPS。本文方法在121帧检测出轿车7辆，行人1人，在318帧，检测出轿车7辆，卡车1辆，在326帧，检测出轿车5辆，平均检测速度81fps。根据以上结果分析得出，本文方法在检测精度上十分接近YOLOV3，与RetinaNet-50-500相当，超过SSD300×300，Tiny-YOLOV3，检测实时性上超过所有对比检测方法。
检测模型对整个测试红外视频中4类感兴趣目标的平均准确率Mp，平均误检率Mf，平均漏检率Mm，统计分析如表 1所示。
表 1 4类检测目标统计数据分析Table 1. Statistical analysis of four kinds of detection targetsDetection model Mp(%) Mf(%) Mm(%) Person Car Bus Truck Person Car Bus Truck Person Car Bus Truck SSD300×300 66 71 73 68 12 13 14 11 21 12 21 20 RetinaNet-50-500 90 89 88 92 15 17 18 14 6 4 6 14 Tiny-YOLOV3 65 70 75 69 15 10 15 10 20 15 23 21 YOLOV3 95 90 90 95 20 18 20 15 5 3 5 15 I-YOLO 91 88 89 93 3 5 3 5 9 8 6 18 由表 1的统计结果对比可见，本文提出的I-YOLO红外目标检测网络在对车载热成像系统中4类主要检测目标的平均准确率，平均漏检率方面相对SSD300×300，Tiny-YOLOV3表现更为优良，与RetinaNet-50-500相当，非常接近YOLOV3，平均误检率方面相对SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3均表现更为优良。
在整个测试红外视频中，对检测模型平均准确率Mp，平均误检率Mf，平均漏检率Mm，平均运算速度Mo，以及模型权重大小Mw的综合统计分析如表 2所示。
表 2 综合性能测试对比分析Table 2. Comparison and analysis of comprehensive performance testsDetection model Mp/% Mf/% Mm/% Mo/FPS Mw/MB SSD300×300 67 11 31 13 196 RetinaNet-50-500 90 15 13 7 246 Tiny-YOLOV3 66 12 32 62 34 YOLOV3 95 16 6 21 234 I-YOLO 91 6 12 81 96 由表 2综合测试对比分析结果可见，I-YOLO红外目标检测网络平均检测率达到YOLOV3目标检测网络95%，超出SSD300×300目标检测网络24%，RetinaNet-50-500目标检测网络1%，Tiny-YOLOV3目标检测网络25%，平均误检率相对SSD300×300目标检测网络降低5%，相对RetinaNet-50-500目标检测网络降低9%，相对YOLOV3目标检测网络降低10%，相对Tiny-YOLOV3目标检测网络降低6%，平均漏检率超出YOLOV3目标检测网络6%，相对SSD300 300目标检测网络降低19%，相对RetinaNet-50-500目标检测网络降低1%，相对Tiny-YOLOV3目标检测网络降低20%，平均运算速度上高于SSD300×300网络68 fps，高于RetinaNet-50-500网络74 fps，高于YOLOV3网络60fps，高于Tiny-YOLOV3网络19 fps，模型权重大小上为96 MB，大大低于SSD300×300，RetinaNet-50-500，YOLOV3网络模型权重，高于Tiny-YOLOV3网络模型权重，由于Tiny-YOLOV3检测精度不能满足对红外目标的检测。因此I-YOLO在红外目标检测精度，检测实时性与模型大小几项指标上满足车载热成像系统实时目标检测的需求，适宜于部署Edge-TPU类型的最新边缘计算嵌入式设备上。
3. 结论
文中针对车载热成像系统对红外目标检测的需求，提出了一种增强型轻量级红外目标检测网络模型I-YOLO，该网络基于Tiny-YOLOV3的构架，在基础网络部分，为提高红外小目标检测率，提取低层卷积特征增加构建检测尺度，根据红外图像单通道输出特点在网络第一个卷积层中采用单通道卷积核从而减少了网络的计算量，在检测部分搭建CenterNet检测结构，进一步提高算法实时性，降低误检率。通过红外数据集制作，模型训练，实际测试的结果分析，本文提出的I-YOLO目标检测框架对于车载热成像中的目标检测方面在平均检测率，平均漏检率上优于Tiny-YOLOV3，接近于YOLOV3，在平均误检率，实时性上优于YOLOV3与Tiny-YOLOV3。权重模型精简，适宜于在新一代车载嵌入式系统中部署，辅助夜间智能驾驶。
-
![]()
图 1 基于CNN的高效残差注意力网络结构（ERAN）
Figure 1. Efficient residual attention network (ERAN) based on CNN
![]()
图 4 “TEST_1”使用不同超分辨率重建方法的重建结果（尺度因子为×2）
Figure 4. Reconstructed results of "TEST_1" by different super-resolution reconstruction approaches(upscaling factor is ×2)
![]()
图 5 “TEST_2”使用不同超分辨率重建方法的重建结果（尺度因子为×2）
Figure 5. Reconstructed results of "TEST_2" by different super-resolution reconstruction approaches(upscaling factor is ×2)
![]()
图 6 “TEST_3”使用不同超分辨率重建方法的重建结果（尺度因子为×4）
Figure 6. Reconstructed results of "TEST_3" by different super-resolution reconstruction approaches(upscaling factor is ×4)
![]()
图 7 “TEST_4”使用不同超分辨率重建方法的重建结果（尺度因子为×4）
Figure 7. Reconstructed result of "TEST_4" by different super-resolution reconstruction approaches(upscaling factor is ×4)
表 1 ERAB（包括IRB和ECA）和CSA的研究
Table 1 Investigations of ERAB (including IRB and ECA) and CSA
Base M1 M2 M3 M4 IRB √ √ √ √ CSA √ √ ECA √ √ PSNR/dB 42.44 42.78 42.97 42.86 43.06 SSIM 0.9543 0.9549 0.9552 0.9550 0.9554 
下载: 导出CSV
表 2 典型图像实验结果对比
Table 2 Comparison of typical images experiment results
Images Scale Bicubic
(PSNR/dB)/SSIMSRResNet
(PSNR/dB)/SSIMEDSR
(PSNR/dB)/SSIMRCAN
(PSNR/dB)/SSIMOurs
(PSNR/dB)/SSIMTEST_1 ×2 38.0631/0.9710 43.0650/0.9868 43.1183/0.9869 43.1627/0.9870 43.3488/0.9875 TEST_2 30.8528/0.7505 32.1850/0.7875 32.1907/0.7878 32.1908/0.7880 32.2152/0.7881 TEST_3 ×4 31.8568/0.9091 35.4462/0.9498 35.3748/0.9493 35.7971/0.9516 36.0539/0.9538 TEST_4 28.6532/0.8888 35.3544/0.9551 35.3770/0.9548 35.5273/0.9559 36.1061/0.9586
下载: 导出CSV
表 3 测试图像集超分辨率重建结果比较
Table 3 Comparison of super-resolution reconstruction results of test image set
Methods (PSNR/dB)/SSIM（×2） (PSNR/dB)/SSIM（×4） Bicubic 38.4937/0.9395 32.3882/0.8699 SRResNet 41.6272/0.9220 34.8284/0.8999 EDSR 41.6705/0.9221 35.4601/0.9035 RCAN 42.5441/0.9546 35.5871/0.9042 OURS 43.0616/0.9554 35.7599/0.9053
下载: 导出CSV
-
[1] Baker S, Kanade T. Limits on super resolution and how to break them[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(9): 1167-1183. http://www.onacademic.com/detail/journal_1000035551419310_c5fb.html
[2] Hou H, Andrews H. Cubic splines for image interpolation and digital filtering[J]. IEEE Transactions on acoustics, speech, and signal processing, 1978, 26(6): 508-517. DOI: 10.1109/TASSP.1978.1163154
[3] Freeman W T, Pasztor E C, Carmichael O T. Learning low-level vision[J]. International Journal of Computer Vision, 2000, 40(1): 25-47. DOI: 10.1023/A:1026501619075
[4] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE transactions on image processing, 2010, 19(11): 2861-2873. DOI: 10.1109/TIP.2010.2050625
[5] DONG C, Loy C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Trans Pattern Anal Mach Intell, 2016, 38(2): 295-307. DOI: 10.1109/TPAMI.2015.2439281
[6] DONG C, Loy C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//Proceedings of the European conference on computer vision (ECCV), 2016: 391-407.
[7] SHI W, Caballero J, Huszár F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2016: 1874-1883.
[8] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.
[9] Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4681-4690.
[10] Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 136-144.
[11] ZHANG Y, LI K, LI K, et al. Image super-resolution using very deep residual channel attention networks[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 286-301.
[12] DAI T, CAI J, ZHANG Y, et al. Second-order attention network for single image super-resolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 11065-11074.
[13] NIU B, WEN W, REN W, et al. Single image super-resolution via a holistic attention network[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2020: 191-207.
[14] Choi Y, Kim N, Hwang S, et al. Thermal image enhancement using convolutional neural network[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2016: 223-230.
[15] HE Z, TANG S, YANG J, et al. Cascaded deep networks with multiple receptive fields for infrared image super-resolution[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 29(8): 2310-2322. http://www.xueshufan.com/publication/2886209123
[16] ZOU Y, ZHANG L, LIU C, et al. Super-resolution reconstruction of infrared images based on a convolutional neural network with skip connections[J]. Optics and Lasers in Engineering, 2021, 146: 106717. DOI: 10.1016/j.optlaseng.2021.106717
[17] YU J, FAN Y, YANG J, et al. Wide activation for efficient and accurate image super-resolution[J/OL]. arXiv preprint arXiv: 1808.08718, 2018.
[18] WANG Q, WU B, ZHU P, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 11534-11542.
-
期刊类型引用(3)
1. 邵延华，黄琦梦，梅艳莹，张晓强，楚红雨，吴亚东. 一种基于多尺度的目标检测锚点构造方法. 红外技术. 2024(02): 162-167 . 
本站查看
2. 杨锦帆，王晓强，林浩，李雷孝，杨艳艳，李科岑，高静. 深度学习中的单阶段车辆检测算法综述. 计算机工程与应用. 2022(07): 55-67 . 百度学术
3. 宋甜，李颖，王静. 改进YOLOv5s的车载红外图像目标检测. 现代计算机. 2022(02): 21-28 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 234
- HTML全文浏览量: 73
- PDF下载量: 76
- 被引次数: 4
