基于GNR先验的电力设备热成像超分辨率方法

刘云峰, 赵洪山, 杨晋彪, 韩晋锋, 刘秉聪

刘云峰, 赵洪山, 杨晋彪, 韩晋锋, 刘秉聪. 基于GNR先验的电力设备热成像超分辨率方法[J]. 红外技术, 2023, 45(1): 40-48.
引用本文: 刘云峰, 赵洪山, 杨晋彪, 韩晋锋, 刘秉聪. 基于GNR先验的电力设备热成像超分辨率方法[J]. 红外技术, 2023, 45(1): 40-48.
LIU Yunfeng, ZHAO Hongshan, YANG Jinbiao, HAN Jinfeng, LIU Bingcong. Super Resolution Method for Power Equipment Infrared Imaging Based on Gradient Norm-ratio Prior[J]. Infrared Technology , 2023, 45(1): 40-48.
Citation: LIU Yunfeng, ZHAO Hongshan, YANG Jinbiao, HAN Jinfeng, LIU Bingcong. Super Resolution Method for Power Equipment Infrared Imaging Based on Gradient Norm-ratio Prior[J]. Infrared Technology , 2023, 45(1): 40-48.

基于GNR先验的电力设备热成像超分辨率方法

基金项目: 

国网山西电力公司科技项目配电设备智能传感与态势感知运维技术研究 921010025

详细信息
    作者简介:

    刘云峰(1978-),男,高级工程师,主要研究方向为电力系统自动化。E-mail:50044024@qq.com

  • 中图分类号: TM41

Super Resolution Method for Power Equipment Infrared Imaging Based on Gradient Norm-ratio Prior

  • 摘要: 电力设备红外图像在电力设备状态监测、故障识别等方面发挥着重要作用。针对红外图像应用时存在的分辨率低,清晰度不足的问题,本文提出一种基于图像梯度范数比(Gradient Norm-ratio, GNR)先验约束的压缩感知电力设备红外图像超分辨率方法。通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律,将GNR先验引入传统压缩感知超分辨率模型中。并针对改进后的模型设计了有效的求解算法,通过半二次分裂方法引入辅助变量,对不同变量交替迭代求解,实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入,有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比,本文方法重建图像无论在主观视觉效果还是客观评价指标上都有了较好的提升。
    Abstract: Infrared images play an important role in the condition monitoring and fault identification of power equipment. Aiming at solving the problems of low resolution and low definition in the application of infrared images, this paper proposes a super-resolution method for compressed infrared images of sensing power equipment based on the prior constraint of the image gradient ratio (GNR). The GNR prior was introduced into the traditional compressed sensing super-resolution model by analyzing the variation in high-frequency information of power equipment infrared images at different sampling ratios. An effective algorithm was designed to solve the improved model. By introducing auxiliary variables into the semi-quadratic splitting method, different variables were iteratively and alternately solved to realize the super-resolution reconstruction of infrared images. The simulation results show that the introduction of GNR prior information was conducive to the super-resolution algorithm achieving better reconstruction. Compared with existing classical super-resolution methods, the proposed method improves both the subjective visual effect and objective evaluation index.
  • 当前在核电监测、无人机遥感和军事等领域都经常采用红外成像系统,且都要求有一个大的视场,以获取更多的有效消息。但是大视场会带来成像畸变的问题,成像畸变导致像点与物点定位关系不准确,影响成像效果。想要利用这些具有严重畸变的图像就需要对其进行畸变校正。使用传统光学的办法进行畸变校正会导致以下问题:

    1)光学系统尺寸增大,变得复杂,不利于很多使用场景下的小型化要求;

    2)由于光线的透过率会随透镜的数量增加而降低,红外波段的光学镜头受限于使用材料,透过率衰减更为突出。

    因此,通常都采用图像处理的办法来校正畸变,可以避免上述问题,且校正效果优良。

    对相机进行畸变校正可以分为两步,第一步就是获取畸变参数,称之为相机标定;第二步是根据标定的畸变参数对畸变图像还原[1-2]。在进行标定时,通常利用标定板对相机进行标定[3],这种方法过程比较繁琐,且对标定板精度要求较高,而红外标定板由于成像原理导致加工更为困难。因此,更适合采用自标定的方法进行红外相机标定。自标定方法可以通过两幅图像中特征点对的坐标关系,来标定畸变参数[4]。常用的自标定方法又以非线性迭代的方法为主,但是非线性迭代的方法涉及到相机内参、畸变参数初值的选择,且对初值敏感。除此之外还有非迭代的方法求解相机的畸变参数。

    文献[5]通过实验仿真结果证明了摄像机参数关联的问题,提出可以通过其他算法来替代非线性迭代从而获得需要的参数。文献[6]提出了九点非迭代优化算法对相机进行标定,但这种方法对图像质量要求高,不能直接适用于红外相机。

    本文使用了非迭代的方法对大视场红外相机进行标定。在不知道场景信息和相机参数的前提下,用一种改进算子的SURF算法对畸变图像进行特征点检测与匹配,使用除DM模型和核密度估计算法对相机进行标定,并采用基于边缘保持的插值方法对畸变图像进行校正。

    相机的成像过程涉及到坐标系的转换,经典成像过程就是在4个坐标系中投影映射的过程,如图 1所示。所遵循的模型为针孔成像模型,物点的物像之间的理想关系是线性关系,也称为线性投影模型。

    图  1  坐标系之间的投影映射
    Figure  1.  Projection mapping between coordinate systems

    大视场相机为了使用有限大的成像器件获取更大的视场,使用的成像模型是非线性模型,常见的有等距投影模型、等区域投影模型、正射投影模型、球面投影模型。这些模型投影半径与视场角之间的投影关系如图 2所示,编号1~5的曲线分别是线性投影模型、球面投影、等距投影、等区域投影、正射投影。

    图  2  不同成像模型的视场角与投影半径关系
    Figure  2.  The relationship between the field of view and the projection radius of different imaging models

    相机的光学畸变是成像过程中的非线性几何失真导致的,这种畸变是由多种类型的畸变组合起来的,通常包括径向畸变(Radial distortion)、切向畸变(Tangential distortion)和薄棱镜畸变(Thin prism distortion)等这几种类型[7]

    径向畸变是光学畸变中对成像效果影响最大的,表现为成像点沿着径向方向有向内或向外的偏移,其中向内偏移为负畸变,向外偏移为正畸变。假设物面为正方形,则正畸变表现为枕形畸变,负畸变表现为桶形畸变,如图 3所示。

    图  3  畸变的两种表现形式
    Figure  3.  Two manifestations of distortion

    根据相机模型,径向畸变可用下式表示为:

    $$ \left\{ {\begin{array}{*{20}{c}} {{{\hat x}_{\text{d}}} = x\left[ {1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6} + \cdots } \right]} \\ {{{\hat y}_{\text{d}}} = y\left[ {1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6} + \cdots } \right]} \end{array}} \right. $$ (1)

    上式表示径向畸变和半径r的偶次方正相关,其中k1决定了图像中心位置畸变较小,k2决定边缘区域畸变量较大。对于鱼眼相机一般需要3阶以上进行描述。

    除径向畸变以外,根据相机的内部构造及安装工艺水平可知,不能完全共线的光学系统的镜头光轴产生了偏心畸变;根据Brown-Conrady[8]提出的模型,这种畸变由径向分量和切向分量共同产生,它使成像过程中的实际的成像点在径向和切向都产生微小偏移,将偏心畸变分解到平面坐标系的xy轴,可得数学表达为:

    $$ \left\{ {\begin{array}{*{20}{c}} {{{\hat x}_{\text{d}}} = {p_1}\left( {3{x^2} + {y^2}} \right) + 2{p_2}xy} \\ {{{\hat y}_{\text{d}}} = {p_2}\left( {{x^2} + 3{y^2}} \right) + 2{p_1}xy} \end{array}} \right. $$ (2)

    式中:p1p2是为泰勒展开后的切向畸变系数;(x, y)是理想坐标点。

    由于偏心畸变的系数p1p2远小于泰勒展开的径向畸变的系数k1k2,因此偏心畸变在数量上要比径向畸变小得多,在进行校正时通常只考虑径向畸变的影响。

    畸变图像的畸变是多种畸变共同作用的结果,但对相机的成像效果影响最大的是径向畸变,因此进行畸变校正时,仅考虑径向畸变。由于镜头的实际成像模型较为复杂,一般都采用多项式模型来近似。

    假设无畸变图像上一点坐标为xu=(xu, yu)T,在畸变图像上对应的点坐标为xd=(xd, yd)T,多项式模型可表示为:

    $$ \boldsymbol{x}_{\mathrm{u}}-\boldsymbol{e}=\left(\boldsymbol{x}_{\mathrm{d}}-\boldsymbol{e}\right) L\left(r_{\mathrm{d}}, k\right) $$ (3)

    式中:e=(x0, y0)T为畸变中心坐标:

    $$\begin{gathered} L\left(r_{\mathrm{d}}, k\right)=1+k_1 r_{\mathrm{d}}^2+k_2 r_{\mathrm{d}}^4+k_3 r_{\mathrm{d}}^6+\cdots \\ r_{\mathrm{d}}=\sqrt{\left(x_{\mathrm{d}}-x_0\right)^2+\left(y_{\mathrm{d}}-y_0\right)^2} \end{gathered} $$

    上述多项式模型(Polynomial model, PM)称为乘法模型,在描述较大的畸变时需要使用高阶PM模型,但是参数过多会导致求解困难。Fitzgibbon提出了除法模型,在参数较少的情况下,DM模型具有更强大的畸变描述的能力[9],且便于求解。DM模型可表示为:

    $$ \boldsymbol{x}_{\mathrm{u}}-\boldsymbol{e}=\frac{\left(\boldsymbol{x}_{\mathrm{d}}-\boldsymbol{e}\right)}{L\left(r_{\mathrm{d}}, k\right)}$$ (4)

    本文使用单参数的DM模型,即:

    $$ \boldsymbol{x}_{\mathrm{u}}-\boldsymbol{e}=\frac{\boldsymbol{x}_{\mathrm{d}}-\boldsymbol{e}}{1+k r_{\mathrm{d}}^2}$$ (5)

    本文中的自标定算法利用的是红外图像中的特征点满足的几何约束关系,所以首先要提取出红外图像中的特征点并能将它们正确匹配。因为图像存在较大畸变,所以需要选择一种适用于具有较大畸变的红外图像的方法。

    红外图像相比于可见光图像存在分辨率低、对比度低、信噪比低、信息量少的特点,因此针对可见光的特征点检测方法不能直接用于红外图像,需要针对红外图像进行改进。

    SURF算法是对SIFT算法的一种改进,提高了运算速度和鲁棒性。经典SURF算法的特点是:①SURF特征是图像的局部特征,它对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;②独特性好;③多量性;④可扩展性强。但是也存在一些不足:①特征点精度不高;②提取的特征点容易存在错误检测,导致特征点信息的冗余,稳定性差[10]。在对红外图像进行特征点提取时,这些问题更为凸显。因此,本文在使用SURF算法进行特征点提取时,使用了一种改进的SURF算子,用来对特征点进行提纯,剔除一些错误的特征点。具体做法是引入局部二维熵来进一步刻画特征点的独特性,通过对比特征点的局部二维熵与阈值的关系来实现特征点的提纯[11]

    局部二维熵的定义为:

    $$ H = - \sum\limits_{i = 0}^{255} {\frac{{f\left( {i,j} \right)}}{{{N^2}}}} {\log _2}\frac{{f\left( {i,j} \right)}}{{{N^2}}} $$ (6)

    式中:i表示像素的灰度值;j表示邻域灰度均值;f(i, j)表示(i, j)出现的频数;N代表尺度。

    改进的SURF特征点检测过程如图 4

    图  4  改进的SURF算法特征点检测流程
    Figure  4.  Improved SURF algorithm extracts feature point flowcharts

    在对检测到的特征点进行提纯后,我们使用双向匹配算法对特征点进行匹配。

    由对极几何关系和基础矩阵我们可以知道,同一场景两幅无畸变图像中的一对成像点xu=(xu, yu)Txu′=(xu′, yu′)T,设畸变中心e为坐标原点,则两者之间满足:

    $$ \boldsymbol{x}_{\mathrm{u}}{ }^{\prime} \boldsymbol{F} \boldsymbol{x}_{\mathrm{u}}=0 $$ (7)

    式中:F是基本矩阵[12],将式(5)代入式(7)中可得到:

    $$ {\left[ {\frac{{{{x'}_{\text{d}}}}}{{1 + k{{r'}_{\text{d}}^2}}}} \right]^{\text{T}}}F\left[ {\frac{{{x_{\text{d}}}}}{{1 + kr_{\text{d}}^{\text{2}}}}} \right] = 0 $$ (8)

    将图像上两点坐标用齐次坐标表示,进行坐标还原后在方程的两边均乘以(1+krd2),不改变等式的恒等性。使用直积(Kronecker积)把基础矩阵F拉直,则式(8)变为如下形式:

    $$ \left(x_{\mathrm{d}}^{\prime}, y_{\mathrm{d}}^{\prime}, 1+k r_{\mathrm{d}}^{\prime 2}\right) \otimes\left(x_{\mathrm{d}}, y_{\mathrm{d}}, 1+k r_{\mathrm{d}}^2\right) \vec{F}=0 $$ (9)

    式(9)表示了两幅畸变图像中一对成像点之间的关系。当两幅图像中9对成像点堆积起来时,我们就可以得到一个关于基础矩阵拉直后向量f的齐次线性方程组:

    $$\boldsymbol{M}\left(x, x^{\prime}, k\right) \boldsymbol{f}=0 $$ (10)

    式中:矩阵M称为测量矩阵;xx′表示9对成像点坐标的堆积;f表示基础矩阵F的拉直向量。为方便书写,以下M(x, x′, k)记为M

    由基础矩阵的性质可以知道,等式(10)的解必须是一个奇异矩阵,于是可以得到如下两个等式:

    $$ \operatorname{det}(\boldsymbol{M})=0 $$ (11)
    $$ \operatorname{det}(\operatorname{Mtx}[\operatorname{Ker}[\boldsymbol{M}]])=0 $$ (12)

    式中:Ker[]表示零空间算子;Mtx[]表示将向量转为矩阵的运算。在式(11)中,仅包含有一个未知数k,于是可以得到一个关于k的6阶多项式方程,求解出k

    虽然理论上有9对匹配点就能求得k值,但是由于噪声与误差的影响,求得的k值会非常不稳定,可以通过使用多组匹配点进行重复计算来提高结果的稳定性。

    通过实验发现,在进行多组实验时,求得的k值始终包围着真正的根,于是可以采用核密度估计的方法来估计根值。

    这种方法就是使用核密度估计去寻找最大峰值分布的概率,最大峰值对应的位置就是我们要找的最优根值。假设对随机变量进行核密度估计:

    $$ \hat{f}_h(x)=\sum\limits_{i=1}^n \frac{K\left(x_i-x\right)}{h} $$ (13)

    式中:K()表示核函数;h表示带宽。高阶方程求得的根作为随机变量。选择带宽为0.3的高斯核来估计概率密度函数,基于对实根的概率密度估计,很容易得到最优根。

    图像畸变校正的过程就是根据相机的畸变模型,将畸变图像恢复成无畸变图像的过程。这个过程需要将无畸变图像的每个像素坐标映射到畸变图像上,但通常情况下,得到的坐标映射结果不是一个整数,因此需要对坐标像素进行插值运算。

    在进行坐标变换时,我们使用逆向映射,通过计算无畸变图像任意像素点经映射后在畸变图像中的坐标位置进行校正,这样可以减少计算量。

    最常使用的插值方法包括:临近点插值,双线性插值,双三次插值。临近点插值计算量最小,但是效果不好,会存在明显的灰度不连续性。双线性插值在边缘处过渡较为自然,但是也会导致损失图像高频细节,使轮廓变得模糊。双三次插值效果最好,但是计算量非常大,不利于图像畸变校正的实际应用。因此提出一种基于边缘保持的灰度插值方法。基于边缘保持的灰度插值方法可以通过计算插值区域的局部标准差,判断插值区域属于平滑区域或者边缘区域。在图像平滑区域使用双线性插值,减少计算量的同时也不会导致边缘模糊;在边缘区域使用双三次插值,保证图像细节和边缘。

    基于边缘保持的插值算法主要思路是:首先确定阈值T,计算当前像素区域标准差;如果当前区域像素标准差小于T,则表明它在平滑区域,当前像素选择用邻域加权替代;如果当前区域像素标准差大于T,则表明它在边缘区域,属于边缘点,此时选择用最大梯度方向的像素点代替当前像素。实现流程如图 5所示。

    图  5  基于边缘保持的插值方法原理
    Figure  5.  The principle of interpolation method based on edge holding

    为了验证理论算法的有效性,本文使用大视场红外相机进行了实验。使用的相机为中波红外相机,探测器响应波段为3.3~4.3 μm,系统输出图像分辨率为1280×1024,图像为16 bit,水平视场角约50°,最大畸变约40%。该系统的光学畸变设计结果如图 6所示,可以清楚地看到畸变率随视场角的增大而快速增大,符合2.1节中径向畸变模型的预测结果。本文的实验算法均在同一台电脑上进行,电脑配置为:CPU Intel i7 9750,内存16 GB,操作系统为Windows 10旗舰版;运行环境:Matlab 2020a。

    图  6  光学系统的理论畸变曲线
    Figure  6.  Theoretical distortion curve of an optical system

    使用大视场红外相机对室外场景进行拍摄,对同一场景从不同位置或角度拍摄两张图像,并对图像进行简单预处理,便于后续利用,如图 7所示。

    图  7  采集的畸变红外图像
    Figure  7.  Acquired distorted infrared images

    使用改进算子的SURF算法对两张红外图像进行特征点检测,并使用双向匹配算法进行特征点匹配,得到的结果如图 8所示。从图 8可以看到,使用改进算子的SURF算法可以自动获得特征匹配点对,且准确率较高。

    图  8  特征点检测与匹配结果
    Figure  8.  The results of feature point detection and matching

    根据2.3节的方法标定相机的畸变参数,我们默认采用文献中常用的方法,设畸变中心坐标为图像中心,即:

    $$ \boldsymbol{e} = {\left( {\frac{{{\text{IMW}} + 1}}{2},\frac{{{\text{IMW}} + 1}}{2}} \right)^{\text{T}}} $$ (14)

    将匹配到的坐标点每9对堆叠在一起作为一组,可以得到一个关于畸变参数k的6阶方程,并使用Matlab自带的solve函数求解方程的实根。将多组匹配点对求解出的畸变参数的实根,作为样本集,并使用基于核密度估计的方法求取最优解。在进行这一步时,可以将图像坐标归一化,有利于提高畸变参数的估计精度。基于单参数DM模型的畸变参数k值范围在-2~2之间。

    设置带宽为0.3,得到实根的概率密度分布曲线如图 9所示,由图 9可知求得的最优解为k=-0.8725。

    图  9  实根分布密度曲线
    Figure  9.  Distribution density curve of solid roots

    对畸变图像进行校正时,使用后向映射的方法,需要用ru来表示rd,即:

    $$ {r_{\text{d}}} = \frac{{\sqrt {1 - 4kr_{\text{u}}^2} }}{{2kr_{\text{u}}^{}}} $$ (15)

    然后使用基于边缘保持的插值方法对校正后坐标不是整数的像素进行灰度插值运算,最终得到校正后的图像。从图 10可以看出,图像保持了良好的边缘特征,没有出现插值导致的锯齿和模糊现象。而且建筑的边缘基本都变成了直线,这意味着原图像中的畸变得到了校正。

    图  10  第一组校正结果
    Figure  10.  Group 1 corrected results

    图 11对比了校正前后图像像高的变化。校正前,像高与视场角的关系符合鱼眼投影模型,导致了畸变;校正后,像高与视场角的关系符合线性投影模型,消除了畸变。

    图  11  校正前后像高的变化
    Figure  11.  Variation in image height before and after correction

    为了验证这种方法对于不同畸变程度的图像的有效性,本文使用畸变程度不同的图像进行了实验。图 12中的红外图像畸变率小于10%,用上述方法进行畸变校正后得到图 13,从图像中可以看出,房顶边缘处的弧线基本变为直线,图像边缘处的楼房畸变消失,校正效果较为理想。

    图  12  畸变程度较低的红外图像
    Figure  12.  Infrared images with low distortion
    图  13  第二组校正结果
    Figure  13.  Group 2 corrected results

    本文的方法对畸变程度不同的红外图像都实现了畸变校正,且效果较为理想。以上结果说明本文提出的方法对大视场红外图像的畸变校正具有可行性和普适性,能有效处理各种程度的径向畸变。受限于不同畸变程度图像数据的不足,因此,本文未能通过具体实验确定此畸变校正方法的校正上限,但是通过参考可见光图像畸变校正和像差校正的相关文献[13-14],在不考虑特征点检测与匹配误差影响的情况下,该方法可以做到对视场约180°的鱼眼镜头进行畸变校正。

    本文通过输入同一相机拍摄的两幅相同场景的图像,实现了大视场红外相机的畸变自动校正,为大视场红外相机的畸变校正提供了一种可行的方案。该方法不需要人工参与,且不需要预先知道相机本身的参数信息,即可完成畸变校正。但是仍然存在一些不足,在标定畸变参数时,需要的特征点对数量较多,否则会导致求解的最优解陷入局部最优。因此在进行图片选取时,需要两幅图像尽可能包含较多的相同场景,便于进行特征点检测时,两幅图像中能够尽可能地获取到更多的特征点对。除此之外,本文的算法在校正畸变图像时,导致了原有的视场有所减小,这些都需要进行后续的优化和修正。

  • 图  1   采用不同约束项时重建图像高频信息成本变化图

    Figure  1.   Reconstruction of high frequency information cost chart of image with different constraints

    图  2   求解算法流程图

    Figure  2.   Flow chart of solving algorithm

    图  3   人工下采样红外图像不同方法重建结果

    Figure  3.   Reconstruction results of artificial down sampling infrared image by different methods

    图  4   1号图像不同方法重建结果

    Figure  4.   Reconstruction results of No.1 image by different methods

    图  5   2号图像不同方法重建结果

    Figure  5.   Reconstruction results of No.2 image by different methods

    图  6   不同大小图像重建所需时间

    Figure  6.   The time required to reconstruct images of different sizes

    表  1   不同方法重建图像PSNR评价指标对比

    Table  1   Comparison of PSNR evaluation indexes of reconstructed images by different methods

    Image number Zhang's Original CS Yang's Li's Ours
    1 23.0657 24.9632 26.5846 27.2059 29.3659
    2 22.5691 24.6251 25.9631 26.3620 29.0325
    3 23.6245 24.3219 26.4263 26.3494 30.0316
    4 22.9521 23.6594 25.6845 25.2631 28.9613
    5 22.1694 24.2351 26.4975 26.1279 30.1034
    6 23.1784 23.9865 27.3249 26.6947 28.9674
    7 22.5728 24.6937 26.3592 27.0691 29.3461
    8 21.6891 23.4967 26.6481 27.9612 28.6541
    9 22.7816 25.1435 26.2597 26.6729 30.5319
    10 23.0684 24.3167 26.9437 27.1636 28.6755
    下载: 导出CSV

    表  2   不同方法重建图像SSIM评价指标对比

    Table  2   Comparison of SSIM evaluation indexes of reconstructed images by different methods

    Image number Zhang’s Original CS Yang’s Li’s Ours
    1 0.7934 0.8635 0.8966 0.9103 0.9731
    2 0.7349 0.8526 0.8791 0.8955 0.9436
    3 0.8172 0.8678 0.9249 0.9027 0.9348
    4 0.7393 0.8211 0.8842 0.8931 0.9274
    5 0.7304 0.8197 0.8991 0.8769 0.9533
    6 0.7681 0.7987 0.9014 0.8643 0.9264
    7 0.7311 0.8235 0.8624 0.8971 0.9083
    8 0.7129 0.8433 0.8742 0.8892 0.9151
    9 0.7486 0.8730 0.8785 0.8797 0.9762
    10 0.7519 0.8261 0.8834 0.9031 0.9216
    下载: 导出CSV

    表  3   不同方法重建图像AG评价指标对比

    Table  3   Comparison of AG evaluation indexes of reconstructed images by different methods

    Image
    number
    Zhang’s Original CS Yang’s Li’s Ours
    1 20.6496 20.3521 29.1152 28.4946 31.0694
    2 18.6232 24.7993 32.6134 30.6779 33.9552
    3 20.5298 23.6657 31.5780 32.6144 34.3967
    4 22.3863 22.6349 30.3440 29.4893 31.3995
    5 19.8414 23.3463 27.4514 24.9311 31.3776
    6 17.6890 21.1064 28.9477 31.3425 33.1015
    7 18.6451 25.6108 32.6944 32.4871 36.2160
    8 22.3637 24.4892 30.9645 28.5638 34.2556
    9 20.0684 25.6946 31.9865 30.9783 36.9943
    10 19.6452 20.3521 29.1152 28.4946 31.0694
    下载: 导出CSV

    表  4   不同方法重建图像IE评价指标对比

    Table  4   Comparison of IE evaluation indexes of reconstructed images by different methods

    Image
    number
    Zhang’s Original CS Yang’s Li’s Ours
    1 5.8113 6.0168 6.3153 6.2154 6.5312
    2 5.7256 5.8364 6.0215 5.9342 6.1249
    3 6.2316 6.1546 6.2599 6.5644 6.7291
    4 5.9233 5.9487 6.1547 6.3263 6.3478
    5 6.0532 6.1306 6.1658 6.2431 6.4528
    6 5.625 5.8314 5.8947 6.1456 6.1569
    7 5.8449 6.1125 6.0387 6.2831 6.5937
    8 5.7052 5.8841 6.2436 6.1463 6.2649
    9 6.1242 5.8543 6.1488 6.1395 6.1531
    10 5.9439 6.0337 6.3894 6.2343 6.5013
    下载: 导出CSV
  • [1] 王毅, 陈启鑫, 张宁, 等. 5G通信与泛在电力物联网的融合: 应用分析与研究展望[J]. 电网技术, 2019, 43(5): 1575-1585. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS201905012.htm

    WANG Yi, CHEN Qixin, ZHANG Ning, et al. Fusion of the 5G communication and the ubiquitous electric internet of things: application analysis and research prospects[J]. Power System Technology, 2019, 43(5): 1575-1585. https://www.cnki.com.cn/Article/CJFDTOTAL-DWJS201905012.htm

    [2] 李鹏, 毕建刚, 于浩, 等. 变电设备智能传感与状态感知技术及应用[J]. 高电压技术, 2020, 46(9): 3097-3113. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202009013.htm

    LI Peng, BI Jiangang, YU Hao, et al. Technology and application of intelligent sensing and state sensing for transformation equipment[J]. High Voltage Engineering, 2020, 46(9): 3097-3113. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202009013.htm

    [3] 梁兴, 严居斌, 尹磊. 基于红外图像的输电线路故障识别[J]. 电测与仪表, 2019, 56(24): 99-103. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201924016.htm

    LIANG Xing, YAN Jubin, YIN Lei. Fault identification of transmission lines based on infrared image[J]. Electrical Measurement & Instrumentation, 2019, 56(24): 99-103. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201924016.htm

    [4] 赵仕策, 赵洪山, 寿佩瑶. 智能电力设备关键技术及运维探讨[J]. 电力系统自动化, 2020, 44(20): 1-10. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXT202020001.htm

    ZHAO Shice, ZHAO Hongshan, SHOU Peiyao. Discussion on key technology and operation & maintenance of intelligent power equipment[J]. Automation of Electric Power Systems, 2020, 44(20): 1-10. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXT202020001.htm

    [5]

    Lozanov Y, Tzvetkova S. A methodology for processing of thermographic images for diagnostics of electrical equipment[C]//2019 11th Electrical Engineering Faculty Conference (BulEF). IEEE, 2019: 1-4.

    [6]

    LI Y, ZHAO K, REN F, et al. Research on super-resolution image reconstruction based on low-resolution infrared sensor[J]. IEEE Access, 2020, 8: 69186-69199. DOI: 10.1109/ACCESS.2020.2984945

    [7] 唐艳秋, 潘泓, 朱亚平, 等. 图像超分辨率重建研究综述[J]. 电子学报, 2020, 48(7): 1407-1420. DOI: 10.3969/j.issn.0372-2112.2020.07.022

    TANG Yanqiu, PAN Hong, ZHU Yaping, et al. A survey of image super-resolution reconstruction[J]. Acta Electronica Sinica, 2020, 48(7): 1407-1420. DOI: 10.3969/j.issn.0372-2112.2020.07.022

    [8]

    Bätz M, Eichenseer A, Kaup A. Multi-image super-resolution using a dual weighting scheme based on Voronoi tessellation[C]//2016 IEEE International Conference on Image Processing (ICIP). IEEE, 2016: 2822-2826.

    [9]

    WANG L, LIN Z, DENG X, et al. Multi-frame image super-resolution with fast upscaling technique[J/OL]. arXiv preprint arXiv: 1706.06266, 2017.

    [10]

    Rasti P, Demirel H, Anbarjafari G. Improved iterative back projection for video super-resolution[C]//2014 22nd Signal Processing and Com-munications Applications Conference (SIU). IEEE, 2014: 552-555.

    [11] 杨欣, 费树岷, 周大可. 基于MAP的自适应图像配准及超分辨率重建[J]. 仪器仪表学报, 2011, 32(8): 1771-1775. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201108014.htm

    YANG Xin, FEI Shumin, ZHOU Dake. Self-adapting weighted technology for simultaneous image registration and super-resolution reconstruction based on MAP[J]. Chinese Journal of Scientific Instrument, 2011, 32(8): 1771-1775. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201108014.htm

    [12]

    Kato T, Hino H, Murata N. Multi-frame image super resolution based on sparse coding[J]. Neural Networks, 2015, 66: 64-78.

    [13]

    Greaves A, Winter H. Multi-frame video super-resolution using convolutional neural networks[J]. IEEE Transactions on Multimedia, 2017, 8(3): 76-85.

    [14]

    Hayat K. Multimedia super-resolution via deep learning: a survey[J]. Digital Signal Processing, 2018, 81: 198-217.

    [15]

    DONG W, ZHANG L, Lukac R, et al. Sparse representation-based image interpolation with nonlocal autoregressive modeling[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1382-1394.

    [16]

    WANG L, WU H, PAN C. Fast image upsampling via the displacement field[J]. IEEE Transactions on Image Processing, 2014, 23(12): 5123-5135.

    [17]

    ZHANG Y, FAN Q, BAO F, et al. Single-image super-resolution based on rational fractal interpolation[J]. IEEE Transactions on Image Processing, 2018, 27(8): 3782-3797.

    [18]

    Manjón J V, Coupé P, Buades A, et al. Non-local MRI upsampling[J]. Medical Image Analysis, 2010, 14(6): 784-792.

    [19]

    ZHANG X, Burger M, Bresson X, et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction[J]. SIAM Journal on Imaging Sciences, 2010, 3(3): 253-276.

    [20]

    LI L, XIE Y, HU W, et al. Single image super-resolution using combined total variation regularization by split Bregman Iteration[J]. Neurocomputing, 2014, 142: 551-560.

    [21]

    Rasti P, Demirel H, Anbarjafari G. Improved iterative back projection for video super-resolution[C]//2014 22nd Signal Processing and Communications Applications Conference (SIU). IEEE, 2014: 552-555.

    [22]

    YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

    [23]

    WANG X, YU K, DONG C, et al. Recovering realistic texture in image super-resolution by deep spatial feature transform[C]//Proceedings of The IEEE Conference on Computer Vision and Pattern Recognition, 2018: 606-615.

    [24]

    Zoph B, Le Q V. Neural architecture search with reinforcement learning[J/OL]. arXiv preprint arXiv: 1611.01578, 2016.

    [25]

    Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.

    [26]

    Candes E, Romberg J. Sparsity and incoherence in compressive sampling[J]. Inverse Problems, 2007, 23(3): 969.

    [27]

    Sulam J, Ophir B, Zibulevsky M, et al. Trainlets: Dictionary learning in high dimensions[J/OL]. arXiv preprint arXiv: 1602.00212, 2016.

    [28]

    ZHANG H, Hager W W. A nonmonotone line search technique and its application to unconstrained optimization[J]. SIAM Journal on Opti-mization, 2004, 14(4): 1043-1056.

    [29]

    JIN J, YUAN J, SHEN Q, et al. Curvelet transform based adaptive image deblocking method[J]. Computers & Electrical Engineering, 2014, 40(8): 117-129.

    [30]

    Chengbo L. An efficient algorithm for total variation regularization with applications to the single pixel camera and compressive sensing[D]. Houston: Department of Computational and Applied Mathematics, 2009.

    [31] 中华人民共和国国家质量监督检验检疫总局. 工业检测型红外热像仪[S]. GB/T 19870-200, [2021-06-08].

    General Administration of Quality Supervision, Inspection and Quarantine of the People's Republic of China. Industrial Inspecting Thermal Imagers[S]. GB/T 19870-200, [2021-06-08].

图(6)  /  表(4)
计量
  • 文章访问数:  137
  • HTML全文浏览量:  44
  • PDF下载量:  28
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-06-07
  • 修回日期:  2021-08-02
  • 刊出日期:  2023-01-19

目录

/

返回文章
返回