0.   引言

随着智能配电网建设的推进，采用红外诊断技术对配电设备进行实时监测与故障诊断可以有效地提升配电网的运行可靠性^[1-3]。但是，与输电网相比配电网设备数量巨大，大规模部署价格昂贵的传统高分辨率红外传感器将使企业产生难以承受的成本^[4-5]。因此，如何使用低成本的低分辨红外传感器达到高分辨率红外传感器的效果是推进红外诊断技术在配电系统应用的关键^[6]。

超分辨率（Super Resolution, SR）成像技术主要目的在于克服低成本、低精度的影像采集装置限制，通过单帧或多帧的低分辨率（Low Resolution，LR）图像输入，根据不同先验知识，完成对图像的重建，得到高分辨率图像（High Resolution，HR），恢复图像采集过程中丢失的高频信息^[7]。根据重建时输入LR图像数量的不同，超分辨率又可分为单帧和多帧图像超分辨率。其中多帧图像超分辨率方法包含有插值法^[8-9]、迭代反投影法^[10]、最大似然估计法^[11]、稀疏编码方法^[12]和基于学习的方法等^[13-14]。多幅图像的超分辨率方法通过将同一场景内的相近时间位置获得的多幅图像配准，利用不同图像含有的互补信息完成对分辨率的提升。而单帧超分辨率方法重建时仅使用某一场景内的单幅图像，难度更大。针对电器设备的红外图像这一具体应用对象而言，其重建超分辨率图像关注重点除了结构清晰易于识别，其对设备温度的准确反应也是至关重要的。多图超分辨率由于输入的低分辨率红外图像并不严格来自于同一时刻，因此很容易导致重建图像对温度的反映失去准确性，这一问题在电力行业更为关注的设备温度快速变化的情况下尤其严重。故选择基于单幅图像的超分辨率方法更能够保证重建的准确性。

基于单幅图像的超分辨率方法主要分为3类：基于插值、基于重建以及基于学习的超分辨率方法。其中基于插值的超分辨率方法最为简单，但由于其固有的平滑效益，易使重建图像丢失细节，边缘较为模糊，研究者就这一问题相继提出了各类改进措施^[15-17]。基于重建的超分辨率方法^[18-21]通过引入先验知识为限制条件完成基于图像降质模型的反向迭代求解。文献[18]提出了一种基于非局部信息的超分辨率算法。X. Zhang等人^[19]基于图像的非局部自相似性提出了非局部全变分模型。为更好处理图像局部信息，Li等人^[20]利用自然图像中的局部结构自相似性，提出了转向核回归总变分的概念，并以非局部全变分正则项作为补充，构成其超分辨率重建模型。Pejman等人^[21]提出的迭代反投影方法获得高分辨率图像重建结果。基于学习的方法主要目标在于寻找HR图像与LR图像间的对应关系，通常为训练同构字典或建立二者兼得映射关系^[22]。Wang等^[23]提出空间特征变换-生成对抗网络（Spatial Feature Transform-Generative Adversarial Network，SFT-GAN）模型，以图像的分割掩码作为SISR的先验知识，指导SISR中不同区域的纹理重建。文献[24]是一类目前最新的方法，它使用强化学习寻找最优网络，可减少人工对模型设计的影响。这类方法先定义一个搜索空间，使用相应的控制器处理搜索，经评估后输出重建结果，通过网络训练自动调整，直到网络收敛得到良好的重建结果为止。

考虑到基于学习的超分辨率方法需大量高分辨率红外图像样本且进行超分辨率重建时上采样倍率受所构建模型或同构字典的限制，灵活度较低，本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并且本文通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比（Gradient Norm-ratio, GNR）引入传统压缩感知超分辨率模型中。并针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文方法重建图像无论在主观视觉效果还是客观评价指标上都有了较好的提升。

1.   压缩感知理论模型

压缩感知理论给出了通过非线性优化技术重建下采样信号的方法^[25]。假设将所需的高分辨率图像表示为n维列向量x∈Rⁿ，其中n为一较大数值。理论上x可以表示任何一维信号，就本问题而言，x为一个已被转换成n×1维矢量的n像素灰度图像（或RGB图像某一通道的n像素图像）。而超分辨率的目的为通过低分辨率输入y∈Rⁿ，其中m≪n，来估计得到高分辨率信号x。本文的目标是仅使用y作为输入来恢复高分辨率信号x。

这个问题本质上是不适定的，由于分辨率降低，信息丢失，单个低分辨率图像重建时可以映射到多个潜在高分辨率图像。为了解决这一问题，需要应用压缩感知理论的关键假设，即信号x的变换形x_s在某一个基Ψ下是k稀疏的，这便意味着在该变换形式下，x_s中至多有k个非零因子。这是一个合理的假设，高分辨率图像在不同的变换域中均是可以压缩的，例如小波域，傅里叶域或人工构建的过完备字典等。此时根据上述假设的合理性，可以将压缩感知超分辨率模型写作：

式中：S矩阵为下采样矩阵，多采用点采样矩阵或双三次插值下采样矩阵。

在给定测量y的情况下求解出x_s，则x_s为求取的高分辨率信号x。此时压缩感知理论指出若m＞2k，且矩阵A满足有RIP条件，那么即可通过式(1)寻找满足等式方程的稀疏度最高的x_s对x唯一地求解^[26]。此时表达式为：

式中：||x_s||₀表示稀疏系数x_s中的非零元素个数，但由于求解式(2)的数值计算为NP难问题。Donoho^[25]指出，可以通过求解一个更加简单的l₁优化问题来得到同等的解，此时表达式为：

而这一问题可通过线性规划或基追踪的方法加以解决。但若将式(3)所示模型直接用于解决图像超分辨率问题，仍有一定问题存在。由于在超分辨率应用条件下，采样矩阵S无法采用更具普适性的随机高斯矩阵或随机伯努利矩阵，必须采用点采样矩阵或三次插值下采样矩阵。致使传感矩阵A对RIP条件满足度较低，图像重建效果往往不够理想。因此还需引入新的先验知识，提升重建图像视觉质量，以使其更好满足工程应用需要。

2.   基于GNR先验的压缩感知超分辨率模型

2.1   GNR先验

根据上文所述，基础压缩感知模型在直接应用于图像超分辨率重建时，由于应用条件受限，其方法性能较差。需要增加额外的有效先验知识，提升重建图像质量。图像降质过程本质为像素点信息的丢失混叠。这一过程会致使图像高频信息丢失，反映到直观视觉效果上，即低分辨率图像的边缘纹理不清晰，对比度较低。故需要寻找一指标作为约束条件，当重建图像趋向于模糊潜像时，该指标增大，当趋向清晰潜像时，该指标降低。从而通过对该指标的约束惩罚，使迭代重建过程中的恢复图像向清晰潜像靠拢，使图像高频细节得以恢复。

在优化问题中，最常见的约束为l₁范数，l₂范数及l_p范数等，其中一般0＜p＜1。以l₁范数为例，其在图像处理中多用于惩罚高频段，当图像含有噪声时，可通过最小化l₁范数来去除噪声。而图像降质时高频段本身便会衰减，最小化图像高频分量的l₁范数将会导致重建图像进一步模糊。对其余范数而言，由于其作用机理与l₁范数相似，因此若直接引入范数约束作为正则项，并不能起到提升图像重建质量的目的。但通过统计不同范数对重建图像高频息约束时的成本发现，虽然其成本都随着输入图像分辨率的降低，即重建图像的模糊而降低，但不同范数成本降低速度并不相同，l₂范数成本降低速度明显高于l₁范数。因此引入高频信息范数比值作为先验信息，能够保证随重建图像质量降低，该惩罚项成本不断增大，换而言之即通过降低该项成本，可以达到提高重建图像质量的目的。图像高频信息可通过多种方式获得，本文则选取横纵方向梯度为例，通过范数比的形式对重建图像加以约束。图 1为采用不同约束项时重建图像高频信息成本变化示意图。

图  1  采用不同约束项时重建图像高频信息成本变化图

Figure  1.  Reconstruction of high frequency information cost chart of image with different constraints

下载: 全尺寸图片 幻灯片

其中高频信息通过分别采用横向差分算子f₁＝[1 －1]和纵向差分算子f₂＝[1 －1]^T对重建图像进行卷积的方式获取。重建图像则为典型电力设备红外图像在经过不同比例下采样后，通过三次插值重建回原大小得到的一系列图像。由图 1可以明显看出，随着采样比例的增加，即重建图像的模糊，各范数约束下的高频信息成本在不断降低，而l₁范数和l₂范数比值的成本则不断增大。记GNR(x)=||x||₁/||x||₂，将GNR(x)作为约束项引入目标函数，即可实现最小化目标函数过程中，提升中间迭代图像质量的目的。

2.2   超分辨率模型及求解算法

本节将构建改进后的压缩感知超分辨率目标函数。将GNR(x)先验引入后，目标函数构建为：

式中：λ, β和μ分别为权重系数；⊗为卷积运算符；X为x对应的高分辨率图像的二维形式；D为过完备字典，采用文献[27]中介绍的方法训练得到，采用人工构建的过完备字典目的在于提升对图像的稀疏表达能力，从而提升稀疏系数x_s的稀疏度，提升重建图像质量。为了便于求解目标函数，通过半二次分裂方法引入辅助变量，得到目标函数为：

将f⊗X转变为矩阵相乘的形式，即可得到最终待求解的目标函数：

式中：F₁和F₂分别为根据f₁和f₂生成的托普利兹循环矩阵；w和W分别为辅助变量的向量和矩阵形式；η为权重系数，在迭代过程中不断增大，当其足够大时，可认为Fx与w数值近似相同，此外μ也起到同样的作用。此时可将目标函数的求解分为x，x_s和w子问题的求解，只需在迭代过程中不断增大惩罚系数η和μ，分别求解上述3个未知变量即可完成重建。

当求解x子问题时，固定x_s和w变量，此时目标函数为：

式(7)所示的目标函数为典型的最小二乘问题，可通过梯度下降法求解，求解方式为：

式中：τ为下降步长，可通过文献[28]中介绍的回溯直线搜索法确定。

求解w子问题时，固定x_s和x变量，将函数GNR(w)展开，目标函数为：

式中：i＝1, 2。由于GNR(w_i)项的存在，w子问题非凸。但可通过固定分母||w_i||₂中w_i为上一次迭代取值，使式(10)变为凸优化问题。此时式(10)所示问题可通过迭代收缩阈值算法进行求解：

式中：τ为下降步长；◦为分量乘法；sign为符号函数。

完成x和w子问题的求解后，固定上述变量，求解稀疏系数x_s。目标函数为：

式(13)与式(10)所示问题类似，同样可采取迭代收缩阈值的方式进行求解，故求解过程不再赘述。

当完成各变量的求解后，判断||x^(K)－x^(K－1)||₂是否小于ε，或迭代次数K是否大于K_max，若判断结果为是，则完成迭代，输出重建图像。最终，式(4)所示目标函数求解算法流程图如图 2所示。

图  2  求解算法流程图

Figure  2.  Flow chart of solving algorithm

下载: 全尺寸图片 幻灯片

3.   实验及结果分析

3.1   实验环境及评价指标

在本节中，给出了电力设备红外图像盲超分辨率重建实例，通过与现有算法重建结果进行比较，验证了本文所提出的基于压缩感知的盲超分辨率算法的有效性。本文实验环境为：Intel Core^(TM) i5-9300H CPU @2.40 GHz，内存16.00 GB，MATLAB R2019a编程，并通过反复实验调整得到以下固定参数：λ＝0.05，β＝1，μ₀＝2，η₀＝2，μ_max＝256，η_max＝256，K_max＝5。HR图像重建时为便于计算进行分块重建，分块大小为32×32。所用稀疏字典大小为1024×3096，即字典中含有3096个长度为1024的原子。重建后采用文献[29]中介绍的方法解决因分块导致的重建图像中存在的“块效应”问题。

为使实验结果更具说服力，本文分别对人工合成电力设备红外图像，以及实际拍摄的电力设备红外图像进行重建，对比方法选取Zhang^[17]，未改进的原始压缩感知方法，Yang^[22]和Li^[20]提出的方法。其中人工合成的电力设备红外图像由于存在原始高分辨率清晰图像，采用峰值信噪比（peak signal to noise ratio, PSNR）和结构相似度（structural similarity, SSIM）两个评价指标对重建结果进行评价，而实际拍摄的电力设备红外图像由于其不存在原始高分辨率清晰图像，因此采用无原图评价指标对重建结果进行量化，本文所采取的指标为影像平均梯度（average gradient, AG）以及信息熵（information entropy, IE）这两个客观评价指标。其中AG的计算方式为：

式中：f_x(i, j)和f_y(i, j)分别为图像行方向和列方向的差分算子对图像卷积结果，本文采用Sobel算子。最终求得AG数值越大，意味图像中灰度变化越剧烈，图像层次越多，一般而言图像越加清晰。

信息熵在物理学中表示某个体系的均匀程度，某体系分布越均匀，其信息熵越大，由此类推出图像的信息熵概念。定义为：

式中：p(i)为灰度值为i的像素点在影像中出现的频率，最终求得的IE数值越大，表示图像中包含的信息越丰富。

3.2   人工下采样图像重建结果分析

本节共选取12张不同电力设备红外图像人工合成低分辨率图像，图 3给出其中两张图像通过不同方法超分辨率重建的结果图像以及其原始高清图像。其余10张图像则以PSNR和SSIM评价参数的形式，给出不同方法的重建结果。

图  3  人工下采样红外图像不同方法重建结果

Figure  3.  Reconstruction results of artificial down sampling infrared image by different methods

下载: 全尺寸图片 幻灯片

由图 3可以明显看出本文算法重建效果优于其余对比方法的重建结果，Zhang的算法由于插值类算法固有的平滑效益，且为经训练或利用图像先验信息，其重建结果较为模糊，边缘并不清晰。原始压缩感知算法由于其理论本身与超分辨率问题并不完全适应，重建图像视觉效果同样较差，图像边缘纹理并不清晰。Yang和Li的方法相较前两种方法视觉效果有明显的提高，但与本文方法相比，其重建结果图像清晰程度仍有所不如，尤其在边缘部分更为明显。表 1和表 2给出了不同方法重建后的PSNR以及SSIM数据对比，可以看出本文方法重建的图像在客观评价参数上相较其余方法也取得了较好结果。

表  1  不同方法重建图像PSNR评价指标对比

Table  1.  Comparison of PSNR evaluation indexes of reconstructed images by different methods

Image number	Zhang's	Original CS	Yang's	Li's	Ours
1	23.0657	24.9632	26.5846	27.2059	29.3659
2	22.5691	24.6251	25.9631	26.3620	29.0325
3	23.6245	24.3219	26.4263	26.3494	30.0316
4	22.9521	23.6594	25.6845	25.2631	28.9613
5	22.1694	24.2351	26.4975	26.1279	30.1034
6	23.1784	23.9865	27.3249	26.6947	28.9674
7	22.5728	24.6937	26.3592	27.0691	29.3461
8	21.6891	23.4967	26.6481	27.9612	28.6541
9	22.7816	25.1435	26.2597	26.6729	30.5319
10	23.0684	24.3167	26.9437	27.1636	28.6755

下载: 导出CSV 

| 显示表格

表  2  不同方法重建图像SSIM评价指标对比

Table  2.  Comparison of SSIM evaluation indexes of reconstructed images by different methods

Image number	Zhang’s	Original CS	Yang’s	Li’s	Ours
1	0.7934	0.8635	0.8966	0.9103	0.9731
2	0.7349	0.8526	0.8791	0.8955	0.9436
3	0.8172	0.8678	0.9249	0.9027	0.9348
4	0.7393	0.8211	0.8842	0.8931	0.9274
5	0.7304	0.8197	0.8991	0.8769	0.9533
6	0.7681	0.7987	0.9014	0.8643	0.9264
7	0.7311	0.8235	0.8624	0.8971	0.9083
8	0.7129	0.8433	0.8742	0.8892	0.9151
9	0.7486	0.8730	0.8785	0.8797	0.9762
10	0.7519	0.8261	0.8834	0.9031	0.9216

下载: 导出CSV 

| 显示表格

3.3   实际低分辨率图像重建结果分析

文章第3.2节通过合成低分辨率图像初步验证了本文算法的有效性，本节将通过实际拍摄低分辨率图像进行进一步验证。次此实验选取12张于现场拍摄的低分辨率红外图像，通过不同超分辨率方法进行重建。给出其中两张红外图像的各方法重建结果，其余10张红外图像的重建结果以客观评价参数AG和IE的形式给出。图 4、图 5为实际低分辨率红外图像不同方法的重建结果。

图  4  1号图像不同方法重建结果

Figure  4.  Reconstruction results of No.1 image by different methods

下载: 全尺寸图片 幻灯片

图  5  2号图像不同方法重建结果

Figure  5.  Reconstruction results of No.2 image by different methods

下载: 全尺寸图片 幻灯片

由图 4、图 5可以看出，在应用于实际场景时，本文方法相较对比方法仍有较为明显的提升，重建红外图像的纹理相对对比方法而言更为清晰。这种图像质量的提升能为后续进行的异常发热区域定位，故障类型识别提供更好的应用环境。表 3、表 4分别给出了不同方法对剩余10张红外图像重建结果的AG和IE评价参数数值，与主观视觉效果相互印证，说明了本文方法性能的优越性。

表  3  不同方法重建图像AG评价指标对比

Table  3.  Comparison of AG evaluation indexes of reconstructed images by different methods

Image number	Zhang’s	Original CS	Yang’s	Li’s	Ours
1	20.6496	20.3521	29.1152	28.4946	31.0694
2	18.6232	24.7993	32.6134	30.6779	33.9552
3	20.5298	23.6657	31.5780	32.6144	34.3967
4	22.3863	22.6349	30.3440	29.4893	31.3995
5	19.8414	23.3463	27.4514	24.9311	31.3776
6	17.6890	21.1064	28.9477	31.3425	33.1015
7	18.6451	25.6108	32.6944	32.4871	36.2160
8	22.3637	24.4892	30.9645	28.5638	34.2556
9	20.0684	25.6946	31.9865	30.9783	36.9943
10	19.6452	20.3521	29.1152	28.4946	31.0694

下载: 导出CSV 

| 显示表格

表  4  不同方法重建图像IE评价指标对比

Table  4.  Comparison of IE evaluation indexes of reconstructed images by different methods

Image number	Zhang’s	Original CS	Yang’s	Li’s	Ours
1	5.8113	6.0168	6.3153	6.2154	6.5312
2	5.7256	5.8364	6.0215	5.9342	6.1249
3	6.2316	6.1546	6.2599	6.5644	6.7291
4	5.9233	5.9487	6.1547	6.3263	6.3478
5	6.0532	6.1306	6.1658	6.2431	6.4528
6	5.625	5.8314	5.8947	6.1456	6.1569
7	5.8449	6.1125	6.0387	6.2831	6.5937
8	5.7052	5.8841	6.2436	6.1463	6.2649
9	6.1242	5.8543	6.1488	6.1395	6.1531
10	5.9439	6.0337	6.3894	6.2343	6.5013

下载: 导出CSV 

| 显示表格

3.4   计算复杂度分析

本文中待求解的目标函数为式(5)，其中待求解变量为x、x_s、w₁、w₂。针对x变量，本文采用梯度下降法的方式进行求解。若不采取任何优化措施，当待重建低分辨率图像大小为128×128时，其单次求解用时为0.24 s左右，若采用文献[30]中一步最陡下降法求解，则单次迭代用时在0.008 s左右。针对x_s变量，本文采用的求解方法为收缩迭代阈值方法。求解分为两步进行，分别为软阈值收缩以及梯度下降求解。其中软阈值收缩求解较为简单，单次求解所需时间在10^－5 s，而梯度下降法由于x_s变量求解时，梯度向量的求取相较x变量更为简单，在采用一步最陡下降法进行优化的情况下，单次求解耗时在5×10^－4 s左右。针对w₁、w₂变量，其求解方式均为收缩迭代阈值方法。其中软阈值收缩步骤所需时间与x_s变量相同，而梯度下降过程中由于F矩阵维度相较D矩阵而言更小，其单次迭代所需时间在10^－4 s左右。

根据图 2以及实验部分所给出参数取值可知，在全部迭代过程中，至多进行5轮循环，每轮循环变量x计算1次，变量x_s计算64次，变量w₁、w₂各计算8次。根据上述分析中各变量单次计算所需时间可以得到，重建128×128低分辨率图像理论所需时间在0.208 s左右。但由于实际运算过程中除上述迭代步骤外，还存在F₁、F₂托普利兹循环矩阵的生成，“块效应”问题的解决等计算步骤，因此最终图像重建实际用时在0.4 s左右。而对不同尺寸红外图像的重建实验结果如图 6所示，其中输入原始图像大小由64×64等比例递增至512×512，各尺寸图像重建实验均选取50张不同红外图像进行重建。图中显示的不同大小红外图像重建所需时间由50张图像重建所需时间取平均得到。

图  6  不同大小图像重建所需时间

Figure  6.  The time required to reconstruct images of different sizes

下载: 全尺寸图片 幻灯片

由图 6可见，本文方法能够以较快速度重建低分辨率红外图像。而根据国家标准^[31]，普通型红外探测器分辨率在160×120以下，本文方法对其重建用时在1 s以下，可以适应物联网场景下大量红外图像的重建工作。

4.   结论

本文针对电力设备红外传感器获取红外图像的低分辨率问题，采用了压缩感知框架下基于重建的方式。并通过分析电力设备红外图像在不同采样比时重建图像高频信息的变化规律，将图像梯度范数比引入传统压缩感知超分辨率模型中。针对改进后的模型设计了有效的求解算法，通过半二次分裂方法引入辅助变量，对不同变量交替迭代求解，实现红外图像超分辨率重建。仿真实验结果验证了GNR先验信息的引入，有利于超分辨率算法取得更好的重建效果。与现有经典超分辨率方法相比，本文算法性能存在一定优势，有利于为红外诊断技术在电力系统中应用提供更良好的数据基础。