Super-resolution Enhancement of Infrared Images Using a Lightweight Dense Residual Network
-
摘要: 现有的红外制导武器严重依赖操作手对目标的捕获，其捕获的精度与目标的纹理细节正相关。为了提升弱小区域的显示质量，满足现有导引头小型化、模块化、低成本的设计要求，本文设计了一种基于轻量级金字塔密集残差网络的图像增强模型，该模型在密集残差网络基础上通过密集连接层和残差网络来学习不同尺度图像之间的非线性映射，充分利用多尺度特征进行高频残差预测。同时，采用深度监督模块指导网络训练，有利于实现较大上采样因子的超分辨增强，提高其泛化能力。大量仿真实验结果表明本文所提出的超分辨模型能够获得高倍率的超分辨增强效果，其重建质量也优于对比算法。Abstract: Existing infrared-guided weapons heavily rely on operators to acquire targets, and the accuracy of acquisition is positively correlated with a target's texture details. To improve the display quality of weak small regions and meet the design requirements of miniaturization, modularization, and low-cost seekers, an image super-resolution(SR) reconstruction algorithm based on a pyramid dense residual network is proposed. The dense residual network is the basic framework of the proposed model. Through the dense connection layer and the residual network, the model can learn the non-linear mapping between images of different scales, and the multi-scale feature can be used to predict the high-frequency residual. In addition, using the deep supervision module to guide network training is conducive to the realization of SR reconstruction with a larger upper-sampling factor and improvements to its generalization ability. A large number of simulation results show that our proposed model outperforms comparison algorithms and that it has a high engineering application value.
-
Keywords:
- SR reconstruction /
- lightweight /
- infrared image /
- dense residual-network /
- loss function /
- deep supervision
-
0. 引言
红外成像技术在军事[1]、医学[2]、环境监控[3]和生物识别[4]等领域得到广泛应用。但是，由于成像机理、噪声干扰以及红外探测器等因素的共同影响，红外成像系统生成的红外图像常出现信噪比低、细节模糊、清晰度差等问题。若不对红外图像做增强处理，将直接影响图像特征提取和识别[5-6]。
红外图像增强算法主要包含直方图均衡（Histogram equalization, HE）、基于Retinex的照射-反射模型和小波变换等。HE可以提高图像对比度，且实现难度不高，能满足一般需求[7]。但是，该算法容易产生噪声过增强和目标场景细节丢失等问题。Retinex理论通过构造照射-反射模型将图像分解为环境光照射分量和反射光分量，在对数域使用高斯滤波器估计并去除环境光照射分量，从而减少光照不均匀对图像的影响，但是该算法的输出图像存在整体亮度较暗、边缘模糊等缺点。Cai[8]等人提出了一种基于Retinex理论的联合先验算法，该算法用形态先验和纹理先验精确估计反射光分量，使用光照先验估计环境光照射分量，从而减少图像光晕现象。然而，这个模型容易过度平滑场景的环境光照射分量和反射光分量。Zhang[9]等人提出了联合Retinex和轮廓波的红外图像增强方法，该方法先利用Retinex对图像中光照不均部分进行灰度调整，再采用轮廓波对图像进行分解得到基本层和细节层，最后融合直方图均衡化处理后的基本层和非线性函数压缩处理后的细节层，得到对比度和细节增强的红外图像。但是，对于亮度和对比度变化较大的图像处理效果不佳，容易产生图像过度增强、失真等问题。基于小波变换的红外图像增强算法使用范围广，能有效提高图像质量，但是该算法容易受到图像噪声的影响，导致其自适应能力较弱[10]。为了进一步提高算法的降噪能力和可靠性，可以运用小波阈值降噪思想，使用合适的小波阈值函数处理高频子图系数的噪声，得到理想的小波降噪图像，该方法已经在实际应用中被广泛采用并取得不错的降噪效果[11]。当前，主要采用的小波阈值降噪函数为硬阈值函数和软阈值函数[12]，但是硬阈值函数不连续导致复原图像出现伪影，软阈值函数降噪前后小波系数存在固定偏差导致细节信息大量丢失，影响复原图像完整性。黄玉昌[13]等人结合软、硬阈值函数，提出了一种改进小波阈值函数，由仿真结果可知，该函数信噪比有所提高，但是降噪效果不是很明显。
为解决传统小波阈值降噪函数带来的图像伪影、细节丢失等问题，本文提出一种改进小波阈值函数，提高高频子图的降噪效果和细节保持能力，并将全尺度Retinex与小波图像融合方法相结合，有效提高红外图像的对比度和人眼视觉效果清晰度。最后以红外图像数据集和红外成像模组采集到的红外图像进行实验仿真和分析，验证算法的有效性和实用性。
1. 算法概述
基于改进小波阈值函数和全尺度Retinex的红外图像融合增强算法实现流程如图 1所示。
1）将输入图像作为第一个输入，全尺度Retinex算法处理后的输入图像作为第二个输入。
2）对输入图像分别进行离散小波变换生成低频子图和高频子图。
3）将高频子图分别进行改进小波阈值函数处理，得到阈值化高频子图，本文将使用拉普拉斯权重融合策略融合输入图像的高频子图H1和经过全尺度Retinex处理后图像的高频子图H2[14]，增强融合后高频子图的边缘纹理细节。假设H1、H2的拉普拉斯权重分别表示为：
$$ M_1=H_1 \times \mathrm{LA}$$ (1) $$ M_2=H_2 \times \mathrm{LA}$$ (2) 式中：LA为拉普拉斯算子，融合规则可表示为：
$$\mathrm{LH}=\beta_1 H_1+\beta_2 H_2$$ (3) 式中：LH为融合后高频子图，其中，β1和β2分别定义为：
$$ {\beta _1} = \frac{{{M_1}}}{{{M_1} + {M_2}}}, {\beta _2} = \frac{{{M_2}}}{{{M_1} + {M_2}}} $$ (4) 4）以区域能量融合策略[15]来融合低频子图，保留融合后低频子图的大部分能量和整体特征。假设输入图像的低频子图A和经过全尺度Retinex处理后图像的低频子图B的区域能量分别表示为：
$$Q_A(x, y)=\sum\limits_{(m, n) \in \omega} \boldsymbol{E} \times[A(x+m, y+n)]^2$$ (5) $$ {Q_B}\left( {x, y} \right) = \sum\limits_{\left( {m, n} \right) \in \omega } {\boldsymbol{E} \times {{\left[ {B\left( {x + m, y + n} \right)} \right]}^2}} $$ (6) 式中：ω为(x, y)为中心，大小为3×3的窗口。E为对应的权重系数，定义为：
$$ \boldsymbol{E} = \frac{1}{{16}}\left[ {\begin{array}{*{20}{c}} 1&2&1 \\ 2&4&2 \\ 1&2&1 \end{array}} \right] $$ (7) 融合规则表示为：
$$ L=\lambda_1 A+\lambda_2 B $$ (8) 式中：L为融合后的低频子图；λ1和λ2分别定义为：
$$ {\lambda _1} = \frac{{{Q_A}}}{{{Q_A} + {Q_B}}}, \quad {\lambda _2} = \frac{{{Q_B}}}{{{Q_A} + {Q_B}}} $$ (9) 5）对融合后的低频子图和高频子图进行逆变换得到增强红外图像。
2. 改进小波阈值函数
小波阈值函数广泛应用于图像降噪领域，尽管一些学者也研究出自己的小波阈值函数，但是这些函数本身往往存在恒定偏差、不连续等问题，影响图像降噪效果。所以本文设计的小波阈值函数应满足以下关键指标：①连续性，即阈值函数必须在定义域内连续。若阈值函数不连续，将导致重构图像出现震荡；②可导性，即阈值函数必须在定义域内可导。若阈值函数不可导，将影响图像重构质量，从而促成图像出现失真；③渐进性，即小波系数趋向无穷时，小波系数与阈值函数处理后的小波系数偏差逐渐减小并趋于相同，从而使重构后的图像能较好保留细节和边缘特征；④灵活性，小波阈值函数对输入图像进行多尺度分解时，随着分解层数的增加图像噪声系数会减少，若每个尺度采用相同阈值会抹杀较多小波系数，因此，需要设计一种随分解层数变化的小波阈值函数，以提高降噪灵活性。
为此本文提出一种改进小波阈值函数，在函数构造过程中引入指数函数，调整阈值函数的斜率和曲线变化，提高小波系数在趋向无穷时的收敛速度，避免在阈值处出现不连续或突变。另外，设计了随尺度变化的尺度因子s和调节因子m，其中s＝n/N，N为第i层分解层数下高频子图系数长度，n为系数中小于阈值的个数；m用于维持阈值函数的稳定性，使函数靠近小波阈值时曲线变得平缓，尽可能保留一部分小波系数，有效减少图像高频细节信息丢失，防止过度降噪。改进小波阈值函数的表达式为：
$$ {\mu _T}\left( {{\omega _{i, j}}} \right) = \left\{ {\begin{array}{*{20}{c}} {\left( {1 - {s^m}} \right){\omega _{i, j}}{{\text{e}}^{\left( {\left| {{\omega _{i, j}}} \right| - T} \right)}}, \quad \left| {{\omega _{i, j}}} \right| < T} \\ {{\omega _{i, j}} - {s^m}\frac{{{T^2}}}{{{\omega _{i, j}}}}{{\text{e}}^{\left( {T - \left| {{\omega _{i, j}}} \right|} \right)}}, \quad \left| {{\omega _{i, j}}} \right| \geqslant T} \end{array}} \right. $$ (10) 式中：μT(ωi, j)为小波阈值函数处理后的高频子图；ωi, j为原高频子图；T为阈值。以下将从数学角度分析改进小波阈值函数的性质。
1）令x＝ωi, j，y＝μT(ωi, j)，可得：
$$ \left\{ {\begin{array}{*{20}{c}} {\mathop {\lim }\limits_{x \to - {T^ - }} y = \mathop {\lim }\limits_{x \to - {T^ + }} y = \left( {{s^m} - 1} \right)T} \\ {\mathop {\lim }\limits_{x \to {T^ - }} y = \mathop {\lim }\limits_{x \to {T^ + }} y = \left( {1 - {s^m}} \right)T} \end{array}} \right. $$ (11) 2）当x→±∞时：
$$ \mathop {\lim }\limits_{x \to \pm \infty } \frac{y}{x} = \mathop {\lim }\limits_{x \to \pm \infty } \frac{{x - {s^m}\frac{{{T^2}}}{x}{{\text{e}}^{\left( {T - \left| x \right|} \right)}}}}{x} = 1 $$ (12) 3）当x→±∞时：
$$ \mathop {\lim }\limits_{x \to \pm \infty } \left( {y - x} \right) = \mathop {\lim }\limits_{x \to \pm \infty } \left( { - {s^m}\frac{{{T^2}}}{x}{{\text{e}}^{\left( {T - \left| x \right|} \right)}}} \right) = 0 $$ (13) 结合式(11)~式(13)以及图 2可知，式(10)是在(－∞, +∞)内是连续的，且以y＝x为渐近线。即新的阈值函数是以μT(ωi, j)＝ωi, j为渐近线，从而减小了阈值函数中μT(ωi, j)和ωi, j的恒定偏差，保证了小波重构后图像的光滑性，减少了重构图像的误差。
![]()
图 2 不同阈值下的小波阈值函数Figure 2. Wavelet threshold function under different threshold values在对图像降噪过程中，改进小波阈值函数调节因子m、阈值估计方法、小波基函数和分解层数对图像降噪效果的好坏至关重要。下面将介绍以上参数和方法的选择过程。
1）调节因子m的确定。如图 3所示，通过向红外图像分别添加噪声方差σ为0.01、0.02、0.03的高斯白噪声，比较不同噪声方差下的降噪效果，选择最佳调节因子m。
峰值信噪比（Peak signal-to-noise ratio, PSNR）越大说明增强算法的噪声抑制能力越强，结构相似性（Structure Similarity Index Measure，SSIM）越大表明增强图像与原始图像越相似，增强图像的细节纹理保持越完整。由图 2可知，小波阈值函数中的调节因子m取80时PSNR和SSIM最大，因此可取m＝80作为实验的最优参数。
2）估计小波阈值。本文采用贝叶斯萎缩阈值估计方法[16]，它能依据不同尺度的高频子图合理调整小波阈值，贝叶斯萎缩阈值公式为：
$$ {T_i} = \frac{{{\sigma ^2}}}{{{\sigma _x}}} $$ (14) 式中：Ti为第i层尺度的小波阈值；σ为不同尺度下的噪声方差估计；σx为小波降噪后第i层尺度下第j类高频子图系数的标准差；然后通过中值估计公式求解噪声方差：
$$ \sigma=\operatorname{median}\left(\left|\omega_{i, j}\right|\right) $$ (15) 最后根据最大似然估计，获得第i层尺度下第j类高频子图系数的标准差：
$$ {\sigma _x} = \sqrt {\max \left\{ {\frac{1}{{MN}}\sum\limits_{l = 1} {\sum\limits_{k = 1} {\omega _{i, j}^2\left( {l, k} \right) - {\sigma ^2}, 0} } } \right\}} $$ (16) 式中：M和N分别是图像的高度和宽度。
3）选择小波基函数和分解层数。在选择小波基函数时，考虑到红外图像中固定噪声主要由高斯白噪声构成，而dbN小波对高斯白噪声具有良好的抑制效果，本文将选择dbN小波作为小波基函数，这里的N表示小波基函数的消失矩，在实际应用中通过施加消失矩条件，可以更好地进行数据压缩和消除噪声，如图 4所示，实验对比发现，当小波基函数的消失矩设置为5，分解层数设置为3时，PSNR达到最大值，故采用db5小波和3层小波分解来处理所有红外图像，从而达到最佳降噪效果。
3. 全尺度Retinex
Retinex算法是根据颜色恒常性假设提出的，它能将红外图像分解为变化缓慢的环境光照射分量和变化剧烈的反射光分量，分别处理后重新组合。基于Retinex算法的图像增强算法的本质是剥离退化图像中的环境光照射分量，以获得物体表面的反射光分量。反射光分量为：
$$R_i(x, y)=\log \left[I_i(x, y)\right]-\log \left[I_i(x, y) * F_i(x, y)\right]$$ (17) 式中：Ii(x, y)表示原始图像；Ri(x, y)是反射光分量；Fi(x, y)表示高斯滤波函数，$ \mathrm{*} $表示卷积操作。
Retinex算法的尺度参数一般靠经验值设定，不同尺度参数会影响图像部分区域的亮度失真，因此如何选择合适的尺度参数是Retinex算法的难点[17]。为解决尺度参数问题，构建大气透射率和尺度参数的映射关系，其表达式为：
$$ {\sigma _i} = {{\text{e}}^{\beta , {{\tilde t}_i}}} $$ (18) 式中：β为引导系数，本文算法设置为1/50。$ {\tilde t_i} $为大气传输模型估计得到的传输率。由图 5(b)与(c)可知，经过大气透射率映射后的全尺度值扩展了图像细节信息，对大气透射率的控制效果更佳，有效提高图像清晰度。
如图 6所示，全尺度Retinex算法的步骤如下：根据暗通道先验理论获得输入图像的大气透射率；根据式(18)获得构建中心环绕函数的尺度参数；根据式(17)获得反射光分量，从而得到增强图像。
4. 性能分析
4.1 主观评价
本文使用TNO红外图像数据集中的场景1、2、3、4的图像进行主观实验测试。场景1是在营地拍摄的红外图像，该图像包含了房屋、树木、道路、行人等特征信息；场景2是在沙丘拍摄的红外图像，该图像包含了沙砾、行人、道路等特征信息；场景3是在公园拍摄的红外图像，该图像包含了树木、草地、灌木丛、椅子等特征信息；场景4是在野外拍摄的红外图像，该图像包含了行人、房屋、白云等特征信息。为了验证所提算法的有效性，分别采用双边滤波和动态范围划分算法（Bilateral Filter and Dynamic Range Partitioning, BF & DRP）、引导滤波算法（guided filtering, GIF）、多尺度Retinex（Multi-scale Retinex, MSR）算法、暗通道先验理论（Dark Channel Priori, DCP）、文献[18]、文献[19]与本文算法对选取的3幅红外图像进行仿真实验，并通过MATLAB软件仿真得到本文算法和其他对比算法的主客观评价结果。
如图 7所示，图(b)平滑过度，行人、树木、房屋等目标的细节模糊严重，人眼视觉效果较差；图(c)的特征细节更突出，但是出现了过增强现象，房顶、道路旁的部分区域偏暗；图(d)的围栏部分细节信息模糊严重，房屋、道路的亮度偏暗，不利于人眼视觉的观察；图(e)整体亮度偏暗，色彩较原图像稍显失真；图(f)目标出现边缘模糊，细节丢失较严重；图(g)增强了图像细节，但是对比度不高；图(h)提高了图像对比度，且场景不会出现过增强现象，突出了图像的整体层次感。
![]()
图 7 场景1红外图像增强算法对比图Figure 7. Comparison of infrared image enhancement algorithms in scene 1如图 8所示，图(b)的图像纹理细节模糊不清，清晰度大大降低；图(c)的图像对比度明显提高，但是道路旁、行人的部分区域亮度过高，出现了光晕和细节丢失的问题；图(d)解决了原图像的光晕问题，但是局部图像出现细节模糊，图像观感不自然；图(e)提高了图像的清晰度，但是背景的沙砾出现噪点，降噪效果不佳；图(f)明显提升了图像对比度，但是道路旁出现了光晕，整体效果比较模糊；图(g)的光晕伪影较少，纹理细节丰富，但是图像出现了过度增强的现象，整体亮度不高；图(h)与其它图像相比，提高了图像对比度，背景的沙砾纹理丰富，有效改善了图像的光晕问题，视觉效果良好。
![]()
图 8 场景2红外图像增强算法对比图Figure 8. Comparison of infrared image enhancement algorithms in scene 2如图 9所示，图(b)出现过增强，图像失真较为严重；图(c)整体特征保留较完整，但是图像整体亮度偏暗，不利于目标的观察；图(d)树木亮度提升明显，但是灌木丛和草地的亮度过暗，图像整体层次感较差；图(e)色彩出现失真，视觉效果差；图(f)树木、灌木从等目标的部分区域亮度过高，图中目标物体模糊不清；图(g)背景的树木、草地、灌木丛、椅子等区域灰度层次感不高，视觉效果不佳；图(h)与其它相比，提高了图像对比度，背景的沙砾纹理丰富，有效改善了图像的光晕问题，视觉效果良好。
![]()
图 9 场景3红外图像增强算法对比图Figure 9. Comparison of infrared image enhancement algorithms in scene 3如图 10所示，图(b)改善不明显；图(c)明显提升了图像对比度，但目标背景出现大量噪点；图(d)整体明暗对比度偏低，视觉效果较模糊；图(e)清晰度较高，但由于大气光可能受到噪声干扰，导致增强效果不稳定；图(f)出现光晕，且图像整体较模糊；图(g)失真较严重，难以处理复杂纹理和高频细节；图(h)噪声抑制效果良好，行人、房屋、白云等特征信息纹理丰富，有效改善了图像光晕问题，视觉效果良好。
![]()
图 10 场景4红外图像增强算法对比图Figure 10. Comparison of infrared image enhancement algorithms in scene 44.2 客观评价
本文采用对比度均方根（Root Mean Square of Contrast, RMSC）、峰值信噪比（PSNR）、离散信息熵（discrete information entropy, DE）和结构相似性（SSIM）作为红外图像质量的评价指标。其中，RMSC是用于衡量图像对比度的大小，RMSC越大对比度越高；PSNR用于评估图像压缩后的质量，PSNR越大压缩失真越小；DE用于衡量图像的信息量和细节特征的表现能力，DE越大纹理细节信息越丰富；SSIM则是用于评估红外增强图像与原始图像之间的结构相似性，SSIM越大图像失真越小，这些客观评价指标的使用可以有效地评估和比较不同红外图像增强算法的性能。以上客观评价指标的定义式分别为公式(19)、(20)、(21)、(22)：
$$ {\text{RMSC}} = \sqrt {\frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{{\left( {{f_{i, j}} - {{\bar f}_{i, j}}} \right)}^2}} } } $$ (19) 式中：fi, j和$ {\bar f_{i, j}} $分别为图像灰度值和图像均值。M和N分别为图像的行和列。
$$ {\text{PSNR}} = 10\lg \left( {\frac{{f_{\max }^2}}{{\frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{{\left( {f_{i, j}^{\prime} - {f_{i, j}}} \right)}^2}} } }}} \right) $$ (20) 式中：fi, j′为增强图像，fmax＝255。
$$ {\text{DE}} = - \sum\limits_{x \in k} {q\left( x \right)} \ln \left[ {q\left( x \right)} \right] $$ (21) 式中：q(x)表示灰度x在图像中出现的概率；k表示图像的灰度级。
$$ {\text{SSIM}} = \frac{{\left( {2{\mu _i}{\mu _j} + {C_1}} \right)\left( {2{\sigma _{ij}} + {C_2}} \right)}}{{\left( {\mu _i^2 + \mu _j^2 + {C_1}} \right)\left( {\sigma _i^2 + \sigma _j^2 + {C_2}} \right)}} $$ (22) 式中：i是原始图像；j是增强图像。μi是i的均值，μj是j的均值；σi和σj分别是i和j的标准差；σij是i和j的协方差；C1和C2是经验值，一般取C1＝(K1L)2，C2＝(K2L)2，K1＝0.01，K2＝0.03，L＝255。本文利用以上指标对各算法处理后的不同场景红外图像作定量分析，结果见表 1，其中f表示原始图像。分析可知，本文算法的各项指标均较优。
表 1 场景1、2、3、4的客观评价指标结果Table 1. Results of objective evaluation indicators in scenarios 1, 2, 3 and 4Image Evaluation indicators f BF & DRP GIF MSR DCP Document[18] Document[19] Proposed in this paper Scenarios 1 RMSC 28.68 27.76 31.21 29.58 29.44 32.63 14.70 33.95 PSNR - 16.05 23.23 22.66 18.50 23.96 31.84 30.92 DE 6.75 6.67 7.03 6.76 6.72 6.93 6.78 7.05 SSIM - 0.91 0.84 0.82 0.88 0.85 0.82 0.97 Scenarios 2 RMSC 15.90 16.72 29.06 18.36 30.92 32.99 17.58 32.91 PSNR - 15.49 18.70 13.88 16.60 22.21 17.29 24.42 DE 6.02 6.07 7.15 7.09 6.87 6.69 6.13 7.16 SSIM - 0.89 0.83 0.81 0.77 0.82 0.78 0.96 Scenarios 3 RMSC 24.48 25.33 27.02 22.18 23.15 33.73 31.92 32.68 PSNR - 16.66 25.72 20.25 23.55 24.36 24.66 25.44 DE 6.61 6.63 6.90 6.71 6.43 6.93 6.85 7.02 SSIM - 0.81 0.90 0.81 0.90 0.86 0.87 0.96 Scenarios 4 RMSC 44.75 45.46 47.29 45.13 42.69 42.77 46.29 49.81 PSNR - 22.23 21.59 15.10 23.38 16.51 16.80 24.71 DE 7.05 7.10 7.23 7.12 7.07 7.21 7.16 7.25 SSIM - 0.83 0.91 0.87 0.93 0.76 0.88 0.94 4.3 降噪分析
为更直观地比较不同降噪阈值函数对红外图像产生的视觉效果，本文在图 11(a)的基础上添加噪声方差为0.01的高斯白噪声进行测试，并对添加噪声后的图像使用不同小波阈值函数进行处理，对比实验结果如图 11(c)、(d)、(e)所示。使用硬阈值降噪方法后的“车牌号”细节依然存在部分噪声，使用软阈值降噪方法后的图像“车牌号”边缘轮廓较模糊，使用改进阈值函数降噪方法较好地滤除图像的高斯白噪声，细节纹理清晰，边缘轮廓容易识别判断。
为进一步从客观数据上分析本文方法的有效性，在图 10(a)分别添加噪声方差为0.01、0.02、0.03的高斯白噪声，分别采用硬阈值、软阈值、改进小波阈值函数对图像进行降噪测试，结果见表 2。从数值可看出改进小波阈值函数处理后的图像降噪效果更佳、图像失真较小。
表 2 不同阈值降噪方法的客观评价值Table 2. Objective evaluation value of noise reduction methods with different threshold valuesNoise variance Evaluation indicators Hard threshold function Soft threshold function Improved wavelet threshold function 0.01 PSNR 27.76 27.66 28.62 SSIM 0.92 0.92 0.93 0.02 PSNR 25.37 25.33 25.83 SSIM 0.87 0.86 0.88 0.03 PSNR 23.96 23.89 24.24 SSIM 0.82 0.82 0.83 4.4 应用测试
为验证所提红外图像增强算法的有效性，搭建了一种基于红外成像上位机的增强流程，如图 12所示，分别获得红外图像场景5和场景6并进行应用测试。如图 13(a)所示，采用的红外成像模组分辨率仅为32×32，由热电堆红外阵列和STM32单片机组成，对实际场景进行红外图像流采集，并对每一帧的红外图像进行红外图像增强。如图 13(b)所示，在上位机界面左侧显示采集到的原始红外图像，该图像由人脸和背景组成，图像对比度低，人眼视觉效果不佳。在上位机右侧显示增强后的红外图像，结果显示，增强了人脸眼部和嘴部特征，背景信息量丰富，提高了图像整体层次感。如图 13(c)所示，原始红外图像由水杯和背景组成，图像清晰度低，水杯的轮廓和细节不明显，增强后的红外图像抑制噪声能力强，杯柄清晰度和对比度都得到了提升。
![]()
图 13 红外成像模块及主观评价指标结果Figure 13. Infrared imaging module and subjective evaluation index results由表 3可知，本文算法在2组场景中取得了稳定的指标值，再结合之前图 13的主观红外图像增强效果可知，该算法能较好地抑制噪声，增强图像对比度和细节信息，从而有效提高目标特征的提取和识别能力。
表 3 本文算法在场景5和场景6的客观评价结果Table 3. Objective evaluation results of the algorithm in scenarios 5 and scenarios 6Evaluation indicators Scenario 5 Scenario 6 RMSC 27.51 30.51 PSNR 19.86 21.39 DE 7.66 7.23 SSIM 0.51 0.63 5. 结论
本文针对红外图像存在信噪比低、边缘模糊、清晰度差的问题，提出了一种基于改进小波阈值函数和全尺度Retinex的红外图像融合增强算法。首先，设计了一种改进小波阈值函数，将其成功用于红外图像的高频子图，能更好平衡降噪和保留图像细节之间的关系。然后，使用小波图像融合方式，结合全尺度Retinex算法的优点，提高小波重构图像的纹理细节和清晰度，主客观仿真结果表明，本文算法相比其它对比算法能够有效抑制红外图像的噪声，丰富细节特征，提高人眼视觉效果，适用于不同场景的红外图像。
-
![]()
图 3 不同算法对CASIA数据集中真实红外定性分析
Figure 3. SR results of local region for different algorithms in CASIA dataset. (a) EDSR; (b) SRCNN; (c) Meta_SR; (d) GANSR; (E) SRMD; (f) proposed algorithm
表 1 不同模块性能分析
Table 1 Performance analysis of different modules
RL DC DS PSNR █ 29.8 █ 29.9 █ 29.7 █ █ 31.7 █ █ 31.0 █ █ 31.8 █ █ █ 32.5 
下载: 导出CSV
表 2 不同算法的重建指标对比
Table 2 Comparison of reconstruction indexes of different algorithms
Images SRCNN EDSR Meta-SR GANSR SRMD Proposed 1 PSNR 32.087 32.237 32.297 32.347 32.507 32.777 SSIM 0.954 0.955 0.955 0.958 0.961 0.962 2 PSNR 22.907 23.507 23.187 23.547 23.187 23.827 SSIM 0.774 0.796 0.788 0.802 0.794 0.826 3 PSNR 24.147 25.617 24.467 25.477 24.567 26.287 SSIM 0.89 0.928 0.912 0.931 0.901 0.948 4 PSNR 32.767 32.697 32.777 32.787 33.047 33.087 SSIM 0.87 0.867 0.868 0.868 0.879 0.878 5 PSNR 29.297 30.207 29.557 30.167 29.567 30.487 SSIM 0.898 0.911 0.906 0.913 0.905 0.921 6 PSNR 28.657 28.557 28.557 28.697 28.627 29.037 SSIM 0.952 0.953 0.957 0.957 0.96 0.964 Average PSNR 28.307 28.807 28.467 28.837 28.577 29.247 SSIM 0.901 0.912 0.902 0.914 0.915 0.929
下载: 导出CSV
-
[1] 廖小华, 陈念年, 蒋勇, 等. 改进的卷积神经网络红外图像超分辨率算法[J]. 红外技术, 2020, 42(1): 075-80. http://hwjs.nvir.cn/article/id/hwjs202001011 LIAO Xiaohua, CHEN Niannian, JIANG Yong, et al. Infrared image super-resolution using improved convolutional neural network[J]. Infrared Technology, 2020, 42(1): 075-80. http://hwjs.nvir.cn/article/id/hwjs202001011
[2] 田广强. 一种新颖高效的红外动态场景多目标检测跟踪[J]. 红外技术, 2018, 40(3): 259-263. http://hwjs.nvir.cn/article/id/hwjs201803010 TIAN Guangqiang. A novel algorithm for efficient multi-object detection and tracking for infrared dynamic frames[J]. Infrared Technology, 2018, 40(3): 259-263. http://hwjs.nvir.cn/article/id/hwjs201803010
[3] 曾金发, 吴恩斯, 李能勇. 基于双核协同学习模型的红外目标跟踪算法[J]. 红外技术, 2018, 40(5): 438-443. http://hwjs.nvir.cn/article/id/hwjs201805006 ZENG Jinfa, WU Ensi, LI Nengyong. Infrared object-tracking algorithm based on dual-kernelized collaborative learning[J]. Infrared Technology, 2018, 40(5): 438-443. http://hwjs.nvir.cn/article/id/hwjs201805006
[4] 韩团军, 尹继武. 一种鲁棒的自适应更新策略的弹载计算机红外目标跟踪算法[J]. 红外技术, 2018, 40(7): 625-631. http://hwjs.nvir.cn/article/id/hwjs201807001 HAN Tuanjun, YIN Jiwu. Robust adaptive updating strategy for missile-borne infrared object-tracking algorithm[J]. Infrared Technology, 2018, 40(7): 625-631 http://hwjs.nvir.cn/article/id/hwjs201807001
[5] 艾志伟, 嵇建波, 李静, 等. 快速反射镜状态模型构建方法及其控制系统设计[J]. 红外技术, 2020, 42(1): 40-45. http://hwjs.nvir.cn/article/id/hwjs202001006 AI Zhiwei, JI Jianbo, LI Jing, et al. State model construction method for fast steering mirror and its control system design[J]. Infrared Technology, 2020, 42(1): 040-45. http://hwjs.nvir.cn/article/id/hwjs202001006
[6] DONG C, Loy C C, He K, et al. Learning a deep convolutional network for image super-resolution[C]//European Conference on Computer Vision, 2014: 184-199.
[7] Riegler G, Rther M, Bischof H. ATGV-Net: accurate depth super resolution[C]//Proc. Eur. Conf. Comput. Vis., 2016: 268-284.
[8] SHI Y, LI S, LI W, et al. Fast and Lightweight Image Super-resolution based on dense residuals two-channel network[C]//2019 IEEE International Conference on Image Processing (ICIP), 2019: 2826-2830.
[9] WANG Wei, JIANG Yongbin, LUO Yanhong, et al. An advanced deep residual dense network(DRDN) approach for image super-resolution[J]. International Journal of Computational Intelligence Systems, 2019, 12(2): 1592-1601. DOI: 10.2991/ijcis.d.191209.001
[10] WU Y, JI X, JI W, et al. CASR: a context-aware residual network for single-image super-resolution[J]. Neural Computing and Applications, 2019: 1-16. DOI: 10.1007/s00521-019-04609-8%3Fshared-article-renderer
[11] 杨明, 王璇, 高宏伟. 基于多级深度网络的高清晰度红外电子变倍算法[J]. 弹箭与制导学报, 2020, 40(4): 14-19. https://www.cnki.com.cn/Article/CJFDTOTAL-DJZD202004004.htm YANG Ming, WANG Xuan, GAO Hongwei. High-definition infrared electronic zooming algorithm based on multi-level deep network[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2020, 40(4): 14-19. https://www.cnki.com.cn/Article/CJFDTOTAL-DJZD202004004.htm
[12] HUI T, Loy C C, TANG X. Depth map super-resolution by deep multi-scale guidance[C]//Proc. Eur. Conf. Comput. Vis., 2016: 353-369.
[13] QIU Y, WANG R, TAO D, et al. Embedded block residual network: a recursive restoration model for single-image super - resolution[C]//Proceedings of the IEEE International Conference on Computer Vision, 2019: 4180-4189.
[14] CAO Y, HE Z, YE Z, et al. Fast and accurate single image super - resolution via an energy-aware improved deep residual network[J]. Signal Processing, 2019, 162: 115-125. DOI: 10.1016/j.sigpro.2019.03.018
[15] Anwar S, Barnes N. Densely residual Laplacian super-resolution[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence [2020-09-20](DOI: 10.1109/TPAMI.2020.3021088).
[16] WANG Z, Chen J, Hoi S C H. Deep learning for image super-resolution: a survey[J/OL]. IEEE Trans Pattern Anal Mach Intell.[2020-09-20]. https://ieeexplore.ieee.org/document/9185010 (doi: 10.1109/TPAMI.2020.2982166).
[17] LONG J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]// Proc. Conf. Comput. Vis. Pattern Recognit, 2015: 3431-3440.
[18] HE K, ZHANG X, REN S, et al. Delving deep into rectifiers: Surpassing human-level performance on image net classification[C]//Proc. Int. Conf. Comput. Vis., 2015: 1026-1034.
[19] Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 136-144.
[20] HUI T W, Loy C C, TANG X. Depth map super-resolution by deep multi-scale guidance[C]//European Conference on Computer Vision, Springer, 2016: 353-369.
[21] Guei A C, Akhloufi M. Deep learning enhancement of infrared face images using generative adversarial networks[J]. Applied Optics, 2018, 57(18): 98-107. DOI: 10.1364/AO.57.000D98
[22] ZHANG X, LI C, MENG Q, et al. Infrared image super resolution by combining compressive sensing and deep learning[J]. Sensors, 2018, 18(8): 2587-2599. DOI: 10.3390/s18082587
-
期刊类型引用(9)
1. 唐晗，周春芬，冯建伟，张巍，普龙，曹凌，马文怡谷，王宏波，毕宇波，蒋旭科，张麟，李虹明. 变光阑长波红外连续变焦光学系统设计. 红外技术. 2024(05): 491-500 . 
本站查看
2. 唐晗，郑万祥，曾兴容，杨丹，周春芬，曹凌，徐曼，李洪兵，杨开宇. 紧凑低成本非制冷长波红外连续变焦光学设计. 红外与激光工程. 2023(04): 190-200 . 百度学术
3. 常诚，钱福丽，芶国汝，唐锐，王体炉，高思博，张韦晨曦，何阳阳，李理，杨启鸣，张杰，刘颖琪，段瑜，杨文运，王光华. 高效叠层OLED白光器件进展. 红外技术. 2023(12): 1141-1152 . 本站查看
4. 韩修来，聂亮，任梦茹. 共形光电防撞系统光学窗口像差校正设计. 航空兵器. 2022(01): 90-97 . 百度学术
5. 周正平，陈恒，纪辉，李夏青，廖军. 折衍混合轻量化长波红外消热差光学系统设计. 激光与光电子学进展. 2022(10): 392-397 . 百度学术
6. 王振东，刘欢，陈阳，潘永强，谢万鹏，韩军. 基于谐衍射理论的0.40～2.50μm宽波段光学系统设计. 激光与光电子学进展. 2022(19): 320-326 . 百度学术
7. 王小波，王曦，刘广康，夏树策，付明亮，郝新建，曹乾坤. 基于长波红外探测器的消热差轻量化光学系统设计. 应用光学. 2021(03): 429-435 . 百度学术
8. 王烨菲，程艳萍，姚园，李道京，于潇. 薄膜衍射消热差红外光学系统设计. 红外技术. 2021(05): 422-428 . 本站查看
9. 梁倩，张涯辉. 大口径光电设备温度补偿模型研究. 激光与光电子学进展. 2021(19): 191-196 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 614
- HTML全文浏览量: 163
- PDF下载量: 66
- 被引次数: 15
