Infrared Image Enhancement Based on Adaptive Bilateral Filtering and Directional Gradient
-
摘要: 为克服现有的红外图像增强方法存在欠增强、过增强以及对比度不高等缺陷，提出了自适应双边滤波与方向梯度的红外图像增强方法。对双边滤波进行改进，加权系数自适应于平滑区域和细节区域，以作为Retinex的中心环绕函数，将红外图像分解为基础层和细节层；用改进的平台直方图均衡化对基础层图像进行增强；提出一种方向梯度算子，用其提取细节层图像的梯度图，进而对细节层图像进行非线性的自适应边缘增强。实验结果表明，相对于部分现有的方法，本文方法能更有效地提升红外图像的亮度和对比度，增强图像的视觉效果更佳。Abstract: To overcome the defects of existing infrared image enhancement methods, such as under-enhancement, over-enhancement, and low contrast, an infrared image enhancement method based on adaptive bilateral filtering and directional gradient is proposed. The bilateral filter was improved, and its weighting coefficient is now adaptive to smooth and detailed regions. The improved bilateral filter is used as the central surround function of Retinex to decompose the infrared image into a base layer and a detail layer. Using improved platform histogram equalization, the base layer image is enhanced, and a directional gradient operator is proposed to extract the gradient image of the detail layer image to perform nonlinear adaptive edge enhancement on the detail-layer image. Experimental results show that, compared with existing methods, the proposed method can improve the brightness and contrast of infrared images more effectively. In addition, the visual effect of enhanced images using this method is better.
-
0. 引言
在电力输电线路巡检中，红外成像技术作为探测设备故障的远距离检测的重要工具，具有检测非接触式、安全性强、准确率高以及操作简便等优点[1]。然而，因巡检人员针对现场环境，需要实时录入检测到的故障信息等，不仅加长其巡检时间，且极易出现漏检、误录入等情况[2-3]，使得巡检效率受到了不同程度的影响。
目前，图像处理技术作为辅助手段已经成为提升巡检自动化水平的重要一环。随着巡检无人机以及无人车在电力公司、电网公司的大力推广使用，红外图像处理技术越来越受到关注。众所周知，红外辐射能量的强弱是与物体表面温度大小密切相关的，当物体表面温度越高，其红外辐射强度越大，所体现在红外图像上的灰度值也越大。一般而言，输电线巡检中的电气设备，其故障大多以高温、高热特性为主，为红外图像故障检测提供了潜在的区分特性。早期，阈值划定故障界限通常是研究人员最为关注的一种解决方法。例如，在文献[4]中，提出一种采用经典的最大类间方差法（Otsu）自适应阈值图像分割方法，显然对于温差比较大的区域而言，这种方式简单高效。文献[5]提出了一种新型阈值的选择方法，该方法对目标图像先拟合具有N个相邻点的线性模型计算斜率差的变化趋势，通过在斜率差分布谷值中挑选适合不同类型故障区域的最佳阈值，以及利用形态学迭代腐蚀提取目标区域。针对红外图像背景复杂、信噪比低，文献[6]提出了一种基于Otsu和区域生长相结合的故障分割方法，较好地提取出故障区域。实际上，区域生长是一种类似聚类的方法。基于此，文献[7]提出了采用基于加权切比雪夫距离的K-means算法对输电线路上的变电站电气设备红外图像进行分割。进一步地，文献[8]中提出了基于PCNN分层聚类迭代的故障区域自动提取方法，该方法需要通过设置PCNN模型内在参数并引入聚类机理，从而获得较高的故障区域提取性能。此外，针对不同的红外场景图像，也涌现出了一系列图像处理算法[9-13]。
然而，针对输电线上不同红外对象以及不同场景的红外图像，现有的一些算法适应性都在一定程度上具有局限，其主要体现在红外图像的特性上，例如故障区域的大小以及灰度分布范围。通常，故障区域较小，阈值的选择往往会偏向于低灰度值[14]；灰度分布范围过大，则会将背景中的其他区域产生混叠，增加了阈值选择难度。其次，故障区域与非故障区域存在一定的边界，使得阈值机制得不到发挥。基于此，本文提出采用一种基于最大相似度阈值框架，并融合脉冲耦合神经元同步点火机制，使得脉冲耦合神经网络（Pulse-coupled neural network）阈值以及参数得到进一步优化，从而使PCNN模型具有更好的图像处理能力。最后通过真实电力设备红外图像验证本文方法的有效性。
1. MST框架
针对红外图像，灰度阈值分割机制通常具有高效性，便于快速检测，其中最大相似度阈值（Maximum Similarity Thresholding，MST）[15]机制起源于Otsu算法。不失一般性，可将Otsu算法规则定义为：
$$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left( {\chi , \gamma \left( t \right)} \right)} \right\} $$ (1) 式中：S(χ, γ(t))表示对原始图像提取的图像信息χ和在阈值t下获得的图像信息γ(t)之间的相似度度量，即：
$$ S\left( {\chi , \gamma } \right) = \frac{{\sum\nolimits_{i = 1}^N {\left( {{x_i} - {\mu _\chi }} \right)\left( {{w_i} - {\mu _\gamma }} \right)} }}{{\sqrt {\sum\nolimits_{i = 1}^N {{{\left( {{x_i} - {\mu _\chi }} \right)}^2}\sum\nolimits_{i = 1}^N {{{\left( {{w_i} - {\mu _\gamma }} \right)}^2}} } } }} $$ (2) 式中：xi和wi分别对应图像χ和γ中第i个像素值；μχ和μγ表示图像χ和γ的均值。从式中不难看出，当S=1时表示当图像χ和γ相同；相反，其值越小，代表差异越大，即越不相似。
考虑到不同的相似度度量函数对图像处理性能的差异性，例如Otsu方法，采用的类间方差最大或类内方差最小的原则建立阈值选择机制。然而，在式(1)直接度量下，极易发生阈值偏移引发欠分割或过分割。为了增强相似度度量的普适性，MST框架定义为：
$$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left[ {T\left( \chi \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (3) 式中：T和H表示转换函数，通常在实际图像处理中，转换函数T和H需要做相应的设置。不同的转换函数，其处理的结果必然存在一定的差异性，这也使得模型变得更加灵活。
2. MST框架下PCNN红外图像分割模型
2.1 PCNN简化模型
脉冲耦合神经网络模型（PCNN）[16-17]作为第三代神经网络，其内在的同步点火特性受到了国内外学者的青睐，特别是在图像分割、区域提取等领域，PCNN模型可以通过一定程度的简化，配合内在参数的优化，使得模型的有效性和适用性大大提升。图 1为一种经典的简化PCNN模型[16]。
在图 1中，这种经典的PCNN模型中输入层、耦合层以及脉冲发放层是一个循环级联的架构，神经元其内在活动激励随着迭代不断调节，直到神经元同步发放脉冲不再变化为止。因此，相比于其他神经网络图像处理，其不再需要训练和学习，只需要内在参数的调节，即可获得最终的输出。
其次，耦合层调节当前点火神经元的邻域神经元的活动项，这种机制有助于将具有相同特性的神经元进行聚类，从而便于分割图像区域。
此外，脉冲发放层是阈值分割机制的体现，是提升图像处理效率较为关键的一个环节，在一定程度上最终奠定了图像的分割结果。
为了更好地描述图 1的PCNN简化模型，输入层由反馈输入Yi和外部激励Ii组成，其中外部输入Ii与图像区域Ω中第i个像素的灰度值一一对应，即：
$$ {F_i}\left[ n \right] = {I_i}, i \in \varOmega $$ (4) 而反馈输入Yi通过内在的权重Wij，形成连接输入Li：
$$ {L_i}\left[ n \right] = \sum\limits_j {{{\boldsymbol{ W}}_{ij}}{{\boldsymbol{ Y}}_j}\left[ {n - 1} \right]} $$ (5) 式中：n代表迭代次数索引；Wij为神经元i和j之间的连接权系数矩阵。通常，相邻神经元欧氏距离的倒数作为权重系数值[16]，即：
$$ {{\boldsymbol{ W}}_{ij}} = \left\{ {\begin{array}{*{20}{l}} {0, \quad \quad \quad \;\, i = j} \\ {\frac{1}{{{{\left\| {i - j} \right\|}_2}}}, \quad i \ne j} \end{array}} \right. $$ (6) 在耦合层，连接输入和外部输入通过线性耦合方式调节邻域神经元内在活动项Ui：
$$ U_{i}[n]=F_{i}[n]\left\{1+\beta L_{i}[n]\right\} $$ (7) 式中：β为连接强度系数。
由于PCNN的迭代结果的输出最终由阈值进行控制。在阈值调节机制上，更多考虑区域特性以及熵等规则[8, 16]。通常，可将阈值设置为：
$$ {\theta _i}\left[ n \right] = {\hat \theta _i}\left[ {n - 1} \right] $$ (8) 式中：$ {\hat \theta _i}\left[ {n - 1} \right] $为区域的估计值，例如区域均值。
连接系数β，其主要作用是调节邻域神经元的内部活动激励，如式(7)所示。为了能够捕获邻域相似神经元，本文采用聚类方差最小方式设置系数β：
$$ \begin{gathered} \mathop {\min }\limits_\beta \sum\limits_{i = 0}^1 {\sum\limits_{x \in {X_i}} {{{\left( {{V_x} - {m_i}\left( n \right)} \right)}^2}} } \quad {\text{s}}{\text{.t}}. \hfill \\ \begin{array}{*{20}{c}} {{V_x} = {I_x}\left( {1 + \beta {L_x}} \right)\quad {\text{if}}\quad x \in {X_0}} \\ {{V_x} = {I_x}\quad \quad \quad \quad \;\;{\text{if}}\quad x \in {X_1}} \end{array} \hfill \\ \end{gathered} $$ (9) 式中：X0表示当前点火区域的8邻域像素，即为具备内在激励的神经元；X1表示未点火区域的8邻域像素；m0(n)和m1(n)分别代表未点火区域和点火区域在当前迭代时刻n的均值。由此，通过搜素β值，使得式(9)具有最小值，代表局部区域神经元聚类方差最小。
然后，通过阈值机制，得到脉冲输出：
$$ {Y_i}\left[ n \right] = \left\{ {\begin{array}{*{20}{l}} {1, \quad {U_i}\left[ n \right] > {\theta _i}\left[ {n - 1} \right]} \\ {0, \quad {\text{otherwise}}} \end{array}} \right. $$ (10) 即当内部活动项Ui大于阈值时，神经元点火，输出脉冲；反之，输出值Yi[n]为零。
此外，关于迭代次数n的选择，在现有的一些文献中[16]，通常依赖于判断规则，即在PCNN脉冲输出序列中寻找判断规则决定最佳的脉冲输出。然而，这种规则的好坏，决定了最终的提取结果。
2.2 MST框架下的PCNN模型阈值的改进
在阈值部分，PCNN模型通常采用式(8)所示的阈值估计，即采用区域的均值替代估计，从而使得PCNN模型在迭代过程中能够合理地将邻域相似的神经元进行聚类。然而，由于红外图像边界的模糊性，容易引起低灰度值的像素进行聚类，从而引起均值θi[n]发生偏差，使得迭代过程变得冗长，并导致最终得不到较好的分割结果。
为此，本文采用MST框架，对PCNN阈值设置进行优化，利用式(3)的优化方式替代式(8)的阈值，即：
$$ \mathop {\max }\limits_{{\theta _i}\left[ n \right] = t} \left\{ {S\left[ {T\left( x \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (11) 考虑到红外图像中故障区域与非故障区域存在边界，因此将转换函数T选择为梯度边界函数：
$$ T\left( \chi \right) = \left\| {\nabla G\left( {x, y;\sigma } \right)*\chi } \right\| $$ (12) 式中：*表示卷积；∇为梯度算子；σ表示尺度大小；G为高斯函数：
$$ G\left( {x, y;\sigma } \right) = \frac{1}{{\sqrt {2{\text{π }}} \sigma }}{{\text{e}}^{ - \left( {{x^2} + {y^2}} \right)/2\sigma _{}^2}} $$ (13) 由此可以看出，当图像χ经T变换后，得到的结果与图像中梯度信息密切相关。显然，区域分割结果的变换函数H要求具备边界信息。本文采用形态学算子对分割后的二值图像进行处理，则得到：
$$ H(A)=A-(A \Theta B) $$ (14) 式中：A为阈值下的二值图像；B为形态学算子（4邻域）；Θ表示腐蚀算子。
为了便于实现，图 2给出了整个算法的处理流程，最终通过选择最大相似度的PCNN时间序列输出作为故障区域提取结果。
3. 实验结果及分析
为了验证文中方法的图像处理性能，图 3给出了5幅在输电线路巡检中获取的具有代表性的红外图像及其梯度图像，并与经典的Otsu，MST[15]以及现有的PCNN模型[8]进行比较，所有算法均在Intel(R) Core(TM) i5 CPU 4 GB内存PC机Matlab (2010b)上编程实现。
![]()
图 3 红外检测图像（第一行为原始图像，第二行为梯度图像）Figure 3. Infrared images (First row: original images, Second row: gradient images)图 4~图 10分别给出了Otsu、MST、现有的PCNN模型以及本文PCNN模型得到的结果图。由于经典的Otsu算法阈值的选取依赖于类内方差最小或类间方差最大原则，因此，得到的阈值并不与图像边界等特征信息有关联，使得其分割结果与期望结果产生偏差，如图 4所示。而MST方法在此基础上融入了相似度法则，经过T变换和H变换，再通过相似度来选择阈值，使得阈值的选择融合了图像的边界以及区域特性，相对来讲，这种方式有利于提取具有边界的目标区域。然而，对于红外图像，得到的结果更倾向于分离背景，而实际的故障区域被目标区域所覆盖，引起故障区域得不到分离，如图 5中图像2，图像4和图像5的结果。另外，从图 6所得到的阈值相似度曲线不难发现，图 6(b)，(d)和(e)所得到的曲线存在两个峰值，这代表故障区域和非故障区域也存在边界，表明采用最佳的阈值相似度并不能较好地分割故障区域。
![]()
图 9 本文PCNN方法第一次迭代结果Figure 9. Segmentation results of our PCNN model at first PCNN iteration图 7为文献[8]中PCNN分层聚类方法分割结果，其得到的分层结果均较为理想。然而，从第3幅图像的分割结果中，连接端子部分因PCNN阈值和连接系数的相关性，使得阈值设置发生了一定的偏移，导致该区域未被分割出来，如图 8所示。而本文方法融入了MST框架，在PCNN自适应迭代获得分割结果后（如图 9），再根据阈值相似度原则设置PCNN阈值，重新再迭代后得到最终的结果，从而避免了阈值设置的不当，最终结果如图 10所示。进一步地，从表 1中不难发现，重新迭代后的相似度结果在很大程度上要优于最先的PCNN迭代后的结果，进而表明本文方法参数设置的有效性，具有较好分离故障区域与非故障区域的能力。
表 1 阈值相似度评价Table 1. Evaluation of threshold similarityImage 1 Image 2 Image 3 Image 4 Image 5 Original value 0.4081 0.0910 0.5794 0.3050 0.3497 Final value 0.4440 0.1830 0.6010 0.3497 0.3358 此外，表 2给出了各个方法在时间复杂度上的对比。Otsu方法时间消耗最小，而当融合相似度计算时，即采用MST方法时，其时间消耗就会有所增加。而文献[8]PCNN方法中，需要对整幅图像进行分层聚类，最后再通过合并等操作，因此，其时间复杂度最高。相比于文献[8]的方法，本文PCNN方法在融合MST框架后，其时间复杂度明显得到了降低。
表 2 时间复杂度度量Table 2. Evaluation of time complexs Image 1 Image 2 Image 3 Image 4 Image 5 Otsu 0.1395 0.1109 0.0028 0.0021 0.1245 MST 0.9271 2.8334 0.9680 0.2569 3.0357 PCNN 1.7231 14.9229 4.4648 1.2141 46.8639 Proposed 0.9528 6.0775 0.8206 0.2679 13.874 4. 结语
本文提出了一种基于MST框架的PCNN模型输电线路红外图像热故障区域提取方法。该方法融合了MST框架技术，为PCNN阈值最优设置提供了理论基础。同时，在邻域像素同步点火参数的设置上，采用最小聚类方差，使得PCNN模型的参数能够进一步优化，最终获取红外图像中热故障区域。最后针对电气设备红外图像，且与一些常用的算法以及现有的PCNN模型相比，本文方法能较好地提取故障区域。此外，本文方法在图像处理时间上，要优于现有的PCNN方法。在下一步工作中，我们也将继续对此进行优化，使得本文方法能够更好地应用于现场。
-
![]()
图 1 标准双边滤波与改进的双边滤波的效果
Figure 1. Effect of bilateral filtering and improved bilateral filtering
![]()
图 7 改进的双边滤波对三个场景的增强效果
Figure 7. Enhancement effect of improved bilateral filtering on three scenarios
表 1 各算法对三个场景图像增强的信息熵
Table 1 Information entropy of each algorithm for image enhancement of three scenes
下载: 导出CSV
-
[1] 韦瑞峰, 赵荣普, 徐肖庆, 等. 基于直方图的红外图像细节增强算法研究[J]. 红外技术, 2016, 38(6): 472-475. http://hwjs.nvir.cn/article/id/hwjs201606005 WEI R, ZHAO R, XU X, et al. Infrared image detail enhancement based on histogram[J]. Infrared Technology, 2016, 38(6): 472-475. http://hwjs.nvir.cn/article/id/hwjs201606005
[2] WANG Y, WANG X, LI B, et al. Infrared image enhancement method for color transfer and contrast equalization in image registration[C]// Proceedings of the SPIE, 2017, 10462: 1046258.
[3] Chaudhury S, Roy A. Histogram equalization-a simple but efficient technique for image enhancement[J]. International Journal of Image, Graphics and Signal Processing, 2013, 5(10): 55-62. DOI: 10.5815/ijigsp.2013.10.07
[4] Aquino-Mori´nigo P, Lugo-Soli´s F, Pinto-Roa D, et al. Bi-histogram equalization using two plateau limits[J]. Signal, Image and Video Processing, 2017, 11(5): 857-864. DOI: 10.1007/s11760-016-1032-0
[5] Faraj N, Abood L. Contrast enhancement of infrared images using adaptive histogram equalization (AHE) with contrast limited adaptive histogram equalization[J]. Iraqi Journal of Physics, 2018, 16(37): 127-135. DOI: 10.30723/ijp.v16i37.84
[6] Ashiba M, Tolba M, El-Fishawy A, et al. Gamma correction enhancement of infrared night vision images using histogram processing[J]. Multimedia Tools & Applications, 2019, 78(19): 27771-27783.
[7] LIU C, SUI X, KUANG X, et al. Optimized contrast enhancement for infrared images based on global and local histogram specification[J]. Remote Sensing, 2019, 11(7): 849. DOI: 10.3390/rs11070849
[8] 吕侃徽, 张大兴. 基于自适应直方图均衡化耦合拉普拉斯变换的红外图像增强算法[J]. 光学技术, 2021, 47(6): 747-753. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS202106018.htm LV K, ZHANG D. Infrared image enhancement algorithm based on adaptive histogram equalization coupled with Laplace transform[J]. Optical Technique, 2021, 47(6): 747-753. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS202106018.htm
[9] LI Y, ZHANG Y, NIAN L, et al. Infrared image enhancement method based on scale varies Retinex theory[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(1): 104-111. DOI: 10.3788/YJYXS20163101.0104
[10] CHEN J, YANG X, LU L, et al. A novel infrared image enhancement based on correlation measurement of visible image for urban traffic surveillance systems[J]. Journal of Intelligent Transportation Systems, 2020, 24(3): 290-303. DOI: 10.1080/15472450.2019.1642753
[11] 魏然然, 詹伟达, 朱德鹏, 等. 改进多尺度的Retinex红外图像增强[J]. 液晶与显示, 2021, 36(3): 465-474. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS202103014.htm WEI R, ZHAN W, ZHU D, et al. Improved multi-scale Retinex infrared image enhancement[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(3): 465-474. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS202103014.htm
[12] LV J, DENG B, LU Y. A new detail enhancement method for high dynamic range infrared image[J]. Journal of Physics: Conference Series, 2019, 1237(3): 032060. DOI: 10.1088/1742-6596/1237/3/032060
[13] LI T, ZHAO J, WU X, et al. Infrared imaging enhancement through local window-based saliency extraction with spatial weight[J]. IET Image Processing, 2021, 15(12): 2910-2925. DOI: 10.1049/ipr2.12276
[14] CHEN J, ZHAN Y, CAO H. Adaptive sequentially weighted median filter for image highly corrupted by impulse noise [J]. IEEE Access, 2019, 7: 158545-158556. DOI: 10.1109/ACCESS.2019.2950348
[15] 凡遵林, 毕笃彦, 马时平, 等. 亮度保持和细节增强的红外图像增强方法[J]. 中南大学学报(自然科学版), 2016, 47(6): 1967-1972. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGD201606020.htm FAN Z, BI D, MA, et al. Method for infrared image with brightness preservation and detail enhancement[J]. Journal of Central South University (Science and Technology), 2016, 47(6): 1967-1972. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGD201606020.htm
[16] LI S, JIN W, LI L, et al. An improved contrast enhancement algorithm for infrared images based on adaptive double plateaus histogram equalization[J]. Infrared Physics & Technology, 2018, 90: 164-174.
计量
- 文章访问数: 244
- HTML全文浏览量: 53
- PDF下载量: 81
