Space-Time Domain Adaptive Filtering Non-uniformity Correction Algorithm
-
摘要: 由于红外焦平面探测器受到制造工艺等限制,图像不可避免地会存在非均匀性。传统神经网络算法会留下“鬼影”的问题,本文改进传统神经网络算法,利用引导滤波图像作为期望模板,防止图像的边缘被滤波器平滑。当场景运动时,通过时域迭代的策略来不断进行非均匀性校正参数的更新。为了抑制算法中常见的鬼影现象,设计了基于空域局部方差和时域场景变化率相结合的自适应学习率,利用前后的校正参数自适应调整阈值。实验仿真表明,本文所提的算法相比于传统算法均方根误差下降45.45%左右,可以在校正图像非均匀性的同时很好地抑制“鬼影”现象。Abstract: Because the infrared focal plane detector is limited by manufacturing technology, the image is inevitably nonuniform. The traditional neural network algorithm solves the "ghost" problem using the guided filtering image as the expected template to prevent image edge smoothing by the filter. When the scene is moving, the nonuniformity correction parameters are continuously updated using the time-domain iteration strategy. To suppress the common ghosting phenomenon in the algorithm, an adaptive learning rate was designed based on a combination of the spatial local variance and the time-domain scene change rate, and the threshold was adjusted adaptively using the correction parameters before and after. Simulation results show that the root mean square error of the proposed algorithm is reduced by 45.45% compared with that of the traditional algorithm, and the proposed algorithm can suppress the "ghost" phenomenon well while correcting image nonuniformity.
-
Keywords:
- infrared focal plane /
- non-uniformity correction /
- scene-based /
- neural network /
- guided filter
-
0. 引言
在电力输电线路巡检中,红外成像技术作为探测设备故障的远距离检测的重要工具,具有检测非接触式、安全性强、准确率高以及操作简便等优点[1]。然而,因巡检人员针对现场环境,需要实时录入检测到的故障信息等,不仅加长其巡检时间,且极易出现漏检、误录入等情况[2-3],使得巡检效率受到了不同程度的影响。
目前,图像处理技术作为辅助手段已经成为提升巡检自动化水平的重要一环。随着巡检无人机以及无人车在电力公司、电网公司的大力推广使用,红外图像处理技术越来越受到关注。众所周知,红外辐射能量的强弱是与物体表面温度大小密切相关的,当物体表面温度越高,其红外辐射强度越大,所体现在红外图像上的灰度值也越大。一般而言,输电线巡检中的电气设备,其故障大多以高温、高热特性为主,为红外图像故障检测提供了潜在的区分特性。早期,阈值划定故障界限通常是研究人员最为关注的一种解决方法。例如,在文献[4]中,提出一种采用经典的最大类间方差法(Otsu)自适应阈值图像分割方法,显然对于温差比较大的区域而言,这种方式简单高效。文献[5]提出了一种新型阈值的选择方法,该方法对目标图像先拟合具有N个相邻点的线性模型计算斜率差的变化趋势,通过在斜率差分布谷值中挑选适合不同类型故障区域的最佳阈值,以及利用形态学迭代腐蚀提取目标区域。针对红外图像背景复杂、信噪比低,文献[6]提出了一种基于Otsu和区域生长相结合的故障分割方法,较好地提取出故障区域。实际上,区域生长是一种类似聚类的方法。基于此,文献[7]提出了采用基于加权切比雪夫距离的K-means算法对输电线路上的变电站电气设备红外图像进行分割。进一步地,文献[8]中提出了基于PCNN分层聚类迭代的故障区域自动提取方法,该方法需要通过设置PCNN模型内在参数并引入聚类机理,从而获得较高的故障区域提取性能。此外,针对不同的红外场景图像,也涌现出了一系列图像处理算法[9-13]。
然而,针对输电线上不同红外对象以及不同场景的红外图像,现有的一些算法适应性都在一定程度上具有局限,其主要体现在红外图像的特性上,例如故障区域的大小以及灰度分布范围。通常,故障区域较小,阈值的选择往往会偏向于低灰度值[14];灰度分布范围过大,则会将背景中的其他区域产生混叠,增加了阈值选择难度。其次,故障区域与非故障区域存在一定的边界,使得阈值机制得不到发挥。基于此,本文提出采用一种基于最大相似度阈值框架,并融合脉冲耦合神经元同步点火机制,使得脉冲耦合神经网络(Pulse-coupled neural network)阈值以及参数得到进一步优化,从而使PCNN模型具有更好的图像处理能力。最后通过真实电力设备红外图像验证本文方法的有效性。
1. MST框架
针对红外图像,灰度阈值分割机制通常具有高效性,便于快速检测,其中最大相似度阈值(Maximum Similarity Thresholding,MST)[15]机制起源于Otsu算法。不失一般性,可将Otsu算法规则定义为:
$$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left( {\chi , \gamma \left( t \right)} \right)} \right\} $$ (1) 式中:S(χ, γ(t))表示对原始图像提取的图像信息χ和在阈值t下获得的图像信息γ(t)之间的相似度度量,即:
$$ S\left( {\chi , \gamma } \right) = \frac{{\sum\nolimits_{i = 1}^N {\left( {{x_i} - {\mu _\chi }} \right)\left( {{w_i} - {\mu _\gamma }} \right)} }}{{\sqrt {\sum\nolimits_{i = 1}^N {{{\left( {{x_i} - {\mu _\chi }} \right)}^2}\sum\nolimits_{i = 1}^N {{{\left( {{w_i} - {\mu _\gamma }} \right)}^2}} } } }} $$ (2) 式中:xi和wi分别对应图像χ和γ中第i个像素值;μχ和μγ表示图像χ和γ的均值。从式中不难看出,当S=1时表示当图像χ和γ相同;相反,其值越小,代表差异越大,即越不相似。
考虑到不同的相似度度量函数对图像处理性能的差异性,例如Otsu方法,采用的类间方差最大或类内方差最小的原则建立阈值选择机制。然而,在式(1)直接度量下,极易发生阈值偏移引发欠分割或过分割。为了增强相似度度量的普适性,MST框架定义为:
$$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left[ {T\left( \chi \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (3) 式中:T和H表示转换函数,通常在实际图像处理中,转换函数T和H需要做相应的设置。不同的转换函数,其处理的结果必然存在一定的差异性,这也使得模型变得更加灵活。
2. MST框架下PCNN红外图像分割模型
2.1 PCNN简化模型
脉冲耦合神经网络模型(PCNN)[16-17]作为第三代神经网络,其内在的同步点火特性受到了国内外学者的青睐,特别是在图像分割、区域提取等领域,PCNN模型可以通过一定程度的简化,配合内在参数的优化,使得模型的有效性和适用性大大提升。图 1为一种经典的简化PCNN模型[16]。
在图 1中,这种经典的PCNN模型中输入层、耦合层以及脉冲发放层是一个循环级联的架构,神经元其内在活动激励随着迭代不断调节,直到神经元同步发放脉冲不再变化为止。因此,相比于其他神经网络图像处理,其不再需要训练和学习,只需要内在参数的调节,即可获得最终的输出。
其次,耦合层调节当前点火神经元的邻域神经元的活动项,这种机制有助于将具有相同特性的神经元进行聚类,从而便于分割图像区域。
此外,脉冲发放层是阈值分割机制的体现,是提升图像处理效率较为关键的一个环节,在一定程度上最终奠定了图像的分割结果。
为了更好地描述图 1的PCNN简化模型,输入层由反馈输入Yi和外部激励Ii组成,其中外部输入Ii与图像区域Ω中第i个像素的灰度值一一对应,即:
$$ {F_i}\left[ n \right] = {I_i}, i \in \varOmega $$ (4) 而反馈输入Yi通过内在的权重Wij,形成连接输入Li:
$$ {L_i}\left[ n \right] = \sum\limits_j {{{\boldsymbol{ W}}_{ij}}{{\boldsymbol{ Y}}_j}\left[ {n - 1} \right]} $$ (5) 式中:n代表迭代次数索引;Wij为神经元i和j之间的连接权系数矩阵。通常,相邻神经元欧氏距离的倒数作为权重系数值[16],即:
$$ {{\boldsymbol{ W}}_{ij}} = \left\{ {\begin{array}{*{20}{l}} {0, \quad \quad \quad \;\, i = j} \\ {\frac{1}{{{{\left\| {i - j} \right\|}_2}}}, \quad i \ne j} \end{array}} \right. $$ (6) 在耦合层,连接输入和外部输入通过线性耦合方式调节邻域神经元内在活动项Ui:
$$ U_{i}[n]=F_{i}[n]\left\{1+\beta L_{i}[n]\right\} $$ (7) 式中:β为连接强度系数。
由于PCNN的迭代结果的输出最终由阈值进行控制。在阈值调节机制上,更多考虑区域特性以及熵等规则[8, 16]。通常,可将阈值设置为:
$$ {\theta _i}\left[ n \right] = {\hat \theta _i}\left[ {n - 1} \right] $$ (8) 式中:$ {\hat \theta _i}\left[ {n - 1} \right] $为区域的估计值,例如区域均值。
连接系数β,其主要作用是调节邻域神经元的内部活动激励,如式(7)所示。为了能够捕获邻域相似神经元,本文采用聚类方差最小方式设置系数β:
$$ \begin{gathered} \mathop {\min }\limits_\beta \sum\limits_{i = 0}^1 {\sum\limits_{x \in {X_i}} {{{\left( {{V_x} - {m_i}\left( n \right)} \right)}^2}} } \quad {\text{s}}{\text{.t}}. \hfill \\ \begin{array}{*{20}{c}} {{V_x} = {I_x}\left( {1 + \beta {L_x}} \right)\quad {\text{if}}\quad x \in {X_0}} \\ {{V_x} = {I_x}\quad \quad \quad \quad \;\;{\text{if}}\quad x \in {X_1}} \end{array} \hfill \\ \end{gathered} $$ (9) 式中:X0表示当前点火区域的8邻域像素,即为具备内在激励的神经元;X1表示未点火区域的8邻域像素;m0(n)和m1(n)分别代表未点火区域和点火区域在当前迭代时刻n的均值。由此,通过搜素β值,使得式(9)具有最小值,代表局部区域神经元聚类方差最小。
然后,通过阈值机制,得到脉冲输出:
$$ {Y_i}\left[ n \right] = \left\{ {\begin{array}{*{20}{l}} {1, \quad {U_i}\left[ n \right] > {\theta _i}\left[ {n - 1} \right]} \\ {0, \quad {\text{otherwise}}} \end{array}} \right. $$ (10) 即当内部活动项Ui大于阈值时,神经元点火,输出脉冲;反之,输出值Yi[n]为零。
此外,关于迭代次数n的选择,在现有的一些文献中[16],通常依赖于判断规则,即在PCNN脉冲输出序列中寻找判断规则决定最佳的脉冲输出。然而,这种规则的好坏,决定了最终的提取结果。
2.2 MST框架下的PCNN模型阈值的改进
在阈值部分,PCNN模型通常采用式(8)所示的阈值估计,即采用区域的均值替代估计,从而使得PCNN模型在迭代过程中能够合理地将邻域相似的神经元进行聚类。然而,由于红外图像边界的模糊性,容易引起低灰度值的像素进行聚类,从而引起均值θi[n]发生偏差,使得迭代过程变得冗长,并导致最终得不到较好的分割结果。
为此,本文采用MST框架,对PCNN阈值设置进行优化,利用式(3)的优化方式替代式(8)的阈值,即:
$$ \mathop {\max }\limits_{{\theta _i}\left[ n \right] = t} \left\{ {S\left[ {T\left( x \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (11) 考虑到红外图像中故障区域与非故障区域存在边界,因此将转换函数T选择为梯度边界函数:
$$ T\left( \chi \right) = \left\| {\nabla G\left( {x, y;\sigma } \right)*\chi } \right\| $$ (12) 式中:*表示卷积;∇为梯度算子;σ表示尺度大小;G为高斯函数:
$$ G\left( {x, y;\sigma } \right) = \frac{1}{{\sqrt {2{\text{π }}} \sigma }}{{\text{e}}^{ - \left( {{x^2} + {y^2}} \right)/2\sigma _{}^2}} $$ (13) 由此可以看出,当图像χ经T变换后,得到的结果与图像中梯度信息密切相关。显然,区域分割结果的变换函数H要求具备边界信息。本文采用形态学算子对分割后的二值图像进行处理,则得到:
$$ H(A)=A-(A \Theta B) $$ (14) 式中:A为阈值下的二值图像;B为形态学算子(4邻域);Θ表示腐蚀算子。
为了便于实现,图 2给出了整个算法的处理流程,最终通过选择最大相似度的PCNN时间序列输出作为故障区域提取结果。
3. 实验结果及分析
为了验证文中方法的图像处理性能,图 3给出了5幅在输电线路巡检中获取的具有代表性的红外图像及其梯度图像,并与经典的Otsu,MST[15]以及现有的PCNN模型[8]进行比较,所有算法均在Intel(R) Core(TM) i5 CPU 4 GB内存PC机Matlab (2010b)上编程实现。
图 4~图 10分别给出了Otsu、MST、现有的PCNN模型以及本文PCNN模型得到的结果图。由于经典的Otsu算法阈值的选取依赖于类内方差最小或类间方差最大原则,因此,得到的阈值并不与图像边界等特征信息有关联,使得其分割结果与期望结果产生偏差,如图 4所示。而MST方法在此基础上融入了相似度法则,经过T变换和H变换,再通过相似度来选择阈值,使得阈值的选择融合了图像的边界以及区域特性,相对来讲,这种方式有利于提取具有边界的目标区域。然而,对于红外图像,得到的结果更倾向于分离背景,而实际的故障区域被目标区域所覆盖,引起故障区域得不到分离,如图 5中图像2,图像4和图像5的结果。另外,从图 6所得到的阈值相似度曲线不难发现,图 6(b),(d)和(e)所得到的曲线存在两个峰值,这代表故障区域和非故障区域也存在边界,表明采用最佳的阈值相似度并不能较好地分割故障区域。
图 7为文献[8]中PCNN分层聚类方法分割结果,其得到的分层结果均较为理想。然而,从第3幅图像的分割结果中,连接端子部分因PCNN阈值和连接系数的相关性,使得阈值设置发生了一定的偏移,导致该区域未被分割出来,如图 8所示。而本文方法融入了MST框架,在PCNN自适应迭代获得分割结果后(如图 9),再根据阈值相似度原则设置PCNN阈值,重新再迭代后得到最终的结果,从而避免了阈值设置的不当,最终结果如图 10所示。进一步地,从表 1中不难发现,重新迭代后的相似度结果在很大程度上要优于最先的PCNN迭代后的结果,进而表明本文方法参数设置的有效性,具有较好分离故障区域与非故障区域的能力。
表 1 阈值相似度评价Table 1. Evaluation of threshold similarityImage 1 Image 2 Image 3 Image 4 Image 5 Original value 0.4081 0.0910 0.5794 0.3050 0.3497 Final value 0.4440 0.1830 0.6010 0.3497 0.3358 此外,表 2给出了各个方法在时间复杂度上的对比。Otsu方法时间消耗最小,而当融合相似度计算时,即采用MST方法时,其时间消耗就会有所增加。而文献[8]PCNN方法中,需要对整幅图像进行分层聚类,最后再通过合并等操作,因此,其时间复杂度最高。相比于文献[8]的方法,本文PCNN方法在融合MST框架后,其时间复杂度明显得到了降低。
表 2 时间复杂度度量Table 2. Evaluation of time complexs Image 1 Image 2 Image 3 Image 4 Image 5 Otsu 0.1395 0.1109 0.0028 0.0021 0.1245 MST 0.9271 2.8334 0.9680 0.2569 3.0357 PCNN 1.7231 14.9229 4.4648 1.2141 46.8639 Proposed 0.9528 6.0775 0.8206 0.2679 13.874 4. 结语
本文提出了一种基于MST框架的PCNN模型输电线路红外图像热故障区域提取方法。该方法融合了MST框架技术,为PCNN阈值最优设置提供了理论基础。同时,在邻域像素同步点火参数的设置上,采用最小聚类方差,使得PCNN模型的参数能够进一步优化,最终获取红外图像中热故障区域。最后针对电气设备红外图像,且与一些常用的算法以及现有的PCNN模型相比,本文方法能较好地提取故障区域。此外,本文方法在图像处理时间上,要优于现有的PCNN方法。在下一步工作中,我们也将继续对此进行优化,使得本文方法能够更好地应用于现场。
-
-
[1] 马晓平, 赵良玉. 红外导引头关键技术国内外研究现状综述[J]. 航空兵器, 2018(3): 3-10. https://www.cnki.com.cn/Article/CJFDTOTAL-HKBQ201803001.htm MA Xiaoping, ZHAO Liangyu. An overview of infrared seeker key technologies at home and abroad[J]. Aero Weaponry, 2018(3): 3-10. https://www.cnki.com.cn/Article/CJFDTOTAL-HKBQ201803001.htm
[2] 周永康, 朱尤攀, 赵德利, 等. 基于场景的红外焦平面非均匀校正算法综述[J]. 红外技术, 2018, 40(10): 952-960. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201810005.htm ZHOU Yongkang, ZHU Youpan, ZHAO Deli, et al. Overview of scene-based non-uniform correction algorithms for infrared focal plane[J]. Infrared Technology, 2018, 40(10): 952-960. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201810005.htm
[3] 李旭, 杨虎. 基于两点的红外图像非均匀性校正算法应用[J]. 红外与激光工程, 2008, 37: 608-610. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ2008S2064.htm LI Xu, YANG Hu. Application of a non-uniformity correction algorithm for IRFPAs based on two points[J]. Infrared and Laser Engineering, 2008, 37: 608-610. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ2008S2064.htm
[4] 关同辉, 张同贺. 一种新型实时两点非均匀性校正方法[J]. 航空兵器, 2021, 28(4): 112-117. https://www.cnki.com.cn/Article/CJFDTOTAL-HKBQ202104018.htm GUAN Tonghui, ZHANG Tonghe. A new real-time two-point non-uniformity correction method[J]. Aero Weaponry, 2021, 28(4): 112-117. https://www.cnki.com.cn/Article/CJFDTOTAL-HKBQ202104018.htm
[5] 陈芳林. 基于场景的红外焦平面非均匀性校正算法及FPGA实现[D]. 南京: 南京理工大学, 2017. CHEN Fanglin. Scene-based Infrared Focal Plane Non-Uniformity Correction Algorithm and FPGA Implementation[D]. Nanjing: Nanjing University of Science and Technology, 2017.
[6] 钱润达, 赵东, 周慧鑫, 等. 基于加权引导滤波与时域高通滤波的非均匀性校正算法[J]. 红外与激光工程, 2018, 47(12): 1204001-1-1204001-6. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201812022.htm QIAN Runda, ZHAO Dong, ZHOU Huixin, et al. Non-uniformity correction algorithm based on weighted guided filter and temporal high-pass filter[J]. Infrared and Laser Engineering, 2018, 47(12): 1204001 -1-1204001-6. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201812022.htm
[7] 徐泽林, 路东明, 王利平, 等. 利用灰度差估计的条纹非均匀性校正方法[J]. 光学学报, 2021, 41(5): 511001-1-511001-6. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202105004.htm XU Zelin, LU Dongming, WANG Liping, et al. Fringe non-uniformity correction method based on gray different estimation[J]. Acta Optica Sinic, 2021, 41(5): 511001-1-511001-6. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202105004.htm
[8] CHAO Zuo, QIAN Chen, GU Guohua, et al. Improved interframe registration based nonuniformity correction for focal plane arrays[J]. Infrared Physics & Technology, 2012, 55(4): 263-269. . http://www.onacademic.com/detail/journal_1000035395320710_83c7.html
[9] ZUO C, ZHANG Y, CHEN Q, et al. A two-frame approach for scene-based nonuniformity correction in array sensors[J]. Infrared Physics & Technology, 2013, 60(1): 190-196. http://www.zuochao.org/uploads/1/1/0/7/11076000/2013_irt_tfnuc.pdf
[10] 李谦, 杨波, 粟宇路, 等. 基于神经网络的红外焦平面光学非均匀性校正改进算法[J]. 红外技术, 2019, 41(3): 251-255. http://hwjs.nvir.cn/article/id/hwjs201903009 LI Qian, YAN Bo, SU Yulu, et al. An improved algorithm for irfpa optical nonuniformity correction based on neural networks[J]. Infrared Technology, 2019, 41(3): 251-255. http://hwjs.nvir.cn/article/id/hwjs201903009
[11] RONG Shenghui, ZHOU Huixin, QIN Hanlin, et al. Guided filter and adaptive learning rate based non-uniformity correction algorithm for infrared focal plane array[J]. Infrared Physics & Technology, 2016, 76: 691-697. http://www.sciencedirect.com/science?_ob=ShoppingCartURL&_method=add&_eid=1-s2.0-S1350449515300529&originContentFamily=serial&_origin=article&_ts=1480172376&md5=3e335208352d8436eca4420b9fdcff9b
[12] 刘会通, 马红伟. 自适应非均匀性校正中"鬼影"问题的分析[J]. 红外技术, 2003, 23(5): 30-36. DOI: 10.3969/j.issn.1001-8891.2003.05.008 LIU Huitong, MA Hongwei. An analysis of the ghosting artifact in adaptive nonuniformity correction[J]. Infrared Technology, 2003, 23(5): 30-36. DOI: 10.3969/j.issn.1001-8891.2003.05.008
[13] 陈芳林, 张宝辉, 汪贵华, 等. 改进的神经网络非均匀性校正算法研究[J]. 科学技术与工程, 2016, 33(16): 215-220. https://www.cnki.com.cn/Article/CJFDTOTAL-KXJS201633039.htm CHEN Fanglin, ZHANG Baohui, WANG Guihua, et al. Research on improved neural network non-uniformity correction algorithm[J]. Science Technology and Engineering, 2016, 33(16): 215-220. https://www.cnki.com.cn/Article/CJFDTOTAL-KXJS201633039.htm
[14] Scribner D A, Caulfield J T. Nonuniformity correction for staring IR focal plane arrays using scene - based techniques[C]//Proceedings of SPIE the International Society for Optical Engineering, 1990, 12: 21730.
[15] 张红辉, 罗海波, 余新荣, 等. 改进的神经网络红外图像非均匀性校正方法[J]. 红外技术, 2013, 35(4): 232-237. http://hwjs.nvir.cn/article/id/hwjs201304011 ZHANG Honghui, LUO Haibo, YU Xinrong, et al. Improved algorithm of neural network used in IR image non-uniformity correction[J]. Infrared Technology, 2013, 35(4): 232-237. http://hwjs.nvir.cn/article/id/hwjs201304011
[16] 张菲菲, 王文龙, 马国锐, 等. 基于非局部均值滤波与神经网络的红外焦平面阵列非均匀性校正算法[J]. 红外技术, 2015, 37(4): 265-271. http://hwjs.nvir.cn/article/id/hwjs201504001 ZHANG Feifei, WANG Wenlong, MA Guorui, et al. Neural network nonuniformity correction algorithm for infrared focal plane array based on non-local means filter[J]. Infrared Technology, 2015, 37(4): 265-271. http://hwjs.nvir.cn/article/id/hwjs201504001
[17] 陆余洋君. 基于神经网络的红外焦平面非均匀性校正算法研究与FPGA实现[D]. 合肥: 中国科学技术大学, 2021. LU Yuyangjun. Research on Algorithms Nonuniformity Correction on Infrared Focal Plane Array Based on Neural Net Works and FPGA Implement[D]. Hefei: University of Science and Technology of China, 2021.
-
期刊类型引用(1)
1. 于帅北,曹艳波,费强,王芳,孙景旭. 轻量化量子跟踪系统复合轴精密控制. 光学精密工程. 2024(23): 3469-3478 . 百度学术
其他类型引用(0)