DeepLabv3+ Network-based Infrared Image Segmentation Method for Current Transformer
-
摘要: 红外图像智能分析是变电设备故障诊断的一种有效方法,目标设备分割是其关键技术。本文针对复杂背景下电流互感器整体分割难的问题,采用基于ResNet50的DeepLabv3+神经网络,用电流互感器的红外图像训练语义分割模型的方法,对收集到的样本采用限制对比度自适应直方图均衡化方法实现图像轮廓增强,构建样本数据集,并运用图像变换扩充样本数据集,搭建语义分割网络训练语义分割模型,实现电流互感器像素与背景像素的二分类。通过文中方法对420张电流互感器红外图像测试,结果表明,该方法的平均交并比(Mean Intersection over Union, MIoU)为87.5%,能够从测试图像中精确分割出电流互感器设备,为后续电流互感器的故障智能诊断做铺垫。
-
关键词:
- 红外图像 /
- 电流互感器 /
- ResNet50 /
- DeepLabv3+ /
- 语义分割
Abstract: Infrared image intelligent analysis is an effective method for the fault diagnosis of transformer equipment, and its key technology is target device segmentation. In this study, aiming to address the difficulty in overall segmentation of current transformers with complex backgrounds, the DeepLabv3+ neural network based on ResNet50 was applied to train the semantic segmentation model with infrared image of CT. The collected samples were enhanced by the limited contrast adaptive histogram equalization method, and a sample dataset was constructed. The sample dataset was expanded by image distortion, and a semantic segmentation network was built to train the semantic segmentation model to realize the binary classification of current transformer pixels and background pixels. The test results of 420 current transformer infrared images showed that the MIOU of this method is 87.5%, which can accurately divide the current transformer equipment from the test images and lay a foundation for the subsequent intelligent fault diagnosis of current transformers.-
Keywords:
- infrared image /
- current transformer /
- ResNet50 /
- DeepLabv3+ /
- semantic segmentation
-
0. 引言
图像融合是将多传感器采集的同一场景的图像进行融合,取得信息互补的过程。其中,红外与弱可见光图像融合近年来受到广泛的关注,利用两者间的相关性和互补性进行融合,增加了图像中有用信息含量,图像的效果可以获得很大的改观,在同一图像中突出目标的同时还能较好地呈现背景细节,不仅提高了成像系统的视距,而且有效提高了融合图像信噪比,具有更高的可靠性和可信度,增强了人们对关注区域的探测、识别和分析能力。如在公共安全领域,违法犯罪活动的伪装使得对目标的调查取证更加困难,作案人往往利用夜幕掩护进行犯罪活动,以躲避警方的打击,夜间发现和识别作案人的范围越大,就意味着在夜间有较大的作战半径,同时也就获得了夜间作战的主动权。利用红外与弱可见光融合技术,有助于警务人员及时发现可疑目标,可以更有效地打击作案人和保护自身的安全。
红外与弱可见光融合技术涉及到工作的颜色空间、图像处理域以及不同子带图像融合策略规则等关键问题。尤其在图像处理域方面,红外与弱可见光图像融合主要有基于空间域和变换域两种方法,较新的空间域算法包括基于鲁棒主成分分析RPCA(Robust Principal Component Analysis)[1]、压缩感知CS(Compressed Sensing)等[2-3],较新的基于变换域的图像融合方法有非下采样轮廓变换(Non-Subsampled Contourlet Transform,NSCT)[4-5]、非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)[6-7]、非下采样双树轮廓波变换(Non-Subsampled Dual Tree Contourlet Transform,NSDTCT)[8]、双树复小波变换(Dual Tree Complex Wavelet Transform,DTCWT)[9-10]、双树复剪切波变换(Dual Tree Complex Shearlet Transform,DTCST)[11]等。总的来说,变换域融合方法要优于空间域融合方法,而小波变换域处理要优于其他变换域算法,但传统小波变换在处理图像等二维信息时,由于方向选择性少,存在对图像的边缘轮廓等高频分量表征能力差、细节纹理缺失、不能突出重点目标等不足,而DTCWT不仅保留了传统小波变换的时频域特性,而且重构使计算效率更高,具有近似的平移不变性、更多的方向选择性和有限数据冗余,DTCWT能够同时显著提高图像配准与融合的质量,非常适合处理红外与弱可见光融合夜视图像。
本文基于感知一致性颜色空间的优异特性,在新构造的颜色空间内完成红外与弱可见光图像的分解、融合与重构。其中,利用DTCWT在PUCS空间内对红外、弱可见光图像进行多尺度变换域分解,以提取异源图像各自的显著信息和细节信息;针对低、高频分量设计不同的融合规则,对于低频分量采用基于区域能量自适应加权的策略,对于高频分量使用基于拉普拉斯能量和与梯度值计算混合的规则;最后,通过DTCWT逆变换得到融合后的图像。
1. 相关理论
1.1 基于感知的一致性颜色空间
颜色空间是进行颜色信息处理和研究的基础,常用的工作空间有RGB、HSV、YUV、lαβ、CIELAB等颜色空间,由于颜色空间大多为非线性空间,所以存在计算复杂、效率低等问题。理想的颜色空间3个通道间应互相独立且不存在交叉干扰,色差变化应符合欧式尺度,即当任一分量发生变化时,人眼视觉可察觉变化也是相同的[12-13],即颜色空间的一致性或均匀性,同时可以与RGB空间进行逆变换且易于实时处理。本文采用文献[14]提出的基于感知一致性颜色空间,感知一致性空间与RGB颜色空间变换步骤如下:
首先,分别将红外与弱可见光图像由RGB空间转换至XYZ空间:
$$ \left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right]{{\rm{ = }}}{\boldsymbol{ M}}{{\rm{ }}}\left[ {\begin{array}{*{20}{c}} {R/255} \\ {G/255} \\ {B/255} \end{array}} \right] $$ (1) 其中:
$$ {\boldsymbol{ M}} = \left[ {\begin{array}{*{20}{c}} {0.4125}&{0.3576}&{0.1805} \\ {0.2126}&{0.7152}&{0.0722} \\ {0.0193}&{0.1192}&{0.9505} \end{array}} \right] 。 $$ 继续将图像从XYZ空间转至CIELAB空间:
$$ \left\{ {\begin{array}{*{20}{l}} {{L^*}{{\rm{ = 116}}} \times f(Y/{Y_{{\rm{n}}}}) - 16} \\ {{a^*} = 500 \times [f(X/{X_{{\rm{n}}}}) - f(Y/{Y_{{\rm{n}}}})]} \\ {{b^*} = 200 \times [f(Y/{Y_{{\rm{n}}}}) - f(Z/{Z_{{\rm{n}}}})]} \end{array}} \right. $$ (2) $$ f(t) = \left\{ {\begin{array}{*{20}{l}} {{t^{1/3}}\; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; t > {{(6/29)}^3}} \\ {\frac{1}{3}{{(\frac{{29}}{6})}^2}t + \frac{4}{{29}}\; \; \; \; \; \; \; \; else} \end{array}} \right. $$ (3) 式(3)中,t=X/Xn、t=Y/Yn或t=Z/Zn;Xn,Yn,Zn分别为观察者眼中参考白光对应的三刺激值;L*,a*,b*分别为CIELAB各分量值。
进行感知一致性颜色空间变换时,使用标准色差公式CIEDE2000得到ΔE:
$$ \Delta E{\rm{=}}\sqrt{(\frac{\Delta {L}^{\prime }}{{K}_{{\rm{L}}}{S}_{{\rm{L}}}}{)}^{2}+(\frac{\Delta {{C}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{C}}}{S}_{{\rm{C}}}}{)}^{2}+(\frac{\Delta {{H}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{H}}}{S}_{{\rm{H}}}}{)}^{2}+{R}_{{\rm{T}}}(\frac{\Delta {{C}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{C}}}{S}_{{\rm{C}}}})(\frac{\Delta {{H}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{H}}}{S}_{{\rm{H}}}})} $$ (4) 式中:ΔL′为明度差;ΔCab′为彩度差;ΔHab′为色相差;KL、KC、KH分别为亮度、彩度、色相的校正系数;SL、SC、SH分别为亮度、彩度、色相的权重函数;RT为彩度旋转函数。由于所处理的红外与弱可见光图像均为灰度图像,本文仅需对亮度分量进行处理,可将式(4)简化为式(5):
$$ \Delta E{\rm{=}}\left|(\frac{\Delta {L}^{\prime }}{{K}_{{\rm{L}}}{S}_{{\rm{L}}}})\right| $$ (5) 式中:KL为预置参数,$ {S}_{L}{\rm{=}}1{\rm{+}}\frac{0.015(\overline{{L}^{*}}-50{)}^{2}}{\sqrt{20{\rm{+}}(\overline{{L}^{*}}-50{)}^{2}}} $,ΔL′=Li-1*-Li*,最终,获得新的亮度分量LNEW*:
$$ L_{{{\rm{NEW}}}}^{{\rm{*}}}(L_j^ * ) = \sum\limits_{i = 2}^j {\Delta E({{(L_{i - 1}^ * , 0, 0)}^{{\rm{T}}}}, {{(L_i^ * , 0, 0)}^{{\rm{T}}}})} $$ (6) 式中:j=2, …, K,LNEW*(L1*)=0,并将计算得到的亮度各分量存入到一维查找表内,后续变换域中计算时只需到一维查找表中调出亮度分量即可。
1.2 双树复小波变换
英国剑桥大学Nick Kingsbury等提出的基于Q-shift滤波器组结构的双树复小波变换(dual tree complex wavelet transform, DTCWT)[15]。可以解决传统小波变换不具有平移不变性、方向信息有限等不足,且有较高的计算效率和更好的重构效果。图 1给出了图像的DTCWT二层分解示意图,DTCWT利用二棵离散小波树分别产生相应的小波系数的实部及虚部进行并行运算,由于是扩展到二维,因此共计4个分树,Lo1、Loq为对应的低通滤波器,Hi1、Hiq为对应的高通滤波器,Lo1和Hi1,Loq和Hiq分别是共轭正交的滤波器对,与离散小波在二维图像上处理信号的方式相似,DTCWT首先通过滤波器组先对图像行滤波,然后列滤波,滤波器要求第1层2棵树之间有1个采样点时延,并从第二层起要求树A和树B滤波器的幅频响应均相等,两棵树滤波器之间要保持相对于各自采样速率的0.5个样值间隔,即二分之一采样周期的时延差距,以消除信号间的干扰,通过行、列交替的滤波方式,结合每一层上的低通滤波器和高通滤波器,通过组合可以得到6个复数分量(x1a+jx1b,x2a+jx2b,x3a+jx3b,x01a+jx01b,x02a+jx02b,x03a+jx03b)。同时,低频子带图像x00将继续被分解为下一层的低频和高频部分,并且总体数据冗余度比(4:1)并不会随着分解层数的增多而提高,可避免过多的计算开销[15-16]。
图 2为DTCWT四层分解下的基函数冲击响应(分别为±15°、±45°以及±75°三个对称方向)图像,由于A树与B树分别对图像信号的奇、偶数位置滤波,可以保证B树采样点的位置恰好位于A树采样点的中间位置,以避免抽样所产生的混叠,通过图 2(a)与图 2(b)对比可以看出,两者具有很强的对称性与互补性,相对于传统DWT仅有两个方向的细节,不具备平移不变性等缺陷,DTCWT可以极大地提高图像方向信息的分析能力及稳定性,可使融合图像更好地保留源图像的不同方向上的典型特征,可以极大地提高图像分解与重构的精度的同时,保留图像更多的细节信息。
DTCWT分解中实部变换小波系数WLr(k)和尺度系数CLr(k)计算如下:
$$ W_L^{{\rm{r}}}(k) = {2^{\frac{L}{2}}}\int\limits_{ - \infty }^\infty {f(t){s^{{\rm{r}}}}(t)({2^L}t - k){{\rm{d}}}t} $$ (7) $$ C_L^{{\rm{r}}}(k) = {2^{\frac{L}{2}}}\int\limits_{ - \infty }^\infty {f(t){h^{{\rm{r}}}}(n)({2^L}t - k){{\rm{d}}}t} $$ (8) 式中:f(t)为输入信号,L取值为0, 1, 2, …, N,N表示分解的层数,实部树的尺度函数为sr(t),实部树的小波函数为hr(n),同理可得虚部树的小波系数WLi(k)和尺度系数CLi(k),从而得到完整的小波系数WL(k)和尺度系数CL(k),如式(9)、式(10)所示:
$$ W_{L}(k)=W_{L}^{\mathrm{r}}(k)+j W_{L}^{i}(k) $$ (9) $$ C_{L}(k)=C_{L}^{\mathrm{r}}(k)+j C_{L}^{i}(k) $$ (10) DTCWT重构过程可由式(11)、式(12)获得,其中,λi为尺度选择系数,λi∈[0, …, 1]:
$$ W_L^{}(t) = {2^{\frac{L}{2}}}{\lambda _i}\sum\limits_{n \in Z} {[W_L^{{\rm{r}}}(n){s^{{\rm{r}}}}({2^L}t - k)} + W_L^i(n){s^i}({2^L}t - n)] $$ (11) $$ C_L^{}(t) = {2^{\frac{L}{2}}}{\lambda _{N + 1}}\sum\limits_{n \in Z} {[C_L^{{\rm{r}}}(n){s^{{\rm{r}}}}({2^L}t - k)} + C_L^i(n){s^i}({2^L}t - n)] $$ (12) 最终可得重构后的信号f*(t)为:
$$ {f^ * }(t) = {C_L}(t) + \sum\limits_{L = 1}^N {{W_L}(t)} $$ (13) 在二维图像中,将t替换为(M, N)即可得到相应的分解与重构方程,图 3为某广场基于DTCWT四层分解后的红外与弱可见光夜视图像。
2. 算法整体融合流程
本文图像融合整体流程如图 4所示,其中,融合算法的具体步骤为:
1)通过式(1)~(6)将红外与弱可见光图像分别转至感知一致性颜色空间以获得新的亮度分量LNEW*;
2)通过式(7)~(10),利用基于Q-shift滤波器组结构的双树复小波对红外与弱可见光图像进行DTCWT分解,分别获取两者的低频分量与高频分量;
3)根据高、低频分量的特点,由式(14)、(15)对低频子带分量系数$C_{\mathrm{L}\;(s, d)}^{\rm{IR}}(m, n)$、$ C_{{\mathrm{L}}\;(s, d)}^{\mathrm{VIS}}(m, n)$采用区域能量自适应加权的融合规则以获取融合后的低频系数$ C_{{\rm{L}}\;(s, d)}^{{\rm{F}}} $;
4)利用(16)~(18)对高频子带分量系数$C_{\mathrm{H}\;(s, d)}^{\rm{IR}}(m, n)$、$ C_{{\mathrm{H}}\;(s, d)}^{\mathrm{VIS}}(m, n)$采用改进拉普拉斯能量和的融合规则以获取高频系数$ C_{{\rm{H}}\;(s, d)}^{{\rm{F}}} $;
5)通过式(11)~(13)将步骤3)与步骤4)中不同尺度融合后的低、高频系数进行DTCWT逆变换,完成融合图像重构,并将融合后的图像转回至RGB颜色空间。
2.1 低频子带融合规则
低频子带包含了源图像的多数灰度和轮廓信息,本文提出一种基于区域能量自适应加权(Region Energy Adaptive Weighted, REAW)的规则对低频子带分量进行融合。其中,$ C_{{{\rm{L}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ C_{{{\rm{L}}}\left( {s, d} \right)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像的低频系数,则融合后的低频系数为:
$$ C_{{{\rm{L}}}(s, d)}^{{\rm{F}}} = {k_1}C_{{{\rm{L}}}(s, d)}^{{{\rm{IR}}}} + {k_2}C_{{{\rm{L}}}(s, d)}^{{{\rm{VIS}}}} $$ (14) 式中:权重系数$ {k}_{1}{\rm{=}}{E}_{(s, d)}^{{\rm{IR}}}/({E}_{(s, d)}^{{\rm{IR}}}{\rm{+}}{E}_{(s, d)}^{{\rm{VIS}}}) $,$ {k}_{2}{\rm{=}}{E}_{(s, d)}^{{\rm{VIS}}}/({E}_{(s, d)}^{{\rm{IR}}}{\rm{+}}{E}_{(s, d)}^{{\rm{VIS}}}) $;k1、k2的和为1。$ E_{(s, d)}^{{\rm{i}}} $为红外与可见光在以点(m, n)为中心处的局部区域能量[17],本文局部窗口尺寸取值为3×3,窗口系数$ w = \left[ {\begin{array}{*{20}{c}} {1/16}&{1/8}&{1/16} \\ {1/8}&{1/4}&{1/8} \\ {1/16}&{1/8}&{1/16} \end{array}} \right] $,则局部区域能量计算公式为:
$$ E_{(s, d)}^i = \sum\limits_{{{\rm{d}}}m \in M}^{} {\sum\limits_{{{\rm{d}}}n \in N}^{} {w \times {{[C{{_{{\rm{L}}}^i}_{(s, d)}}(m + {{\rm{d}}}m, n + {{\rm{d}}}n)]}^2}} } $$ (15) 式中:i=IR或VIS;dm、dn分别为表示局部窗口内像素点相对于中心像素点横、纵方向上的位置偏移,通过式(15)计算出k1、k2系数值,从而计算出低频融合系数$ C_{L(s, d)}^{{\rm{F}}} $。
2.2 高频子带融合规则
高频子带一般代表图像的细节,如边缘、纹理等,而拉普拉斯能量和(Sum Modified Laplacian,SML)是一种表征图像边缘特征的参数,在一定程度上可以反映图像的清晰程度,SML的计算依赖于变步长拉普拉斯算子(Modified Laplacian,ML)。本文提出一种基于拉普拉斯能量和与梯度值向量的规则对不同尺度、方向下的高频子带进行融合。其中,$ C_{{{\rm{H}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ C_{{{\rm{H}}}(s, d)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像在点(m, n)处的高频系数;$ I_{{{\rm{H}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ I_{{{\rm{H}}}(s, d)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像在点(m, n)的亮度;s表示尺度值,d表示方向值。同样,局部窗口尺寸取值为3×3,则水平和垂直方向4个点权值贡献为1,4个对角点权值贡献为0.7,则在点(m, n)处第s尺度,d方向的ML(s, d)、总SML(s, d)详见式(16)、(17)。
$$\begin{aligned} \mathrm{ML}_{(s, d)}^{\mathrm{i}}=& \mid 2 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n)-\\ & C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n)|+| 2 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-\\ & C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n-1)-C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n+1) \mid+\\ & \mid 1.4 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n-1)-\\ & 0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n+1)|+| 1.4 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-\\ & 0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n-1)-0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n+1) \mid \end{aligned}$$ (16) $$ {{\rm{SML}}}_{(s, d)}^{{\rm{i}}} = {\sum\limits_{m{{\rm{ = }}}0}^M {\sum\limits_{n{{\rm{ = }}}0}^N {[{{\rm{ML}}}_{(s, d)}^{{\rm{i}}}]} } ^2} $$ (17) SML值越大反映出该点的细节信息越丰富,同时该点的梯度值越大则表明该点极有可能为边缘轮廓,因此本文在计算出SML(s, d)后,引入梯度值$G_{\mathrm{H}(s, d)}^{\mathrm{i}}$,对不同的高频子带采用不同的策略以提升高频子带的融合精度[18],则融合后的高频系数如式(18)所示,其中,k(m, n)计算方法见式(19)。
$$C_{{\mathrm{H}}(s, d)}^{{\mathrm{F}}}=\left\{\begin{array}{l} C_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}(m, n), G_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}} \geq G_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}} \;{\text { and }}\; {\mathrm{SML}}_{(s, d)}^{{\mathrm{IR}}} \geq {\mathrm{SML}}_{(s, d)}^{{\mathrm{VIS}}} \\ C_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}}(m, n), G_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}<G_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}} \;{\text { and }}\; {\mathrm{SML}}_{(s, d)}^{{\mathrm{IR}}}<{\mathrm{SML}}_{(s, d)}^{{\mathrm{VIS}}} \\ C_{(s, d)}^{{\mathrm{F}}}=k(m, n) C_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}(m, n)+[1-k(m, n)]^{2} C_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}}(m, n), {\text { else }} \end{array}\right.$$ (18) $$ k(m, n){{\rm{ = }}}\left| {\frac{{G_{H(s, d)}^{{{\rm{IR}}}} \times {{\rm{SML}}}{{_H^{{{\rm{IR}}}}}_{(s, d)}}}}{{G_{H(s, d)}^{{{\rm{IR}}}} \times {{\rm{SML}}}{{_H^{{{\rm{IR}}}}}_{(s, d)}} + G_{H(s, d)}^{{{\rm{VIS}}}} \times {{\rm{SML}}}_{H(s, d)}^{{{\rm{VIS}}}}}}} \right| $$ (19) $$G_{H(s, d)}^{\mathrm{i}}=\sqrt{\nabla x I_{H(s, d)}^{\mathrm{i}}(m, n)^{2}+\nabla y I_{H(s, d)}^{\mathrm{i}}(m, n)^{2}}$$ (20) 式(20)中:∇x与∇y分别表示像素$I_{H(s, d)}^{\mathrm{i}}$在横纵两个方向上的一阶差分,则图像边缘轮廓细节的融合系数采用式(18)中前2行,图像的纹理信息的融合系数采用式(18)中第3行。最后,将融合后的低、高频系数$ C_{{{\rm{L}}}(s, d)}^{{\rm{F}}} $与$ C_{{{\rm{H}}}(s, d)}^{{\rm{F}}} $通过DTCWT及颜色空间逆变换,完成融合图像重构。
3. 实验结果与分析
为了验证本文算法的有效性和准确性,将本文算法与Weighted Least Square(WLS)[19],Infrared Feature Extraction and Visual Information Preservation(IFEVIP)[20],Mis-registration(MISREG)[21]共4种方法进行比较分析,各方法的参数设置与原文献中保持一致。本文运行环境为:Windows10操作系统,Intel-i5-0400,16 G内存,CPU主频3.8 GHz;实验仿真采用Matlab 2016a平台,所有图像尺寸为768×576,其中DTCWT分解层数为4层,每层高频子带分解方向为±15°、±45°以及±75°共6个方向,Q-shift滤波器组长度为18,对应的滤波器组详见表 1,低频子带通过基于区域能量自适应加权的方法进行融合,高频子带利用基于拉普拉斯和与梯度值向量的方法进行融合。分别通过主观视觉与客观指标两种评价方法对融合结果进行比较分析。
表 1 Q-shift滤波器组Table 1. Q-shift filter banksTree A Tree B Real part filters Imaginary part filters Real part filters Imaginary part filters Lo1 Hi1 Lo1 Hi1 Loq Hiq Loq Hiq -0.0023 0.0024 0.0024 0.0023 0.0024 0.0023 -0.0023 0.0024 0.0012 -0.0013 0.0013 0.0012 0.0013 0.0012 0.0012 -0.0013 -0.0118 -0.0026 -0.0026 0.0118 -0.0026 0.0118 -0.0118 -0.0026 0.0013 0.0066 -0.0066 0.0013 -0.0066 0.0013 0.0013 0.0066 0.0444 0.0315 0.0315 -0.0444 0.0315 -0.0444 0.0444 0.0315 -0.0533 -0.0182 0.0182 -0.0533 0.0182 -0.0533 -0.0533 -0.0182 -0.1133 -0.1202 -0.1202 0.1133 -0.1202 0.1133 -0.1133 -0.1202 0.2809 -0.0246 0.0246 0.2809 0.0246 0.2809 0.2809 -0.0246 0.7528 0.5658 0.5658 -0.7528 0.5658 -0.7528 0.7528 0.5658 0.5658 -0.7528 0.7528 0.5658 0.7528 0.5658 0.5658 -0.7528 0.0246 0.2809 0.2809 -0.0246 0.2809 -0.0246 0.0246 0.2809 -0.1202 0.1133 -0.1133 -0.1202 -0.1133 -0.1202 -0.1202 0.1133 0.0182 -0.0533 -0.0533 -0.0182 -0.0533 -0.0182 0.0182 -0.0533 0.0315 -0.0444 0.0444 0.0315 0.0444 0.0315 0.0315 -0.0444 -0.0066 0.0013 0.0013 0.0066 0.0013 0.0066 -0.0066 0.00134 -0.0026 0.0118 -0.0118 -0.0026 -0.0118 -0.0026 -0.0026 0.0118 0.0013 0.0012 0.0012 -0.0013 0.0012 -0.0013 0.0013 0.0012 3.1 主观视觉评价分析
源图像均选自不同室外环境,考虑到篇幅原因,本文仅列举4种同一场景的红外与弱可见光图像以验证算法的适用性。图 5(a)中场景一为野外输电线路塔(背景单一,目标单一);图 5(b)中场景二为树丛中隐藏的人(背景复杂,目标单一);图 5(c)中场景三为广场中的人群(背景较单一,目标复杂);图 5(d)中场景四为岸边游船(背景复杂,目标复杂)[22]。场景一、四为黄昏条件下拍摄,场景二、三为夜晚条件下拍摄。每组场景中的左侧为红外图像,具有明显的目标信息;右侧对应为弱可见光图像,具有丰富的细节信息。不同场景源图像具有不同的清晰度、对比度、目标强度以及拍摄时刻。
不同场景中运用不同算法的具体对比实验结果如图 6(a)~(b)所示,其中每行由左至右所对应的算法分别为:本文算法、WLS、IFEVIP、MISREG。
通过视觉观察可以发现,图 6(a)中,IFEVIP法的整体亮度偏高,不适于观察;MISREG算法中丢失了背景天空云朵纹理信息,右上角受到噪声干扰较大;WLS方法存在目标不够突出,对比度偏低、目标湮没于背景中的问题。本文方法对框中所示区域中的背景云朵纹理细节信息有较好的展示,目标输电线路塔的热信息与纹理清晰、突出,信息量丰富。
图 6(b)中,IFEVIP方法整体亮度偏暗,目标亮度偏暗,树叶纹理信息相对粗糙;MISREG法较好地体现了红外人物热目标信息,但丢失了右侧楼梯框中所示区域的夜天光投影信息,并且左侧树丛细节信息被平滑,纹理不清晰;WLS方法目标与背景对比度低,背景中树丛与楼梯部分区域模糊。本文算法红外人物热目标突出,背景树丛及阶梯细节清晰,有利于人员观察分析。
图 6(c)中,IFEVIP法整体对比度低,过度平滑导致建筑的边缘模糊,很多小尺度细节受到抑制;MISREG法对框中灯光区域存在过渡曝光,丢失了可见光图像环形区域中内外边缘细节;WLS法整体亮度、对比度偏低,背景偏暗,尤其是目标人物不够突出。本文方法融合细节结果更加清晰,对建筑的凸凹线条及其上面的灯光照明等小细节保留较好,图像对比度适宜。
图 6(d)中,IFEVIP法整体亮度尤其是船体亮度较高,热目标与船体对比度低,细节丢失,融合图像右侧船头处平滑过大导致纹理不清晰,船体顶部存在伪影;WLS法对比度最低,无法区分出船上的热目标信息,对目标的进一步分析带来困难;WLS法整体亮度偏暗,热目标与船体几乎混淆,如船上悬挂的救生圈无法清晰显示。本文算法整体对比度适宜,对纹理、边缘的细节刻画较好。
3.2 客观指标评价分析
由于主观视觉的定性评价结果有时候易受到视力水平、精神状况、疲惫程度、设备显示等因素的干扰[23],为了更加客观地比较各个融合结果的有效性,本文引入8类典型的客观指标评价对融合结果进行定量评估,分别为:均方根误差(Root Mean Square Error,RMSE)、百分比拟合误差(Percentage Fitting Error,PFE)、平均绝对误差(Mean Absolute Error,MAE)、相关系数(Correlation Coefficient,CORR)、信噪比(Signal to Noise Ratio,SNR)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)、互信息(Mutual Information,MI)、结构相似性(Structural Similarity,SSIM)。
现仅列举其中几项指标予以详细说明:
1)CORR相关系数反映出图像的失真度,正常情况下值越大,图像融合质量越好,与源图像相关性大,其定义如下:
$$ {{\rm{CORR}}}(X, Y) = \frac{{{\sigma _{XY}}}}{{\sqrt {{\sigma _X}{\sigma _Y}} }} $$ (21) 式中:σX、σY分别表示源图像和融合图像的方差;σXY表示源图像和融合图像的协方差。
2)PSNR为图像信噪比变化平均统计,用来衡量图像失真程度,PSNR值越大,图像质量越好,其定义如下:
$$ {{\rm{PSNR}}} = 10\lg \frac{{({{\rm{Max\_sig}}})}}{{{{\rm{MSE}}}}} $$ (22) $$ {{\rm{MSE}}} = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{{(f(i, j) - {f_0}(i, j))}^2}} } $$ (23) 式中:Max_sig为信号极大值;MSE为均方误差;M×N为图像尺寸;f(i, j)为源图像;f0(i, j)为融合图像。
3)SSIM分别从亮度、对比度、结构3方面衡量图像相似性,SSIM越大表示图像失真越小,其定义如下:
$$ {\rm{SSIM}}(X, Y)=l(X, Y)^{*} c(X, Y)^{*} s(X, Y) $$ (24) 式中:$ l(X, Y) = \frac{{2{\mu _X}{\mu _Y} + {C_1}}}{{\mu _X^2 + \mu _Y^2 + {C_1}}} $,$c(X, Y) = \frac{{2{\sigma _X}{\sigma _Y} + {C_2}}}{{\sigma _X^2 + \sigma _Y^2 + {C_2}}} {\rm{,}} s(X, Y) = \frac{{{\sigma _{XY}} + {C_3}}}{{{\sigma _X}{\sigma _Y} + {C_3}}} 。$
式中:μX、μY分别表示标准图像和融合图像的均值;C1、C2、C3均为常数,其取值范围为0至1。
为了更形象地体现各算法所对应的客观指标,将指标值进行量化。图 7为在不同场景下验证本文算法、WLS、IFEVIP与MISREG方法得到归一化的客观评价指标柱状图,其中,RMSE、PFE、MAE越小越好,其余5项指标越大融合效果越好。可以明显地观察到本文算法的融合效果在8类客观评价指标中均得到了较好的体现。
表 2给出了图 7中不同融合算法在不同场景下的8类客观评价指标的总体融合质量排序(取不同场景客观指标平均值),虽然在个别参数指标(MAE)未取得最优值,但差距很小,可以看出本文所提的方法的客观指标总体上优于其他3种方法,证明本文所提方法可以获得更丰富的细节信息,具有更好的抗噪能力,从源图像继承更多的有用信息,适应于不同场景的图像融合。另外,倒数第二行为不同观测对象(样本数为30人)对不同方法融合质量的主观评价均值,视觉效果整体上与客观指标相符,最后一行显示本文算法执行时间较短,满足实时性要求,也可证明本文所提方法的优越性。
表 2 融合质量客观指标总体评价Table 2. Overall objective evaluation indicators of different fusion methodsEvaluation
indicatorsFusion algorithms Ours WLS IFE
VIPMISREG RMSE 1 2 4 3 PFE 1 2 4 3 MAE 2 1 4 3 CORR 1 2 4 3 SNR 1 2 4 3 PSNR 1 2 4 3 MI 1 4 2 3 SSIM 1 2 4 3 Objective general evaluation 1 2 4 3 Subjective general evaluation 1 2 3 4 Execution time(s) 2.1621 6.213 0.527 8.267 4. 总结
本文提出一种基于PUCS和DTCWT的红外与弱可见光图像融合算法。首先将两种异源图像从RGB空间转换到感知一致性空间获取新的亮度分量,以获得亮度信息与人眼的视觉特性更一致的图像,并将其作为后续DTCWT的输入。通过基于区域能量自适应加权规则融合低频子带,利用拉普拉斯能量和与梯度值向量的规则融合高频子带。为验证本文算法的有效性,选择在不同清晰度、对比度、目标强度以及拍摄时刻的红外与弱可见光图像对所提算法及其他3种典型算法进行主、客观评价。实验分析表明,本文融合算法相较于WLS,IFEVIP,MISREG方法而言,更适用于不同场景的红外与弱可见光融合,保留了更多的目标、纹理和边缘信息,目标突出且背景信息丰富,可以取得更好的视觉效果,有利于后续进一步识别、分析和处理。同时在8种客观评价指标上也取得了较好的结果,主客观评价基本一致。在时间消耗上,本文方法运行时间适中,在保证较高融合质量的前提下,也可满足实时性要求。
-
表 1 多种模型测试数据表
Table 1 Test data table of various models
Model Categories Accuracy IoU MIoU DeepLabv3+(ResNet50) CT 0.86 0.77 0.855 Background 0.95 0.94 DeepLabv3+(ResNet18) CT 0.81 0.72 0.81 Background 0.92 0.90 SegNet CT 0.67 0.44 0.615 Background 0.86 0.79 FCN-8s CT 0.75 0.63 0.74 Background 0.89 0.85 表 2 基于ResNet50的DeepLabv3+模型加入后处理前后测试对比
Table 2 Comparison of tests before and after the addition of the DeepLabv3+ model based on ResNet50
Model Categories Accuracy IoU MIoU DeepLabv3+(ResNet50) CT 0.86 0.77 0.855 Background 0.95 0.94 Our algorithm CT 0.87 0.79 0.875 Background 0.97 0.96 -
[1] 王小芳, 毛华敏. 一种复杂背景下的电力设备红外图像分割方法[J]. 红外技术, 2019, 41(12): 1111-1116. http://hwjs.nvir.cn/article/id/hwjs201912004 WANG Xiaofang, MAO Huamin. Infrared Image Segmentation Method for Power Equipment in Complex Background[J]. Infrared Technology, 2019, 41(12): 1111-1116. http://hwjs.nvir.cn/article/id/hwjs201912004
[2] GONG X, YAO Q, WANG M, et al. A deep learning approach for oriented electrical equipment detection in thermal images[J]. IEEE Access, 2018: 1-1. Doi: 10.1109/ACCESS.2018.2859048.
[3] 康龙. 基于红外图像处理的变电站设备故障诊断[D]. 北京: 华北电力大学, 2016. KANG Long. Substation equipment fault diagnosis based on infrared image processing[D]. Beijing: North China Electric Power University, 2016.
[4] 曾亮. 基于红外图像的变电站设备故障精准定位方法的研究[D]. 重庆: 重庆理工大学, 2019. ZENG Liang. Research on precise fault location method of substation equipment based on infrared image[D]. Chongqing: Chongqing University of Technology, 2019.
[5] ZOU H, HUANG F. A novel intelligent fault diagnosis method for electrical equipment using infrared thermography[J]. Infrared Physics & Technology, 2015, 73: 29-35. http://www.onacademic.com/detail/journal_1000038244612810_35a3.html
[6] 王旭红, 李浩, 樊绍胜, 等. 基于改进SSD的电力设备红外图像异常自动检测方法[J]. 电工技术学报, 2020, 35(S1): 302-310. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS2020S1034.htm WANG Xuhong, LI Hao, FAN Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-310. https://www.cnki.com.cn/Article/CJFDTOTAL-DGJS2020S1034.htm
[7] 林颖, 郭志红, 陈玉峰. 基于卷积递归网络的电流互感器红外故障图像诊断[J]. 电力系统保护与控制, 2015, 43(16): 87-94. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW201516013.htm LIN Ying, GUO Zhihong, CHEN Yufeng. Convolutional-recursive network based current transformer infrared fault image diagnosis[J]. Power System Protection and Control, 2015, 43(16): 87-94. https://www.cnki.com.cn/Article/CJFDTOTAL-JDQW201516013.htm
[8] 刘云鹏, 裴少通, 武建华, 等. 基于深度学习的输变电设备异常发热点红外图片目标检测方法[J]. 南方电网技术, 2019, 13(2): 27-33. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201902006.htm LIU Yunpeng, PEI Shaotong, WU Jianhua, et al. Deep learning based target detection method for abnormal hot spots infraredimages of transmission and transformation equipment[J]. Southern Power System Technology, 2019, 13(2): 27-33. https://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201902006.htm
[9] 王晨. 基于深度学习的红外图像语义分割技术研究[D]. 上海: 中国科学院大学(中国科学院上海技术物理研究所), 2017. WANG Chen. Research on infrared image semantic segmentation technology based on deep learning[D]. Shanghai: University of Chinese Academy of Sciences (Shanghai Institute of Technical Physics, Chinese Academy of Sciences), 2017.
[10] 邝辉宇, 吴俊君. 基于深度学习的图像语义分割技术研究综述[J]. 计算机工程与应用, 2019, 55(19): 12-21, 42. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201919003.htm KUANG Huiyu, WU Junjun. Survey of image semantic segmentation based on deep learning[J]. Computer Engineering and Applications, 2019, 55(19): 12-21, 42. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201919003.htm
[11] LONG J, Shelhamer E, Darrell T. Fully convolutional net-works for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.
[12] 袁铭阳, 黄宏博, 周长胜. 全监督学习的图像语义分割方法研究进展[J]. 计算机工程与应用, 2021, 57(4): 43-54. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202104007.htm YUAN Mingyang, HUANG Hongbo, ZHOU Changsheng. Research progress of image semantic segmentation based on fully supervised learning[J]. Computer Engineering and Applications, 2021, 57(4): 43-54. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202104007.htm
[13] Badrinarayanan V, Kendall A, Cipolla R. SegNet: a deep convolutional encoder-decoder architecture for image segmentation[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495, DOI: 10.1109/TPAMI.2016.2644615.
[14] Garcia-Garcia A, Orts-Escolano S, Oprea S, et al. A review on deep learning techniques applied to semantic segmentation[J/OL]. Computer Vision and Pattern Recognition, 2017. https://arxiv.org/abs/1704.06857.
[15] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[J/OL]. Computer Vision and Pattern Recognition, 2016. https://arxiv.org/abs/1602.07261.
[16] CHEN L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848. DOI: 10.1109/TPAMI.2017.2699184
[17] 刘致驿, 孙韶媛, 任正云, 等. 基于改进DeepLabv3+的无人车夜间红外图像语义分割[J]. 应用光学, 2020, 41(1): 180-185. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202001031.htm LIU Zhiyi, SUN Shaoyuan, REN Zhengyun, et al. Semantic segmentation of nocturnal infrared images of unmannedvehicles based on improved DeepLabv3+[J]. Journal of Applied Optics, 2020, 41(1): 180-185. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202001031.htm
[18] 于天河, 赵树梅, 兰朝凤. 结合视觉特性的红外图像增强方法[J]. 激光与红外, 2020, 50(1): 124-128. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202001024.htm YU Tianhe, ZHAO Shumei, LAN Chaofeng. Infrared image enhancement method combining visual characteristics[J]. Laser & Infrared, 2020, 50(1): 124-128. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202001024.htm
[19] Zuiderveld Karel. Contrast Limited Adaptive Histograph Equalization[J]. Graphic Gems IV. San Diego: Academic Press Professional, 1994: 474-485. DOI: 10.1016/B978-0-12-336156-1.50061-6.
[20] WONG S C, Gatt A, Stamatescu V, et al. Understanding data augmentation for classification: when to warp?[C/OL]//International Conference on Digital Image Computing: Techniques and Applications (DICTA). IEEE, 2016. https://arxiv.org/pdf/1609.08764.pdf.
[21] Csurka G, Larlus D, Perronnin F. What is a good evaluation measure for semantic segmentation?[C/OL]//BMVC, 2013. http://www.bmva.org/bmvc/2013/Papers/paper0032/abstract0032.pdf.
-
期刊类型引用(5)
1. 毕淳锴,张远辉,付铎. 基于多视角热像图序列的物体表面温度场重建. 计量学报. 2024(07): 997-1006 . 百度学术
2. 郑叶龙,李长勇,夏宁宁,李玲一,张国民,赵美蓉. 基于“十字”标志物的红外图像与三维点云融合方法. 天津大学学报(自然科学与工程技术版). 2024(10): 1090-1099 . 百度学术
3. 倪成玉,张远辉,朱俊江,付铎. 热像仪下基于几何约束的空间温度场重建. 光电工程. 2024(11): 60-73 . 百度学术
4. 齐恩铁,姜春雨,赵立英,孙海峰. 基于红外边界约束的点云目标识别系统. 激光与红外. 2024(12): 1894-1899 . 百度学术
5. 王洁,伍弘,詹仲强,李金良,金铭,陈文涛. 基于Lazy Snapping混合模拟退火算法的高压开关柜温度场红外三维图像重建仿真. 红外技术. 2023(03): 276-281 . 本站查看
其他类型引用(2)