Local Fusion Algorithm of Infrared and Visible Light Images Based on Double-Branch Convolutional Neural Network
-
摘要: 红外图像和可见光图像均存在一定的局限性，依靠单个种类图像无法满足工程实际需求，可通过引入图像融合技术，获取高质量的融合图像。为更好保障输出信息特征的多样性，本文引入一种双分支卷积神经网络实现红外与可见光图像局部融合；在双分支卷积神经网络基础上，同时从红外图像、可见光图像得到跨渠道信息、渠道内信息种特征，增加了融合图像的信息量。采用整数小波变换方法进行图像压缩。建立颜色空间模型时，合理调节t因子的数值，获得理想的融合图像。实验结果表明，与现有方法相比，本方法融合后图像边缘信息得到充分保留，图像细节得到增强，红外与可见光图像融合效果更好。Abstract: Both infrared and visible images have certain limitations, and relying on individual types of images cannot meet the practical needs of engineering. Instead, high-quality fused images can be obtained by introducing image fusion techniques. To better guarantee the diversity of the output information features, this study introduces a dual-branch convolutional neural network to achieve local fusion of infrared and visible images. Based on the dual-branch convolutional neural network, red and blue features are obtained from infrared images and visible light images simultaneously, thereby increasing the amount of information in the fusion image. The integer wavelet transform method is used for image compression. When the color-space model is built, the value of the t-factor is adjusted to obtain an ideal fusion image. The experimental results show that the edge information of the image after the fusion of this method is fully preserved, image detail information is enhanced, and fusion effect of infrared and visible images is improved, compared with the existing methods.
-
0. 引言
利用红外技术监测运行中的电气设备，对保障电力系统正常运行具有重大意义。但由于电气设备运行环境较为复杂，使得监测过程中所获取的红外图像存在背景复杂的问题，从而会增加故障电气设备的图像分割难度，降低获取故障电气设备的准确性[1-2]。并且，故障电气设备红外图像分割质量的好坏，对故障状态的深入诊断等后续工作有直接影响。因此，针对复杂背景下故障电气设备的红外图像分割处理方法，是电气设备动态监测领域的难题[3-6]。目前，电气设备的红外图像分割处理方法主要分为以下3类：
1）故障区域分割方法主要利用故障区域温度较高，呈高亮度的特点进行分割。文献[7]利用OTSU算法去除大量背景，并结合故障区域的特点改进区域生长法，完成对电气设备多处故障区域的分割。文献[8]结合SLIC算法的标签功能，通过计算超像素块内均值，结合故障区域的特点完成对故障区域的分割。
2）设备整体分割方法主要利用电气设备红外图像的灰度值离散性、近似性和边缘特征等进行分割。一般先获取图像中的目标设备，再对目标设备状态进行诊断。文献[9]通过切比雪夫距离改进K-means聚类算法，然后结合二维最大熵算法实现对电气设备的整体分割。文献[10]将快速模糊C均值算法与NSCT的随机游走算法结合，完成对电气设备的整体分割。
3）红外图像三区域分割方法主要利用多重阈值，将图像分割为背景区域、故障区域、电气设备正常运行区域3个部分，再对分割后的各区域进行分析。文献[11]将遗传算法和灰度直方图的FCM算法相结合，并对目标函数进行改进，完成对图像三区域的分割。文献[12]通过改进K-means算法，根据密度阈值不断调整聚类中心，实现对图像三区域的分割。
故障区域的分割，将诊断范围缩小为带故障的感兴趣区域，不利于结合设备种类进行精确的故障诊断，只适合于带故障设备的进一步诊断。而对设备进行整体分割或三区域分割可以结合设备种类、温度关系等方面对故障进行精确诊断。但在实际电气设备红外监测过程中，所获取的电气设备红外图像存在背景复杂的问题，即相似电气设备、钢架、电线等干扰，导致对图像中故障电气设备的整体分割比较困难。
针对上述电气设备红外图像存在背景复杂的问题，本文提出一种结合SLIC超像素分割算法、Otsu算法及区域生长法（Region Growing）的复合分割算法。首先，利用SLIC超像素[13-14]分割算法对图像进行分割，完成Lab颜色空间转换，根据阈值判断是否存在故障并获取故障区域。然后，处理包含故障的红外图像，选取其最大联通量中较亮点作为初始种子，通过Otsu原理控制种子数目，改进区域生长法，提取图像中的目标主体设备。最后，将故障区域与目标主体设备进行阈值比较分析，最终完成在复杂背景下对故障电气设备的整体分割。
1. 相关理论
1.1 SLIC算法
超像素[15]指在颜色、亮度等方面具有一定相似性的不规则小区域。相对于Mean-shift、Normalized cuts等超像素分割算法，SLIC超像素分割算法计算简单且效率较高，生成的超像素块较紧凑、目标轮廓信息较清晰。
SLIC算法将图像从RGB颜色空间转换为Lab颜色空间。其中Lab颜色空间由L（亮度）、a（红色到绿色）、b（黄色到蓝色）三元素构成。SLIC算法将每个像素点的颜色值(L, a, b)和坐标位置(x, y)组成特征空间[L, a, b, x, y]，然后计算像素的颜色空间和位置空间的向量距离，对图像的像素进行聚类[16]。SLIC算法先将大小为N的图像分为K个面积为N/K的正方形，初始K个种子均匀分布在正方形中心并设置相应的标签，根据公式(1)计算相邻种子距离S。然后根据公式(2)~(4)计算像素点到聚类中心的距离判定像素标签。
$$ S = \sqrt {N/K} $$ (1) $$ {d_{\text{c}}} = \sqrt {{{\left( {{l_j} - {l_i}} \right)}^2} + {{\left( {{a_j} - {a_i}} \right)}^2} + {{\left( {{b_j} - {b_i}} \right)}^2}} $$ (2) $$ {d_{\text{s}}} = \sqrt {{{\left( {{x_j} - {x_i}} \right)}^2} + {{\left( {{y_j} - {y_i}} \right)}^2}} $$ (3) $$ D = \sqrt {{{\left( {\frac{{{d_{\text{c}}}}}{{{N_{\text{c}}}}}} \right)}^2} + {{\left( {\frac{{{d_{\text{s}}}}}{{{N_{\text{s}}}}}} \right)}^2}} = \sqrt {{{\left( {\frac{{{d_{\text{c}}}}}{m}} \right)}^2} + {{\left( {\frac{{{d_{\text{s}}}}}{S}} \right)}^2}} $$ (4) 式(2)~(4)中：dc、ds分别为像素j到聚类中心i的颜色距离和空间距离。Nc为最大颜色距离，一般采用常数m代替，m∈[0, 40]。Ns为内类最大空间距离，Ns＝S。D为像素点j与聚类中心i的相似度。
根据公式(2)~(4)，计算出每个聚类中心的2S×2S邻域内像素点与聚类中心的距离，并根据最大相似度原则，将像素与聚类中心进行标签分类。对上述过程进行多次迭代，直至最大迭代量或像素聚类标签不再变化。一般大约迭代10次后即完成聚类分割。最后，利用超像素区域的连通性，将分割面积过小、孤立点等区域与相邻区域，按照相距距离最小进行合并，以提高分割区域的连通性并完成图像超像素分割。
1.2 区域生长算法
区域生长算法由Zucker提出[17]。该算法通过在图像中选取像素点作为生长点，然后根据最大相似生长准则将待评判像素与种子点进行比较，不断生长合并，直至生长结束，完成对目标对象的分割[18]。该算法基本原理如下：
假设图像大小为M×N，坐标(i, j)处像素点的灰度值为G(i, j)。Fij为像素的标记，Fij＝1, 0分别表示像素点(i, j)已判定属于生长区域或者不属于生长区域。则设定的生长规则定义如下：
$$\left\{\begin{array}{l} S(G(i, j), G(i, j-1))<T \quad(0 \leq i \leq M, 0 \leq j \leq N) \\ F_{i, j-1}=0 \end{array}\right. $$ (5) 式中：T表示相似度的判断阈值。若像素点(i, j－1)满足上述公式(5)，则将像素标记Fi, j-1＝1，并将像素点(i, j－1)作为新的种子，对其邻域再次进行判断并标记。
区域生长算法简单高效，能依据像素相似特征进行合并分割。但该算法分割结果对于种子的选取、生长准则和生长停止条件的设定具有极大的依赖性[19]。同时，传统的区域生长算法用于电气设备的故障检测，需要手动选定种子，不能达到故障自动定位的要求。因此，需要根据分割对象的特点对传统区域生长算法进行改进，以达到分割要求。
1.3 Otsu算法
Otsu算法由日本学者大津在1979年提出，又称类间最大方差法[20]。该算法通过遍历灰度等级将图像分割为目标和背景两个部分，然后计算两部分的类间方差，类间方差最大时所对应的阈值即为最佳分割阈值。其原理如下：
假设图像的灰度等级为[0, L－1]，其中灰度等级为i像素有ni，且i∈[0, L－1]，则像素总数为：
$$ N = \sum\limits_{i = 0}^{L - 1} {{n_i}} $$ (6) 每个灰度等级的概率为：
$$ {p_i} = \frac{{{n_i}}}{N} $$ (7) 当阈值T将图像分为S1和S2两部分时，区域S1和S2的概率分别为P1、P2，即：
$$ {P_1} = \sum\limits_{i = 0}^{T - 1} {{p_i}} $$ (8) $$ {P_2} = \sum\limits_{i = T}^{L - 1} {{p_i}} = {\text{1}} - {P_1} $$ (9) 区域S1和S2的平均灰度分别为μ1、μ2，即：
$$ {\mu _{\text{1}}} = \frac{{\text{1}}}{{{P_1}}}\sum\limits_{i = 0}^{T - 1} {i{p_i}} = \frac{{\mu \left( T \right)}}{{{P_{\text{1}}}}} $$ (10) $$ {\mu _{\text{2}}} = \frac{{\text{1}}}{{{P_2}}}\sum\limits_{i = T}^{L - 1} {i{p_i}} = \frac{{\mu - \mu \left( T \right)}}{{1 - {P_{\text{1}}}}} $$ (11) 上述两式中，μ(T)表示灰度等级为T时的灰度累计值；μ为整幅图的平均灰度值，即：
$$ \mu \left( T \right) = \sum\limits_{i = 0}^{T - 1} {i{p_i}} $$ (12) $$ \mu = \sum\limits_{i = 0}^{L - 1} {i{p_i}} = {P_1}{\mu _1} + {P_2}{\mu _2} $$ (13) 则阈值T对应两区域S1, 2的类间方差为：
$$ \begin{gathered} {\sigma ^2} = {P_1}{\left( {{\mu _1} - \mu } \right)^2} + {P_2}{\left( {{\mu _2} - \mu } \right)^2} \hfill \\ {\text{ }} = {P_1}{P_2}{\left( {{\mu _1} - {\mu _2}} \right)^2} \hfill \\ \end{gathered} $$ (14) 当类间方差σ2最大时，对应的阈值T为最佳阈值，此时分割效果最好，背景与目标相差最大。
2. 本文算法
本文提出的在复杂背景下的故障电气设备整体分割算法，首先通过SLIC超像素预分割，并将超像素块转换为Lab颜色空间，利用设备故障区域的红外图像呈黄色接近白色的特点，对Lab颜色空间的三分量进行阈值分析，判定是否存在故障并完成故障区域分割。然后，再对包含故障的红外图像进行处理。针对电气设备的复杂背景，改进区域生长算法，选取最大联通量中较亮点作为区域生长的种子；利用OTSU原理控制种子数目，结合双阈值判定规则改进区域生长法，分割出图像中的目标主体设备。最后，将分割的故障区域和目标主体设备进行交集运算，并与阈值进行比较，从而完成在复杂背景下对故障电气设备的判断和整体分割。
2.1 基于SLIC算法的故障区域分割
根据故障电气设备红外图像的特点，本文通过SLIC超像素分割将红外图像中温度相似的像素区域进行合并，然后转换为Lab颜色空间，设定相应阈值，判断是否存在故障并完成对故障区域的分割。
红外图像通过伪彩色显示为RGB颜色空间，电气设备故障区域的颜色主要呈黄色接近白色，其中在RGB颜色空间中黄色分量的特点为R≈G≥B，白色分量的特点为R≈G≈B≈255。Lab颜色空间可以通过RGB颜色空间值进行转换，转换公式为(15)~(19)。
$$ \begin{gathered} R' = {\text{gamma}}\left( {\frac{R}{{255}}} \right) \hfill \\ G' = {\text{gamma}}\left( {\frac{G}{{255}}} \right) \hfill \\ B' = {\text{gamma}}\left( {\frac{B}{{255}}} \right) \hfill \\ \end{gathered} $$ (15) $$ {\text{gamma}}\left( x \right)\left\{ {\begin{array}{*{20}{c}} {{{\left( {\frac{{x + 0.055}}{{1.055}}} \right)}^{^{2.4}}}}&{x > 0.04045} \\ {\frac{x}{{12.92}}}&{{\text{ otherwise}}} \end{array}} \right. $$ (16) $$ \left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {0.4124}&{0.3576}&{0.1805} \\ {0.2126}&{0.7125}&{0.0722} \\ {0.0193}&{0.1192}&{0.9505} \end{array}} \right]*\left[ {\begin{array}{*{20}{c}} R \\ G \\ B \end{array}} \right] $$ (17) $$ \begin{gathered} L = 116f\left( {Y/{Y_n}} \right) - 16 \hfill \\ a = 500\left[ {f\left( {X/{X_n}} \right) - f\left( {Y/{Y_n}} \right)} \right] \hfill \\ b = 500\left[ {f\left( {Y/{Y_n}} \right) - f\left( {Z/{Z_n}} \right)} \right] \hfill \\ \end{gathered} $$ (18) $$f(t)= \begin{cases}t^{\frac{1}{3}} & t>\left(\frac{6}{29}\right)^3 \\ \frac{1}{3}\left(\frac{29}{6}\right)^2 t+\frac{4}{29} & \text { otherwise }\end{cases}$$ (19) 公式(18)中，Xn＝0.95047，Yn＝1.0，Zn＝1.08883。
算法步骤如下：
1）初始化聚类中心Ck＝[lk, ak, bk, xk, yk]，将聚类中心以距离S均匀分配于图像中，并对中心3×3邻域的梯度进行计算，将中心移到梯度最小的位置。
2）通过计算聚类中心2S×2S邻域的相似度，对像素点进行标记，更新聚类中心。
3）对分割聚类后的超像素块进行处理，计算出像素块的平均值，并根据转换公式计算出L、a、b的值。通过设置阈值，当L、a、b满足75＜L＜100，－10＜a＜100，1＜b＜30时，R＝G＝B＝0，判断是否存在故障并分割出设备的故障区域。算法流程图如图 1所示。
![]()
图 1 基于SLIC故障区域分割算法流程图Figure 1. Flow chart for fault region segmentation based on SLIC algorithm2.2 复杂背景下故障电气设备分割
电气设备红外图像中的复杂背景增加了故障电气设备的分割难度。实际分割过程中，充分考虑到分割的目标电气设备具有分布相对集中、所占分配比较大，设备温度明显高于环境温度等特点，对区域生长法进行改进，选择最大联通量中亮度较大的k个像素点作为种子，根据OTSU原理控制种子数k，并设置双阈值生长准则，实现对图像中目标主体设备的分割。
1）种子点的获取
由于故障设备分割质量的好坏会直接影响后续对故障的诊断效果。又因为目标电气设备应处于图像中心且在图像中相对于背景呈现高亮的特点，因此本文采用图像最大联通量中亮度较大的k个点作为区域生长的种子。
利用3×3的矩阵遍历图像中最大联通量，计算矩阵内像素均值。通过公式(20)计算点(x, y)处的3×3邻域内像素均值g(x, y)。选取均值较大的k个点，即较亮点，作为生长种子。利用均值可以避免图像中出现多个同样亮度点时给分割带来的干扰。然后采用类间方差σ2作为衡量图像分割效果的判定条件。避免种子数过少或者过多时，造成的欠分割或过分割现象。本文通过设置双阈值作为生长规则，选取类间方差最大时对应的种子数即为最佳种子数k。选取最佳种子数k的具体过程为：首先根据公式(20)将图像最大联通量中均值最大的点即最亮点作为种子，根据生长规则进行生长，直到最后没有满足生长规则的像素可被合并进来为止。并计算分割后目标区域与背景两部分的类间方差。然后选取图像最大联通量中次亮点，并根据已生长的标记，排除已生长区域中的次亮点作为种子，再次进行生长。每次种子完成生长后，计算分割后目标区域与背景两部分的类间方差，对比上次生长后的类间方差，判断是否再次选择种子进行生长。若本次的类间方差大于上次生长后的类间方差，则继续寻找下一个较亮点进行生长，直至找到类间方差最大时对应的种子数，或者达到预设最大种子数（本文为设置为12），即为最佳种子数k，并完成分割。
$$ g\left( {x,y} \right) = \frac{1}{9}\sum\limits_{u = - 1}^{u = 1} {\sum\limits_{v = - 1}^{v = 1} {g\left( {x + u,x + v} \right)} } $$ (20) 式中：g(x, y)为点(x, y)处的3×3邻域内像素均值。
2）设置生长规则
记已生长的区域为Rs，则已生长区域的均值M的计算公式如下：
$$ M = \frac{1}{n}\sum\limits_{(x,y) \in {R_{\text{s}}}} {f\left( {x,y} \right)} $$ (21) 式中：f(x, y)为已经生长的区域Rs的像素点，n为生长区域内的像素总数。
待生长的像素点g(i, j)与已生长区域作相似性判断分析，保证生长区域的一致性。并与OTSU获取的最佳阈值T2进行比较，避免过分割。若满足生长规则，则将待生长的像素点g(i, j)纳入生长区域。生长规则如下：
$$ \left\{ {\begin{array}{*{20}{c}} {\left| {g(i,j) - M} \right| \lt {T_1}} \\ {g\left( {i,j} \right) \gt {T_2}} \end{array}} \right. $$ (22) 式中：T1为相似性判断阈值；g(i, j)为待生长像素点。
3）故障设备的判断
对分割后的主体设备结果进行形态学修复，使设备边缘更加完整，内部更加充实。最后将故障区域R1和目标主体设备R2进行交集阈值判断，满足(R1∩R2) ≥0.8R1时，则该目标主体设备为存在故障的电气设备，若不满足，则说明该故障区域不属于图像中的主体设备。
本文利用SLIC算法对电气设备红外图像进行超像素分割，通过转换为Lab颜色空间，预先判断出图像中是否存在故障，并分割出故障区域R1。然后，对包含故障的红外图像做进一步处理。针对电气设备红外图像中背景复杂的问题，选取最大联通量中亮度较大的像素点作为区域生长的种子，利用最大类间方差控制种子数，设置双阈值生长规则，改进区域生长算法，实现对目标主体设备R2的分割。最终通过对故障区域R1和目标主体设备R2交集阈值比较，完成在复杂背景下对红外图像中故障电气设备的整体分割。
2.3 算法步骤
本文算法的流程如图 2所示。算法的主要步骤为：
步骤1：输入红外图像，对图像进行SLIC超像素分割，并进行Lab颜色空间转换。根据故障区域的特点，通过阈值判断图像中是否存在故障，并分割出故障区域。
步骤2：输入步骤1中已判断出包含故障的红外图像，选取图像的最大联通量中亮度较大的像素点作为种子，通过计算每次种子生长后的类间方差，选择最大类间方差对应的种子数为最佳种子数k。并设置双阈值生长准则，完成复杂背景下对目标主体设备的分割。
步骤3：将步骤1中获取的故障区域R1和步骤2中获取的目标主体设备R2进行交集判断，若满足(R1∩R2)≥0.8R1，则判断该目标主体设备为存在故障的电气设备。
3. 实验结果和分析
在Windows10系统下使用Matlab 2019a对开关接头、变压器支柱、电压互感器、电流互感器以及两种避雷器等电气设备的红外图像进行实验分析研究。选取的红外图像大小为240×320。上述红外图像中存在相似电气设备、钢架及电缆线等复杂背景。实验研究过程中，将基于本文算法、Otsu算法、标记分水岭算法（Marked Watershed Algorithm）以及区域生长算法（Region Growing Algorithm）得到的分割结果进行对比分析。本文将立足于故障区域定位结果和故障设备整体分割结果进行相关分析。
3.1 故障区域定位结果分析
图 3为利用SLIC超像素分割法获得的电气设备故障区域定位结果图。本文选取开关接头、变压器支柱、电压互感器、避雷器和电流互感器5种不同类型的带故障电气设备和1种正常电气设备避雷器的红外图像作为实验研究对象，如图 3从上至下所示。图 3(a)为上述6种电气设备原始红外图像。图 3(b)为SLIC超像素的分割结果。图 3(c)为电气设备的故障定位结果。由实验结果可知，在不同复杂程度背景条件下，对于5种不同的带故障电气设备以及1种正常电气设备，该算法均可以准确判断设备是否存在故障，并能完成对故障区域的定位。
3.2 故障设备整体分割结果分析
图 4为本文改进区域生长法对带故障电气设备整体分割时，不同种子数分割后的类间方差结果图。图中picture1~picture5，分别对应上述带故障的开关接头、变压器支柱、电压互感器、避雷器和电流互感器。对带故障电气设备图像进行区域生长法分割，通过选取图像最大联通量中较亮点作为种子进行分割，然后计算每次种子生长分割完成后目标区域与背景的类间方差，其最大类间方差对应的种子数即为最佳种子数k，从而实现对种子数进行控制，完成对目标主体设备的整体分割。由图 4可知，在改进区域生长法分割过程中，分割后的类间方差大小随着种子数先增加后减少，类间方差最大时对应种子数即为最佳种子数k，其中各图像分割时最佳种子数的数据点已在图 4中突出显示。从而说明本文改进的区域生长法，可以通过类间方差控制种子数目，完成对目标主体设备的整体分割。
![]()
图 4 不同种子数分割后的类间方差Figure 4. Variances between classes after segmentation of different seed numbers图 5为基于本文算法、OTSU算法、标记分水岭算法以及区域生长算法对上述带故障电气设备图像分割处理的结果。图中从上至下分别为picture1~picture5，分别对应带故障的开关接头、变压器支柱、电压互感器、避雷器和电流互感器。图 5(a)为带故障的红外图像，图 5(b)为预处理结果，图 5(c)、(d)、(e)及(f)分别为OTSU算法、标记分水岭算法、区域生长算法和本文算法的分割处理结果。本文将从定性和定量两个方面对设备分割结果进行分析。
3.2.1 定性分析
由图 5可知，本文选取存在相似电气设备、钢架及电缆线等复杂背景下的5组典型红外图像。图 5(c)可以看出OTSU算法对图像中的电气设备分割效果较好，但基本无法消除复杂背景的干扰。图 5(d)可以看出标记分水岭算法对复杂背景的干扰有部分消减作用，但效果不佳且易产生过分割，如picture4、picture5的分割结果。图 5(e)可以看出区域生长法对复杂背景的干扰有部分消减作用，但效果不佳。图 5(f)可以看出本文算法在处理包含不同复杂程度背景的电气设备红外图像时，对目标设备整体分割效果相对较好。当红外图像中包含相似电气设备、钢架及电缆线等复杂背景时，本文算法能大幅度消减上述复杂背景的干扰，准确地分割出故障电气设备。同时，从本文算法的分割处理结果图像中可以看出，分割的故障电气设备边缘细节较清晰，分割质量较好，有利于对故障电气设备作进一步诊断分析等后续工作。
3.2.2 定量分析
为客观评价不同算法对包含故障电气设备红外图像的分割处理效果，本文采用精确率（Precision）和召回率（Recall）对实验中红外图像分割算法结果进行定量分析。精确率与召回率计算公式分别为式(23)与式(24)：
$$ \Pr {\text{ecision}} = \frac{{{\text{TP}}}}{{{\text{TP + FP}}}} $$ (23) $$ {\text{Recall}} = \frac{{{\text{TP}}}}{{{\text{TP + FN}}}} $$ (24) 上述二式中，TP（True Positive）表示分割后目标区域中判断正确的像素数；FP（False Positive）表示分割后目标区域中判断错误的像素数；FN（False Negative）表示分割后非目标区域中判断错误的像素总数。
表 1为4种不同算法的实验结果。从表 1的对比数据可以看出，Otsu算法召回率较高，其均值为0.9110，说明Otsu算法对于电气设备的轮廓提取效果较好。但Otsu算法精确率却较低，均值为0.4895，因为Otsu几乎无法消除复杂背景的干扰，从而精确率较低。标记分水岭算法在picture 2红外图像处理过程中分割效果较好，其精确率和召回率分别为0.8060和0.9148，但该方法在其他4种红外图像处理过程中分割效果均不理想。这是因为标记分水岭算法受噪声影响较大，同时，该方法易因为梯度图像的不规则性导致过分割，从而分割效果不佳。区域生长法在5种红外图像的精确率和召回率都较高，均值分别为0.7521和0.8640，但该方法对于种子的选择有较大依赖性，导致算法自适性较低，同时，在复杂背景条件下，对干扰物的割舍效果也不佳。本文分割算法在精确率和召回率两方面相对于其他算法都较好，二者均稳定在0.9以上。在存在相似电气设备或钢架电缆线等不同复杂背景下，都能更好地整体分割出带有故障的电气设备，从而确立了本文算法在复杂背景下对故障电气设备红外图像的整体分割优势。
表 1 4种算法的实验结果Table 1. Experimental results due to four algorithmsSegmentation method OTSU Marked watershed Region growing Ours Precision Recall Precision Recall Precision Recall Precision Recall Picture1 0.4259 0.9271 0.3190 0.4037 0.9360 0.7686 0.9596 0.9240 Picture2 0.8438 0.8425 0.8060 0.9148 0.7244 0.8680 0.9324 0.9660 Picture3 0.4325 0.8945 0.4327 0.9192 0.7109 0.8136 0.9394 0.9393 Picture4 0.4924 0.9582 0.5474 0.9306 0.7032 0.9454 0.9485 0.9218 Picture5 0.2527 0.9322 0.4624 0.9261 0.6862 0.9244 0.9682 0.9388 4. 结论
本文针对电气设备背景复杂的特点，提出了一种复杂背景下对故障电气设备红外图像整体分割的方法。利用SLIC算法对图像进行分割，通过转换为Lab颜色空间，根据阈值判断是否存在故障，并获取相应的故障区域。然后对包含故障的红外图像进行目标主体设备分割，选取图像中最大联通区域的较亮点作为区域生长的初始种子，改进区域生长法，提取图像中目标主体设备。最后将故障区域与目标主体设备进行交集阈值比较，从而获取图像中的故障电气设备。研究结果表明，本文算法能预先判断图像中是否存在故障，并在不同复杂背景下对故障电气设备的整体分割效果相比其他方法较好，其分割的精确率和召回率均能达到为0.9以上，明显提高了对于故障电气设备整体分割的精度。同时，本文通过预先判断红外图像中是否存在故障，在一定程度上提高了对故障电气设备的诊断效率。
-
![]()
图 7 实验数据集中的一组红外图像（左侧）和可见光图像（右侧）
Figure 7. A set of infrared images (left) and visible light images (right) in the experimental dataset
![]()
图 8 红外与可见光融合图像在细节部分的实验对比
Figure 8. Experimental comparison of infrared and visible light fusion images in the detail part
表 1 本实验的结果对比
Table 1 Comparison of the results of this experiment
Evaluation standard Reference [4] Proposed Promote /% Reference [5] Proposed Promote /% Reference [6] Proposed Promote /% RMSE 4.62 3.78 +18.2% 4.96 3.78 +23.8% 4.62 3.78 +18.2% AMSLE 1.54 0.98 +36.4% 2.01 0.98 +51.2% 2.41 0.98 +48.1% Fuzzy entropy 4.69 6.23 +32.8% 5.95 6.23 +4.7% 4.59 6.23 +35.7% Time/s 121.81 136.12 -11.7% 58.09 136.12 -134.3% 61.24 136.12 -122.3% 
下载: 导出CSV
-
[1] 朱莹, 夏亦犁, 裴文江. 基于改进的BEMD的红外与可见光图像融合方法[J]. 计算机科学, 2020, 47(3): 124-129. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202003022.htm ZHU Ying, XIA Yili, PEI Wenjiang. Infrared and visible image fusion method based on improved BEMD[J]. Computer Science, 2020, 47(3): 124-129. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202003022.htm
[2] 苏金凤, 张贵仓, 汪凯. 结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合[J]. 激光与光电子学进展, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm SU Jinfeng, ZHANG Guicang, WANG Kai. Compression and fusion of infrared and visible images combined with robust principal component analysis and non-subsampled contourlet transform[J]. Advances in Lasers and Optoelectronics, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm
[3] 邓秋菊, 王宁. 非下采样轮廊波变换的红外与可见光图像融合[J]. 激光杂志, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm DENG Qiuju, WANG Ning. Infrared and visible image fusion based on non-subsampling contour wave transform[J]. Laser Journal, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm
[4] 王兴龙, 朱芳. 基于双通道PCNN的NSST域红外与可见光图像融合[J]. 平顶山学院学报, 2020, 35(2): 55-61. DOI: 10.3969/j.issn.1673-1670.2020.02.011 WANG Xinglong, ZHU Fang. Fusion of infrared and visible light images in NSST domain based on dual-channel PCNN[J]. Journal of Pingdingshan University, 2020, 35(2): 55-61. DOI: 10.3969/j.issn.1673-1670.2020.02.011
[5] 陈潮起, 孟祥超, 邵枫, 等. 一种基于多尺度低秩分解的红外与可见光图像融合方法[J]. 光学学报, 2020, 40(11): 72-80. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm CHEN Chaoqi, MENG Xiangchao, SHAO Feng, et al. A fusion method of infrared and visible light images based on multi-scale low-rank decomposition[J]. Acta Optics Sinica, 2020, 40(11): 72-80. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm
[6] 沈瑜, 陈小朋, 苑玉彬, 等. 基于显著矩阵与神经网络的红外与可见光图像融合[J]. 激光与光电子学进展, 2020, 57(20): 76-86. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202020009.htm SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Fusion of infrared and visible light images based on saliency matrix and neural network[J]. Advances in Lasers and Optoelectronics, 2020, 57(20): 76-86. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202020009.htm
[7] 张贵仓, 苏金凤, 拓明秀. DTCWT域的红外与可见光图像融合算法[J]. 计算机工程与科学, 2020, 42(7): 1226-1233. DOI: 10.3969/j.issn.1007-130X.2020.07.011 ZHANG Guicang, SU Jinfeng, TUO Mingxiu. Infrared and visible light image fusion algorithm in DTCWT domain[J]. Computer Engineering and Science, 2020, 42(7): 1226-1233. DOI: 10.3969/j.issn.1007-130X.2020.07.011
[8] 任立成, 刘勇, 张建林, 等. 基于特征融合的双分支模板更新跟踪算法[J]. 国外电子测量技术, 2021, 40(5): 14-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202105006.htm REN Licheng, LIU Yong, ZHANG Jianlin, et al. Two-branch template update tracking algorithm based on feature fusion[J]. Foreign Electronic Measurement Technology, 2021, 40(5): 14-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202105006.htm
[9] 吴佼华, 杨学志, 方帅, 等. 基于双分支卷积神经网络的SAR与多光谱图像融合实验[J]. 地理与地理信息科学, 2021, 37(2): 22-30. DOI: 10.3969/j.issn.1672-0504.2021.02.004 WU Jiaohua, YANG Xuezhi, FANG Shuai, et al. Experiment of SAR and multispectral image fusion based on double-branch convolutional neural network[J]. Geography and Geographic Information Science, 2021, 37(2): 22-30. DOI: 10.3969/j.issn.1672-0504.2021.02.004
[10] 薛盼盼, 刘云, 李辉, 等. 基于时域扩张残差网络和双分支结构的人体行为识别[J/OL]. 控制与决策: 1-10[2021-09-29]. https://doi.org/10.13195/j.kzyjc.2021.0648. XUE Panpan, LIU Yun, LI Hui, et al. Human Behavior Recognition Based on Time Domain Dilated Residual Network and Dual Branch Structure [J/OL]. Control and Decision: 1-10. [2021-09-29]. https://doi.org/10.13195/j.kzyjc.2021.0648.
[11] 张雪, 孟令灿, 聂秀山. 基于双分支网络特征融合的车辆重识别方法[J]. 数据采集与处理, 2021, 36(3): 468-476. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202103005.htm ZHANG Xue, MENG Lingcan, NIE Xiushan. Vehicle re-identification method based on dual-branch network feature fusion[J]. Data Collection and Processing, 2021, 36(3): 468-476. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202103005.htm
[12] 贺双龙, 杨斌. 基于局部结构和视觉显著特征的红外和可见光图像泊松重构融合算法[J]. 南华大学学报: 自然科学版, 2020, 34(5): 62-70, 76. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGB202005011.htm HE Shuanglong, YANG Bin. Poisson reconstruction fusion algorithm for infrared and visible light images based on local structure and visual salient features[J]. Journal of University of South China: Natural Science Edition, 2020, 34(5): 62-70, 76. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGB202005011.htm
[13] 周哓玲, 江泽涛. 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合[J]. 光学学报, 2019, 39(11): 132-139. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201911016.htm ZHOU Weiling, JIANG Zetao. Fusion of infrared and visible light images combined with pulse-coupled neural network and guided filtering[J]. Journal of Optics, 2019, 39(11): 132-139. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201911016.htm
[14] 刘明君, 董增寿. 基于多特征的红外与可见光图像融合[J]. 激光杂志, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm LIU Mingjun, DONG Zengshou. Fusion of infrared and visible light images based on multi-features[J]. Laser Journal, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm
[15] 王宁, 周铭, 杜庆磊. 一种红外可见光图像融合及其目标识别方法[J]. 空军预警学院学报, 2019, 33(5): 328-332. DOI: 10.3969/j.issn.2095-5839.2019.05.004 WANG Ning, ZHOU Ming, DU Qinglei. An infrared and visible light image fusion and its target recognition method[J]. Journal of Air Force Early Warning Academy, 2019, 33(5): 328-332. DOI: 10.3969/j.issn.2095-5839.2019.05.004
[16] 宫睿, 王小春. BEMD分解和W变换相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2019, 24(6): 987-999. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201906014.htm GONG Rui, WANG Xiaochun. Fusion of infrared and visible light images combined with BEMD decomposition and W transform[J]. Chinese Journal of Image and Graphics, 2019, 24(6): 987-999. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201906014.htm
[17] 张雷雷, 王铎. 基于局部能量和邻域信息的红外与可见光图像融合[J]. 光电技术应用, 2019, 34(3): 19-22. DOI: 10.3969/j.issn.1673-1255.2019.03.005 ZHANG Leilei, WANG Duo. Fusion of infrared and visible light images based on local energy and neighborhood information[J]. Application of Optoelectronic Technology, 2019, 34(3): 19-22. DOI: 10.3969/j.issn.1673-1255.2019.03.005
[18] 荣传振, 贾永兴, 吴城, 等. 红外与可见光图像分解与融合方法研究[J]. 数据采集与处理, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm RONG Chuanzhen, JIA Yongxing, WU Cheng, et al. Research on infrared and visible image decomposition and fusion methods[J]. Data Acquisition and Processing, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm
[19] 冯鑫. Tetrolet框架下红外与可见光图像融合[J]. 光子学报, 2019, 48(2): 76-84. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201902010.htm FENG Xin. Fusion of infrared and visible light images under Tetrolet framework[J]. Acta Photonica Sinica, 2019, 48(2): 76-84. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201902010.htm
[20] 朱平哲. 基于DCT与PSO的可见光与红外图像融合方法[J]. 新疆大学学报: 自然科学版, 2018, 35(4): 452-458. https://www.cnki.com.cn/Article/CJFDTOTAL-XJDZ201804011.htm ZHU Pingzhe. Visible light and infrared image fusion method based on DCT and PSO[J]. Journal of Xinjiang University: Natural Science Edition, 2018, 35(4): 452-458. https://www.cnki.com.cn/Article/CJFDTOTAL-XJDZ201804011.htm
[21] 孔玲君, 张志华, 曾茜, 等. 基于NSST和SWT的红外与可见光图像融合算法研究[J]. 包装工程, 2018, 39(19): 216-222. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201819038.htm KONG Lingjun, ZHANG Zhihua, ZENG Qian, et al. Research on infrared and visible light image fusion algorithm based on NSST and SWT[J]. Packaging Engineering, 2018, 39(19): 216-222. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201819038.htm
[22] 邱泽敏. 结合区域与边缘特征的红外与可见光图像融合算法[J]. 红外技术, 2018, 40(5): 449-454. http://hwjs.nvir.cn/article/id/hwjs201805008 QIU Zemin. Infrared and visible image fusion algorithm combining region and edge features[J]. Infrared Technology, 2018, 40(5): 449-454. http://hwjs.nvir.cn/article/id/hwjs201805008
[23] 朱亚辉. 聚类分析的红外与可见光融合质量指标相似性研究[J]. 计算机系统应用, 2018, 27(2): 216-222. DOI: 10.3969/j.issn.1003-3254.2018.02.037 ZHU Yahui. Research on the similarity of infrared and visible light fusion quality indicators based on cluster analysis[J]. Computer System Applications, 2018, 27(2): 216-222. DOI: 10.3969/j.issn.1003-3254.2018.02.037
[24] 吴冬鹏, 毕笃彦, 马时平, 等. 边缘和对比度增强的NSST域红外与可见光图像融合[J]. 红外技术, 2017, 39(4): 358-364. http://hwjs.nvir.cn/article/id/hwjs201704011 WU Dongpeng, BI Duyan, MA Shiping, et al. Edge and contrast enhanced fusion of NSST domain infrared and visible light images[J]. Infrared Technology, 2017, 39(4): 358-364. http://hwjs.nvir.cn/article/id/hwjs201704011
[25] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX201702007.htm FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Fusion of infrared and visible light images based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-362. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX201702007.htm
[26] 李昌兴, 王志强. 基于视觉特性的红外与可见光图像融合[J]. 西安邮电大学学报, 2016, 21(6): 98-102. https://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201606017.htm LI Changxing, WANG Zhiqiang. Fusion of infrared and visible light images based on visual characteristics[J]. Journal of Xi'an University of Posts and Telecommunications, 2016, 21(6): 98-102. https://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201606017.htm
[27] 周华兵, 侯积磊, 吴伟, 等. 基于语义分割的红外和可见光图像融合[J]. 计算机研究与发展, 2021, 58(2): 436-443. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ202102020.htm ZHOU Huabing, HOU Jilei, WU Wei, et al. Fusion of infrared and visible light images based on semantic segmentation[J]. Journal of Computer Research and Development, 2021, 58(2): 436-443. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ202102020.htm
[28] 张蕾. 采用改进平均梯度与自适应PCNN的图像融合[J]. 计算机应用与软件, 2021, 38(3): 218-223. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202103034.htm ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN[J]. Computer Applications and Software, 2021, 38(3): 218-223. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202103034.htm
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 179
- HTML全文浏览量: 125
- PDF下载量: 38
- 被引次数: 1
