Defect Detection of Photovoltaic Panel Based on Multisource Image Fusion
-
摘要: 传统光伏面板缺陷检测任务以人工目视方法为主，存在效率低、精度差、成本高等问题。提出基于深度学习的融合光伏面板可见光图像与红外图像的缺陷检测网络，即多源图像融合网络（Multi-source Fusion Network, MF-Net），实现光伏面板的缺陷检测。MF-Net以YOLOv3 tiny为主干结构，并针对光伏面板缺陷特征进行网络结构改进。其中包括：在特征提取模块中增加网络深度并融入密集块结构，使得MF-Net能够融合更多高层语义信息的同时增强特征的选择；将双尺度检测增加为三尺度检测，以提高网络对不同尺寸缺陷的适用度。此外，提出自适应融合模块，使特征图融合过程中可以根据像素邻域信息自适应分配融合系数。实验结果表明，相比基于YOLOv3 tiny的融合网络，改进后的融合检测网络mAP提高7.41%；自适应融合模块使mAP进一步提升2.14%，且自适应融合模块能够有效提高特征的显著性；在与单一图像（仅有可见光图像或红外图像）的检测网络及其他融合图像检测网络的对比实验中，所提出的网络F1 score最高（F1＝0.86）。Abstract: This study proposed a multisource fusion network (MF-Net) that combines visible and infrared images for the inspection of a photovoltaic panel to achieve photovoltaic panel defect detection, defect classification, and localization. The limitations of the traditional methods include low efficiency, low accuracy, and high cost. In this study, a defect detection network was designed based on the backbone of YOLOv3-tiny. Deep layers are added to the network, constituting a dense block structure to augment semantic information on fused feature maps. The detection scale of the network was extended to improve its applicability at different scales. In addition, an adaptive weight fusion strategy was proposed to achieve feature map fusion, where the fusion coefficients can be allocated according to the pixel neighborhood information. Compared with the backbone, the results show that the mAP of our network improved by 7.41%. The performance improves (by approximately 2.14% mAP) when the weighted fusion strategy is replaced with ours, and the significance of the features can be effectively improved. Relative to other networks, the proposed network that takes the fused images as the input has the highest performance in terms of the F1 score (F1=0.86).
-
Keywords:
- photovoltaic panel /
- image fusion /
- defect detection /
- visible image /
- infrared image
-
0. 引言
空间相机是实现对地观测、大气和海洋探测及宇宙探测等应用的主要有效载荷，根据不同的探测要求，相机精度和成像质量也有不同要求。对高精度相机其光机温度对成像质量的影响受到广泛关注，当温度发生变化时，一方面镜片表面的曲率半径、透镜的厚度、光学材料的折射率均会发生改变[1]，另一方面由于镜框的热膨胀系数较大，镜框会相对于镜片发生差分膨胀或收缩[2]，这均会造成焦距偏离和系统失准，导致相机成像模糊，严重时甚至出现成像失败的情况。
空间光学遥感相机在轨工作时，由于太阳辐射、地球红外辐射、地球反照、空间背景辐射的交替变化，造成相机的光机周围结构温度发生剧烈变化，周围结构通过辐射换热影响光机温度也发生波动。为使相机的光机维持在稳定的温度水平以保障成像质量，除采用被动热控措施外，一般光机还采用直接或间接的主动控温加热回路，通过控制加热器的加热功率，精确补偿损失的热量，实现光机温度的稳定控制。相机在具有宽视场及高分辨率的要求场合，光机对控温稳定度提出了更高的要求。例如“高分二号”卫星，其上两个相机的主镜、次镜、次镜支撑件、前镜筒等光机结构都要求在控温精度为20℃±2℃时，控温稳定度为±0.3℃/h[3]；空间太阳望远镜（space solar telescope，SST）的主镜镜面在等直径的环上控温稳定度为±0.1℃/h[4]；Herschel卫星的远红外光学系统要求10 s内控温稳定度≤3×10-4K[5]。
为提高控温稳定度，除了需要对光机及其周围环境进行合理的热设计，设计多个主动控温回路以及采用多级控温策略[6-8]外，改进温度控制算法对提高控温稳定度的效果更为突出。目前，空间光学遥感相机上大多采用开关比例控制的控温方式，一些重要结构部件则采用控温稳定度更高的固定参数PID控制。固定参数PID控制具有控制算法简单、技术成熟、可靠性高，为大多数工程师所熟悉的优点，能够满足大多数被控对象的控温要求[9]。但其仅依据被控对象控温点的温度做控制决策，不论与被控对象存在热关联的周围热环境如何改变都采用不变的PID控制参数，这可能给被控对象的温度带来不必要的波动。虽然有些文献中指出控制的动态和稳态特性取决于所设置的PID参数[10-12]，并由此发展出模糊自适应PID控制、专家PID控制、基于模型辨识的自适应PID控制等智能控制方法。模糊自适应PID控制、专家PID控制等基于规则的PID参数自整定方法简单，在线控制容易实现，但整定出的PID参数并不是该控温系统在该时刻的最优参数；基于模型辨识的自适应PID控制的在线辨识较为复杂，计算机计算量大、工作时间长，而且还需要解决闭环可辨识性问题。因此，这些智能控温方法尚未在空间相机的工程实践得到应用。目前，国外在空间相机的温度控制中采取了基于被控对象热特性的自适应PID控温算法，提高了系统控温稳定度。例如，“普朗克”卫星光学系统的控温算法是最优PI（proportional-integral）控温算法，该算法从被控对象的解析模型出发，建立了一组可供探索的参数列表，以确定空间环境下仪器运行的最优传递函数，然后利用该温控系统的传递函数模型实现PI控制参数的最优整定[13]，实现控温稳定度优于±0.1 K；“Herschel”卫星的远红外光学系统采用自适应PI控温算法，该算法通过热平衡试验获取的温度数据修正热分析模型，根据修正后的热分析模型，确定各个部件的传递函数，从满足其温度稳定性要求出发，重新整定PI控制器参数[5]，实现控温稳定度优于±0.5 K。我国在空间相机的温度控制领域，暂未出现基于被控对象热特性的自适应PID控制方法应用案例，PID控制器参数未能结合具体控温对象进行设计，导致系统难以实现高稳定度的温度控制。
本文从空间光机抽象模型的热平衡方程出发，提出了一种能根据光机及与其辐射换热对象的温度实时修正光机数学模型，继而采用极点配置的方法实时校正控制器参数的自适应PID控制方法，利用建立的空间光机抽象模型对该控制方法的控温效果进行了仿真及实验验证。
1. 控温原理
空间光机的主动加热控温回路一般包括温度控制器、测温用热敏电阻（或热电偶、测温二极管等）、加热器等。图 1为本文提出的基于空间光机热模型的自适应PID控温原理图。该温度控制器需要同时采集被控对象及与其存在辐射换热的周围环境的温度，通过计算出等效辐射换热系数来修正被控对象模型，然后以二阶最佳动态响应模型为目标，利用极点配置设计PID参数，输出加热占空比，最终通过加热器实现被控对象的高稳定度温度控制。该自适应PID控制方法具体设计过程详细介绍如下。
![]()
图 1 基于空间光机热模型的自适应PID控温原理图Figure 1. Schematic diagram of adaptive PID temperature control based on optical mechanical thermal model1.1 被控对象热模型
对于某空间光机的控温系统，设其控温点的温度为Tm，与该控温区域存在传热的周围环境的温度分别为T1，T2，…，Tn，空间相机处于真空环境，只存在热传导和热辐射两种传热方式，忽略单个测温区域的温度分布不均匀性，建立光机的热平衡方程：
$$C\frac{{{\rm{d}}{T_{\rm{m}}}}}{{{\rm{d}}t}} = {Q_{\rm{p}}} + {\alpha _1}\left( {{T_1} - {T_{\rm{m}}}} \right) + {\alpha _2}\left( {{T_2} - {T_{\rm{m}}}} \right) + \cdots + {\alpha _n}\left( {{T_n} - {T_{\rm{m}}}} \right)$$ (1) 式中：Qp为加热器功率；C为光机的总热容；αi（其中，i=1, 2, ···, n）为光机与换热对象之间的等效换热系数。
对于导热换热，αi一般视为不随温度变化的常数，甚至由于光机的安装一般使用接触面积小、导热率低的钛合金螺钉和隔热垫安装，导热换热的等效换热系数αi可以忽略不计，而对于辐射换热，αi可由(2)式进行计算：
$${\alpha _i} = \sigma {\varepsilon _{\rm{i}}}{A_{\rm{i}}}\left( {T_{\rm{i}}^{\rm{3}} + T_{\rm{i}}^{\rm{2}}{T_{\rm{m}}} + {T_{\rm{i}}}T_{\rm{m}}^2 + T_{\rm{m}}^3} \right)$$ (2) 式中：σ为斯忒藩-玻尔兹曼常量，其值为5.67×10-8W/(m2·K)；εi为光机与辐射换热对象i之间的系统发射率；Ai为光机与辐射换热对象i之间的辐射换热面积。
对式(1)两边做拉普拉斯变换，可得光学对象温度Tm与加热器功率Qp和其他换热对象温度Ti之间的关系如下：
$${T_{\rm{m}}} = \frac{{{Q_{\rm{p}}} + \sum\limits_{i = 1}^n {{\alpha _i}{T_{\rm{i}}}} }}{{Cs + \sum\limits_{i = 1}^n {{\alpha _i}} }} = \frac{{{Q_{\rm{p}}}}}{{Cs + \alpha }} + \frac{{\sum\limits_{i = 1}^n {{\alpha _i}{T_i}} }}{{Cs + \alpha }}$$ (3) 式中：$\alpha = \sum\limits_{i = 1}^n {{\alpha _i}} $。
由于加热器功率Qp的变化反映到光机温度T的变化存在一定的滞后时间τ，所以加热器功率Qp和光机温度Tm之间的传递函数Qp(s)为：
$${G_{\rm{P}}}\left( s \right) = \frac{{{T_{\rm{m}}}}}{{{Q_{\rm{p}}}}} = \frac{1}{{Cs + \alpha }}{{\rm{e}}^{ - \tau s}}$$ (4) 由式(4)可得Gp(s)带零阶保持器的广义对象脉冲传递函数为：
$${G_{\rm{p}}}({z^{ - 1}}) = z(\frac{{1 - {{\rm{e}}^{ - \tau s}}}}{s} \cdot \frac{1}{{Cs + \alpha }}{{\rm{e}}^{ - \tau s}}) = \frac{{b{z^{ - d}}}}{{1 + a{z^{ - 1}}}}$$ (5) 式中：T为采样周期，对于大纯滞后对象，通常选择T=τ，$b = \frac{1}{\alpha }(1 - {{\rm{e}}^{ - \frac{{\alpha T}}{C}}})$，$a = - {{\rm{e}}^{ - \frac{{\alpha T}}{C}}}$，N=τ/T，d=N+1。
由式(2)可知，当光机及与其辐射换热对象的温度变化时，α随之发生变化，加热器功率Qp和光机温度Tm之间的传递函数Gp(z-1)即发生改变。即能够通过跟踪光机及与其辐射换热对象的温度对光机的热模型进行实时修正。
1.2 极点配置自适应PID控制算法
1）极点配置控制器算法
设被控对象受控自回归滑动平均（controlled auto regressive moving average, CARMA）模型为：
$$A\left( {{z^{ - 1}}} \right)y\left( k \right) = {z^{ - d}}B\left( {{z^{ - 1}}} \right)u\left( k \right) + C\left( {{z^{ - 1}}} \right)\varepsilon \left( k \right)$$ (6) 式中：y(k)、u(k)、ε(k)分别为被控对象的输出、输入和不可检测的零均值白噪声序列；z-1为后移算子；d为滞后步数；A(z-1)、B(z-1)、C(z-1)均为z-1的多项式。
$$\begin{array}{l} A\left( {{z^{ - 1}}} \right) = 1 + {a_1}{z^{ - 1}} + \ldots + {a_{{n_a}}}{z^{ - {n_a}}} \\ B\left( {{z^{ - 1}}} \right) = {b_0} + {b_1}{z^{ - 1}} + \ldots + {b_{{n_b}}}{z^{ - {n_b}}}, {b_0} \ne 0 \\ C\left( {{z^{ - 1}}} \right) = 1 + {c_1}{z^{ - 1}} + \ldots + {c_{{n_c}}}{z^{ - {n_c}}} \\ \end{array}$$ (7) 根据式(5)可得出：
$$A\left( {{z^{ - 1}}} \right) = 1 + a{z^{ - 1}}$$ (8) $$B\left( {{z^{ - 1}}} \right) = b$$ (9) 常规的计算机闭环控制系统的结构可表示为图 2。
由图 2可得，该系统的闭环方程为：
$$y(k) = \frac{{{z^{ - d}}B({z^{ - 1}})H({z^{ - 1}})r(k) + F({z^{ - 1}})C({z^{ - 1}})\varepsilon (k)}}{{A({z^{ - 1}})F({z^{ - 1}}) + {z^{ - d}}B({z^{ - 1}})G({z^{ - 1}})}}$$ (10) 从式(10)中可知，根据增广型自校正闭环极点配置[14]的要求，闭环特征多项式为：
$$A({z^{ - 1}})F({z^{ - 1}}) + {z^{ - d}}B({z^{ - 1}})G({z^{ - 1}}) = C({z^{ - 1}})T({z^{ - 1}})$$ (11) 式中：T(z-1)为期望特征多项式。
进行极点配置时，一般以典型的二阶系统闭环传递函数的标准形式作为目标。
$${G_{\rm{n}}}(s) = \frac{{\omega _{\rm{n}}^2}}{{{s^2} + 2{\zeta ^2}{\omega _{\rm{n}}}s + \omega _{\rm{n}}^{\rm{2}}}}$$ (12) 与式(12)相对应的离散特征多项式为：
$$T({z^{ - 1}}) = 1 - 2{{\rm{e}}^{ - \zeta {\omega _n}T}}\cos ({\omega _{\rm{n}}}T\sqrt {1 - {\zeta ^2}} ){z^{ - 1}} + {{\rm{e}}^{ - 2\zeta {\omega _{\rm{n}}}T}}{z^{ - 2}}$$ (13) 式中：ξ为阻尼比；ωn为无阻尼自然振荡角频率。
对式(13)，当二阶系统最佳阻尼比ξ=0.707时，为二阶最佳动态模型，在单位阶跃作用下的超调量σ%=4.3%，相角稳定裕量r(ωc)=65.5°。
采样周期T和ωn、ξ的关系可按下式计算：
$$T = \frac{{2{\rm{ \mathsf{ π} }}}}{{{N_T}{\omega _n}\sqrt {1 - {\zeta ^2}} }}, \quad ({N_T} = 10:20)$$ (14) 图 2系统可直接写出极点配置自校正控制器输出u(k)的表达式为：
$$u(k) = \frac{{H({z^{ - 1}})}}{{F({z^{ - 1}})}}r(k) - \frac{{G({z^{ - 1}})}}{{F({z^{ - 1}})}}y(k)$$ (15) 2）增量型PID控制算法
在数字系统中，通常采用带有数字滤波器的PID控制器算法[15]：
$$u({z^{ - 1}}) = \frac{{{g_0} + {g_1}{z^{ - 1}} + {g_2}{z^{ - 2}}}}{{(1 - {z^{ - 1}})(1 + f{z^{ - 1}})}}e({z^{ - 1}})$$ (16) 式中：$e({z^{ - 1}})$为滞后1次采样时刻的控制偏差。
$$\begin{array}{l} {g_0} = {K_{\rm{P}}} + {K_{\rm{I}}} + {K_{\rm{D}}} \\ {g_1} = - ({K_{\rm{P}}} + 2{K_{\rm{D}}}) \\ {g_2} = {K_{\rm{D}}} \\ \end{array}$$ (17) 式中：KP为比例系数；KI为积分系数；KD为微分系数。
方程组(14)对KP、KI、KD有唯一解，即：
$$\begin{array}{l} {K_{\rm{P}}} = - \left( {{g_1} + 2{g_2}} \right) \\ {K_{\rm{I}}} = {g_0} + {g_1} + {g_2} \\ {K_{\rm{D}}} = {g_2} \\ \end{array}$$ (18) 3）极点配置自适应PID控制算法
为将极点配置控制器变换为增量型PID控制器，对照式(16)，式(15)选用下述形式：
$$F({z^{ - 1}}) = (1 - {z^{ - 1}})F'({z^{ - 1}}) = (1 - {z^{ - 1}})(1 + f{z^{ - 1}})$$ (19) $$G({z^{ - 1}}) = {g_0} + {g_1}{z^{ - 1}} + {g_2}{z^{ - 2}}$$ (20) 由式(15)可知，为保证系统稳态误差最终为零，还需选择：
$$H\left( {{z^{ - 1}}} \right){|_{z = 1}} = {g_0} + {g_1} + {g_2}$$ (21) 式(11)中选择多项式C(z-1)时应防止在系统输出端出现突变而导致振荡[16]，因此考虑选择：
$$C({z^{ - 1}}) = 1 + {C_1}{z^{ - 1}} + {C_2}{z^{ - 2}} = 1 + 0.5{z^{ - 1}} + 0.1{z^{ - 2}}$$ (22) 采用极点配置法整定PID控制器参数，即是选取PID参数，使系统具有期望的闭环特征方程。所以将式(8)、(9)、(13)、(19)、(20)、(22)代入式(11)，令方程式(11)两边系数相等，解代数方程即可求得g0、g1、g2，最后根据式(18)即可求得以二阶最佳动态模型为目标的PID参数。
该控温方法与固定参数的PID控温方法相比，当光机及与其辐射换热对象的温度变化时，该控温方法能够对光机的热模型进行实时修正，然后采用极点配置的方法以二阶最佳动态响应模型为目标实时校正PID控制器参数，使PID控制器的动态控温性能始终保持最佳状态，因而有助于减小光机由于热惯性造成的不必要的温度波动，具有更好控温的稳定性。
2. 仿真及实验验证
为了对该控温方法进行仿真及实验验证，本文建立光机的热控系统模型如图 3所示。
图中不锈钢正方体壳边长为200 mm，在正方体壳6个面外侧粘贴阻值相同的薄膜加热器，6个加热器并联连接，通过加热正方体壳6个面模拟空间光机周围结构温度的变化；铝块长、宽均为100 mm，高为5 mm，铝块下表面粘贴薄膜加热器，用钓鱼线悬挂于正方体壳内部，用于模拟被控温的光机。正方体壳6个面内侧和铝板表面均涂石墨以提高它们的表面发射率。
建立被控对象（铝块）的数学模型，取滞后时间τ=2 s，由上文中分析可得：
加热器功率Qp与铝块温度Tm之间的传递函数Gp(s)为：
$${G_{\rm{p}}}(s) = \frac{{{T_{\rm{m}}}}}{{{Q_{\rm{p}}}}} = \frac{1}{{118.8s + \alpha }}{{\rm{e}}^{ - 2s}}$$ (23) 环境温度Ts与铝块温度Tm之间的传递函数Gs(s)为：
$${G_{\rm{s}}}(s) = \frac{{{T_{\rm{m}}}}}{{{T_{\rm{s}}}}} = \frac{\alpha }{{118.8s + \alpha }}{{\rm{e}}^{ - 2s}}$$ (24) 式中：
$$\alpha = 1.134 \times {10^{ - 9}}\left( {T_{\rm{m}}^{\rm{3}} + T_{\rm{m}}^{\rm{2}}{T_{\rm{s}}} + {T_{\rm{m}}}T_{\rm{s}}^{\rm{2}} + T_{\rm{s}}^{\rm{3}}} \right)$$ (25) 取采样时间T=τ=2s，由上述1.1节的分析可得Gp(s)带零阶保持器的广义对象脉冲传递函数为：
$${G_{\rm{p}}}({z^{ - 1}}) = \frac{{b{z^{ - 2}}}}{{1 + a{z^{ - 1}}}}$$ (26) 式中：$a = - {{\rm{e}}^{ - 0.0168\alpha }}$，$b = \frac{1}{\alpha }(1 - {{\rm{e}}^{ - 0.0168\alpha }})$。
由上述1.2节中分析可得PID参数，
$$\begin{array}{l} {K_{\rm{P}}} = - \frac{{0.146 + 0.966a - {a^2}}}{b} \\ {K_{\rm{I}}} = \frac{{0.204}}{b} \\ {K_{\rm{D}}} = \frac{{0.028}}{b} \\ \end{array}$$ (27) 2.1 仿真验证
上述热控系统的仿真模型借助MATLAB软件编程建立，该自适应PID控温方法与固定参数PID控温方法的仿真结果如图 4所示。对于不同的环境温度，PID控制器的最佳动态响应参数不同，图中两个固定参数PID控制器的PID参数为控温过程中某一温度下被控系统模型对应的最优PID参数，PID控制1的控制器参数为：KP=0.412，KI=0.050，KD=0.007，PID控制2的控制器参数为：KP=0.447，KI=0.045，KD=0.006。
图 4中0时刻为环境温度保持298 K时，控制器的阶跃响应，结果显示在铝板升温并稳定在(333.15±0.1) K过程中，PID控制1所需时间为135 s，超调量为0；PID控制2所需时间为132 s，超调量为2.15 K；自适应PID控制所需时间为108 s，超调量为0.55 K。结果表明随着被控对象温度的改变，该PID控制器始终保持最佳动态响应，收敛更快。
图 4中在300 s时刻，使环境温度快速上升至323 K，模拟空间环境外热流的大幅值增大，结果显示铝块温度再次恢复稳定到(333.15±0.1) K过程中，PID控制1超调量为3.55 K；PID控制2超调量为3.15 K；自适应PID控制超调量为2.85 K。结果表明随着空间环境外热流大幅值增大导致环境温度快速升高，控温系统的数学模型发生改变时，该PID控制器始终保持最佳动态响应，超调量小，调节时间短，抗干扰性更强，控温稳定性更好。
2.2 实验验证
将上述光机热控系统模型放置于真空罐内进行实验，该自适应PID控温方法与固定参数PID控温方法的实验结果如图 5所示，图中固定PID控制器参数的选取与上文中仿真的控制器参数选取一致。
图 5中在0时刻，保持正方体壳温度为298 K不变，开启铝板控温加热，使其控温稳定在(333.15±0.1) K过程中，PID控制1所需时间为1684 s，超调量为0.42 K；PID控制2所需时间为1642 s，超调量为1.06 K；自适应PID控制所需时间小于1404 s，超调量小于0.54 K，控温稳定度优于±0.1 K。结果表明随着被控对象温度的改变，该自适应PID控制具有更好的收敛性。
图 5中在2100 s时刻，铝板稳定控温在333.15 K时，对正方体壳六个面分别同时加热18 W，模拟空间环境外热流的大幅值增大，使正方体壳六个面的温度从298 K升高至323 K。铝块温度再次恢复稳定到(333.15±0.1) K过程中，PID控制1超调量为1.34 K；PID控制2超调量为1.12 K；自适应PID控制超调量为0.94K，控温稳定度优于±0.1 K。结果表明随着空间环境外热流大幅值增大导致环境温度快速升高，控温系统的数学模型发生改变时，该PID控制器始终保持最佳动态响应，超调量小，抗干扰性更强，控温稳定性更好。
3. 结论
本文从空间光机的热平衡方程出发，提出一种基于空间光机热模型的极点配置自适应PID控制方法。该方法揭示了空间光机的热模型与周围辐射换热对象的温度之间的联系，在对空间光机进行控温时，能够实时根据采集的光机及与其辐射换热对象的温度修正光机的热模型，继而采用极点配置的方法实时校正PID控制器参数，最终通过加热器实现被控对象的高稳定度温度控制，文中通过仿真及实验验证，在空间环境外热流大幅值增大导致环境温度快速升高，控温系统的数学模型发生改变时，该自适应PID控制器始终保持最佳动态响应，超调量小，调节时间短，控温稳定度优于±0.1K，具有更好的控温稳定性和环境适应性。
-
![]()
图 8 五种缺陷在不同融合检测网络中的P-R测试曲线
Figure 8. P-R curves of five kinds of defects in different fusion detection networks
![]()
图 9 基于单一图像或多源图像对不同缺陷的检测结果对比
（(a)基于可见光图像检测结果；(b)基于红外图像检测结果；(c)本文方法检测结果；(d)实际缺陷类型及位置）
Figure 9. Comparison of detection results of different defects based on single image or multi-source image
((a) Detection results based on visible image; (b) Based on infrared image detection results; (c) Detection results of this method; (d) Actual defect type and location)
表 1 改进前后网络模型对比
Table 1 Comparison parameters of network model before and after improvement
Network model Model size/Mb FLOPS/Gb YOLOv3 245.3 63.20 YOLOv3 tiny 33.4 5.56 MF-Net 35.6 6.02 
下载: 导出CSV
表 2 数据集分配统计
Table 2 Distributions of our dataset
Number of images/pairs Crazing Shadow Covering Bubble Internal Filtered images 659 103 398 367 96 403 Enhanced images 1000 544 552 534 537 565 Training set 700 366 363 349 356 371 Validation set 100 60 63 61 59 64 Test set 200 118 126 124 122 130
下载: 导出CSV
表 3 网络训练参数
Table 3 Network training parameters
Parameter Value Parameter Value Input size 416×416 Epoch 200 Batch size 2 Momentum 0.9 Learning rate 0.0005 Confidence 0.65
下载: 导出CSV
表 4 消融实验结果
Table 4 Results of ablation experiences
S/N Replace Conv. Three scale detection Dense Block mAP FPS 1 75.93% 11.23 2 √ 82.02%(+6.09%) 8.13(-3.10) 3 √ 76.21%(+0.28%) 9.43(-1.80) 4 √ 80.96%(+5.03%) 11.36(+0.13) 5 √ √ √ 83.34%(+7.41%) 7.41(-3.82)
下载: 导出CSV
表 5 不同网络框架对比评估
Table 5 Comparative evaluation of different networks
S/N Model Input Correct detection Correct classification FPS F1 score 1 Improved YOLOv3 tiny Visible image 320 297 12.61 0.53 2 Improved YOLOv3 tiny Infrared image 497 103 12.63 0.17 3 MF-Net and channel addition strategy Multi-source image 553 516 7.41 0.82 4 SSD Multi-source image 512 446 1.31 0.72 5 Ours Multi-source image 559 538 7.39 0.86
下载: 导出CSV
-
[1] Alves R H F, Deus Júnior G A, Marra E G, et al. Automatic fault classification in photovoltaic modules using Convolutional Neural Networks[J]. Renewable Energy, 2021, 179: 502-516. DOI: 10.1016/j.renene.2021.07.070
[2] 闫冯渊. 实用化光伏组件监测电路研制[D]. 北京: 华北电力大学, 2021. YAN Fengyuan. Development of Practical Monitoring Circuit For Photovoltaic Modules[D]. Beijing: North China Electric Power University, 2021.
[3] 林剑春, 杨爱军, 沈熠辉. 电致发光缺陷检测仪的成像性能评估[J]. 光学精密工程, 2017, 25(6): 1418-1424. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201706003.htm LIN Jianchun, YANG Aijun, SHEN Yihui. Evaluation of imaging performance for electroluminescence defect detector[J]. Optics and Precision Engineering, 2017, 25(6): 1418-1424. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201706003.htm
[4] LI X, LI W, YANG Q, et al. An unmanned inspection system for multiple defects detection in photovoltaic plants[J]. IEEE Journal of Photovoltaics, 2020, 10(2): 568-576. DOI: 10.1109/JPHOTOV.2019.2955183
[5] Espinosa A R, Bressan M, Giraldo L F. Failure signature classification in solar photovoltaic plants using RGB images and convolutional neural networks – Science Direct[J]. Renewable Energy, 2020, 162: 249-256. DOI: 10.1016/j.renene.2020.07.154
[6] 邓堡元, 何赟泽, 王洪金, 等. 光伏电池图像序列的深度学习检测方法[J]. 机械工程学报, 2021, 57(8): 98-106. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB202108009.htm DENG Baoyuan, HE Yunze, WANG Hongjin, et al. Deep learning inspection for photovoltaic cell image sequence[J]. Journal of Mechanical Engineering, 2021, 57(8): 98-106. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB202108009.htm
[7] 孙智权, 周奇, 陈震, 等. 基于CMOS图像传感器的太阳能电池缺陷检测系统设计[J]. 仪表技术与传感器, 2018(1): 60-63. DOI: 10.3969/j.issn.1002-1841.2018.01.015 SUN Zhiquan, ZHOU Qi, CHEN Zhen, et al. Design of solar cell defects detection system based on CMOS image sensor[J]. Instrument Technique and Sensor, 2018(1): 60-63. DOI: 10.3969/j.issn.1002-1841.2018.01.015
[8] HE Y, DU B, HUANG S. Noncontact electromagnetic induction excited infrared thermography for photovoltaic cells and modules inspection[J]. IEEE Transactions on Industrial Informatics, 2018, 14(12): 5585-5593. DOI: 10.1109/TII.2018.2822272
[9] 郭梦浩, 徐红伟. 基于Faster RCNN的红外热图像热斑缺陷检测研究[J]. 计算机系统应用, 2019, 28(11): 265-270. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY201911039.htm GUO Menghao, XU Hongwei. Hot spot defect detection based on infrared thermal image and Faster RCNN[J]. Computer Systems & Applications, 2019, 28(11): 265-270. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY201911039.htm
[10] 谢春宇. 基于红外与可见光双模图像融合的目标检测跟踪技术研究[D]. 南京: 东南大学, 2020. XIE Chunyu. Research on target detection and tracking technology based on infrared and visible dual mode image fusion[D]. Nanjing: Southeast University, 2020.
[11] SONG H, LIU Z, DU H, et al. Depth-aware salient object detection and segmentation via multiscale discriminative saliency fusion and bootstrap learning[J]. IEEE Transactions on Image Processing, 2017, 26(9): 4204-4216. DOI: 10.1109/TIP.2017.2711277
[12] 郑欣悦, 赖际舟, 吕品, 等. 基于红外视觉/激光雷达融合的目标识别与定位方法[J]. 导航定位与授时, 2021, 8(3): 34-41. https://www.cnki.com.cn/Article/CJFDTOTAL-DWSS202103007.htm ZHENG Xinyue, LAI Jizhou, LV Pin, et al. Object detection and positioning method based on infrared vision/lidar fusion[J]. Navigation Positioning & Timing, 2021, 8(3): 34-41. https://www.cnki.com.cn/Article/CJFDTOTAL-DWSS202103007.htm
[13] 康硕, 柯臻铮, 王璇, 等. 基于红外和可见光图像融合的铺丝缺陷检测方法[J]. 航空学报, 2021, 42(12): 425187. https://www.cnki.com.cn/Article/CJFDTOTAL-HKXB202203045.htm KANG Shuo, KE Zhenzheng, WANG Xuan, et al. Detection method of defects in automatic fiber placement based on infrared and visible image fusion[J]. Acta Aeronautica et Astronautica Sinica, 2021, 42(12): 425187. https://www.cnki.com.cn/Article/CJFDTOTAL-HKXB202203045.htm
[14] LIU D, ZHOU D, NIE R, et al. Infrared and visible image fusion based on convolutional neural network model and saliency detection via hybrid l0-l1 layer decomposition[J]. Journal of Electronic Imaging, 2018, 27(6): 063036. http://www.researchgate.net/publication/329955538_Infrared_and_visible_image_fusion_based_on_convolutional_neural_network_model_and_saliency_detection_via_hybrid_l0-l1_layer_decomposition
[15] 马旗, 朱斌, 程正东, 等. 基于双通道的快速低空无人机检测识别方法[J]. 光学学报, 2019, 39(12): 105-115. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201912012.htm MA Qi, ZHU Bin, CHENG Zhengdong, et al. Detection and recognition method of fast low-altitude unmanned aerial vehicle based on dual channel[J]. Acta Optica Sinica, 2019, 39(12): 105-115. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201912012.htm
[16] 白玉, 侯志强, 刘晓义, 等. 基于可见光图像和红外图像决策级融合的目标检测算法[J]. 空军工程大学学报: 自然科学版, 2020, 21(6): 53-59, 100. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm BAI Yu, HOU Zhiqiang, LIU Xiaoyi, et al. An object detection algorithm based on decision-level fusion of visible light image and infrared image[J]. Journal of Air Force Engineering University: Natural Science Edition, 2020, 21(6): 53-59, 100. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm
[17] 唐聪, 凌永顺, 杨华, 等. 基于深度学习的红外与可见光决策级融合检测(英文)[J]. 红外与激光工程, 2019, 48(6): 456-470. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201906045.htm TANG Cong, LING Yongshun, YANG Hua, et al. Decision-level fusion detection for infrared and visible spectra based on deep learning[J]. Infrared and Laser Engineering, 2019, 48(6): 456-470. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201906045.htm
[18] 刘家银, 印杰, 牛博威, 等. 海量网站中博彩类违法网站的捕获方法[J]. 数据采集与处理, 2021, 36(5): 1050-1061. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202105021.htm LIU Jiayin, YIN Jie, NIU Bowei, et al. Capture methods of gambling related illegal websites in massive websites[J]. Journal of Data Acquisition and Processing, 2021, 36(5): 1050-1061. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202105021.htm
[19] DING S, LONG F, FAN H, et al. A novel YOLOv3-tiny network for unmanned airship obstacle detection[C]// IEEE 8th Data Driven Control and Learning Systems Conference (DDCLS), 2019: 277-281.
[20] HUANG G, LIU Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4700-4708.
[21] Pech-Pacheco J L, Cristóbal G, Chamorro-Martinez J, et al. Diatom autofocusing in bright field microscopy: a comparative study[C]//Proceedings 15th International Conference on Pattern Recognition, 2000, 3: 314-317.
[22] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2020, 36(4): 2559-2569. http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9149795
[23] DENG J, DONG W, Socher R, et al. Imagenet: A large-scale hierarchical image database[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009: 248-255.
-
期刊类型引用(4)
1. 党宁，李世峰，于坤義. 基于多尺度伸缩卷积与注意力机制的光伏组件缺陷分割算法. 电子技术应用. 2025(04): 66-71 . 
百度学术
2. 黄志海，邓耀华，吴光栋. IC器件表面缺陷多光谱图像特征融合检测方法. 仪器仪表学报. 2024(09): 24-33 . 百度学术
3. 韩自强，岳明凯，张骢，高棋. 基于孪生网络的无人机目标多模态融合检测. 红外技术. 2023(07): 739-745 . 本站查看
4. 骆元鹏，付江缺，李双江，李红明，张奇，张文成. 基于机器学习算法的光伏组串故障诊断技术研究. 电力大数据. 2023(10): 34-41 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 523
- HTML全文浏览量: 127
- PDF下载量: 103
- 被引次数: 7
