光电侦察吊舱对海广域搜索方法

方喜波

方喜波. 光电侦察吊舱对海广域搜索方法[J]. 红外技术, 2021, 43(11): 1055-1060.
引用本文: 方喜波. 光电侦察吊舱对海广域搜索方法[J]. 红外技术, 2021, 43(11): 1055-1060.
FANG Xibo. Searching Method of the Wide Area of Optical Recon Pod for Sea Targets[J]. Infrared Technology , 2021, 43(11): 1055-1060.
Citation: FANG Xibo. Searching Method of the Wide Area of Optical Recon Pod for Sea Targets[J]. Infrared Technology , 2021, 43(11): 1055-1060.

光电侦察吊舱对海广域搜索方法

详细信息
    作者简介:

    方喜波(1978-),男,湖北新洲人,硕士,高级工程师,主要研究方向为红外成像、光电系统等。E-mail: fangxbrww@163.com

  • 中图分类号: TN965

Searching Method of the Wide Area of Optical Recon Pod for Sea Targets

  • 摘要: 光电侦察吊舱对海搜索方式与搜索范围是直升机对海搜索效率与搜索力配置研究的基础。基于直升机及其光电侦察吊舱的性能特点,提出了直升机对海搜索的两种基本搜索方式和覆盖面积;建立了直升机搜索面积计算模型,为直升机系统采用不同的搜索方式进行搜索时计算其搜索效率和搜索力的配置提供了决策依据。为了易于搜索区域发现感兴趣的目标,同时介绍了针对扫描搜索区域图像拼接的处理方法。
    Abstract: The search efficiency of a sea target helicopter can be studied based on the searching method and search width of the optical recon pod of the helicopter. According to the characteristic performance of the optical recon pod and helicopter, two basic methods of searching and covering square are proposed for the helicopter to search the sea target. According to the developed search covering square, the commander can determine how to configure the recourses to attain the optimal efficiency. In addition, the processing method for image stitching for the scanned search area is introduced to identify the target of interest in the easy search area.
  • 在电力输电线路巡检中,红外成像技术作为探测设备故障的远距离检测的重要工具,具有检测非接触式、安全性强、准确率高以及操作简便等优点[1]。然而,因巡检人员针对现场环境,需要实时录入检测到的故障信息等,不仅加长其巡检时间,且极易出现漏检、误录入等情况[2-3],使得巡检效率受到了不同程度的影响。

    目前,图像处理技术作为辅助手段已经成为提升巡检自动化水平的重要一环。随着巡检无人机以及无人车在电力公司、电网公司的大力推广使用,红外图像处理技术越来越受到关注。众所周知,红外辐射能量的强弱是与物体表面温度大小密切相关的,当物体表面温度越高,其红外辐射强度越大,所体现在红外图像上的灰度值也越大。一般而言,输电线巡检中的电气设备,其故障大多以高温、高热特性为主,为红外图像故障检测提供了潜在的区分特性。早期,阈值划定故障界限通常是研究人员最为关注的一种解决方法。例如,在文献[4]中,提出一种采用经典的最大类间方差法(Otsu)自适应阈值图像分割方法,显然对于温差比较大的区域而言,这种方式简单高效。文献[5]提出了一种新型阈值的选择方法,该方法对目标图像先拟合具有N个相邻点的线性模型计算斜率差的变化趋势,通过在斜率差分布谷值中挑选适合不同类型故障区域的最佳阈值,以及利用形态学迭代腐蚀提取目标区域。针对红外图像背景复杂、信噪比低,文献[6]提出了一种基于Otsu和区域生长相结合的故障分割方法,较好地提取出故障区域。实际上,区域生长是一种类似聚类的方法。基于此,文献[7]提出了采用基于加权切比雪夫距离的K-means算法对输电线路上的变电站电气设备红外图像进行分割。进一步地,文献[8]中提出了基于PCNN分层聚类迭代的故障区域自动提取方法,该方法需要通过设置PCNN模型内在参数并引入聚类机理,从而获得较高的故障区域提取性能。此外,针对不同的红外场景图像,也涌现出了一系列图像处理算法[9-13]

    然而,针对输电线上不同红外对象以及不同场景的红外图像,现有的一些算法适应性都在一定程度上具有局限,其主要体现在红外图像的特性上,例如故障区域的大小以及灰度分布范围。通常,故障区域较小,阈值的选择往往会偏向于低灰度值[14];灰度分布范围过大,则会将背景中的其他区域产生混叠,增加了阈值选择难度。其次,故障区域与非故障区域存在一定的边界,使得阈值机制得不到发挥。基于此,本文提出采用一种基于最大相似度阈值框架,并融合脉冲耦合神经元同步点火机制,使得脉冲耦合神经网络(Pulse-coupled neural network)阈值以及参数得到进一步优化,从而使PCNN模型具有更好的图像处理能力。最后通过真实电力设备红外图像验证本文方法的有效性。

    针对红外图像,灰度阈值分割机制通常具有高效性,便于快速检测,其中最大相似度阈值(Maximum Similarity Thresholding,MST)[15]机制起源于Otsu算法。不失一般性,可将Otsu算法规则定义为:

    $$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left( {\chi , \gamma \left( t \right)} \right)} \right\} $$ (1)

    式中:S(χ, γ(t))表示对原始图像提取的图像信息χ和在阈值t下获得的图像信息γ(t)之间的相似度度量,即:

    $$ S\left( {\chi , \gamma } \right) = \frac{{\sum\nolimits_{i = 1}^N {\left( {{x_i} - {\mu _\chi }} \right)\left( {{w_i} - {\mu _\gamma }} \right)} }}{{\sqrt {\sum\nolimits_{i = 1}^N {{{\left( {{x_i} - {\mu _\chi }} \right)}^2}\sum\nolimits_{i = 1}^N {{{\left( {{w_i} - {\mu _\gamma }} \right)}^2}} } } }} $$ (2)

    式中:xiwi分别对应图像χγ中第i个像素值;μχμγ表示图像χγ的均值。从式中不难看出,当S=1时表示当图像χγ相同;相反,其值越小,代表差异越大,即越不相似。

    考虑到不同的相似度度量函数对图像处理性能的差异性,例如Otsu方法,采用的类间方差最大或类内方差最小的原则建立阈值选择机制。然而,在式(1)直接度量下,极易发生阈值偏移引发欠分割或过分割。为了增强相似度度量的普适性,MST框架定义为:

    $$ {t^*} = \mathop {\arg \max }\limits_t \left\{ {S\left[ {T\left( \chi \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (3)

    式中:TH表示转换函数,通常在实际图像处理中,转换函数TH需要做相应的设置。不同的转换函数,其处理的结果必然存在一定的差异性,这也使得模型变得更加灵活。

    脉冲耦合神经网络模型(PCNN)[16-17]作为第三代神经网络,其内在的同步点火特性受到了国内外学者的青睐,特别是在图像分割、区域提取等领域,PCNN模型可以通过一定程度的简化,配合内在参数的优化,使得模型的有效性和适用性大大提升。图 1为一种经典的简化PCNN模型[16]

    图  1  PCNN简化模型图
    Figure  1.  Structure of Simplified PCNN

    图 1中,这种经典的PCNN模型中输入层、耦合层以及脉冲发放层是一个循环级联的架构,神经元其内在活动激励随着迭代不断调节,直到神经元同步发放脉冲不再变化为止。因此,相比于其他神经网络图像处理,其不再需要训练和学习,只需要内在参数的调节,即可获得最终的输出。

    其次,耦合层调节当前点火神经元的邻域神经元的活动项,这种机制有助于将具有相同特性的神经元进行聚类,从而便于分割图像区域。

    此外,脉冲发放层是阈值分割机制的体现,是提升图像处理效率较为关键的一个环节,在一定程度上最终奠定了图像的分割结果。

    为了更好地描述图 1的PCNN简化模型,输入层由反馈输入Yi和外部激励Ii组成,其中外部输入Ii与图像区域Ω中第i个像素的灰度值一一对应,即:

    $$ {F_i}\left[ n \right] = {I_i}, i \in \varOmega $$ (4)

    而反馈输入Yi通过内在的权重Wij,形成连接输入Li

    $$ {L_i}\left[ n \right] = \sum\limits_j {{{\boldsymbol{ W}}_{ij}}{{\boldsymbol{ Y}}_j}\left[ {n - 1} \right]} $$ (5)

    式中:n代表迭代次数索引;Wij为神经元ij之间的连接权系数矩阵。通常,相邻神经元欧氏距离的倒数作为权重系数值[16],即:

    $$ {{\boldsymbol{ W}}_{ij}} = \left\{ {\begin{array}{*{20}{l}} {0, \quad \quad \quad \;\, i = j} \\ {\frac{1}{{{{\left\| {i - j} \right\|}_2}}}, \quad i \ne j} \end{array}} \right. $$ (6)

    在耦合层,连接输入和外部输入通过线性耦合方式调节邻域神经元内在活动项Ui

    $$ U_{i}[n]=F_{i}[n]\left\{1+\beta L_{i}[n]\right\} $$ (7)

    式中:β为连接强度系数。

    由于PCNN的迭代结果的输出最终由阈值进行控制。在阈值调节机制上,更多考虑区域特性以及熵等规则[8, 16]。通常,可将阈值设置为:

    $$ {\theta _i}\left[ n \right] = {\hat \theta _i}\left[ {n - 1} \right] $$ (8)

    式中:$ {\hat \theta _i}\left[ {n - 1} \right] $为区域的估计值,例如区域均值。

    连接系数β,其主要作用是调节邻域神经元的内部活动激励,如式(7)所示。为了能够捕获邻域相似神经元,本文采用聚类方差最小方式设置系数β

    $$ \begin{gathered} \mathop {\min }\limits_\beta \sum\limits_{i = 0}^1 {\sum\limits_{x \in {X_i}} {{{\left( {{V_x} - {m_i}\left( n \right)} \right)}^2}} } \quad {\text{s}}{\text{.t}}. \hfill \\ \begin{array}{*{20}{c}} {{V_x} = {I_x}\left( {1 + \beta {L_x}} \right)\quad {\text{if}}\quad x \in {X_0}} \\ {{V_x} = {I_x}\quad \quad \quad \quad \;\;{\text{if}}\quad x \in {X_1}} \end{array} \hfill \\ \end{gathered} $$ (9)

    式中:X0表示当前点火区域的8邻域像素,即为具备内在激励的神经元;X1表示未点火区域的8邻域像素;m0(n)和m1(n)分别代表未点火区域和点火区域在当前迭代时刻n的均值。由此,通过搜素β值,使得式(9)具有最小值,代表局部区域神经元聚类方差最小。

    然后,通过阈值机制,得到脉冲输出:

    $$ {Y_i}\left[ n \right] = \left\{ {\begin{array}{*{20}{l}} {1, \quad {U_i}\left[ n \right] > {\theta _i}\left[ {n - 1} \right]} \\ {0, \quad {\text{otherwise}}} \end{array}} \right. $$ (10)

    即当内部活动项Ui大于阈值时,神经元点火,输出脉冲;反之,输出值Yi[n]为零。

    此外,关于迭代次数n的选择,在现有的一些文献中[16],通常依赖于判断规则,即在PCNN脉冲输出序列中寻找判断规则决定最佳的脉冲输出。然而,这种规则的好坏,决定了最终的提取结果。

    在阈值部分,PCNN模型通常采用式(8)所示的阈值估计,即采用区域的均值替代估计,从而使得PCNN模型在迭代过程中能够合理地将邻域相似的神经元进行聚类。然而,由于红外图像边界的模糊性,容易引起低灰度值的像素进行聚类,从而引起均值θi[n]发生偏差,使得迭代过程变得冗长,并导致最终得不到较好的分割结果。

    为此,本文采用MST框架,对PCNN阈值设置进行优化,利用式(3)的优化方式替代式(8)的阈值,即:

    $$ \mathop {\max }\limits_{{\theta _i}\left[ n \right] = t} \left\{ {S\left[ {T\left( x \right), H\left( {\gamma \left( t \right)} \right)} \right]} \right\} $$ (11)

    考虑到红外图像中故障区域与非故障区域存在边界,因此将转换函数T选择为梯度边界函数:

    $$ T\left( \chi \right) = \left\| {\nabla G\left( {x, y;\sigma } \right)*\chi } \right\| $$ (12)

    式中:*表示卷积;∇为梯度算子;σ表示尺度大小;G为高斯函数:

    $$ G\left( {x, y;\sigma } \right) = \frac{1}{{\sqrt {2{\text{π }}} \sigma }}{{\text{e}}^{ - \left( {{x^2} + {y^2}} \right)/2\sigma _{}^2}} $$ (13)

    由此可以看出,当图像χ经T变换后,得到的结果与图像中梯度信息密切相关。显然,区域分割结果的变换函数H要求具备边界信息。本文采用形态学算子对分割后的二值图像进行处理,则得到:

    $$ H(A)=A-(A \Theta B) $$ (14)

    式中:A为阈值下的二值图像;B为形态学算子(4邻域);Θ表示腐蚀算子。

    为了便于实现,图 2给出了整个算法的处理流程,最终通过选择最大相似度的PCNN时间序列输出作为故障区域提取结果。

    图  2  算法流程框图
    Figure  2.  The flowchart of the algorithm

    为了验证文中方法的图像处理性能,图 3给出了5幅在输电线路巡检中获取的具有代表性的红外图像及其梯度图像,并与经典的Otsu,MST[15]以及现有的PCNN模型[8]进行比较,所有算法均在Intel(R) Core(TM) i5 CPU 4 GB内存PC机Matlab (2010b)上编程实现。

    图  3  红外检测图像(第一行为原始图像,第二行为梯度图像)
    Figure  3.  Infrared images (First row: original images, Second row: gradient images)

    图 4~图 10分别给出了Otsu、MST、现有的PCNN模型以及本文PCNN模型得到的结果图。由于经典的Otsu算法阈值的选取依赖于类内方差最小或类间方差最大原则,因此,得到的阈值并不与图像边界等特征信息有关联,使得其分割结果与期望结果产生偏差,如图 4所示。而MST方法在此基础上融入了相似度法则,经过T变换和H变换,再通过相似度来选择阈值,使得阈值的选择融合了图像的边界以及区域特性,相对来讲,这种方式有利于提取具有边界的目标区域。然而,对于红外图像,得到的结果更倾向于分离背景,而实际的故障区域被目标区域所覆盖,引起故障区域得不到分离,如图 5中图像2,图像4和图像5的结果。另外,从图 6所得到的阈值相似度曲线不难发现,图 6(b)(d)(e)所得到的曲线存在两个峰值,这代表故障区域和非故障区域也存在边界,表明采用最佳的阈值相似度并不能较好地分割故障区域。

    图  4  OTSU方法分割结果
    Figure  4.  Segmentation results of OTSU method
    图  5  MST方法分割结果
    Figure  5.  Segmentation results of MST method
    图  6  MST下相似度结果
    Figure  6.  Similarity results of MST method
    图  7  文献[8]PCNN方法迭代聚类分割结果
    Figure  7.  The segmentation results of PCNN method with reference [8]
    图  8  文献[8]PCNN方法最终分割结果
    Figure  8.  Final segmentation results of PCNN method with reference [8]
    图  9  本文PCNN方法第一次迭代结果
    Figure  9.  Segmentation results of our PCNN model at first PCNN iteration
    图  10  本文PCNN方法最终结果
    Figure  10.  Final Segmentation results of our PCNN model

    图 7为文献[8]中PCNN分层聚类方法分割结果,其得到的分层结果均较为理想。然而,从第3幅图像的分割结果中,连接端子部分因PCNN阈值和连接系数的相关性,使得阈值设置发生了一定的偏移,导致该区域未被分割出来,如图 8所示。而本文方法融入了MST框架,在PCNN自适应迭代获得分割结果后(如图 9),再根据阈值相似度原则设置PCNN阈值,重新再迭代后得到最终的结果,从而避免了阈值设置的不当,最终结果如图 10所示。进一步地,从表 1中不难发现,重新迭代后的相似度结果在很大程度上要优于最先的PCNN迭代后的结果,进而表明本文方法参数设置的有效性,具有较好分离故障区域与非故障区域的能力。

    表  1  阈值相似度评价
    Table  1.  Evaluation of threshold similarity
    Image 1 Image 2 Image 3 Image 4 Image 5
    Original value 0.4081 0.0910 0.5794 0.3050 0.3497
    Final value 0.4440 0.1830 0.6010 0.3497 0.3358
    下载: 导出CSV 
    | 显示表格

    此外,表 2给出了各个方法在时间复杂度上的对比。Otsu方法时间消耗最小,而当融合相似度计算时,即采用MST方法时,其时间消耗就会有所增加。而文献[8]PCNN方法中,需要对整幅图像进行分层聚类,最后再通过合并等操作,因此,其时间复杂度最高。相比于文献[8]的方法,本文PCNN方法在融合MST框架后,其时间复杂度明显得到了降低。

    表  2  时间复杂度度量
    Table  2.  Evaluation of time complex  s
    Image 1 Image 2 Image 3 Image 4 Image 5
    Otsu 0.1395 0.1109 0.0028 0.0021 0.1245
    MST 0.9271 2.8334 0.9680 0.2569 3.0357
    PCNN 1.7231 14.9229 4.4648 1.2141 46.8639
    Proposed 0.9528 6.0775 0.8206 0.2679 13.874
    下载: 导出CSV 
    | 显示表格

    本文提出了一种基于MST框架的PCNN模型输电线路红外图像热故障区域提取方法。该方法融合了MST框架技术,为PCNN阈值最优设置提供了理论基础。同时,在邻域像素同步点火参数的设置上,采用最小聚类方差,使得PCNN模型的参数能够进一步优化,最终获取红外图像中热故障区域。最后针对电气设备红外图像,且与一些常用的算法以及现有的PCNN模型相比,本文方法能较好地提取故障区域。此外,本文方法在图像处理时间上,要优于现有的PCNN方法。在下一步工作中,我们也将继续对此进行优化,使得本文方法能够更好地应用于现场。

  • 图  1   光电侦察吊舱组成框图

    Figure  1.   Optical recon pod composition diagram

    图  2   光电侦察吊舱仿真图

    Figure  2.   Optical recon pod simulation diagram

    图  3   推扫单帧覆盖的面积示意图

    Figure  3.   A map of the area covered by a single frame

    图  4   连续推扫搜索示意图

    Figure  4.   Continuously swipe search schematics

    图  5   侧方搜索区域示意图

    Figure  5.   Side search area diagram

    图  6   基于光电转塔方位角度的图像拼接示意图

    Figure  6.   Image stitching diagram based on the orientation angle of the photoelectric turret

    图  7   基于特征点的图像拼接流程

    Figure  7.   A splicing flowchart based on a feature point

    图  8   基于特征点的图像拼接的实验结果

    Figure  8.   Experimental results of image stitching based on feature points

    表  1   红外热像仪的视场与俯仰方向推扫角速度Ω关系

    Table  1   IR-angle of view and pitch-sweep angular velocityΩ relation

    IR view Pitch angle sweep Ω
    Big view field
    (16.5°×13.3° f=33 mm)
    4.3°/s
    Medium view field
    (8.3°×6.6° f=66 mm)
    2.15°/s
    Small view field
    (4.15°×3.3° f=13 2 mm)
    1.1°/s
    下载: 导出CSV

    表  2   可见光摄像机视场与俯仰方向推扫角速度Ω关系

    Table  2   OE-angle of view and pitch-sweep angular velocityΩ relation

    OE view Pitch angle sweep Ω
    Big view field
    (18°×10° f=17 mm)
    9.42°/s
    Small view field
    (3°×1.67° f=102 mm)
    1.57°/s
    下载: 导出CSV

    表  3   红外热像仪的视场、直升机的飞行速度和吊舱的俯仰角度关系表

    Table  3   The relationship table of view field of IR、flight speed of the helicopter and pitching angle of the pod

    IR view Seep of the plane
    240 km/h 100 km/h 50 km/h The ceiling pitch angle range
    Big view field
    (16.5°×13.3° f=33 mm)
    +110° to -20° +110° to -20° +110° to -20° +110° to -20°
    Medium view field
    (8.3°×6.6° f=66 mm)
    +110° to -20° +110° to -20° +110° to -20° +110° to -20°
    Small view field
    (4.15°×3.3° f=132 mm)
    +110° to +32° +110° to -20° +110° to -20° +110° to -20°
    下载: 导出CSV
  • [1] 李承选, 朱斌. 国外舰载红外搜索跟踪系统[J]. 国防科技, 2005(8): 38-41. https://www.cnki.com.cn/Article/CJFDTOTAL-GFCK200508013.htm

    LI Chengxuan, ZHU Bin. Ship-borne infrared search and tracking system abroad[J]. National Defense Technology, 2005(8): 38-41. https://www.cnki.com.cn/Article/CJFDTOTAL-GFCK200508013.htm

    [2] 谭安胜, 贺凯, 郭江龙. 舰载无人机光电载荷对海搜索方式与搜索宽度[J]. 指挥控制与仿真, 2011(6): 32-33. https://www.cnki.com.cn/Article/CJFDTOTAL-QBZH201106004.htm

    TAN Ansheng, HE Kai, GUO Jianglong. The Search Method and Search Width of Optical Payload of Ship-borne UAV for Sea Target[J]. Command Control and Simulation, 2011(6): 32-33. https://www.cnki.com.cn/Article/CJFDTOTAL-QBZH201106004.htm

    [3] 谭安胜. 舰载无人机光电载荷对海上目标搜索决策分析[J]. 指挥控制与仿真, 2010(4): 22-32. https://www.cnki.com.cn/Article/CJFDTOTAL-QBZH201004004.htm

    TAN Ansheng. The analysis of Ship-borne UAV's photoelectric load to the sea target search decision[J]. Command Control and Simulation, 2010(4): 22-32. https://www.cnki.com.cn/Article/CJFDTOTAL-QBZH201004004.htm

    [4] 谭安胜, 叶丹, 赵金强. 驱护舰编队对潜防御效率与决策分析[J]. 军事运筹与系统工程, 2006(4): 65-69. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYC200604014.htm

    TAN Ansheng, YE Dan, ZHAO Jinqiang. Analysis of submarine defense efficiency and decision-making by escort fleets[J]. Military Operations and Systems Engineering, 2006(4): 65-69. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYC200604014.htm

    [5] 苏宇. 基于特征点的图像拼接技术研究[D]. 西安: 西安电子科技大学, 2008.

    SU Yu. Research on Image Mosaic Based on Feature Points[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2008.

  • 期刊类型引用(1)

    1. 于帅北,曹艳波,费强,王芳,孙景旭. 轻量化量子跟踪系统复合轴精密控制. 光学精密工程. 2024(23): 3469-3478 . 百度学术

    其他类型引用(0)

图(8)  /  表(3)
计量
  • 文章访问数:  315
  • HTML全文浏览量:  47
  • PDF下载量:  77
  • 被引次数: 1
出版历程
  • 收稿日期:  2018-06-18
  • 修回日期:  2018-06-27
  • 刊出日期:  2021-11-19

目录

/

返回文章
返回