基于稀疏增强重加权与掩码块张量的红外弱小目标检测

孙尚琦, 张宝华, 李永翔, 吕晓琪, 谷宇, 李建军

孙尚琦, 张宝华, 李永翔, 吕晓琪, 谷宇, 李建军. 基于稀疏增强重加权与掩码块张量的红外弱小目标检测[J]. 红外技术, 2024, 46(3): 305-313.
引用本文: 孙尚琦, 张宝华, 李永翔, 吕晓琪, 谷宇, 李建军. 基于稀疏增强重加权与掩码块张量的红外弱小目标检测[J]. 红外技术, 2024, 46(3): 305-313.
SUN Shangqi, ZHANG Baohua, LI Yongxiang, LYU Xiaoqi, GU Yu, LI Jianjun. Infrared Dim Target Detection Based on Sparse Enhanced Reweighting and Mask Patch-tensor[J]. Infrared Technology , 2024, 46(3): 305-313.
Citation: SUN Shangqi, ZHANG Baohua, LI Yongxiang, LYU Xiaoqi, GU Yu, LI Jianjun. Infrared Dim Target Detection Based on Sparse Enhanced Reweighting and Mask Patch-tensor[J]. Infrared Technology , 2024, 46(3): 305-313.

基于稀疏增强重加权与掩码块张量的红外弱小目标检测

基金项目: 

国家自然科学基金项目 61841204

国家自然科学基金项目 61962046

国家自然科学基金项目 62001255

国家自然科学基金项目 62066036

国家自然科学基金项目 62262048

内蒙古杰青培育项目 2018JQ02

内蒙古科技计划项目 2020GG0315

内蒙古科技计划项目 2021GG0082

中央引导地方科技发展资金项目 2021ZY0004

内蒙古草原英才,内蒙古自治区自然科学基金 2022MS06017

内蒙古草原英才,内蒙古自治区自然科学基金 2018MS06018

内蒙古草原英才,内蒙古自治区自然科学基金 2019MS06003

教育部“春晖计划”合作科研项目 教外司留1383号

内蒙古自治区高等学校科学技术研究项目 NJZY145

详细信息
    作者简介:

    孙尚琦(1998-),男,硕士生,主要研究方向为遥感图像处理及目标检测。E-mail:sunshangqi8086@163.com

    通讯作者:

    张宝华(1981-),男,博士,教授,硕士生导师,主要从事智能图像处理、红外小目标检测、目标跟踪、行人重识别、智能交通监控等方面的研究。E-mail:zbh_wj2004@imust.edu.cn

  • 中图分类号: TP391.41;TN215

Infrared Dim Target Detection Based on Sparse Enhanced Reweighting and Mask Patch-tensor

  • 摘要: 高度异构的复杂背景破坏了场景的低秩性,现有算法难以利用低秩稀疏恢复方法从背景中分离出小目标。为了解决上述问题,本文将小目标检测问题转化为张量模型的凸优化函数求解问题,提出基于稀疏增强重加权与掩码块张量的检测模型。首先,将掩码块图像以堆叠方式扩展至张量空间,并构建掩码块张量模型以筛选候选目标。在此基础上,利用结构张量构建稀疏增强重加权模型以抑制背景杂波,克服凸优化函数求解过程中设定加权参数的缺陷。实验表明本文检测算法在背景抑制因子及信杂比增益两方面都优于新近代表性算法,证明该算法的有效性。
    Abstract: The high heterogeneity of complex backgrounds destroys the low rank of a scene, and it is difficult for existing algorithms to use low-rank sparse recovery methods to separate dim targets from the background. To resolve this problem, this study transforms the dim target detection problem into a convex optimization function-solving problem for tensor models. It proposes a detection model based on sparsely enhanced reweighting and mask patch tensors. First, the stacked mask patch image was expanded into a tensor space, and a mask patch-tensor model was constructed to filter the candidate targets. Thus, a sparse enhanced reweighting model was constructed using structural tensors to suppress background clutter, and the limitation of setting the weighting parameters can be overcome by solving convex optimization functions. The experiments show that the proposed algorithm outperforms recent representative algorithms regarding the background suppression factor and signal-to-noise ratio gain, demonstrating its effectiveness.
  • 电力线等输电设施受各种内外部因素影响,长期工作后会出现老化、断股、散股、缺陷、污秽等问题,并产生局部放电现象。局部放电会进一步加速设备绝缘劣化,导致电气设备故障。据统计,局部放电导致的绝缘故障约占总电力故障的80%,局部放电检测已成为发现设备故障和潜在危险的最重要方法[1]。目前,针对放电的检测方法有红外、超声波、脉冲电流、超高频和紫外放电检测,紫外放电检测是一种光学检测手段,与其他检测方法相比,紫外成像法具有准确度更高、抗干扰能力强等优势,被广泛应用于电力设备的局部放电检测。

    目前在电力系统中所应用的紫外成像仪类型主要有两种:一类是夜间型紫外相机,这类相机利用全波段的紫外光成像拍摄局部放电,以前苏联的Filin-6型紫外探测仪为例,这类紫外探测相机在白天无法使用;另一类是“日盲”型紫外相机,对放电产生的240~280 nm的“日盲”紫外光进行成像,如OFIL公司的Luminar紫外成像仪,这类相机不受太阳光的干扰,在白天也能使用[2]

    为了能够对电力设备的故障进行自动诊断,学者们研究将各类探测相机安装在巡检机器人或者无人机上拍摄变电站设备和高压输变电线路绝缘子及电力线图像[3],利用算法自动检测及识别设备与电力线的局部放电。基于紫外图像电力设备局部放电检测方法一般包括3步[4]:①将紫外视频流帧图像进行变换,将RGB紫外图像转换为灰度图像或者HSV图像;②对紫外图像进行分割获取局部放电目标区域;③计算目标区域的面积,周长等参数对放电区域进行量化和修正,从而判断放电严重程度[5-6]。其中,放电区域准确分割是关键环节,分割准确性直接影响放电区域量化及评价准确性。

    文献[7]在实验室环境下模拟电晕绝缘子放电实验,拍摄其局部放电紫外图像,直接对紫外图像阈值分割,利用阈值滤波去除噪声获得局部放电区域精确分割结果。文献[8]利用高斯函数对紫外图像的光斑区域像素与非光斑区域图像进行对比度增强,再利用阈值分割法分割放电区域。文献[9]等引入Chan-Vese水平集模型对紫外图像进行分割处理,根据放电区域的光斑面积、边界周长、长轴、短轴等参数来评估放电状态。文献[10]基于泊松分布建立紫外放电目标检测模型,构建紫外图像的泊松概率映射图,基于概率映射图利用改进Otsu阈值分割法分割图像得到放电区域。如文献[11]建立改进SSD模型对紫外放电视频流进行训练,自动识别紫外图像中的放电区域,并对放电严重程度进行评估。以上基于紫外图像的局部放电检测方法对日盲型紫外相机拍摄的紫外图像处理效果较好,但是不适用于夜间型紫外相机拍摄的紫外图像。

    “日盲”紫外相机拍摄的图像与夜间型紫外相机拍摄的放电图像完全不同,“日盲”紫外相机拍摄的局部放电区域光斑非常清晰,与背景的对比度明显,如图 1所示,白色斑块为局部放电区域,其颜色与其背景完全不同,将图像转换为灰度图,利用阈值分割法可以直接准确分割出放电区域,或者将“日盲”紫外图像转HSV空间,无需经过任何处理,利用颜色阈值能直接分割出放电区域,分割结果如图 1(b)所示,采用传统的阈值分割法对“日盲”紫外图像可以比较准确地分割出放电区域。然而,这些方法并不适合于夜间型紫外相机拍摄的图像。夜间型紫外相机能拍摄到放电区域,成像质量受相机参数和环境影响,局部放电区域图像与其背景对比度不明显,光斑图像与电气设备颜色或者亮度相接近,如图 2所示,图 2中红色矩形框内的灰度图像放大如图蓝色和红色矩形框所示,放电区域矩形框内的灰度值与电力线的灰度值基本一致,两个区域的灰度均值约197,因此通过阈值分割法难以直接将放电区域精确分割出来。

    图  1  “日盲”紫外图像及电晕放电分割结果
    Figure  1.  Solar-blind UV image and its corona discharge segmentation results
    图  2  夜间型紫外图像及局部灰度
    Figure  2.  Night-type UV image and gray image of local area

    因此,本文提出了一种夜间型紫外图像局部放电精确分割方法,先基于Unet深度学习语义分割模型对紫外图像放电区域粗分割,得到大致放电区域,再利用前景方差加权Otsu阈值分割法对放电区域精确分割,从而实现对放电区域的精确分割。

    图像语义分割是对每一个像素点进行分类,根据每个点的所属类别实现区域划分。目前,语义分割已被广泛应用于自动驾驶、医学图像等场景。近年来,卷积神经网络(convolutional neural networks, CNN)已经在图像语义分割中广泛应用,比较经典的网络模型有全卷积神经网络(fully convolutional neural networks, FNN)、Segnet、DeepLab和UNet系列等。UNet网络最早应用在医学图像分割中,相比于FCN,Segnet,Deeplab等系列的经典图像分割模型,UNet网络在训练样本较少的情况下能获得更准确的分割结果。对夜间型紫外图像,局部放电区域呈电火花形态,其形态与电力设备完全不同,因此,可以通过语义分割方法将放电区域粗略分割出来。在紫外图像电气设备故障检测中,缺少公开数据集,属于小样本的目标分割,因此,本文利用UNet网络对电气设备紫外放电图进行特征分割。

    UNet网络结构简单,整个网络可以分为编码和解码,或者主干特征提取网络和加强特征提取网络[12],网络结构如图 3所示,在主干特征提取网络(编码)中利用3×3卷积模板进行5层卷积,卷积模板数分别是64、128、256、512和1024,2×2最大池化对卷积后的特征图下采样,使图像特征图尺寸减小,且采用relu作为激活函数。

    图  3  UNet网络结构
    Figure  3.  UNet network structure

    在加强特征提取(解码)网络中对特征图逐步上采样和卷积来恢复图像尺寸和特征图通道数,解码器和编码器之间通过跳跃连接进行特征图融合,融合后继续卷积,最后通过1×1×C卷积输出分割图像结果,其中C为通道数或图像分割类别。

    数据集来源于某网省公司利用FiLin-6夜间型紫外探测仪现场采集的高压输变电线路上的电力线紫外视频图像,视频单帧图像的大小是640×368。每一个紫外视频图像中包含了近1 000帧图像,随机选取2个视频流作为训练样本,将视频流转换成图像帧,对每一帧图像进行样本标记。

    若电力线存在绝缘故障导致局部放电,其放电紫外图像呈电火花形状,跟电力线的形状完全不一样。但受拍摄角度及距离影响,有些电火花区域与电力线完全分离、电火花区域覆在电力线或者电力设备上、放电区域图像大小不一,形态各异。为了精确量化放电量,需要分割出放电区域,建立统一的标注规范是保证训练模型精度的基础,标注时遵循以下3点原则:①标注时尽量全部标注出放电光子图像,标注区域大于实际放电区域;②尽量不要将非放电区域的电力线或者电力设备标注在放电区域范围内;③多个电火花交叉时,尽量独立标注每个放电区域。本文使用Labelme工具对放电区域进行标注,对放电区域形成分割图像的标签(真值),并生成json文件,标签图像示例如图 4所示。

    图  4  样本标签
    Figure  4.  Labels of sample

    模型训练平台操作系统Ubuntu 18.04,采用了tensorflow深度学习框架搭建UNet网络。将已标注的1874张红外图片作为训练样本,以4:1的比例随机分配训练集与测试集,两者的样本图数量分别是1406和468,UNet网络采用交叉熵作为损失函数,损失函数定义如下:

    $$ E = \sum\nolimits_c^C {{\omega _c}{{\log }_2}({p_c}({z_i}))} $$ (1)

    式中:ωc为类别c的损失权重;pc(zi)为像素zi属于真实类别c的概率;C表示总的类别数,本文中C=2。训练得到的损失函数如图 5所示,模型在epoch为50左右达到收敛,且其损失值loss接近0。

    图  5  损失函数曲线
    Figure  5.  Curves of the loss function

    将测试样本输入已训练的Unet网络中测试网络分割效果,电力线放电区域语义分割结果如图 6所示,图 6第一行是高压电力线拍摄的4段不同电力线视频帧截图,其中红色椭圆圈内存在局部放电,各图对应的语义分割结果如图 6第二行所示,利用Unet模型能够粗略地分割出放电区域,但是还包含了一些非放电背景区域。

    图  6  电晕放电图像语义分割
    Figure  6.  Corona discharge semantic segmentation

    通过对紫外图像进行语义分割可以粗略分割出放电区域,为了精确计算光子数,需要在粗分割的基础上对放电区域精确分割。因此,本文对语义分割出的放电区域图像进行灰度变换,将RGB图像转换成灰度图像,再利用阈值分割法进一步精确分割。

    常用的阈值分割方法有Otsu[13]、最大熵[14]和最小错误率[15]等,当图像直方图呈双峰分布时许多阈值分割方法均能取得较好的分割结果。分析语义分割结果发现,放电区域中包含了全部的放电图像,也包含了少部分的非放电图像,紫外图像中放电区域比非放电区域图像更亮,即非放电区域的灰度图像的像素值更低,放电区域对应的灰度图像的像素值更高,且非放电区域的像素点更少,放电区域的像素点数量更多。对放电区域统计其直方图,分析放电区域直方图,其图像直方图双峰不明显,如图 7所示。为了更好地描述,此处将低灰度区域的非放电区域当作前景,高灰度区域的放电区域图像当作背景。文献[16]指出,当低灰度的前景区域大小和高灰度背景区域的大小不一致时,Otsu阈值分割方法的分割阈值更靠近高灰度级,将部分背景图像划分为前景,使前景和背景的大小尽可能接近。如果直接用Otsu阈值分割法对放电区域图像分割,会将部分放电区域分割成前景区域,分割结果不准确。因此,本文提出改进Otsu阈值分割方法对放电图像精确分割。

    图  7  放电区域灰度直方图
    Figure  7.  Histogram of discharge area image

    改进的Otsu阈值分割方法如下:设图像大小为M×N,图像灰度级范围为[0, L-1],ni为图像灰度级i的像素点数,灰度级i出现的概率为:Pini (M×N),设图像中灰度级低于t的像素点构成C0类,灰度级高于t的像素点构成C1类,若P0(t),P1(t)表示C0类和C1类的出现的概率;u0(t),u1(t)表示C0类和C1类的平均灰度级[17]。则有:

    $$ {P_0}(t) = \sum\limits_{i = 1}^t {{P_i}} $$ (2)
    $$ {P_1}(t) = \sum\limits_{i = t + 1}^{L - 1} {{P_i} = 1 - {P_0}(t)} $$ (3)
    $$ {u_0}(t) = \sum\limits_{i = 0}^t {i\frac{{{P_i}}}{{{P_1}(t)}}} $$ (4)
    $$ {u_1}(t) = \sum\limits_{i = t - 1}^L {i\frac{{{P_i}}}{{{P_1}(t)}}} $$ (5)

    图像的类间方差δb(t)表示为:

    $$ {\delta _b}(t) = {P_0}(t)u_0^2(t) + {P_1}(t))u_1^2(t) $$ (6)

    当内间方差达到最大时该灰度级为最优阈值,即Otsu阈值:

    $$ {T_{Ostu}} = \text{ar}{\text{g}_{\text{l} < t < L}}\text{max} \left\{ {{\delta _\text{b}}\left( t \right)} \right\} $$ (7)

    文献[16]证明,Otsu阈值可通过公式(8)计算得到:

    $$ T_{\text {Ostu }}=\left(u_0\left(T_{\text {Ostu }}\right)+u_1\left(T_{\text {Ostu }}\right) / 2\right. $$ (8)

    Otsu阈值偏向于方差较大的一类,将大部分的背景区域分割成目标,使得两类图像的大小相似[17]。由于前景区域比较小,背景区域比较大,需要使前景方差小,背景方差更大才能使分割结果接近理想阈值。为了使分割结果更接近最佳分割结果,对前景方差加权,使加权后的前景方差小于原始目标方差。因此,改进Otsu分割法表示为:

    $$ {Y}_{b}(t)=\omega {P}_{0}(t){u}_{0}^{2}(t)+{P}_{1}(t){u}_{1}^{2}(t) $$ (9)

    最优阈值:

    $$ T = {\arg _{l < t < L}}\max \left\{ {{Y_\text{b}}(t)} \right\} $$ (10)

    式中:ω为权重,其值范围为[0, 1]。本文令ωP0(t),P0(t)表示前景出现的概率,当图像中前景比较多,P0(t)值较大,赋予前景方差的权重较大,当前景小,前景的方差应该更小,ω权重也更小,从而自适应实现对前景方差加权。

    图 8(a)为电力线局部放电语义分割结果,对语义分割得到的放电区域计算图像的类间方差,其类间方差曲线及得到的分割阈值如图 8(b)所示,分割结果如图 8(c)(d),可见本文方法分割结果更准确,误分割像素少,几乎完整的将放电区域精确分割。

    图  8  放电区域精确分割结果及比较
    Figure  8.  Discharge area segmentation results and comparison for different methods

    为了评价本文方法对紫外图像电力线放电局部区域检测及分割效果,从两个层次对算法进行评价,一是在粗分割层面,通过对放电区域语义分割评价分割准确性;二是精分割层面,通过错误分类误差评价本文方法对放电区域分割的精确性。

    对紫外图像语义分割是电晕放电分割的粗分割,语义分割中通常采用平均交并比(mean intersection over union,MIoU)来评价分割的准确性,MIoU是语义分割效果的度量标准之一,通过计算两个集合的交集和并集的比例来反映分割结果与真实值之间的重合程度,在图像语义分割中,这两个集合分别是标签和预测值[18]。MIoU的值范围为[0, 1],其值越大表示分割效果越好。对二分类,MIOU的定义如下:

    $$ \mathrm{MIOU}=\frac{\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}+\mathrm{FN}}+\frac{\mathrm{TN}}{\mathrm{TN}+\mathrm{FN}+\mathrm{FP}}}{2} $$ (11)

    式中:参数TP(真正例像素个数);TN(真反例像素个数);FP(伪正例像素个数);FN(伪反例像素个数)为混淆矩阵参数[19]

    错误分类误差(mis-classification error,MCE)来评价实际分割结果与真值(真是放电区域)之间的误差。MCE表示前景像素错分为背景,背景像素错分为前景的比例,用MCE值来评价单帧紫外图像的局部放电区域分割准确性[17]

    MCE定义为:

    $$ \mathrm{MCE}=1+\frac{\left|B_0 \wedge B_{\mathrm{T}}\right|+\left|F_0 \wedge F_{\mathrm{T}}\right|}{\left|B_0\right|+\left|F_0\right|} $$ (12)

    式中:B0F0分别表示真值图像的背景和前景;BTFT分别为阈值分割得到的背景和前景;$ \left|•\right| $表示前景或者背景中像素点的数目。MCE反映图像被错误分割的概率,其值范围为[0, 1],MCE值越大表示被错分的像素点越多,分割结果越不准确。局部放电图像没有公开的标准测试图像,因此,对放电图像人工制作真值图像。

    粗分割结果:语义分割是像素级别的分类任务,样本数即为该类别样本的像素点个数之和。对246张大小为640×368样本进行测试,样本集总像素点为57937920,其中放电区域像素点个数为148408,背景像素点个数是57789512,且包含的局部放电区域个数为518个,全部分割出放电区域,部分测试图像语义分割结果如图 9所示,对测试图像的语义分割得到的混淆矩阵如表 1所示。

    图  9  不同方法对电晕放电分割结果比较:(a) 原图;(b) 放电区域真值;(c) Unet分割结果;(d) Otsu分割结果;(e) 本文分割结果
    Figure  9.  Comparison of corona discharge segmentation results for different methods : (a) Original images; (b) Ground-truth of Corona discharge areas; (c) Segmentation results based on Unet network; (d) Segmentation results based on Otsu method; (e) Segmentation results based on our method
    表  1  全部测试图像语义分割混淆矩阵
    Table  1.  Semantic segmentation confusion matrix
    Predict labeled
    True labeled TP=118884 FN=29524
    FP=28980 TN=57760532
    下载: 导出CSV 
    | 显示表格

    Unet网络分割出放电区域像素为147864个,背景像素为57790056个,各类别平均真实标签和预测结果的交并比MIOU为0.834590,可见,根据样本标签,Unet网络能够比较准确地从整个紫外图像中分割出放电区域,从每张图像中分割出所有的放电区域。

    精确分割:为了准确评价放电区域放电情况,需要精确获得放电光子数,因此需要对放电区域进行精确分割。利用MCE来定量衡量本文方法精确分割结果,对测试样本人工手动分割获得放电真值图像。将Unet语义粗分割出来的放电区域用本文改进的Otsu和原始的Otus阈值分割方法对放电区域精分割,并对两种方法的放电精确分割效果进行比较,本文改进Otsu和Otsu阈值分割方法对测试样本的平均MCE值分别是0.0223,0.2194。图 9是4个不同样本电力线电晕放电情况放电区域分割情况,其中图 11(a)~(e)分别是紫外放电原图、放电区域真值、Unet分割结果、Otsu和本文改进Otsu方法精确分割结果。Unet网络粗分割、Otsu和本文改进Otsu方法精确分割与真值图像之间的差异用MCE量化,量化结果见表 2所示。从图 9表 2数据可知,本文精确分割得到的放电区域与真值几乎完全相同,MCE值接近0,远小于其他两种分割结果。

    表  2  部分图像分割的MCE值
    Table  2.  The MCE values of image segmentation
    Segmentation method Sample 1 Sample 2 Sample 2 Sample 3
    Unet 0.3638 0.4752 0.6675 0.5475
    Otsu 0.2301 0.1394 0.2137 0.1909
    Our method 0.0542 0.0338 0.0165 0.0291
    下载: 导出CSV 
    | 显示表格

    综上实验结果可知,通过对放电区域语义分割可以将全部放电区域标记出来,但是标记的放电区域包含许多背景,与真实放电区域存在较大差异;通过对语义分割结果进一步利用阈值分割可以去除部分背景,本文提出的精确分割方法比Otsu阈值分割结果更准确,分割出的放电区域与真实值之间的误差小,误差接近0。

    本文研究了一种夜间型紫外图像局部放电检测方法,深度学习语义分割模型对紫外图像粗分割得到大致放电区域,再利用前景加权Otsu阈值分割方法对粗分割结果进行阈值分割得到放电区域精确分割结果。本文方法全部准确检测出测试样本中的每一个局部放电区域,无误检测,且分割出的放电区域与真实值之间的误差接近0,分割出的放电区域为放电大小量化和评估提供精确的数据源。限于篇幅,本文没有对放电大小进行量化和修正,后续将在次基础上展开局部放电量化及评估方法研究。

  • 图  1   掩码块张量生成图

    Figure  1.   Mask patch-tensor generation diagram

    图  2   红外目标检测掩码图及三维结果显示图

    (a)红外图像;(b)红外掩码图(红框内包含候选目标);(c)掩码图的三维显示图;(d)检测结果图;(e)检测结果三维显示图

    Figure  2.   Infrared target detection mask diagram and three-dimensional result display diagram

    (a) Infrared image; (b) Infrared mask image (candidate targets are included in the red box); (c) 3-D display of the mask image; (d) Detection result image; (e) 3-D display of the detection result

    图  3   惩罚加权函数的检测结果对比。(a)红外图像;(b)原始图像的全局三维显示图;(c)指数型;(d)二次幂倒数型;(e)一次幂倒数型;(f)本文提出惩罚加权函数

    Figure  3.   Comparison of the detection results of the penalty weighting function. (a) Infrared image; (b) The global three -dimensional display of the original image; (c)Index; (d) Two -time dumplings; (e) Disposal type; (f)Proposed

    图  4   1~10组图像的ROC曲线

    Figure  4.   ROC curves of 1-10 groups of images

    表  1   本文算法流程

    Table  1   Algorithm flow in this paper

    1: Input an infrared image fF, and set relevant parameters λ, L=1, h=10, ε=0.01, N, $ {W_{LS}} $;
    2: Initialization: ${{\overset{\rightharpoonup }{\mathop{T}}} ^0}$=y0=0, ${{\overset{\rightharpoonup }{\mathop{B}}} ^0}$=${\overset{\rightharpoonup }{\mathop{F}}} $, ${W_S}$=1, k=0, ${W^0} = {W_{{\text{LS}}}} \odot W_{\text{S}}^o$, μ=5⋅std(vec(${\overset{\rightharpoonup }{\mathop{F}}} $)), i=1, …, N;
    3: Generate filtered image fDOG through DOG bandpass filter.
    4: Obtain the mask image fmask according to cumulative distribution function of fDOG.
    5: Building patch-tensor ${\overset{\rightharpoonup }{\mathop{F}}} $ according to 3-D stacking of patch images.
    6: Compute the local structural weight $ {W_{LS}} $ of infrared image fF according to equation (7).
    7: Update : $ {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} = {{\overset{\rightharpoonup }{\mathop{T}}} _\mu }({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {\varepsilon ^k}) $.
    8: Update: $ {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}} = {S_{\mu \lambda {W^k}}}({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}}) $.
    9: Update: $ {y^{k + 1}} = {y^k} + ({\overset{\rightharpoonup }{\mathop{F}}} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} - {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}})\mu _{_k}^{ - 1} $.
    10: Calculate the sparse enhancement weight $ {W_{LS}} $ of the infrared image fF according to equation (8).
    11: Update: $ {W^{k + 1}} = {W_{{\text{LS}}}} \odot {W_{\text{S}}}^{k + 1} $.
    12: Separate targets ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ according to equation (10).
    13: Restore target patch-tensor ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background patch-tensor $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ to target image fT and background image fB.
    14: Segment the target by the adaptive threshold method.
    下载: 导出CSV

    表  2   红外图像相关介绍

    Table  2   Related introduction of infrared image

    Group Image Resolution Scene Source
    1 128×128 Woods MDvsFA[18]
    2 Sea and sky
    3 Sky cloud edge
    4 Heavy cloudy-sky
    5 Sky and leaves
    6 512×512 Dark cloud sky IRSTD-1K[19]
    7 Forest stone scene
    8 280×280 Cloudy sky SIRST[20]
    9 301×205 Cloud sky
    10 273×177 Coast of the cloud coast
    下载: 导出CSV

    表  3   1~10组检测结果的定量比较

    Table  3   Quantitative comparison of detection results of 1-10 groups

    Methods IPI NIPPS NRAM PSTNN SMSL TV-PCP Tophat MLCM IAANet Ours
    Group 1 SCRG Inf Inf Inf Inf 84.88 89.61 121.78 Inf Inf Inf
    BSF Inf Inf Inf Inf 0.99 4.89 8.28 Inf Inf Inf
    Group 2 SCRG 0.08 0.10 Inf Inf 1.28 1.26 0.96 Inf 0.18 Inf
    BSF 2.10 13.95 Inf Inf 2.41 3.52 6.78 Inf 0.90 Inf
    Group 3 SCRG 7.87 0.11 Inf Inf 1.24 1.24 0.56 0.25 10.05 Inf
    BSF 1.36 25.26 Inf Inf 1.13 0.34 13.10 0.49 0.78 Inf
    Group 4 SCRG 0.21 Inf 0.52 0.46 1.11 0.62 1.13 0.45 0.34 Inf
    BSF 0.56 Inf 0.22 0.23 0.96 0.24 8.59 0.23 0.32 Inf
    Group 5 SCRG 1.14 0.26 Inf Inf 1.08 1.14 2.15 Inf Inf Inf
    BSF 2.78 22.11 Inf Inf 1.37 1.49 28.48 Inf Inf Inf
    Group 6 SCRG 0.90 0.13 0.17 0.76 0.47 2.39 3.23 0.85 0.89 Inf
    BSF 0.85 181.59 3.70 0.85 3.94 52.92 32.28 2.76 0.70 Inf
    Group 7 SCRG 0.78 Inf Inf Inf 0.78 0.52 0.37 Inf Inf Inf
    BSF 2.03 Inf Inf Inf 1.67 1.40 10.99 Inf Inf Inf
    Group 8 SCRG 1.81 0.13 4.26 2.00 1.09 0.39 1.26 Inf 2.08 0.02
    BSF 1.36 2.57 2.73 1.33 1.53 7.64 15.56 Inf 0.72 6.79
    Group 9 SCRG 1.11 Inf Inf Inf 1.12 1.12 1.28 1.30 Inf Inf
    BSF 6.71 Inf Inf Inf 5.10 9.11 0.30 0.30 Inf Inf
    Group 10 SCRG 0.52 0.03 3.20 Inf 1.02 1.03 0.12 0.09 Inf Inf
    BSF 2.77 730.01 729.98 Inf 8.64 40.57 114.37 1.04 Inf Inf
    Note: Inf represents infinity.
    下载: 导出CSV
  • [1]

    HAN J, YU Y, LIANG K, et al. Infrared small-target detection under complex background based on subblock-level ratio-difference joint local contrast measure[J]. Optical Engineering, 2018, 57(10): 103105.

    [2]

    LIU M, HUANG Z, FAN Z, et al. Infrared dim target detection and tracking based on particle filter[C]// 36th Chinese Control Conference (CCC), 2017: 5372-5378.

    [3]

    WANG H X, DONG H, ZHOU Z Q. Review on dim small target detection technologies in infrared single frame images[J]. Laser & Optoelectronics Progress, 2019, 56(8): 080001.

    [4]

    LI H J, ZHANG P, WANG X W, et al. Infrared small-target detection algorithms: a survey[J]. J. Image Graph., 2020, 25(9): 15.

    [5] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576

    SUN B, ZHUGE W W, GAO Y X, et al. Infrared and visible image fusion based on latent low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576

    [6]

    GAO C, MENG D, YANG Y, et al. Infrared patch-image model for small target detection in a single image[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4996-5009. DOI: 10.1109/TIP.2013.2281420

    [7]

    DAI Y, WU Y, SONG Y. Infrared small target and background separation via column-wise weighted robust principal component analysis[J]. Infrared Physics & Technology, 2016, 77: 421-430.

    [8]

    ZHANG L, PENG Z. Infrared small target detection based on partial sum of the tensor nuclear norm[J]. Remote Sensing, 2019, 11(4): 382. DOI: 10.3390/rs11040382

    [9]

    WANG X, PENG Z, KONG D, et al. Infrared dim target detection based on total variation regularization and principal component pursuit[J]. Image and Vision Computing, 2017, 63: 1-9. DOI: 10.1016/j.imavis.2017.04.002

    [10]

    WANG X, PENG Z, KONG D, et al. Infrared dim and small target detection based on stable multisubspace learning in heterogeneous scene[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5481-5493. DOI: 10.1109/TGRS.2017.2709250

    [11]

    ZHANG L, PENG L, ZHANG T, et al. Infrared small target detection via non-convex rank approximation minimization joint l 2, 1 norm[J]. Remote Sensing, 2018, 10(11): 1821. DOI: 10.3390/rs10111821

    [12]

    SHI M, WANG H. Infrared dim and small target detection based on denoising autoencoder network[J]. Mobile Networks and Applications, 2020, 25: 1469-1483. DOI: 10.1007/s11036-019-01377-6

    [13]

    DAI Y, WU Y, ZHOU F, et al. Attentional local contrast networks for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11): 9813-9824. DOI: 10.1109/TGRS.2020.3044958

    [14]

    HOU Q, WANG Z, TAN F, et al. RISTDnet: Robust infrared small target detection network[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5.

    [15]

    GOLDFARB D, QIN Z. Robust low-rank tensor recovery: models and algorithms[J]. SIAM Journal on Matrix Analysis and Applications, 2014, 35(1): 225-253. DOI: 10.1137/130905010

    [16]

    DAI Y, WU Y. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(8): 3752-3767. DOI: 10.1109/JSTARS.2017.2700023

    [17]

    CANDES E J, WAKIN M B, BOYD S P. Enhancing sparsity by reweighted l1 minimization[J]. Journal of Fourier Analysis and Applications, 2008, 14(5): 877-905.

    [18]

    WANG H, ZHOU L, WANG L. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 8509-8518.

    [19]

    ZHANG M, ZHANG R, YANG Y, et al. ISNET: Shape matters for infrared small target detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 877-886.

    [20]

    DAI Y, WU Y, ZHOU F, et al. Asymmetric contextual modulation for infrared small target detection[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2021: 950-959.

    [21]

    DAI Y, WU Y, SONG Y, et al. Non-negative infrared patch-image model: Robust target-background separation via partial sum minimization of singular values[J]. Infrared Physics & Technology, 2017, 81: 182-194.

    [22]

    TRAPNELL C, PACHTER L, SALZBERG S L. TopHat: discovering splice junctions with RNA-Seq[J]. Bioinformatics, 2009, 25(9): 1105-1111. DOI: 10.1093/bioinformatics/btp120

    [23]

    HAN J, LIANG K, ZHOU B, et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616. DOI: 10.1109/LGRS.2018.2790909

    [24]

    WANG K, DU S, LIU C, et al. Interior attention-aware network for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13.

    [25]

    ZHANG T, WU H, LIU Y, et al. Infrared small target detection based on non-convex optimization with Lp-norm constraint[J]. Remote Sensing, 2019, 11(5): 559. DOI: 10.3390/rs11050559

    [26]

    ZHANG T, PENG Z, WU H, et al. Infrared small target detection via self-regularized weighted sparse model[J]. Neurocomputing, 2021, 420: 124-148. DOI: 10.1016/j.neucom.2020.08.065

图(4)  /  表(3)
计量
  • 文章访问数:  84
  • HTML全文浏览量:  34
  • PDF下载量:  32
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-02-22
  • 修回日期:  2023-04-27
  • 刊出日期:  2024-03-19

目录

/

返回文章
返回