基于稀疏增强重加权与掩码块张量的红外弱小目标检测

孙尚琦, 张宝华, 李永翔, 吕晓琪, 谷宇, 李建军

孙尚琦, 张宝华, 李永翔, 吕晓琪, 谷宇, 李建军. 基于稀疏增强重加权与掩码块张量的红外弱小目标检测[J]. 红外技术, 2024, 46(3): 305-313.
引用本文: 孙尚琦, 张宝华, 李永翔, 吕晓琪, 谷宇, 李建军. 基于稀疏增强重加权与掩码块张量的红外弱小目标检测[J]. 红外技术, 2024, 46(3): 305-313.
SUN Shangqi, ZHANG Baohua, LI Yongxiang, LYU Xiaoqi, GU Yu, LI Jianjun. Infrared Dim Target Detection Based on Sparse Enhanced Reweighting and Mask Patch-tensor[J]. Infrared Technology , 2024, 46(3): 305-313.
Citation: SUN Shangqi, ZHANG Baohua, LI Yongxiang, LYU Xiaoqi, GU Yu, LI Jianjun. Infrared Dim Target Detection Based on Sparse Enhanced Reweighting and Mask Patch-tensor[J]. Infrared Technology , 2024, 46(3): 305-313.

基于稀疏增强重加权与掩码块张量的红外弱小目标检测

基金项目: 

国家自然科学基金项目 61841204

国家自然科学基金项目 61962046

国家自然科学基金项目 62001255

国家自然科学基金项目 62066036

国家自然科学基金项目 62262048

内蒙古杰青培育项目 2018JQ02

内蒙古科技计划项目 2020GG0315

内蒙古科技计划项目 2021GG0082

中央引导地方科技发展资金项目 2021ZY0004

内蒙古草原英才,内蒙古自治区自然科学基金 2022MS06017

内蒙古草原英才,内蒙古自治区自然科学基金 2018MS06018

内蒙古草原英才,内蒙古自治区自然科学基金 2019MS06003

教育部“春晖计划”合作科研项目 教外司留1383号

内蒙古自治区高等学校科学技术研究项目 NJZY145

详细信息
    作者简介:

    孙尚琦(1998-),男,硕士生,主要研究方向为遥感图像处理及目标检测。E-mail:sunshangqi8086@163.com

    通讯作者:

    张宝华(1981-),男,博士,教授,硕士生导师,主要从事智能图像处理、红外小目标检测、目标跟踪、行人重识别、智能交通监控等方面的研究。E-mail:zbh_wj2004@imust.edu.cn

  • 中图分类号: TP391.41;TN215

Infrared Dim Target Detection Based on Sparse Enhanced Reweighting and Mask Patch-tensor

  • 摘要: 高度异构的复杂背景破坏了场景的低秩性,现有算法难以利用低秩稀疏恢复方法从背景中分离出小目标。为了解决上述问题,本文将小目标检测问题转化为张量模型的凸优化函数求解问题,提出基于稀疏增强重加权与掩码块张量的检测模型。首先,将掩码块图像以堆叠方式扩展至张量空间,并构建掩码块张量模型以筛选候选目标。在此基础上,利用结构张量构建稀疏增强重加权模型以抑制背景杂波,克服凸优化函数求解过程中设定加权参数的缺陷。实验表明本文检测算法在背景抑制因子及信杂比增益两方面都优于新近代表性算法,证明该算法的有效性。
    Abstract: The high heterogeneity of complex backgrounds destroys the low rank of a scene, and it is difficult for existing algorithms to use low-rank sparse recovery methods to separate dim targets from the background. To resolve this problem, this study transforms the dim target detection problem into a convex optimization function-solving problem for tensor models. It proposes a detection model based on sparsely enhanced reweighting and mask patch tensors. First, the stacked mask patch image was expanded into a tensor space, and a mask patch-tensor model was constructed to filter the candidate targets. Thus, a sparse enhanced reweighting model was constructed using structural tensors to suppress background clutter, and the limitation of setting the weighting parameters can be overcome by solving convex optimization functions. The experiments show that the proposed algorithm outperforms recent representative algorithms regarding the background suppression factor and signal-to-noise ratio gain, demonstrating its effectiveness.
  • 红外探测广泛用于红外预警、搜索潜艇和红外制导等军事领域[1]。由于红外弱小目标缺乏颜色和纹理特征,现有检测方法只能利用灰度分布特征,运动特征以及运动方向等特征[2]。在云层、海天线等复杂多变的场景中,红外小目标极易被复杂背景淹没[3],加上小目标外观、形状和姿态差异显著,噪声杂波干扰严重,检测难度大。

    红外弱小目标检测方法可分为基于滤波的方法、基于视觉系统的方法和基于低秩稀疏恢复的方法[4-5]。目前,以基于低秩稀疏恢复方法为主。Gao[6]构建红外块图像模型(Infrared Patch-Image, IPI),将检测问题转化为低秩恢复和稀疏矩阵求解问题。Dai[7]利用结构先验信息分离目标,通过自适应权重更好地保留目标并抑制强边缘。Zhang[8]提出一种张量核范数部分和(Partial Sum of the Tensor Nuclear Norm, PSTNN)的方法,可以有效抑制背景并保留目标,但计算效率低,在复杂场景中虚警率较高;Wang[9]提出一种全变差-主成分追踪(Total Variation regularization and Principal Component Pursuit, TV-PCP)的红外弱小目标检测算法,实现背景的准确估计,减少背景杂波干扰,在非均匀背景检测精度较高,但是该算法普适性较差;Wang[10]提出稳定的多子空间学习方法(Stable Multi-Subspace Learning, SMSL)提升异构背景的检测精准度,但对于有强杂波信号的复杂场景虚警率较高。Zhang[11]提出一种非凸秩逼近最小化与加权L1范数的检测方法(Non-convex Rank Approximation Minimization, NRAM),通过对边缘引入正则项,保留边缘且抑制背景,在一定程度上降低了虚警率。但面对复杂背景时检测精度低。

    基于深度学习的红外目标检测算法,区别于传统的检测算法,通过卷积神经网络提取特征,减少了对特征提取方式的优化,如降噪处理、图像增强、手工选择提取特征等。Shi等[12]提出基于去噪自编码网络的红外弱小目标检测算法,该算法应用逆向转换思维将小目标当作噪声处理,通过去噪自编码器网络进行去噪,得到干净的背景图像,最后应用红外图像与干净背景图像作差得到待检测的红外目标。Dai等[13]提出基于注意力局部对比网络的红外目标检测算法,通过卷积神经网络提取图像的深层语义特征,并利用编码器学习局部对比度特征,丰富红外目标的特征信息。Hou等[14]提出基于深度学习的鲁棒红外小目标检测网络,构建固定权重和变权重卷积核的深度神经网络特征提取框架,并在特征映射网络提取的小目标的似然图上进行阈值分割,实现对目标的检测。基于深度学习的红外目标检测算法对特定场景要求高,普适性差,但具有很大的发展空间和研究价值。

    为了提高红外弱小目标在复杂背景中的检测效率,本文基于低秩稀疏恢复的方法,提出结合稀疏增强权重与掩码块张量模型的检测算法。通过获取红外图像的掩码图抑制背景杂波,在此基础上构造掩码块张量,不仅保证背景的低秩性,而且有利于通过低秩稀疏恢复方法精确分离目标和背景。并在红外掩码块张量模型中借助结构张量和重加权构建高适配度的稀疏增强权重,高效抑制背景杂波及强边缘。

    通过应用滑窗从左至右遍历红外图像,获取块图像,并将其堆叠成一个3-D立方体,构建基本的红外图像块张量模型:

    $$ \stackrel{\rightharpoonup }{F}=\stackrel{\rightharpoonup }{B}+\stackrel{\rightharpoonup }{T}+\stackrel{\rightharpoonup }{N} $$ (1)

    式中:${\overset{\rightharpoonup }{\mathop{F}}} $,${\overset{\rightharpoonup }{\mathop{B}}} $,${\overset{\rightharpoonup }{\mathop{T}}} $,${\overset{\rightharpoonup }{\mathop{N}}} $∈R$ ^{m \times n \times p} $分别代表输入的红外块张量、背景块张量、目标块张量和噪声块张量。mn分别表示块张量的高和宽,p是块张量的数量。

    在缓慢过渡的背景中,相邻局域具有相关性,可被用来对块图像施加低秩约束。图像矩阵行与列的相关性反映图像的结构信息,相关性越强,矩阵的秩越低。高度异构的背景不具有低秩性,无法提取块张量模型中的低秩分量和稀疏分量。而二值化掩码图像的局部与非局部区域具有较强的相关性,通过构建掩码图可恢复背景的低秩性,因此,如图 1所示,本文改进基础红外块图像模型,首先,采用DoG(Difference of Gaussian)差分高斯带通滤波器提取候选目标并抑制背景杂波和噪声。然后,统计滤波图像的直方图,计算直方图的累积分布函数,确定图像像素的最值范围。本文阈值的调节是根据累积分布函数统计图像像素的最值范围而定的,越是暗小目标,越需要更低的截止阈值,以保证掩码图中的候选目标包含真实的检测目标。通过大于等于阈值的第一个灰度阶,保证生成的掩码图中除了残留的背景杂波以外,依旧包含待检测目标。通过利用背景相关性较强的掩码图构建掩码块张量模型,有利于目标和背景精确分离。

    图  1  掩码块张量生成图
    Figure  1.  Mask patch-tensor generation diagram

    红外小目标在图像中只占据少数像素,因此,目标块张量本质是一个稀疏的张量。

    $$ {\left\| {{\overset{\rightharpoonup }{\mathop{T}}} } \right\|_0} \leqslant g $$ (2)

    式中:||⋅||0l0-范数;g是一个整数,由红外小目标的数量和尺寸决定。

    假设噪声是加性高斯白噪声:

    $$ {\left\| {{\overset{\rightharpoonup }{\mathop{N}}} } \right\|_{\text{F}}} \leqslant \delta , \delta > 0 $$ (3)
    $$ {\left\| {{\overset{\rightharpoonup }{\mathop{F}}} - {\overset{\rightharpoonup }{\mathop{B}}} - {\overset{\rightharpoonup }{\mathop{T}}} } \right\|_{\text{F}}} \leqslant \delta , \delta > 0 $$ (4)

    式中:||⋅||F为F-范数。

    本文所提出的红外目标检测算法是基于低秩稀疏恢复的方法。本文通过应用掩码块张量,将复杂背景转化为一个低秩的张量。张量恢复是从已知张量中分离出低秩张量和稀疏张量,可理解为是一个含有两个变量的目标函数最小化问题,即凸优化函数求解问题。故本文将小目标检测问题转化为张量模型的凸优化函数求解问题:

    $$ \mathop {\min }\limits_{{\overset{\rightharpoonup }{\mathop{B}}} , {\overset{\rightharpoonup }{\mathop{T}}} } {\text{rank}}(\boldsymbol{B}) + \lambda {\left\| {{\overset{\rightharpoonup }{\mathop{T}}} } \right\|_0}, {\text{s}}.{\text{t}}.\quad {\overset{\rightharpoonup }{\mathop{B}}} + {\overset{\rightharpoonup }{\mathop{T}}} = {\overset{\rightharpoonup }{\mathop{F}}} $$ (5)

    式中:B为矩阵;${\overset{\rightharpoonup }{\mathop{B}}} $为张量。

    Goldfarb提出高阶RPCA[15]算法,即鲁棒的张量恢复,通过凸代理Tucker-rank CTrank(${\overset{\rightharpoonup }{\mathop{B}}} $)代替秩,并将||T||0更换为||T||1以简化问题。红外背景块张量的低秩性可以利用张量的三种模态展开矩阵进行验证,将张量秩的正则化项定义为模式展开的所有核范数之和$ \text{CTrank}(\stackrel{\rightharpoonup }{B})={{\displaystyle {\sum }_{i}\Vert {B}_{(i)}\Vert }}_{*},i=1, 2, 3 $。本文掩码图的应用恢复了背景图像的低秩性,将简化RPCA中的凸代理Tucker-rank CTrank(${\overset{\rightharpoonup }{\mathop{B}}} $)操作,无需考虑红外块张量三种模态的展开情况。故将式(5)简化为:

    $$ \mathop {\min }\limits_{{\overset{\rightharpoonup }{\mathop{B}}} , {\overset{\rightharpoonup }{\mathop{T}}} } {\left\| B \right\|_*} + \lambda {\left\| {{\overset{\rightharpoonup }{\mathop{T}}} } \right\|_{1, }}{\text{s}}.{\text{t}}.{\left\| {{\overset{\rightharpoonup }{\mathop{F}}} - {\overset{\rightharpoonup }{\mathop{B}}} - {\overset{\rightharpoonup }{\mathop{T}}} } \right\|_{\text{F}}} \leqslant \delta $$ (6)

    式中:||⋅||*为矩阵B的核范数;||⋅||1l1-范数;λ是加权参数,用于权衡背景块张量和目标块张量。加权参数是块张量中选取候选目标的关键因素,其值偏大时易漏检;偏小时无法清除杂波及强边缘。因此本文构建稀疏增强权重加权方案,避免上述问题。

    为了更好地抑制背景强边缘,在图像结构张量的基础上构建局部结构权重[16],定义如下:

    $$ {W_{{\text{LS}}}} = \exp \left( {h \cdot \frac{{({{{\overset{\rightharpoonup }{\mathop{L}}} }_1} - {{{\overset{\rightharpoonup }{\mathop{L}}} }_2}) - {d_{\min }}}}{{{d_{\max }} - {d_{\min }}}}} \right) $$ (7)

    式中:h是权重参数;${{\overset{\rightharpoonup }{\mathop{L}}} _1}$和${{\overset{\rightharpoonup }{\mathop{L}}} _2}$是基于块张量的结构张量特征值;dmaxdmin分别是$ {{\overset{\rightharpoonup }{\mathop{L}}} _1} - {{\overset{\rightharpoonup }{\mathop{L}}} _2} $的最大值和最小值。

    不合适的惩罚权重会导致漏检或误报,而重加权策略能对稀疏分量施加精准惩罚。本文通过改进凸优化函数中稀疏惩罚项,优化稀疏惩罚策略,降低模型的漏检率和误报率。为了抑制背景杂波,结合红外图像的局部结构权重和稀疏增强重权,构建适配性更强的自适应惩罚权重,克服加权参数λ的局限,提升模型检测精度。

    在基于低秩稀疏恢复的方法中,红外小目标通常被假定是稀疏的。Candes[17]为增强稀疏性,提出重新加权方案并提供指数、倒数和对数函数等多种惩罚加权函数,如(T+σ)-1、exp(-Tk(m, n, p)2)或(T+σ)-2σ=0.01,本文提出的稀疏增强权重函数定义如下:

    $$ W_S^{k + 1}\left( {m, n, p} \right) = \frac{1}{{\sqrt {{T^k}{{(m, n, p)}^2} + \sigma } }} $$ (8)

    式中:σ=0.01;mn分别表示块张量的高和宽;p是块张量的数量;结合局部结构权重和稀疏增强权重,得到高度适配的重加权权重:

    $$ {W^k} = {W_{LS}} \odot W_S^k $$ (9)

    式中:⊙为Hadamard积。

    基于稀疏增强重加权的掩码块张量模型:

    $$ \mathop {\min }\limits_{{\overset{\rightharpoonup }{\mathop{B}}} , {\overset{\rightharpoonup }{\mathop{T}}} } {\left\| \boldsymbol{B} \right\|_*} + \lambda {\left\| {W \odot {\overset{\rightharpoonup }{\mathop{T}}} } \right\|_1}, {\text{s}}{\text{.t}}{\text{.}}\quad {\overset{\rightharpoonup }{\mathop{B}}} {\text{ + }}{\overset{\rightharpoonup }{\mathop{T}}} {\text{ = }}{\overset{\rightharpoonup }{\mathop{F}}} $$ (10)

    高度异构的复杂背景破坏了场景的低秩性,利用低秩稀疏恢复方法从复杂背景中分离出弱小目标,提出基于稀疏增强重加权与掩码块张量的红外弱小目标检测算法,算法流程如表 1所示。首先,通过计算经带通滤波器处理后的红外滤波图像的累积分布函数,构建包含候选目标的二值化掩码图。其次,利用滑窗的方式遍历掩码图获取块图像,并堆叠至一个3-D立方体,以此构建掩码块张量。通过掩码块张量的应用,恢复了红外图像背景的低秩性,并且使得基于张量模型的凸优化函数求解问题无需考虑红外块张量三种模态的展开情况,简化了函数的求解过程。最后,提出匹配性更强的稀疏增强权重,并将其与红外图像的局部结构权重相结合,构建高适配性的稀疏增强重加权权重,来弥补凸优化函数求解过程中λ过大或过小造成的目标检测局限,有效抑制背景杂波和强边缘,提高模型检测精度。

    表  1  本文算法流程
    Table  1.  Algorithm flow in this paper
    1: Input an infrared image fF, and set relevant parameters λ, L=1, h=10, ε=0.01, N, $ {W_{LS}} $;
    2: Initialization: ${{\overset{\rightharpoonup }{\mathop{T}}} ^0}$=y0=0, ${{\overset{\rightharpoonup }{\mathop{B}}} ^0}$=${\overset{\rightharpoonup }{\mathop{F}}} $, ${W_S}$=1, k=0, ${W^0} = {W_{{\text{LS}}}} \odot W_{\text{S}}^o$, μ=5⋅std(vec(${\overset{\rightharpoonup }{\mathop{F}}} $)), i=1, …, N;
    3: Generate filtered image fDOG through DOG bandpass filter.
    4: Obtain the mask image fmask according to cumulative distribution function of fDOG.
    5: Building patch-tensor ${\overset{\rightharpoonup }{\mathop{F}}} $ according to 3-D stacking of patch images.
    6: Compute the local structural weight $ {W_{LS}} $ of infrared image fF according to equation (7).
    7: Update : $ {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} = {{\overset{\rightharpoonup }{\mathop{T}}} _\mu }({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {\varepsilon ^k}) $.
    8: Update: $ {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}} = {S_{\mu \lambda {W^k}}}({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}}) $.
    9: Update: $ {y^{k + 1}} = {y^k} + ({\overset{\rightharpoonup }{\mathop{F}}} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} - {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}})\mu _{_k}^{ - 1} $.
    10: Calculate the sparse enhancement weight $ {W_{LS}} $ of the infrared image fF according to equation (8).
    11: Update: $ {W^{k + 1}} = {W_{{\text{LS}}}} \odot {W_{\text{S}}}^{k + 1} $.
    12: Separate targets ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ according to equation (10).
    13: Restore target patch-tensor ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background patch-tensor $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ to target image fT and background image fB.
    14: Segment the target by the adaptive threshold method.
    下载: 导出CSV 
    | 显示表格

    本文采用云层、海天以及树林背景等10组红外图像进行实验,具体信息如表 2所示。

    表  2  红外图像相关介绍
    Table  2.  Related introduction of infrared image
    Group Image Resolution Scene Source
    1 128×128 Woods MDvsFA[18]
    2 Sea and sky
    3 Sky cloud edge
    4 Heavy cloudy-sky
    5 Sky and leaves
    6 512×512 Dark cloud sky IRSTD-1K[19]
    7 Forest stone scene
    8 280×280 Cloudy sky SIRST[20]
    9 301×205 Cloud sky
    10 273×177 Coast of the cloud coast
    下载: 导出CSV 
    | 显示表格

    实验环境为2.4 GHz AMD A10-9600P的CPU处理器、4 GB内存和MATLAB 2019a的测试软件。

    较小的滑动窗会导致较高的误警率,而过大的滑动窗致使检测精度降低,为了保证目标具有一定的稀疏性且不会产生较高的误警率,本文设定滑动窗的大小为30×30。滑动窗的步长会对模型计算复杂度有影响,滑动窗的步长过小,会增加运算复杂度,延长运算时间,但过分增大滑动窗的步长,缩短运算时间,会导致检测精度降低,结合红外图像大小及实验检测效果,本文设定的滑动窗步长为10。

    为了评价算法的背景抑制性能,选取背景抑制因子(Background Suppression Factor,BSF)和信杂比(Signal to Clutter Ratio,SCR)作为评价指标。SCR衡量目标的检测难度,SCRG(Signal to Clutter Ratio Gain)是图像信杂比增益。BSF和SCRG指标的值越高,则背景抑制性能越好。

    $$ {\text{BSF}} = \frac{{{\sigma _{{\text{in}}}}}}{{{\sigma _{{\text{out}}}}}} $$ (11)

    式中:σinσout分别为抑制前后背景区域的标准方差。

    $$ {\text{SCR}} = \frac{{{\mu _{\text{t}}} - {\mu _{\text{b}}}}}{{{\sigma _{\text{b}}}}} $$ (12)

    式中:μt是目标的平均灰度;μbσb是目标邻域的平均灰度和标准差。

    $$ {\text{SCRG}} = \frac{{{\text{SC}}{{\text{R}}_{{\text{out}}}}}}{{{\text{SC}}{{\text{R}}_{{\text{in}}}}}} $$ (13)

    利用检测率Pd和虚警率Pa作为评价指标,Pd值越大,Pa值越小,表示算法性能更好,并用于绘制ROC(Receiver Operating Curve)曲线评价算法。ROC曲线越凸,说明检测效果越好。

    $$ {P_{\text{d}}} = \frac{{{N_{\text{p}}}}}{{{N_{\text{r}}}}} $$ (14)
    $$ {P_{\text{a}}} = \frac{{{N_{\text{f}}}}}{{{N_{\text{n}}}}} $$ (15)

    式中:Np为检测到的真实目标;Nr为真实目标的数量;Nf为虚假目标的数量;Nn为检测的图像的数量。

    本文选取1~5组,分辨率为128×128的红外图像构造掩码图,如图 2所示,掩码图中包含候选目标和残留微弱的噪声杂波。红色矩形框标出待检测的真实目标。通过与原图像对比,掩码图的应用使得第一组图像的树干强边缘、第二~四组中强云亮边缘和复杂的厚云层以及第五组的暗边缘均得到抑制,有利于算法后续检测。通过掩码图的全局三维显示图与最终检测结果的全局三维显示图对比,明显发现背景杂波噪声以及强边缘均得到很好抑制,不仅验证了掩码图抑制杂波的能力,也证明本文所提算法能够利用低秩稀疏恢复从高度异质的背景中准确分离出弱小目标。

    图  2  红外目标检测掩码图及三维结果显示图
    (a)红外图像;(b)红外掩码图(红框内包含候选目标);(c)掩码图的三维显示图;(d)检测结果图;(e)检测结果三维显示图
    Figure  2.  Infrared target detection mask diagram and three-dimensional result display diagram
    (a) Infrared image; (b) Infrared mask image (candidate targets are included in the red box); (c) 3-D display of the mask image; (d) Detection result image; (e) 3-D display of the detection result

    抑制背景杂波能力是评价红外小目标检测性能的重要指标。本文通过BSF和SCRG指标来评估算法性能。BSF和SCRG值越高,说明算法对背景和噪声的抑制效果越好。表 3为1~10组红外图像上的BSF和SCRG。本文选取9种代表性算法作对比定量分析实验,其中包括基于低秩稀疏的方法,分别为红外块图像模型[6]、张量核范数部分和[8]、全变差-主成分追踪[9]、稳定的多子空间学习方法[10]、非凸秩逼近最小化与加权L1范数算法[11]和奇异值部分和最小化的非负红外块图像(Non-negative IPI model via Partial Sum minimization of singular values,NIPPS)[21],基于滤波的顶帽变换(Tophat)[22]算法,基于局部对比度(Multiscale relative Local Contrast Measure, MLCM)[23]算法以及基于深度学习的内部注意力感知网络(Interior Attention-Aware Network,IAANet)的红外目标检测算法[24]

    表  3  1~10组检测结果的定量比较
    Table  3.  Quantitative comparison of detection results of 1-10 groups
    Methods IPI NIPPS NRAM PSTNN SMSL TV-PCP Tophat MLCM IAANet Ours
    Group 1 SCRG Inf Inf Inf Inf 84.88 89.61 121.78 Inf Inf Inf
    BSF Inf Inf Inf Inf 0.99 4.89 8.28 Inf Inf Inf
    Group 2 SCRG 0.08 0.10 Inf Inf 1.28 1.26 0.96 Inf 0.18 Inf
    BSF 2.10 13.95 Inf Inf 2.41 3.52 6.78 Inf 0.90 Inf
    Group 3 SCRG 7.87 0.11 Inf Inf 1.24 1.24 0.56 0.25 10.05 Inf
    BSF 1.36 25.26 Inf Inf 1.13 0.34 13.10 0.49 0.78 Inf
    Group 4 SCRG 0.21 Inf 0.52 0.46 1.11 0.62 1.13 0.45 0.34 Inf
    BSF 0.56 Inf 0.22 0.23 0.96 0.24 8.59 0.23 0.32 Inf
    Group 5 SCRG 1.14 0.26 Inf Inf 1.08 1.14 2.15 Inf Inf Inf
    BSF 2.78 22.11 Inf Inf 1.37 1.49 28.48 Inf Inf Inf
    Group 6 SCRG 0.90 0.13 0.17 0.76 0.47 2.39 3.23 0.85 0.89 Inf
    BSF 0.85 181.59 3.70 0.85 3.94 52.92 32.28 2.76 0.70 Inf
    Group 7 SCRG 0.78 Inf Inf Inf 0.78 0.52 0.37 Inf Inf Inf
    BSF 2.03 Inf Inf Inf 1.67 1.40 10.99 Inf Inf Inf
    Group 8 SCRG 1.81 0.13 4.26 2.00 1.09 0.39 1.26 Inf 2.08 0.02
    BSF 1.36 2.57 2.73 1.33 1.53 7.64 15.56 Inf 0.72 6.79
    Group 9 SCRG 1.11 Inf Inf Inf 1.12 1.12 1.28 1.30 Inf Inf
    BSF 6.71 Inf Inf Inf 5.10 9.11 0.30 0.30 Inf Inf
    Group 10 SCRG 0.52 0.03 3.20 Inf 1.02 1.03 0.12 0.09 Inf Inf
    BSF 2.77 730.01 729.98 Inf 8.64 40.57 114.37 1.04 Inf Inf
    Note: Inf represents infinity.
    下载: 导出CSV 
    | 显示表格

    表 3中分析知,SMSL、TV-PCP和Tophat算法的SCRG值和BSF值均为有限值。IPI、NIPPS、NRAM、PSTNN、NRAM、MLCM和IAANet算法的SCRG值和BSF值间断性的在不同帧数的红外图像上出现无穷大。BSF和SCRG的值越高,反映局部区域的抑制性能越好。本文所提算法在各组图像上的评价指标数值,仅第8组图像上为有限值,其余9组均为无穷大,证明本文算法的背景及噪声抑制效果更好。

    为检验稀疏增强权重抑制背景分量的性能,选择倒数函数、指数函数等惩罚加权函数作对比实验,如图 3所示。基于指数型权重函数在1~10组图像上的检测结果含有大量的背景杂波以及伪目标点;二次幂倒数型虽然在第3和4组图像上检测效果较好,但在其余组的图像上均未检测到目标。一次幂倒数对应的第1、4、5和10组图像的检测结果中存在伪目标点,除第6组以外其余5组图像均未检测到目标。而本文算法仅在第10组图像的检测结果中残留微弱杂波,其余图像检测结果均无杂波和伪目标,说明所提稀疏增强权重在复杂背景中能够更地抑制背景杂波。

    图  3  惩罚加权函数的检测结果对比。(a)红外图像;(b)原始图像的全局三维显示图;(c)指数型;(d)二次幂倒数型;(e)一次幂倒数型;(f)本文提出惩罚加权函数
    Figure  3.  Comparison of the detection results of the penalty weighting function. (a) Infrared image; (b) The global three -dimensional display of the original image; (c)Index; (d) Two -time dumplings; (e) Disposal type; (f)Proposed

    图 4表示包括本文算法在内的13种红外目标检测算法在1~10组图像上的ROC曲线检测结果,其中除定量分析中的9种算法外,还扩充了加权红外块张量模型算法(Reweighted infrared patch-tensor model, RIPT)[16]、基于Lp-范数约束的非凸优化算法(Non-convex Optimization with Lp-norm Constraint, NOLC)[25]和自正则化加权稀疏模型算法(Self-Regularized Weighted Sparse model, SRWS)[26]。通过ROC曲线对比分析可知,基于红外块图像的IPI算法在第1~4组图像上的检测效果较好,但面对复杂背景适用性不强。基于加权红外块张量模型RIPT算法中的惩罚加权函数适配性低,导致算法鲁棒性较差。NOLC和PSTNN仅在第3组图像上检测效果好。稳定的多子空间学习方法SMSL,对各个区域应用不同的多子空间来减少干扰,在分布均匀的背景中适用性强,面对强边缘及噪声背景,虚警率较高。全变差-主成分追踪TV-PCP算法虽然提高了对背景的估计能力,但该算利用块图像的空间相关性处理复杂背景,导致算法检测不够鲁棒,检测误差大。非凸秩逼近最小化与加权L1范数的NRAM算法仅在第1组图像上表现出较好的检测结果。基于奇异值部分和最小化的非负红外块图像的NIPPS在第2、3、5、6和8组图像上检测结果较好,但该算法不够鲁棒。自正则化加权稀疏模型SRWS检测算法在第5、7、8组图像上检测效果好。基于滤波的Tophat算法,能对均匀背景起到抑制作用且计算量小,但在应对复杂背景时,检测效率低。基于局部对比度的MLCM算法在面对暗小目标时,检测精度低。IAANet算法仅在第3和10组图像上检测效果较好,该算法表现不够鲁棒。而本算法在1~10组图像上,相同误报率下表现出更鲁棒的检测性能。

    图  4  1~10组图像的ROC曲线
    Figure  4.  ROC curves of 1-10 groups of images

    本文将红外小目标检测问题转化为张量模型的凸优化函数求解问题,提出一种基于稀疏增强重加权与掩码块张量的检测算法。通过构建掩码张量模型,确保背景的低秩性而且简化张量模型的求解,有利于目标和背景精确分离。为了提高块张量模型的检测精度,构建适配性更高的稀疏增强权重。实验证明,所提算法检测精度和鲁棒性高于对比方法。今后可以继续优化基于低秩稀疏恢复的红外小目标检测算法,改进图像的块张量模型。

  • 图  1   掩码块张量生成图

    Figure  1.   Mask patch-tensor generation diagram

    图  2   红外目标检测掩码图及三维结果显示图

    (a)红外图像;(b)红外掩码图(红框内包含候选目标);(c)掩码图的三维显示图;(d)检测结果图;(e)检测结果三维显示图

    Figure  2.   Infrared target detection mask diagram and three-dimensional result display diagram

    (a) Infrared image; (b) Infrared mask image (candidate targets are included in the red box); (c) 3-D display of the mask image; (d) Detection result image; (e) 3-D display of the detection result

    图  3   惩罚加权函数的检测结果对比。(a)红外图像;(b)原始图像的全局三维显示图;(c)指数型;(d)二次幂倒数型;(e)一次幂倒数型;(f)本文提出惩罚加权函数

    Figure  3.   Comparison of the detection results of the penalty weighting function. (a) Infrared image; (b) The global three -dimensional display of the original image; (c)Index; (d) Two -time dumplings; (e) Disposal type; (f)Proposed

    图  4   1~10组图像的ROC曲线

    Figure  4.   ROC curves of 1-10 groups of images

    表  1   本文算法流程

    Table  1   Algorithm flow in this paper

    1: Input an infrared image fF, and set relevant parameters λ, L=1, h=10, ε=0.01, N, $ {W_{LS}} $;
    2: Initialization: ${{\overset{\rightharpoonup }{\mathop{T}}} ^0}$=y0=0, ${{\overset{\rightharpoonup }{\mathop{B}}} ^0}$=${\overset{\rightharpoonup }{\mathop{F}}} $, ${W_S}$=1, k=0, ${W^0} = {W_{{\text{LS}}}} \odot W_{\text{S}}^o$, μ=5⋅std(vec(${\overset{\rightharpoonup }{\mathop{F}}} $)), i=1, …, N;
    3: Generate filtered image fDOG through DOG bandpass filter.
    4: Obtain the mask image fmask according to cumulative distribution function of fDOG.
    5: Building patch-tensor ${\overset{\rightharpoonup }{\mathop{F}}} $ according to 3-D stacking of patch images.
    6: Compute the local structural weight $ {W_{LS}} $ of infrared image fF according to equation (7).
    7: Update : $ {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} = {{\overset{\rightharpoonup }{\mathop{T}}} _\mu }({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {\varepsilon ^k}) $.
    8: Update: $ {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}} = {S_{\mu \lambda {W^k}}}({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}}) $.
    9: Update: $ {y^{k + 1}} = {y^k} + ({\overset{\rightharpoonup }{\mathop{F}}} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} - {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}})\mu _{_k}^{ - 1} $.
    10: Calculate the sparse enhancement weight $ {W_{LS}} $ of the infrared image fF according to equation (8).
    11: Update: $ {W^{k + 1}} = {W_{{\text{LS}}}} \odot {W_{\text{S}}}^{k + 1} $.
    12: Separate targets ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ according to equation (10).
    13: Restore target patch-tensor ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background patch-tensor $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ to target image fT and background image fB.
    14: Segment the target by the adaptive threshold method.
    下载: 导出CSV

    表  2   红外图像相关介绍

    Table  2   Related introduction of infrared image

    Group Image Resolution Scene Source
    1 128×128 Woods MDvsFA[18]
    2 Sea and sky
    3 Sky cloud edge
    4 Heavy cloudy-sky
    5 Sky and leaves
    6 512×512 Dark cloud sky IRSTD-1K[19]
    7 Forest stone scene
    8 280×280 Cloudy sky SIRST[20]
    9 301×205 Cloud sky
    10 273×177 Coast of the cloud coast
    下载: 导出CSV

    表  3   1~10组检测结果的定量比较

    Table  3   Quantitative comparison of detection results of 1-10 groups

    Methods IPI NIPPS NRAM PSTNN SMSL TV-PCP Tophat MLCM IAANet Ours
    Group 1 SCRG Inf Inf Inf Inf 84.88 89.61 121.78 Inf Inf Inf
    BSF Inf Inf Inf Inf 0.99 4.89 8.28 Inf Inf Inf
    Group 2 SCRG 0.08 0.10 Inf Inf 1.28 1.26 0.96 Inf 0.18 Inf
    BSF 2.10 13.95 Inf Inf 2.41 3.52 6.78 Inf 0.90 Inf
    Group 3 SCRG 7.87 0.11 Inf Inf 1.24 1.24 0.56 0.25 10.05 Inf
    BSF 1.36 25.26 Inf Inf 1.13 0.34 13.10 0.49 0.78 Inf
    Group 4 SCRG 0.21 Inf 0.52 0.46 1.11 0.62 1.13 0.45 0.34 Inf
    BSF 0.56 Inf 0.22 0.23 0.96 0.24 8.59 0.23 0.32 Inf
    Group 5 SCRG 1.14 0.26 Inf Inf 1.08 1.14 2.15 Inf Inf Inf
    BSF 2.78 22.11 Inf Inf 1.37 1.49 28.48 Inf Inf Inf
    Group 6 SCRG 0.90 0.13 0.17 0.76 0.47 2.39 3.23 0.85 0.89 Inf
    BSF 0.85 181.59 3.70 0.85 3.94 52.92 32.28 2.76 0.70 Inf
    Group 7 SCRG 0.78 Inf Inf Inf 0.78 0.52 0.37 Inf Inf Inf
    BSF 2.03 Inf Inf Inf 1.67 1.40 10.99 Inf Inf Inf
    Group 8 SCRG 1.81 0.13 4.26 2.00 1.09 0.39 1.26 Inf 2.08 0.02
    BSF 1.36 2.57 2.73 1.33 1.53 7.64 15.56 Inf 0.72 6.79
    Group 9 SCRG 1.11 Inf Inf Inf 1.12 1.12 1.28 1.30 Inf Inf
    BSF 6.71 Inf Inf Inf 5.10 9.11 0.30 0.30 Inf Inf
    Group 10 SCRG 0.52 0.03 3.20 Inf 1.02 1.03 0.12 0.09 Inf Inf
    BSF 2.77 730.01 729.98 Inf 8.64 40.57 114.37 1.04 Inf Inf
    Note: Inf represents infinity.
    下载: 导出CSV
  • [1]

    HAN J, YU Y, LIANG K, et al. Infrared small-target detection under complex background based on subblock-level ratio-difference joint local contrast measure[J]. Optical Engineering, 2018, 57(10): 103105.

    [2]

    LIU M, HUANG Z, FAN Z, et al. Infrared dim target detection and tracking based on particle filter[C]// 36th Chinese Control Conference (CCC), 2017: 5372-5378.

    [3]

    WANG H X, DONG H, ZHOU Z Q. Review on dim small target detection technologies in infrared single frame images[J]. Laser & Optoelectronics Progress, 2019, 56(8): 080001.

    [4]

    LI H J, ZHANG P, WANG X W, et al. Infrared small-target detection algorithms: a survey[J]. J. Image Graph., 2020, 25(9): 15.

    [5] 孙彬, 诸葛吴为, 高云翔, 等. 基于潜在低秩表示的红外和可见光图像融合[J]. 红外技术, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576

    SUN B, ZHUGE W W, GAO Y X, et al. Infrared and visible image fusion based on latent low-rank representation[J]. Infrared Technology, 2022, 44(8): 853-862. http://hwjs.nvir.cn/article/id/7fc3a60d-61bb-454f-ad00-e925eeb54576

    [6]

    GAO C, MENG D, YANG Y, et al. Infrared patch-image model for small target detection in a single image[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4996-5009. DOI: 10.1109/TIP.2013.2281420

    [7]

    DAI Y, WU Y, SONG Y. Infrared small target and background separation via column-wise weighted robust principal component analysis[J]. Infrared Physics & Technology, 2016, 77: 421-430.

    [8]

    ZHANG L, PENG Z. Infrared small target detection based on partial sum of the tensor nuclear norm[J]. Remote Sensing, 2019, 11(4): 382. DOI: 10.3390/rs11040382

    [9]

    WANG X, PENG Z, KONG D, et al. Infrared dim target detection based on total variation regularization and principal component pursuit[J]. Image and Vision Computing, 2017, 63: 1-9. DOI: 10.1016/j.imavis.2017.04.002

    [10]

    WANG X, PENG Z, KONG D, et al. Infrared dim and small target detection based on stable multisubspace learning in heterogeneous scene[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5481-5493. DOI: 10.1109/TGRS.2017.2709250

    [11]

    ZHANG L, PENG L, ZHANG T, et al. Infrared small target detection via non-convex rank approximation minimization joint l 2, 1 norm[J]. Remote Sensing, 2018, 10(11): 1821. DOI: 10.3390/rs10111821

    [12]

    SHI M, WANG H. Infrared dim and small target detection based on denoising autoencoder network[J]. Mobile Networks and Applications, 2020, 25: 1469-1483. DOI: 10.1007/s11036-019-01377-6

    [13]

    DAI Y, WU Y, ZHOU F, et al. Attentional local contrast networks for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11): 9813-9824. DOI: 10.1109/TGRS.2020.3044958

    [14]

    HOU Q, WANG Z, TAN F, et al. RISTDnet: Robust infrared small target detection network[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5.

    [15]

    GOLDFARB D, QIN Z. Robust low-rank tensor recovery: models and algorithms[J]. SIAM Journal on Matrix Analysis and Applications, 2014, 35(1): 225-253. DOI: 10.1137/130905010

    [16]

    DAI Y, WU Y. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(8): 3752-3767. DOI: 10.1109/JSTARS.2017.2700023

    [17]

    CANDES E J, WAKIN M B, BOYD S P. Enhancing sparsity by reweighted l1 minimization[J]. Journal of Fourier Analysis and Applications, 2008, 14(5): 877-905.

    [18]

    WANG H, ZHOU L, WANG L. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 8509-8518.

    [19]

    ZHANG M, ZHANG R, YANG Y, et al. ISNET: Shape matters for infrared small target detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 877-886.

    [20]

    DAI Y, WU Y, ZHOU F, et al. Asymmetric contextual modulation for infrared small target detection[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2021: 950-959.

    [21]

    DAI Y, WU Y, SONG Y, et al. Non-negative infrared patch-image model: Robust target-background separation via partial sum minimization of singular values[J]. Infrared Physics & Technology, 2017, 81: 182-194.

    [22]

    TRAPNELL C, PACHTER L, SALZBERG S L. TopHat: discovering splice junctions with RNA-Seq[J]. Bioinformatics, 2009, 25(9): 1105-1111. DOI: 10.1093/bioinformatics/btp120

    [23]

    HAN J, LIANG K, ZHOU B, et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616. DOI: 10.1109/LGRS.2018.2790909

    [24]

    WANG K, DU S, LIU C, et al. Interior attention-aware network for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13.

    [25]

    ZHANG T, WU H, LIU Y, et al. Infrared small target detection based on non-convex optimization with Lp-norm constraint[J]. Remote Sensing, 2019, 11(5): 559. DOI: 10.3390/rs11050559

    [26]

    ZHANG T, PENG Z, WU H, et al. Infrared small target detection via self-regularized weighted sparse model[J]. Neurocomputing, 2021, 420: 124-148. DOI: 10.1016/j.neucom.2020.08.065

  • 期刊类型引用(1)

    1. 姚雪峰,高毅,龙兵,于晨阳,李文昊,于宏柱,张靖,李晓天. 数字微镜器件(DMD)杂散光特性测试方法及装置. 中国光学. 2022(02): 339-347 . 百度学术

    其他类型引用(1)

图(4)  /  表(3)
计量
  • 文章访问数:  84
  • HTML全文浏览量:  34
  • PDF下载量:  32
  • 被引次数: 2
出版历程
  • 收稿日期:  2023-02-22
  • 修回日期:  2023-04-27
  • 刊出日期:  2024-03-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日