Night Vision Anti-halation Method Based on Partition Fusion of Visible and Infrared Images
-
摘要: 针对夜视晕光图像区域特征差异大,导致融合图像视觉效果不理想的问题,提出一种可见光与红外图像分区融合的夜视抗晕光方法。先采用自适应阈值迭代法确定低频系数的晕光阈值,将低频系数划分为晕光与非晕光区域,在晕光区域采用非线性红外系数权值调节策略,依据图像晕光程度合理消除晕光;在非晕光区域采用灰度均值先验权值调节策略,提高较亮图像参与融合的权值,增强暗处区域的可见度。实验结果表明,本文方法对不同程度的夜视晕光场景均具有良好的适用性,能合理且有效地消除晕光,提高夜视融合图像的质量。
-
关键词:
- 夜视抗晕光 /
- 图像融合 /
- 红外图像 /
- Curvelet变换
Abstract: The imperfect visual effects in fused images are caused by the large difference between the regional features of night-vision halation images. To address this problem, a partition fusion method for visible and infrared images is proposed. First, the halation threshold of the low-frequency coefficient, determined by the adaptive threshold iteration method, divided the low-frequency coefficient into halation and nonhalation regions. In the halation region, the proposed nonlinear adjustment method for the infrared coefficient weights eliminated halation according to the degree of halation in the image. In the nonhalation region, the weight adjustment method based on the prior grayscale mean was applied to improve the weight of brighter images participating in the fusion to enhance the visibility of dark areas. The experimental results show that the proposed method can be applied to night-vision halation scenes of different degrees to eliminate halation and improve the quality of night-vision image fusion.-
Keywords:
- night vision anti-halation /
- image fusion /
- infrared Image /
- Curvelet transformation
-
0. 引言
红外探测广泛用于红外预警、搜索潜艇和红外制导等军事领域[1]。由于红外弱小目标缺乏颜色和纹理特征,现有检测方法只能利用灰度分布特征,运动特征以及运动方向等特征[2]。在云层、海天线等复杂多变的场景中,红外小目标极易被复杂背景淹没[3],加上小目标外观、形状和姿态差异显著,噪声杂波干扰严重,检测难度大。
红外弱小目标检测方法可分为基于滤波的方法、基于视觉系统的方法和基于低秩稀疏恢复的方法[4-5]。目前,以基于低秩稀疏恢复方法为主。Gao[6]构建红外块图像模型(Infrared Patch-Image, IPI),将检测问题转化为低秩恢复和稀疏矩阵求解问题。Dai[7]利用结构先验信息分离目标,通过自适应权重更好地保留目标并抑制强边缘。Zhang[8]提出一种张量核范数部分和(Partial Sum of the Tensor Nuclear Norm, PSTNN)的方法,可以有效抑制背景并保留目标,但计算效率低,在复杂场景中虚警率较高;Wang[9]提出一种全变差-主成分追踪(Total Variation regularization and Principal Component Pursuit, TV-PCP)的红外弱小目标检测算法,实现背景的准确估计,减少背景杂波干扰,在非均匀背景检测精度较高,但是该算法普适性较差;Wang[10]提出稳定的多子空间学习方法(Stable Multi-Subspace Learning, SMSL)提升异构背景的检测精准度,但对于有强杂波信号的复杂场景虚警率较高。Zhang[11]提出一种非凸秩逼近最小化与加权L1范数的检测方法(Non-convex Rank Approximation Minimization, NRAM),通过对边缘引入正则项,保留边缘且抑制背景,在一定程度上降低了虚警率。但面对复杂背景时检测精度低。
基于深度学习的红外目标检测算法,区别于传统的检测算法,通过卷积神经网络提取特征,减少了对特征提取方式的优化,如降噪处理、图像增强、手工选择提取特征等。Shi等[12]提出基于去噪自编码网络的红外弱小目标检测算法,该算法应用逆向转换思维将小目标当作噪声处理,通过去噪自编码器网络进行去噪,得到干净的背景图像,最后应用红外图像与干净背景图像作差得到待检测的红外目标。Dai等[13]提出基于注意力局部对比网络的红外目标检测算法,通过卷积神经网络提取图像的深层语义特征,并利用编码器学习局部对比度特征,丰富红外目标的特征信息。Hou等[14]提出基于深度学习的鲁棒红外小目标检测网络,构建固定权重和变权重卷积核的深度神经网络特征提取框架,并在特征映射网络提取的小目标的似然图上进行阈值分割,实现对目标的检测。基于深度学习的红外目标检测算法对特定场景要求高,普适性差,但具有很大的发展空间和研究价值。
为了提高红外弱小目标在复杂背景中的检测效率,本文基于低秩稀疏恢复的方法,提出结合稀疏增强权重与掩码块张量模型的检测算法。通过获取红外图像的掩码图抑制背景杂波,在此基础上构造掩码块张量,不仅保证背景的低秩性,而且有利于通过低秩稀疏恢复方法精确分离目标和背景。并在红外掩码块张量模型中借助结构张量和重加权构建高适配度的稀疏增强权重,高效抑制背景杂波及强边缘。
1. 相关工作
1.1 掩码块张量模型
通过应用滑窗从左至右遍历红外图像,获取块图像,并将其堆叠成一个3-D立方体,构建基本的红外图像块张量模型:
$$ \stackrel{\rightharpoonup }{F}=\stackrel{\rightharpoonup }{B}+\stackrel{\rightharpoonup }{T}+\stackrel{\rightharpoonup }{N} $$ (1) 式中:${\overset{\rightharpoonup }{\mathop{F}}} $,${\overset{\rightharpoonup }{\mathop{B}}} $,${\overset{\rightharpoonup }{\mathop{T}}} $,${\overset{\rightharpoonup }{\mathop{N}}} $∈R$ ^{m \times n \times p} $分别代表输入的红外块张量、背景块张量、目标块张量和噪声块张量。m和n分别表示块张量的高和宽,p是块张量的数量。
在缓慢过渡的背景中,相邻局域具有相关性,可被用来对块图像施加低秩约束。图像矩阵行与列的相关性反映图像的结构信息,相关性越强,矩阵的秩越低。高度异构的背景不具有低秩性,无法提取块张量模型中的低秩分量和稀疏分量。而二值化掩码图像的局部与非局部区域具有较强的相关性,通过构建掩码图可恢复背景的低秩性,因此,如图 1所示,本文改进基础红外块图像模型,首先,采用DoG(Difference of Gaussian)差分高斯带通滤波器提取候选目标并抑制背景杂波和噪声。然后,统计滤波图像的直方图,计算直方图的累积分布函数,确定图像像素的最值范围。本文阈值的调节是根据累积分布函数统计图像像素的最值范围而定的,越是暗小目标,越需要更低的截止阈值,以保证掩码图中的候选目标包含真实的检测目标。通过大于等于阈值的第一个灰度阶,保证生成的掩码图中除了残留的背景杂波以外,依旧包含待检测目标。通过利用背景相关性较强的掩码图构建掩码块张量模型,有利于目标和背景精确分离。
1.2 基于张量模型的凸优化函数
红外小目标在图像中只占据少数像素,因此,目标块张量本质是一个稀疏的张量。
$$ {\left\| {{\overset{\rightharpoonup }{\mathop{T}}} } \right\|_0} \leqslant g $$ (2) 式中:||⋅||0为l0-范数;g是一个整数,由红外小目标的数量和尺寸决定。
假设噪声是加性高斯白噪声:
$$ {\left\| {{\overset{\rightharpoonup }{\mathop{N}}} } \right\|_{\text{F}}} \leqslant \delta , \delta > 0 $$ (3) $$ {\left\| {{\overset{\rightharpoonup }{\mathop{F}}} - {\overset{\rightharpoonup }{\mathop{B}}} - {\overset{\rightharpoonup }{\mathop{T}}} } \right\|_{\text{F}}} \leqslant \delta , \delta > 0 $$ (4) 式中:||⋅||F为F-范数。
本文所提出的红外目标检测算法是基于低秩稀疏恢复的方法。本文通过应用掩码块张量,将复杂背景转化为一个低秩的张量。张量恢复是从已知张量中分离出低秩张量和稀疏张量,可理解为是一个含有两个变量的目标函数最小化问题,即凸优化函数求解问题。故本文将小目标检测问题转化为张量模型的凸优化函数求解问题:
$$ \mathop {\min }\limits_{{\overset{\rightharpoonup }{\mathop{B}}} , {\overset{\rightharpoonup }{\mathop{T}}} } {\text{rank}}(\boldsymbol{B}) + \lambda {\left\| {{\overset{\rightharpoonup }{\mathop{T}}} } \right\|_0}, {\text{s}}.{\text{t}}.\quad {\overset{\rightharpoonup }{\mathop{B}}} + {\overset{\rightharpoonup }{\mathop{T}}} = {\overset{\rightharpoonup }{\mathop{F}}} $$ (5) 式中:B为矩阵;${\overset{\rightharpoonup }{\mathop{B}}} $为张量。
Goldfarb提出高阶RPCA[15]算法,即鲁棒的张量恢复,通过凸代理Tucker-rank CTrank(${\overset{\rightharpoonup }{\mathop{B}}} $)代替秩,并将||T||0更换为||T||1以简化问题。红外背景块张量的低秩性可以利用张量的三种模态展开矩阵进行验证,将张量秩的正则化项定义为模式展开的所有核范数之和$ \text{CTrank}(\stackrel{\rightharpoonup }{B})={{\displaystyle {\sum }_{i}\Vert {B}_{(i)}\Vert }}_{*},i=1, 2, 3 $。本文掩码图的应用恢复了背景图像的低秩性,将简化RPCA中的凸代理Tucker-rank CTrank(${\overset{\rightharpoonup }{\mathop{B}}} $)操作,无需考虑红外块张量三种模态的展开情况。故将式(5)简化为:
$$ \mathop {\min }\limits_{{\overset{\rightharpoonup }{\mathop{B}}} , {\overset{\rightharpoonup }{\mathop{T}}} } {\left\| B \right\|_*} + \lambda {\left\| {{\overset{\rightharpoonup }{\mathop{T}}} } \right\|_{1, }}{\text{s}}.{\text{t}}.{\left\| {{\overset{\rightharpoonup }{\mathop{F}}} - {\overset{\rightharpoonup }{\mathop{B}}} - {\overset{\rightharpoonup }{\mathop{T}}} } \right\|_{\text{F}}} \leqslant \delta $$ (6) 式中:||⋅||*为矩阵B的核范数;||⋅||1为l1-范数;λ是加权参数,用于权衡背景块张量和目标块张量。加权参数是块张量中选取候选目标的关键因素,其值偏大时易漏检;偏小时无法清除杂波及强边缘。因此本文构建稀疏增强权重加权方案,避免上述问题。
1.3 稀疏增强重加权
为了更好地抑制背景强边缘,在图像结构张量的基础上构建局部结构权重[16],定义如下:
$$ {W_{{\text{LS}}}} = \exp \left( {h \cdot \frac{{({{{\overset{\rightharpoonup }{\mathop{L}}} }_1} - {{{\overset{\rightharpoonup }{\mathop{L}}} }_2}) - {d_{\min }}}}{{{d_{\max }} - {d_{\min }}}}} \right) $$ (7) 式中:h是权重参数;${{\overset{\rightharpoonup }{\mathop{L}}} _1}$和${{\overset{\rightharpoonup }{\mathop{L}}} _2}$是基于块张量的结构张量特征值;dmax和dmin分别是$ {{\overset{\rightharpoonup }{\mathop{L}}} _1} - {{\overset{\rightharpoonup }{\mathop{L}}} _2} $的最大值和最小值。
不合适的惩罚权重会导致漏检或误报,而重加权策略能对稀疏分量施加精准惩罚。本文通过改进凸优化函数中稀疏惩罚项,优化稀疏惩罚策略,降低模型的漏检率和误报率。为了抑制背景杂波,结合红外图像的局部结构权重和稀疏增强重权,构建适配性更强的自适应惩罚权重,克服加权参数λ的局限,提升模型检测精度。
在基于低秩稀疏恢复的方法中,红外小目标通常被假定是稀疏的。Candes[17]为增强稀疏性,提出重新加权方案并提供指数、倒数和对数函数等多种惩罚加权函数,如(T+σ)-1、exp(-Tk(m, n, p)2)或(T+σ)-2,σ=0.01,本文提出的稀疏增强权重函数定义如下:
$$ W_S^{k + 1}\left( {m, n, p} \right) = \frac{1}{{\sqrt {{T^k}{{(m, n, p)}^2} + \sigma } }} $$ (8) 式中:σ=0.01;m和n分别表示块张量的高和宽;p是块张量的数量;结合局部结构权重和稀疏增强权重,得到高度适配的重加权权重:
$$ {W^k} = {W_{LS}} \odot W_S^k $$ (9) 式中:⊙为Hadamard积。
基于稀疏增强重加权的掩码块张量模型:
$$ \mathop {\min }\limits_{{\overset{\rightharpoonup }{\mathop{B}}} , {\overset{\rightharpoonup }{\mathop{T}}} } {\left\| \boldsymbol{B} \right\|_*} + \lambda {\left\| {W \odot {\overset{\rightharpoonup }{\mathop{T}}} } \right\|_1}, {\text{s}}{\text{.t}}{\text{.}}\quad {\overset{\rightharpoonup }{\mathop{B}}} {\text{ + }}{\overset{\rightharpoonup }{\mathop{T}}} {\text{ = }}{\overset{\rightharpoonup }{\mathop{F}}} $$ (10) 2. 本文所提算法
高度异构的复杂背景破坏了场景的低秩性,利用低秩稀疏恢复方法从复杂背景中分离出弱小目标,提出基于稀疏增强重加权与掩码块张量的红外弱小目标检测算法,算法流程如表 1所示。首先,通过计算经带通滤波器处理后的红外滤波图像的累积分布函数,构建包含候选目标的二值化掩码图。其次,利用滑窗的方式遍历掩码图获取块图像,并堆叠至一个3-D立方体,以此构建掩码块张量。通过掩码块张量的应用,恢复了红外图像背景的低秩性,并且使得基于张量模型的凸优化函数求解问题无需考虑红外块张量三种模态的展开情况,简化了函数的求解过程。最后,提出匹配性更强的稀疏增强权重,并将其与红外图像的局部结构权重相结合,构建高适配性的稀疏增强重加权权重,来弥补凸优化函数求解过程中λ过大或过小造成的目标检测局限,有效抑制背景杂波和强边缘,提高模型检测精度。
表 1 本文算法流程Table 1. Algorithm flow in this paper1: Input an infrared image fF, and set relevant parameters λ, L=1, h=10, ε=0.01, N, $ {W_{LS}} $; 2: Initialization: ${{\overset{\rightharpoonup }{\mathop{T}}} ^0}$=y0=0, ${{\overset{\rightharpoonup }{\mathop{B}}} ^0}$=${\overset{\rightharpoonup }{\mathop{F}}} $, ${W_S}$=1, k=0, ${W^0} = {W_{{\text{LS}}}} \odot W_{\text{S}}^o$, μ=5⋅std(vec(${\overset{\rightharpoonup }{\mathop{F}}} $)), i=1, …, N; 3: Generate filtered image fDOG through DOG bandpass filter. 4: Obtain the mask image fmask according to cumulative distribution function of fDOG. 5: Building patch-tensor ${\overset{\rightharpoonup }{\mathop{F}}} $ according to 3-D stacking of patch images. 6: Compute the local structural weight $ {W_{LS}} $ of infrared image fF according to equation (7). 7: Update : $ {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} = {{\overset{\rightharpoonup }{\mathop{T}}} _\mu }({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {\varepsilon ^k}) $. 8: Update: $ {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}} = {S_{\mu \lambda {W^k}}}({\overset{\rightharpoonup }{\mathop{F}}} + \mu {y^k} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}}) $. 9: Update: $ {y^{k + 1}} = {y^k} + ({\overset{\rightharpoonup }{\mathop{F}}} - {{\overset{\rightharpoonup }{\mathop{B}}} ^{k + 1}} - {{\overset{\rightharpoonup }{\mathop{T}}} ^{k + 1}})\mu _{_k}^{ - 1} $. 10: Calculate the sparse enhancement weight $ {W_{LS}} $ of the infrared image fF according to equation (8). 11: Update: $ {W^{k + 1}} = {W_{{\text{LS}}}} \odot {W_{\text{S}}}^{k + 1} $. 12: Separate targets ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ according to equation (10). 13: Restore target patch-tensor ${{\overset{\rightharpoonup }{\mathop{T}}} ^k}$ and background patch-tensor $ {{\overset{\rightharpoonup }{\mathop{B}}} ^k} $ to target image fT and background image fB. 14: Segment the target by the adaptive threshold method. 3. 实验结果与分析
3.1 实验环境与设置
本文采用云层、海天以及树林背景等10组红外图像进行实验,具体信息如表 2所示。
表 2 红外图像相关介绍Table 2. Related introduction of infrared image实验环境为2.4 GHz AMD A10-9600P的CPU处理器、4 GB内存和MATLAB 2019a的测试软件。
较小的滑动窗会导致较高的误警率,而过大的滑动窗致使检测精度降低,为了保证目标具有一定的稀疏性且不会产生较高的误警率,本文设定滑动窗的大小为30×30。滑动窗的步长会对模型计算复杂度有影响,滑动窗的步长过小,会增加运算复杂度,延长运算时间,但过分增大滑动窗的步长,缩短运算时间,会导致检测精度降低,结合红外图像大小及实验检测效果,本文设定的滑动窗步长为10。
3.2 评价指标
为了评价算法的背景抑制性能,选取背景抑制因子(Background Suppression Factor,BSF)和信杂比(Signal to Clutter Ratio,SCR)作为评价指标。SCR衡量目标的检测难度,SCRG(Signal to Clutter Ratio Gain)是图像信杂比增益。BSF和SCRG指标的值越高,则背景抑制性能越好。
$$ {\text{BSF}} = \frac{{{\sigma _{{\text{in}}}}}}{{{\sigma _{{\text{out}}}}}} $$ (11) 式中:σin和σout分别为抑制前后背景区域的标准方差。
$$ {\text{SCR}} = \frac{{{\mu _{\text{t}}} - {\mu _{\text{b}}}}}{{{\sigma _{\text{b}}}}} $$ (12) 式中:μt是目标的平均灰度;μb和σb是目标邻域的平均灰度和标准差。
$$ {\text{SCRG}} = \frac{{{\text{SC}}{{\text{R}}_{{\text{out}}}}}}{{{\text{SC}}{{\text{R}}_{{\text{in}}}}}} $$ (13) 利用检测率Pd和虚警率Pa作为评价指标,Pd值越大,Pa值越小,表示算法性能更好,并用于绘制ROC(Receiver Operating Curve)曲线评价算法。ROC曲线越凸,说明检测效果越好。
$$ {P_{\text{d}}} = \frac{{{N_{\text{p}}}}}{{{N_{\text{r}}}}} $$ (14) $$ {P_{\text{a}}} = \frac{{{N_{\text{f}}}}}{{{N_{\text{n}}}}} $$ (15) 式中:Np为检测到的真实目标;Nr为真实目标的数量;Nf为虚假目标的数量;Nn为检测的图像的数量。
3.3 定量分析
本文选取1~5组,分辨率为128×128的红外图像构造掩码图,如图 2所示,掩码图中包含候选目标和残留微弱的噪声杂波。红色矩形框标出待检测的真实目标。通过与原图像对比,掩码图的应用使得第一组图像的树干强边缘、第二~四组中强云亮边缘和复杂的厚云层以及第五组的暗边缘均得到抑制,有利于算法后续检测。通过掩码图的全局三维显示图与最终检测结果的全局三维显示图对比,明显发现背景杂波噪声以及强边缘均得到很好抑制,不仅验证了掩码图抑制杂波的能力,也证明本文所提算法能够利用低秩稀疏恢复从高度异质的背景中准确分离出弱小目标。
图 2 红外目标检测掩码图及三维结果显示图(a)红外图像;(b)红外掩码图(红框内包含候选目标);(c)掩码图的三维显示图;(d)检测结果图;(e)检测结果三维显示图Figure 2. Infrared target detection mask diagram and three-dimensional result display diagram(a) Infrared image; (b) Infrared mask image (candidate targets are included in the red box); (c) 3-D display of the mask image; (d) Detection result image; (e) 3-D display of the detection result抑制背景杂波能力是评价红外小目标检测性能的重要指标。本文通过BSF和SCRG指标来评估算法性能。BSF和SCRG值越高,说明算法对背景和噪声的抑制效果越好。表 3为1~10组红外图像上的BSF和SCRG。本文选取9种代表性算法作对比定量分析实验,其中包括基于低秩稀疏的方法,分别为红外块图像模型[6]、张量核范数部分和[8]、全变差-主成分追踪[9]、稳定的多子空间学习方法[10]、非凸秩逼近最小化与加权L1范数算法[11]和奇异值部分和最小化的非负红外块图像(Non-negative IPI model via Partial Sum minimization of singular values,NIPPS)[21],基于滤波的顶帽变换(Tophat)[22]算法,基于局部对比度(Multiscale relative Local Contrast Measure, MLCM)[23]算法以及基于深度学习的内部注意力感知网络(Interior Attention-Aware Network,IAANet)的红外目标检测算法[24]。
表 3 1~10组检测结果的定量比较Table 3. Quantitative comparison of detection results of 1-10 groupsMethods IPI NIPPS NRAM PSTNN SMSL TV-PCP Tophat MLCM IAANet Ours Group 1 SCRG Inf Inf Inf Inf 84.88 89.61 121.78 Inf Inf Inf BSF Inf Inf Inf Inf 0.99 4.89 8.28 Inf Inf Inf Group 2 SCRG 0.08 0.10 Inf Inf 1.28 1.26 0.96 Inf 0.18 Inf BSF 2.10 13.95 Inf Inf 2.41 3.52 6.78 Inf 0.90 Inf Group 3 SCRG 7.87 0.11 Inf Inf 1.24 1.24 0.56 0.25 10.05 Inf BSF 1.36 25.26 Inf Inf 1.13 0.34 13.10 0.49 0.78 Inf Group 4 SCRG 0.21 Inf 0.52 0.46 1.11 0.62 1.13 0.45 0.34 Inf BSF 0.56 Inf 0.22 0.23 0.96 0.24 8.59 0.23 0.32 Inf Group 5 SCRG 1.14 0.26 Inf Inf 1.08 1.14 2.15 Inf Inf Inf BSF 2.78 22.11 Inf Inf 1.37 1.49 28.48 Inf Inf Inf Group 6 SCRG 0.90 0.13 0.17 0.76 0.47 2.39 3.23 0.85 0.89 Inf BSF 0.85 181.59 3.70 0.85 3.94 52.92 32.28 2.76 0.70 Inf Group 7 SCRG 0.78 Inf Inf Inf 0.78 0.52 0.37 Inf Inf Inf BSF 2.03 Inf Inf Inf 1.67 1.40 10.99 Inf Inf Inf Group 8 SCRG 1.81 0.13 4.26 2.00 1.09 0.39 1.26 Inf 2.08 0.02 BSF 1.36 2.57 2.73 1.33 1.53 7.64 15.56 Inf 0.72 6.79 Group 9 SCRG 1.11 Inf Inf Inf 1.12 1.12 1.28 1.30 Inf Inf BSF 6.71 Inf Inf Inf 5.10 9.11 0.30 0.30 Inf Inf Group 10 SCRG 0.52 0.03 3.20 Inf 1.02 1.03 0.12 0.09 Inf Inf BSF 2.77 730.01 729.98 Inf 8.64 40.57 114.37 1.04 Inf Inf Note: Inf represents infinity. 从表 3中分析知,SMSL、TV-PCP和Tophat算法的SCRG值和BSF值均为有限值。IPI、NIPPS、NRAM、PSTNN、NRAM、MLCM和IAANet算法的SCRG值和BSF值间断性的在不同帧数的红外图像上出现无穷大。BSF和SCRG的值越高,反映局部区域的抑制性能越好。本文所提算法在各组图像上的评价指标数值,仅第8组图像上为有限值,其余9组均为无穷大,证明本文算法的背景及噪声抑制效果更好。
3.4 定性分析
为检验稀疏增强权重抑制背景分量的性能,选择倒数函数、指数函数等惩罚加权函数作对比实验,如图 3所示。基于指数型权重函数在1~10组图像上的检测结果含有大量的背景杂波以及伪目标点;二次幂倒数型虽然在第3和4组图像上检测效果较好,但在其余组的图像上均未检测到目标。一次幂倒数对应的第1、4、5和10组图像的检测结果中存在伪目标点,除第6组以外其余5组图像均未检测到目标。而本文算法仅在第10组图像的检测结果中残留微弱杂波,其余图像检测结果均无杂波和伪目标,说明所提稀疏增强权重在复杂背景中能够更地抑制背景杂波。
图 3 惩罚加权函数的检测结果对比。(a)红外图像;(b)原始图像的全局三维显示图;(c)指数型;(d)二次幂倒数型;(e)一次幂倒数型;(f)本文提出惩罚加权函数Figure 3. Comparison of the detection results of the penalty weighting function. (a) Infrared image; (b) The global three -dimensional display of the original image; (c)Index; (d) Two -time dumplings; (e) Disposal type; (f)Proposed图 4表示包括本文算法在内的13种红外目标检测算法在1~10组图像上的ROC曲线检测结果,其中除定量分析中的9种算法外,还扩充了加权红外块张量模型算法(Reweighted infrared patch-tensor model, RIPT)[16]、基于Lp-范数约束的非凸优化算法(Non-convex Optimization with Lp-norm Constraint, NOLC)[25]和自正则化加权稀疏模型算法(Self-Regularized Weighted Sparse model, SRWS)[26]。通过ROC曲线对比分析可知,基于红外块图像的IPI算法在第1~4组图像上的检测效果较好,但面对复杂背景适用性不强。基于加权红外块张量模型RIPT算法中的惩罚加权函数适配性低,导致算法鲁棒性较差。NOLC和PSTNN仅在第3组图像上检测效果好。稳定的多子空间学习方法SMSL,对各个区域应用不同的多子空间来减少干扰,在分布均匀的背景中适用性强,面对强边缘及噪声背景,虚警率较高。全变差-主成分追踪TV-PCP算法虽然提高了对背景的估计能力,但该算利用块图像的空间相关性处理复杂背景,导致算法检测不够鲁棒,检测误差大。非凸秩逼近最小化与加权L1范数的NRAM算法仅在第1组图像上表现出较好的检测结果。基于奇异值部分和最小化的非负红外块图像的NIPPS在第2、3、5、6和8组图像上检测结果较好,但该算法不够鲁棒。自正则化加权稀疏模型SRWS检测算法在第5、7、8组图像上检测效果好。基于滤波的Tophat算法,能对均匀背景起到抑制作用且计算量小,但在应对复杂背景时,检测效率低。基于局部对比度的MLCM算法在面对暗小目标时,检测精度低。IAANet算法仅在第3和10组图像上检测效果较好,该算法表现不够鲁棒。而本算法在1~10组图像上,相同误报率下表现出更鲁棒的检测性能。
4. 结论
本文将红外小目标检测问题转化为张量模型的凸优化函数求解问题,提出一种基于稀疏增强重加权与掩码块张量的检测算法。通过构建掩码张量模型,确保背景的低秩性而且简化张量模型的求解,有利于目标和背景精确分离。为了提高块张量模型的检测精度,构建适配性更高的稀疏增强权重。实验证明,所提算法检测精度和鲁棒性高于对比方法。今后可以继续优化基于低秩稀疏恢复的红外小目标检测算法,改进图像的块张量模型。
-
表 1 场景1融合图像的客观评价指标
Table 1 Objective evaluation indexes of fused images of Scene 1
Methods DHE μ AG EI SF NSST 0.6554 57.9222 3.7183 38.9179 12.0912 AP-SPCNN 0.6463 52.9799 5.2407 54.9452 15.3742 FPDE 0.7519 54.5537 5.9955 61.4017 17.3364 YUV-WT 0.5446 52.8251 3.3488 34.6032 11.7848 IIHS-CT 0.7764 56.0418 6.9138 71.4292 20.1104 The proposed algorithm 0.8179 63.8456 6.9141 71.5595 20.1938 表 2 场景2融合图像的客观评价指标
Table 2 Objective evaluation indexes of fused images of Scene 2
Methods DHE μ AG EI SF NSST 0.6254 43.8894 2.247 22.7806 7.001 AP-SPCNN 0.6239 40.862 3.8289 37.0247 10.5302 FPDE 0.6818 40.7409 3.9988 38.0394 11.4102 YUV-WT 0.5095 37.8782 1.938 19.1585 6.6523 IIHS-CT 0.6678 41.1376 4.1846 40.1924 11.9776 The proposed algorithm 0.7052 47.0278 4.1932 40.3044 12.0371 表 3 场景3融合图像的客观评价指标
Table 3 Objective evaluation indexes of fused images of Scene 3
Methods DHE μ AG EI SF NSST 0.5496 85.8534 3.3691 36.2355 15.9706 AP-SPCNN 0.5992 85.8104 4.5618 49.1445 18.3228 FPDE 0.5824 86.3078 4.1521 44.0083 18.6224 YUV-WT 0.5352 97.7207 3.1141 33.1751 15.9455 IIHS-CT 0.6596 78.3601 5.5043 58.6815 21.8962 The proposed algorithm 0.6658 88.1846 5.7085 60.8557 22.4823 表 4 场景4融合图像的客观评价指标
Table 4 Objective evaluation indexes of fused images of Scene 4
Methods DHE μ AG EI SF NSST 0.5463 111.603 3.6756 37.9153 17.8965 AP-SPCNN 0.5505 111.599 3.7385 38.6726 17.9412 FPDE 0.5824 108.325 5.5694 53.6701 20.9292 YUV-WT 0.5942 108.322 4.7793 44.9491 19.4084 IIHS-CT 0.7670 100.108 6.1216 60.4035 20.8635 The proposed algorithm 0.7545 102.782 6.2002 61.1985 21.2724 -
[1] 安轩. 滥用远光灯致事故发生要担责[J]. 道路交通管理, 2021(1): 75. https://www.cnki.com.cn/Article/CJFDTOTAL-DLJG202101034.htm AN Xuan. Taking responsibility for accidents caused by misuse of high beams [J]. Road Traffic Management, 2021(1): 75. https://www.cnki.com.cn/Article/CJFDTOTAL-DLJG202101034.htm
[2] Marsell E, Bostrom E, Harth A. Spatial control of multiphoton electron excitations in InAs nanowires by varying crystal phase and light polarization[J]. Nano Letters, 2018, 18(2): 907-915. DOI: 10.1021/acs.nanolett.7b04267
[3] Ashiba H I, Ashiba M I. Super-efficient enhancement algorithm for infrared night vision imaging system[J]. Multimed Tools Appl., 2021, 80: 9721-9747. DOI: 10.1007/s11042-020-09928-w.
[4] YUAN Yubin, SHEN Yu, PENG Jing, et al. Defogging technology based on dual-channel sensor information fusion of near-infrared and visible light[J]. Journal of Sensors, 2020, DOI: 10.1155/2020/8818650. [5] Ashiba H I. Dark infrared night vision imaging proposed work for pedestrian detection and tracking[J]. Multimed Tools Appl. , 2021, 80: 25823–25849. DOI: 10.1007/s11042-021-10864-6.
[6] 王健, 高勇, 雷志勇, 等. 基于双CCD图像传感器的汽车抗晕光方法研究[J]. 传感技术学报, 2007(5): 1053-1056. DOI: 10.3969/j.issn.1004-1699.2007.05.023 WANG Jian, GAO Yong, LEI Zhiyong, et al. Research of auto anti-blooming method based on double CCD image sensor[J]. Chinese Journal of Sensors and Actuators, 2007(5): 1053-1056. DOI: 10.3969/j.issn.1004-1699.2007.05.023
[7] QIAO Tianzhu, CHEN Lulu, PANG Yusong. Integrative multi-spectral sensor device for far-infrared and visible light fusion[J]. Photonic Sensors, 2018, 8(2): 134-145. Doi: 10.1007/s13320-018-0401-4.
[8] HU Haimiao, WU Jiawei, LI Bo. An adaptive fusion algorithm for visible and infrared videos based on entropy and the cumulative distribution of gray levels[J]. IEEE Transactions on Multimedia, 2017, 19(12): 2706-2719. Doi: 10.1109/TMM.2017. 2711422.
[9] 裴佩佩, 杨艳春, 党建武, 等. 基于滚动引导滤波器和卷积稀疏表示的红外与可见光图像融合方法[J]. 激光与光电子学进展, 2022, 59(12): 56-63. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202212005.htm PEI Peipei, YANG Yanchun, DANG Jianwu, et al. Infrared and visible image fusion method based on rolling guidance filter and convolution sparse representation[J]. Laser & Optoelectronics Progress, 2022, 59(12): 56-63. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202212005.htm
[10] 蒋一纯, 刘云清, 詹伟达, 等. 基于图像退化模型的红外与可见光图像融合方法[J]. 电子与信息学报, 2022, 44(12): 4405-4415. DOI: 10.11999/JEIT211112. JIANG Yichun LIU Yunqing ZHAN Weida, et al. Infrared and visible image fusion method based on rolling guidance filter and convolution sparse representation [J]. Journal of Electronics & Information Technology, 2022, 44(12): 4405-4415. DOI: 10.11999/JEIT211112.
[11] CHEN J, WU K, LUO L. Multiscale infrared and visible image fusion based on phase congruency and saliency[C]//2020 IEEE International Geoscience and Remote Sensing Symposium, 2020: 224-227. DOI: 10.1109/IGARSS39084.2020.9324363.
[12] 王昭, 杜庆治, 董安勇, 等. 基于非下采样剪切波变换的红外与可见光图像融合[J]. 光电子·激光, 2020, 31(10): 1062-1073. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ202010009.htm WANG Zhao, DU Qingzhi, DONG Anyong, et al. Infrared and visible image fusion based on nonsubsampled shearlet transform[J]. Journal of Optoelectronics·Laser, 2020, 31(10): 1062-1073. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ202010009.htm
[13] ZHANG L, ZENG G, WEI J, et al. Multi-modality image fusion in adaptive-parameters SPCNN based on inherent characteristics of image [J]. IEEE Sensors Journal, 2022, 20(20): 11820-11827. DOI: 10.1109/JSEN.2019.2948783.
[14] 高雪琴, 刘刚, 肖刚, 等. 基于FPDE的红外与可见光图像融合算法[J]. 自动化学报, 2020, 46(4): 796-804. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202004013.htm GAO Xueqin, LIU Gang, XIAO Gang, et al. Fusion algorithm of infrared and visible images based on FPDE[J]. Acta Automatica Sinica, 2020, 46(4): 796-804. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202004013.htm
[15] 郭全民, 董亮, 李代娣. 红外与可见光图像融合的汽车抗晕光系统[J]. 红外与激光工程, 2017, 46(8): 171-176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201708028.htm GUO Quanmin, DONG Liang, LI Daidi. Vehicles anti-halation system based on infrared and visible images fusion[J]. Infrared and Laser Engineering, 2017, 46(8): 171-176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201708028.htm
[16] 郭全民, 王言, 李翰山. 改进IHS-Curvelet变换融合可见光与红外图像抗晕光方法[J]. 红外与激光工程, 2018, 47(11): 440-448. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201811060.htm GUO Quanmin, WANG Yan, LI Hanshan. Anti-halation method of visible and infrared image fusion based on improved IHS-Curvelet transform [J]. Infrared and Laser Engineering, 2018, 47(11): 440-448. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201811060.htm
[17] 何惜琴, 陈冬冬. 基于YUV颜色模型与导向滤波的图像去雾算法[J]. 液晶与显示, 2021, 36(8): 1166-1173. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS202108013.htm HE Xiqin, CHEN Dongdong. Image defogging algorithm based on YUV color model and guided filtering[J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(8): 1166-1173. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS202108013.htm
[18] 王丽, 苗凤娟, 陶佰睿. 结合Curvelet变换和LSWT的多聚焦图像融合算法[J]. 计算机工程与科学, 2015, 37(6): 1203-1207. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201506027.htm WANG Li, MIAO Fengjuan, TAO Bairui. A multi-focus image fusion algorithm based on Curvelet transform and LSWT[J]. Computer Engineering & Science, 2015, 37(6): 1203-1207. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201506027.htm
[19] 郭全民, 柴改霞, 李翰山. 夜视抗晕光融合图像自适应分区质量评价[J]. 电子与信息学报, 2020, 42(7): 1750-1757. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202007025.htm GUO Quanmin, CHAI Gaixia, LI Hanshan. Quality evaluation of night vision anti-halation fusion image based on adaptive partition[J]. Journal of Electronics & Information Technology, 2020, 42(7): 1750-1757. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX202007025.htm
[20] LI W, LI Z, LI S. Infrared and visible image fusion via multi-scale edge-preserving filtering and pulse-couple neural network[C]//2021 7th International Conference on Computer and Communications, 2021: 742-746. DOI: 10.1109/ICCC54389.2021.9674474.
-
期刊类型引用(1)
1. 姚雪峰,高毅,龙兵,于晨阳,李文昊,于宏柱,张靖,李晓天. 数字微镜器件(DMD)杂散光特性测试方法及装置. 中国光学. 2022(02): 339-347 . 百度学术
其他类型引用(1)