Infrared Dim-Small Target Detection Based on Improved Spatio-Temporal Filtering
-
摘要: 为了有效解决动态背景变化导致弱小目标检测率低的问题，文中提出了改进时空滤波的红外弱小目标检测算法。首先在分析红外图像成像特性的基础上，针对目标区、背景区和边缘轮廓区不同梯度特性的差异，提出改进的各向异性空域滤波算法，该算法充分利用空间域的梯度信息来构建不同方向的扩散滤波函数，并结合图像不同特性的梯度差异选取扩散函数值最小的两个方向的均值作为时域滤波结果，以最大限度地保留目标信号；接着为有效增强弱小目标的能量，针对高阶累积量仅利用像元点时域信息来构建能量增强的不足，提出了一种结合时空邻域块的能量增强算法，实验表明，本文提出的算法能有效提升动态场景下的弱小目标的检测能力。Abstract: To effectively solve the problem of low detection rates of dim and small targets caused by dynamic background changes, a detection method based on spatio-temporal filtering is proposed in this paper. Based on an analysis of the imaging characteristics of infrared images, an improved anisotropic spatial filtering algorithm is proposed to evaluate the difference in various gradient characteristics of the target area, background area, and edge contour area. The algorithm fully utilizes the gradient information in the spatial domain to construct the diffusion filter function in different directions. According to the gradient difference in various characteristics of the image, the mean value of the two directions with the smallest value of the diffusion function is selected as the result of spatial filtering to retain the target signal to the maximum extent. To effectively enhance the energy of dim and small targets and address the shortcomings of high-order cumulants that only use the temporal domain information of pixel points for energy enhancement, an energy enhancement algorithm based on spatial-temporal neighborhood blocks is proposed. Experimental results reveal that the proposed algorithm can effectively enhance the detection of dim and small targets in dynamically changing scenes.
-
0. 引言
红外焦平面阵列由于受到制造工艺等的影响，常常会出现盲元，盲元包括固定盲元和随机盲元，其表现形式通常是在图像上形成暗点或者亮点。盲元会影响探测器成像的质量，因此需要对焦平面阵列进行盲元检测和补偿[1]。双波段红外焦平面阵列相对于传统的单波段红外焦平面阵列具有较大的优势，在环境条件极其复杂多变的现代战场上，双波段红外焦平面阵列可以获取更多的目标信息，提高目标的检测和识别机率。但是双波段红外焦平面阵列依然存在盲元的困扰。
此前，国内对盲元校正的研究通常是在单波段层面，在盲元检测方面，可以分为基于定标的检测法和基于场景的检测法[2]。基于定标的检测法方面，张红辉等人通过对定标图像进行直方图分解，估计出有效像元的均值差和标准差，进而区分有效像元和盲元[3]。姚琴芬等人提出了一种基于双参考源的盲元检测方法，通过黑体在两个不同温度下采集图像，然后利用阈值对盲元进行检测[4]。基于场景的检测法方面，冷寒冰等人使用了时域多帧累加的检测方法，可以较为有效地避免误检[5]。粟宇路等人根据盲元的时空域灰度分布特性，通过多帧图像来对盲元进行检测[6]。张东阁等人利用无监督学习的一类支持向量机以及随机场景图像序列，建立了更新的分类模型，可以实时地检测盲元[7]。
过往通常使用的单波段盲元替换算法对大盲元簇及位于边缘位置的盲元补偿效果不尽如人意，随着双波段热像的逐渐兴起，本文提出了一种基于双波段信息的盲元补偿算法，利用双波段之间的图像差异来对盲元进行检测，并对双波段红外图像中出现的不同盲对盲元进行补偿。
1. 双波段红外图像盲元检测
国家军用标准中通过将器件对黑体辐射的响应程度作为量化标准，将其分为过热像元与死像元两类，过热像元是像元噪声电压大于平均噪声电压10倍的响应像元，而死像元则是指像元响应率小于1/10平均响应率的像元。通常，过热像元表现为白点和亮点，死像元表现为灰点和暗点，如图 1所示。
在双波段红外成像中，由于目标不同波段的辐射是通过同一光学系统被双波段焦平面阵列接受，因此，同一目标的不同波段辐射信息在双波段红外图像中是有一定的相似性的，此外，双波段探测器中，两个波段的图像中盲元位置较少有重叠，因此使用双波段信息对盲元进行补偿是完全可行的。
在双波段红外图像中，对于像元的判断可以简单的分为3种情况：
① 像元在一个波段正常响应，而在另一个波段不正常响应，则该像元在不响应波段为盲元；
② 像元在两个波段都正常响应，则该像元为正常像元；
③ 像元在双波段都不正常响应，则该像元在两个波段皆为盲元。
对于盲元的检测，前人做了许多工作，根据文献[4]，可将红外图像看作不含盲元的理想图像和盲元的叠加，即：
$$ {Y_{\rm{B}}}(i,j) = {X_{\rm{B}}}(i,j) + B(i,j) $$ (1) 因此像元是否正常响应可以通过以下公式判断：
$$ |{Y_{\rm{B}}}(i,j) - {X_{\rm{B}}}(i,j)| \leqslant h $$ (2) 式中：YB(i, j)为原始图像；XB(i, j)为理想无盲元图像；B(i, j)盲元图像；h为阈值。
在双波段红外图像中，对于盲元的检测，一般是对两个波段的图像进行盲元检测，分别标记出两个波段的盲元，最后再进行运算，也就意味着本文算法中需要进行两次盲元检测。
此外，对于运动场景，由于场景信息比较复杂，因此本文对其进行累计多帧的判断，连续多帧判断图像中某一像元为盲元才会对其进行标记[7]。本文算法流程图如图 2所示。
2. 盲元补偿
在单波段的盲元替换中，通常都是使用邻域平均的方法来对盲元进行补偿，当盲元位于场景中的边缘位置时，如果使用邻域校正，则有可能让部分非边缘的信息参与到盲元补偿过程，由于边缘信息与非边缘信息的差异较大，这就导致了盲元补偿后，补偿后的盲元与周围像元差异依然比较明显。
因此，本文在盲元补偿过程中增加了对盲元的位置是否位于边缘的判断。先通过边缘检测得出图像的边缘，本文在进行边缘检测时是使用的Sobel算子，Sobel算子两个方向的模板如下所示：
$$ x:\left[ {\begin{array}{*{20}{c}} { - 1}&0&1 \\ { - 2}&0&2 \\ { - 1}&0&1 \end{array}} \right] y:\left[ {\begin{array}{*{20}{c}} 1&2&1 \\ 0&0&0 \\ { - 1}&{ - 2}&{ - 1} \end{array}} \right] $$ (3) 提取出图像的边缘图像后，可以对图像中的盲元进行分类，根据其是否位于边缘采取不同的盲元补偿策略。当盲元位于图像边缘时，对盲元进行邻域平均补偿时仅选取邻域中同样位于边缘位置的且非盲元的像素，当图像位于非边缘位置时，对盲元进行邻域平均补偿时仅选取邻域中同样位于非边缘位置的且非盲元的像素，双波段盲元分布如图 3所示。
此外，在双波段红外图像中，虽然目标不同波段的辐射是由同一焦平面阵列接收，但是由于各波段的光谱灵敏度曲线是非线性的，同一目标的强度响应在不同的波段内的变化也是非线性的，这就导致了在使用双波段信息进行盲元替换，不能简单使用另一波段的信息直接对其进行替换补偿，这时候就需要对两个波段之间信息的相似性进行评估了。
假设x、y是不同波段对于同一目标接收到的信号，他们的相似性决定了是否能够使用另一波段的信息对其进行补偿，在单幅图像中，x、y可视为离散信号，其相似性问题可以使用求向量内积来度量。
$$ {\text{Inner}}(x,y) = \lt x,y \gt = \sum\limits_i^n {{x_i}{y_i}} $$ (4) 式中：Inner(x, y)为中波图像x及长波图像y中目标的相似性；n为目标大小。
如果x高的地方y也比较高，x低的地方y也比较低，那么整体的内积是偏大的，也就是说x、y是相似的。
但是向量内积是没有界限的，有一种解决方法是除以长度之后再求内积，即余弦相似度，余弦相似度与向量的幅值无关，只与向量的方向有关。
$$ {\rm{dist}} (x,y) = \frac{{ \lt x,y \gt }}{{\left\| x \right\|\left\| y \right\|}} = \frac{{\sum\nolimits_i {{x_i}{y_i}} }}{{\sqrt {\sum\nolimits_i {x_i^2} } \sqrt {\sum\nolimits_i {y_i^2} } }} $$ (5) 使用余弦相似度对双波段图像中一定大小的区域进行度量后，可以评估出两个波段图像中此区域各个像素点之间的相似性。
评估出相似性后，可以根据两个波段中盲元邻域的相似性来决定对另一波段信息的使用情况，当相似性高时，使用的另一波段信息较多，当相似性低时，使用另一波段信息较少，这样可以较为有效地减小补偿后盲元与周围像素的差异。
因此，考虑双波段信息，边缘信息，以及相似性后，本文使用的盲元补偿方法如式(6)所示：
$$ \begin{array}{l} {\text{Rp}}(i,j) = (1 - \frac{1}{{{\text{dist}}(x,y)}}) \times \frac{1}{{nm}}\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {({x_{ij}}} } \times {E_{ij}} \times {\text{bp}}{x_{ij}}) + \hfill \\ \quad \quad \quad \;\;\;\;\frac{1}{{{\text{dist}}(x,y)}} \times {y_{ij}} \hfill \\ \end{array} $$ (6) 式中：Eij为边缘图像；bpxij为盲元图像；dist(x, y)为相似性；xij为盲元所在波段信息；yij为另一波段信息。
3. 仿真结果与分析
本文对提出的算法进行了仿真分析。
图 4为不同大小的中波信息对盲元簇的补偿效果的影响，其中图 4(a)中为不使用中波信息，仅使用长波信息对长波图像中的盲元进行补偿，其中图 4(b)中为使用50%的中波信息及50%的长波信息，对长波图像中的盲元进行补偿，图 4(c)为使用本文算法对长波图像中的盲元补偿结果，可以发现，根据相似性来使用中波信息可以较为有效地减小补偿后盲元与周围像素的差异。
![]()
图 4 使用不同大小的中波信息补偿结果Figure 4. Results were compensated using midwave information of different sizes图 5仿真使用的图片来自某中长波热像仪，其中长波图像中有盲元，而中波图像中没有盲元，为了达到较好的验证效果，在仿真过程中，我们随机赋予了长波图像一个7×10的盲元簇，仿真结果见图 5，其中图(c)为仅使用单波段信息对盲元进行补偿的结果，图(d)为本文算法结果。
![]()
图 5 本文算法和单波段盲元校正算法仿真结果Figure 5. Correction results of new algorithm and single band compensation algorithm从仿真结果来看，仅使用单波段盲元对其进行校正，得到的盲元补偿后图像中，虽然盲元簇有一定的改善，但是依然有较为大块的盲元簇存在，而使用本文算法对盲元簇进行补偿后，图像中的盲元现象得到了明显的改善，盲元簇基本消失。
4. 结论
传统的单波段盲元替换算法对于大盲元簇及位于边缘位置的盲元通常不能取得较为理想的补偿结果，本文针对此问题并结合双波段热像仪的特点，提出了一种基于双波段信息的盲元替换算法，实验结果表明，本文算法对于场景中的大盲元簇及位于边缘位置的盲元有着较为良好的补偿效果。但是，在实验过程中，我们同样也发现了一些问题，诸如硬件实现时资源需求过多等问题，依然有待后续改进。
-
![]()
图 1 图像中不同组分的梯度差异
Figure 1. The gradient difference of different components in the image
表 1 序列图像信息
Table 1 Information of sequence images
Image sequence Frame length/frame Image size Target size 1 114 278×246 3×3 2 50 180×180 3×3 3 54 180×180 3×3 
下载: 导出CSV
表 2 不同算法获取的背景建模结果
Table 2 Results obtained by different algorithms
Scene Evaluating indicator ITH LRR IPI AF Proposed method 1 AGV 16.44 32.44 44.88 14.57 58.89 LSNR/dB 2.61 2.26 2.77 2.10 3.38 2 AGV 26.89 27.67 30.22 22.78 48.56 LSNR/dB 2.68 2.62 2.59 2.39 3.27 3 AGV 17.33 33.56 34.89 17.18 72.44 LSNR/dB 2.79 3.11 3.23 2.39 3.20 4 AGV 21.33 22.78 28.33 17.63 73.67 LSNR/dB 2.27 2.87 2.92 2.70 3.24 5 AGV 24.89 25.11 27.44 20.71 97.00 LSNR/dB 2.23 2.49 2.62 2.56 3.14
下载: 导出CSV
表 3 两种算法的增强结果
Table 3 Enhancement comparison of two algorithms
Difference image HOC Proposed method AGV LSNR/dB AGV LSNR/dB AGV LSNR/dB 72 3.20 102 5.75 225 12.67
下载: 导出CSV
-
[1] 樊香所. 序列图像弱小目标检测与跟踪算法研究[D]. 成都: 电子科技大学, 2019. FAN Xiangsuo. Dim and Small Targets Detection and Tracking Algorithms in Sequence Image[D]. Chengdu: University of Electronic Science and Technology of China, 2019.
[2] Bae T W, Kim Y C, Ahn S H, et al. An efficient two dimensional least mean square based on block statistics for small target detection[J]. Journal of Infrared, Millimeter, and Terahertz Waves, 2009, 30(10): 1092-1101. DOI: 10.1007/s10762-009-9530-6
[3] BAI X Z, ZHOU F G, JIN T. Enhancement of dim small target through modified top-hat transformation under the condition of heavy clutter[J]. Signal Processing, 2010, 90(1): 1643-1654.
[4] 秦翰林, 周慧鑫, 刘上乾, 等. 基于双边滤波的弱小目标背景抑制[J]. 强激光与粒子束, 2009, 21(1): 25-28. https://www.cnki.com.cn/Article/CJFDTOTAL-QJGY200901007.htm QIN H, ZHOU H, LIU S, et al. Dim and small target background suppression using bilateral filtering[J]. High Power Laser and Particle Beams, 2009, 21(1): 25-28. https://www.cnki.com.cn/Article/CJFDTOTAL-QJGY200901007.htm
[5] 严高师, 毕务忠. 基于区域奇异性滤波的小目标检测[J]. 光学技术, 2006, 33(2): 163-165, 169. DOI: 10.3321/j.issn:1002-1582.2006.02.003 YAN G S, BI W Z. Detection algorithm of small target based on regional singularity filter[J]. Optical Technology, 2006, 33(2): 163-165, 169. DOI: 10.3321/j.issn:1002-1582.2006.02.003
[6] 连可, 王厚军, 李丹. 基于红外目标局部灰度特性分析的管道滤波方法[J]. 弹箭与制导学报, 2011, 31(4): 200-206. DOI: 10.3969/j.issn.1673-9728.2011.04.057 LIAN K, WANG H J, LI D. Pipeline filtering method based on feature analysis of local grey level of small infrared target[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2011, 31(4): 200-203, 206. DOI: 10.3969/j.issn.1673-9728.2011.04.057
[7] Oliver N M, Rosario B, Pentland A P. A Bayesian computer vision system for modeling human interactions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 831-843. DOI: 10.1109/34.868684
[8] Bouwmans T, Baf F E, Vachon B. Background modeling using mixture of Gaussians for foreground detection - a survey [J]. Recent Patents on Computer Science, 2008, 1(3): 219-237. DOI: 10.2174/2213275910801030219
[9] 何玉杰, 李敏, 张金利, 等. 基于低秩三分解的红外图像杂波抑制[J]. 光学与精密工程, 2015, 23(7): 2069-2078. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201507034.htm HE Y J, LI M, ZHANG J L, et al. Clutter suppression of infrared image based on three-component low rank matrix decomposition[J]. Optics and Precision Engineering, 2015, 23(7): 2069-2078 https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201507034.htm
[10] GUO J, WU Y, DAI Y. Small target detection based on reweighted infrared patch-image model[J]. IET Image Processing, 2018, 12(1): 70-79.
[11] 陆福星, 李夜金, 陈忻, 等. 基于Top-Hat变换的PM模型弱小目标检测[J]. 系统工程与电子技术, 2018, 40(7): 1417-1422. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD201807001.htm LU F X, LI Y J, CHEN X, et al. Weak target detection for PM model based on Top-hat transform[J]. Systems Engineering and Electronics, 2018, 40(7): 1417-1422. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD201807001.htm
[12] 周慧鑫, 赵营, 秦翰林, 等. 多尺度各向异性扩散方程的红外弱小目标检测算法[J]. 光子学报, 2015, 44(9): 146-150. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201509027.htm ZHOU H X, ZHAO Y, QIN H L, et al. Infrared dim and small target detection algorithm based on multi-scale anisotropic diffusion equation[J]. Acta Photonica Sinica, 2015, 44(9): 146-150. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201509027.htm
[13] 唐意东, 黄树彩, 钟宇, 等. 基于形态学和高阶统计量的弱小运动目标检测[J]. 现代防御技术, 2016, 44(2): 151-156. DOI: 10.3969/j.issn.1009-086x.2016.02.024 TANG Y D, HUANG S C, ZHONG Y, et al. Moving dim target detection based on morphology and high-order statistics in infrared image[J]. Modern Defense Technology, 2016, 44(2): 151-156. DOI: 10.3969/j.issn.1009-086x.2016.02.024
-
期刊类型引用(1)
1. 刘泉，刘欢，杨鹏. 基于FPGA的量子点宽光谱图像盲元补偿和锐化算法实现. 光学与光电技术. 2025(01): 26-34 . 
百度学术
其他类型引用(4)
计量
- 文章访问数: 211
- HTML全文浏览量: 64
- PDF下载量: 49
- 被引次数: 5
