High-Speed Parallel Implementation of Spectral Refinement in Infrared Fourier Spectrometer
-
摘要: 为了实现对高速运动目标的快速识别,设计了一种基于尾焰光谱分布特征分析的识别系统.系统由跟踪成像模块和光谱分析模块组成,跟踪成像模块用于对准目标,光谱分析模块用于目标识别.在此基础上,研究了基于多特征波段峰均值与谷均值比例的区分因子识别算法.该算法设置了有效区分区间,并通过区分因子比例关系实现高速目标的识别.分析了目标高速运动对光谱获取的影响,给出了决定光谱偏移量大小的径向和切向速度的函数关系.实验采用少量火箭弹燃烧部作为被测目标,在距探测系统0.5 km、1.0 km、2.0 km以及4.0 km处分别以10.0 m/s~100.0 m/s的速度进行光谱探测实验.实验结果显示,对于不同速度的被测目标而言,在相等的采样周期内系统检测的光谱分布产生了明显的光谱偏移,但其光谱分布形态基本一致;对于不同测试距离而言,距离越远能量衰减越强,虽然光谱整体振幅差异很大,但光谱形态无明显变化.通过计算相应波段上峰均值和谷均值的区分因子与区分区间的包含关系,完成了对被测目标的有效识别.
-
0. 引言
红外成像传感器根据热辐射机理实现对目标物体的捕获，然而缺乏对场景的细节呈现；相反，可见光成像传感器通过光学反射机制能够细腻地显示同一场景下的目标纹理和细节信息。多源图像融合领域内的红外与可见光图像融合能够生成单幅具有鲁棒性的图像，提供给后台决策者更全面的场景信息，方便决策者做出最佳的决定，因此被应用于目标跟踪、遥感遥测和物联网系统等领域[1-9]。
近年来，为了满足不同图像平滑和锐化的需求，具有边缘保持特性的滤波器组被应用于图像融合领域，如：高斯滤波器和导向滤波器。2013年，Li等人基于导向滤波器提出了一种快速有效的图像融合模型（Guided Filtering Fusion，GFF[10]），该方法利用导向滤波的加权技术保障了源图像与融合结果之间的空间一致性，但细节信息存在局部丢失；为了保留更多的边缘信息，2015年，Kumar等人提出了一种基于交叉双边滤波器的融合方法（Cross Bilateral Filtering，CBF[11]），CBF考虑了相邻像素之间的相似性，有效地提高了细节信息的提取；虽然基于CBF的融合方法对图像边缘纹理提取有较好的表现，但是融合过程将图像噪音和图像信息混淆，导致融合结果不佳；而为了避免噪音的生成，Kun等人在2017年基于结构滤波器提出了一种快速滤波图像融合方法（Fast Filtering Image Fusion，FFIF[12]），FFIF通过图像的均值和方差有效地避免了噪音的生成，但无法突出目标信息。
随着机器学习研究的深入，神经网络逐渐成为图像融合方向较为热门的研究工具。2019年，Wu等人提出了一种残差网络（Residual Network, Resnet[13]）新颖融合框架。该方法首先将Resnet用于从源图像中提取深度特征；其次利用ZCA和l1-norm对深度特征进行归一化并获得初始权重图；最后通过加权平均融合策略重构融合图像；该方法能够较好地提高图像视觉效果，但是由于算法过于复杂，融合结果存在一定的人为影响。为了实现深度次的特征提取，Tan等人在2021年基于加权平均曲率滤波器和脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN）提出了一种多模态融合方法（Multi-Level Edge Preserving Filtering，MLEPF）[14]，该方法虽然通过加权平均曲率滤波器实现了源图像多级特征信息提取，但受限于源图像曝光度，容易使得融合结果存在斑块。
基于上述的分析可知，当前红外与可见光图像融合的研究目的主要有两方面：①加大提取源图像的特征信息量，使得融合图像与源图像之间具有较为完整的相似契合度；②在实现源图像结构相似度融合的同时，一方面减少或抑制噪斑及人造伪影的产生，另一方面显著性地突出目标物体，以便能够满足人体的视觉感知系统。为了达成上述目的，本文基于多尺度滑动窗口滤波器（Multi-scale Sliding Window Filter，M-SWF）提出了一种红外与可见光图像结构相似性融合方法，该方法利用滑动窗口滤波器（Sliding Window Filter，SWF[15]）对源图像实现多尺度水平分解，得到源图像的多层级结构细节层和基础层；该方法简练，避免了因算法复杂性带来的人为干扰，同时为了保留结构细节信息，L1范数融合规则（L1-Fusion，L1F）被应用于整合结构信息；另外，一种基于图像能量贡献融合规则（Energy Attribute-Fusion，EAF）被用于突出目标，以提高视觉效果。
1. M-SWF域红外与可见光图像融合
图 1为本文在M-SWF域内提出的红外与可见光图像融合框架。M-SWF融合模型主要分为四步：
1）M-SWF域内源图像分解
利用M-SWF实现源图像的多尺度分解，得到对应的多尺度结构细节层和基础层。
2）多尺度结构细节层融合
利用L1-fusion融合规则实现多尺度结构信息融合，以保留较完整的细节信息。
3）基础层融合
利用EAF融合规则实现基础层融合，以显著地突出目标。
4）源图像重构
采用叠加求和的融合方法实现源图像的重构，得到融合图像F。
1.1 M-SWF域内源图像分解
SWF是一种强边缘结构保持滤波器，SWF利用不同尺寸窗口（R）在单个像素中心实现8邻域图像结构信息的保留。图 2为可见光图像“Road”在不同尺寸窗口下的处理结果，从图 2可以看出，R值越小对图像的边缘信息保留越多，图像更加清晰立体。基于SWF对图像边缘结构信息的敏感性，一种用于图像多尺度水平分解方法M-SWF被提出并且用于对源图像多尺度成分的提取。图 3为可见光图像“Road”的分解实例，其中VI为“Road”图像，SWF为SWF图像处理过程，VI1，VI2和VIn分别是经过SWF处理后的图像；VID1，VID2和VIDn分别是分解后利用对数放大后的多尺度结构细节；VIB为基础层。通过M-SWF多尺度分解得到源图像的多尺度结构细节层和基础层，详细的M-SWF多尺度水平分解过程用公式表示如下：
$$ \mathrm{VID}_1=\mathrm{VI}-\mathrm{VI}_1 $$ (1) $$ \mathrm{VID}_n=\left(\mathrm{VID}_n-1\right)-\mathrm{VID}_n $$ (2) $$ \mathrm{VIB}=\mathrm{SWF}\left(\mathrm{VID}_n-1\right) $$ (3) 1.2 多尺度结构细节层融合
从图 3 M-SWF的分解框架可以看出随着分解层数n的变大，VIn图像变得更加清晰和立体，图像当中的保留的能量信息和边缘信息越来越明显。在自然图像处理过程，如果图像当中某点的像素较大，反映在图像上是人体视觉感知最为明显的一个区域或者一个位置，这也是图像当中较为重要的一个信息点。而L1范数融合规则[16]主要是把图像中每个像素的绝对值作为图像活动水平测量值来评估该点的重要性。因此为了最大程度地保留细节信息，通过L1范数对图像处理取最大值，以保证融合结果存在较为明显和重要的图像信息点；融合后的多尺度结构细节层FD1:n通过公式(4)得到：
$$ {\text{FD}}^{\text{1:}n}=\left\{\begin{array}{cc}{\text{VID}}^{\text{1:}n}\text{，}& {\Vert {\text{VID}}^{\text{1:}n}\Vert }_{\text{1}}\ge {\Vert {\text{IRD}}^{\text{1:}n}\Vert }_{\text{1}}\\ {\text{IRD}}^{\text{1:}n}\text{，}& \text{otherwise}\end{array}\right\} $$ (4) 1.3 基础层融合
在M-SWF图像分解过程中，基础层图像是不断地经过SWF进行保边处理，层层筛选出多尺度结构细节信息的同时得到一个包含源图像最粗糙的近似图像，其中以能量强度信息较为明显。为了实现融合结果不模糊，并且融合目标突出以达到契合人体视觉系统的效果，一种基于图像能量贡献的融合规则被引入整合基础层图像，从而得到融合后的基础层图像FB。EAF的融合过程如下：
1）分别利用均值滤波器和中值滤波器得到基础层图像的均值和中值图像属性，进而构造基础层图像的能量属性值；
$$ A_I=M_{1 I}+M_{2 I} $$ (5) 式中：I（I∈IRB，VIB）为待处理的源图像基础层；M1和M2分别为均值滤波处理和中值滤波处理；AI表示为基础层的能量属性值。
2）利用能量属性值构建能量贡献函数，从而提取基础层的能量强度信息；
$$ E_{\mathrm{I}}=\exp \left(P\left|I-A_I\right|\right) $$ (6) 式中：exp为指数函数；P为能量属性参数量。
3）重构融合后的基础层；
$$ \mathrm{FB}=\frac{E_{\mathrm{IRB}} \mathrm{IRB}+E_{\mathrm{VIB}} \mathrm{VIB}}{E_{\mathrm{IRB}}+E_{\mathrm{VIB}}} $$ (7) 式中：EIRB和EVIB分别为IRB和VIB的能量强度信息。
1.4 源图像重构
融合图像F通过公式(8)叠加求和得到：
$$ F = {\text{FB}} + {\sum\nolimits_{i = 1}^n {{\text{FD}}} ^{{\text{1:}}n}} $$ (8) 2. 实验分析
实验的数据图像集全都来自于文献[17]中的TNO[18]数据集（包含21组数据组），本节选取了3对图像组进行主客观分析。实验仿真软件为MATLAB R2018b，电脑是搭载3.6 GHz AMD Ryzen 5 2600X六核处理器的Win10系统。5种图像融合算法被用于对比评价M-SWF，分别为GFF、CBF、FFIF、Resnet和MLEPF；其中GFF、CBF、FFIF和MLEPF都是以常规滤波器进行融合，另外GFF、CBF和MLEPF也为多尺度图像融合，FFIF为以结构信息为重心的融合方法，而Resnet和MLEPF都是最近与神经网络相结合的融合算法。为了综合评价M-SWF，首先对M-SWF融合过程中能量属性变量P进行分析，得到M-SWF融合模型下的较佳P值；其次，在该P取值下，对融合结果进行主客观两个方面进行分析，其中客观定量分析方面，选取了6种融合评价指标进行定量分析，分别为基于梯度信息指标（Gradient-based Fusion Performance, Qabf[19]）、基于像素的互信息量（Mutual information based on Pixel, MIP[13]）、差异相关性的总和（Sum of the Correlations of Differences, SCD[20]）、基于结构相似性的度量（Structural Similarity, SSIM[1]）、多层次结构相似性度量（Multilevel structural similarity, MSSIM[1]）和视觉保真度（Visual Information Fildelity for Fusion, VIFF[1]），以上评价指标数值越大融合效果越好；此外，通过计算融合方法的运行时间（RT）来分析算法的时效性，越小越好。
2.1 能量属性变量分析
能量属性变量P用于整合源图像的基础层信息，以实现突出目标的目的。实验仿真过程通过调节P变量，得到融合结果图 4；其中红色方框标记的是人，蓝色标记的是路面。由图 4能够较为清楚地发现，随着P值增大行人越加突出，能量强度越大；但是，路面的纹理越来越不清楚，丢失了VI图像当中的纹理成分。因此为了获得M-SWF最佳的融合效果，对图 4当中的融合结果进行了定量分析，得到的客观数据如表 1所示，其中粗体字标记的为最佳数据。从表 1能够观察到图 4(d)（P＝2）的数据值在Qabf、SSIM较好，但是随着P值增大，Qabf和SSIM评价指标减小，这主要源于引入的红外光谱信息过多，掩盖了可见光细节层信息，导致融合图像纹理细节不清晰；而另一方面SCD和VIFF定量值却不断增大，这表明融合结果保留了大量的红外显著性能量信息，能够突出主要目标；其次RT运行时间保持在0.510 s左右不会对整体算法的时效性形成太大的影响；而由于融合指标MIP和MSSIM的最优值分别位于P＝6和P＝8，因此为了使得M-SWF的融合结果一方面能够减少或抑制噪斑及人造伪影的产生，另一方面能够突出显著性目标，从整体综合的角度考虑，将能量属性参数P值取为各个评价参数较为适中的数值，不会使得某个参数过低或过高影响融合效果，因此令P＝4进行后续的主客观分析。
表 1 不同P值下的融合定量数据Table 1. Fusion of quantitative data under different PQabf MIP SCD SSIM MSSIM VIFF RT/s Fig.4(c) 0.5007 0.9249 1.5446 0.7640 0.9071 0.3044 0.510 Fig.4(d) 0.5303 0.9329 1.7225 0.7637 0.9287 0.3311 0.513 Fig.4(e) 0.5293 0.9364 1.7823 0.7604 0.9287 0.3323 0.508 Fig.4(f) 0.5233 0.9380 1.7936 0.7565 0.9350 0.3407 0.504 Fig.4(g) 0.5163 0.9382 1.7969 0.7527 0.9181 0.3512 0.518 Fig.4(h) 0.5096 0.9369 1.7989 0.7490 0.9135 0.3626 0.506 2.2 主观分析
实验首先选取了3对图像数据组进行主观分析，分别为“Camp_1811”、“Trees_4917”和“Kaptein_1123”，融合结果如图 5~图 7所示。
![]()
图 5 不同方法在“Camp_1811”图像下的融合结果Figure 5. The fusion results by different methods under "Camp_1811"![]()
图 6 不同方法在“Trees_4917”图像下的融合结果Figure 6. The fusion results by different methods under "Trees_4917"![]()
图 7 不同方法在“Kaptein_1123”图像下的融合结果Figure 7. The fusion results by different methods under "Kaptein_1123"图 5源图像数据组呈现的是一个从高往低处看的屋顶视角，选取分析的是红色方框标记的人；与GFF、Resnet和MLEPF的融合结果相对比，M-SWF得到的融合结果当中“人”更加地突出，能量强度更为明显；CBF得到的融合结果中被标记的人存在一个黑色小斑点，另外FFIF的融合结果中人物目标附近存在光晕；而M-SWF表现良好。图 6源图像数据组描述一幅树下行人的场景，选取分析的是树下的人；整体上看，GFF、CBF和MLEPF得到的融合结果存在噪音或者人造伪影现象，另外与FFIF和Resnet相比，M-SWF在融合“人”有不错的表现。图 7源图像数据组是一幅行人路过凉亭的画面，选取分析的是行人的后背；从被标记的区域观察到，M-SWF具有良好的融合效果，并且无人造伪影等不佳现象。
2.3 客观分析
客观分析指的是从实际出发，对结果进行客观公正的定量评价。表 2为图 5~图 7中各个融合结果的客观定量数据，其中粗体字标记的为最佳数据。从“Camp_1811”客观数据可以发现：M-SWF在Qabf、SCD、MSSIM和VIFF指标上表现最佳，这表明M-SWF能较好地规避人造伪影现象，并且融合效果较好；其次从“Trees_4917”定量数据观察到：M-SWF在Qabf、SCD、SSIM和MSSIM上排名第一，这说明M-SWF能够很好地整合源图像的结构信息，并且融合结果不含或存在较少的人为影响；而从“Kaptein_1123”的数据可以看出：除了SSIM和运行时间表现略差，其他的数据都是最佳，这表征M-SWF对Kaptein_1123融合有很好的融合效果；而在运行时间上，M-SWF的略高于GFF和FFIF，低于CBF常规滤波器组融合方法和Resnet、MLEPF神经网络的融合方法；针对个别评价指标略差的情况，这主要受到能量属性参数P影响，从表 1可以看出，P值在MIP、SSIM和MSSIM指标上，具有小范围的峰值，因此合适P值的选取，会对M-SWF有小尺度的影响。表 3为TNO数据集21组数据图像的平均客观定量数据，从表 3能够看出M-SWF在MIP、SCD、SSIM、MSSIM和VIFF评价指标上略优于其他对比的融合方法，而在运行时间上仅高于GFF，这表明提出的融合方法M-SWF能够较快地提取源图像的结构细节信息，在保证融合效果的同时，能够显著性地突出目标；在Qabf评价指标略低于CBF，这主要来源基础层EAF融合引入了过多的显著性能量，使得红外光谱信息过多而掩盖了可见光细节信息；而在运行时间上略低于GFF，这主要在于GFF仅通过简便的滤波图像处理和加权叠加融合，减少了融合过程中的计算参数量。整体而言，M-SWF在实现多源图像融合方面具有一定的优势，能够实现多源图像之间时效的结构相似性融合。
表 2 客观评价数据Table 2. Objective evaluation dataQabf MIP SCD SSIM MSSIM VIFF RT/s Camp_1811 GFF 0.4241 0.8979 1.1453 0.6664 0.7186 0.2724 0.0990 CBF 0.3920 0.8701 1.3044 0.6238 0.7438 0.2839 3.4876 FFIF 0.4562 0.9104 1.2300 0.7257 0.8442 0.2933 0.3520 Resnet 0.3392 0.8823 1.4860 0.7777 0.8707 0.3203 12.3780 MLEPF 0.3640 0.8463 1.2691 0.6230 0.6878 0.2791 8.9630 M-SWF 0.4802 0.8857 1.7003 0.7476 0.9249 0.4410 0.2520 Trees_4917 GFF 0.2526 0.8807 0.9299 0.7559 0.8560 0.2651 0.1160 CBF 0.3296 0.8086 1.2718 0.5963 0.6850 0.5599 3.1175 FFIF 0.2271 0.8928 0.6808 0.7627 0.7782 0.0877 0.4260 Resnet 0.3847 0.8492 1.2224 0.8462 0.9249 0.2975 11.8230 MLEPF 0.4963 0.7815 0.4175 0.5972 0.6365 0.3880 9.1730 M-SWF 0.5431 0.8626 1.6195 0.8095 0.9597 0.4528 0.2370 Kaptein_1123 GFF 0.1079 0.8486 0.4842 0.4425 0.2967 0.3722 0.2830 CBF 0.4315 0.8645 1.4597 0.5370 0.6509 0.3280 8.9544 FFIF 0.3053 0.8954 1.2110 0.6758 0.8472 0.3671 0.4770 Resnet 0.3303 0.8911 1.6111 0.7467 0.8582 0.3024 40.4150 MLEPF 0.4110 0.8171 1.3662 0.5523 0.5958 0.1951 20.7530 M-SWF 0.5778 0.8955 1.8601 0.7183 0.9423 0.4522 0.4840 表 3 TNO数据集上的平均客观评价数据Table 3. Average objective evaluation data on TNOQabf MIP SCD SSIM MSSIM VIFF RT/s GFF 0.2899 0.9020 1.1450 0.6736 0.7554 0.2488 0.2118 CBF 0.6054 0.8897 1.1488 0.6679 0.7864 0.2895 9.7087 FFIF 0.2881 0.9016 1.1914 0.7098 0.8050 0.2271 0.4828 Resnet 0.4093 0.8683 1.2537 0.6625 0.7516 0.3145 27.2588 MLEPF 0.4325 0.8514 1.3164 0.6006 0.6582 0.2634 20.2127 M-SWF 0.5691 0.9084 1.8071 0.7476 0.9317 0.3827 0.3944 3. 结论
针对图像融合过程中提取结构信息不充分和融合效果不佳的问题，本文基于SWF提出了一种多尺度水平图像融合方法M-SWF。利用SWF对图像边缘结构信息的敏感性，对源图像进行了多尺度水平特征信息提取，得到多尺度结构细节层和基础层；采用L1F融合规则实现了多尺度结构信息层的融合；采用EAF图像能量贡献融合规则实现了基础层融合；最后叠加求和重构源图像。实验首先分析了M-SWF下较为合适的能量属性参数取值；其次对融合图像进行主客观分析，结果表明M-SWF与常规的滤波器组融合相比具有一定的优势，能够保留结构细节信息的同时不产生人造伪影现象，并且融合结果能够突出目标，符合人体的视觉系统。
下载:
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
