Infrared Dual-band Target Detecting Fusion Algorithm Based on Multiple Features
-
摘要:
红外目标检测在军事领域和民用领域发挥着重要的作用，得到了广泛的研究，但对于利用双波段图像对目标进行检测的研究较少。为了充分发挥双波段图像在目标检测性能上的优势，对红外双波段图像的检测结果进行深入分析，提出了一种基于多特征的红外双波段目标检测融合算法。本文提出的融合算法，利用基于深度学习的多特征融合网络对双波段图像的检测结果进行处理，充分挖掘目标的特征信息，自适应地选择单波段的检测结果作为输出，得到最终的决策级融合检测结果。实验结果表明：与使用单波段图像进行目标检测相比，本文提出的基于多特征的红外双波段融合算法，可以有效利用不同波段的信息，提高检测性能，充分发挥红外目标探测设备的优势。
Abstract:Infrared target detection algorithms play important roles in the military and civilian fields and have been widely studied. However, relatively few studies have been conducted on the use of dual-band images for targeted detection. To fully utilize the advantages of dual-band images in target detection, a fusion algorithm based on multiple features of infrared dual-band images was proposed through an in-depth analysis of the detection results. The proposed fusion algorithm utilizes a deep learning-based multi-feature fusion network to process the detection results of dual-band images, fully mine the feature information of the target, adaptively select the detection results of a single band as the output, and obtain the final decision-level fusion detection results. The experimental results show that, compared with using single-band images for object detection, the proposed infrared dual-band fusion algorithm based on multiple features can effectively utilize information from different bands, improve the detection performance, and fully leverage the advantages of infrared object detection equipment.
-
Keywords:
- target detection /
- dual band /
- decision level fusion /
- convolutional neural network
-
0. 引言
直液式走珠笔是一种借鉴了钢笔结构的走珠笔，与传统的走珠笔相比，墨水流动性更好，其墨水的性质与钢笔相似，比中性笔的墨水更稀，目前成为了市场上主流书写工具。因此建立直液式走珠笔的油墨种类鉴别方法对于司法鉴定工作具有重大意义。书写墨水的种属鉴定一直是法庭科学领域的研究重点，不仅可以为文件真伪鉴定提供依据[1]，还能缩小侦查范围[2]，成为认定案件事实的证据。目前国内法庭科学领域区分直液式走珠笔这种新型笔种墨水的文献较少[3]，而传统检验笔墨水成分的方法有光学检验法、色谱法、质谱法[4]、光谱法等方法[5]。其中质谱法[6]、色谱法、溶解法均属于有损检验，不符合当今无损检验的主流，破坏了检材案发时的完整性，而光谱法具有快速、无损检验的特点，广泛应用于墨水检验中[3]。
国内外学者针对墨水检验展开了许多实验研究，证实了傅里叶变换红外光谱法结合主成分分析可以检验墨水[7-9]，也有学者尝试将化学计量学[10-14]等技术应用于墨水、纸张等物证的检验，然而这些检验方法较为依赖样本标签，大多根据人为预设标签构建模型对样品进行大致分类，且缺少了评估分类变量对模型的贡献程度，难以做到客观、准确地检验墨水。目前K-均值聚类与组均值均等检验具有较好的稳定性，已被用于药物、细菌的检验，并且得到了较好的结果[15-16]。因此本文尝试结合光谱数据与K-均值聚类预先得出分类标签，采集市面上常见的20个直液式走珠笔样品，利用傅里叶变换红外光谱仪对样品进行检验并获得红外光谱谱图[8]，采取自动基线矫正、峰面积归一化、Savitzky-Golay5点平滑3种方法对谱图做预处理后，通过误差平方和指标（sum of the squares errors，SSE）确定最优K取值，对样品进行K-均值聚类得到样品的初步聚类结果，将聚类结果作为分类标签，采用主成分分析[10]对原始数据降维，对样品进行分类，利用组均值均等检验考察主成分降维后的变量对Fisher判别模型的贡献程度，根据考察结果选取判别函数建立Fisher判别模型，从而为直液式走珠笔油墨的快速鉴定提供一种新的方式。
1. 理论基础
1.1 傅里叶变换红外光谱
傅里叶变换红外光谱（Fourier transform infrared spectroscopy, FTIR）是一种通过数学处理将傅里叶变换，结合计算机与红外光谱技术的分析方法。傅里叶红外光谱法首先测量目标干涉图，通过对该图进行傅里叶变换获得对应的红外光谱数据，是一种无损、快速检验样品成分的方法[17]。
1.2 组内误差平方和
组内误差平方和代表数据误差大小的偏差平方和。随着聚类的类别K值增加，样品会被归类到更加精细的簇中，SSE会随之减少，期间SSE的下降幅度会骤减形成一个拐点，然后随着K值的继续增大而趋于平缓，该拐点就是聚类类别K值的最优取值。
1.3 K-均值聚类
K-均值聚类是一种划分样本为K个集合的聚类算法，是无监督学习类型的算法，通过迭代找到最佳聚类个数的一种划分方案，使得用K个聚类的均值来表示相应各类样本时所得到的总体误差最小，所以K均值聚类是以最小误差平方和为划分集合依据的聚类算法。其原理是根据预先设定的K值，将K个样本作为聚类的K个聚类中心，计算所得其余样品和每个聚类中心的欧几里距离，将其余样品分配给距离最近的聚类中心，通过多次迭代达到最优结果。
1.4 主成分分析
主成分分析（principal components analysis, PCA）是一种降低光谱数据特征维度的方法，通过线性变换把原始数据从原始坐标系统变换到一个新坐标系统中，从而达到降低原始数据特征维度，同时获得对原始数据信息方差贡献最大的特征。可通过主成分分析提取样品光谱数据的最大主成分，进一步构建2维主成分得分图，验证K-均值聚类结果的准确性。
1.5 组均值均等检验
组均值均等检验的目的是评价分组变量对分组模型贡献程度，将分组变量作为因子得出每个自变量的单因素ANOVA（analysis of variance）分析结果，根据分析结果得出对分组模型贡献程度较高的变量，之后用该变量构建Fisher判别模型。
1.6 判别分析
判别分析是在样本分类确定的前提下，按照未知样品特征所反映的信息判别其类别归属的一种统计分析法。按照相应的规则，构建一至多个判别函数，根据已有样品的大量数据信息计算待定系数从而确定判别函数，计算判别指标，进而推断未知样品的归属[18]。
2. 实验部分
2.1 实验仪器及条件
实验仪器为NICOLET5700傅里叶变换红外光谱仪，分辨率4 cm-1，扫描次数16次，扫描面积为100 μm×100 μm，扫描范围4000~400 cm-1。
2.2 实验样品
从各地收集不同品牌、不同型号样本共20个，均为黑色墨水，其中样品1~样品10为白雪品牌，样品11~样品13为晨光品牌，样品14~样品20为百乐品牌。
2.3 实验方法
用收集到的直液式走珠笔油墨样品制作检材，在上述实验条件下进行检测，为了保证数据的可复现性，每份检测均检测3次，以确保实验结果的可靠性[19]。光谱数据中存在大量冗余信息，会影响后续化学计量学方法的使用，因此采用The Unscrambler X 10.4（挪威CAMO公司）对光谱信号进行自动基线矫正、峰面积归一化、Savitzky-Golay5点平滑处理[20]。下面将通过化学计量学对样品光谱数据进行分析[21]。
3. 结果与分析
3.1 K-均值聚类
K的取值很大程度上决定了K-均值聚类的准确性，故引入手肘法（elbow method）确定K的最优取值，手肘法的核心指标是SSE，如式(1)所示：
$$ SSE = {\sum\nolimits_{i = 1}^k {\sum\nolimits_{p \in {C_i}} {\left| {p - {m_i}} \right|} } ^2} $$ (1) 式中：Ci是第i个簇；p是Ci中的样本点；mi是Ci的质心（Ci中所有样本的均值）；SSE是所有样本的聚类误差，SSE值越小代表聚类效果越好。
聚类数K值的增大会使得样本相应簇的划分更加精准，SSE会逐渐变小。因此K从小到大逐渐增加的过程中，SSE会逐渐变小，期间K会存在一个真实聚类数的临界点，当K值从临界点左侧增加到真实聚类数时，SSE会发生迅速地下降，然后随着K逐渐增大趋于平缓。SSE和K关系图会有一个拐点，该拐点对应的K值就是数据的真实聚类数。从图 1可知，K从1~3时下降得很快，当K取值≥3后，曲线下降逐渐趋于平缓，所以最佳聚类个数为3。
当K＝3时，对样品进行K-均值聚类，聚类结果图如图 2所示。
由图 2可得，当K＝3时，所有样品在二维平面被显著地分为了3类，且各类样品在红外谱图中存在明显的区别，表现为：第一类样品（7#）中存在CS伸缩振动，CH面内弯曲振动以及C=C伸缩振动，出峰位置分别为1172 cm-1，1388 cm-1以及1577 cm-1；第二类样品（13#）中存在972 cm-1的CH的变形振动，以及1353 cm-1和1470 cm-1的CH的面内弯曲振动；第三类样品（18#）中存在1461 cm-1的CH的面内弯曲振动，结果如表 1和图 3所示。为了验证K-均值聚类这一无监督学习的准确性，根据聚类结果划分样品的类别，采用主成分分析将各个类别的样品投影到二维平面进行验证。
表 1 样品聚类结果Table 1. Clustering results of samplesClassification Sample number 1
21#、2#、3#、4#、5#、6#、7#、8#、9#、10#
11#、12#、13#3 14#、15#、16#、17#、18#、19#、20# 3.2 主成分分析
主成分分析是一种无监督学习的方法，通过将原始多维数据投影到新坐标系统重新组合成一组新的线性无关数据来代替原始数据，同时尽可能地反映原始数据特征信息[21]。PCA共提取了6个PC，图 4显示了不同PC的方差贡献率及累计贡献率，其中PC1方差贡献率最大，为80.466%，前6个PC的累计方差贡献率为98.556%，包含了原始数据的绝大多数信息。以PC1、PC2和PC3绘制PCA的2维主成分得分图，如图 5所示，样本基于其在PC1、PC2、PC3上的得分被分为了3类，组内距离较小，组间距离较大，验证了K-均值聚类的聚类结果。考虑到实际中需要预测未知样本，本文采用Fisher判别分别建立3类样品的预测模型。
3.3 组均值均等检验
为了实现对未知样品的预测，构建Fisher判别模型前，使用组均值均等检验考察分组变量对分组模型贡献程度。组间均方与组内均方的比值为F统计量，两个自由度分别为自由度1（df1）和自由度2(df2)，分别表示残差平方和自由度和回归平方和自由度，自由度1为分子，自由度2为分母，两个自由度用来得到观测显著性（Sig值）。显著性（Sig）和Wilks’lambda是评价分组变量的标准。Sig值表示区分不同组别的能力，如果Sig值较小（Sig < 0.10）则表明组间差异较为显著，如果Sig值较大（Sig＞0.10）则表示组间差异不显著。PC1的Sig值为0.000，表面PC1在各组间的差异不显著。组内平方和与总平方和的比值为Wilks’lambda，值的范围在0~1之间，值越小表示组内有很大差异，值接近1表示没有组内差异。根据K-均值聚类结果划分样品类别，用组均值均等性检验，结果如表 2所示，PC3~PC6的Wilks’Lambda均大于0.97，表明这4个变量组内差异很小，对模型影响不显著，且sig值均大于0.10，表明这四者不能充分解释各样本的分类情况。PC1和PC2的Wilks’Lambda均接近0，表明这两个变量对判别模型影响的显著性极高，且Sig值均为0，可表明这两个变量可以很好地解释各样本的分组信息。因此选取前两个变量构建Fisher判别模型。
表 2 各组平均值的均等性检验Table 2. Equality verification of the average value of each groupVariable Wilks Lambda F df1 df2 Sig PC1 0.108 69.946 2 17 0.000 PC2 0.061 131.335 2 17 0.000 PC3 0.974 0.223 2 17 0.802 PC4 0.975 0.217 2 17 0.807 PC5 0.988 0.106 2 17 0.900 PC6 0.998 0.021 2 17 0.980 3.4 Fisher判别模型
在构建Fisher判别模型中使用前两个典则判别函数F1和F2，其中F1＝-0.028PC1-24.94PC2-10.932，F2＝34.764PC1-39.654PC2-48.976。表 3为Fisher判别函数摘要，判别函数1（F1）的方差贡献率为81.0%，判别函数2（F2）的方差贡献率为19.0%，两者累计方差贡献率达到了100%，表明这两个函数能完全反映样品光谱特征中的信息。F1和F2的相关性大于0.95，表明不同样本类别与F1和F2的相关性很强。观察到F1和F2在函数检验（Function test）中的Wilks’Lambda数值分别为0.002和0.083，均接近0，表明这两个判别函数对模型影响的显著性很高，Sig值均为0，表明这两个判别函数对变量的可解释度很高，具有充分解释样本分类的能力，综上选用F1和F2这两个函数作为判别函数，构建Fisher判别模型进行分类，用留一法（Leave-One-Out Cross Validation）作为验证模型的方法。选择函数1（F1）和函数2（F2）绘制判别函数联合分布图，如图 6所示。由图 6和表 4的结果可得，该判别模型对3类样本实现了正确率100%的分类，同时经过留一法验证后模型正确率仍为100%。如果需要区分未知样品，只需将该样品相应的红外光谱数据输入模型，判别函数联合分布图中就会显示出该未知样品位置及与其相距最近的分组质心，从而推断出未知样品属于哪一类别。
表 3 Fisher判别函数摘要Table 3. Summary of Fisher's discriminant functionsFunction Variance contribution% Cumulative contribution% Correlation Function test Wilks’Lambda Sig F1 81.0 81.0 0.990 1 to 2 0.002 0.000 F2 19.0 100.0 0.958 2 0.083 0.000 表 4 分类结果Table 4. Classification resultsCategories Predicted 1 2 3
Observed1 10(10) 0 0 2 0 3(3) 0 3 0 0 7(7) 4. 结论
本文借助了傅里叶变换红外光谱仪对20种直液式走珠笔墨水成分及含量进行了快速无损检验，建立了一种鉴别直液式走珠笔墨水类别的方法。首先对样品的傅里叶变换红外光谱数据进行自动基线矫正、峰面积归一化、Savitzky-Golay5点平滑3种预处理方法。采取组内误差平方和指标得出K-均值聚类的最优K取值，对样品进行K-均值聚类，实现了对直液式走珠笔墨水样品初步分类。对各类样品K-均值聚类结果进行主成分分析，绘制主成分二维得分图使各类样品之间的关系更加明确，同时验证了K-均值聚类结果的准确性。使用组均值均等检验评价PCA降维后的分组变量对FDA模型的贡献程度，得到两个具有较高贡献程度的判别函数，用该判别函数构建Fisher判别模型对3类样本进行分类识别，3类样品均被正确地分类为实际对应的3种品牌，分类正确率达到100%，交叉验证后预测正确率为100%。可通过该模型对案件涉及的未知直液式走珠笔墨水物证进行快速分类，为司法检验鉴定提供帮助。
-
![]()
图 8 序列3检测效果（输出中波信息）
Figure 8. Detection results of the third sequence (output medium wave information)
![]()
图 9 序列3检测效果（输出长波信息）
Figure 9. Detection results of the third sequence (output long wave information)
表 1 红外图像序列信息
Table 1 Infrared image sequence information
Band type Resolution Frame rate/fps Number of frames Scene type Medium wave 640$ \times $512 75 30000 1 30000 2 6000 3 Long wave 320$ \times $256 300 120000 1 120000 2 24000 3 
下载: 导出CSV
表 2 不同波段的检测结果
Table 2 Detection results of different wavebands
Scene type Number of targets Long wave Medium wave Fusion Long wave Medium wave Recall Precision Recall Precision Recall Precision 1 0 29885 - - 0.923 1.0 0.923 1.0 2 119865 0 0.886 0.95 - 0 0.886 0.94 3 18444 4334 0.9773 1.0 0.9949 1.0 0.9949 1.0
下载: 导出CSV
-
[1] 吴双忱, 左峥嵘. 基于深度卷积神经网络的红外小目标检测[J]. 红外与毫米波学报, 2019, 38(3): 371-380. WU Shuangchen, ZUO Zhengrong. Small target detection in infrared images using deep convolutional neural networks[J]. Journal of Infrared and Millimeter Waves, 2019, 38(3): 371-380.
[2] 汪洋, 郑亲波, 张钧屏. 基于数学形态学的红外图像小目标检测[J]. 红外与激光工程, 2003, 32(1): 28-31. WANG Yang, ZHENG Qinbo, ZHANG Junping. Real-time detection of small target in IR grey image based on mathematical morphology[J]. Infrared and Laser Engineering, 2003, 32(1): 28-31.
[3] 张毅刚, 曹阳, 项学智. 基于形态学Top-hat滤波的红外小目标检测[J]. 计算机测量与控制, 2011, 19(6): 1269-1272. ZHANG Yigang, CAO Yang, XIANG Xuezhi. Infrared small target detection based on morphological top-hat filtering[J]. Computer Measurement & Control, 2011, 19(6): 1269-1272.
[4] 熊辉, 沈振康, 魏急波, 等. 低信噪比运动红外点目标的检测[J]. 电子学报, 1999(12): 26-29. DOI: 10.3321/j.issn:0372-2112.1999.12.008 XIONG Hui, SHEN Zhenkang, WEI Jibo, et al. Moving infrared low SNR target detection algorithm[J]. Chinese Journal of Electronics, 1999(12): 26-29. DOI: 10.3321/j.issn:0372-2112.1999.12.008
[5] 熊艳, 彭嘉雄, 丁明跃, 等. 基于线性变系数差分方程的运动目标检测方法[J]. 自动化学报, 1996, 22(4): 485-488. XIONG Yan, PENG Jiaxiong, DING Mingyue, et al. A method based on linear-variant-coefficient-difference-equation for moving target identi-fication[J]. Acta Automatica Sinica, 1996, 22(4): 485-488.
[6] 王春歆, 张玉叶, 王学伟, 等. 空间小目标动态规划检测[J]. 光学精密工程, 2010, 18(2): 477-484. WANG Chunxin, ZHANG Yuye, WANG Xuewei, et al. Study on dynamic programming algorithm for space small targets detection[J]. Optics and Precision Engineering, 2010, 18(2): 477-484.
[7] ZHAO B, WANG C, FU Q, et al. A novel pattern for infrared small target detection with generative adversarial network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(5): 4481-4492.
[8] DAI Y, WU Y, ZHOU F, et al. Attentional local contrast networks for infrared small target detection[C]//IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11): 9813-9824.
[9] 白玉, 侯志强, 刘晓义, 等. 基于可见光图像和红外图像决策级融合的目标检测算法[J]. 空军工程大学学报, 2020, 21(6): 53-59. BAI Yu, HOU Zhiqiang, LIU Xiaoyi, et al. An object detection algorithm based on decision level fusion of visible light image and infrared image[J]. Journal of Air Force Engineering University, 2020, 21(6): 53-59.
-
期刊类型引用(1)
1. 焦晓杰. 基于时空域滤波的雾天舰船图像视觉传达方法. 舰船科学技术. 2023(03): 173-176 . 
百度学术
其他类型引用(2)
计量
- 文章访问数: 91
- HTML全文浏览量: 14
- PDF下载量: 50
- 被引次数: 3
