0.   引言

水下航行器航行形成的尾流特征明显，利用水下航行器尾流的水面红外特征来探测水下航行器的踪迹逐渐发展成为一种新的探测方式。由于水下航行器航行形成的尾流特征复杂，人工识别工作量大，识别准确率较低。采用深度学习的人工神经网络识别水下航行器尾流红外图像具有明显的优势。

人工神经网络^[1]的起源可以追溯到20世纪40年代，在此期间经历了浅度学习和深度学习两个阶段。从学术角度来看，以1956年达特茅斯会议作为人工智能学科公认的起点，诞生了多个思想学派。但20世纪80年代以前，人工神经网络有很大的局限性，只能计算一些有限样本，且对目标进行分类的能力也很薄弱。在1986年之后，Rumelhart和McClelland^[2]将反向传递神经网络算法运用于神经网络的训练，解决复杂目标函数的求导问题。目前，人工神经网络作为机器学习的重要分支，在领域内有不可或缺的作用。

作为深度网络的一种，卷积神经网络通过多层特征提取层[3]的叠加得到比较复杂的网络结构。Razavain等人[4]构建了更加深层的卷积神经网络（deep convolutional neural network，DCNN），用于对目标进行提取图像特征，再进行分类与识别，这比传统方法达成了更好的效果。2015年，David Rumelhart等人^[5]合作提出了Faster-RCNN，它由一个区域生成网络（region proposal network，RPN）与Fast-RCNN共同构成。通过区域生成网络与Fast RCNN共享特征提取网络^[6]以及位置精修的策略，进一步提高了目标检测的速度。

本文根据尾流红外特征图像自身的特点，结合Faster-RCNN进行定位和识别，在卷积神经网络理论的基础上，比较不同的预训练网的预训练效果，选取最优的预训练网AlexNet；讨论了预训练网参数对训练效果的影响；最终比较AlexNet预训练和无预训练的网络对尾流图像的识别效果。

1.   红外尾流简介

红外是一种电磁波，它位于可见光的外端^[7]。肉眼难以观察出尾流在红外图像与可见光图像中的区别，但对于神经网络而言，却可以抓住图像中的特点。

水下航行器热尾流的形成^[8]有两个主要原因：一是水下航行器在温度梯度海中航行时对海洋温度场的扰动。二是水下航行器在水下航行时会放出大量的冷却水，冷却水在尾流中形成热尾流。在水下航行器刚刚通过的地方，由于热尾流，海水的温度与周围海水的温度有很大的不同，因此红外辐射也不同^[9]。通过对尾流红外成像进行分析，可以识别出不同的水下航行物。图 1(a)是红外探测仪下的潜望镜尾流，由于尾流引起的温度变化，呈现出开尔文形状，并随着尾流的延长，温度特征与海面背景的差异逐渐变小；图 1(b)是可见光下的水面航行器尾流，尾迹较长，从远处看呈带有小波浪的平行线，与潜望镜尾流不同，它产生的尾流波浪较大。这些特征将作为尾流图像识别的主要提取内容，通过Faster-RCNN实现尾流图像的定位，2种类型的尾流图像将作为实验训练的样本集来识别。

图  1  不同类型的尾流特征图像

Figure  1.  Different types of wake feature images

下载: 全尺寸图片 幻灯片

2.   深度迁移学习识别尾流

2.1   Faster-RCNN算法介绍

Faster-RCNN的基本结构^[10]是由RPN与Fast-RCNN共享CNN征提取网络构成。图 2所示Faster-RCNN对尾流红外图像进行识别的过程。先输入图片表示为Height×Width×Depth的张量（多维数组）形式，经过预训练CNN模型的处理，得到卷积特征图（convolutional feature map），将CNN作为特征提取器，送入下一个部分。然后RPN对提取的卷积特征图进行处理。

图  2  Faster-RCNN在识别红外尾流中的应用

Figure  2.  Application of faster-RCNN in infrared wake identification

下载: 全尺寸图片 幻灯片

本文在不改变Faster-RCNN的基本结构的前提下，运用Faster-RCNN来实现目标的检测。在对样本进行训练之前，人为的将收集到的尾流图片打入标签，过程中我们选择边界框来对区域进行选定识别，最终将作为训练样本集，相比于传统的整张图片导入，增强了一定的灵活性和识别精度。

通过Faster-RCNN算法对大量尾流图片进行训练、识别和定位，训练通常包含了4个过程：RPN的训练、用RPN训练Faster-RCNN、Faster-RCNN利用RPN共享权重和更新之后的RPN对Faster-RCNN进行再训练。最终得出较为满意的尾流红外特征识别定位网络。

2.2   基本网络

Faster-RCNN第一步是采用基于分类任务（如，ImageNet）的CNN模型作为特征提取器，并可视化中间层，查看其输出形式。Faster-RCNN最早是采用在ImageNet训练的ZF（Zeiler & Fergus Net）和VGG（visual geometry group），其后出现了很多其他权重不同的网络。在各种深度神经网络中，卷积神经网络^[11]是最广泛应用的一种，收敛性能和识别精度较为优越。卷积神经网络由LeCun^[12]在1989年提出，并且成功运用在手写字符图像的识别。2012年，AlexNet网络拥有更深层次，并且在分类任务中取得成功，此后卷积神经网络高速发展，被广泛用于各种领域。卷积网络的训练是通过反向传播训练得到的。反向传播算法的关键是计算误差项的值，根据该值计算损失函数对权重、偏置项的梯度值。本文将采用AlexNet作为预训练网络，开展红外尾流识别的迁移学习研究。AlexNet网络有5个卷积层，其中一部分后面接着max池化层；有3个全连接层；最后是softmax输出层，涵盖了1000个节点，对应1000个图像类。该网络在实现中没有采用传统的sigmoid或tanh函数作为激活函数，而是使用了新型的ReLU函数^[13]：

其导函数为：

由于函数简单，在正向传播和反向传播时能够减少计算量，且该函数能够提高图片识别效果。

不同的基本网络之间有所差异。通常，基本网络的参数包含网络内部参数（训练轮数、训练学习率等）、验证时的Frequency和Patience等。选用合适的基本网络和相关参数，对结合Faster-RCNN算法识别尾流有重要影响。

3.   结果与讨论

3.1   比较不同的预训练网络

预训练网的神经网络作为迁移学习的重要部分，那么选择合适的预训练网也变成了重要的问题。通过比较不同的预训练网，看训练效果如何。不同的神经网络的卷积层和池化层有很大区别，在保证相关参数不变的情况下，利用Matlab中神经网络训练功能，选择相同的小样本集（3类尾流，每类10张），按照80%训练、20%验证精度的比例来做对比，比较Google、VGG19、AlexNet三种基本网络对预训练的差异。

首先，固定好训练网络的参数。参数设置如图 3(a)所示。针对3个不同的预训练网络，我们设置训练轮数为5，Frequency=3，Patience=5，保证参数不变进行实验。

图  3  Google、VGG19、AlexNet基本网络对比实验图

Figure  3.  Comparison experiment of Google, VGG 19 and AlexNet

下载: 全尺寸图片 幻灯片

从图 3(b)可以看出，采用Google作为预训练网，训练速度较快，总共花费了5min 34s，但是精度最终只有83.33%，损失值最终也没有收敛。

从图 3(c)可以看出，采用VGG19作为预训练网，在第一轮结束之后，精度就可以达到一个较高的数值，且在第二轮完成时已经可以稳定在100%，损失值也收敛为0，但花费时间较长，耗时61min 49s。

从图 3(d)可以看出，采用AlexNet作为预训练网，在第二轮末端时刻我们的验证精度可以达到100%，总共花费了13min 13s，损失也逐渐降为0。

由表 1对比可以得出以下结论：

表  1  3种基本网络对比结果

Table  1.  Comparison results of three basic networks

Pre-training network	Google	VGG19	AlexNet
Accuracy	83.33%	100%	100%
Time	5min 34s	61min 49s	13min 13s
Stability	Bad	Good	Good

下载: 导出CSV 

| 显示表格

1）Google网络在小样本容量训练过程中速度较快，但回归会出现不收敛的情形，导致最终训练精度达不到预期值。

2）VGG19网络的内部结构复杂，在小样本训练过程中，结果虽然可以达到理想的精度，但耗时较长。

3）AlexNet网络的最终训练精度可以达到预期值，耗时一般。

对比之下，AlexNet网络用于预训练网实验较为优越。

3.2   讨论网络参数对精度的影响

3.1中已经讨论了不同的预训练网的训练效果，确定了AlexNet网络可以在实验中达到效益最大化，下面在AlexNet网络的基础上，将讨论参数Frequency和Patience对训练网络的影响。以便于在大样本实验中，能够调整网络至最优解。

1）Frequency对预训练的影响

控制Patience=5，训练轮数Epoch=5，不改变系统神经网络的内部结构，其余参数不变，图 4比较了Frequency从1~5的变化。

图  4  Frequency参数对AlexNet网络的影响实验

Figure  4.  Experiment on the influence of frequency parameters on AlexNet network

下载: 全尺寸图片 幻灯片

参考Frequency参数对AlexNet网络影响结果（详见表 2），可以得出以下结论：

表  2  Frequency参数对AlexNet网络影响结果

Table  2.  Influence results of frequency parameters on AlexNet network

Frequency	1	2	3	4	5
Accuracy	83.33%	100%	100%	100%	100%
Rounds	3	5	5	5	5
Time	8min28s	19min21s	13min13s	12min21s	18min34s
Stability	Better	Better	Better	Good	Better

下载: 导出CSV 

| 显示表格

Frequency如果过小会导致训练提前结束，达不到预期的精度；Frequency过大或者过小都会延长训练时间，但对稳定性的影响较小。对于小样本的AlexNet预训练神经网络，Frequency在3或者4较为适宜。

2）Patience对预训练的影响

控制Frequency=4，训练轮数Epoch=5，不改变系统神经网络的内部结构，其余参数不变，图 5讨论了Patience在1、3、5、7时的变化。

图  5  Patience参数对AlexNet网络影响实验

Figure  5.  Experiment of influence of patience parameters on AlexNet network

下载: 全尺寸图片 幻灯片

参考Patience参数对AlexNet网络影响结果（详见表 3），可以得出以下结论：

表  3  Patience参数对AlexNet网络影响结果

Table  3.  Results of influence of patience parameters on AlexNet network

Patience	1	3	5	7
Accuracy	100%	100%	100%	100%
Rounds	2	5	5	5
Time	6min 44s	15min 46s	12min 21s	16min 30s

下载: 导出CSV 

| 显示表格

Patience的大小对训练的最终精度影响较小，对耗时影响也不明显；但Patience一旦过小也会导致训练提前终止；过大会导致训练的稳定度降低；在小样本的AlexNet预训练神经网络，控制Patience在3~5较为适宜。

3.3   自定义网络与预训练网络比较

确立了AlexNet基本网络的相关参数之后，对其进行测试。为更能说明尾流识别精度结果，选取11层的自定义网络作为比较，这个自定义网络没有进行任何的预训练。实验分别选用了45个样本集、65个样本集、85个样本集对2类图像进行比较训练（其中潜望镜尾流为红外图像，舰船尾流为可见光图像）。训练过程中，带有预训练网的神经网络训练速度加快，接着对2种成型的网络用同样的测试集进行测试。参考图 6，部分训练完成后的网络能够成功识别并定位出尾流图像。从图 6可以看出，针对带有红外特征的尾流图像，定位范围能够更加精准。

图  6  成型网络尾流识别与定位测试结果展示

Figure  6.  Test results display of wake identification and location of formed network

下载: 全尺寸图片 幻灯片

针对不同的样本集实验进行实时监测，得到了自定义网络和AlexNet迁移学习之后的成型网络对尾流图像的判别结果，详见图 7。

图  7  两类尾流测试集下不同样本的实时数据记录

Figure  7.  Real time data recording of different samples under two types of wake test sets

下载: 全尺寸图片 幻灯片

从图 7(a)、(b)可以看出，45个小样本集下，用14个分成2类的样本去测试，AlexNet预训练的网络比自定义的网络漏检率（未检测到的目标占总目标的比例）低，误检率低，导致识别图像的准确度（Accuracy）更高，参考表 4。通过进行AlexNet预训练之后，在精准率方面，采用红外图像比可见光图像的精准率高18.18%。

表  4  45个样本集/14个测试集（2类）下的实验结果

Table  4.  Experimental results under 45 sample sets and 14 test sets (Category 2)

Network type	Accuracy	Missed rate	Error rate	Periscope wake as positive (infrared image)			Ship wake as positive (visible light image)
				Precise rate	Recall rate		Precise rate	Recall rate
Untrained	0.5714	35.71%	11.11%	66.67%	100%		100%	85.71%
Transfer learning	0.7857	7.14%	8.97%	100%	75%		81.82%	100%

下载: 导出CSV 

| 显示表格

从图 7(c)、(d)可以看出，65个样本集下，用14个分成2类的样本去测试，增加了训练样本数量之后，自定义网络的漏检率大幅下降，准确度提升较明显，此时的自定义网络的综合性能接近于迁移学习网络，参考表 5。

表  5  65个样本集/14个测试集下（2类）的实验结果

Table  5.  Experimental results of 65 sample sets and 14 test sets (Category 2)

Network type	Accuracy	Missed rate	Error rate	Periscope wake as positive (infrared image)			Ship wake as positive (visible light image)
				Precise rate	Recall rate		Precise rate	Recall rate
Untrained	0.7143	7.14%	16.67%	55.56%	100%		100%	87.5%
Transfer learning	0.7857	7.14%	13.63%	71.43%	100%		100%	75%

下载: 导出CSV 

| 显示表格

从图 7(e)、(f)可以看出，85个样本集下，用14个分成2类的样本去测试，对于同样的测试集，在训练样本中增加区分度较小的2类尾流图像，训练过程因出现过拟合而造成干扰，导致精度有所下滑。但从误检率、精准率和召回率来看，AlexNet迁移学习网络受到的影响较小，说明AlexNet迁移学习网络的稳定性要比自定义网络好，且随着样本数量增加，精准率和召回率都有所提升，参考表 6。针对AlexNet迁移学习网络，采用红外图像为正样本时比采用可见光图像在精准率方面高30%。

表  6  85个样本集/14个测试集下（2类）的实验结果

Table  6.  Experimental results of 85 sample sets and 14 test sets (Category 2)

Network type	Accuracy	Missed rate	Error rate	Periscope wake as positive (infrared image)			Ship wake as positive (visible light image)
				Precise rate	Recall rate		Precise rate	Recall rate
Untrained	0.3571	14.29%	63.33%	33.33%	75%		83.33%	62.5%
Transfer learning	0.6429	14.29%	14.29%	100%	100%		70%	100%

下载: 导出CSV 

| 显示表格

4.   结论

本文主要研究了深度迁移学习在尾流识别定位中的问题。通过结合Fast-RCNN算法，不同训练网络能够实现对红外尾流图像的识别和定位。而在众多预训练网络当中，AlexNet神经网络的优势明显；针对尾流小样本容量的训练，AlexNet神经网络作为尾流识别预训练网络的首选。它在训练精度、耗时、稳定性等综合方面的性能优势明显。随着样本容量增加，对未进行预训练的网络有一定的干扰能力，容易导致过拟合发生，而有预训练的网络呈现出的稳定性较高。在图像选择方面，识别尾流红外图像比可见光图像在精准率方面高。因此抓住尾流的红外特征，对判别尾流有较好的促进作用。通过实验比较了迁移学习的优势，对未来水下航行器红外尾流成像识别有广阔的应用前景。