0.   引言

当前，以红外成像技术为基础的红外警戒系统、红外制导导弹等军事装备已经在现代战争中逐渐占据重要地位^[1]。这些装备在性能测试阶段，通常需要通过外场试验来对其目标跟踪能力、抗干扰能力和虚警率等性能指标进行测试与评估^[2]，但红外成像系统受试验环境和气象条件等因素的影响较大，依据单次外场试验的结果难以对装备在不同作战环境和气象条件下的性能指标作出客观精确的测试和评估，需要采用红外图像仿真技术来模拟战场环境和军事目标进行多次可重复的测试试验^[3]；而为了保证红外装备能在战时发挥最大的作战效能，也需要生成大量军事目标在不同作战环境和气象条件下的红外仿真图像来对作战人员进行模拟训练^[4]。因此，早在20世纪70年代，国外就通过外场试验结合理论建模对红外图像仿真技术展开了研究，先后研发出Vega Prime、SE Workbench等较为完善的红外视景仿真软件^[5]，但存在逼真度差、普适性不好的问题。而且由于存在技术封锁，国内红外视景仿真软件发展缓慢，主要以自建模型和依托仿真软件包建模渲染为主^[6]。

近年来，深度学习技术异军突起，涌现出许多基于神经网络的仿真图像生成技术，特别是Goodfellow等人率先提出的生成对抗网络（Generative Adversarial Networks，GAN）^[7]可以实现图像风格的迁移。考虑到国内可见光图像仿真技术比较成熟，而且军事目标在不同作战环境和气象条件下的可见光图像远比红外图像丰富，本文将建立在GAN网络基础上、但无需使用配准图像进行训练的循环一致生成对抗网络（Cycle Generative Adversarial Networks，CycleGAN）^[8]引入到红外图像仿真领域，提出了一种水上目标可见光图像生成红外仿真图像的方法。

1.   基于循环生成对抗网络的红外仿真图像生成方法

要生成效果出色的红外仿真图像，仿真结果不仅需要满足红外图像的风格分布，还需要保持与可见光图像对应的内容特征。CycleGAN是一种基于GAN发展而来的无监督机器学习。克服了GAN结果不可控的缺点，继承了Pix2Pix^[9]定向生成特定分布图像优势的同时突破了数据集配准的限制。

本文以水上目标的可见光与红外图像为数据集，对CycleGAN网络模型不断训练优化得到训练模型，可通过输入新的水上目标可见光图像生成相应效果出色的红外仿真图像。如图 1所示，CycleGAN在传统GAN的基础上额外增加一个生成器和判别器构成对称的环形网络。两个GAN共享两个生成器G、F，并各带一个判别器D_X、D_Y。在本文中，训练集X为水上目标的可见光数据集，训练集Y为水上目标的红外数据集。x∈X表示可见光数据集中图像样本，y∈Y表示红外数据集中图像样本。将训练集X和Y中图像数据x、y作为输入，为提高训练效率，对每张图像按照像素大小256×256、步长3像素进行裁剪。以前向循环X→Y图像处理流程为例：可见光图像x通过生成器G生成具有红外风格的生成图像G(x)，加入红外训练集Y。生成器G首先对x进行3层卷积，第一层卷积提取可见光图像中船舶目标特征，卷积核大小为7×7、步长设置为1，边界补充设为SAME。得到的结果依次进行批规范化处理加速收敛并激活，得到尺度为1×256×256×64的结果c₀。第二层卷积对c₀进行特征提取，卷积核大小为3×3、步长为2、边界补充设为SAME，将特征图下采样到一半得到结果c₁，尺度为1×128×128×128；第三层卷积对第二层输出特征图进行高级特征提取，参数设置与第二测定相同，再次将特征图下采样到原尺寸一半，增大卷积核对输入特征图的感受域，卷积结果c₂尺度为1×64×64×256。网络中还包含非线性激活层，激活函数Relu(x)＝max(0, x)。

图  1  循环生成对抗网络原理

Figure  1.  Cycle generative adversarial network model

下载: 全尺寸图片 幻灯片

随着网络深度增加，神经网络会产生梯度消失的现象，生成器采用残差网络ResNet优化这一问题。G中构建了9层深层残差块r₁~r₉，卷积核大小为3×3、步长为1。将c₂作为输入并将结果依次作为下一层的输入，最终得到r₉。r₉不改变c₂尺度。用与三次下采样相对的反卷积网络对r₉上采样保持网络输出与输入维度一致，卷积核大小依次为3×3、3×3、7×7，步长依次为2、2、1，边界补充设为SAME。最后经过函数$ \tanh \left( x \right) = \frac{{{{\text{e}}^x} - {{\text{e}}^{ - x}}}}{{{{\text{e}}^x} + {{\text{e}}^{ - x}}}} $激活得到生成的输出G(x)。

判别器D_Y用以判定训练集Y中出现的图像样本真假。因为只需要构建高频信息，不需要将整张图片作为输入，判别器继承pix2pix的PatchGAN网络，先对图像进行若干次patches块大小70×70的随机剪裁，将剪裁后图像输入判别器得到30×30的特征图，特征图的每一个点对应原图片上一个patch，将特征图降维取均值来衡量生成图像的每一个patch与真图像的差异。

同时G(x)通过生成器F生成风格图像F(G(x))加入训练集X，判别器D_X判定F(G(x))标签并计算与X中真实图像的损失。

后向循环Y→X图像处理流程与此类似。通过两组生成器与判别器相互博弈，最终生成使判别器无法判别真假的图像G(x)、F(y)时，模型达到训练效果。

2.   建立数据集

由于缺乏公开的船舶红外图像数据集，本文自建了江面船舶可见光与红外数据集。原始图像数据为在武汉市鹦鹉洲长江大桥实地晴好天气下，采集了江面行驶的集装箱船、干散货船、轮渡船、巡逻艇等多种船舶图像。在深度学习中，训练数据集规模和质量直接影响模型性能。训练集越丰富，质量越高，模型训练性能越好^[10]。因采集地点为桥梁附近，数据集中原始图像场景中存在大量桥墩以及两岸楼房、堤岸等复杂物体，若图像中同时存在船舶目标与干扰物体，该图像作为训练集会降低模型准确率。

本文采用区域生长算法对原始图像进行目标识别和分割提取，去除了复杂背景的干扰。

2.1   区域生长算法

区域生长算法（region seeds growing, RSG）是一种图像分割技术，能将具有相同特征的联通区域分割出来，并提供良好的边界信息和分割结果。在无先验知识可利用时可以取得最佳性能，常用于分割较为复杂的图像^[11]。

其基本思想是将有相似性质的像素点合并起来构成联通区域。首先对需要分割的区域选取一个种子像素作为生长起点，然后根据事先确定的生长准则将种子像素周围领域中与种子有相同或相似性质的像素合并到种子像素所在区域中。新像素作为种子继续向四周生长，直到没有满足条件的像素为止。

2.2   数据处理

本文采用区域生长算法进行目标识别与分割，筛选出完整船舶的图像轮廓，最终获得可见光船舶图片6285张，红外船舶图片8246张。对可见光和红外图像预处理结果示例如图 2所示。

图  2  可见光、红外图像预处理

Figure  2.  Image preprocessing of visible images and infrared images

下载: 全尺寸图片 幻灯片

3.   模型训练

模型训练阶段，按照训练集、验证集2:1的比例划分数据，经预处理和筛选后最终划分可见光图像训练集图像样本3346张，验证集图像样本1672张；红外图像训练集图像样本3744张，验证集图像样本1871张。参数设置如表 1所示，模型训练时将所有图像缩放成256×256像素，优化器选择基于低阶矩的自适应估计Adam（adaptive moment estimation）算法优化梯度。前100轮迭代（N_epochs）保持初始学习率，第100轮迭代后学习率开始线性衰减，每隔50轮迭代衰减一次（decay iters），第200代时衰减到0（N_epochs decay）。

表  1  模型参数值

Table  1.  Model parameters

Parameters	Learning rate	Epoch	N_epochs	N_epochs decay	Beta1	Beta2	Decay iters
Value	0.0002	200	100	100	0.5	0.999	50

下载: 导出CSV 

| 显示表格

模型训练过程中有两个损失函数，对抗损失和循环一致损失。前者尽可能让生成器生成的数据分布接近于真实的数据分布，后者用于保证两生成器可以实现互逆，即互相迭代回自身。

设X、Y为可见光数据集和红外数据集，x表示可见光数据集中图像样本，y表示红外数据集中图像样本，对生成器G: X→Y和它的判别器D_Y，对抗损失函数为：

式中：E为数学期望；P_data为真实图像数据分布；D_Y(y)表示真实的红外数据库Y中的样本y在判别器D_Y中的评分，越接近1表示判别器认为此红外图像越真实。G(x)为生成器根据可见光图像x生成的与具有Y中红外图像特性的红外仿真图像，D_Y(G(x))表示判别器D_Y根据生成的红外仿真图像得到的评分，如果D_Y认为生成的红外仿真图像真实度越低，D_Y(G(x))越接近于0，1－D_Y(G(x))越接近于1。当判别器D_Y越强，即更能区分出真实的红外图像与生成器生成的红外仿真图像时，此损失函数值越大，而生成器G希望尽可能生成以假乱真的红外仿真图像以欺骗判别器，即希望此损失函数值越小越好。生成器在与判别器D_Y对抗的过程中，损失函数值不断下降，最终达到纳什平衡，生成器G生成样本达到判别器D_Y无法判定出来的效果$ {\min _G}{\max _{{D_Y}}}{L_{{\text{GAN}}}}\left( {G,{D_Y},X,Y} \right) $。同理生成器F: Y→X和它的判别器D_x对抗损失函数也是如此：

当生成器G试着生成与Y相似的图片G(x)时，G希望通过优化减小的项目与生成器F希望优化增大的项目相对抗，最终达到$ {\min _F}{\max _{{D_X}}}{L_{{\text{GAN}}}}\left( {G,{D_X},X,Y} \right) $。

循环一致损失函数是CycleGAN的核心，也是实现无配对图像相互转换的核心，为了尽可能保证循环一致性。L_cyc设定为两个相似的结构：

式中：||⋅||₁表示l₁范数。综上所述，CycleGAN网络的总损失函数为：

式中：λ为平衡对抗损失和循环一致损失的权重，一般取10。

如图 3所示，当网络模型进行20轮迭代时，已经能够实现从可见光图像生成初具红外特征的仿真图像，但是存在的问题是仿真图像中船舶边缘模糊，内部纹理与真实红外风格存在偏差，水面波纹呈现的灰度变化更接近可见光图像风格；当进行到40轮迭代时，船舶目标边缘逐渐清晰，目标内部呈现较为符合红外特征风格的灰度分布，水面纹理表征更为自然；进行到120轮迭代时，可以生成视觉上较为逼真的红外仿真图像；但进行到140轮迭代后，生成图像会出现伪影现象。经过对比，本文选择第120轮作为截止代际。

图  3  原始可见光图像经过不同迭代次数生成的红外仿真图像

Figure  3.  Original visible images and infrared simulation images generated in different epochs

下载: 全尺寸图片 幻灯片

4.   实验验证

4.1   验证方案

利用训练好的网络对测试集进行测试，在耗时95 h后得到训练模型。统计表明转换单张可见光图像平均时间约为0.2 s，可在短时间大量生成红外仿真图像。图 4展示了江面部分型号的集装箱船、干散货船的可见光图像及生成的红外图像。

图  4  红外图像仿真测试结果

Figure  4.  Infrared image simulation test results

下载: 全尺寸图片 幻灯片

为验证算法有效性，本文从图像真实度、质量、相似度3个方面评价实验结果。

验证方案示意图如图 5所示，首先将水上目标的原始可见光（Visible image）和红外图像（Infrared image）送入训练好的CycleGAN模型获取红外仿真图像（Infrared simulation）。从3个方面对红外仿真图像进行评价：

图  5  验证方案示意

Figure  5.  Validation scheme of proposed method

下载: 全尺寸图片 幻灯片

1）真实度：采用主观视觉效果评价生成的红外图像真实度；

2）相似度：采用结构相似性指数（structural similarity index measure, SSIM）评估红外仿真图像与原可见光图像的图像相似度，SSIM的取值范围是[－1, 1]，越接近1，表明生成的红外图像与原可见光图像的相似度越高；

3）质量：采用信息熵（entropy）、平均梯度（average gradient）、边缘强度（edge intensity）、标准差（standard deviation）和空间频率（spatial frequency）5个指标评价生成的红外图像的质量，并与红外数据库中图像进行质量比较。

4.2   实验结果分析

从主观视觉效果上看，本文中生成的红外图像真实度较高。红外仿真图像中船舶目标的几何形状和空间关系与可见光图像基本一致，目标与背景温差明显，边界清晰。红外仿真图像内部细节丰富，区别于其他区域，船只内部温度较高的部件，如船舱动力系统、排气系统等，在仿真图像中表现为灰度值较大。红外仿真图像水面波纹与船舶尾流效果较好，与可见光图像相符。

评价红外仿真图像与原始可见光图像相似度时，本文在模型训练结束后计算测试集生成的红外仿真图像与相匹配的可见光图像的SSIM。红外仿真图像与相匹配的可见光图像SSIM均值为0.5194。参考从公共数据集中获取的21张已配准的红外与可见光图像，SSIM均值为0.3749，其结果表明与真实红外图像相比，本文生成的红外图像与可见光图像结构相似度较高，图像相似性高。

本文将生成红外仿真图像与原始数据集中所有真实红外图像样本进行对比，从信息熵、平均梯度、边缘强度、标准差、空间频率5个维度对生成图像质量进行评价，评价结果如图 6所示。生成的红外图像信息熵均值为5.46，数据库内红外图像信息熵均值为6.03，结果表明仿真图像与红外图像平均信息量上较为接近；平均梯度反映图像中的微小细节反差和纹理变化特征，生成的红外图像平均梯度均值为4.81，数据库内红外图像平均梯度均值为8.92，这是由于仿真图像是基于可见光图像生成的，转化过程中纹理信息有部分损失，仍需进一步提高；仿真图像边缘强度均值为8.52，数据库内红外图像边缘强度均值8.58，两者边缘强度相近，反映仿真图像边缘清晰程度达到红外图像水平；标准差反映了图像清晰程度，生成的红外图像标准差均值为28.53，数据库内红外图像标准差均值36.68，清晰度差别不大。图像空间频率反应图像灰度在空间中的变化情况，生成的红外图像空间频率均值为9.41，数据库内红外图像空间频率均值为15.23，生成的红外图像变化较慢，灰度值分布平坦，但仍能基本满足需求。

图  6  图像评价指标参数比较：(a) 结构相似性指数；(b)信息熵；(c) 平均梯度；(d) 边缘强度；(e) 标准差；(f) 空间频率

Figure  6.  Comparison of image performance indicators: (a) Structural similarity index measure (b) Entropy (c) Average gradient (d) Edge intensity (e) Standard deviation (f) Spatial frequency

下载: 全尺寸图片 幻灯片

综上所述，本文中生成的红外图像真实度较高，与可见光图像结构相似度高，保持了目标对应内容特征，图像质量接近真实红外图像，细节丰富程度较高，基本符合红外图像的风格分布特征。

5.   结论

本文围绕快速生成水上目标红外图像问题，通过区域生长算法识别提取目标，结合循环生成对抗网络将可见光图像转换为红外图像，在无监督的情况下，可短时间内将大量可见光图像转换为红外仿真图像。红外仿真图像在图像质量、图像真实性和图像相似性上均有不错表现，可以用作装备性能测试时的红外信号源头，具有一定实用价值。该方法可弥补当前与水上目标可见光图像同轴红外图像数据库不足的问题，也可以推广应用于其他目标，解决红外图像采集困难的问题。