0.   引言

偏振成像是一种利用光的偏振特性来获取目标信息的光学成像技术。通过多幅不同角度的偏振图像，可以通过求解Stokes矢量得到偏振特性信息，包括偏振度图像和强度图像。偏振度图像描述了光在每个位置上的振动方向，因此，在现实应用中偏振度图像可以用于识别不同材料和性质的物体，提供更多的纹理细节信息。强度图像展示了场景中不同方向上的光强分布，它可以提供整体信息。将强度图像与偏振度图像进行融合，可以提高图片的对比度与清晰度，从全局上把握纹理细节信息。经过图像融合技术处理后的图像，在复杂阴暗环境下能够更迅速且精准地识别目标，对于户外监控、遥感图像以及医学影像等领域具有实际意义^[1]。

图像融合的目标是从多个输入图像中提取有用信息，以生成一个信息更全面、质量更高的输出图像，传统方法在处理图像时，往往依赖于信号处理技术，近几年来，随着深度学习的发展，基于神经网络的方法也越来越多地被应用于图像融合任务中^[2]。早在2000年，Merino等人在草地背景下将地雷作为探测目标，采用HSV空间模型将红外图像、偏振度图像和偏振角图像相互融合，对地雷和草地背景的对比度进行量化。结果表明，融合得到的图像对比度显著增强^[3]。Sappa等人提出了一种基于多尺度分解的偏振图像融合方法，该方法利用小波分解阶段的不同设置，形成最终的图像表示。这种方法能够有效提高图像的清晰度和质量^[4]。李蕾等人在研究偏振图像融合时，采用传统方法，基于拉普拉斯金字塔算法，借助权重融合系数，有效强化了偏振图像的细节特征^[5]。

虽然传统的图像融合技术已经能够提供满意的结果，可是它们通常依赖于手工设定的融合规则。鉴于此，深度学习提供的图像融合手段为这一挑战提供了新的解决方案^[6]。李辉提出了RFN-Nest用于可见光与红外图像融合，该网络提取多尺度特征，采用残差网络融合策略，取得良好的融合效果^[7]。张俊超团队设计了一种无监督端对端的深度学习框架，针对强度图像与偏振度图像的融合挑战，该网络采用一种多尺度加权的结构相似性指数作为其损失函数，从而在融合过程中更全面地保留了原始图像的关键特征^[8]。以上所提到的方法都展现出卓越的融合效果，但是对于提取到的多尺度特征，使用了相同的融合策略，在阴暗复杂环境下，融合效果一般。

为了凸显复杂阴暗环境下的细节信息，本文提出了SFE-DFS-Nest。基于RFN-Nest的自动编解码器网络进行了改进。新网络模型不仅能够有效捕捉源图像的纹理细节和全局信息，而且在特征重建方面也取得了显著的效果。针对不同尺度的特征，本文分别引用了残差融合和轻量化Transformer融合网络，以更好地捕捉图像之间的关联性。此外，在融合策略的训练过程中，本文使用了综合均方误差，梯度损失与对比损失的损失函数进行约束训练，进一步提高模型的性能。

1.   图像融合方法

1.1   偏振图像配准

采集到不同角度的偏振图像会由于环境等客观因素存在一定程度的位置偏移问题。在进行计算偏振度与强度图像之前需要进行对源图像配准工作。

本文采用稀疏图像融合与修复（sparse image fusion and inpainting，SIFI）算法进行图像配准，通常SIFI算法包括5个步骤^[9]：

① 生成偏振图像的高斯拉普拉斯（Laplacian of Gaussian, LoG）尺度空间；

② 检测偏振图像高斯差分（difference of Gaussian, DoG）尺度空间极值点；

③ 精确定位偏振图像的极值点；

④ 为每个偏振信息关键点指定方向参数；

⑤ 偏振特征关键点描述子的生成。

1.2   强度图像与偏振度图像求解

本文收集了多组偏振图像，其偏振角度分别为0°、45°、90°与135°。这些图像的偏振态是通过Stokes矢量来表达的。Stokes矢量可以用四行一列的列矩阵来表示，四行中的四个参数均为光强的时间平均值，具有不同的含义，用矢量(S₀, S₁, S₂, S₃)^T表示。其中S₀是总强度，S₁和S₂是不同坐标下的线偏振分量，S₃表示圆偏振分量。

具体有两种表达方法，第一种：

式中：E_x、E_y分别表示光波的x，y分量；δ为两分量之间的相位差。

第二种：

式中：I₀、I₄₅、I₉₀、I₁₃₅分别表示在0°、45°、90°、135°方向上的偏振光强；I_RCP是右旋圆偏振光强；I_LCP是左旋圆偏振光强。

在现实应用中，圆偏振通常为0，因此S₃＝0^[10]。所以Stokes矢量常表示为：

线偏振度是一种表示偏振光占总光强的比例的量^[11]，其表达式如下：

式中：S₀为强度图像；DOLP为偏振度图像。

1.3   图像融合网络模型

本文使用的偏振图像融合网络模型如图 1所示，它来源于端到端融合框架（an end-end residual fusion network, RFN-Nest），其结构如图 1所展示，主要由3部分构成：编码器网络、特征融合网络以及解码器网络。本文分别对3部分进行改进，编码器如图 1左侧所示，本文对卷积核的大小和滤波器数量做了改进，编码器网络旨在提取源图像的多尺度特征。特征融合网络如图 1中间所示，本文引入了轻量化Transformer网络，使用双重融合策略针对不同尺度的特征进行融合。解码器网络如图 1右侧所示，本文设计新的密集块，更好地帮助解码器网络重建融合后的特征。

图  1  多尺度特征提取与双重融合策略图像融合网络

Figure  1.  Multi-scale feature extraction and dual fusion strategy image fusion network

下载: 全尺寸图片 幻灯片

在图 1左侧所示的编码器中，详细展示了源图像特征提取的过程。编码过程始于输入图像，首先经过一个1×1的卷积操作，有助于网络更全面地理解和处理输入图像的信息。随后，图像通过一系列密集块，每个密集块采用不同的卷积核和滤波器数量，以捕捉图像中的多尺度信息^[12]。在每个密集块之后，引入最大池化操作，这不仅有助于减小特征图的空间尺寸，还有助于提取深度特征。从整体结构来看，编码器的浅层特征保留了更多细节信息，而更深层的特征则传达了更高层次的语义信息。这一编码过程通过层层堆叠和变换，使得网络能够逐步抽取和学习输入图像的特征表示。

解码器网络如图 1右侧所示，通过多层次的解码过程逐步生成融合图像。解码器采用多个密集连接块（DB模块）和上采样层，以逐渐细化的方式从融合网络获取的特征中重建图像。每个DB模块由两层卷积组成，卷积核大小分别为1和3，并在每层卷积后应用ReLU激活函数。此外，DB块之间还添加了密集连接，允许深层结构向浅层结构传递监督信息，有助于更好地学习特征表示。上采样操作用于增加特征图的尺寸，提高分辨率^[13]。这一过程有助于保留和细化融合图像的细节，从而提高生成图像的质量。

轻量化Transformer网络结构如图 2所示。编码器网络能够提取多尺度特征，对于浅层次的特征，这些特征被视为纹理细节特征，在本文中采用轻量化Transformer进行有效的特征融合^[14]。在前向传播的过程中，本文首先将提取到的浅层次偏振度图像与强度图像的特征进行相加。在模型中使用的归一化操作有助于提升模型在训练过程中的稳定性。此外，该模块应用了注意力机制，以捕获融合信息中的相关细节特征。为了进一步细化表示，采用了多层感知机（MLP）。最终，经过轻量化Transformer网络融合的特征被成功输出，为解码任务提供了更为全面和精细的融合信息表示。

图  2  轻量化Transformer网络

Figure  2.  Lightweight transformer network

下载: 全尺寸图片 幻灯片

该网络的注意力机制部分如图 3所示，它通过卷积层对输入进行变换，生成注意力机制的查询（q）、键（k）和值（v）。在归一化后，查询和键经过矩阵运算和缩放参数计算注意力分布矩阵，然后通过softmax进行标准化。利用注意力权重对值进行加权求和，得到经过注意力机制调整的输出。最后，通过卷积层调整输出的维度和形状。这一注意力机制的设计旨在使网络能够集中关注输入中的关键细节信息。

图  3  注意力机制

Figure  3.  Attention mechanism

下载: 全尺寸图片 幻灯片

Mlp模块的结构如图 4所示，在本文的前向网络中，采用两个深度可分离卷积构成的小分支，分别为1×1和3×3的卷积核。其中一支使用Gelu激活函数，两支分支产生的特征图进行逐点相乘。这种设计旨在引入非线性交互，提升模型对输入特征的表达能力。

图  4  Mlp模块

Figure  4.  Mlp module

下载: 全尺寸图片 幻灯片

对于深层次提取的特征，这些特征包含着丰富的语义信息。在本文的设计中，选择采用残差网络进行特征融合，该网络模型如图 5所示。在前向传播过程中，该模块通过两条路径进行特征融合处理。首先，一条路径是将两个输入张量在通道维度上连接，随后先后经过卷积和深度可分离卷积操作。同时，另一条路径是分别对输入张量进行卷积操作，然后在通道维度上拼接，随后通过三个深度可分离卷积块。最后，将两条路径的输出相加，得到最终的融合特征输出。该模块通过巧妙的残差网络实现了有效地特征融合。

图  5  残差网络

Figure  5.  Residual network

下载: 全尺寸图片 幻灯片

1.4   两阶段融合训练

本文采用与RFN-Nest相同的两阶段训练方法。在第一阶段，本文去除了融合策略模块，直接将编码器提取到的特征传递到解码器进行特征重建。该阶段的训练旨在提升编码器的特征提取能力以及解码器的解码能力，进而增强生成图像的能力。其中，第一阶段用到的损失函数L_auto如下：

式中：L_pixel和L_SSIM表示输入图像（Input）和输出图像（Output）之间的像素损失和结构相似性（SSIM）损失。a表示像素损失与结构相似性损失之间的平衡参数，像素损失的计算方法如下：

结构相似性损失的计算方法如下^[15]：

式中：x、y表示待计算的两张图像；μ_x和μ_y分别是图像x和图像y中图像块的均值；σ_xy是图像x与图像y的协方差；σ_x²和σ_y²分别是图像x与图像y中图像块的方差；c₁和c₂是为避免除0错误的常数。

第二阶段主要是针对融合策略模块。本文设计损失函数的目标是减小融合后图像噪声，并凸显复杂环境下的细节信息。第二阶段的损失计算如下：

式中包括强度图像与融合图像的均方误差损失（MSELoss），强度图像与融合图像的梯度误差损失（GradientLoss）以及偏振度图像与融合图像的对比度损失（ContrastLoss）。

通过最小化均方误差，模型会更加关注生成图像与强度图像在像素级别的准确匹配，有助于融合后的图像在整体上保留源图像的细节。同时，该损失函数对异常值（噪声）会非常明显，有助于减小生成图像的噪声^[16]。其计算方法如下：

式中：N代表像素总数；I是强度图像的像素值；R是融合后图像的像素值。

通过梯度损失可以衡量重建图像的梯度与强度图像的梯度之间的差异。通过最小化梯度损失，可以促进融合后图像的边缘更加清晰^[17]。其计算方法如下：

I_{i, x}和I_{i, y}是强度图像的第i个像素的水平和垂直梯度。R_{i, x}和R_{i, y}是融合后图像的第i个像素的水平和垂直梯度。

对比度损失的定义通常基于交叉熵的形式，以确保生成图像与偏振度图像相似。对比度损失函数有助于提高图像中细节的可见性。并且通过强调对比度，可以使生成图像具有更高的清晰度和对比度^[18]。其计算方法如下：

式中：Q代表偏振度图像的像素值；R是融合后图像的像素值。

2.   偏振图像融合实验

为了验证上述方法，本文采用Python对强度图像与偏振度图像进行融合处理。数据使用相机结合4个偏振角度的偏振片拍摄所得。

对图像分别进行主成分分析法（principal component analysis, PCA）、脉冲耦合神经网络（pulse-coupled neural network, PCNN）、RFN-Nest与本文所描述的4种融合算法进行融合处理，融合后的图像经过主观与客观评价指标的综合评估。主观评价考虑人眼对图像质量的感知，而客观评价通过计算各种图像质量度量指标来提供量化的结果。

2.1   融合图像质量客观评价指标

在对比融合图像时，为了得到更客观、清晰、具有说服力的结果。本文采用平均梯度，图像信息熵，空间频率和标准差4个指标定量的对融合结果进行评估^[19]。

1）平均梯度

平均梯度是计算设计图像中像素值的梯度变化。平均梯度越大，表示图像中的颜色变化越剧烈，图像质量越高。其计算公式如下：

式中：I表示给定像素处的图像强度；x、y分别表示水平、垂直方向。

2）信息熵

信息熵是一种衡量图像信息内容复杂性的指标，信息熵越高，图像包含的信息越复杂。其计算公式如下：

式中：Z_i表示图像的灰度值；z_i表示相应灰度的概率大小。

3）空间频率

空间频率是用来衡量图像中变化率的指标，通常用来描述图像中纹理和细节程度。空间频率越大，表示纹理细节信息越丰富。其计算公式如下：

式中：f(x, y)是图像空间域的像素值；F(u, v)是频域中的复数表示；H、W是图像的尺寸。

4）标准差

标准差是一种衡量数据集合中数值分散程度的统计量，通常用来评估图像的对比度和像素值的变化程度。标准差越大，表示图像中的像素值分布越散，图像对比度越高。其计算公式如下：

式中：H(i, j)表示单像素灰度值；$\bar H$表示灰度平均值；

2.2   实验结果与分析

采集到的4个角度偏振图像为阴暗室外环境如图 6、7所示。

图  6  以树为主要背景的四角度图像

Figure  6.  Four-angle images with trees as the main background

下载: 全尺寸图片 幻灯片

图  7  以楼为主要背景的四角度图像

Figure  7.  Four-angle images with buildings as the background

下载: 全尺寸图片 幻灯片

经过Stokes矢量公式求得的强度图像与偏振度图像如图 8、9所示。

图  8  以树为主要背景的偏振度与强度图像

Figure  8.  Degree of polarization and intensity images with trees as the main background

下载: 全尺寸图片 幻灯片

图  9  以楼为主要背景的偏振度与强度图像

Figure  9.  Degree of polarization and intensity images with buildings as the main background

下载: 全尺寸图片 幻灯片

分别对强度图像与偏振度图像进行PCA、PCNN、RFN-Nest与本文所描述的四种融合算法融合结果如图 10、11所示。

图  10  以树为主要背景的不同融合方法融合后图像

Figure  10.  Fusion images using different fusion methods with trees as the main background

下载: 全尺寸图片 幻灯片

图  11  以楼为主要背景不同融合方法融合后图像

Figure  11.  Fusion images using different fusion methods with buildings as the main background

下载: 全尺寸图片 幻灯片

通过主观分析融合结果，发现在阴暗室外场景中，4幅不同的偏振图像在细节表现上并不明显，对比度较低。通过Stokes矢量求得的强度图像呈现出树木、建筑整体轮廓以及丰富的背景信息。偏振度图像展示了树叶的形状、建筑的分层和窗户等细节信息。经过融合后，四种融合方法的结果相比原始图像更加清晰。与PCA、PCNN以及RFN-Nest融合后的图像相比，本文算法融合得到的图像细节更为明显，可以更清晰地看到建筑与树木的分界线，树叶的形状也更加突出，呈现出更好的视觉效果

表 1展示了四种不同方法融合效果的定量分析，表中列出的数据代表了40张融合图像平均结果的数值，最优数值加粗表示。通过数值比较，本文方法优于其他融合方法。其中，与RFN-Nest相比，本方法的客观评价指标信息熵、标准差、平均梯度和空间频率分别提高了5.08 %，34.26%，21.44%，15.97%。说明通过本文方法融合的图像，有着丰富的细节信息、均匀的像素分布以及较高的对比度，在阴暗环境下也能保留细节信息。

表  1  输出结果的各项评价指标

Table  1.  Evaluation metrics of the output results

	AG	EN	SF	SD
PCA	3.18	6.39	15.33	29.01
PCNN	3.65	6.79	14.92	38.74
RFN-Nest	4.43	6.88	22.98	41.59
Ours	5.38	7.23	26.65	55.84

下载: 导出CSV 

| 显示表格

3.   结论

针对复杂阴暗环境下图像细节不明显的问题，本文提出一种强度图像与偏振度图像基于深度学习融合的方法。有效地利用偏振图像的全局信息和纹理细节，融合后的图像能保留丰富的信息，图像的对比度高。该方法在实际应用中具有广泛价值，比如在安防监控领域，该方法能显著提升夜间或光线不足环境下的图像清晰度，确保能够准确获取关键信息，从而保障公共安全。该方法与RFN-Nest总体网络结构相似，但本文针对不同尺度的特征，采用不同的融合策略，并且使用不同的损失函数训练网络，通过实验表明本文所做出的改进更加切合本文要解决的问题。在今后的工作中，将对编码器网络进一步改进，确保有效地提取图像的全局信息和纹理细节。