Review of Polarization Image Fusion Based on Deep Learning
-
摘要: 偏振图像融合旨在通过光谱信息和偏振信息的结合改善图像整体质量，在图像增强、空间遥感、目标识别和军事国防等领域具有广泛应用。本文在回顾基于多尺度变换、稀疏表示和伪彩色等传统融合方法基础上，重点介绍基于深度学习的偏振图像融合方法研究现状。首先阐述基于卷积神经网络和生成对抗网络的偏振图像融合研究进展，然后给出在目标检测、语义分割、图像去雾和三维重建领域的相关应用，同时整理公开的高质量偏振图像数据集，最后对未来研究进行展望。Abstract: Polarization image fusion improves overall image quality by combining spectral and polarization information. It is used in different fields, such as image enhancement, spatial remote sensing, target identification and military defense. In this study, based on a review of traditional fusion methods using multi-scale transform, sparse representation, pseudo-coloration, etc. we focus on the current research status of polarization image fusion methods based on deep learning. First, the research progress of polarization image fusion based on convolutional neural networks and generative adversarial networks is presented. Next, related applications in target detection, semantic segmentation, image defogging, and three-dimensional reconstruction are described. Some publicly available high-quality polarization image datasets are collated. Finally, an outlook on future research is presented.
-
Keywords:
- polarization image /
- image fusion /
- deep learning
-
0. 引言
偏振图像融合旨在将偏振信息融入传统光谱信息，将不同模态图像中的优势信息相结合，以改善图像整体质量。按融合方法进行分类，主要包括传统方法[1]和深度学习方法[2]。传统融合方法应用范围广泛且整体效果较好，但由于通常对源图像采用相同变换方法且需要手动设计融合策略，因此具有一定的局限性。近年来，深度学习得到迅速发展，其技术方法也扩展到偏振图像融合领域。基于深度学习的偏振图像融合方法具有较多优势，融合网络能够充分地提取图像特征，特定设计的损失函数可以合理融合特征并为网络训练提供指导。同时，大量数据训练得到的网络模型，更有利于获得理想的融合效果。
19世纪以来，偏振探测技术得到快速发展。偏振与波长、振幅和相位一起构成电磁波的特征，同属于光的重要属性。当电磁波在地表或大气中发生反射、散射、透射和辐射时，会产生与目标特性相关且能够用于分析的目标形状、表面粗糙度以及纹理特征等偏振信息。传统的成像设备通常将光强和光谱信息编码为亮度和波长，并未利用偏振信息，因而在某些场景下无法从更完整的角度反映目标信息。而偏振成像技术则可以充分绘制场景的偏振状态，偏振维度信息可以在一定程度上弥补强度和光谱成像的不足，能够有效增强对目标的探测识别能力[3-4]。利用偏振探测系统可以获得光强图像和偏振图像，通过融合方法则能够明显地改善图像的纹理细节、对比度和分辨率等特征。鉴于以上优势，偏振图像融合的相关研究在计算机视觉、空间遥感、医学图像处理、军事安全等领域都得到广泛应用[5-8]。
随着偏振基础理论和探测装置的不断发展，偏振图像融合领域的研究内容更加丰富。特别是深度学习的出现和应用，为该领域的研究提供了新方向和新动力。深度学习的偏振图像融合方法主要基于卷积神经网络（convolutional neural networks，CNN）和生成对抗网络（generative adversarial networks，GAN）进行设计。本文在回顾了基于多尺度变换、稀疏表示和伪彩色等传统偏振图像融合方法基础上，重点介绍了基于深度学习的偏振图像融合方法研究进展，并给出在目标检测、语义分割、图像去雾和三维重建任务中的相关应用，同时整理了已经公开的偏振图像数据集。
1. 传统偏振融合方法
1.1 基于多尺度变换
基于多尺度变换（multi-scale transform，MST）的偏振图像融合方法研究开始较早且应用广泛。2016年，中北大学提出一种红外偏振与强度图像融合算法[9]，融合结果能够保留红外强度图像的全部特征和大部分偏振图像的特征。2017年，文献[10]提出一种基于离散小波变换（discrete wavelet transform，DWT）、非下采样轮廓波变换（nonsubsampled contourlet transform，NSCT）以及改进主成分分析（principal component analysis，PCA）的多算法协同组合的融合方法，该方法考虑到了3种算法的互补协同关系，能够充分保留源图像的重要目标和细节信息。2020年，文献[11]提出一种基于小波和轮廓波变换的偏振图像融合算法，解决了信息保留不充分、偏振图像干扰视觉观察和纹理细节不理想等问题。同年，文献[12]针对中波红外偏振图像特点，提出一种基于小波变换的融合方法，根据图像的高低频特点选择不同的融合规则，获得了高分辨率的融合图像。2022年，文献[13]提出一种水下偏振图像融合算法，融合图像具有突出的细节和更高的清晰度。2023年，文献[14]提出一种多尺度结构分解的图像融合方法，将红外图像和偏振图像分解为平均强度、信号强度和信号结构并分别采用不同的融合策略，实验结果能保留更多的纹理细节，对比度得到有效提升并抑制伪影。
1.2 基于稀疏表示
基于稀疏表示（sparse representation，SR）的融合方法主要利用偏振图像稀疏性，将图像分解为基础矩阵和稀疏系数矩阵后，再利用逆稀疏性原理进行重构，能够实现偏振信息和空间信息的充分融合。2015年，文献[15]将MST和SR相结合提出一种通用的图像融合框架，然后在多聚焦、可见光和红外以及医学图像融合任务中进行验证，并与6种多尺度分析方法的融合效果进行比较。2017年，天津大学提出一种基于双树复小波变换（dual-tree complex wavelet transform，DTCWT）和SR的偏振图像融合方法[16]。利用绝对值最大值策略融合高频部分，低频部分则利用稀疏系数的位置信息判断共有特征和特有特征，并分别制定相应策略，融合图像具有较高对比度和细节信息。2021年，文献[17]提出一种双变量二维的经验模态分解和稀疏表示相结合的红外偏振图像融合方法。通过绝对值最大策略融合高频分量，有效地保留了细节信息。利用SR提取低频分量间的共同特征和新特征，并制定适当的融合规则进行组合，融合结果在视觉感受和定量分析都更具有优势，如图 1所示[17]。
1.3 基于浅层神经网络
基于浅层神经网络的偏振图像融合方法主要利用了脉冲耦合神经网络（pulse coupled neural network，PCNN），通过脉冲编码信号进行信息的传递和处理，也通常与多尺度变换方法结合设计。2013年，文献[18]提出一种改进PCNN模型的偏振图像融合算法，利用偏振参数图像生成带有目标细节的融合图像进行偏振信息分析，同时使用匹配度M作为融合规则，获得了能够保留更多细节信息的高质量融合图像。2018年，文献[19]提出一种基于二维经验模式分解（bidimensional empirical mode decomposition，BEMD）和自适应PCNN的偏振图像融合算法，首先将线偏振度图像和偏振角图像进行融合得到偏振特征图像，然后将其与强度图像进行分解，最后高低频分量分别利用局部能量和区域方差自适应的融合策略。实验结果表明，提出的算法在多项评价指标上更具有优势。2020年，文献[20]结合非下采样剪切波变换和参数自适应简化型脉冲耦合神经网络提出一种水下偏振图像融合方法，能够有效探测到水下目标物的更多细节和显著特征，在主观视觉和客观评价上都得到明显提升，融合结果如图 2所示[20]。
1.4 基于伪彩色
基于伪彩色（Pseudo-color-based methods）的偏振图像融合方法可以将目标或场景的热辐射信息转换为符合人类视觉感受的色彩，能够有效提高成像效果。2006年，文献[21]采集665 nm波段的航空遥感偏振图像，并对地物场景进行上色，成功区分了陆地、海面和房屋等显著区域。2007年，西北工业大学提出一种基于伪彩色映射和线偏振度熵的自适应加权多波段偏振图像融合方法[22]，通过将不同波段的Stokes图像和DoLP图像结合，有效地去除了背景杂波。同年，文献[23]提出一种综合伪彩色映射和小波变换的融合方法，将其应用在全色图像和光谱图像的融合任务中，在显著增强目标与背景对比度的同时可以保留目标信息。2010年，文献[24]结合非负矩阵分解和IHS颜色模型提出一种偏振图像融合方法，具有较好的色彩表达和目标细节增强能力。随后，他们提出一种基于颜色转移和聚类分割的伪彩色图像融合方法[25]，融合结果符合视觉感知，同时可以使人工目标在杂乱背景下的对比度更加突出。2012年，文献[26]提出一种针对红外偏振和红外光强图像的伪彩色融合方法，并通过实验证明了在多项指标中的明显优势。近些年，北京理工大学在该领域开展较多研究，取得了丰富的研究成果[27-28]。
1.5 传统融合方法对比分析
以上4种类型融合方法都具有各自的优缺点，方法对比如表 1所示。在实际应用中，通常可以根据应用场景将这些方法相互结合进行算法的设计。
表 1 传统偏振图像融合方法对比Table 1. Comparison of traditional polarization image fusion methodsMethods Specificities Advantages Shortcomings Multi-scale transformation Important visual information can be extracted at different scales and provide better spatial and frequency resolution. It is capable of extracting multi-scale details and structural information to effectively improve the quality of fused images. The determination of decomposition levels and the selection of fusion rules usually depend on manual experience. Sparse representation The method uses a linear subspace representation of training samples and is suitable for approximating similar objects. The method captures sparse features and highlights target details, retaining unique source image information. Dictionary training has some computational complexity and is more sensitive to noise and pseudo-features. Pulse coupled neural network It is composed of various neurons, including reception, modulation, and pulse generation, and it is suitable for real-time image processing. It can effectively detect the edge and texture features of the image, and the edge information fusion effect is relatively good. The implementation requires multiple iterative computations. It has high operational coupling, many parameters, and is time-consuming. Pseudo-color-based methods The method maps the gray levels of a black-and-white or monochrome image to a color space or assigns corresponding colors to different gray levels. Images of different bands can be mapped to pseudo-color space, thus visually representing multi-band information for easy observation and understanding. The main function is to colorize the image, which cannot extract and fuse more information, and the ability to retain detailed information is relatively weak. 2. 深度学习偏振融合方法
2.1 基于卷积神经网络
基于CNN的偏振图像融合方法具有较为突出的融合效果。2017年，文献[29]提出一种双流型CNN用于高光谱图像和SAR图像的融合任务，并通过实验证明了提出的网络能够较好地平衡和融合源图像的互补信息。2020年，中南大学在可见光单波段的偏振融合任务中提出一种无监督的深度学习网络（PFNet）[30]，网络结构如图 3所示。其中，PFNet包括特征提取、融合和重构模块，同时通过密集块和多尺度加权结构相似度损失函数提高了网络性能。PFNet能够学习端到端的映射，进而实现强度图像和偏振度图像的充分融合，而无需考虑融合图像的真实值，具有能够避免复杂的水平测量和融合规则设计等优点。
2021年，文献[31]提出一种结合NSCT和CNN的偏振图像融合算法。首先利用快速引导滤波和脉冲耦合神经网络对偏振角图像进行去噪，然后将其与线偏振度图像融合得到偏振特征图像，最后通过多尺度变换的方法生成融合图像。同年，中南大学对PFNet进行改进，提出一种自学习策略的深度卷积网络[32]。相较于PFNet，主要改进内容是在网络结构中构建一个融合子网络替代原来的连接方式。融合子网络的设计借鉴了残差结构，采用3层带有RELU激活函数的卷积层，如图 4所示。同时，使用修正的余弦相似度损失函数代替平均绝对误差损失，能够更好地衡量融合特征与编码特征间的差异。此外，提出的网络在偏振图像数据集中进行训练得到的模型，在其他模态图像融合任务中仍具有较好的效果。
2022年，文献[33]提出一种基于像素信息引导和注意力机制的无监督偏振图像融合网络。将偏振图像中需要融合的信息定义为高度偏振的目标信息和强度图像的纹理信息，通过特别设计的损失函数约束不同图像的像素分布，可以在像素级别上更好地保留不同类型的显著信息，同时在融合模块中引入注意力机制，有效解决了偏振信息和纹理分布不一致等问题。实验证明，融合结果具有更丰富的偏振信息和更适宜的亮度。2023年，文献[34]提出一种强度图像和偏振度图像的融合方法。通过编码器提取源图像的语义信息和纹理细节，并利用设计的加法策略和残差网络对图像特征进行融合，同时提出改进的损失函数引导网络训练。
2.2 基于生成对抗网络
2014年，Goodfellow等[35]提出由生成器和鉴别器组成的生成对抗网络。其中，生成器用于获取数据分布，鉴别器能够估计生成的数据是真实数据还是来自生成器。当生成器和鉴别器通过对抗博弈达到平衡状态时，代表网络训练已完成。此时，生成器可以生成类似于真实分布中的样本。2019年，文献[36]将红外图像和可见光图像的融合任务定义为生成器和鉴别器间的学习对抗，提出的FusionGAN能够显著增强融合图像的纹理细节，同时为图像融合领域开辟了新的研究思路。此后，基于GAN的图像融合方法发展迅速[37-38]，而为平衡图像间的信息差异，一些方法开始构建具有双鉴别器的生成对抗网络结构，同时估计源图像的两个概率分布，用以获得更好的融合效果[39-41]。
2019年，文献[42]提出一种能够学习和分类源图像特征的生成对抗网络，相较于其他对比算法，提出网络在视觉质量和整体分类精度方面具有更好的性能。2022年，文献[43]提出一种生成对抗融合网络用以学习偏振信息与物体辐射度之间的关系，并以实验证明了将偏振信息引入基于深度学习方法的图像复原任务中的可行性，提出方法能够有效地去除后向散射光，更有利于恢复物体的辐射亮度。同年，长春理工大学提出一种语义引导的双鉴别器偏振融合网络[44]。提出的网络由一个生成器和两个鉴别器组成，双流型结构的生成器能够充分地提取特征，通过对各语义对象进行加权生成融合图像。而双鉴别器则主要用于识别偏振度和强度图像的各种语义目标。此外，作者构建了一个偏振图像信息量判别模块，通过加权的方式指导图像融合过程，能够针对性地保留不同材料的偏振信息。实验结果表明，融合网络在视觉效果和定量指标都具有更突出的性能，同时有助于高级视觉任务性能的提升。
2.3 深度学习融合算法对比分析
基于CNN和GAN的偏振图像融合算法具有不同特点，具体的对比分析如表 2所示。
表 2 基于CNN和GAN的偏振图像融合算法对比Table 2. Comparison of polarization image fusion algorithms based on CNN and GANMethods Specificities Advantages Shortcomings CNN The complexity of the algorithm depends on the coding method and the design of fusion rules. The CNN-based fusion network has better feature learning and representation ability, which makes it more suitable for information extraction and feature fusion processes. CNN can automatically learn image features and patterns, which can simplify the process of algorithm design and implementation and greatly improve accuracy. It is widely used in the process of feature extraction and representation. The problem of overfitting may occur when training on small sample datasets. It may not be sensitive to the detailed information in the image and easily lose the details in the fusion process. Networks with deeper layers usually require a lot of computational resources and time. GAN The fusion process is modeled as an adversarial game between the generator and the discriminator. Through continuous learning optimization, the fusion result of the generator converges with the target image in terms of probability distribution. The feature extraction, fusion, and image reconstruction processes can be realized implicitly. The adversarial learning mechanism of the generator and discriminator enhances the realism and overall quality of the image fusion, better preserving the details and structural features of the source image. Training is performed unsupervised and usually does not require large amounts of labeled data. The training process is relatively unstable. The design and tuning process is relatively complex and requires reasonable selection and adjustment of the network architecture and loss function. It may lead to artifacts or unnatural problems in the generated images in some specific scenarios. 3. 偏振融合应用
光谱信息和偏振信息的结合能够更好地反映不同材质的特性，对于突出目标细节和改善视觉质量具有明显的效果，有助于提高后续视觉任务的准确性和鲁棒性。本章重点介绍偏振融合方法在目标检测、语义分割、图像去雾以及三维重建任务中应用。
3.1 目标检测
偏振图像融合有利于提升目标检测率。2020年，文献[45]提出一种偏振图像融合方法，通过偏振特征提取器和连续小卷积的深度卷积神经网络有效提高了目标检测的精度，并设计实验证明提出网络的检测错误率低于传统方法。2022年，文献[33]利用YOLO v5s模型对源图像进行目标检测，并与11种对比方法进行比较，验证了网络的优越性以及目标检测任务的提升，实验结果如图 5所示。
3.2 语义分割
偏振图像融合能够有效提升语义分割任务的实验效果。2019年，文献[46]提出一种多阶段复杂模态网络，通过基于后期融合的网络框架对RGB图像和偏振图像进行融合，充分提高了分割性能。2021年，文献[47]提出一种注意力融合网络，在充分融合源图像信息的同时具有适应其他传感器组合场景的灵活性，能够显著提升语义分割的精准度。2022年，文献[44]通过实验证明了融合偏振图像在语义分割应用中的优势性。作者利用DeepLabv3+模型对偏振强度图像、线偏振度和融合图像分别进行测试，发现融合图像的分割精度相较于强度图像提高7.8%，能够实现更准确的分割效果，如图 6所示。
3.3 图像去雾
在图像去雾的研究领域，结合偏振信息可以帮助恢复图像的透射率和深度信息，有利于提升去雾效果[48-49]。2018年，文献[50]提出一种多小波融合的偏振探测去雾方法，将高低频系数分别按照不同规则进行融合，突显了目标轮廓和细节信息。实验结果表明，在实际烟雾环境下，提出方法在视觉效果和客观评价方面具有更多优势，能够提升雾天环境的目标识别效率。2021年，文献[51]针对远场密集雾霾天气的去雾任务，提出一种基于空间频分融合的偏振去雾方法，得到较为理想的实验效果。同年，文献[52]提出一种基于多尺度奇异值分解的偏振图像融合去雾算法，通过验证实验和量化评价证明算法具有较强的自适应性和鲁棒性，能够有效地改善光晕和过曝光等问题。
3.4 三维重建
在三维重建的研究领域，偏振维度信息提供的纹理和形状信息有利于改善三维重建效果，同时对法向量估计任务也具有重要作用[53-56]。2020年，文献[57]将偏振形状问题与深度学习结合，通过将物理模型融入神经网络架构，使实验结果在每个测试条件都达到最低的测试误差。2021年，文献[58]利用深度学习网络克服了偏振法线计算中的角度模糊性问题，通过将优化后的偏振法线与图像特征进行融合，实现了高精度的物体表面法线估计。2022年，文献[59]提出一种融合偏振和光场信息的低纹理目标三维重建算法。通过融合目标物表面的光场信息与反射光的偏振信息用以增加图像信息维度，解决了入射面方位角歧义性问题。
4. 偏振图像数据集
基于深度学习的偏振图像融合网络依赖于高质量的数据集，偏振图像数据集的质量和数量很大程度上影响着网络的训练效果。目前，已有的公开高质量偏振图像数据集仍相对较少。为此，一些国内外研究团队慷慨地公开了各自建立的数据集，为相关领域研究做出宝贵贡献。
2019年，文献[60]拍摄一个包含120组图像的偏振数据集，每组数据由偏振角度为0°、45°、90°和135°的强度图像组成。2020年，东京工业大学公开了一组包含40个场景的全彩色偏振图像数据集[61]，每组由4幅不同偏振角度的RGB图像组成。同年，文献[62-63]采用自行研制的非制冷红外DoFP相机进行拍摄，公开由2113张标注图像组成的长波红外偏振数据集，包括白天和晚上的城市道路和高速公路场景。
2021年，浙江大学研究团队针对校园道路场景建立一个共计394幅标注像素对齐的彩色偏振图像数据集[47]，包含RGB图像、视差图像和标签图像；中南大学拍摄一个由66组偏振图像组成的数据集[64]，包括各种建筑、植物和车辆等物体；阿卜杜拉国王科技大学公开一个包括40幅彩色图像的偏振数据集[65]，每个场景包含4幅不同偏振角度的强度图像。
上述偏振图像数据集的简要介绍如表 3所示。
表 3 偏振图像数据集Table 3. Polarization image datasetSource Waveband Year Quantity Resolution Reference[60] Visible band(Grayscale) 2019 120 1280×960 Reference[61] Visible band(RGB) 2020 40 1024×768 Reference[62-63] Long-wave infrared band 2020 2113 640×512 Reference[47] Visible band(RGB) 2021 394 1224×1024 Reference[64] Visible band(RGB) 2021 66 1848×2048 Reference[65] Visible band(RGB) 2021 40 1024×1024 5. 总结与展望
目前，偏振图像融合领域正在受到越来越多的关注和研究。通过将不同光谱、模态图像与偏振图像进行融合，可以实现不同优势信息的有效互补。深度学习融合方法在一定程度上弥补了传统融合方法的局限性，表现出其独特优势，在主观评价和客观分析方面都具有较为突出的表现，已成为偏振图像融合领域的主要研究方向。然而，当前的深度学习偏振融合方法仍相对较少且大部分仅是对现有深度网络的直接利用或简单改进，缺少从偏振成像原理和物质偏振特性进行深入分析，在基础理论研究、技术应用以及实验验证等方面都存在较大的提升空间，需要在以下几个方面进一步探索和突破：
① 利用目标与背景间的偏振特性差异构建偏振二向反射模型（polarimetric Bidirectional Reflectance Distribution Function，pBRDF），分析目标偏振成像与传输介质的相互作用关系，并构建起偏-传输-探测的全链路光学成像模型，进而实现更好的偏振特征提取与图像融合。
② 深入研究目标偏振特性及其表征方法，充分发挥深度学习的优势，并挖掘偏振的非物理特征和深度特征。将偏振光学特性应用于图像融合过程，同时将传统融合方法与深度学习融合方法相结合，实现更理想的特征级偏振图像融合。
③ 由于深度学习融合网络训练通常依赖大数据，而目前公开的高质量偏振图像数据有限，所以应推进偏振多光谱图像数据集的信息共享，并针对性地提出具有小样本训练能力的深度学习融合网络。
④ 充分结合不同模态图像的优势信息，探索多源图像融合新方式，实现光强、光谱和偏振的信息互补，提升融合性能，同时为图像分割分类和目标检测识别等视觉任务提供基础支撑。
-
表 1 传统偏振图像融合方法对比
Table 1 Comparison of traditional polarization image fusion methods
Methods Specificities Advantages Shortcomings Multi-scale transformation Important visual information can be extracted at different scales and provide better spatial and frequency resolution. It is capable of extracting multi-scale details and structural information to effectively improve the quality of fused images. The determination of decomposition levels and the selection of fusion rules usually depend on manual experience. Sparse representation The method uses a linear subspace representation of training samples and is suitable for approximating similar objects. The method captures sparse features and highlights target details, retaining unique source image information. Dictionary training has some computational complexity and is more sensitive to noise and pseudo-features. Pulse coupled neural network It is composed of various neurons, including reception, modulation, and pulse generation, and it is suitable for real-time image processing. It can effectively detect the edge and texture features of the image, and the edge information fusion effect is relatively good. The implementation requires multiple iterative computations. It has high operational coupling, many parameters, and is time-consuming. Pseudo-color-based methods The method maps the gray levels of a black-and-white or monochrome image to a color space or assigns corresponding colors to different gray levels. Images of different bands can be mapped to pseudo-color space, thus visually representing multi-band information for easy observation and understanding. The main function is to colorize the image, which cannot extract and fuse more information, and the ability to retain detailed information is relatively weak. 
下载: 导出CSV
表 2 基于CNN和GAN的偏振图像融合算法对比
Table 2 Comparison of polarization image fusion algorithms based on CNN and GAN
Methods Specificities Advantages Shortcomings CNN The complexity of the algorithm depends on the coding method and the design of fusion rules. The CNN-based fusion network has better feature learning and representation ability, which makes it more suitable for information extraction and feature fusion processes. CNN can automatically learn image features and patterns, which can simplify the process of algorithm design and implementation and greatly improve accuracy. It is widely used in the process of feature extraction and representation. The problem of overfitting may occur when training on small sample datasets. It may not be sensitive to the detailed information in the image and easily lose the details in the fusion process. Networks with deeper layers usually require a lot of computational resources and time. GAN The fusion process is modeled as an adversarial game between the generator and the discriminator. Through continuous learning optimization, the fusion result of the generator converges with the target image in terms of probability distribution. The feature extraction, fusion, and image reconstruction processes can be realized implicitly. The adversarial learning mechanism of the generator and discriminator enhances the realism and overall quality of the image fusion, better preserving the details and structural features of the source image. Training is performed unsupervised and usually does not require large amounts of labeled data. The training process is relatively unstable. The design and tuning process is relatively complex and requires reasonable selection and adjustment of the network architecture and loss function. It may lead to artifacts or unnatural problems in the generated images in some specific scenarios.
下载: 导出CSV
表 3 偏振图像数据集
Table 3 Polarization image dataset
Source Waveband Year Quantity Resolution Reference[60] Visible band(Grayscale) 2019 120 1280×960 Reference[61] Visible band(RGB) 2020 40 1024×768 Reference[62-63] Long-wave infrared band 2020 2113 640×512 Reference[47] Visible band(RGB) 2021 394 1224×1024 Reference[64] Visible band(RGB) 2021 66 1848×2048 Reference[65] Visible band(RGB) 2021 40 1024×1024
下载: 导出CSV
-
[1] LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004
[2] ZHANG H, XU H, TIAN X, et al. Image fusion meets deep learning: a survey and perspective[J]. Information Fusion, 2021, 76: 323-336. DOI: 10.1016/j.inffus.2021.06.008
[3] 罗海波, 张俊超, 盖兴琴, 等. 偏振成像技术的发展现状与展望(特邀)[J]. 红外与激光工程, 2022, 51(1): 101-110. LUO Haibo, ZHANG Junchao, GAI Xingqin, et al. Development status and prospect of polarization imaging technology (Invited)[J]. Infrared and Laser Engineering, 2022, 51(1): 101-110.
[4] 周强国, 黄志明, 周炜. 偏振成像技术的研究进展及应用[J]. 红外技术, 2021, 43(9): 817-828. http://hwjs.nvir.cn/article/id/76230e4e-2d34-4b1e-be97-88c5023050c6 ZHOU Qiangguo, HUANG Zhiming, ZHOU Wei. Research progress and application of polarization imaging technology[J]. Infrared Technology, 2021, 43(9): 817-828. http://hwjs.nvir.cn/article/id/76230e4e-2d34-4b1e-be97-88c5023050c6
[5] 段锦, 付强, 莫春和, 等. 国外偏振成像军事应用的研究进展(上)[J]. 红外技术, 2014, 36(3): 190-195. http://hwjs.nvir.cn/article/id/hwjs201403003 DUAN Jin, FU Qiang, MO Chunhe, et al. Review of polarization imaging technology for international military application(Ⅰ)[J]. Infrared Technology, 2014, 36(3): 190-195. http://hwjs.nvir.cn/article/id/hwjs201403003
[6] 莫春和, 段锦, 付强, 等. 国外偏振成像军事应用的研究进展(下)[J]. 红外技术, 2014, 36(4): 265-270. http://hwjs.nvir.cn/article/id/hwjs201404002 MO Chunhe, DUAN Jin, FU Qiang, et al. Review of polarization imaging technology for international military application(Ⅱ)[J]. Infrared Technology, 2014, 36(4): 265-270. http://hwjs.nvir.cn/article/id/hwjs201404002
[7] 王霞, 赵家碧, 孙晶, 等. 偏振图像融合技术综述[J]. 航天返回与遥感, 2021, 42(6): 9-21. WANG Xia, ZHAO Jiabi, SUN Jing, et al. Review of polarization image fusion technology[J]. Aerospace Return and Remote Sensing, 2021, 42(6): 9-21.
[8] LI X, YAN L, QI P, et al. Polarimetric imaging via deep learning: a review[J]. Remote Sensing, 2023, 15(6): 1540. DOI: 10.3390/rs15061540
[9] YANG Fengbao, DONG Anran, ZHANG Lei, et al. Infrared polarization image fusion based on combination of NSST and improved PCA[J]. Journal of Measurement Science and Instrumentation, 2016, 7(2): 176-184.
[10] 杨风暴, 董安冉, 张雷, 等. DWT, NSCT和改进PCA协同组合红外偏振图像融合[J]. 红外技术, 2017, 39(3): 201-208. http://hwjs.nvir.cn/article/id/hwjs201703001 YANG Fengbao, DONG Anran, ZHANG Lei, et al. Infrared polarization image fusion using the synergistic combination of DWT, NSCT and improved PCA[J]. Infrared Technology, 2017, 39(3): 201-208. http://hwjs.nvir.cn/article/id/hwjs201703001
[11] 沈薛晨, 刘钧, 高明. 基于小波-Contourlet变换的偏振图像融合算法[J]. 红外技术, 2020, 42(2): 182-189. http://hwjs.nvir.cn/article/id/hwjs202002013 SHEN Xuechen, LIU Jun, GAO Ming. Polarization image fusion algorithm based on Wavelet-Contourlet transform[J]. Infrared Technology, 2020, 42(2): 182-189. http://hwjs.nvir.cn/article/id/hwjs202002013
[12] 张雨晨, 李江勇. 基于小波变换的中波红外偏振图像融合[J]. 激光与红外, 2020, 50(5): 578-582. ZHANG Yuchen, LI Jiangyong. Polarization image fusion based on wavelet transform[J]. Laser & Infrared, 2020, 50(5): 578-582.
[13] 王策, 许素安. 基于Retinex和小波变换的水下偏振图像融合方法[J]. 应用激光, 2022, 42(8): 116-122. WANG Ce, XU Suan. Underwater polarization image fusion method based on Retinex and wavelet transform[J]. Applied Laser, 2022, 42(8): 116-122.
[14] 陈锦妮, 陈宇洋, 李云红, 等. 基于结构与分解的红外光强与偏振图像融合[J]. 红外技术, 2023, 45(3): 257-265. http://hwjs.nvir.cn/article/id/379e87a8-b9c0-4081-820c-ccd63f3fe4f0 CHEN Jinni, CHEN Yuyang, LI Yunhong, et al. Fusion of infrared intensity and polarized images based on structure and decomposition[J]. Infrared Technology, 2023, 45(3): 257-265. http://hwjs.nvir.cn/article/id/379e87a8-b9c0-4081-820c-ccd63f3fe4f0
[15] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multiscale transform and sparse representation[J]. Information Fusion, 2015, 24(C): 147-164.
[16] 朱攀, 刘泽阳, 黄战华. 基于DTCWT和稀疏表示的红外偏振与光强图像融合[J]. 光子学报, 2017, 46(12): 207-215. ZHU Pan, LIU Zeyang, HUANG Zhanhua. Infrared polarization and intensity image fusion based on dual-tree complex wavelet transform and sparse representation[J]. Acta Photonica Sinica, 2017, 46(12): 207-215.
[17] ZHU P, LIU L, ZHOU X. Infrared polarization and intensity image fusion based on bivariate BEMD and sparse representation[J]. Multimedia Tools and Applications, 2021, 80(3): 4455-4471. DOI: 10.1007/s11042-020-09860-z
[18] ZHANG S, YAN Y, SU L, et al. Polarization image fusion algorithm based on improved PCNN[C]//Proceedings of SPIE-The International Society for Optical Engineering, 2013, 9045.
[19] 李世维, 黄丹飞, 王惠敏, 等. 基于BEMD和自适应PCNN的偏振图像融合[J]. 激光杂志, 2018, 39(3): 94-98. LI Shiwei, HUANG Danfei, WANG Huimin, et al. Polarization image fusion based on BEMD and adaptive PCNN[J]. Laser Journal, 2018, 39(3): 94-98.
[20] 于津强, 段锦, 陈伟民, 等. 基于NSST与自适应SPCNN的水下偏振图像融合[J]. 激光与光电子学进展, 2020, 57(6): 103-113. YU Jinqiang, DUAN Jin, CHEN Weimin, et al. Underwater polarization image fusion based on NSST and adaptive SPCNN[J]. Laser & Optoelectronics Progress, 2020, 57(6): 103-113.
[21] 叶松, 汤伟平, 孙晓兵, 等. 一种采用IHS空间表征偏振遥感图像的方法[J]. 遥感信息, 2006, 21(2): 11-13. YE Song, TANG Weiping, SUN Xiaobing, et al. Characterization of the polarized remote sensing images using IHS color system[J]. Remote Sensing Information, 2006, 21(2): 11-13.
[22] 赵永强, 潘泉, 张洪才. 自适应多波段偏振图像融合研究[J]. 光子学报, 2007, 36(7): 1356-1359. ZHAO Yongqiang, PAN Quan, ZHANG Hongcai. Research on adaptive multi-band polarization image fusion[J]. Acta Photonica Sinica, 2007, 36(7): 1356-1359.
[23] 赵永强, 潘泉, 张洪才. 一种新的全色图像与光谱图像融合方法研究[J]. 光子学报, 2007, 36(1): 180-183. ZHAO Yongqiang, PAN Quan, ZHANG Hongcai. A new spectral and panchromatic images fusion method[J]. Acta Photonica Sinica, 2007, 36(1): 180-183.
[24] 周浦城, 韩裕生, 薛模根, 等. 基于非负矩阵分解和IHS颜色模型的偏振图像融合方法[J]. 光子学报, 2010, 39(9): 1682-1687. ZHOU Pucheng, HAN Yusheng, XUE Menggen, et al. Polarization image fusion method based on non-negative matrix factorization and IHS color model[J]. Acta Photonica Sinica, 2010, 39(9): 1682-1687.
[25] 周浦城, 张洪坤, 薛模根. 基于颜色迁移和聚类分割的偏振图像融合方法[J]. 光子学报, 2011, 40(1): 149-153. ZHOU Pucheng, ZHANG Hongkun, XUE Mogen. Polarization image fusion method using color transfer and clustering-based segmentation[J]. Acta Photonica Sinica, 2011, 40(1): 149-153.
[26] 李伟伟, 杨风暴, 蔺素珍, 等. 红外偏振与红外光强图像的伪彩色融合研究[J]. 红外技术, 2012, 34(2): 109-113. DOI: 10.3969/j.issn.1001-8891.2012.02.010 LI Weiwei, YANG Fengbao, LIN Suzhen, et al. Study on pseudo-color fusion of infrared polarization and intensity image[J]. Infrared Technology, 2012, 34(2): 109-113. DOI: 10.3969/j.issn.1001-8891.2012.02.010
[27] 孙晶. 多波段偏振图像融合方法研究[D]. 北京: 北京理工大学, 2019. SUN Jing. Research on Multi-band Polarization Image Fusion Method[D]. Beijing: Beijing Institute of Technology, 2019.
[28] 苏子航. 多波段偏振图像信息校正与增强技术研究[D]. 北京: 北京理工大学, 2021. SU Zihang. Research on Multi-band Polarization Image Information Correction and Enhancement Technology[D]. Beijing: Beijing Institute of Technology, 2021.
[29] HU J, MOU L, Schmitt A, et al. FusioNet: a two-stream convolutional neural network for urban scene classification using PolSAR and hyperspectral data[C]//Proceedings of the 2017 Joint Urban Remote Sensing Event (JURSE), 2017: 1-4.
[30] ZHANG J, SHAO J, CHEN J, et al. PFNet: an unsupervised deep network for polarization image fusion[J]. Optics Letters, 2020, 45(6): 1507-1510. DOI: 10.1364/OL.384189
[31] WANG S, MENG J, ZHOU Y, et al. Polarization image fusion algorithm using NSCT and CNN[J]. Journal of Russian Laser Research, 2021, 42(4): 443-452. DOI: 10.1007/s10946-021-09981-2
[32] ZHANG J, SHAO J, CHEN J, et al. Polarization image fusion with self-learned fusion strategy[J]. Pattern Recognition, 2021, 118(22): 108045.
[33] XU H, SUN Y, MEI X, et al. Attention-Guided polarization image fusion using salient information distribution[J]. IEEE Transactions on Computational Imaging, 2022, 8: 1117-1130. DOI: 10.1109/TCI.2022.3228633
[34] 闫德利, 申冲, 王晨光, 等. 强度图像和偏振度图像融合网络的设计[J]. 光学精密工程, 2023, 31(8): 1256-1266. YAN Deli, SHEN Chong, WANG Chenguang, et al. Design of intensity image and polarization image fusion network[J]. Optics and Precision Engineering, 2023, 31(8): 1256-1266.
[35] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems, 2014: 2672-2680.
[36] MA J, YU W, LIANG P, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[37] ZHAO C, WANG T, LEI B, Medical image fusion method based on dense block and deep convolutional generative adversarial network[J]. Neural Comput. & Applic., 2021, 33: 6595-6610.
[38] LIU Q, ZHOU H, XU Q, et al. PSGAN: a generative adversarial network for remote sensing image pan-sharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(12): 10227-10242. DOI: 10.1109/TGRS.2020.3042974
[39] MA J, XU H, JIANG J, et al. DDcGAN: a dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4980-4995. DOI: 10.1109/TIP.2020.2977573
[40] LI J, HUO H, LI C, et al. Attention FGAN: infrared and visible image fusion using attention-based generative adversarial networks[J]. IEEE Transactions on Multimedia, 2021, 23: 1383-1396. DOI: 10.1109/TMM.2020.2997127
[41] MA J, ZHANG H, SHAO Z, et al. GANMcC: a generative adversarial network with multi-classification constraints for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-14.
[42] WEN Z, WU Q, LIU Z, et al. Polar-spatial feature fusion learning with variational generative-discriminative network for PolSAR classi-fication[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11): 8914-8927. DOI: 10.1109/TGRS.2019.2923738
[43] DING X, WANG Y, FU X. Multi-polarization fusion generative adversarial networks for clear underwater imaging[J]. Optics and Lasers in Engineering, 2022, 152: 106971. DOI: 10.1016/j.optlaseng.2022.106971
[44] LIU J, DUAN J, HAO Y, et al. Semantic-guided polarization image fusion method based on a dual-discriminator GAN[J]. Optic Express, 2022, 30: 43601-43621. DOI: 10.1364/OE.472214
[45] SUN R, SUN X, CHEN F, et al. An artificial target detection method combining a polarimetric feature extractor with deep convolutional neural networks[J]. International Journal of Remote Sensing, 2020, 41: 4995-5009. DOI: 10.1080/01431161.2020.1727584
[46] ZHANG Y, Morel O, Blanchon M, et al. Exploration of deep learning based multimodal fusion for semantic road scene segmen-tation[C]//14th International Conference on Computer Vision Theory and Applications, 2019: 336-343.
[47] XIANG K, YANG K, WANG K. Polarization-driven semantic segmentation via efficient attention-bridged fusion[J]. Optic Express, 2021, 29: 4802-4820. DOI: 10.1364/OE.416130
[48] 霍永胜. 基于偏振的暗通道先验去雾[J]. 物理学报, 2022, 71(14): 112-120. HUO Yongsheng. Polarization-based research on a priori defogging of dark channel[J]. Acta Physica Sinica, 2022, 71(14): 112-120.
[49] 孟宇飞, 王晓玲, 刘畅, 等. 四分暗通道均值比较法的双角度偏振图像去雾[J]. 激光与光电子学进展, 2022, 59(4): 232-240. MENG Yufei, WANG Xiaoling, LIU Chang, et al. Dehazing of dual angle polarization image based on mean comparison of quartering dark channels[J]. Laser & Optoelectronics Progress, 2022, 59(4): 232-240.
[50] 张肃, 战俊彤, 付强, 等. 基于多小波融合的偏振探测去雾技术[J]. 激光与光电子学进展, 2018, 55(12): 468-477. ZHANG Su, ZHAN Juntong, FU Qiang, et al. Polarization detection defogging technology based on multi-wavelet fusion[J]. Laser & Optoelectronics Progress, 2018, 55(12): 468-477.
[51] HUANG F, KE C, WU X, et al. Polarization dehazing method based on spatial frequency division and fusion for a far-field and dense hazy image[J]. Applied Optics, 2021, 60: 9319-9332. DOI: 10.1364/AO.434886
[52] 周文舟, 范晨, 胡小平, 等. 多尺度奇异值分解的偏振图像融合去雾算法与实验[J]. 中国光学, 2021, 14(2): 298-306. ZHOU Wenzhou, FAN Chen, HU Xiaoping, et al. multi-scale singular value decomposition polarization image fusion defogging algorithm and experiment[J]. Chinese Optics, 2021, 14(2): 298-306.
[53] 李轩, 刘飞, 邵晓鹏. 偏振三维成像技术的原理和研究进展[J]. 红外与毫米波学报, 2021, 40(2): 248-262. LI Xuan, LIU Fei, SHAO Xiaopeng. Research progress on polarization 3D imaging technology[J]. Journal of Infrared and Millimeter Waves, 2021, 40(2): 248-262.
[54] 王霞, 赵雨薇, 金伟其. 融合光学偏振的三维成像技术进展(特邀)[J]. 光电技术应用, 2022, 37(5): 33-43. WANG Xia, ZHAO Yuwei, JIN Weiqi. Overview of polarization-based three-dimensional imaging techniques(Invited)[J]. Opto-electronic Technology Application, 2022, 37(5): 33-43.
[55] 杨锦发, 晏磊, 赵红颖, 等. 融合粗糙深度信息的低纹理物体偏振三维重建[J]. 红外与毫米波学报, 2019, 38(6): 819-827. YANG Jinfa, YAN Lei, ZHAO Hongying, et al. Shape from polarization of low-texture objects with rough depth information[J]. Journal of Infrared and Millimeter Waves, 2019, 38(6): 819-827.
[56] 张瑞华, 施柏鑫, 杨锦发, 等. 基于视差角和天顶角优化的偏振多视角三维重建[J]. 红外与毫米波学报, 2021, 40(1): 133-142. ZHANG Ruihua, SHI Baixin, YANG Jinfa, et al. Polarization multi-view 3D reconstruction based on parallax angle and zenith angle optimization[J]. Journal of Infrared and Millimeter Wave, 2021, 40(1): 133-142.
[57] BA Y, Gilbert A, WANG F, et al. Deep shape from polarization[C]//Computer Vision–ECCV 2020: 16th European Conference, 2020: 554-571.
[58] 陈创斌. 基于偏振信息的表面法线估计[D]. 广州: 广东工业大学, 2021. CHEN Chuangbin. Surface Normal Estimation Based on Polarization Information[D]. Guangzhou: Guangdong University of Technology, 2021.
[59] 王晓敏. 融合偏振和光场信息的低纹理目标三维重建算法研究[D]. 太原: 中北大学, 2022. WANG Xiaomin. Research on Low Texture Target 3D Reconstruction Algorithm Integrating Polarization and Light Field Information[D]. Taiyuan: North University of China, 2022.
[60] ZENG X, LUO Y, ZHAO X, et al. An end-to-end fully-convolutional neural network for division of focal plane sensors to reconstruct S0, DoLP, and AoP[J]. Optic Express, 2019, 27: 8566-8577. DOI: 10.1364/OE.27.008566
[61] Morimatsu M, Monno Y, Tanaka M, et al. Monochrome and color polarization demosaicking using edge-aware residual interpolation [C]//2020 IEEE International Conference on Image Processing(ICIP), 2020: 2571-2575.
[62] LI N, ZHAO Y, PAN Q, et al. Full-time monocular road detection using zero-distribution prior of angle of polarization[C]//European Conference on Computer Vision (ECCV), 2020: 457-473.
[63] LI N, ZHAO Y, PAN Q, et al. Illumination-invariant road detection and tracking using LWIR polarization characteristics[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 180: 357-369. DOI: 10.1016/j.isprsjprs.2021.08.022
[64] SUN Y, ZHANG J, LIANG R. Color polarization demosaicking by a convolutional neural network[J]. Optic Letter, 2021, 46: 4338-4341. DOI: 10.1364/OL.431919
[65] QIU S, FU Q, WANG C, et al. Linear polarization demosaicking for monochrome and colour polarization focal plane arrays[J]. Computer Graphics Forum, 2021, 40: 77-89. DOI: 10.1111/cgf.14204
-
期刊类型引用(1)
1. 王皓萱，何彦霖，祝航威，董杭，王书凝. 超表面偏振器件研究进展与展望. 光电工程. 2024(08): 121-145 . 
百度学术
其他类型引用(4)
计量
- 文章访问数: 1563
- HTML全文浏览量: 91
- PDF下载量: 267
- 被引次数: 5
