Infrared and Visible Image Fusion Algorithm Based on the Decomposition of Robust Principal Component Analysis and Latent Low Rank Representation
-
摘要: 红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用。为了得到融合效果更好的图像，提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法。首先，利用鲁棒性主成分分析对训练集图像进行去噪处理，利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵，并对源图像进行分解，重构形成低频图像和高频图像。然后，低频部分利用自适应加权策略进行融合，高频部分利用深度学习的VGG-19网络进行融合。最后，将新的低频图像与新的高频图像进行线性叠加，得到最后的结果。实验验证了本文提出的图像融合算法在主观评价与客观评价上均具有一定的优势。Abstract: The fusion of infrared and visible images plays an important role in video surveillance, target tracking, etc. To obtain better fusion results for images, this study proposes a novel method combining deep learning and image decomposition based on a robust low-rank representation. First, robust principal component analysis is used to denoise the training set images. Next, rapid latent low rank representation is used to learn a sparse matrix to extract salient features and decompose the source images into low-frequency and high-frequency images. The low-frequency components are then fused using an adaptive weighting strategy, and the high-frequency components are fused by a VGG-19 network. Finally, the new low-frequency image is superimposed with the new high-frequency image to obtain a fused image. Experimental results demonstrate that this method has advantages in terms of both the subjective and objective evaluation of image fusion.
-
Keywords:
- image fusion /
- deep learning /
- latent low rank representation /
- sparse matrix
-
0. 引言
得益于铝合金的材料特性，铝合金反射镜的优势有如下几点：一是加工周期短、成本低，铝合金反射镜可以通过金刚石直接铣削成型，相较于陶瓷材料的烧结制胚等流程方便快速；二是可以制成一体化的结构，相较于联接件装调简单；三是铝合金密度相对较低，反射镜的整体质量小，发射成本低。铝合金反射镜在光机系统中得到了广泛应用[1-3]，国内外对其结构形式进行了研究。图 1为荷兰Astron公司提出的轻量化方法，该结构形式的轻量化率可以达到85%以上[4]；图 2为德国Jena Optronik公司委托Fraunhofer实验室设计加工的封闭结构反射镜，在保证镜体整体刚度的同时，减重可以达到50%以上[5]。在国内，范磊等人对316 mm口径的铝反射镜进行了设计分析，RMS可以达到41 nm左右，符合其系统指标[6]；谭双龙等人设计的126 mm口径的可见光级铝反射镜自重状态下RMS可以达到6.1 nm[7]；翟岩等人对铍铝合金反射镜组件进行了针对性研究，使得750 mm大口径反射镜组件RMS能够满足λ/20(λ＝632.8 nm)[8]。
目前，国内对于铝反射镜的结构特征及支撑特性分析较少。在此基础上，本文针对某一体化反射镜的支撑结构进行了设计与详细的特性分析。其口径为300 mm，材料为AL6061，工作于可见光波段，要求面形精度RMS值小于λ/50(λ＝632.8 nm)。在一定经验基础上，拟采用内圈作为主要支撑结构，外圈利用辅助筋板均匀面形，背部三点支撑的形式。先通过拓扑优化的方法建立了初始模型，再进行参数化优化，分析其支撑特性。
1. 反射镜的拓扑优化
1.1 连续体结构拓扑原理
由于结构的多样性，在设计优化时往往需要设计人员大量的经验作为基础并进行试验。而拓扑优化的优势在于，给定载荷、边界条件等必要约束后，计算机通过算法能够给出设计域中相对最优的空间布局。这不仅降低了设计经验的门槛，减少了工作量，还能够得到约束条件下更为合理的结构形式或思路。因此，变密度法实现连续结构体拓扑在光机系统的结构设计中被广泛应用[9-12]。计算机通过引入可变密度的假定材料单元，将设计变量变为单元密度，建立单元密度与材料弹性模量的关系，最终通过插值模型实现优化过程。具体过程为假设单元内均为各向同性的材料，但其相对密度为0~1之间，通过插入惩罚因子对单元密度进行判定保留或者去除，得到一定材料总量下，结构柔性最小的最佳材料分布形式。其静力状态下的数学模型为：
$$ \begin{array}{l} {V_{\min }}(x) = \sum\nolimits_{i = 1}^n {{x_i}{v_i}(i = 1,2, \cdots ,n)} \hfill \\ {\text{s}}{\text{.t}}{\text{.:}} \hfill \\ \left\{ {\begin{array}{*{20}{c}} {C(x) = {\boldsymbol{U}^{\text{T}}}\boldsymbol{KU} \leqslant {C^ * }} \\ {\boldsymbol{KU} = \boldsymbol{F}} \\ {{\text{0}} < {x_{\min }} \leqslant {x_i} \leqslant 1} \end{array}} \right. \hfill \\ \end{array} $$ 式中：V为结构总体积；vi为单元体积；xi为单元变量；n为变量单元总数；C(x)为结构整体柔度；K表示总体刚度；U为位移列阵；F为作用力；xmin为单元变量下限。
1.2 拓扑求解
图 3为反射镜的有限元模型，浅色部分为待优化的设计区域，深色部分包括支撑点和镜体表面，为非设计区域。AL6061的材料属性以及反射镜结构参数分别如表 1和表 2所示。由于影响径向自重条件下面形的最主要因素为质心与支撑点间的位置差距导致的倾覆力矩，所以支撑位置选用距离上表面8 mm位置处。在一定经验基础上，拟采用背部三点支撑的形式，内圈作为主要支撑结构，外圈利用辅助筋板均匀面形。在更难满足面形精度的轴向重力工况下，以镜面节点总位移量代替结构柔度作为约束，以体积最小作为优化目标进行计算。
表 1 Al6061的材料属性Table 1. Material properties of Al6061Material Density/(g·cm－3) Young's modulus/GPa Thermal conductivity/
(W·m－3·K－1)Coefficient of thermal
expansion/10－6K－1Poisson's ratio Al6061 2.7 71 154.3 22.4 0.25 表 2 反射镜结构参数Table 2. Structural parameters of reflectorExternal diameter/mm Internal diameter/mm Radius of curvature/mm Height/mm 300 80 610 45 经过迭代，拓扑优化的结果如图 4所示，图 5为设计区域的底部。总结拓扑结构特征为中心六边形支撑结构与半封闭结构。建立初始模型如图 6。采用有限元分析的方法和面形拟合，得到初始模型其轴向与径向重力下的RMS分别为7.136 nm和5.779 nm。以轴向重力工况为例，图 7与图 8分别为初始模型的有限元仿真结果和面形拟合结果。
2. 反射镜的参数优化
2.1 镜高
反射镜的各主要特征参数如图 9所示，其中镜高对反射镜的整体质量影响最大。针对本文中的反射镜参数，镜体高度范围定在40~55 mm之间。根据图 10中的优化数据可以得知，随镜高与质量的增加，轴向重力工况下的面形变优明显，但是到达一定高度后，自重因素影响成为主导，面形下降，在镜高为52.5 mm时综合面形达到最优，RMS为7.015 nm，PV（Peak to Valley）值为35.625 nm。
![]()
图 10 镜体高度对面形的影响Figure 10. The influence of the height of the mirror body on the surface shape2.2 中心六边形的大小
针对基础模型的形式，中心六边形的筋板是主要的支撑结构，对六边形结构的大小进行了参数优化。如图 11，当六边形结构的高度在75~90 mm之间变化时，轴向重力下RMS值变化量最大可达1.9 nm。综合不同方向重力条件，六边形高度为80 mm时在面形最优，RMS为6.370 nm，此时六边形高度与直径比值在0.26左右，即为最佳支撑位置。
![]()
图 11 中心六边形大小对面形的影响Figure 11. The influence of the size of the central hexagon on the surface shape2.3 其他特征参数的优化
其他特征参数包括辅助筋板位置、圆孔大小及翻边的相关参数，具体范围与优化步长如表 3所示。综合考虑两个方向自重条件下的RMS，最终得到了最佳参数。在优化过程中，辅助筋板位置、筋板厚度与翻边大小对面形影响效果明显，圆孔大小与翻边厚度决定了整体结构刚度强弱，对径向重力方向下面形提升有明显贡献。
表 3 其他特征参数的优化Table 3. Optimization of other characteristic parametersFeatures Auxiliary rib plate position
Lf/mmRound hole size
D/mmFlanging size
L1/mmFlanging thickness
H1/mmRib plate thickness
Tj/mmRange 60-70 20-30 2-6 1-8 3-7 Step 1 2 1 1 0.5 Optimum 66 30 6 3 6 2.4 优化结果
参数优化的结果如图 12所示，总质量为2.08 kg、轴向重力与径向重力下的RMS分别为5.888 nm和5.884 nm、轻量化率达到70%。
3. 与其他结构的对比分析
为了更好地体现半封闭结构与六边形支撑结构特征的优势，建立了中心圆形支撑、开放圆孔、开放三角形筋板等结构并进行了相关参数的优化（图 13~15），对比结果如表 4所示。
表 4 对比结果Table 4. Comparison resultsZ: RMS/nm Z: PV/nm Y: RMS/nm Y: PV/nm Optimization results 5.888 26.039 5.884 32.884 Center circular support structure 9.235 40.451 4.454 22.964 Structure of open circular hole without flanging 6.232 27.737 7.203 39.019 Structure of triangular rib plate in inner ring 8.297 35.722 5.042 27.561 拓扑结构的优化过程及几种不同结构的对比结果表明，相较于轴向重力工况，径向重力工况下的面形精度在设计中更容易满足要求。调整中心六边形结构大小与翻边相关参数的过程表明，在尽量减小支撑点与质心有差距而导致的倾覆力矩后，反射镜的背部支撑结构刚度对径向重力下面形精度起到决定性作用。对比结构中，中心圆形与内圈三角筋板两种结构的筋板厚度更大，分布更密集，提升了整体刚度，故其径向重力下面形精度表现更优异。
在轴向重力工况下，比较不同的对比结构结果，可见中心六边形与半封闭的翻边结构对降低RMS值有极大贡献。由于3个支撑点与圆形反射镜的搭配本身存在着不均匀性，六边形结构能够更好地均匀面形。与开放式筋板结构相比较，半封闭的翻边结构能够有效地减少支撑点位置的应力集中，形成双层的承力结构，提升一体化反射镜的稳定性。
4. 结论
本文针对一体化铝合金反射镜进行了设计与特性分析。通过拓扑优化得到了基本特征并依此建立了初始结构。对初始结构中镜高、中心六边形高度等在内的不同特征参数进行了优化，最终得到自重下的RMS为5.9 nm、轻量化率为70%的反射镜优化模型。从优化过程分析铝合金反射镜的支撑特性，在对面形影响更大的轴向重力条件下，随自身质量增加，反射镜刚度增强可以提高面形精度，但超过一定范围，自重影响变为主导，使得RMS增大。中心六边形结构存在最佳位置，即正六边形高度与直径比值为0.26左右时，面形精度最高。在此基础上，与其他3种对比结构进行比较，得出了中心六边形与半封闭结构在自重条件下提高面型精度的独特优势，对铝合金反射镜的轻量化设计提供了重要参考。
-
表 1 稀疏矩阵D的训练过程
Table 1 The training of sparse matrix D
Xtrain $\left[ {{\boldsymbol{U}_X}, {\text{diag}}\left\{ {{\sigma _{{x_i}}}} \right\}, {\boldsymbol{V}_X}} \right] = {\text{svd}}\left( {{\boldsymbol{X}_{{\text{train}}}}} \right)$
$d_i^ * = \min \left\{ {\frac{1}{{2\lambda \sigma _{{X_i}}^2}}, 1} \right\}$${\boldsymbol{D}^ * } = {\boldsymbol{U}_X}{\text{diag}}\left\{ {n_i^ * } \right\}\boldsymbol{U}_X^{\text{T}}$ 利用D*进行图像的分解 
下载: 导出CSV
表 2 不同融合图像的客观评价结果
Table 2 Average objective evaluation results of different fusion image
Method DWT IFE_VIP CSR CBF Proposed FMI 0.9111 0.8863 0.9067 0.8869 0.9164 SCD 1.7413 1.6031 1.1080 1.4273 1.7991 MS_SSIM 0.8648 0.7977 0.6997 0.7217 0.9099 VIF 0.2482 0.2373 0.2110 0.2030 0.3267 Nabf 0.1497 0.1353 0.0529 0.2241 0.0193
下载: 导出CSV
表 3 不同融合方法的计算时间对比
Table 3 Computational time comparison of different fusion methods
Method DWT IFE_VIP CSR CBF Proposed Time/s 0.4822 0.1594 87.9350 13.9968 31.0937
下载: 导出CSV
-
[1] DENG Y, LI C, ZHANG Z, et al. Image fusion method for infrared and visible light images based on SWT and regional gradient[C]//2017 IEEE 3rd Information Technology and Mechatronics Engineering Conference (ITOEC), 2017: 976-979, doi: 10.1109/ITOEC.2017.8122499.
[2] BEN H A, Yun H, Hamid K, et al. A multiscale approach to pixel-level image fusion[J]. Integrated Computer Aided Engineering, 2005, 12(2): 135-146. DOI: 10.3233/ICA-2005-12201
[3] Goshtasby A A, Nikolov S. Image fusion: advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114-118. DOI: 10.1016/j.inffus.2006.04.001
[4] LUO X Q, LI X Y, WANG P F, et al. Infrared and visible image fusion based on NSCT and stacked sparse autoencoders[J]. Multimedia Tools and Applications, 2018, 77(17): 22407-22431. DOI: 10.1007/s11042-018-5985-6
[5] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178.
[6] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[C]//IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873, Doi: 10.1109/TIP.2010.2050625.
[7] 王文卿, 高钰迪, 刘涵, 等. 基于低秩稀疏表示的红外与可见光图像序列融合方法[J]. 西安理工大学学报, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm WANG W Q, GAO Y D, LIU H, et al. Fusion method of infrared and visible image sequences based on low rank sparse representation[J]. Journal of Xi'an University of technology, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm
[8] 康家银, 陆武, 张文娟. 融合NSST和稀疏表示的PET和MRI图像融合[J]. 小型微型计算机系统, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006 KANG J Y, LU W, ZHANG W J. Pet and MRI image fusion based on NSST and sparse representation[J]. Minicomputer System, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006
[9] 王建, 吴锡生. 基于改进的稀疏表示和PCNN的图像融合算法研究[J]. 智能系统学报, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm WANG J, WU X S. Image fusion algorithm based on improved sparse representation and PCNN[J]. Journal of Intelligent Systems, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm
[10] LI H, WU X, Kittler J. MD LatLRR: A Novel Decomposition Method for Infrared and Visible Image Fusion[C]//IEEE Transactions on Image Processing, 2020, 29: 4733-4746. Doi: 10.1109/TIP.2020.2975984.
[11] YU L, XUN C, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016(99): 1-1.
[12] Prabhakar K R, Srikar V S, Babu R V. Deep fuse: a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]// IEEE International Conference on Computer Vision, IEEE Computer Society, 2017: 4724-4732.
[13] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): S0219691318500182.
[14] WANG X Z, YIN J F, ZHANG K, et al. Infrared weak-small targets fusion based on latent low-rank representation and DWT[J]. IEEE Access, 2019, 7: 112681-112692. Doi: 10.1109/ACCESS.2019.2934523.
[15] LIU G, YAN S. Latent Low-rank representation for subspace segmentation and feature extraction[C]//International Conference on Computer Vision, 2011: 1615-1622. Doi: 10.1109/ICCV.2011.6126422.
[16] WANG Y M, Morariu V I, Davis L S. Unsupervised feature extraction inspired by latent low-rank representation[C]//IEEE Winter Conference on Applications of Computer Vision, 2015: 542-549. Doi: 10.1109/WACV.2015.78.
[17] Wright J, MA Y, Mairal J, et al. Sparse representation for computer vision and pattern recognition[J]. Proceedings of the IEEE, 2010, 98(6): 1031-1044. DOI: 10.1109/JPROC.2010.2044470
[18] ZHANG H, LIN Z, ZHANG C, et al. Robust latent low rank representation for subspace clustering[J]. Neurocomputing, 2014, 145(5): 369-373.
[19] 谢艳新. 基于LatLRR和PCNN的红外与可见光融合算法[J]. 液晶与显示, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm XIE Y X. Infrared and visible light fusion algorithm based on latLRR and PCNN[J]. Liquid Crystal and Display, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm
[20] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710. Doi: 10.1109/ICPR.2018.8546006.
[21] WANG Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, 2: 1398-140. Doi: 10.1109/ACSSC.2003.1292216.
[22] Aslantas V L, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEU - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[23] lantas V, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEUE - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[24] Haghighat M, Razian M A. Fast-FMI: Non-reference image fusion metric[C]//IEEE International Conference on Application of Information & Communication Technologies, 2014: 1-3.
[25] LIU Y, CHEN X, Ward R, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886. Doi: 10.1109/LSP.2016.2618776.
[26] Kumar B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204. DOI: 10.1007/s11760-013-0556-9
[27] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
-
期刊类型引用(4)
1. 陈材，韩潇，杨三强，邓浩，蒋疆，祁俊峰. 空间反射镜选区激光熔化成形工艺研究. 航天制造技术. 2025(01): 72-78 . 
百度学术
2. 王连强，刘洋，王灵杰，曾雪锋，周頔，张德浩. 可快速、大批量研制的金属基铍铝反射镜分级设计方法. 军民两用技术与产品. 2025(02): 43-49 . 百度学术
3. 张楚鹏，杨贤昭，陈肖. 轻量化铝反射镜拓扑优化与加工试验研究. 应用光学. 2024(05): 1034-1041 . 百度学术
4. 张成成，何斌，吕阳，聂婷，贺玉坤. 小卫星空间跟踪遥感相机二维摆镜组件优化设计. 仪器仪表学报. 2022(07): 54-62 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 189
- HTML全文浏览量: 97
- PDF下载量: 67
- 被引次数: 7
