Infrared and Visible Image Fusion Algorithm Based on the Decomposition of Robust Principal Component Analysis and Latent Low Rank Representation
-
摘要: 红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用。为了得到融合效果更好的图像，提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法。首先，利用鲁棒性主成分分析对训练集图像进行去噪处理，利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵，并对源图像进行分解，重构形成低频图像和高频图像。然后，低频部分利用自适应加权策略进行融合，高频部分利用深度学习的VGG-19网络进行融合。最后，将新的低频图像与新的高频图像进行线性叠加，得到最后的结果。实验验证了本文提出的图像融合算法在主观评价与客观评价上均具有一定的优势。Abstract: The fusion of infrared and visible images plays an important role in video surveillance, target tracking, etc. To obtain better fusion results for images, this study proposes a novel method combining deep learning and image decomposition based on a robust low-rank representation. First, robust principal component analysis is used to denoise the training set images. Next, rapid latent low rank representation is used to learn a sparse matrix to extract salient features and decompose the source images into low-frequency and high-frequency images. The low-frequency components are then fused using an adaptive weighting strategy, and the high-frequency components are fused by a VGG-19 network. Finally, the new low-frequency image is superimposed with the new high-frequency image to obtain a fused image. Experimental results demonstrate that this method has advantages in terms of both the subjective and objective evaluation of image fusion.
-
Keywords:
- image fusion /
- deep learning /
- latent low rank representation /
- sparse matrix
-
0. 引言
随着遥感器技术的进步，空间遥感器相机向着多谱段、大幅宽、实时传输等方向不断发展。获取多个谱段的景物信息对资源普查、矿物勘测、农作物监测等具有极高的应用前景[1]。多光谱遥感相机具有较宽谱段的成像能力，美国于2008年发射Geoeye-1高分辨率卫星，运行于高度681 km，轨道倾角98°的太阳同步轨道。其全色谱段地面像元分辨率为0.41 m，包括4个经典波段（红、绿、蓝和近红外）多光谱的地面像元分辨率为1.65 m[2]。国内于2020年成功发射资源三号03星，运行于轨道高度506 km的太阳同步轨道，地面分辨率下视2.1 m，前后视2.5 m，多光谱5.8 m，覆盖宽度单载荷大于50 km，立体成像大于45 km[3]。
本文所介绍的空间相机运行于近地圆轨道，相比于太阳同步轨道，全寿命周期内β角（轨道面与太阳光矢量之间的夹角）变化很大，在－58.4°~58.4°之间，相机安装于卫星舱体外，造成相机每个面都有可能受照[4]。相机在轨可实现全天时工作，工作期间姿态多变且伴随着大角度的俯仰与侧摆，轨道外热流非常复杂，热流扰动大。相机拥有可见光与红外双成像通道，在外热流变化复杂的空间环境下，相机需要对以下方面开展散热设计：可见光焦面需要在较低的温度水平下工作，以减小暗电流和热噪声对成像质量的影响[5]；低温红外焦面所配备的压缩制冷机功耗大，且工作时间长。为保证其在轨期间正常进行制冷工作，需将其产生的热量快速排散。
为满足该空间相机内热源的散热要求，本文对该相机所受到的外热流进行分析并根据空间环境进行了散热设计。针对热设计开展热仿真计算，验证了相机散热设计的正确性与合理性。
1. 相机结构及外热流分析
1.1 相机概述及散热设计分析
该相机采用同轴三反光学系统，主体构型示意图与主要内热源分布情况见图 1，内热源由可见光组件、红外组件和制冷机组件等组成。
![]()
图 1 相机主要结构及内热源分布示意图Figure 1. Schematic diagram of the main structure of the camera and the distribution of internal heat sources相机内热源中红外组件与制冷机组件需要长期工作。其中制冷机组件包含制冷机热端部分与制冷机压缩机部分，压缩机部分安装在相机本体外，固定在卫星舱板上。相机工作热耗219 W，待机热耗为110 W，温控指标如表 1所示。
表 1 内热源温控指标Table 1. Temperature index of the internal heat source℃ Component Operating temperature Visible components -5~40 Infrared components -25~55 Refrigerator compressor -15~30 refrigerator hot end ≤20 1.2 外热流分析
该相机运行于近地圆轨道，β角在－58.4°~58.4°之间变化。相机在轨运行姿态为：阳照区非工作时段－Z对日，工作期间调整为+Z对地，阴影区长期+Z对地，+Z向为相机光线入射方向的反向，+X向为速度矢量方向，+Y向由右手坐标系确定。其中，在阳照区成像过程中相机入光口方向需要与太阳光矢量方向成最小30°规避角，避免太阳光入射相机入光口影响成像。
根据相机飞行轨道参数分析轨道外热流大小和变化规律，是确定相机散热面方位和定义极端工况的重要输入条件[6]。利用热分析软件计算出相机在冬至时刻运行姿态下随β角变化的平均到达外热流，如图 2所示。
相机+Z面、+X面和－X面平均到达外热流变化趋势相同，都随着β角绝对值增大呈下降的趋势。－Y面平均到达外热流随β角增大呈下降趋势，+Y面外热流变化与－Y面相反，±Y面平均到达外热流以β角0°呈对称趋势，且变化较大。
相机成像过程中，由于规避角影响，使相机±X和±Y面受到太阳直射，相较于正常姿态其外热流会发生较大变化。由于相机在不同方向摆动时，－X面与+X面，－Y面与+Y面到达外热流变化趋势相同，故以单向摆动为例，在极限β角（0°与58.4°）下计算±X与±Y面平均到达外热流，如图 3、图 4。
±Y面在β角为58.4°时受阳光直射时间长，平均到达外热流大，相较于β角为0°下的±X面，热环境恶劣，不利于内热源的散热设计。而±X面虽然均会受到阳光直射，但在相机在轨运行中存在单一侧面长时间背阳的情况，相较于±Y面，到达外热流小，使内热源散热压力较小。根据相机结构布局与到达外热流情况，将相机散热面设置在±X侧。
2. 相机散热设计
针对以上相机情况，结合相机所处空间环境与内热源特性，总结以下散热设计难点：
相机所处空间环境外热流变化复杂。在相机处于工作姿态时，除入光口外相机各面均会受到阳光直射。由于相机在轨期间姿态多变，使其受到的外热流变化复杂。
相机具有可见光与红外双成像通道，结构复杂，制冷机压缩机部分位于相机本体外，内热源位置分散。部分内热源在轨期间处于长期工作状态，发热量大，且相机所处空间环境复杂，不利于大功率热源散热。
针对以上相机散热设计的难点，同时兼顾相机内热源的热排散与热补偿，采用被动热控和主动热控相结合的热设计方案。
2.1 散热系统设计
为保证相机内热源产生的热量有效排散，需要对其进行被动热控设计。由于无法在相机本体上开设散热面，热设计中额外设置了辐射冷板进行散热。辐射冷板表面喷涂KS-ZA白漆来增大散热效果，内热源通过槽道热管将热量传导至辐射冷板，并最终辐射至外部空间。冷板与卫星舱体通过聚酰亚胺隔热垫与钛合金螺钉进行隔热安装，冷板与热管，热管与热管工装面之间填充导热填料，增大热量传导效率[6]。
相机各部分内热源工作模式与工作指标各不相同，需要设置多个辐射冷板进行散热设计。可见光组件热耗65 W，红外组件总热耗24 W，二者温度指标相近，且可见光组件单轨工作60 s，散热压力较小，使用一块辐射冷板对可见光组件与红外组件同时散热。可见光组件通过两根热管与辐射冷板相连，三部分红外组件各通过一根热管与辐射冷板相连，辐射冷板设置在相机－X侧。制冷机压缩机部分长期工作，其待机功耗为38.5 W，成像工作时功耗为45.5 W。使用一块辐射冷板对压缩机散热，压缩机通过一根热管与辐射冷板相连，辐射冷板设置在相机+X侧。制冷机热端部分是相机内部最大热源，其待机功耗为71.5 W，成像工作时功耗为84.5 W。由于制冷机热端长期工作，且功耗大，而相机在成像过程中±X面均有可能受到太阳直射，单一辐射冷板不利于热量排散，并且由于单侧设置辐射冷板受到的外热流大，使辐射冷板面积过大，不利于相机的结构设计。采用双辐射冷板耦合散热的方案，可以利用成像过程中相机一侧背阳，到达外热流较小的辐射冷板提升制冷机热端的散热效率，同时减小了辐射冷板面积，有利于相机的结构设计。辐射冷板耦合设计如图 5所示，制冷机热端通过两根热管将热量分别引至±X侧辐射冷板，两侧的辐射冷板通过一根U型热管连接。
![]()
图 5 制冷机热端散热方案示意图Figure 5. Schematic diagram of the heat dissipation for refrigerator hotend为使短期工作热源与长期工作热源均满足温度指标与合理规划热控资源，需要精确计算辐射冷板面积并代入仿真计算进行校核，最终确定辐射冷板的面积[6]。根据外热流与辐射冷板涂层属性，计算辐射冷板吸收热量Q1为：
$$ Q_1=Q_{\text {内 }}+\alpha \times\left(q_1+q_2\right) \times A+\varepsilon \times q_3 \times A $$ (1) 式中：Q内为内热源功耗；α为辐射冷板太阳吸收率；q1为太阳直射的到达外热流密度；q2为阳光反照的到达外热流密度；ε为辐射冷板表面发射率；q3为地球红外的到达外热流密度；A为辐射冷板面积。
辐射冷板散出的热量Q2为：
$$ Q_2=A \times \varepsilon \times \sigma \times T^4 $$ (2) 式中：σ为斯特藩-玻尔兹曼常数，其值为5.67×10－8 W/(m2·K4)[7]。
当热平衡时，有：
$$ Q_1=Q_2 $$ (3) 通过仿真计算得出，可见光组件与红外组件辐射冷板面积为0.19 m2，制冷机压缩机辐射冷板面积为0.26 m2，制冷机热端辐射冷板两面各0.25 m2，总面积0.5 m2。
2.2 热补偿设计
主动热控是在被动热控的基础上进一步提高并维持内热源温度水平的热设计方法，采用补偿加热的方式控制内热源温度，使其在低温工况下或待机状态下也满足温控指标[8-9]。补偿加热回路采用趋势控温法进行闭环控温，当温度低于温度指标时，回路连接，加热片工作，当温度达到温度指标时，回路断开，加热片停止工作。加热回路设置在各个辐射冷板上，保证内热源温度指标的同时也可以确保热管处于正常工作温区内。加热片使用聚酰亚胺薄膜型加热片，热敏电阻测温，由相机下位机采集控温。
2.3 传热路径
可见光组件内热源包含两部分，其中一部分通过其安装框架将热量传导至电箱基板，通过安装在电箱基板上的热管将热量传导至辐射冷板，最终辐射至外部空间。另一部分通过一个铝扩热板将热量集中传导至电箱外壳，通过热管将热量传导至辐射冷板并辐射至外部空间。红外组件上的发热元件与红外组件电箱外壳直接接触，接触界面填充导热填料增强导热，电箱外壳通过热管将热量传导至辐射冷板，最终将热量辐射至外部空间。制冷机热端产生的热耗直接由安装在其表面的两根热管传导至相机两侧辐射冷板，两侧的辐射冷板同时将热量辐射至外部空间。制冷机压缩机安装在相机本体外，通过铝合金安装架固定在卫星舱板上。压缩机产生的热耗传导至压缩机上压盖，接触面之间填充导热填料增强导热，通过安装在上压盖上的热管传导至辐射冷板，并辐射至外部空间。相机各内热源传热路径如图 6所示，图中点划线为传导导热路径，实线为热管传热，虚线为辐射传热路径。
导热热阻分为材料自身的传导热阻与接触面之间的接触传热热阻，计算公式分别为：
$$ {R_{\text{c}}} = \frac{\delta }{{{A_{\text{c}}} \cdot \lambda }} $$ (4) $$ {R_{{\text{ct}}}} = \frac{1}{{K \cdot {A_{{\text{ct}}}}}} $$ (5) 式中：Rc为材料自身的传导热阻；δ为热量传导方向的长度；Ac为横截面面积；λ为材料导热率；Rct为接触传热热阻；K为接触传热系数；Act为接触面积[10]。
3. 热仿真计算
3.1 建立热仿真模型
根据上述热设计方案，利用有限元软件对相机进行建模，如图 7所示。壳单元划分，单元厚度按照等效厚度计算，采用热耦合的方式对模型简化，共建立了209个热耦合，划分了16437个单元。
3.2 工况
仿真计算中根据卫星太阳位置、β角和散热面涂层表面属性定义高温与低温两个极端工况，如表 2所示。
表 2 相机工况定义Table 2. Definition of camera working conditionsSolar position β Heat sink surface coating surface properties High temperature working condition Winter solstice 0° α/ε=0.23/0.92（End period） Low temperature working condition Summer Solstice 60° α/ε=0.13/0.92（Initial period） 3.3 计算结果
根据工况定义，利用仿真软件计算相机在各工况下的温度结果，单轨结束时热源温度分布云图与热源温度变化曲线如图 8、9所示。
![]()
图 8 高温工况温度分布云图与温度变化曲线Figure 8. High temperature distribution clouds and temperature variation curves![]()
图 9 低温工况温度分布云图与温度变化曲线Figure 9. Low temperature distribution clouds and temperature variation curves从图 8、9可以看出，相机在温度稳定后高温工况下可见光组件温度为－1.1℃~12.9℃，红外组件温度为3℃~10.5℃，制冷机热端温度为－5℃~0.3℃，制冷机压缩机温度为－1℃~21.3℃。相机在低温工况下可见光组件温度为－1.9℃~9℃，红外组件温度为1.7℃~6.7℃，制冷机热端温度为－12℃~－10.8℃，制冷机压缩机温度为－11.3℃~5.4℃。均满足热控指标要求。
4. 结论
本文为解决相机在外热流复杂的空间环境下相机大功率热源的散热问题，通过分析相机各个侧面到达外热流情况与相机内热源工作模式，采用在相机两侧设置辐射冷板的散热方式，并使用热管将两侧辐射冷板耦合的方案，增大热量的排散效率，减小了辐射冷板的面积。最终，通过热仿真计算验证了设计的合理性。仿真结果表面：可见光组件温度为－1.9℃~12.9℃，红外组件温度为1.7℃~10.5℃，制冷机热端温度为－12℃~0.3℃，制冷机压缩机温度为－11.3℃~21.3℃，均满足温控指标要求，解决了复杂外热流下相机大功率热源的散热问题。
-
表 1 稀疏矩阵D的训练过程
Table 1 The training of sparse matrix D
Xtrain $\left[ {{\boldsymbol{U}_X}, {\text{diag}}\left\{ {{\sigma _{{x_i}}}} \right\}, {\boldsymbol{V}_X}} \right] = {\text{svd}}\left( {{\boldsymbol{X}_{{\text{train}}}}} \right)$
$d_i^ * = \min \left\{ {\frac{1}{{2\lambda \sigma _{{X_i}}^2}}, 1} \right\}$${\boldsymbol{D}^ * } = {\boldsymbol{U}_X}{\text{diag}}\left\{ {n_i^ * } \right\}\boldsymbol{U}_X^{\text{T}}$ 利用D*进行图像的分解 
下载: 导出CSV
表 2 不同融合图像的客观评价结果
Table 2 Average objective evaluation results of different fusion image
Method DWT IFE_VIP CSR CBF Proposed FMI 0.9111 0.8863 0.9067 0.8869 0.9164 SCD 1.7413 1.6031 1.1080 1.4273 1.7991 MS_SSIM 0.8648 0.7977 0.6997 0.7217 0.9099 VIF 0.2482 0.2373 0.2110 0.2030 0.3267 Nabf 0.1497 0.1353 0.0529 0.2241 0.0193
下载: 导出CSV
表 3 不同融合方法的计算时间对比
Table 3 Computational time comparison of different fusion methods
Method DWT IFE_VIP CSR CBF Proposed Time/s 0.4822 0.1594 87.9350 13.9968 31.0937
下载: 导出CSV
-
[1] DENG Y, LI C, ZHANG Z, et al. Image fusion method for infrared and visible light images based on SWT and regional gradient[C]//2017 IEEE 3rd Information Technology and Mechatronics Engineering Conference (ITOEC), 2017: 976-979, doi: 10.1109/ITOEC.2017.8122499.
[2] BEN H A, Yun H, Hamid K, et al. A multiscale approach to pixel-level image fusion[J]. Integrated Computer Aided Engineering, 2005, 12(2): 135-146. DOI: 10.3233/ICA-2005-12201
[3] Goshtasby A A, Nikolov S. Image fusion: advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114-118. DOI: 10.1016/j.inffus.2006.04.001
[4] LUO X Q, LI X Y, WANG P F, et al. Infrared and visible image fusion based on NSCT and stacked sparse autoencoders[J]. Multimedia Tools and Applications, 2018, 77(17): 22407-22431. DOI: 10.1007/s11042-018-5985-6
[5] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178.
[6] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[C]//IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873, Doi: 10.1109/TIP.2010.2050625.
[7] 王文卿, 高钰迪, 刘涵, 等. 基于低秩稀疏表示的红外与可见光图像序列融合方法[J]. 西安理工大学学报, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm WANG W Q, GAO Y D, LIU H, et al. Fusion method of infrared and visible image sequences based on low rank sparse representation[J]. Journal of Xi'an University of technology, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm
[8] 康家银, 陆武, 张文娟. 融合NSST和稀疏表示的PET和MRI图像融合[J]. 小型微型计算机系统, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006 KANG J Y, LU W, ZHANG W J. Pet and MRI image fusion based on NSST and sparse representation[J]. Minicomputer System, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006
[9] 王建, 吴锡生. 基于改进的稀疏表示和PCNN的图像融合算法研究[J]. 智能系统学报, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm WANG J, WU X S. Image fusion algorithm based on improved sparse representation and PCNN[J]. Journal of Intelligent Systems, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm
[10] LI H, WU X, Kittler J. MD LatLRR: A Novel Decomposition Method for Infrared and Visible Image Fusion[C]//IEEE Transactions on Image Processing, 2020, 29: 4733-4746. Doi: 10.1109/TIP.2020.2975984.
[11] YU L, XUN C, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016(99): 1-1.
[12] Prabhakar K R, Srikar V S, Babu R V. Deep fuse: a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]// IEEE International Conference on Computer Vision, IEEE Computer Society, 2017: 4724-4732.
[13] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): S0219691318500182.
[14] WANG X Z, YIN J F, ZHANG K, et al. Infrared weak-small targets fusion based on latent low-rank representation and DWT[J]. IEEE Access, 2019, 7: 112681-112692. Doi: 10.1109/ACCESS.2019.2934523.
[15] LIU G, YAN S. Latent Low-rank representation for subspace segmentation and feature extraction[C]//International Conference on Computer Vision, 2011: 1615-1622. Doi: 10.1109/ICCV.2011.6126422.
[16] WANG Y M, Morariu V I, Davis L S. Unsupervised feature extraction inspired by latent low-rank representation[C]//IEEE Winter Conference on Applications of Computer Vision, 2015: 542-549. Doi: 10.1109/WACV.2015.78.
[17] Wright J, MA Y, Mairal J, et al. Sparse representation for computer vision and pattern recognition[J]. Proceedings of the IEEE, 2010, 98(6): 1031-1044. DOI: 10.1109/JPROC.2010.2044470
[18] ZHANG H, LIN Z, ZHANG C, et al. Robust latent low rank representation for subspace clustering[J]. Neurocomputing, 2014, 145(5): 369-373.
[19] 谢艳新. 基于LatLRR和PCNN的红外与可见光融合算法[J]. 液晶与显示, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm XIE Y X. Infrared and visible light fusion algorithm based on latLRR and PCNN[J]. Liquid Crystal and Display, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm
[20] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710. Doi: 10.1109/ICPR.2018.8546006.
[21] WANG Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, 2: 1398-140. Doi: 10.1109/ACSSC.2003.1292216.
[22] Aslantas V L, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEU - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[23] lantas V, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEUE - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[24] Haghighat M, Razian M A. Fast-FMI: Non-reference image fusion metric[C]//IEEE International Conference on Application of Information & Communication Technologies, 2014: 1-3.
[25] LIU Y, CHEN X, Ward R, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886. Doi: 10.1109/LSP.2016.2618776.
[26] Kumar B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204. DOI: 10.1007/s11760-013-0556-9
[27] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
-
期刊类型引用(4)
1. 李海源，黄俊. 基于YOLOv8的无人机红外航拍目标检测方法. 激光杂志. 2025(02): 73-81 . 
百度学术
2. 饶兴昌，郑盈盈，陆万浩，黄孙港. 基于改进YOLOv7红外海上船舶检测算法. 电光与控制. 2025(04): 23-30 . 百度学术
3. 杨明，吴轶，申宋彦，王新科，陈鹏. 基于改进YOLOv4的双臂协作分拣目标检测模型构建. 自动化应用. 2025(08): 42-44+49 . 百度学术
4. 李爱华，彭凌西. 基于机器视觉的红外目标抗干扰识别算法. 计算机仿真. 2024(09): 532-537 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 190
- HTML全文浏览量: 98
- PDF下载量: 68
- 被引次数: 6
