Infrared and Visible Image Fusion Algorithm Based on the Decomposition of Robust Principal Component Analysis and Latent Low Rank Representation
-
摘要: 红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用。为了得到融合效果更好的图像，提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法。首先，利用鲁棒性主成分分析对训练集图像进行去噪处理，利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵，并对源图像进行分解，重构形成低频图像和高频图像。然后，低频部分利用自适应加权策略进行融合，高频部分利用深度学习的VGG-19网络进行融合。最后，将新的低频图像与新的高频图像进行线性叠加，得到最后的结果。实验验证了本文提出的图像融合算法在主观评价与客观评价上均具有一定的优势。Abstract: The fusion of infrared and visible images plays an important role in video surveillance, target tracking, etc. To obtain better fusion results for images, this study proposes a novel method combining deep learning and image decomposition based on a robust low-rank representation. First, robust principal component analysis is used to denoise the training set images. Next, rapid latent low rank representation is used to learn a sparse matrix to extract salient features and decompose the source images into low-frequency and high-frequency images. The low-frequency components are then fused using an adaptive weighting strategy, and the high-frequency components are fused by a VGG-19 network. Finally, the new low-frequency image is superimposed with the new high-frequency image to obtain a fused image. Experimental results demonstrate that this method has advantages in terms of both the subjective and objective evaluation of image fusion.
-
Keywords:
- image fusion /
- deep learning /
- latent low rank representation /
- sparse matrix
-
0. 引言
近年来，太赫兹时域光谱技术在药物检测方面展现出无与伦比的优势。Zhang等[1]获取了不同比例混合的金胺O粉末与蒲黄太赫兹光谱数据，并采用2DCOS-PLSR模型预测样品中金胺O粉末含量。逯美红等[2]以盐酸罂粟碱为研究对象，利用密度泛函理论计算其振动频率，并在此基础上讨论其分子构象和振动模式。周永军等[3]验证了太赫兹光谱在中药材鉴别中的可行性。刘晓庆等人[4]利用太赫兹时域光谱系统获得纯青霉素钠以及来自3个不同厂商的阿莫西林胶囊在0.2~1.4 THz波段的吸收光谱，分析了样品质量与吸收峰的关系。Wang等[5]建立了一种绿色、无损的基于太赫兹指纹峰的膳食补充剂中L-组氨酸和α-乳糖的快速原位分析方法。刘丽萍等[6]将THz-TDS技术与量子化学计算软件Materials Studio相结合，检测并分析了天麻胶囊和天麻素，并对天麻素的吸收峰进行了振动模式分析。Chen[7]的研究结果提示甘草酸是潜在的抗COVID-19的化合物。申美伦等[8]归纳了甘草中甘草酸、甘草次酸的提取和分离纯化方法。丁玲等[9]证实了HPLC（high performance liquid chromatography）法测得甘草中甘草酸、甘草苷含量与利用可见-短波红外技术结合PLS（partial least-square）回归模型预测得到的数据相关性较高。
本文实验测得甘草酸、甘草次酸与甘草苷单质的太赫兹光谱，运用Gaussian09计算甘草酸单分子的太赫兹吸收谱，最后采用一元线性回归模型预测甘草酸浓度。
1. 实验分析
1.1 实验仪器
本实验所用仪器为北京市工业波谱成像工程技术研究中心的透射式THz-TDS平台[10]实验前将干燥的氮气充入密闭的太赫兹光路中，将湿度降低至7%以下才开始实验数据采集，并保证实验进行中样品室及密闭光路系统的湿度始终小于7%，温度保持在约20℃。
1.2 样品制备
甘草酸、甘草苷与甘草次酸性状相似，均为白色粉末。本文实验中均选取纯度大于98%高纯度粉末状样品，其中甘草酸、甘草次酸购买于北京百灵威科技有限公司，甘草苷购置于南京秋实生物科技有限公司，聚乙烯购于Sigma-Aldridge。
根据表 1样品配比，将适量的样品粉末和聚乙烯粉末倒入玛瑙研钵，并混合均匀。然后，将混合后的粉末送入内径13 mm的压片模具，由压片机以6 MPa的压强压制3 min制备成直径约13 mm，厚度约1 mm的圆柱形样片，取出后送入样品干燥柜中备用。按照上述方法，每种样品配置5组，将5组样品的测量数据取平均值，得到最终的太赫兹吸收光谱。
表 1 样品配比信息Table 1. Sample Mixing InformationSample Sample number Powder/mg Pill weight/mg Thickness/mm Sample proportion/% Glycyrrhizic acid (gcs) gcs1 152.7 144.3 1.3 40 gcs2 157.4 152.7 1.4 40 gcs3 162.9 153.2 1.42 40 gcs4 159.6 154.2 1.4 40 gcs5 143.5 122.8 1.1 40 Liquiritin (gcg) gcg1 157.8 152.3 1.3 45 gcg2 159.5 152.8 1.32 45 gcg3 162.6 154.8 1.3 45 gcg4 157.4 149.2 1.28 45 gcg5 134.7 126.6 1.1 45 Glycyrrhetnic acid (gccs) gccs1 155.9 150.6 1.3 45 gccs2 160.0 143.4 1.32 45 gccs3 163.2 157.4 1.4 45 gccs4 160.4 151.8 1.4 45 gccs5 158.9 151.3 1.44 45 1.3 数据处理
首先，分别记录太赫兹光路中的样品信号Esam(t)与参考信号Eref(t)。然后进行傅里叶变换得到对应的频域信号Esam(ω)与Eref(ω)，代入吸收系数计算公式(1)、(2)，得到样品的太赫兹吸收光谱[11-12]。
$$ {n_{\rm{s}}}(\omega ) = 1 + \frac{c}{{\omega d}}\varphi \left( \omega \right) $$ (1) $$ \alpha \left( \omega \right) = - \frac{2}{d}\ln \left\{ {\frac{{\left| {{E_{{\rm{sam}}}}\left( \omega \right)} \right|}}{{\left| {{E_{{\rm{ref}}}}\left( \omega \right)} \right|}}\frac{{{{\left[ {{n_{\rm{s}}}\left( \omega \right) + 1} \right]}^2}}}{{4{n_{\rm{s}}}\left( \omega \right)}}} \right\} $$ (2) 式中：ω是角频率；c为真空中光速；d为样品厚度；Φ(ω)参考信号与样品信号的相位差，|Esam|、|Eref|分别为样品信号和参考信号的频域幅值。ns(ω)为样品折射率，a(ω)为样品吸收系数。
2. 结果讨论
2.1 实验谱分析
图 1中3种样品的吸收谱线均随频率增加呈不断上升的趋势，且甘草酸、甘草苷及甘草次酸的吸收谱线形状相似，但吸收峰位与强度有明显差别。3种单质的太赫兹吸收峰位参见表 2。
表 2 三种样品吸收峰位Table 2. Peak absorption of three samplesTHz No. 1 2 3 4 5 6 7 8 9 Glycyrrhizic acid (gcs) 1.131 1.440 1.561 1.610 1.655 1.704 - - - Liquiritin (gcg) 0.349 0.433 1.437 1.518 1.564 1.606 1.662 1.714 - Glycyrrhetnic acid (gccs) 0.342 0.427 1.004 1.131 1.44 1.574 1.613 1.662 1.714 观察图 1虚线框内局部放大的吸收特性可知，在0.3~1 THz内甘草酸并无吸收峰，而甘草苷与甘草次酸均存在接近的吸收峰位。1~1.6 THz频段内，可以根据1.004、1.131两个峰位区别甘草苷与甘草次酸。另外，甘草酸、甘草苷及甘草次酸3种物质在多个位置的吸收峰较为接近甚至相同，这是因为三者在化学结构与化学性质上有着很大的相似性。
2.2 甘草酸实验谱与计算谱对比
如图 2所示将甘草酸单分子分为含氧碳环块、碳环块。
首先，采用PM3算法对上述单分子构型进行结构优化与频率计算，得到甘草酸分子的太赫兹吸收计算谱，如图 3黑色虚线所示。观察黑色虚线，甘草酸分子在0.3~1.7 THz范围内3个理论吸收峰分别位于0.869 THz、1.176 THz、1.565 THz处。PM3算法吸收计算谱波形与实验谱波形相差较大，需要改善理论方法，获取更为精确的吸收谱。
![]()
图 3 甘草酸实验光谱与PM3、DFT计算谱对比Figure 3. Comparison of glycyrrhizic acid experimental spectrum with PM3, DFT calculated spectrum密度泛函（Density functional theory）理论中的B3LYP泛函适用于较大体系的单分子结构计算，基组选择6-31G(d)，引入色散校正项DFT-D3。另外采用谐振频率校正因子校正分子理论构型与计算方法选择引起的计算频率与实验数据之间的偏差。在CCCBDB查得6-31G(d)基组的校正因子为0.96。最终计算谱如图 3蓝色点划线所示。观察蓝色点划线发现，PM3理论计算值1.565THz与实验值1.561 THz吻合，但是1.561 THz吸收强度的实验值相对较弱。计算谱中1.176 THz的理论计算值接近实验光谱中1.131 THz的峰值位置。基于DFT计算的吸收光谱的峰值位于1.279 THz和1.661 THz，并且波形与实验谱更加一致，而理论计算值1.661 THz与实验值1.655 THz符合，证明理论方法的选择是合理的。
2.3 一元线性回归模型预测
朗伯比尔定律是光吸收基本定律，其表达形式为：
$$ A = \varepsilon *d*c $$ (3) 式中：A为样片吸收系数；ε为单位摩尔吸收系数；d为样片厚度；c为样片浓度。本节制备不同质量分数的甘草酸样片，样片信息如表 3所示，利用太赫兹时域光谱系统获取太赫兹吸收光谱。观察图 4发现3种甘草酸太赫兹吸收谱的基线斜率会随浓度的增大而上升。为了验证甘草酸太赫兹吸收系数与浓度之间的线性关系，选取特征吸收峰1.655 THz及其附近6个数值点的太赫兹吸收系数如表 4所示，取其平均值与浓度进行一元线性回归拟合。结果如图 5所示。从图中可以看出甘草酸太赫兹吸收光谱符合朗伯比尔定律。一元线性回归模型为：y=93.74173x-18.56105，相关系数R2=0.99824。利用一元线性回归模型预测样品的浓度，结果见表 5。
表 3 不同浓度甘草酸样品的配比信息Table 3. Proportion information of glycyrrhizic acid samples with different concentrationsSample number Powder/mg Pill weight/mg Thickness/mm Sample proportion/% Concentration/(mol/L) gcs01 158.4 155.7 1.28 20 0.312 gcs02 161.2 158.7 1.43 30 0.426 gcs03 159.6 154.2 1.4 40 0.574 ![]()
图 4 不同浓度的甘草酸太赫兹吸收谱Figure 4. THz absorption spectrum of glycyrrhizinate with different contents表 4 1.655 THz及其附近6个频率点的吸收系数值Table 4. Absorption coefficient values at 1.655 THz and 6 frequency points around itFrequency/THz Absorption/(gcs01) Absorption/ (gcs02) Absorption/ (gcs03) 1.646 10.935 19.566 34.327 1.649 11.026 20.573 35.255 1.652 11.074 21.274 36.572 1.655 11.083 21.473 38.239 1.659 11.061 21.276 36.482 1.662 11.017 20.876 34.127 1.665 10.962 20.404 33.539 Average absorption 11.023 20.777 35.506 表 5 浓度预测值及相对误差Table 5. Concentration prediction values and relative errorsSample number gcs01 gcs02 gcs03 Prediction/(mol/L) 0.316 0.420 0.577 Real/(mol/L) 0.312 0.426 0.574 Relative error/% 1.28 1.41 0.52 3. 结论
本文首先制备了甘草酸、甘草次酸以及甘草苷样片，利用透射式太赫兹时域光谱系统测得上述样片的太赫兹光谱，发现它们的谱线相似。其次，构建甘草酸单分子构型，并利用Gaussian09软件对其进行了结构优化与频率计算，获得了太赫兹计算谱。对比发现，随着理论方法的改进，甘草酸的太赫兹吸收计算谱和实验谱不仅在峰位上对应，且太赫兹吸收谱波形也趋于一致。最后制备含量分别为20%，30%，40%的甘草酸样品，通过一元线性回归模型拟合了甘草酸太赫兹光谱吸收系数与浓度的关系，验证了甘草酸的太赫兹吸收光谱符合朗伯比尔定律。
致谢：感谢北京市工业波谱成像工程技术研究中心提供的太赫兹时域光谱实验平台，感谢北京科技大学自动化学院的于洋博士在实验方面给予的帮助和有益讨论。
-
表 1 稀疏矩阵D的训练过程
Table 1 The training of sparse matrix D
Xtrain $\left[ {{\boldsymbol{U}_X}, {\text{diag}}\left\{ {{\sigma _{{x_i}}}} \right\}, {\boldsymbol{V}_X}} \right] = {\text{svd}}\left( {{\boldsymbol{X}_{{\text{train}}}}} \right)$
$d_i^ * = \min \left\{ {\frac{1}{{2\lambda \sigma _{{X_i}}^2}}, 1} \right\}$${\boldsymbol{D}^ * } = {\boldsymbol{U}_X}{\text{diag}}\left\{ {n_i^ * } \right\}\boldsymbol{U}_X^{\text{T}}$ 利用D*进行图像的分解 
下载: 导出CSV
表 2 不同融合图像的客观评价结果
Table 2 Average objective evaluation results of different fusion image
Method DWT IFE_VIP CSR CBF Proposed FMI 0.9111 0.8863 0.9067 0.8869 0.9164 SCD 1.7413 1.6031 1.1080 1.4273 1.7991 MS_SSIM 0.8648 0.7977 0.6997 0.7217 0.9099 VIF 0.2482 0.2373 0.2110 0.2030 0.3267 Nabf 0.1497 0.1353 0.0529 0.2241 0.0193
下载: 导出CSV
表 3 不同融合方法的计算时间对比
Table 3 Computational time comparison of different fusion methods
Method DWT IFE_VIP CSR CBF Proposed Time/s 0.4822 0.1594 87.9350 13.9968 31.0937
下载: 导出CSV
-
[1] DENG Y, LI C, ZHANG Z, et al. Image fusion method for infrared and visible light images based on SWT and regional gradient[C]//2017 IEEE 3rd Information Technology and Mechatronics Engineering Conference (ITOEC), 2017: 976-979, doi: 10.1109/ITOEC.2017.8122499.
[2] BEN H A, Yun H, Hamid K, et al. A multiscale approach to pixel-level image fusion[J]. Integrated Computer Aided Engineering, 2005, 12(2): 135-146. DOI: 10.3233/ICA-2005-12201
[3] Goshtasby A A, Nikolov S. Image fusion: advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114-118. DOI: 10.1016/j.inffus.2006.04.001
[4] LUO X Q, LI X Y, WANG P F, et al. Infrared and visible image fusion based on NSCT and stacked sparse autoencoders[J]. Multimedia Tools and Applications, 2018, 77(17): 22407-22431. DOI: 10.1007/s11042-018-5985-6
[5] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178.
[6] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[C]//IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873, Doi: 10.1109/TIP.2010.2050625.
[7] 王文卿, 高钰迪, 刘涵, 等. 基于低秩稀疏表示的红外与可见光图像序列融合方法[J]. 西安理工大学学报, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm WANG W Q, GAO Y D, LIU H, et al. Fusion method of infrared and visible image sequences based on low rank sparse representation[J]. Journal of Xi'an University of technology, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm
[8] 康家银, 陆武, 张文娟. 融合NSST和稀疏表示的PET和MRI图像融合[J]. 小型微型计算机系统, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006 KANG J Y, LU W, ZHANG W J. Pet and MRI image fusion based on NSST and sparse representation[J]. Minicomputer System, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006
[9] 王建, 吴锡生. 基于改进的稀疏表示和PCNN的图像融合算法研究[J]. 智能系统学报, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm WANG J, WU X S. Image fusion algorithm based on improved sparse representation and PCNN[J]. Journal of Intelligent Systems, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm
[10] LI H, WU X, Kittler J. MD LatLRR: A Novel Decomposition Method for Infrared and Visible Image Fusion[C]//IEEE Transactions on Image Processing, 2020, 29: 4733-4746. Doi: 10.1109/TIP.2020.2975984.
[11] YU L, XUN C, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016(99): 1-1.
[12] Prabhakar K R, Srikar V S, Babu R V. Deep fuse: a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]// IEEE International Conference on Computer Vision, IEEE Computer Society, 2017: 4724-4732.
[13] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): S0219691318500182.
[14] WANG X Z, YIN J F, ZHANG K, et al. Infrared weak-small targets fusion based on latent low-rank representation and DWT[J]. IEEE Access, 2019, 7: 112681-112692. Doi: 10.1109/ACCESS.2019.2934523.
[15] LIU G, YAN S. Latent Low-rank representation for subspace segmentation and feature extraction[C]//International Conference on Computer Vision, 2011: 1615-1622. Doi: 10.1109/ICCV.2011.6126422.
[16] WANG Y M, Morariu V I, Davis L S. Unsupervised feature extraction inspired by latent low-rank representation[C]//IEEE Winter Conference on Applications of Computer Vision, 2015: 542-549. Doi: 10.1109/WACV.2015.78.
[17] Wright J, MA Y, Mairal J, et al. Sparse representation for computer vision and pattern recognition[J]. Proceedings of the IEEE, 2010, 98(6): 1031-1044. DOI: 10.1109/JPROC.2010.2044470
[18] ZHANG H, LIN Z, ZHANG C, et al. Robust latent low rank representation for subspace clustering[J]. Neurocomputing, 2014, 145(5): 369-373.
[19] 谢艳新. 基于LatLRR和PCNN的红外与可见光融合算法[J]. 液晶与显示, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm XIE Y X. Infrared and visible light fusion algorithm based on latLRR and PCNN[J]. Liquid Crystal and Display, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm
[20] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710. Doi: 10.1109/ICPR.2018.8546006.
[21] WANG Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, 2: 1398-140. Doi: 10.1109/ACSSC.2003.1292216.
[22] Aslantas V L, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEU - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[23] lantas V, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEUE - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[24] Haghighat M, Razian M A. Fast-FMI: Non-reference image fusion metric[C]//IEEE International Conference on Application of Information & Communication Technologies, 2014: 1-3.
[25] LIU Y, CHEN X, Ward R, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886. Doi: 10.1109/LSP.2016.2618776.
[26] Kumar B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204. DOI: 10.1007/s11760-013-0556-9
[27] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
-
期刊类型引用(1)
1. 高依然，刘森，魏威，王冠，方志浩，韩健睿，刘亚泽. 金丝楔形键合强度的影响规律分析. 红外. 2023(11): 13-22 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 190
- HTML全文浏览量: 98
- PDF下载量: 68
- 被引次数: 1
