Infrared and Visible Image Fusion Algorithm Based on the Decomposition of Robust Principal Component Analysis and Latent Low Rank Representation
-
摘要: 红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用。为了得到融合效果更好的图像，提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法。首先，利用鲁棒性主成分分析对训练集图像进行去噪处理，利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵，并对源图像进行分解，重构形成低频图像和高频图像。然后，低频部分利用自适应加权策略进行融合，高频部分利用深度学习的VGG-19网络进行融合。最后，将新的低频图像与新的高频图像进行线性叠加，得到最后的结果。实验验证了本文提出的图像融合算法在主观评价与客观评价上均具有一定的优势。Abstract: The fusion of infrared and visible images plays an important role in video surveillance, target tracking, etc. To obtain better fusion results for images, this study proposes a novel method combining deep learning and image decomposition based on a robust low-rank representation. First, robust principal component analysis is used to denoise the training set images. Next, rapid latent low rank representation is used to learn a sparse matrix to extract salient features and decompose the source images into low-frequency and high-frequency images. The low-frequency components are then fused using an adaptive weighting strategy, and the high-frequency components are fused by a VGG-19 network. Finally, the new low-frequency image is superimposed with the new high-frequency image to obtain a fused image. Experimental results demonstrate that this method has advantages in terms of both the subjective and objective evaluation of image fusion.
-
Keywords:
- image fusion /
- deep learning /
- latent low rank representation /
- sparse matrix
-
0. 引言
为解决红外成像系统存在的非均匀性问题，研究者们已经提出了很多的非均匀性校正方法，例如两点校正[1]、基于神经网络的方法和基于时域滤波的方法等[2-3]。然而其中绝大多数方法在设计时并未考虑积分时间这一因素，这些方法通常只适用于积分时间固定的应用。针对红外大动态范围成像[4]等任务对改变积分时间的需要，一些可变积分时间的非均匀性校正方法被提出。这类算法主要可分为两种：一种通过建立精确的含积分时间等变量的红外成像物理模型并求解模型参数实现[5-7]，比如Chen等人[5]建立了含有入射照度、积分时间、探测器暗电流和偏置电压等变量的响应模型，提出了可变积分时间的二维定标非均匀性校正方法。另一种则不需要建立精确的解析模型，而是利用机器视觉中的辐射校准方法来实现，例如Ochs等人[8]提出了基于像素级辐射自校准的非均匀性校正方法，首先通过辐射自校准来估计场景的辐射通量图，再对辐射通量图进行非均匀性校正。
本文在Ochs等人提出的校正方法的基础上，对该方法中的两个关键的步骤进行了改进，主要体现在使用多组不同积分时间的黑体图像序列进行辐射自校准以获得更准确的辐射响应方程，以及利用进行辐射自校准过程所使用的多组图像序列来计算非均匀性校正参数。
1. 响应模型
对于典型红外成像系统，来自场景的红外辐射被光学系统汇聚在红外焦平面阵列上，经过有效的积分（曝光），焦平面的像元中红外光子经由光电转换及一系列电信号处理后被转化为相应的灰度值[9]。假设这些过程均为线性变换，且不考虑暗电流和噪声等影响时，则对于红外成像系统中的像元p，输出的灰度值Yp与到达成像系统的红外光的辐射通量Fp和积分时间tint的关系可以表示为：
$$ Y_{p}=a_{p} F_{p} t_{\mathrm{int}}+b_{p} $$ (1) 式中：ap为光学系统、光电转换和电信号处理等引起的增益；bp为电信号处理带来的偏移。
如公式(1)所示，成像系统输出的灰度值与积分时间的关系通常被认为是线性的，因此能够以较方便的方法估计出场景的辐射通量，通过对辐射通量进行非均匀性校正处理来降低积分时间变化带来的影响。这也是绝大多数积分时间可变的非均匀性校正方法[5-8]实现的基础。虽然实际上在红外探测器的整个动态范围内，探测器输出信号与积分时间是非线性的，如图 1所示。但是在探测器的某段动态范围内，输出信号与积分时间之间具有很高的线性度。对于本文所使用的红外中波碲镉汞探测器，在其15%~85%的动态范围内，大多数像素关于积分时间的响应非线性度[10]小于0.2%，可认为在此范围内该探测器为线性响应。
![]()
图 1 恒定辐照度时某像素输出信号与积分时间的关系Figure 1. The relationship between the output signal of a pixel and the integration time under constant irradiance2. 基于像素级辐射自校准的校正方法
辐射自校准是一种估计场景辐射能量Q与场景图像（归一化）灰度Y之间映射关系Q＝f(Y)的方法，它假设可以通过N阶多项式建立的响应方程f来描述这种关系[11]。Ochs等人针对红外成像系统的非均匀性的特点，提出了一种基于像素级辐射自校准的非均匀性校正方法（以下简称Ochs方法）。该方法为探测器的每一个像元建立这种映射关系，考虑到辐射能量与辐射通量的关系Q＝F·t，像素p的响应方程fp可以表示为：
$${f_p}\left( {{Y_p}} \right) = {F_p} \cdot t = \sum\limits_{n = 0}^N {{a_{p,n}}Y_p^n} $$ (2) 通常红外成像系统使用固定的F数，对某一固定温度的面源黑体采集J种不同积分时间的图像序列，可以得到不同图像所对应的辐射能量与积分时间比值R之间的关系：
$${R_{j,j + 1}} = \frac{{{F_{p,j}}{t_j}}}{{{F_{p,j + i}}{t_{j + i}}}}$$ (3) 式中：j和j+i是图像序列的编号，将公式(2)代入，得到：
$${R_{j,j + i}} = \frac{{\sum\limits_{n = 0}^N {{a_n}Y_{p,j}^n} }}{{\sum\limits_{n = 0}^N {{a_n}Y_{p,j + 1}^n} }}$$ (4) 根据公式(4)，可以得到像元p的误差方程，如公式(5)。结合约束fp(1)＝1，通过最小化εp可以计算出响应方程fp的N+1个多项式系数ap, n。
$${\varepsilon _p} = {\sum\limits_{j = 1}^{J - 1} {\sum\limits_{i = 1}^{J - j} {\left[ {\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,j}^n} - {R_{j,j + 1}}\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,j + }^n} } \right]} } ^2}$$ (5) 在获得每个像素的响应方程后，可以估计出场景的辐射能量图，除以积分时间便能够得到场景辐射通量图的估计。由于光学系统的影响[8]，以及辐射自校准方法计算出响应方程所固有的不确定性[11]，还需要对获得的辐射通量图进行校正。对辐射通量图中像素p的校正使用公式(6)所示的线性校正模型完成，并使用两点校正方法计算出校正参数gp和op，式中Fp*是校正后的辐射通量。
$$ F_p^* = {g_p} \cdot {F_p} + {o_p} $$ (6) 3. 本文方法
3.1 像素级辐射自校准方法
上文介绍的Ochs方法，采集固定在某一温度点的面源黑体的图像序列来计算出响应方程的多项式系数。然而经过实验发现Ochs方法中使用不同温度的黑体的图像序列计算出的响应方程和对应的误差ε有所差异，而差异大小与黑体温度之间并未呈现出明显的关联。例如黑体温度分为15℃、35℃和55℃时，Ochs方法计算出的2阶响应方程的平均误差$\bar \varepsilon $分别为4.57×10－5、3.74×10－5和3.93×10－5。
为了能够获得更准确且更稳定的结果，本文提出利用多个温度点的黑体图像序列来求解每个像素的响应方程的多项式系数。该方法对K种温度的面源黑体分别采集Jk种积分时间的图像（k＝1, …, K），在误差方程(5)的基础之上，可以得到新的误差方程：
$${\varepsilon _p} = \sum\limits_{k = 1}^K {\sum\limits_{j = 1}^{{J_k} - 1} {\sum\limits_{i = 1}^{{J_k} - j} {{{\left[ {\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,k,j}^n} - {R_{k,j,j + i}}\sum\limits_{n = 0}^N {{a_{p,n}}Y_{p,k,j + i}^n} } \right]}^2}} } } $$ (7) 结合约束fp(1)＝1，令误差方程最小化可求出响应方程的系数ap, n。需要注意的是，选取黑体的温度点时，其范围最好能够覆盖实际观测场景的温度范围。
对于本文的方法，当采用黑体的温度点的数量K分别为2个、4个和9个时，得到的2阶响应方程通过公式(5)计算出的平均误差$\bar \varepsilon $分别为3.61×10－5、3.53×10－5和3.52×10－5，不难看出通过这种方法获得的结果相对更稳定。
3.2 校正参数计算方法
通过每个像素的响应方程估计出场景的辐射通量图后，还需要利用公式(6)进行非均匀性校正来得到校正图像。计算校正参数gp和op最常见的方法是两点校正，即使用两幅不同温度的面源黑体的图像来计算[1]。为了能够充分利用辐射自校准过程中所用到的不同温度黑体的图像序列，而不是仅使用其中的两幅图像，本文通过公式(8)求解校正参数，即最小化所有图像中像素p的校正后的辐射通量Fl, p*与其期望数值${\bar F_l}$的相对偏差的平方和。公式(8)中，L是用于计算校正参数的黑体图像的总数量；${\bar F_l}$为图像校正后的期望值，通常希望经过非均匀性校正后的黑体图像的所有像素具有相同的输出，且校正前后图像的空域均值保持不变，因此这里${\bar F_l}$为辐射通量图像Fl的均值。
校正参数的期望值${\hat g_p}$和${\hat o_p}$可以通过最小二乘法等优化算法计算得到。当输入图像只有两幅时，该方法得到的结果与两点校正方法的一样。
$$({\hat g_p},{\hat o_p}) = \mathop {\arg \min }\limits_{({g_p},{o_p})} \frac{1}{2}\sum\limits_{l = 1}^L {{{\left( {\frac{{F_{l,p}^* - {{\bar F}_l}}}{{{{\bar F}_l}}}} \right)}^2}} $$ (8) 3.3 处理流程
本文提出的方法的处理流程如下：
1）分别对K种温度面源黑体采集Jk种积分时间的图像，得到序列{Yk, j}并做归一化处理；
2）使用{Yk, j}和积分时间{tk, j}利用公式(7)计算出每个像元的响应方程fp；
3）使用响应方程计算{Yk, j}对应的辐射通量图序列{Fk, j}，并通过公式(8)获得校正参数{gp, op}；
4）对于待校正图像，先计算出待校正的辐射通量图，再使用公式(6)得到校正后的辐射通量图；
5）若仅需输出图像，将校正后的辐射通量图乘以积分时间得到校正的图像。
4. 实验结果与分析
4.1 实验设置及评价方式
实验采集图像使用640×512中波红外碲镉汞焦平面阵列探测器组件和焦距30 mm的F/4镜头，探测器工作在ITR模式，采样ADC精度为14bit；高精度面源黑体使用HGH公司的DCN1000 N4，靶面尺寸为100 mm×100 mm。采集黑体图像时，调整镜头与黑体靶面间的距离确保靶面能够覆盖镜头视场。
实验中以5℃为步长，分别采集15℃~100℃共18个温度点的黑体的图像。在确定至少能够覆盖探测器15%~85%的动态范围时任意挑选积分时间，每个温度点下分别采集8~15种积分时间的图像各1张，一共产生198张黑体图像。
本文中，针对面源黑体的图像使用的偏移不均匀性NU[9, 12]进行评价，针对实际场景的图像使用粗糙度ρ[13]进行评价。
另外，实验采集到的图像均会预先进行无效像元替换处理，所展示的红外图像均经过了非线性的自动增强处理。
4.2 实验结果与分析
实验分别使用两点校正方法、Ochs方法和本文提出的方法处理图像数据。光子型红外探测器的响应线性度较好，2阶多项式模型足以拟合探测器的非线性性，因此Ochs方法和本文方法均使用2阶多项式模型建立响应方程。这3种方法中，两点校正使用积分时间为3 ms的20℃和75℃的图像计算校正参数；Ochs方法使用35℃的图像序列计算响应方程，使用20℃和90℃的图像来获取校正参数；本文方法使用15℃、30℃、50℃和90℃的图像数据计算响应方程和校正参数。
这3种方法对198张黑体图像进行非均匀性校正处理后，校正后图像的偏移不均匀性NU的统计数据如表 1所示。表 1中可以看出，本文方法校正后的黑体图像的偏移不均匀性NU的均值，比未校正降低了98.3%，比两点校正降低了93.5%，比Ochs方法降低了24.1%，校正后图像NU的中值、最小值和最大值也均低于其他两种方法。
表 1 3种方法处理前后的黑体图像的NU的统计数据Table 1. NU statistics of the black body image before and after process of the three methodsMethod Mean NU Median NU Min NU Max NU Un-corrected 6.041% 6.489% 3.025% 8.583% Two-point 1.562% 1.081% 0.088% 6.024% Ochs 0.133% 0.128% 0.073% 0.281% Proposed 0.101% 0.098% 0.050% 0.205% 另外，实验还使用该热像仪对一场景采集了4 ms、9 ms和12 ms三种积分时间的图像，两点校正、Ochs方法和本文方法校正后的图像如图 2所示。图 2中可以看出两点校正后的图像中存在亮点和暗点，且图像的积分时间偏离标定使用的积分时间（3ms）越多时亮点和暗点的数量越多；另外图像的四周还存在过补偿的情况，导致图像四周偏亮、中心偏暗，背景因对比度不足也难以辨别。相对于两点校正，Ochs方法和本文方法校正后的图像的效果均有较明显的提升，图像中均没有明显的固定图案噪声，比如暗角、四周过补偿、竖条纹、亮点和暗点等，图像经过增强后的对比度也更高。
为了能够更客观地评价3种方法的校正效果，分别计算了9幅图像（增强之前）的粗糙度ρ，如表 2所示。3种方法中，本文方法校正后图像的粗糙度数值也最小。
表 2 三种方法处理前后的场景图像的粗糙度ρTable 2. Roughness ρ of the scene images before and after theprocess of the three methodIntegration Time/ms Un-corrected Two-point Ochs Proposed 4 0.11816 0.01032 0.00924 0.00904 9 0.07297 0.00998 0.00900 0.00890 12 0.06285 0.00989 0.00888 0.00876 5. 总结
本文提出了一种基于像素级辐射自校准的红外图像非均匀性校正改进方法。该方法通过对估计出的场景的辐射通量图进行校正，实现了可变积分时间的非均匀性校正。该方法在辐射自校准的基础上，利用多个温度点下采集的面源黑体的不同积分时间的图像，获得了更准确且更稳定的像素级响应方程的估计，可以得到更准确的场景辐射通量的估计。该方法还将非均匀性校正参数的求解转化为了线性最小二乘问题，从而能够充分利用采集到的多温度点、多积分时间的图像，实现更好的非均匀性校正效果。实验表明，本文方法能够将线性响应范围内的任意积分时间下的红外图像的非均匀性降低至较低的水平。
-
表 1 稀疏矩阵D的训练过程
Table 1 The training of sparse matrix D
Xtrain $\left[ {{\boldsymbol{U}_X}, {\text{diag}}\left\{ {{\sigma _{{x_i}}}} \right\}, {\boldsymbol{V}_X}} \right] = {\text{svd}}\left( {{\boldsymbol{X}_{{\text{train}}}}} \right)$
$d_i^ * = \min \left\{ {\frac{1}{{2\lambda \sigma _{{X_i}}^2}}, 1} \right\}$${\boldsymbol{D}^ * } = {\boldsymbol{U}_X}{\text{diag}}\left\{ {n_i^ * } \right\}\boldsymbol{U}_X^{\text{T}}$ 利用D*进行图像的分解 
下载: 导出CSV
表 2 不同融合图像的客观评价结果
Table 2 Average objective evaluation results of different fusion image
Method DWT IFE_VIP CSR CBF Proposed FMI 0.9111 0.8863 0.9067 0.8869 0.9164 SCD 1.7413 1.6031 1.1080 1.4273 1.7991 MS_SSIM 0.8648 0.7977 0.6997 0.7217 0.9099 VIF 0.2482 0.2373 0.2110 0.2030 0.3267 Nabf 0.1497 0.1353 0.0529 0.2241 0.0193
下载: 导出CSV
表 3 不同融合方法的计算时间对比
Table 3 Computational time comparison of different fusion methods
Method DWT IFE_VIP CSR CBF Proposed Time/s 0.4822 0.1594 87.9350 13.9968 31.0937
下载: 导出CSV
-
[1] DENG Y, LI C, ZHANG Z, et al. Image fusion method for infrared and visible light images based on SWT and regional gradient[C]//2017 IEEE 3rd Information Technology and Mechatronics Engineering Conference (ITOEC), 2017: 976-979, doi: 10.1109/ITOEC.2017.8122499.
[2] BEN H A, Yun H, Hamid K, et al. A multiscale approach to pixel-level image fusion[J]. Integrated Computer Aided Engineering, 2005, 12(2): 135-146. DOI: 10.3233/ICA-2005-12201
[3] Goshtasby A A, Nikolov S. Image fusion: advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114-118. DOI: 10.1016/j.inffus.2006.04.001
[4] LUO X Q, LI X Y, WANG P F, et al. Infrared and visible image fusion based on NSCT and stacked sparse autoencoders[J]. Multimedia Tools and Applications, 2018, 77(17): 22407-22431. DOI: 10.1007/s11042-018-5985-6
[5] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178.
[6] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[C]//IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873, Doi: 10.1109/TIP.2010.2050625.
[7] 王文卿, 高钰迪, 刘涵, 等. 基于低秩稀疏表示的红外与可见光图像序列融合方法[J]. 西安理工大学学报, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm WANG W Q, GAO Y D, LIU H, et al. Fusion method of infrared and visible image sequences based on low rank sparse representation[J]. Journal of Xi'an University of technology, 2019, 35(3): 8. https://www.cnki.com.cn/Article/CJFDTOTAL-XALD201903003.htm
[8] 康家银, 陆武, 张文娟. 融合NSST和稀疏表示的PET和MRI图像融合[J]. 小型微型计算机系统, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006 KANG J Y, LU W, ZHANG W J. Pet and MRI image fusion based on NSST and sparse representation[J]. Minicomputer System, 2019(12): 2506-2511. DOI: 10.3969/j.issn.1000-1220.2019.12.006
[9] 王建, 吴锡生. 基于改进的稀疏表示和PCNN的图像融合算法研究[J]. 智能系统学报, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm WANG J, WU X S. Image fusion algorithm based on improved sparse representation and PCNN[J]. Journal of Intelligent Systems, 2019, 14(5): 7. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201905011.htm
[10] LI H, WU X, Kittler J. MD LatLRR: A Novel Decomposition Method for Infrared and Visible Image Fusion[C]//IEEE Transactions on Image Processing, 2020, 29: 4733-4746. Doi: 10.1109/TIP.2020.2975984.
[11] YU L, XUN C, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016(99): 1-1.
[12] Prabhakar K R, Srikar V S, Babu R V. Deep fuse: a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]// IEEE International Conference on Computer Vision, IEEE Computer Society, 2017: 4724-4732.
[13] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(3): S0219691318500182.
[14] WANG X Z, YIN J F, ZHANG K, et al. Infrared weak-small targets fusion based on latent low-rank representation and DWT[J]. IEEE Access, 2019, 7: 112681-112692. Doi: 10.1109/ACCESS.2019.2934523.
[15] LIU G, YAN S. Latent Low-rank representation for subspace segmentation and feature extraction[C]//International Conference on Computer Vision, 2011: 1615-1622. Doi: 10.1109/ICCV.2011.6126422.
[16] WANG Y M, Morariu V I, Davis L S. Unsupervised feature extraction inspired by latent low-rank representation[C]//IEEE Winter Conference on Applications of Computer Vision, 2015: 542-549. Doi: 10.1109/WACV.2015.78.
[17] Wright J, MA Y, Mairal J, et al. Sparse representation for computer vision and pattern recognition[J]. Proceedings of the IEEE, 2010, 98(6): 1031-1044. DOI: 10.1109/JPROC.2010.2044470
[18] ZHANG H, LIN Z, ZHANG C, et al. Robust latent low rank representation for subspace clustering[J]. Neurocomputing, 2014, 145(5): 369-373.
[19] 谢艳新. 基于LatLRR和PCNN的红外与可见光融合算法[J]. 液晶与显示, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm XIE Y X. Infrared and visible light fusion algorithm based on latLRR and PCNN[J]. Liquid Crystal and Display, 2019, 34(4): 100-106. https://www.cnki.com.cn/Article/CJFDTOTAL-YJYS201904014.htm
[20] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710. Doi: 10.1109/ICPR.2018.8546006.
[21] WANG Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality[C]//The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, 2: 1398-140. Doi: 10.1109/ACSSC.2003.1292216.
[22] Aslantas V L, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEU - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[23] lantas V, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEUE - International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[24] Haghighat M, Razian M A. Fast-FMI: Non-reference image fusion metric[C]//IEEE International Conference on Application of Information & Communication Technologies, 2014: 1-3.
[25] LIU Y, CHEN X, Ward R, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886. Doi: 10.1109/LSP.2016.2618776.
[26] Kumar B K S. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204. DOI: 10.1007/s11760-013-0556-9
[27] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
-
期刊类型引用(2)
1. 陆玉. 基于大数据分析的红外图像非均匀性自动化校对. 佳木斯大学学报(自然科学版). 2025(01): 39-42 . 
百度学术
2. 陈栋，孟奇，连细南. 高速飞行条件下红外探测关键技术研究. 舰船电子工程. 2022(10): 194-198 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 189
- HTML全文浏览量: 97
- PDF下载量: 67
- 被引次数: 8
