Infrared and Visible Image Fusion Based on NSCT Combined with Saliency Map and Region Energy
-
摘要: 针对传统的红外与可见光图像融合出现的清晰度和对比度偏低，目标不够突出的问题，本文提出了一种基于Non-subsampled Contourlet（NSCT）变换结合显著图与区域能量的融合方法。首先，使用改进的频率调谐（Frequency-tuned, FT）方法求出红外图像显著图并归一化得到显著图权重，单尺度Retinex（Single-scale Retinex, SSR）处理可见光图像。其次，使用NSCT分解红外与可见光图像，并基于归一化显著图与区域能量设计新的融和权重来指导低频系数融合，解决了区域能量自适应加权容易引入噪声的问题；采用改进的“加权拉普拉斯能量和”指导高频系数融合。最后，通过逆NSCT变换求出融合图像。本文方法与7种经典方法在6组图像中进行对比实验，在信息熵、互信息、平均梯度和标准差指标中最优，在空间频率中第一组图像为次优，其余图像均为最优结果。融合图像信息量丰富、清晰度高、对比度高并且亮度适中易于人眼观察，验证了本文方法的有效性。
-
关键词:
- 图像融合 /
- Non-subsampled Contourlet变换 /
- 区域能量自适应加权 /
- 拉普拉斯能量和
Abstract: To address the problems of low clarity and contrast of indistinct targets in traditional infrared and visible image-fusion algorithms, this study proposes a fusion method based on non-subsampled contourlet transform (NSCT) combined with a saliency map and region energy. First, an improved frequency-tuning (FT) method is used to obtain the infrared image saliency map, which is subsequently normalized to obtain the saliency map weight. A single-scale retinex (SSR) algorithm is then used to enhance the visible image. Second, NSCT is used to decompose the infrared and visible images, and a new fusion weight is designed based on the normalized saliency map and region energy to guide low-frequency coefficient fusion. This solves the problem of region-energy adaptive weighting being prone to introducing noise, and the improved "weighted Laplace energy sum" is used to guide the fusion of high-frequency coefficients. Finally, the fused image is obtained by inverse NSCT. Six groups of images were used to compare the proposed method with seven classical methods. The proposed method outperformed others in terms of information entropy, mutual information, average gradient, and standard deviation. Regarding spatial frequency, the first group of images was second best, and the remaining images exhibited the best results. The fusion images displayed rich information, high resolution, high contrast, and moderate brightness, demonstrating suitability for human observation, which verifies the effectiveness of this method. -
0. 引言
对于红外焦平面探测器，噪声等效温差是一个很重要的指标参数，与信噪声比相关，直观地反映了器件的灵敏度，也是热像仪设计考虑的关键参数，影响系统的作用距离与目标识别[1-6]。
在较早期文献资料中，单元探测器与信噪比相关的主要指标参数包括探测率、噪声等效功率等，而NETD只是一个表征热像仪系统温度灵敏度的重要指标，直到20世纪八九十年代开始红外焦平面探测器快速发展后，NETD才逐渐出现在探测器的主要性能指标中[7-13]。
探测器的NETD与热像仪系统的NETD基本定义是相同的[14]：噪声电压Vn与目标温差ΔT产生的信号电压ΔVs相等时的温差称为噪声等效温差，即信噪比为1时，目标与背景的温差。定义公式如下：
$$ NETD = \frac{{\Delta T}}{{\Delta {V_{\rm s}}/{V_n}}} $$ (1) 实际应用中，红外焦平面探测器的NETD与多种因素有关，如像元面积、光谱响应范围、量子效率、冷屏F数、背景温度等。除此之外，从定义公式可以看到，NETD并未像探测率一样对积分时间进行归一化处理，实际中器件的信噪比并不随着积分时间的加长而按比例增加，因此同一器件在不同的积分时间条件下，NETD在理论上也不同。另一方面，器件的响应与黑体温度也并不是线性关系，选择的背景温度和ΔT不同，NETD在理论上也会不同，同一背景温度条件下ΔT越小越接近实际应用情况，但由于受黑体精度的影响，ΔT很难控制得很小，采集到的响应信号也很容易受到其他因素的干扰，因此一般取较大的温差进行测试，如中长波探测器测试时温差ΔT通常取10℃~15℃[15-17]，这样带来的问题是，与实际情况可能存在的差异。理论上，NETD与电荷存储量无关，但在某些特定条件下，如应用的背景温度或固定的势阱填充量，需要采取一些措施来满足使用或测试要求，此时NETD会受到一定的限制。
在热像仪系统应用中，有的文献还提出了由于焦平面探测器像元之间响应不均匀性引起的空间NETD[18-21]，为了简化计算，本文不考虑空间NETD，仅从NETD的测试方法和流程出发，通过黑体辐射及探测器的理论公式，对HgCdTe、InSb等常用光伏型红外焦平面探测器NETD的理论计算公式进行推导，分析影响器件NETD的主要因素，通过典型640×512 HgCdTe中波红外焦平面探测器对不同条件下的背景限NETD进行理论计算及分析，并对固定背景温度但不同测试温差下的NETD进行理论推算及对比测试。
1. 红外焦平面探测器NETD测试方法及流程
与探测率等性能指标测试方法一样，红外焦平面探测器NETD在测试时也是测出一定条件下噪声和温差响应信号，再根据式(1)进行计算，其测试系统示意图如图 1，包括辐射源、驱动电路、数据采集模块、计算机及控制软件等。一般情况下，采用面源黑体作为红外辐射源，设置温度T0模拟背景温度，T1模拟目标温度；驱动电路提供器件正常工作所必须的电源、偏置和脉冲时序等，并对器件的输出信号进行调理；数据采集模块对调理后的器件输出信号进行自动采集，并送至计算机中；计算机及控制软件对驱动电路、数据采集模块等进行控制，并对采集数据进行处理计算。
具体测试流程如下：
① 连接测试系统与被测器件，使面源黑体面充满器件视场，器件达到工作温度后，通过驱动电路给被测器件加电，在规定的测试条件下使器件正常工作；
② 分别在黑体温度为T0、T1条件下采集器件中每个像元的输出信号电压V0、V1，连续采集F帧（F≥100）取平均值，并计算T0条件下F帧输出信号电压的均方根偏差为该像元的噪声电压Vn；
③ 计算每个像元的输出信号电压差ΔVs，即V1－V0；
④ 根据Vn、ΔVs、黑体温差ΔT及式(1)计算出器件中每个像元的NETD。
对于红外焦平面探测器，一般规定的主要测试条件为积分时间或势阱填充量。势阱填充量是指探测器光电转换产生的电子数占读出电路总电荷存储量的百分比，也就是探测器输出信号电压占输出动态范围的百分比，可以通过调整积分时间达到。
2. NETD的理论计算
2.1 理论公式
根据普朗克黑体辐射公式，黑体温度为T时在λon~λoff光谱范围内的光子辐亮度为：
$$L_{\mathrm{p}}(\lambda, T)=\int_{\lambda_{\mathrm{on}}}^{\lambda_{\text {off }}} \frac{2 c}{\lambda^4\left(\mathrm{e}^{\frac{h c}{\lambda k T}}-1\right)} \mathrm{d} \lambda$$ (2) 式中：Lp(λ, T)为单位面积黑体在单位时间、单位立体角的光子辐亮度，个/(s·sr·cm2)；λon、λoff为探测器的前后截止波长，μm；c为光速，3×108 m/s；h为普朗克常数，6.63×10－34 Js；k为玻耳兹曼常数，1.38×10－23 J/K。
面源黑体可以看成一个均匀大面积的朗伯源，当面源黑体充满探测器的整个视场时，探测器光电转换产生的电子数为：
$$N=\eta A_{\mathrm{d}} t_{\mathrm{int}} \varOmega L_{\mathrm{p}}(\lambda, T)$$ (3) 式中：N为探测器光电转换产生的电子数，个；η为探测器总量子效率，无量纲；Ad为像元的光敏面积，cm2；tint为积分时间，s；Ω为探测器的视场角，sr，Ω＝π/(4F2+1)，F为探测器冷屏所限制的F数。
假设探测器的暗电流为Idark，通过读出电路后，探测器的输出信号电压：
$$V=\frac{Q}{C_{\mathrm{R}}}=\frac{q N+I_{\mathrm{dark}} t_{\mathrm{int}}}{C_{\mathrm{R}}}$$ (4) 式中：q为电子电量，1.6×10－19 C；CR为读出电路的积分电容，F。
在T0和T1黑体温度下，探测器的暗电流基本不发生改变，可得到这两个温差下响应电压ΔVs的计算公式：
$$\Delta V_{\mathrm{s}}=\frac{\eta q A_{\mathrm{d}} t_{\mathrm{int}} \varOmega\left[L_{\mathrm{p}}\left(\lambda, T_1\right)-L_{\mathrm{p}}\left(\lambda, T_0\right)\right]}{C_{\mathrm{R}}}$$ (5) 假设在T0温度下其总噪声为Vn(T0)，根据式(1)可得到NETD的理论计算公式：
$$\mathrm{NETD}=\frac{C_{\mathrm{R}} V_n\left(T_0\right)}{\eta q A_{\mathrm{D}} t_{\mathrm{int}} \varOmega\left[L_{\mathrm{P}}\left(\lambda, T_1\right)-L_{\mathrm{P}}\left(\lambda, T_0\right)\right]}\left(T_1-T_0\right)$$ (6) 为了便于分析，温度T0、T1下探测器光电转换产生的电子数记为N0、N1，则N0＝ηAdtintΩLP(λ, T0)、N1＝ηAdtintΩLP(λ, T1)。探测器的总噪声包括背景辐射、暗电流、读出电路、测试系统等引起的噪声。其中背景辐射到达探测器上光子数目的均方起伏等于其光子到达率的平均值[22]，因此T0温度下背景辐射噪声电压Vn-B为：
$$V_{\mathrm{n}-\mathrm{B}}=q \sqrt{N_0} / C_{\mathrm{R}}$$ (7) 假设探测器除了背景辐射噪声以外其他噪声电子数为Nde，则：
$$V_{\mathrm{n}}\left(T_0\right)=\frac{q}{C_{\mathrm{R}}} \sqrt{N_0+N_{\mathrm{de}}^2}$$ (8) 式(6)可简化为文献[23]中NETD的表达形式：
$$\mathrm{NETD}=\frac{1}{K \sqrt{N_0}} \sqrt{1+\frac{N_{\mathrm{de}}^2}{N_0}}$$ (9) 式中：K定义为T0温度下单位温差的光子数变化百分比，$K = ({N_1}/{N_0} - 1)/({T_1} - {T_0})$。
对式(9)分析可以得到以下结果：
当暗电流、读出电路等引起的其他噪声电子数Nde相对于背景T0产生的噪声电子数$\sqrt {{N_0}} $较大，即(Nde2/N0)≫1时，NETD主要受限于Nde大小，即为探测器噪声所限制的NETD。
当(Nde2/N0)≪1时，NETD受探测器的其他噪声影响可以忽略，此时NETD主要受限于N0，即达到背景限的NETD。
对于焦平面探测器，由于受读出电路积分电容设计尺寸的限制，能处理的电荷数不可能无限制地大，在上述两种情况下，当读出电路最大电荷存储量小于(Nde2+N0)时，NETD则受限于读出电路的电荷存储量，此时需要通过一些措施来减少探测器产生的电子数，例如减小像元尺寸、缩短积分时间、增大F数、降低暗电流等。另一种情况是，读出电路电荷存储量足够但受应用或测试条件的限制，例如要求在固定的势阱填充量条件下进行NETD测试，此时读出电路的电荷存储量越大，NETD就可以越小。
由于探测器受光子辐照产生的电子数与温度不成比例关系，即使T0相同，选择不同的T1进行测试，K值发生变化，NETD也会有所不同。
2.2 NETD背景限的理论公式
当只考虑背景辐射噪声时，根据式(9)可得到探测器在T0温度下背景限NETD的理论公式：
$$\mathrm{NETD}=\frac{1}{K \sqrt{N_0}}$$ (10) 代入K及N0，即：
$$\mathrm{NETD}=\frac{\sqrt{L_{\mathrm{P}}\left(\lambda, T_0\right)}}{\left[L_P\left(\lambda, T_1\right)-L_{\mathrm{P}}\left(\lambda, T_0\right)\right] \sqrt{\eta A_{\mathrm{D}} t_{\mathrm{int}} \Omega}}\left(T_1-T_0\right)$$ (11) 从式(10)、(11)可以看出，T0、T1不变的情况下，背景限NETD与$\sqrt {{N_0}} $成反比例关系，即与量子效率、像元面积、积分时间的平方根成反比例关系，与视场角平方根$\sqrt \varOmega $成反比例关系，即正比于$\sqrt {\frac{{4{F^2} + 1}}{\pi }} $，当F数较大时，与F数成近似正比例关系。
从式(11)得到的另一个结论是，背景限NETD与读出电路的积分电容无关。实际中，当测试系统或热像仪系统带来的噪声不可忽略时，NETD与积分电容相关，其在他条件不变的情况下，随着积分电容变大，NETD也变大，但此时如果再采取增加积分时间、减小F数等方法达到相同的势阱填充量，由于测试系统或热像仪系统噪声在总噪声中占的比例减小，那么NETD则相对是变小的。
2.3 固定背景温度下NETD的推算
根据上面的理论公式，NETD与测试温度相关，根据NETD定义，温度T1越接近T0，NETD越接近实际情况，但通常红外焦平面探测器在NETD测试时采用的都是较大温差。理论上，只要积分时间及T0保持不变，通过大温差下NETD的测试结果可推算出小温差下NETD的结果。下面是推算过程：
将T0、T1温差下NETD实测结果记为${\rm NETD}_{{({T_1} - {T_0})}}$，T0、T2温差下NETD的推算结果记为${\rm NETD}_{{({T_2} - {T_0})}}$，背景T0下探测器的总噪声为${V_{n - {T_0}}}$，在这两个条件下，温差响应信号分别$\Delta {V_{\rm s}}_{({T_1} - {T_0})}$和$ \Delta {V_{\rm s}}_{({T_2} - {T_0})} $。由式(1)有：
$$ {\rm NETD}_{{({T_1} - {T_0})}} = \frac{{{V_{n - {T_0}}}}}{{\varDelta {V_{\rm s}}_{({T_1} - {T_0})}}}{\text{(}}{T_1} - {T_0}{\text{)}} $$ (12) $$ {\rm NETD}_{{({T_2} - {T_0})}} = \frac{{{V_{n - {T_0}}}}}{{\Delta {V_{\rm s}}_{({T_2} - {T_0})}}}({T_2} - {T_0}) $$ (13) 可以得到：
$$ {\rm NETD}_{{({T_2} - {T_0})}} = \frac{{({T_2} - {T_0})}}{{({T_1} - {T_0})}}\frac{{\Delta {V_{\rm s}}_{({T_1} - {T_0})}}}{{\Delta {V_{\rm s}}_{({T_2} - {T_0})}}}{\rm NETD}_{{({T_1} - {T_0})}} $$ (14) 将式(5)代入上式得到T0、T2温差下的NETD：
$$ \begin{array}{l} {\rm NETD}_{{({T_2} - {T_0})}} = \hfill \\ \frac{{({T_2} - {T_0})}}{{({T_1} - {T_0})}}\frac{{[{L_P}(\lambda , {T_1}) - {L_P}(\lambda , {T_0})]}}{{[{L_P}(\lambda , {T_2}) - {L_P}(\lambda , {T_0})]}}{\rm NETD}_{{({T_1} - {T_0})}} \hfill \\ \end{array} $$ (15) 通过上式，只需计算出两个温差条件下理论光子辐亮度差的比值，即可推算出另一温差下的NETD值。
3. 应用实例及分析
3.1 背景限NETD的计算
选择目前典型640×512 HgCdTe中波红外焦平面探测器，像元面积2.25×10－6 cm2，响应波段范围为3.7~4.9 μm，器件在整个响应范围内的量子效率为0.7，背景黑体温度范围250~350 K，温差取1 K，对其常用条件下NETD进行理论计算及分析。
1）不同积分时间条件下背景限NETD
冷屏F数为4，探测器读出电路电荷存储量不受限制时，不同积分时间下背景限NETD的理论计算结果如图 2(a)，若读出电路电荷存储量为6.4 Me－，实际应用中考虑势阱填充量为10%~90%，背景限NETD实际能达到的值如图 2(b)。
![]()
图 2 背景限NETD与背景温度、积分时间的关系Figure 2. BLIP NETD with the background temperature and integration time从理论计算结果可以看出，随着背景温度和积分时间的降低，NETD均是增大的，但其前提条件是积分时间或背景温度不变，在较低背景温度下，只要系统可接受的积分时间足够长，NETD理论上可达到较小的值，但事实上，由于系统帧频限制，且由于暗电流的影响，在低背景条件下积分时间也不可能达到很大的值，NETD也会受到一定程度的限制。而高背景温度条件下，由于读出电路电荷存储量的限制，积分时间也不可能很长，需根据实际情况确定，在某些条件下，低背景温度下的NETD可能小于高背景温度下的NETD。从图 2(b)明显看出，当读出电路电荷存储量固定且势阱填充量在一定范围时，NETD受到较大限制，有些条件不可能达到理想状态，图中的标记为“半阱输出”的圆点位置是指某一背景度下，势阱填充量为50%时对应的积分时间和NETD，随着背景温度的升高，达到半阱时需要的积分时间减小，半阱NETD有增大的趋势。在本例中积分时间为1 ms和2 ms时，即使在高温350 K背景条件下也仍达不到半阱输出，此时NETD的值较大。
2）不同电荷存储量条件下背景限NETD
仍然是在冷屏F数为4条件下，假设读出电路电荷存储量变化范围为1 Me－~12.8 Me－，为了使NETD的评价更为客观，在不同背景温度下、调整积分时间使输出均达到半阱状态，NETD的理论计算结果图 3，图中实线和虚线分别为不同条件下半阱NETD和半阱积分时间。背景温度不变的情况下，随着电荷存储量的增加，半阱积分时间增大，半阱NETD减小。图中250 K背景温度下，12.8 Me－电荷存储量时，半阱积分时间已超过200 ms，除特殊情况外已不具备实用的条件。
![]()
图 3 背景限半阱NETD与背景温度、电荷存储量、半阱积分时间关系Figure 3. Half well fill BLIP NETD with the background temperature, charge capacity and integration time3）不同F数条件下背景限NETD
冷屏的F数直接决定了入射光子数量，假设F数范围为2~5，背景温度和积分时间不变，只改变F数，根据式(11)，F数＝5的背景限NETD近似为F数＝2背景限NETD的2.5倍，但此时探测器输出势阱填充量差别较大，若调整积分时间使输出均达到半阱状态，在电荷存储量为6.4 Me－时，不同背景温度下NETD的理论计算结果图 4。从结果可以看到，随着F数的增加，半阱积分时间增大，但相同背景温度下的NETD保持不变，不同F数下的NETD曲线均重合在一起，只要电荷存储量不变，半阱输出的电子数就已经固定，不论F数是否相同，半阱积分时间下的NETD都保持不变。
![]()
图 4 背景限半阱NETD与背景温度、F数、半阱积分时间关系Figure 4. Half well fill BLIP NETD with the background temperature, F number and integration time3.2 固定背景温度下NETD实测及推算结果比较
对典型640×512 HgCdTe中波红外焦平面探测器固定背景温度下的NETD进行实测及推算。取背景温度T0为293 K、F数为4、电荷存储量6.4 Me－、积分时间为8 ms时，选择不同的T1，温差从±0.0001~±15 K，背景限NETD的理论计算值如图 5。从图中可以看出，T1＞T0时，采用的温差越大NETD越小；T1＜T0时，采用的温差越大NETD越大。在这两种情况下，绝对温差小于1 K时，NETD的变化都很小，绝对温差小于0.1 K时，NETD基本都不再发生变化。
![]()
图 5 不同温差下NETD的变化曲线Figure 5. NETD variation curves under the different temperature difference选取一只上述典型器件，采用不同的温差进行NETD实测，按常规测试方法T1＞T0，积分时间仍为8 ms，并按式(15)进行NETD推算，结果如表 1及图 6。由于未扣除器件暗电流、读出电路、测试系统等噪声，NETD实测结果略高于背景限理论计算结果，但不影响推算结果。
表 1 640×512中波探测器NETD实测结果与推算结果比较Table 1. Comparison between test results and calculation results of 640×512 MW detectorT0
/mKT1
/mKTested NETD
(T0−T1)/mKCalculation
NETD/mK293 308 21.3 / 293 303 23.1 23.0 293 298 24.7 24.8 293 295 25.8 26.0 293 294 26.3 26.4 293 293.5 26.4 26.6 293 293.2 / 26.7 293 293.1 / 26.7 293 293.01 / 26.8 293 293.001 / 26.8 293 293.0001 / 26.8 ![]()
图 6 640×512中波探测器NETD实测结果与推算结果比较Figure 6. Comparison between test results and calculation results of 640×512 MW detector当温差小于0.5 K时，由于黑体控温、采集精度等的影响，响应信号基本不再发生变化，NETD测试已无意义。从已测的这组数据来看，随着与293 K温差的逐渐缩小，NETD逐渐增加，通过293~308 K常规测试结果推算出的NETD也呈同样规律，且两者结果非常接近，温差等于1 K时，推算结果和实测结果均比293~308 K常规结果大了约24%，温差小于1 K时，不管是实测结果还是推算结果，NETD都变化很小。由此可以得到如下结论，通过推算可以达到与实测相近的结果，在不改变目前探测器NETD测试规则的前提下，采用1 K温差进行推算，可以得到固定背景温度下更接近实际应用情况的NETD。
4. 结束语
HgCdTe、InSb等光伏型红外焦平面探测器的NETD除了和器件本身的像元面积、光谱响应范围、F数、量子效率、暗电流、读出电路等因素相关以外，也受限于各种实际应用条件，如帧频、背景温度等要求的限制，还与测试条件，如测试温度温差、积分时间等各种因素相关，这些因素相互影响和制约，不同的应用条件和测试条件可能导致NETD不同，需要根据具体情况结合理论计算进行分析。由于目前焦平面探测器常规NETD测试都是采用较大温差进行，与实际情况存在差异，本文推导的理论公式可在固定背景温度下从常规测试的NETD推算出较小温差的NETD，通过典型器件验证，不同温差的推算结果与实测结果符合较好，采用1K温差的NETD推算结果已非常接近实际情况，可为热像仪系统应用提供参考。本文虽以中波探测器为例进行验证，其分析方法适用于所有波长的红外焦平面探测器。
-
表 1 Nato_camp客观评价结果
Table 1 Objective evaluation results of Nato_camp
Methods IE SF MI AG SD LP 6.6022 13.9059 1.8726 5.6680 28.3882 RP 6.5073 14.7712 1.7414 5.8658 27.3435 DTCWT 6.4292 12.8851 1.8237 5.1054 25.6576 CVT 6.3256 11.8559 1.7603 4.7871 24.0154 NSCT 6.6369 13.5828 1.8622 5.6284 28.6006 DCHWT 6.3231 11.0041 1.7605 4.4255 25.8427 Hybrid_MSD 6.7020 15.1560 2.0825 6.0049 29.1284 Proposed 7.0235 14.8216 2.6280 6.2154 37.1931 
下载: 导出CSV
表 2 Tree评价结果
Table 2 Objective evaluation results of Tree
Methods IE SF MI AG SD LP 5.8484 7.7347 1.6911 3.0154 14.7225 RP 5.8788 9.0936 1.5948 3.2999 15.1486 DTCWT 5.7484 7.1703 1.6836 2.7127 13.5645 CVT 5.7172 6.8121 1.6988 2.5939 13.0307 NSCT 5.8498 7.4456 1.6643 2.9577 14.6721 DCHWT 6.0325 6.1470 1.5695 2.4196 16.3405 Hybrid_MSD 6.2954 8.5220 1.8939 3.2627 20.2859 Proposed 6.8678 11.3701 3.1874 4.8995 31.3029
下载: 导出CSV
表 3 Duine客观评价结果
Table 3 Objective evaluation results of Duine
Methods IE SF MI AG SD LP 5.9780 7.4565 1.5175 3.3497 15.4549 RP 5.8923 6.9660 1.5174 3.0050 14.5825 DTCWT 5.8808 6.7566 1.5059 3.0241 14.4632 CVT 5.8322 6.5233 1.4829 2.9103 14.0198 NSCT 5.9806 7.0812 1.5181 3.2809 15.5069 DCHWT 5.8015 5.7144 1.5240 2.5810 13.6918 Hybrid_MSD 5.9472 8.2933 1.5553 3.6047 15.2660 Proposed 7.1126 13.2301 3.1155 6.1093 35.0350
下载: 导出CSV
表 4 APC_4客观评价结果
Table 4 Objective evaluation results of APC_4
Methods IE SF MI AG SD LP 5.8574 12.7384 0.9065 5.5624 14.5848 RP 5.6555 12.4937 0.7502 5.0838 12.9853 DTCWT 5.6766 11.7014 0.8259 5.0618 12.8683 CVT 5.5498 11.3298 0.7902 4.8656 11.6973 NSCT 5.8743 12.1900 0.8733 5.4444 14.7461 DCHWT 5.5262 9.7761 0.8671 4.2252 11.4534 Hybrid_MSD 5.9514 14.0328 1.0230 5.9508 15.5852 Proposed 6.6951 16.5562 2.8247 7.5079 25.6268
下载: 导出CSV
表 5 Kaptein_1654客观评价结果
Table 5 Objective evaluation results of Kaptein_1654
Methods IE SF MI AG SD LP 6.6557 19.0519 2.2753 6.8009 36.8878 RP 6.7122 19.7509 2.2324 6.9286 34.3867 DTCWT 6.4858 17.9294 2.2036 6.3067 31.2040 CVT 6.3880 16.3414 2.2711 5.6601 28.7014 NSCT 6.6451 18.7667 2.2189 6.7824 35.7430 DCHWT 6.7437 15.4424 2.2980 5.5617 36.3196 Hybrid_MSD 6.8692 20.4999 2.1659 7.1597 37.6306 Proposed 7.0479 20.6661 3.0611 7.7455 53.3902
下载: 导出CSV
表 6 Movie_18客观评价结果
Table 6 Objective evaluation results of Movie_18
Methods IE SF MI AG SD LP 5.9545 8.3646 1.7206 3.0967 17.9892 RP 5.7520 9.0084 1.5003 3.1423 16.3032 DTCWT 5.6640 7.8037 1.6294 2.8594 14.5863 CVT 5.5991 7.6734 1.6439 2.8605 13.9172 NSCT 5.8977 8.2244 1.6706 3.0956 17.1809 DCHWT 5.5755 6.6402 1.6596 2.4455 15.0237 Hybrid_MSD 6.2333 9.2791 2.3197 3.3676 21.1429 Proposed 6.8108 10.0577 3.3102 3.7343 47.7950
下载: 导出CSV
-
[1] 杨孙运, 奚峥皓, 王汉东, 等. 基于NSCT和最小化-局部平均梯度的图像融合[J]. 红外技术, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6 YANG Sunyun, XI Zhenghao, WANG Handong, et al. Image fusion based on nsct and minimum-local mean gradient[J]. Infrared Technology, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6
[2] 肖中杰. 基于NSCT红外与可见光图像融合算法优化研究[J]. 红外技术, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010 XIAO Zhongjie. Improved infrared and visible light image fusion algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010
[3] ZHANG B, LU X, PEI H, et al. A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J]. Infrared Physics & Technology, 2015, 73: 286-297.
[4] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26. DOI: 10.1016/j.inffus.2015.11.003
[5] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[6] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.
[7] Mertens T, Kautz J, Reeth F V. Exposure fusion[C]//Proceedings of Pacific Conference on Computer Graphics and Applications, 2007: 382-390.
[8] ZHANG Z, Blum R S. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application[C]//Proc. IEEE, 1999, 87(8): 1315-1326.
[9] Lewis J J, Callaghan R J O, Nikolov S G, et al. Pixel- and region-based image fusion with complex wavelets[J]. Inf. Fus., 2007, 8(2): 119-130. DOI: 10.1016/j.inffus.2005.09.006
[10] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Inf. Fus., 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[11] YANG S, WANG M, JIAO L, et al. Image fusion based on a new contourlet packet[J]. Inf. Fus., 2010, 11(2): 78-84. DOI: 10.1016/j.inffus.2009.05.001
[12] Cunha A L, ZHOU J P, DO M N. The nonsubsampled Contourlet transform: theory, design, and applications [J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101. DOI: 10.1109/TIP.2006.877507
[13] 郭明, 符拯, 奚晓梁. 基于局部能量的NSCT域红外与可见光图像融合算法[J]. 红外与激光工程, 2012, 41(8): 2229-2235. GUO Ming, FU Zheng, XI Xiaoliang. Novel fusion algorithm for infrared and visible images based on local energy in NSCT domain[J]. Infrared and Laser Engineering, 2012, 41(8): 2229-2235.
[14] Cands E J, Donoho D L. Curvelets and curvilinear integrals[J]. J. Approximation Theor., 2001, 113(1): 59-90. DOI: 10.1006/jath.2001.3624
[15] DO M N, Vetterli M. Contourlets: a directional multiresolution image representation[C]//Proceedings of IEEE International Conference on Image Processing, 2002, 1: I-357-I-360.
[16] ZHAI Y, SHAH M. Visual attention detection in video se-quencesusing spatiotemporal cues[C]//Proceedings of the 14th ACM Conference on Multimedia, 2006: 815-824.
[17] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]// IEEE Conference on Computer Vision & Pattern Recognition, 2009: 1597-1604.
[18] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805 YE Kuntao, LI Wen, SHU Leilei, LI Sheng. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]. Infrared Technology, 2021, 43(12): 1212-1221. http://hwjs.nvir.cn/article/id/bfd9f932-e0bd-4669-b698-b02d42e31805
[19] 唐中剑, 毛春. 基于显著导向的可见光与红外图像融合算法[J]. 太赫兹科学与电子信息学报, 2021, 19(1): 125-131. TANG Zhongjian, MAO Chun. Visible and infrared image fusion algorithm based on saliency guidance[J]. Journal of Terahertz Science and Electronic Information Technology, 2021, 19(1): 125-131.
[20] 王惠琴, 吕佳芸, 张伟. 基于双边滤波-BM3D算法的GPR图像去噪[J]. 兰州理工大学学报, 2022, 48(1): 91-97. WANG Huiqin, LYU Jiayun, ZHANG Wei. GPR image denoising based on bilateral filtering BM3D algorithm[J]. Journal of Lanzhou University of Technology, 2022, 48(1): 91-97.
[21] Edwin H Land. The retinex theory of color vision [J]. Scientific American, 1977, 237(6): 108-129. DOI: 10.1038/scientificamerican1277-108
[22] 程铁栋, 卢晓亮, 易其文, 等. 一种结合单尺度Retinex与引导滤波的红外图像增强方法[J]. 红外技术, 2021, 43(11): 1081-1088. http://hwjs.nvir.cn/article/id/b49a0a09-e295-40e6-9736-24a58971206e CHENG Tiedong, LU Xiaoliang, YI Qiwen, et al. Research on infrared image enhancement method combined with single-scale retinex and guided image filter[J]. Infrared Technology, 2021, 43(11): 1081-1088. http://hwjs.nvir.cn/article/id/b49a0a09-e295-40e6-9736-24a58971206e
[23] 翟海祥, 何嘉奇, 王正家, 等. 改进Retinex与多图像融合算法用于低照度图像增强[J]. 红外技术, 2021, 43(10): 987-993. http://hwjs.nvir.cn/article/id/23500140-4bab-40b3-9bef-282f14dc105e ZHAI Haixiang, HE Jiaqi, WANG Zhengjia, et al. Improved Retinex and multi-image fusion algorithm for low illumination image enhancemen[J]. Infrared Technology, 2021, 43(10): 987-993. http://hwjs.nvir.cn/article/id/23500140-4bab-40b3-9bef-282f14dc105e
[24] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-167.
[25] Kumar B. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]. Signal, Image & Video Processing, 2013, 7: 1125-1143. DOI: 10.1007/s11760-012-0361-x
[26] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26.
[27] Toet Alexander. TNO image fusion dataset[EB/OL]. 2014, https://doi.org/10.6084/m9.figshare.1008029.v1.
[28] 张小利, 李雄飞, 李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报, 2014, 40(2): 306-315. ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]. Acta Automatica Sinica, 2014, 40(2): 306-315.
计量
- 文章访问数: 136
- HTML全文浏览量: 45
- PDF下载量: 33
