基于PUCS与DTCWT的红外与弱可见光图像融合

姜迈, 沙贵君, 李宁

姜迈, 沙贵君, 李宁. 基于PUCS与DTCWT的红外与弱可见光图像融合[J]. 红外技术, 2022, 44(7): 716-725.
引用本文: 姜迈, 沙贵君, 李宁. 基于PUCS与DTCWT的红外与弱可见光图像融合[J]. 红外技术, 2022, 44(7): 716-725.
JIANG Mai, SHA Guijun, LI Ning. Infrared and Low-level Visible Light Images Fusion Based on Perception Unified Color Space and Dual Tree Complex Wavelet Transform[J]. Infrared Technology , 2022, 44(7): 716-725.
Citation: JIANG Mai, SHA Guijun, LI Ning. Infrared and Low-level Visible Light Images Fusion Based on Perception Unified Color Space and Dual Tree Complex Wavelet Transform[J]. Infrared Technology , 2022, 44(7): 716-725.

基于PUCS与DTCWT的红外与弱可见光图像融合

基金项目: 

公安部技术研究计划 2020JSYJC26

公安部科技强警基础工作专项项目 2018GABJC08

中国科学院海洋信息技术创新研究院前沿基础研究项目 QYJC201913

公安理论及软科学研究计划 2019LLYJXJXY055

公安理论及软科学研究计划 2019LLYJXJXY057

详细信息
    作者简介:

    姜迈(1982-),男,辽宁人,博士,讲师,主要研究方向为图像处理与模式识别,三维场景重建等。E-mail: tawan_83@163.com

  • 中图分类号: TP391.41

Infrared and Low-level Visible Light Images Fusion Based on Perception Unified Color Space and Dual Tree Complex Wavelet Transform

  • 摘要: 针对红外与弱可见光图像传统融合算法在结果图像中目标不突出、整体对比度降低、边缘及纹理细节不清晰、缺失等问题,本文提出一种基于感知一致性空间(Perception Unified Color Space,PUCS)和双树复小波变换(Dual Tree Complex Wavelet Transform,DTCWT)的融合算法。首先,将红外与弱可见光图像的亮度分量由RGB空间分别转至感知一致性空间得到新的亮度分量以备后续变换处理;接着,将源图像利用DTCWT进行多尺度分解,分别获取各自的低频分量与高频分量;然后,根据不同频带系数特点,提出一种基于区域能量自适应加权的规则对低频子带分量进行融合,采用一种基于拉普拉斯能量和与梯度值向量的规则对不同尺度、方向下高频子带分量进行融合;最后,对融合后的高、低频子带分量进行DTCWT逆变换重构图像,再将其转回至RGB空间以得到最终结果。在不同场景下将本文算法与3种高效融合算法进行对比评价,实验结果表明,本文算法不但在主观视觉上具有显著的目标特征、清晰的背景纹理及边缘细节、整体对比度适宜,而且在8项客观评价指标上也取得了较好的效果。
    Abstract: To solve problems in traditional image fusion, such as dim targets, low contrast, and loss of edge and textural details in fusion results, a new fusion approach for infrared and low-level visible light image fusion based on perception unified color space (PUCS) and dual tree complex wavelet transform (DTCWT) is proposed. First, the two-source image intensity component is separately transformed from RGB space into PUCS to obtain a new intensity component for further processing. Then, the infrared and low-level visible light images are decomposed using DTCWT to obtain the low- and high-frequency components, respectively. Subsequently, at the fusion stage, the region energy adaptive weighted method is adopted to fuse the low-frequency sub-bands, and the high-frequency rule uses the sum modified Laplacian and gradient value vector for different scale and directional sub-bands fusions. Finally, the fusion image is obtained by applying inverse DTCWT on the sub-bands and returned to RGB space. The proposed algorithm was compared with three efficient fusion methods in different scenarios. The experimental results show that this approach can achieve prominent target characteristics, clear background texture and edge details, and suitable contrast in subjective evaluations as well as advantages in eight objective indicator evaluations.
  • 图像融合是将多传感器采集的同一场景的图像进行融合,取得信息互补的过程。其中,红外与弱可见光图像融合近年来受到广泛的关注,利用两者间的相关性和互补性进行融合,增加了图像中有用信息含量,图像的效果可以获得很大的改观,在同一图像中突出目标的同时还能较好地呈现背景细节,不仅提高了成像系统的视距,而且有效提高了融合图像信噪比,具有更高的可靠性和可信度,增强了人们对关注区域的探测、识别和分析能力。如在公共安全领域,违法犯罪活动的伪装使得对目标的调查取证更加困难,作案人往往利用夜幕掩护进行犯罪活动,以躲避警方的打击,夜间发现和识别作案人的范围越大,就意味着在夜间有较大的作战半径,同时也就获得了夜间作战的主动权。利用红外与弱可见光融合技术,有助于警务人员及时发现可疑目标,可以更有效地打击作案人和保护自身的安全。

    红外与弱可见光融合技术涉及到工作的颜色空间、图像处理域以及不同子带图像融合策略规则等关键问题。尤其在图像处理域方面,红外与弱可见光图像融合主要有基于空间域和变换域两种方法,较新的空间域算法包括基于鲁棒主成分分析RPCA(Robust Principal Component Analysis)[1]、压缩感知CS(Compressed Sensing)等[2-3],较新的基于变换域的图像融合方法有非下采样轮廓变换(Non-Subsampled Contourlet Transform,NSCT)[4-5]、非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)[6-7]、非下采样双树轮廓波变换(Non-Subsampled Dual Tree Contourlet Transform,NSDTCT)[8]、双树复小波变换(Dual Tree Complex Wavelet Transform,DTCWT)[9-10]、双树复剪切波变换(Dual Tree Complex Shearlet Transform,DTCST)[11]等。总的来说,变换域融合方法要优于空间域融合方法,而小波变换域处理要优于其他变换域算法,但传统小波变换在处理图像等二维信息时,由于方向选择性少,存在对图像的边缘轮廓等高频分量表征能力差、细节纹理缺失、不能突出重点目标等不足,而DTCWT不仅保留了传统小波变换的时频域特性,而且重构使计算效率更高,具有近似的平移不变性、更多的方向选择性和有限数据冗余,DTCWT能够同时显著提高图像配准与融合的质量,非常适合处理红外与弱可见光融合夜视图像。

    本文基于感知一致性颜色空间的优异特性,在新构造的颜色空间内完成红外与弱可见光图像的分解、融合与重构。其中,利用DTCWT在PUCS空间内对红外、弱可见光图像进行多尺度变换域分解,以提取异源图像各自的显著信息和细节信息;针对低、高频分量设计不同的融合规则,对于低频分量采用基于区域能量自适应加权的策略,对于高频分量使用基于拉普拉斯能量和与梯度值计算混合的规则;最后,通过DTCWT逆变换得到融合后的图像。

    颜色空间是进行颜色信息处理和研究的基础,常用的工作空间有RGB、HSV、YUV、lαβ、CIELAB等颜色空间,由于颜色空间大多为非线性空间,所以存在计算复杂、效率低等问题。理想的颜色空间3个通道间应互相独立且不存在交叉干扰,色差变化应符合欧式尺度,即当任一分量发生变化时,人眼视觉可察觉变化也是相同的[12-13],即颜色空间的一致性或均匀性,同时可以与RGB空间进行逆变换且易于实时处理。本文采用文献[14]提出的基于感知一致性颜色空间,感知一致性空间与RGB颜色空间变换步骤如下:

    首先,分别将红外与弱可见光图像由RGB空间转换至XYZ空间:

    $$ \left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right]{{\rm{ = }}}{\boldsymbol{ M}}{{\rm{ }}}\left[ {\begin{array}{*{20}{c}} {R/255} \\ {G/255} \\ {B/255} \end{array}} \right] $$ (1)

    其中:

    $$ {\boldsymbol{ M}} = \left[ {\begin{array}{*{20}{c}} {0.4125}&{0.3576}&{0.1805} \\ {0.2126}&{0.7152}&{0.0722} \\ {0.0193}&{0.1192}&{0.9505} \end{array}} \right] 。 $$

    继续将图像从XYZ空间转至CIELAB空间:

    $$ \left\{ {\begin{array}{*{20}{l}} {{L^*}{{\rm{ = 116}}} \times f(Y/{Y_{{\rm{n}}}}) - 16} \\ {{a^*} = 500 \times [f(X/{X_{{\rm{n}}}}) - f(Y/{Y_{{\rm{n}}}})]} \\ {{b^*} = 200 \times [f(Y/{Y_{{\rm{n}}}}) - f(Z/{Z_{{\rm{n}}}})]} \end{array}} \right. $$ (2)
    $$ f(t) = \left\{ {\begin{array}{*{20}{l}} {{t^{1/3}}\; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; t > {{(6/29)}^3}} \\ {\frac{1}{3}{{(\frac{{29}}{6})}^2}t + \frac{4}{{29}}\; \; \; \; \; \; \; \; else} \end{array}} \right. $$ (3)

    式(3)中,t=X/Xnt=Y/Ynt=Z/ZnXnYnZn分别为观察者眼中参考白光对应的三刺激值;L*a*b*分别为CIELAB各分量值。

    进行感知一致性颜色空间变换时,使用标准色差公式CIEDE2000得到ΔE

    $$ \Delta E{\rm{=}}\sqrt{(\frac{\Delta {L}^{\prime }}{{K}_{{\rm{L}}}{S}_{{\rm{L}}}}{)}^{2}+(\frac{\Delta {{C}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{C}}}{S}_{{\rm{C}}}}{)}^{2}+(\frac{\Delta {{H}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{H}}}{S}_{{\rm{H}}}}{)}^{2}+{R}_{{\rm{T}}}(\frac{\Delta {{C}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{C}}}{S}_{{\rm{C}}}})(\frac{\Delta {{H}^{\prime }}_{{\rm{ab}}}}{{K}_{{\rm{H}}}{S}_{{\rm{H}}}})} $$ (4)

    式中:ΔL′为明度差;ΔCab′为彩度差;ΔHab′为色相差;KLKCKH分别为亮度、彩度、色相的校正系数;SLSCSH分别为亮度、彩度、色相的权重函数;RT为彩度旋转函数。由于所处理的红外与弱可见光图像均为灰度图像,本文仅需对亮度分量进行处理,可将式(4)简化为式(5):

    $$ \Delta E{\rm{=}}\left|(\frac{\Delta {L}^{\prime }}{{K}_{{\rm{L}}}{S}_{{\rm{L}}}})\right| $$ (5)

    式中:KL为预置参数,$ {S}_{L}{\rm{=}}1{\rm{+}}\frac{0.015(\overline{{L}^{*}}-50{)}^{2}}{\sqrt{20{\rm{+}}(\overline{{L}^{*}}-50{)}^{2}}} $,ΔL′=Li-1*-Li*,最终,获得新的亮度分量LNEW*

    $$ L_{{{\rm{NEW}}}}^{{\rm{*}}}(L_j^ * ) = \sum\limits_{i = 2}^j {\Delta E({{(L_{i - 1}^ * , 0, 0)}^{{\rm{T}}}}, {{(L_i^ * , 0, 0)}^{{\rm{T}}}})} $$ (6)

    式中:j=2, …, KLNEW*(L1*)=0,并将计算得到的亮度各分量存入到一维查找表内,后续变换域中计算时只需到一维查找表中调出亮度分量即可。

    英国剑桥大学Nick Kingsbury等提出的基于Q-shift滤波器组结构的双树复小波变换(dual tree complex wavelet transform, DTCWT)[15]。可以解决传统小波变换不具有平移不变性、方向信息有限等不足,且有较高的计算效率和更好的重构效果。图 1给出了图像的DTCWT二层分解示意图,DTCWT利用二棵离散小波树分别产生相应的小波系数的实部及虚部进行并行运算,由于是扩展到二维,因此共计4个分树,Lo1Loq为对应的低通滤波器,Hi1Hiq为对应的高通滤波器,Lo1Hi1LoqHiq分别是共轭正交的滤波器对,与离散小波在二维图像上处理信号的方式相似,DTCWT首先通过滤波器组先对图像行滤波,然后列滤波,滤波器要求第1层2棵树之间有1个采样点时延,并从第二层起要求树A和树B滤波器的幅频响应均相等,两棵树滤波器之间要保持相对于各自采样速率的0.5个样值间隔,即二分之一采样周期的时延差距,以消除信号间的干扰,通过行、列交替的滤波方式,结合每一层上的低通滤波器和高通滤波器,通过组合可以得到6个复数分量(x1a+jx1bx2a+jx2bx3a+jx3bx01a+jx01bx02a+jx02bx03a+jx03b)。同时,低频子带图像x00将继续被分解为下一层的低频和高频部分,并且总体数据冗余度比(4:1)并不会随着分解层数的增多而提高,可避免过多的计算开销[15-16]

    图  1  二层分解下的DTCWT
    Figure  1.  Two levels of DTCWT decomposition

    图 2为DTCWT四层分解下的基函数冲击响应(分别为±15°、±45°以及±75°三个对称方向)图像,由于A树与B树分别对图像信号的奇、偶数位置滤波,可以保证B树采样点的位置恰好位于A树采样点的中间位置,以避免抽样所产生的混叠,通过图 2(a)图 2(b)对比可以看出,两者具有很强的对称性与互补性,相对于传统DWT仅有两个方向的细节,不具备平移不变性等缺陷,DTCWT可以极大地提高图像方向信息的分析能力及稳定性,可使融合图像更好地保留源图像的不同方向上的典型特征,可以极大地提高图像分解与重构的精度的同时,保留图像更多的细节信息。

    图  2  四层分解下的DTCWT基函数冲击响应
    Figure  2.  DTCWT Basis function real and imaginary part impact response under four-levels decomposition

    DTCWT分解中实部变换小波系数WLr(k)和尺度系数CLr(k)计算如下:

    $$ W_L^{{\rm{r}}}(k) = {2^{\frac{L}{2}}}\int\limits_{ - \infty }^\infty {f(t){s^{{\rm{r}}}}(t)({2^L}t - k){{\rm{d}}}t} $$ (7)
    $$ C_L^{{\rm{r}}}(k) = {2^{\frac{L}{2}}}\int\limits_{ - \infty }^\infty {f(t){h^{{\rm{r}}}}(n)({2^L}t - k){{\rm{d}}}t} $$ (8)

    式中:f(t)为输入信号,L取值为0, 1, 2, …, NN表示分解的层数,实部树的尺度函数为sr(t),实部树的小波函数为hr(n),同理可得虚部树的小波系数WLi(k)和尺度系数CLi(k),从而得到完整的小波系数WL(k)和尺度系数CL(k),如式(9)、式(10)所示:

    $$ W_{L}(k)=W_{L}^{\mathrm{r}}(k)+j W_{L}^{i}(k) $$ (9)
    $$ C_{L}(k)=C_{L}^{\mathrm{r}}(k)+j C_{L}^{i}(k) $$ (10)

    DTCWT重构过程可由式(11)、式(12)获得,其中,λi为尺度选择系数,λi∈[0, …, 1]:

    $$ W_L^{}(t) = {2^{\frac{L}{2}}}{\lambda _i}\sum\limits_{n \in Z} {[W_L^{{\rm{r}}}(n){s^{{\rm{r}}}}({2^L}t - k)} + W_L^i(n){s^i}({2^L}t - n)] $$ (11)
    $$ C_L^{}(t) = {2^{\frac{L}{2}}}{\lambda _{N + 1}}\sum\limits_{n \in Z} {[C_L^{{\rm{r}}}(n){s^{{\rm{r}}}}({2^L}t - k)} + C_L^i(n){s^i}({2^L}t - n)] $$ (12)

    最终可得重构后的信号f*(t)为:

    $$ {f^ * }(t) = {C_L}(t) + \sum\limits_{L = 1}^N {{W_L}(t)} $$ (13)

    在二维图像中,将t替换为(M, N)即可得到相应的分解与重构方程,图 3为某广场基于DTCWT四层分解后的红外与弱可见光夜视图像。

    图  3  基于DTCWT分解的红外与弱可见光图像
    Figure  3.  Infrared and low-level visible light images based on DTCWT decomposition

    本文图像融合整体流程如图 4所示,其中,融合算法的具体步骤为:

    图  4  基于感知一致性颜色空间与DTCWT的图像融合框架
    Figure  4.  Image fusion framework based on perception uniformity color space and DTCWT

    1)通过式(1)~(6)将红外与弱可见光图像分别转至感知一致性颜色空间以获得新的亮度分量LNEW*

    2)通过式(7)~(10),利用基于Q-shift滤波器组结构的双树复小波对红外与弱可见光图像进行DTCWT分解,分别获取两者的低频分量与高频分量;

    3)根据高、低频分量的特点,由式(14)、(15)对低频子带分量系数$C_{\mathrm{L}\;(s, d)}^{\rm{IR}}(m, n)$、$ C_{{\mathrm{L}}\;(s, d)}^{\mathrm{VIS}}(m, n)$采用区域能量自适应加权的融合规则以获取融合后的低频系数$ C_{{\rm{L}}\;(s, d)}^{{\rm{F}}} $;

    4)利用(16)~(18)对高频子带分量系数$C_{\mathrm{H}\;(s, d)}^{\rm{IR}}(m, n)$、$ C_{{\mathrm{H}}\;(s, d)}^{\mathrm{VIS}}(m, n)$采用改进拉普拉斯能量和的融合规则以获取高频系数$ C_{{\rm{H}}\;(s, d)}^{{\rm{F}}} $;

    5)通过式(11)~(13)将步骤3)与步骤4)中不同尺度融合后的低、高频系数进行DTCWT逆变换,完成融合图像重构,并将融合后的图像转回至RGB颜色空间。

    低频子带包含了源图像的多数灰度和轮廓信息,本文提出一种基于区域能量自适应加权(Region Energy Adaptive Weighted, REAW)的规则对低频子带分量进行融合。其中,$ C_{{{\rm{L}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ C_{{{\rm{L}}}\left( {s, d} \right)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像的低频系数,则融合后的低频系数为:

    $$ C_{{{\rm{L}}}(s, d)}^{{\rm{F}}} = {k_1}C_{{{\rm{L}}}(s, d)}^{{{\rm{IR}}}} + {k_2}C_{{{\rm{L}}}(s, d)}^{{{\rm{VIS}}}} $$ (14)

    式中:权重系数$ {k}_{1}{\rm{=}}{E}_{(s, d)}^{{\rm{IR}}}/({E}_{(s, d)}^{{\rm{IR}}}{\rm{+}}{E}_{(s, d)}^{{\rm{VIS}}}) $,$ {k}_{2}{\rm{=}}{E}_{(s, d)}^{{\rm{VIS}}}/({E}_{(s, d)}^{{\rm{IR}}}{\rm{+}}{E}_{(s, d)}^{{\rm{VIS}}}) $;k1k2的和为1。$ E_{(s, d)}^{{\rm{i}}} $为红外与可见光在以点(m, n)为中心处的局部区域能量[17],本文局部窗口尺寸取值为3×3,窗口系数$ w = \left[ {\begin{array}{*{20}{c}} {1/16}&{1/8}&{1/16} \\ {1/8}&{1/4}&{1/8} \\ {1/16}&{1/8}&{1/16} \end{array}} \right] $,则局部区域能量计算公式为:

    $$ E_{(s, d)}^i = \sum\limits_{{{\rm{d}}}m \in M}^{} {\sum\limits_{{{\rm{d}}}n \in N}^{} {w \times {{[C{{_{{\rm{L}}}^i}_{(s, d)}}(m + {{\rm{d}}}m, n + {{\rm{d}}}n)]}^2}} } $$ (15)

    式中:i=IR或VIS;dm、dn分别为表示局部窗口内像素点相对于中心像素点横、纵方向上的位置偏移,通过式(15)计算出k1k2系数值,从而计算出低频融合系数$ C_{L(s, d)}^{{\rm{F}}} $。

    高频子带一般代表图像的细节,如边缘、纹理等,而拉普拉斯能量和(Sum Modified Laplacian,SML)是一种表征图像边缘特征的参数,在一定程度上可以反映图像的清晰程度,SML的计算依赖于变步长拉普拉斯算子(Modified Laplacian,ML)。本文提出一种基于拉普拉斯能量和与梯度值向量的规则对不同尺度、方向下的高频子带进行融合。其中,$ C_{{{\rm{H}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ C_{{{\rm{H}}}(s, d)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像在点(m, n)处的高频系数;$ I_{{{\rm{H}}}(s, d)}^{{{\rm{IR}}}}(m, n) $、$ I_{{{\rm{H}}}(s, d)}^{{{\rm{VIS}}}}(m, n) $分别表示红外与弱可见光图像在点(m, n)的亮度;s表示尺度值,d表示方向值。同样,局部窗口尺寸取值为3×3,则水平和垂直方向4个点权值贡献为1,4个对角点权值贡献为0.7,则在点(m, n)处第s尺度,d方向的ML(s, d)、总SML(s, d)详见式(16)、(17)。

    $$\begin{aligned} \mathrm{ML}_{(s, d)}^{\mathrm{i}}=& \mid 2 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n)-\\ & C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n)|+| 2 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-\\ & C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n-1)-C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n+1) \mid+\\ & \mid 1.4 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n-1)-\\ & 0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n+1)|+| 1.4 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m, n)-\\ & 0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m+1, n-1)-0.7 C_{\mathrm{H}(s, d)}^{\mathrm{i}}(m-1, n+1) \mid \end{aligned}$$ (16)
    $$ {{\rm{SML}}}_{(s, d)}^{{\rm{i}}} = {\sum\limits_{m{{\rm{ = }}}0}^M {\sum\limits_{n{{\rm{ = }}}0}^N {[{{\rm{ML}}}_{(s, d)}^{{\rm{i}}}]} } ^2} $$ (17)

    SML值越大反映出该点的细节信息越丰富,同时该点的梯度值越大则表明该点极有可能为边缘轮廓,因此本文在计算出SML(s, d)后,引入梯度值$G_{\mathrm{H}(s, d)}^{\mathrm{i}}$,对不同的高频子带采用不同的策略以提升高频子带的融合精度[18],则融合后的高频系数如式(18)所示,其中,k(m, n)计算方法见式(19)。

    $$C_{{\mathrm{H}}(s, d)}^{{\mathrm{F}}}=\left\{\begin{array}{l} C_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}(m, n), G_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}} \geq G_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}} \;{\text { and }}\; {\mathrm{SML}}_{(s, d)}^{{\mathrm{IR}}} \geq {\mathrm{SML}}_{(s, d)}^{{\mathrm{VIS}}} \\ C_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}}(m, n), G_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}<G_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}} \;{\text { and }}\; {\mathrm{SML}}_{(s, d)}^{{\mathrm{IR}}}<{\mathrm{SML}}_{(s, d)}^{{\mathrm{VIS}}} \\ C_{(s, d)}^{{\mathrm{F}}}=k(m, n) C_{{\mathrm{H}}(s, d)}^{{\mathrm{IR}}}(m, n)+[1-k(m, n)]^{2} C_{{\mathrm{H}}(s, d)}^{{\mathrm{VIS}}}(m, n), {\text { else }} \end{array}\right.$$ (18)
    $$ k(m, n){{\rm{ = }}}\left| {\frac{{G_{H(s, d)}^{{{\rm{IR}}}} \times {{\rm{SML}}}{{_H^{{{\rm{IR}}}}}_{(s, d)}}}}{{G_{H(s, d)}^{{{\rm{IR}}}} \times {{\rm{SML}}}{{_H^{{{\rm{IR}}}}}_{(s, d)}} + G_{H(s, d)}^{{{\rm{VIS}}}} \times {{\rm{SML}}}_{H(s, d)}^{{{\rm{VIS}}}}}}} \right| $$ (19)
    $$G_{H(s, d)}^{\mathrm{i}}=\sqrt{\nabla x I_{H(s, d)}^{\mathrm{i}}(m, n)^{2}+\nabla y I_{H(s, d)}^{\mathrm{i}}(m, n)^{2}}$$ (20)

    式(20)中:∇x与∇y分别表示像素$I_{H(s, d)}^{\mathrm{i}}$在横纵两个方向上的一阶差分,则图像边缘轮廓细节的融合系数采用式(18)中前2行,图像的纹理信息的融合系数采用式(18)中第3行。最后,将融合后的低、高频系数$ C_{{{\rm{L}}}(s, d)}^{{\rm{F}}} $与$ C_{{{\rm{H}}}(s, d)}^{{\rm{F}}} $通过DTCWT及颜色空间逆变换,完成融合图像重构。

    为了验证本文算法的有效性和准确性,将本文算法与Weighted Least Square(WLS)[19],Infrared Feature Extraction and Visual Information Preservation(IFEVIP)[20],Mis-registration(MISREG)[21]共4种方法进行比较分析,各方法的参数设置与原文献中保持一致。本文运行环境为:Windows10操作系统,Intel-i5-0400,16 G内存,CPU主频3.8 GHz;实验仿真采用Matlab 2016a平台,所有图像尺寸为768×576,其中DTCWT分解层数为4层,每层高频子带分解方向为±15°、±45°以及±75°共6个方向,Q-shift滤波器组长度为18,对应的滤波器组详见表 1,低频子带通过基于区域能量自适应加权的方法进行融合,高频子带利用基于拉普拉斯和与梯度值向量的方法进行融合。分别通过主观视觉与客观指标两种评价方法对融合结果进行比较分析。

    表  1  Q-shift滤波器组
    Table  1.  Q-shift filter banks
    Tree A Tree B
    Real part filters Imaginary part filters Real part filters Imaginary part filters
    Lo1 Hi1 Lo1 Hi1 Loq Hiq Loq Hiq
    -0.0023 0.0024 0.0024 0.0023 0.0024 0.0023 -0.0023 0.0024
    0.0012 -0.0013 0.0013 0.0012 0.0013 0.0012 0.0012 -0.0013
    -0.0118 -0.0026 -0.0026 0.0118 -0.0026 0.0118 -0.0118 -0.0026
    0.0013 0.0066 -0.0066 0.0013 -0.0066 0.0013 0.0013 0.0066
    0.0444 0.0315 0.0315 -0.0444 0.0315 -0.0444 0.0444 0.0315
    -0.0533 -0.0182 0.0182 -0.0533 0.0182 -0.0533 -0.0533 -0.0182
    -0.1133 -0.1202 -0.1202 0.1133 -0.1202 0.1133 -0.1133 -0.1202
    0.2809 -0.0246 0.0246 0.2809 0.0246 0.2809 0.2809 -0.0246
    0.7528 0.5658 0.5658 -0.7528 0.5658 -0.7528 0.7528 0.5658
    0.5658 -0.7528 0.7528 0.5658 0.7528 0.5658 0.5658 -0.7528
    0.0246 0.2809 0.2809 -0.0246 0.2809 -0.0246 0.0246 0.2809
    -0.1202 0.1133 -0.1133 -0.1202 -0.1133 -0.1202 -0.1202 0.1133
    0.0182 -0.0533 -0.0533 -0.0182 -0.0533 -0.0182 0.0182 -0.0533
    0.0315 -0.0444 0.0444 0.0315 0.0444 0.0315 0.0315 -0.0444
    -0.0066 0.0013 0.0013 0.0066 0.0013 0.0066 -0.0066 0.00134
    -0.0026 0.0118 -0.0118 -0.0026 -0.0118 -0.0026 -0.0026 0.0118
    0.0013 0.0012 0.0012 -0.0013 0.0012 -0.0013 0.0013 0.0012
    下载: 导出CSV 
    | 显示表格

    源图像均选自不同室外环境,考虑到篇幅原因,本文仅列举4种同一场景的红外与弱可见光图像以验证算法的适用性。图 5(a)中场景一为野外输电线路塔(背景单一,目标单一);图 5(b)中场景二为树丛中隐藏的人(背景复杂,目标单一);图 5(c)中场景三为广场中的人群(背景较单一,目标复杂);图 5(d)中场景四为岸边游船(背景复杂,目标复杂)[22]。场景一、四为黄昏条件下拍摄,场景二、三为夜晚条件下拍摄。每组场景中的左侧为红外图像,具有明显的目标信息;右侧对应为弱可见光图像,具有丰富的细节信息。不同场景源图像具有不同的清晰度、对比度、目标强度以及拍摄时刻。

    图  5  不同场景下的源红外与弱可见光图像
    Figure  5.  Original infrared and low-level visible light images under different scenes

    不同场景中运用不同算法的具体对比实验结果如图 6(a)~(b)所示,其中每行由左至右所对应的算法分别为:本文算法、WLS、IFEVIP、MISREG。

    图  6  不同场景下各种算法的融合结果
    Figure  6.  Comparison of experimental results of different fusion algorithms under different scenes

    通过视觉观察可以发现,图 6(a)中,IFEVIP法的整体亮度偏高,不适于观察;MISREG算法中丢失了背景天空云朵纹理信息,右上角受到噪声干扰较大;WLS方法存在目标不够突出,对比度偏低、目标湮没于背景中的问题。本文方法对框中所示区域中的背景云朵纹理细节信息有较好的展示,目标输电线路塔的热信息与纹理清晰、突出,信息量丰富。

    图 6(b)中,IFEVIP方法整体亮度偏暗,目标亮度偏暗,树叶纹理信息相对粗糙;MISREG法较好地体现了红外人物热目标信息,但丢失了右侧楼梯框中所示区域的夜天光投影信息,并且左侧树丛细节信息被平滑,纹理不清晰;WLS方法目标与背景对比度低,背景中树丛与楼梯部分区域模糊。本文算法红外人物热目标突出,背景树丛及阶梯细节清晰,有利于人员观察分析。

    图 6(c)中,IFEVIP法整体对比度低,过度平滑导致建筑的边缘模糊,很多小尺度细节受到抑制;MISREG法对框中灯光区域存在过渡曝光,丢失了可见光图像环形区域中内外边缘细节;WLS法整体亮度、对比度偏低,背景偏暗,尤其是目标人物不够突出。本文方法融合细节结果更加清晰,对建筑的凸凹线条及其上面的灯光照明等小细节保留较好,图像对比度适宜。

    图 6(d)中,IFEVIP法整体亮度尤其是船体亮度较高,热目标与船体对比度低,细节丢失,融合图像右侧船头处平滑过大导致纹理不清晰,船体顶部存在伪影;WLS法对比度最低,无法区分出船上的热目标信息,对目标的进一步分析带来困难;WLS法整体亮度偏暗,热目标与船体几乎混淆,如船上悬挂的救生圈无法清晰显示。本文算法整体对比度适宜,对纹理、边缘的细节刻画较好。

    由于主观视觉的定性评价结果有时候易受到视力水平、精神状况、疲惫程度、设备显示等因素的干扰[23],为了更加客观地比较各个融合结果的有效性,本文引入8类典型的客观指标评价对融合结果进行定量评估,分别为:均方根误差(Root Mean Square Error,RMSE)、百分比拟合误差(Percentage Fitting Error,PFE)、平均绝对误差(Mean Absolute Error,MAE)、相关系数(Correlation Coefficient,CORR)、信噪比(Signal to Noise Ratio,SNR)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)、互信息(Mutual Information,MI)、结构相似性(Structural Similarity,SSIM)。

    现仅列举其中几项指标予以详细说明:

    1)CORR相关系数反映出图像的失真度,正常情况下值越大,图像融合质量越好,与源图像相关性大,其定义如下:

    $$ {{\rm{CORR}}}(X, Y) = \frac{{{\sigma _{XY}}}}{{\sqrt {{\sigma _X}{\sigma _Y}} }} $$ (21)

    式中:σXσY分别表示源图像和融合图像的方差;σXY表示源图像和融合图像的协方差。

    2)PSNR为图像信噪比变化平均统计,用来衡量图像失真程度,PSNR值越大,图像质量越好,其定义如下:

    $$ {{\rm{PSNR}}} = 10\lg \frac{{({{\rm{Max\_sig}}})}}{{{{\rm{MSE}}}}} $$ (22)
    $$ {{\rm{MSE}}} = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{{(f(i, j) - {f_0}(i, j))}^2}} } $$ (23)

    式中:Max_sig为信号极大值;MSE为均方误差;M×N为图像尺寸;f(i, j)为源图像;f0(i, j)为融合图像。

    3)SSIM分别从亮度、对比度、结构3方面衡量图像相似性,SSIM越大表示图像失真越小,其定义如下:

    $$ {\rm{SSIM}}(X, Y)=l(X, Y)^{*} c(X, Y)^{*} s(X, Y) $$ (24)

    式中:$ l(X, Y) = \frac{{2{\mu _X}{\mu _Y} + {C_1}}}{{\mu _X^2 + \mu _Y^2 + {C_1}}} $,$c(X, Y) = \frac{{2{\sigma _X}{\sigma _Y} + {C_2}}}{{\sigma _X^2 + \sigma _Y^2 + {C_2}}} {\rm{,}} s(X, Y) = \frac{{{\sigma _{XY}} + {C_3}}}{{{\sigma _X}{\sigma _Y} + {C_3}}} 。$

    式中:μXμY分别表示标准图像和融合图像的均值;C1C2C3均为常数,其取值范围为0至1。

    为了更形象地体现各算法所对应的客观指标,将指标值进行量化。图 7为在不同场景下验证本文算法、WLS、IFEVIP与MISREG方法得到归一化的客观评价指标柱状图,其中,RMSE、PFE、MAE越小越好,其余5项指标越大融合效果越好。可以明显地观察到本文算法的融合效果在8类客观评价指标中均得到了较好的体现。

    图  7  不同场景下融合结果客观评价指标
    Figure  7.  Objective evaluation indicators of fusion results under different scenes

    表 2给出了图 7中不同融合算法在不同场景下的8类客观评价指标的总体融合质量排序(取不同场景客观指标平均值),虽然在个别参数指标(MAE)未取得最优值,但差距很小,可以看出本文所提的方法的客观指标总体上优于其他3种方法,证明本文所提方法可以获得更丰富的细节信息,具有更好的抗噪能力,从源图像继承更多的有用信息,适应于不同场景的图像融合。另外,倒数第二行为不同观测对象(样本数为30人)对不同方法融合质量的主观评价均值,视觉效果整体上与客观指标相符,最后一行显示本文算法执行时间较短,满足实时性要求,也可证明本文所提方法的优越性。

    表  2  融合质量客观指标总体评价
    Table  2.  Overall objective evaluation indicators of different fusion methods
    Evaluation
    indicators
    Fusion algorithms
    Ours WLS IFE
    VIP
    MISREG
    RMSE 1 2 4 3
    PFE 1 2 4 3
    MAE 2 1 4 3
    CORR 1 2 4 3
    SNR 1 2 4 3
    PSNR 1 2 4 3
    MI 1 4 2 3
    SSIM 1 2 4 3
    Objective general evaluation 1 2 4 3
    Subjective general evaluation 1 2 3 4
    Execution time(s) 2.1621 6.213 0.527 8.267
    下载: 导出CSV 
    | 显示表格

    本文提出一种基于PUCS和DTCWT的红外与弱可见光图像融合算法。首先将两种异源图像从RGB空间转换到感知一致性空间获取新的亮度分量,以获得亮度信息与人眼的视觉特性更一致的图像,并将其作为后续DTCWT的输入。通过基于区域能量自适应加权规则融合低频子带,利用拉普拉斯能量和与梯度值向量的规则融合高频子带。为验证本文算法的有效性,选择在不同清晰度、对比度、目标强度以及拍摄时刻的红外与弱可见光图像对所提算法及其他3种典型算法进行主、客观评价。实验分析表明,本文融合算法相较于WLS,IFEVIP,MISREG方法而言,更适用于不同场景的红外与弱可见光融合,保留了更多的目标、纹理和边缘信息,目标突出且背景信息丰富,可以取得更好的视觉效果,有利于后续进一步识别、分析和处理。同时在8种客观评价指标上也取得了较好的结果,主客观评价基本一致。在时间消耗上,本文方法运行时间适中,在保证较高融合质量的前提下,也可满足实时性要求。

  • 图  1   二层分解下的DTCWT

    Figure  1.   Two levels of DTCWT decomposition

    图  2   四层分解下的DTCWT基函数冲击响应

    Figure  2.   DTCWT Basis function real and imaginary part impact response under four-levels decomposition

    图  3   基于DTCWT分解的红外与弱可见光图像

    Figure  3.   Infrared and low-level visible light images based on DTCWT decomposition

    图  4   基于感知一致性颜色空间与DTCWT的图像融合框架

    Figure  4.   Image fusion framework based on perception uniformity color space and DTCWT

    图  5   不同场景下的源红外与弱可见光图像

    Figure  5.   Original infrared and low-level visible light images under different scenes

    图  6   不同场景下各种算法的融合结果

    Figure  6.   Comparison of experimental results of different fusion algorithms under different scenes

    图  7   不同场景下融合结果客观评价指标

    Figure  7.   Objective evaluation indicators of fusion results under different scenes

    表  1   Q-shift滤波器组

    Table  1   Q-shift filter banks

    Tree A Tree B
    Real part filters Imaginary part filters Real part filters Imaginary part filters
    Lo1 Hi1 Lo1 Hi1 Loq Hiq Loq Hiq
    -0.0023 0.0024 0.0024 0.0023 0.0024 0.0023 -0.0023 0.0024
    0.0012 -0.0013 0.0013 0.0012 0.0013 0.0012 0.0012 -0.0013
    -0.0118 -0.0026 -0.0026 0.0118 -0.0026 0.0118 -0.0118 -0.0026
    0.0013 0.0066 -0.0066 0.0013 -0.0066 0.0013 0.0013 0.0066
    0.0444 0.0315 0.0315 -0.0444 0.0315 -0.0444 0.0444 0.0315
    -0.0533 -0.0182 0.0182 -0.0533 0.0182 -0.0533 -0.0533 -0.0182
    -0.1133 -0.1202 -0.1202 0.1133 -0.1202 0.1133 -0.1133 -0.1202
    0.2809 -0.0246 0.0246 0.2809 0.0246 0.2809 0.2809 -0.0246
    0.7528 0.5658 0.5658 -0.7528 0.5658 -0.7528 0.7528 0.5658
    0.5658 -0.7528 0.7528 0.5658 0.7528 0.5658 0.5658 -0.7528
    0.0246 0.2809 0.2809 -0.0246 0.2809 -0.0246 0.0246 0.2809
    -0.1202 0.1133 -0.1133 -0.1202 -0.1133 -0.1202 -0.1202 0.1133
    0.0182 -0.0533 -0.0533 -0.0182 -0.0533 -0.0182 0.0182 -0.0533
    0.0315 -0.0444 0.0444 0.0315 0.0444 0.0315 0.0315 -0.0444
    -0.0066 0.0013 0.0013 0.0066 0.0013 0.0066 -0.0066 0.00134
    -0.0026 0.0118 -0.0118 -0.0026 -0.0118 -0.0026 -0.0026 0.0118
    0.0013 0.0012 0.0012 -0.0013 0.0012 -0.0013 0.0013 0.0012
    下载: 导出CSV

    表  2   融合质量客观指标总体评价

    Table  2   Overall objective evaluation indicators of different fusion methods

    Evaluation
    indicators
    Fusion algorithms
    Ours WLS IFE
    VIP
    MISREG
    RMSE 1 2 4 3
    PFE 1 2 4 3
    MAE 2 1 4 3
    CORR 1 2 4 3
    SNR 1 2 4 3
    PSNR 1 2 4 3
    MI 1 4 2 3
    SSIM 1 2 4 3
    Objective general evaluation 1 2 4 3
    Subjective general evaluation 1 2 3 4
    Execution time(s) 2.1621 6.213 0.527 8.267
    下载: 导出CSV
  • [1] 苏金凤, 张贵仓, 汪凯. 结合RPCA和NSCT的红外与可见光图像的压缩融合[J]. 激光与光电子学进展, 2020, 57(4): 04105. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm

    SU Jinfeng, ZHANG Guicang, WANG Kai. Infrared and visible image compressed fusion combining RPCA and NSCT[J]. Laser & Optoelectronics Progress, 2020, 57(4): 04105. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm

    [2] 刘明君, 董增寿. 基于多特征的红外与可见光图像融合[J]. 激光杂志, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm

    LIU Mingjun, DONG Zengshou. Infrared and visible light image fusion based on multiple features[J]. Laser Journal, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm

    [3] 袁金楼, 吴谨, 刘劲. 基于NSCT与DWT的压缩感知图像融合[J]. 红外技术, 2015, 37(11): 176-182. http://hwjs.nvir.cn/article/id/hwjs201511011

    YUAN Jinlou, WU Jin, LIU Jin. Image fusion based on compressed sensing of NSCT and DWT[J]. Infrared Technology, 2015, 37(11): 176-182. http://hwjs.nvir.cn/article/id/hwjs201511011

    [4] 邓秋菊, 王宁. 非下采样轮廓波变换的红外与可见光图像融合[J]. 激光杂志, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm

    DENG Qiuju, WANG Ning. Infrared and visible image fusion of non-down sampling wheel corridor wave transform[J]. Laser Journal, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm

    [5] 肖中杰. 基于NSCT红外与可见光融合算法优化研究[J]. 红外技术, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010

    XIAO Zhongjie. Improved infrared and visible light image fusion algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010

    [6] 杨晟炜, 张志华, 孔玲君, 等. 基于NSST与IHS的红外与彩色可见光图像融合[J]. 包装工程, 2019, 40(11): 194-201. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201911030.htm

    YANG Shengwei, ZHANG Zhihua, KONG Lingjun, et al. Fusion of infrared and color visible images based on NSST and IHS[J]. Packaging Engineering, 2019, 40(11): 194-201. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201911030.htm

    [7] 王志社, 杨风暴, 彭智浩. 基于NSST和稀疏表示的多源异类图像融合方法[J]. 红外技术, 2015, 37(3): 210-217. http://hwjs.nvir.cn/article/id/hwjs201503008

    WANG Zhishe, YANG Fengbao, PENG Zhihao. Mulit-source heterogeneous image fusion based on NSST and sparse presentation[J]. Infrared Technology, 2015, 37(3): 210-217. http://hwjs.nvir.cn/article/id/hwjs201503008

    [8] 叶华, 朱明旱, 王日兴. 红外和可见光图像互补融合的运动目标检测方法[J]. 红外技术, 2015, 37(8): 648-654. http://hwjs.nvir.cn/article/id/hwjs201508004

    YE Hua, ZHU Minghan, WANG Rixing. Fusion of complementary information from infrared and visual images for moving object detection[J]. Infrared Technology, 2015, 37(8): 648-654. http://hwjs.nvir.cn/article/id/hwjs201508004

    [9] 赵春晖, 马丽娟, 邵国锋. 采用WA-WBA与改进INSCT的图像融合算法[J]. 电子与信息学报, 2014, 36(2): 304-311. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201402009.htm

    ZHAO Chunhui, MA Lijuan, SHAO Guofeng. An image fusion algorithm based on WA-WBA and improved non-subsampled contourlet transform[J]. Journal of Electronics & Information Technology, 2014, 36(2): 304-311. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201402009.htm

    [10] 杜进楷, 陈世国. 基于双树复小波变换的自适应PCNN图像融合算法[J]. 红外技术, 2018, 40(10): 1002-1007. http://hwjs.nvir.cn/article/id/hwjs201810012

    DU Jinkai, CHEN Shiguo. Adaptive PCNN image fusion algorithm based on double tree complex wavelet transform[J]. Infrared Technology, 2018, 40(10): 1002-1007. http://hwjs.nvir.cn/article/id/hwjs201810012

    [11] 王聪, 钱晨, 孙伟, 等. 基于SCM和CST的红外与可见光图像融合算法[J]. 红外技术, 2016, 38(5): 396-402. http://hwjs.nvir.cn/article/id/hwjs201605007

    WANG Cong, QIAN Chen, SUN Wei, et al. Infrared and visible images fusion based on SCM and CST[J]. Infrared Technology, 2016, 38(5): 396-402. http://hwjs.nvir.cn/article/id/hwjs201605007

    [12] 钱小燕, 张天慈, 王帮峰, 等. 局部颜色映射的彩色夜视算法[J]. 中国图象图形学报, 2012, 17(5): 689-693. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201205012.htm

    QIAN Xiaoyan, ZHANG Tianci, WANG Bangfeng, et al. Color night vision algorithm based on local color mapping[J]. Journal of Image and Graphics, 2012, 17(5): 689-693. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201205012.htm

    [13]

    Philipp Urban, Mitchell R. Rosen, ROY S. Berns. Embedding non-euclidean color spaces into euclidean color spaces with minimal isometric disagreement[J]. J. Opt. Soc. Am. A, 2007, 24(6): 1516-1528. DOI: 10.1364/JOSAA.24.001516

    [14]

    Ingmar Lissner, Philipp Urban. Toward a unified color space for perception-based image processing[J]. IEEE Transactions on Image Processing, 2012, 21(3): 1153-1168. DOI: 10.1109/TIP.2011.2163522

    [15]

    Nick Kingsbury. Image processing with complex wavelets[J]. Philosopical Transactions of Royal Society of London A: Mathematical, Physical and Engineering Sciences, 1999, 357(1760): 2543-2560. DOI: 10.1098/rsta.1999.0447

    [16] 朱攀, 刘泽阳, 黄战华. 基于DTCWT和稀疏表示的红外偏振与光强图像融合[J]. 光子学报, 2017, 46(12): 1210002-1-1210002-9. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201712028.htm

    ZHU Pan, LIU Zeyang, HUANG Zhanhua, Infrared polarization and intensity image fusion based on dual-tree complex wavelet transform and space representation[J]. Acta Photonica Sinica, 2017, 46(12): 1210002-1-1210002-9. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201712028.htm

    [17] 沈瑜, 陈小朋, 杨倩. 多方向Laplacian能量和与tetrolet变换的图像融合[J]. 中国图象图形学报, 2020, 25(4): 0721-0731. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202004008.htm

    SHEN Yu, CHEN Xiaopeng, YANG Qian. Image fusion of multidirectional sum modified Laplacian and Tetrolet transform[J]. Journal of Image and Graphics, 2020, 25(4): 0721-0731. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202004008.htm

    [18] 方静, 罗高鹏. 改进快速NSST的热烟羽红外与可见光图像融合[J]. 激光与红外, 2017, 47(7): 914-920. DOI: 10.3969/j.issn.1001-5078.2017.07.024

    FANG Jing, LUO Gaopeng. Infrared and visible images fusion of thermal plume based on rapid non-subsampled shearlet transform[J]. Laser & Infrared, 2017, 47(7): 914-920. DOI: 10.3969/j.issn.1001-5078.2017.07.024

    [19]

    MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.

    [20]

    ZHANG Yu, ZHANG Lijia, BAI Xiangzhi, et al. Infrared and visual Image fusion through infrared feature extraction and visual information preservation[J]. Infrared Physics & Technology, 2017, 83: 227-237.

    [21]

    ZHOU Zhiqiang, LI Sun, WANG Bo. Multi-scale weighted gradient-based fusion for multi-focus image[J]. Information Fusion, 2014, 20: 60-72. DOI: 10.1016/j.inffus.2013.11.005

    [22] 董安勇, 苏斌, 赵文博, 等. 基于卷积稀疏表示的红外与可见光图像融合[J]. 激光与红外, 2018, 48(12): 1547-1553. DOI: 10.3969/j.issn.1001-5078.2018.12.018

    DONG Anyong, SU Bin, ZHAO Wenbo. Infrared and visible image fusion based on convolution sparse representation[J]. Laser & Infrared, 2018, 48(12): 1547-1553. DOI: 10.3969/j.issn.1001-5078.2018.12.018

    [23] 周晨旭, 黄福珍. 基于BLMD和NSDFB算法的红外与可见光图像融合方法[J]. 红外技术, 2019, 41(2): 176-182. http://hwjs.nvir.cn/article/id/hwjs201902012

    ZHOU Chenxu, HUANG Fuzhen. Infrared and visible image fusion based on BLMD and NSDFB[J]. Infrared Technology, 2019, 41(2): 176-182. http://hwjs.nvir.cn/article/id/hwjs201902012

  • 期刊类型引用(5)

    1. 毕淳锴,张远辉,付铎. 基于多视角热像图序列的物体表面温度场重建. 计量学报. 2024(07): 997-1006 . 百度学术
    2. 郑叶龙,李长勇,夏宁宁,李玲一,张国民,赵美蓉. 基于“十字”标志物的红外图像与三维点云融合方法. 天津大学学报(自然科学与工程技术版). 2024(10): 1090-1099 . 百度学术
    3. 倪成玉,张远辉,朱俊江,付铎. 热像仪下基于几何约束的空间温度场重建. 光电工程. 2024(11): 60-73 . 百度学术
    4. 齐恩铁,姜春雨,赵立英,孙海峰. 基于红外边界约束的点云目标识别系统. 激光与红外. 2024(12): 1894-1899 . 百度学术
    5. 王洁,伍弘,詹仲强,李金良,金铭,陈文涛. 基于Lazy Snapping混合模拟退火算法的高压开关柜温度场红外三维图像重建仿真. 红外技术. 2023(03): 276-281 . 本站查看

    其他类型引用(2)

图(7)  /  表(2)
计量
  • 文章访问数:  160
  • HTML全文浏览量:  84
  • PDF下载量:  37
  • 被引次数: 7
出版历程
  • 收稿日期:  2021-10-10
  • 修回日期:  2021-11-28
  • 刊出日期:  2022-07-19

目录

/

返回文章
返回