Joint Possibility Drop Shadow Construction for Selection of Bimodal Infrared Image Fusion Algorithm
-
摘要: 针对现实场景中双模态红外图像融合对异类差异特征协同优化融合的需求,且现有差异特征属性无法根据差异特征多个属性的变化针对性地调整融合算法进行有效驱动,导致融合效果差的问题,提出了面向双模态红外图像融合算法选取的联合可能性落影构造方法。首先计算双模态红外图像多融合算法下不同差异特征的融合有效度、统计差异特征分布特性;再构造差异特征融合有效度的可能性分布,通过最小二乘估计法拟合可能性分布函数;然后通过择优比较法对不同差异特征融合有效度的可能性分布进行对比分析,确定差异特征可能性分布函数投影权重,构造联合可能性落影函数;最后分析联合可能性落影函数截集水平,结合差异特征分布特性构建融合性能指标动态选取最优融合算法。实验结果表明,本文方法所选出的最优融合算法在主客观综合分析上优于其他算法,验证了本文将联合可能性落影运用于双模态红外图像最优融合算法选取中有效性和合理性。Abstract: A joint likelihood drop shadow construction method for the selection of a bimodal infrared image fusion algorithm is proposed. It aims at the demand for the cooperative and optimal fusion of dissimilar disparity features in real scenes of bimodal infrared image fusion and the limitation that the existing disparity feature attributes cannot be effectively driven by the targeted adjustment of the fusion algorithm according to the changes in multiple attributes of the disparity features, resulting in a poor fusion effect. First, we calculate the fusion effectiveness of different disparity features under the multimodal infrared image fusion algorithm and statistical disparity feature distribution characteristics. We then construct the likelihood distribution of the disparity feature fusion effectiveness and fit the likelihood distribution function by the least squares estimation method. Subsequently, we compare and analyze the likelihood distribution of different disparity feature fusion effectiveness by the merit comparison method and determine the projection weights of the disparity feature likelihood distribution function. Finally, we analyze the intercept level of the joint possibility drop shadow function and construct the optimal fusion algorithm by combining the characteristics of the distribution of different features to dynamically select the fusion performance index. The experimental results show that the optimal fusion algorithm selected in this study outperforms other algorithms in terms of subjective and objective analyses, which verifies the effectiveness and rationality of applying the joint likelihood drop shadow to the selection of an optimal fusion algorithm for bimodal infrared images.
-
0. 引言
红外热成像技术与红外偏振成像技术分别是基于红外目标的红外辐射能量差异和光的偏振属性进行成像,成像机理上的差异导致两类图像在亮度、边缘、纹理细节等特征上具有很多差异[1-2]。红外热辐射成像由于直接对目标物体进行热辐射强度成像,得到的红外图像光强信息很丰富,但物体材质、纹理边缘细节、对比度信息很弱;偏振度图像能够体现物体的表面边缘信息,可以很好地表示物体材质、粗糙特性、边缘轮廓信息、内部纹理细节、目标反差度特性,但光强信息很弱。因此,综合两类图像互补优势,融合互补信息,更有助于发挥红外成像技术在各领域的应用优势[3]。
由于实际场景环境较为复杂,目标差异特征的表现具有随机性,尤其是动态探测场景中图像间差异特征更为复杂多变,所有单一融合算法很难满足复杂场景下的红外图像融合需求。不同融合算法对不同差异特征的融合效果是不同的,例如基于顶帽变换和支持度变换的融合算法主要对亮度差异特征有更好的融合效果[4];文献[5]提出了一种基于双树复小波变换和稀疏表示的图像融合方法,融合图像具有较高的对比度和细节信息。金字塔[6-8]、小波变换[9-12]等图像融合算法对图像细节差异特征的融合性能上各有优劣[13],又表明同一算法对不同差异特征或是不同融合算法对同一差异特征的融合效果也有所差异。因此,实现对不同场景下融合算法的优化选取,对于双模态图像融合质量提升至关重要。
双模态红外图像根据差异特征的动态变化及差异特征间的关联性选取融合算法的前提是差异特征与算法间关系的建立[14],而现有融合模型多只考虑差异特征单一属性的融合效果对算法选取的影响,缺乏差异特征多属性的权衡,可能造成融合效果差等问题。如张雷[15]等以差异特征指数测度作为权重确定依据来选取多融合算法进行算法协同嵌接,但差异特征指数测度主要通过类型和幅值属性得到的,考虑差异特征单一,从而导致融合结果有偏差。
可能性分布合成[16]通过不同模糊算子或合成规则综合不同因素对事件的影响,应用在目标识别、故障诊断、多属性决策等领域中。本文利用可能性分布合成理论,将算法对不同差异特征的融合有效度的可能性分布进行合成,确定其联合可能性落影[16]以实现融合算法的优化选择,可突破特征单一属性造成的融合效果差的局限,以提高图像融合的针对性和有效性。
1. 图像融合算法的选取方法
本文提出的双模态红外图像融合算法选取方法流程如图 1所示。
1.1 差异特征融合有效度的确定
选取实验所需的已配准的大小为m×n的双模态红外图像,图像I和图像P,选取已有融合算法组成融合算法集Aset={A1, A2, A3, …, Ar},选取两类图像的差异特征集Qset={Q1, Q2, Q3, …, Qk}。图像I和图像P的融合图像F组成融合图像集Fset={F1, F2, …, Fr}。用大小为a×b的滑动窗口对双模态红外图像及对应的融合图像进行分割,得到相应的$\left\lceil {\frac{m}{a}} \right\rceil \times \left\lceil {\frac{n}{b}} \right\rceil $个大小为a×b的分割子图Isub、Psub、Fsub,计算所得各分割子图的差异特征得到大小为$\left\lceil {\frac{m}{a}} \right\rceil \times \left\lceil {\frac{n}{b}} \right\rceil $的差异特征矩阵Q(I)、Q(P)、Q(F)。
本文采用文献[17]提出的新型融合度计算方法(如式(1)所示),该方法兼顾各源图像,从一定程度反映了融合增益,能够全面反映融合效果的优劣。
$$ \begin{array}{l} {V_{\rm{f}}} = {w_{IF}}\left( {\mathit{\boldsymbol{Q}}_{\rm{f}}^{(I)} - \mathit{\boldsymbol{Q}}_{\rm{f}}^{(F)}} \right) + {w_{PF}}\left( {\mathit{\boldsymbol{Q}}_{\rm{f}}^{(P)} - \mathit{\boldsymbol{Q}}_{\rm{f}}^{(F)}} \right)\\ {w_{IF}} = \frac{{\mathit{\boldsymbol{Q}}_{\rm{f}}^{(I)}}}{{\mathit{\boldsymbol{Q}}_{\rm{f}}^{(I)} + \mathit{\boldsymbol{Q}}_{\rm{f}}^{(P)}}}, {w_{PF}} = \frac{{\mathit{\boldsymbol{Q}}_{\rm{f}}^{(P)}}}{{\mathit{\boldsymbol{Q}}_{\rm{f}}^{(I)} + \mathit{\boldsymbol{Q}}_{\rm{f}}^{(P)}}} \end{array} $$ (1) 式中:Qf(I)、Qf (P)和Qf (F)为差异特征矩阵Q(I)、Q(P)和Q(F)对应点的差异特征幅值;Vf为融合有效度矩阵V对应点的融合有效度评价结果;wIF和wPF为有效度权重因子,其作用是放大(缩小)较大(较小)差异特征对融合有效度结果的影响性,融合有效度相对越大表示该位置的融合效果相对越好。
1.2 联合可能性落影函数的构造
1)计算差异特征融合有效度的可能性矩阵
基于融合算法集Aset中任意融合算法Ar和差异特征集Qset中任意差异特征Qk计算得到融合图像的差异特征矩阵Qrk(F)和融合有效度矩阵Vrk。将差异特征矩阵Qrk(F)中的点Qij(F)进行标准化,如式(2)所示,将不同差异特征数据转化为无量纲的指标测评值,以便进行综合测评分析。并将标准化的差异特征数据Nrk(F)等分为256个等分区间,统计第j区间内差异特征散点的个数nj,得差异特征频次分布Ωrk=[n0, n1, …, n255]。
$$ \begin{array}{c} \mathit{\boldsymbol{N}}_{ij}^{(F)} = \frac{{\mathit{\boldsymbol{Q}}_{ij}^{(F)} - \min \left( {\mathit{\boldsymbol{Q}}_{\rm{f}}^{(F)}} \right)}}{{\max \left( {\mathit{\boldsymbol{Q}}_{\rm{f}}^{(F)}} \right) - \min \left( {\mathit{\boldsymbol{Q}}_{\rm{f}}^{(F)}} \right)}} \times 255\\ \left( {1 \le i \le \left\lceil {\frac{m}{a}} \right\rceil , 1 \le j \le \left\lceil {\frac{n}{b}} \right\rceil , i \in {N_ + }, j \in {N_ + }} \right) \end{array} $$ (2) 计算融合有效度矩阵Vrk内各融合有效度值Vf ij在Vrk整体中所占的比重pij,计算可能性矩阵πrk,如下式所示:
$$ \begin{array}{c} {p_{ij}} = \frac{{{V_{{\rm{f}}ij}}}}{{\sum {{V_{\rm{f}}}} }}\\ \left( {1 \le i \le \left\lceil {\frac{m}{a}} \right\rceil , 1 \le j \le \left\lceil {\frac{n}{b}} \right\rceil , i \in {N_ + }, j \in {N_ + }} \right) \end{array} $$ (3) $$ \begin{array}{c} {\mathit{\boldsymbol{\pi }}_{ij}} = \frac{{{p_{ij}}}}{{\max (p)}}\\ \left( {1 \le i \le \left\lceil {\frac{m}{a}} \right\rceil , 1 \le j \le \left\lceil {\frac{n}{b}} \right\rceil , i \in {N_ + }, j \in {N_ + }} \right) \end{array} $$ (4) 式(3)中:∑Vf为融合有效度矩阵Vrk中融合有效度值的总和;式(4)中max(p)为pij最大值;πij为可能性矩阵πrk对应点的可能性大小,表示该处融合有效度表现良好的可能性,可能性相对越大融合效果越好。
2)构造差异特征融合有效度的可能性分布
本文选用线性回归构造可能性分布[16]的方法构造差异特征融合有效度的可能性分布函数。以标准化后的差异特征数据Nrk(F)为横轴坐标,可能性矩阵πrk对应点的数据为纵坐标组成散点集$\left\{ {\left( {\mathit{\boldsymbol{N}}_{rk}^{(F)}, {\mathit{\boldsymbol{\pi }}_{ij}}} \right), 1 \le i \le \left\lceil {\frac{m}{a}} \right\rceil , 1 \le j \le \left\lceil {\frac{n}{b}} \right\rceil , i \in {N_ + }, j \in {N_ + }} \right\}$,得到可能性观测值的散点图。利用最小二乘法,通过最小化偏差平方和R2,寻找数据的最佳函数进行匹配,构造可能性矩阵πrk的可能性分布函数Πrk(x)(0≤Πrk(x)≤1):
$$ {R^2} = \sum\limits_{i = 1}^{\left\lceil {\frac{m}{a}} \right\rceil \times \left\lceil {\frac{n}{b}} \right\rceil } {{{\left( {{\mathit{\boldsymbol{\pi }}_i} - {\mathit{\Pi }_{rk}}(i)} \right)}^2}} $$ (5) 当可能性观测值与可能性分布函数Πrk(x)的偏差平方和R2最小时,曲线Πrk(x)代表可能性大小随差异特征变化的规律。
3)构造联合可能性落影函数
构造联合可能性落影函数需先确定各差异特征的可能性分布函数的系数,本文采用二元对比法中的择优比较法,先对各差异特征的可能性分布进行两两对比,一共需比较Cm2次(Cm2为m个可能性分布中任取2个的组合数),重要性比较的结果如表 1所示,再按对比的重要性总分确定各可能性分布在联合可能性落影中的重要性。
表 1 可能性分布重要性比较权重Table 1. Possibility distribution significance comparison weightΠr1(x) Πr2(x) Πr3(x) … Πrk(x) $\sum {} $ Πr1(x) - p12 p13 … p1k $\sum\limits_{i = 1}^k {{p_{1i}}} $ Πr2(x) p21 - p23 … p2k $\sum\limits_{i = 1}^k {{p_{2i}}} $ Πr3(x) p31 p32 - … p3k $\sum\limits_{i = 1}^k {{p_{3i}}} $ $ \vdots $ $ \vdots $ $ \vdots $ $ \vdots $ - $ \vdots $ $ \vdots $ Πrk(x) pk1 pk2 pk3 … - $\sum\limits_{i = 1}^k {{p_{4i}}} $ 对比可能性分布Πri(x)与Πrj(x)的重要性,首先在可能性分布函数Πri(x)与Πrj(x)上取可能性测度序列Πri=[π0, π1, …, π255]=[Πri(0), Πri(1), …, Πri(255)]与Πrj=[π0, π1, …, π255]=[Πrj(0), Πrj(1), …, Πrj(255)]。再计算同一算法下的不同差异特征的可能性测度序列的协方差矩C计算协方差矩阵C的特征向量A=[A1, A2]和特征值λ=[λ1, λ2]。
$$ \mathit{\boldsymbol{C}} = \left[ {\begin{array}{*{20}{l}} {{\mathop{\rm cov}} \left( {{\mathit{\Pi }_{ri}}, {\mathit{\Pi }_{ri}}} \right)}&{{\mathop{\rm cov}} \left( {{\mathit{\Pi }_{ri}}, {\mathit{\Pi }_{rj}}} \right)}\\ {{\mathop{\rm cov}} \left( {{\mathit{\Pi }_{rj}}, {\mathit{\Pi }_{ri}}} \right)}&{{\mathop{\rm cov}} \left( {{\mathit{\Pi }_{rj}}, {\mathit{\Pi }_{rj}}} \right)} \end{array}} \right] $$ (6) 每个特征向量为一个投影方向,相对应的特征值是原始可能性分布在这个方向上的投影的方差,方差越大则投影方向上综合的可能性分布的信息量越大,保留了相对较多的可能性分布的特性。特征向量对应特征值的大小代表了可能性分布所含信息的重要性比较结果。则取最大特征值λp对应的特征向量Ap=[a1, a2],可能性分布Πri(x)与Πrj(x)的重要性比较权重分别为pij、pji。可能性分布Πrk(x)的重要性权重为prk。
$$ {p_{ij}} = \frac{{{a_1}}}{{{a_1} + {a_2}}}, {p_{ji}} = \frac{{{a_2}}}{{{a_1} + {a_2}}} $$ (7) $$ {P_{rk}} = \frac{1}{{C_m^2}}\sum\limits_{i = 1}^k {{p_{ki}}} $$ (8) 各可能性分布的重要性权重即为联合落影投影轴系数,则可得各差异特征的可能性分布函数Πrk(x)的联合可能性落影函数Πr(x):
$$ \begin{array}{c} {\mathit{\Pi }_r}(x) = \sum\limits_{j = 1}^k {{P_{rj}}} \times {\mathit{\Pi }_{rj}}(x)\\ \left( {{P_{rj}} = \sum\limits_{i = 1}^k {\frac{1}{{C_m^2}}} {p_{ki}}} \right) \end{array} $$ (9) 1.3 算法选择
计算算法可能性得分,评估融合算法优劣,评分标准需兼顾特征分布的性质与联合可能性落影的性质。从联合可能性落影函数Πr(x)上取联合可能性测度序列Πr=[π0, …, π255]=[Πr(0), …, Πr(255)],取可能性置信水平λπ,计算得到Πr的联合可能性截集[16]测度序列Πr(λ)=[π0(λ), …, π255(λ)]=[Πr(λ)(0), …, Πr(λ)(255)]。其中${\mathit{\Pi }^{(\lambda )}}(i) = \left\{ {\begin{array}{*{20}{c}} {\mathit{\Pi }(i), \mathit{\Pi }(i) \ge {\lambda _\pi }}\\ {0, \mathit{\Pi }(i) < {\lambda _\pi }} \end{array}, (0 \le i \le 255)} \right.$。由1.2节中所得差异特征频次分布Ωrk结合差异特征可能性分布重要性大小prk计算总差异特征频次分布$\mathit{\Omega }_r^c = \sum\limits_{i = 1}^k {{\mathit{\Omega }_{ri}}} \times {P_{ri}}$,记序列Ωrc=[ω0c, ω1c, …, ω255c],将Ωrc归一化得序列Ωrnc=[ω0nc, ω1nc, …, ω255nc],适当放大大权重在最终评分中的重要性,得可能性测度权重序列为$W_r^c = \left[ {{{\rm{e}}^{\omega _0^{nc}}}, {{\rm{e}}^{\omega _1^{nc}}}, \cdots , {{\rm{e}}^{\omega _{25s}^{nc}}}} \right]$,其中${{\rm{e}}^{\omega _i^{nc}}}(0 \le i \le 255)$为对应测度πi(λ)(0≤i≤255)的重要性权重。计算融合算法综合得分Cr。
$$ {C_r} = \sum {({e^{\omega _i^{nc}}} \times \mathit{\boldsymbol{\pi }} _i^{(\lambda )})} $$ (10) 最终得到各融合算法的得分集合{C1, C2, …, Cr},得分最高的算法即为最优算法。
2. 实验仿真
2.1 源图像数据集的建立
实验选取的经配准的双模态红外图像为红外可见光图I外偏振图像P,如图 2。取图像大小m×n为256×256,滑动窗口大小a×b为16×16。经过实验对比分析,可能性置信水平λπ取值在区间[0.4 -0.6]内时,各融合算法的得分区分度明显且准确度较为稳定,本次实验取可能性置信水平λπ=0.5。实验选取双树复小波变换(double tree complex wavelet transform, DTCWT)[5]、离散小波变换(discrete wavelet transform, DWT)[12]、引导滤波(guided filter, GFF)[18]、拉普拉斯金字塔变换(Laplacian pyramid, LAP)[7]、多分辨率奇异值分解(multiresolution singular value decomposition, MSVD)[19]、小波包变换(wavelet packet transform, WPT)[20]共6图像融合算法组成融合算法集Aset={A1, A2, A3, …, A6},选取边缘丰度(edge abundance, EA)、边缘强度(edge strength, ES)、Tamura对比度(Tamura contrast, TC)、空间频率(spatial frequency, SF)共4种图像特征组成图像差异特征集Qset={Q1, Q2, Q3, Q4}。图 2中实验源图像得到基于上述融合算法得到的融合图像结果,依次如图 3所示。
2.2 差异特征融合有效度结果
通过第1.2节中提到的融合有效度计算方法对融合算法集Aset中各算法对应差异特征集Qset中的差异特征,进行差异特征的融合有效度计算,得出融合有效度矩阵Vrk,作多融合算法差异特征幅值的融合有效度散点分布图。如图 4所示为第一组实验源图像经过融合算法A5所得融合图像F5的各差异特征融合有效度V5k散点图。
2.3 差异特征的可能性分布构造
通过第1.2节的方法得到的第一组实验图像在算法A5下所得融合图像的各差异特征融合有效度矩阵V5k对应的差异特征融合有效度可能性矩阵π5k,绘制可能性分布散点图(图 5,横轴为标准化后的差异特征,纵轴为差异特征对应的可能度),并计算可能性分布函数Π5k(x),绘制如图 6所示的可能性分布函数曲线Π5k(x)(k=1, 2, 3, 4)。
2.4 计算联合可能性落影分布函数
择优比较法计算2.2节所得可能性分布Π5k(x)(k=1, 2, 3, 4)的重要性权重,即各可能性分布在联合落影中的投影轴系数。如比较可能性分布Π51(x)和Π52(x)的重要性,首先在可能性分布函数Π51(x)和Π52(x)上取可能性测度序列Π51={π0, …, π255}和Π52={π0, …, π255},计算协方差矩阵得$\mathit{\boldsymbol{C}} = \left[ {\begin{array}{*{20}{c}} {0.00603954}&{ - 0.00071455}\\ { - 0.00071455}&{0.00894881} \end{array}} \right]$,计算协方差矩阵C的特征值λ=[0.00587352, 0.00911484]和特征向量$\mathit{\boldsymbol{A}} = \left[ {\begin{array}{*{20}{c}} { - 0.97405247}&{0.22632232}\\ { - 0.22632232}&{ - 0.97405247} \end{array}} \right]$。其中特征值λ2>λ1,故取λ2对应的特征向量A2为重要性比较结果,则重要性比较权重${p_{12}} = \frac{{{a_1}}}{{{a_1} + {a_2}}} = - 0.3027$、${p_{23}} = \frac{{{a_2}}}{{{a_1} + {a_2}}} = 1.3027$。重复操作得到可能性分布Π5k(x)(k=1, 2, 3, 4)的重要性比较权重表如表 2所示。
表 2 可能性分布重要性比较权重Table 2. Possibility distribution significance comparison weightΠr1(x) Πr2(x) Πr3(x) Πr4(x) $\sum {} $ Πr1(x) - -0.3027 1.653 -0.357 0.9933 Πr2(x) 1.3027 - 0.6645 0.3715 2.3387 Πr3(x) -0.653 0.3355 - 0.2277 -0.0898 Πr4(x) 1.357 0.6285 0.7723 - 2.7578 可能性分布Π5k(x)(k=1, 2, 3, 4)的投影轴系数序列为[0.1656, 0.3898, −0.015, 0.4596],联合可能性落影函数${\mathit{\Pi }_5}(x) = \sum\limits_{i = 1}^k {{P_{ri}}} \times {\mathit{\Pi }_{5i}}(x)$,所得联合可能性落影函数如图 7中实线所示。
2.5 融合算法的排序
从1.2节所得联合可能性落影函数Π5(x)上取联合可能性测度序列Πr={π0, …, π255},取可能性置信水平λπ=0.5,计算得到Π5的可能性截集测度序列Πr(λ)。
通过第1.2节中提到的融合有效度计算方法对融合算法集Aset中各算法对应差异特征集Qset中的差异特征,统计差异特征频次分布Ωrk,如图 8(横轴为差异特征区间,纵轴为区间内差异特征点的统计频次)所示为第一组实验源图像经过融合算法MSVD所得融合图像的各差异特征频次分布Ω5k,并计算总差异特征频次分布Ω5c以及可能性测度权重序列W5c,如图 9所示(横轴为差异特征区间,差异特征频次分布Ω5c纵轴为区间内差异特征点的统计频次,可能性测度权重序列W5c纵轴为区间内差异特征点的可能性测度权重)。
结合差异特征分布统计序列Ωrnc,融合算法得分${C_5} = \sum {\left( {{{\rm{e}}^{\omega _i^{nc}}} \times \mathit{\Pi }_{5i}^\lambda } \right)} $。实验得第一组实验图算法得分集{166.4838, 102.7309, 89.7001, 157.9335, 174.9231, 171.5173},对算法得分集进行排序得C5>C6>C1>C4>C2>C3,即对于第一组实验图,第5种算法即算法MSVD得分最高,为最优算法。
3. 实验结果分析
本文所有的实验均在同一设备及操作系统下完成,处理器为Intel(R) Core(TM) i7-4720HQ CPU @ 2.60 GHz,操作系统为Windows 10。通过对14组图像进行20次操作的平均值得方法总计耗时5.201 s,本文方法在时间效率上符合实时图像融合应用需求。
3.1 图像融合评价指标
为了验证本文所提出的联合可能性落影构造方法对融合算法选取的合理性,采用主观视觉评价与客观指标评价相结合的评价方式,以减少人的心理状态、视觉特性等对方法性能评价的影响,同时也避免只从客观图像评价标准结果的角度分析而与图像融合目的产生冲突的情况。本文采用信息熵(information entropy, IE)[21]、标准差(standard deviation, STD)、空间频率(spatial frequency, SF)[22]、平均梯度(average gradient, AG)[23]、融合质量(fusion quality, QAB/F)[24]、峰值信噪比(peak signal to noise ratio, PSNR)[25]、互信息(mutual information, MI)[26]、结构相似性(structural similarity, SSIM)[27]这8个图像融合评价指标Erj(j=1:8)对两组源图像对应的6种融合算法下的融合结果进行评价。不同算法的优势在各个评价指标上表现不同,为此利用加权综合指标将多个评价指标结合为第9个评价指标S以提高评价结果的准确性和可靠性。
$$ S = \sum\limits_{j = 1}^8 {\frac{{{E_{ij}} - \min ({E_{rj}})}}{{\max ({E_{rj}}) - \min ({E_{rj}})}}} $$ (11) 3.2 评价结果及分析
计算两组实验图像对应融合算法的融合图像F的评价指标,结果如表 3所示。两组实验图像以及对应融合算法的融合图像的融合效果如图 10所示。
表 3 2组实验图各融合算法的评价指标结果及算法排序结果Table 3. The evaluation index results and algorithm sorting results of each fusion algorithm are shown in the experimental figureGroup Algorithm Evaluation index IE STD SF AG QAB/F PSNR MI SSIM 指标Sr 1 DTCWT 7.1032 41.7991 17.2066 7.3088 0.4567 13.9688 4.0601 0.6254 6.5626 DWT 6.9178 49.221 15.3076 5.9679 0.3748 13.4643 4.6401 0.5527 6.1618 GFF 7.2938 76.9109 9.8984 3.8633 0.3348 20.0536 5.6477 0.5902 6.5204 LAP 7.535 81.6771 9.263 3.4741 0.2606 12.9339 4.5019 0.5327 5.722 MSVD 6.9698 46.1986 20.4573 8.5828 0.4187 13.9233 3.0158 0.608 6.6079 WPT 7.0584 39.8688 16.8657 7.3166 0.3977 13.7724 3.8075 0.6091 6.3075 2 DTCWT 6.717 26.2934 26.2827 14.8888 0.4665 14.3888 1.4123 0.4472 6.8339 DWT 6.3252 22.7062 9.2047 3.6809 0.1967 13.8362 3.6738 0.4315 5.2301 GFF 6.8453 28.8261 6.0703 3.1285 0.2189 22.7237 3.6564 0.4846 5.9056 LAP 6.3622 22.5517 4.9391 2.5674 0.1554 15.0067 2.2397 0.4544 4.613 MSVD 6.2492 22.0069 22.9027 12.3872 0.228 14.2299 1.337 0.4096 5.7039 WPT 6.4405 21.6285 21.3231 12.1253 0.3352 14.8892 1.294 0.3972 5.8625 从表 3分析可知第二组实验源图像在算法GFF下所得融合图像在各项评价指标上均表现良好,并且有4项指标在6种算法中表现最佳,但由图 10分析可知该算法所得融合图像并没有很好地融合双模态红外图像的细节特征,并且图像在一定程度上产生模糊;同时算法MSVD很好地融合了双模态红外图像的细节特征,但在融合图像客观评价指标结果上的表现不如算法DTCWT。故此本文采用的主观视觉评价与客观指标评价相结合的验证方式可以更好地对本文算法所选结果进行综合评价。
第一组实验图在本文方法下的得分集合为{166.4838, 102.7309, 89.7001, 157.9335, 174.9231, 171.5173},得分排序结果为C5>C6>C1>C4>C2>C3,即算法MSVD为最优算法。由图 10可知第一组实验图在DWT、GFF和LAP算法下的融合图像或多或少丢失了偏振图像所体现的部分特征;在DTCWT、MSVD和WPT算法下对红框内目标融合效果明显,有较为清晰的轮廓,结合3种算法的客观评价指标结果可知,MSVD算法在客观评价指标上优于算法DTCWT和WPT,由此本文方法所得结果是合理的。第二组实验图所得最优算法为算法DTCWT,由表 3和图 10可知算法DTCWT在客观评价指标上有极佳的表现,并且能够综合红外双模态源图像的互补特征,在纹理、轮廓上最符合人眼视觉标准,为合理的最优算法。
4. 结论
本文提出了一种面向双模态红外图像融合算法选取的联合可能性落影构造方法,突破单一互补特征在选择算法上局限性,通过研究不同算法下差异特征融合有效度的分布,构造融合有效度的可能性分布函数,研究可能性合成方法,确定分布间的联合落影系数,合成联合可能性落影分布,为进一步研究异类差异特征融合有效度与融合算法间的深度关系奠定基础。
-
表 1 可能性分布重要性比较权重
Table 1 Possibility distribution significance comparison weight
Πr1(x) Πr2(x) Πr3(x) … Πrk(x) $\sum {} $ Πr1(x) - p12 p13 … p1k $\sum\limits_{i = 1}^k {{p_{1i}}} $ Πr2(x) p21 - p23 … p2k $\sum\limits_{i = 1}^k {{p_{2i}}} $ Πr3(x) p31 p32 - … p3k $\sum\limits_{i = 1}^k {{p_{3i}}} $ $ \vdots $ $ \vdots $ $ \vdots $ $ \vdots $ - $ \vdots $ $ \vdots $ Πrk(x) pk1 pk2 pk3 … - $\sum\limits_{i = 1}^k {{p_{4i}}} $ 表 2 可能性分布重要性比较权重
Table 2 Possibility distribution significance comparison weight
Πr1(x) Πr2(x) Πr3(x) Πr4(x) $\sum {} $ Πr1(x) - -0.3027 1.653 -0.357 0.9933 Πr2(x) 1.3027 - 0.6645 0.3715 2.3387 Πr3(x) -0.653 0.3355 - 0.2277 -0.0898 Πr4(x) 1.357 0.6285 0.7723 - 2.7578 表 3 2组实验图各融合算法的评价指标结果及算法排序结果
Table 3 The evaluation index results and algorithm sorting results of each fusion algorithm are shown in the experimental figure
Group Algorithm Evaluation index IE STD SF AG QAB/F PSNR MI SSIM 指标Sr 1 DTCWT 7.1032 41.7991 17.2066 7.3088 0.4567 13.9688 4.0601 0.6254 6.5626 DWT 6.9178 49.221 15.3076 5.9679 0.3748 13.4643 4.6401 0.5527 6.1618 GFF 7.2938 76.9109 9.8984 3.8633 0.3348 20.0536 5.6477 0.5902 6.5204 LAP 7.535 81.6771 9.263 3.4741 0.2606 12.9339 4.5019 0.5327 5.722 MSVD 6.9698 46.1986 20.4573 8.5828 0.4187 13.9233 3.0158 0.608 6.6079 WPT 7.0584 39.8688 16.8657 7.3166 0.3977 13.7724 3.8075 0.6091 6.3075 2 DTCWT 6.717 26.2934 26.2827 14.8888 0.4665 14.3888 1.4123 0.4472 6.8339 DWT 6.3252 22.7062 9.2047 3.6809 0.1967 13.8362 3.6738 0.4315 5.2301 GFF 6.8453 28.8261 6.0703 3.1285 0.2189 22.7237 3.6564 0.4846 5.9056 LAP 6.3622 22.5517 4.9391 2.5674 0.1554 15.0067 2.2397 0.4544 4.613 MSVD 6.2492 22.0069 22.9027 12.3872 0.228 14.2299 1.337 0.4096 5.7039 WPT 6.4405 21.6285 21.3231 12.1253 0.3352 14.8892 1.294 0.3972 5.8625 -
[1] 段锦, 付强, 莫春和, 等. 国外偏振成像军事应用的研究进展(上)[J]. 红外技术, 2014, 36(3): 190-195. http://hwjs.nvir.cn/article/id/hwjs201403003 DUAN Jin, FU Qiang, MO Chunhe, et al. Review of polarization imaging technology for international military application I[J]. Infrared Technology, 2014, 36(3): 190-195. http://hwjs.nvir.cn/article/id/hwjs201403003
[2] 韩平丽. 红外辐射偏振特性及目标识别研究[D]. 西安: 西安电子科技大学, 2014. HAN Pingli. Study on Polarization Characteristics and Target Recognition of Infrared Radiation [D]. Xi 'an: Xidian University, 2014.
[3] 朱攀. 红外与红外偏振/可见光图像融合算法研究[D]. 天津: 天津大学, 2017. ZHU Pan. Study on Fusion Algorithm for Infrared and Infrared Polarization/Visible Images[D]. Tianjin: Tianjin University, 2017.
[4] LIN Suzhen, WANG Dongjuan, ZHU Xiaohong, et al. Fusion of infrared intensity and polarization images using embedded multi-scale transform[J]. Optik-International Journal for Light and Electron Optics, 2015, 126: 5127-5133. DOI: 10.1016/j.ijleo.2015.09.154
[5] 朱攀, 刘泽阳, 黄战华. 基于DTCWT和稀疏表示的红外偏振与光强图像融合[J]. 光子学报, 2017, 46(12): 213-221. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201712028.htm ZHU Pan, LIU Zeyang, HUANG Zhanhua. Infrared polarization and light intensity image fusion based on dual-tree complex wavelet transform and sparse representation [J]. Acta Photonica Sinica, 2017, 46(12): 213-221. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201712028.htm
[6] LIU Z, Tsukada K, Hanasaki K, et al. Image fusion by using steerable pyramid[J]. Pattern Recognition Letters, 2001, 22(9): 929-939. DOI: 10.1016/S0167-8655(01)00047-2
[7] Vanmali A V, Gadre V M. Visible and NIR image fusion using weight-map-guided Laplacian-Gaussian pyramid for improving scene visibility[J]. Sadhana-Academy Proceedings in Engineering Sciences, 2017, 42(7): 1063-1082.
[8] LIU Gang, JING Zhongliang, SUN Shaoyuan, et al. Image fusion based on expectation maximization algorithm and steerable pyramid[J]. Chinese Optics Letters, 2004(7): 386-389.
[9] 徐磊, 田淑昌, 崔灿, 等. 基于改进离散小波变换的多模态医学图像融合方法[J]. 中国医疗设备, 2016, 31(6): 1-6. https://www.cnki.com.cn/Article/CJFDTOTAL-CQYX201621002.htm XU Lei, TIAN Shuchang, CUI Can, et al. Multimodal medical image fusion method based on improved discrete wavelet transform[J]. China Medical Equipment, 2016, 31(6): 1-6. https://www.cnki.com.cn/Article/CJFDTOTAL-CQYX201621002.htm
[10] HAN Xiao, ZHANG Lili, YAO Li, et al. Fusion of infrared and visible images based on discrete wavelet transform[C]//Proceedings of the Second Symposium on New Detection Technology and Its Application, National Defense Optoelectronics Forum, 2015: 38.
[11] YAN X, QIN H, LI J, et al. Infrared and visible image fusion with spectral graph wavelet transform[J]. JOSAA, 2015, 32(9): 1643-1652. DOI: 10.1364/JOSAA.32.001643
[12] ZHAN L, ZHUANG Y, HUANG L. Infrared and visible images fusion method based on discrete wavelet transform[J]. Journal of Computers (Taiwan), 2017, 28(2): 57-71.
[13] MA Jiayi, MA Yong, LI Chang. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[14] 杨风暴, 吉琳娜. 双模态红外图像差异特征多属性与融合算法间的深度集值映射研究[J]. 指挥控制与仿真, 2021, 43(2): 1-8. https://www.cnki.com.cn/Article/CJFDTOTAL-QBZH202102001.htm YANG Fengbao, JI Linna. Research on depth set value mapping between multi-attribute and fusion algorithm of dual-mode infrared image difference feature [J]. Command Control and Simulation, 2021, 43(2): 1-8. https://www.cnki.com.cn/Article/CJFDTOTAL-QBZH202102001.htm
[15] 张雷, 杨风暴, 吉琳娜. 差异特征指数测度的红外偏振与光强图像多算法融合[J]. 火力与指挥控制, 2018, 43(2): 49-54, 59. https://www.cnki.com.cn/Article/CJFDTOTAL-HLYZ201802011.htm ZHANG Lei, YANG Fengbao, JI Linna. Multi-algorithm fusion of infrared polarization and light intensity images based on differential feature index measure [J]. Fire Control & Command Control, 2018, 43(2): 49-54, 59. https://www.cnki.com.cn/Article/CJFDTOTAL-HLYZ201802011.htm
[16] 杨风暴, 吉琳娜, 王肖霞. 可能性理论及应用[M]. 北京: 科学出版社, 2019. YANG Fengbao, JI Linna, WANG Xiaoxia. Possibility Theory and Application [M]. Beijing: Science Press, 2019.
[17] LIU Zhaodong, CHAI Yi, YIN Hongpeng, et al. A novel multi-focus image fusion approach based on image decomposition[J]. Information Fusion, 2017, 35: 102-116.
[18] Toet A, Hogervorst M A. Multiscale image fusion through guided filtering[C]//Proceedings of SPIE, 2016: 99970J.
[19] SONG Y, XIAO J, YANG J, et al. Research on MR-SVD based visual and infrared image fusion[C]//Proceedings of the International Symposium on Optoelectronic Technology and Application, 2016: 101571.
[20] ZHANG W J, KANG J Y. QuickBird panchromatic and multi-spectral image fusion using wavelet packet transform[C]//International Conference on Intelligent Computing (ICIC), 2006, 344: 976-981.
[21] Roberts J W, Van Aardt J, Ahmed F. Assessment of image fusion procedures using entropy image quality and multispectral classification[J]. Journal of Applied Remote Sensing, 2008, 2(1): 023522.
[22] Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]. IEEE Trans. Commun., 1995, 43(12): 2959-2965.
[23] CUI G, FENG H, XU Z, et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]. Optics Communications, 2015, 341: 199-209.
[24] Ratliff B M, LeMaster D A. Adaptive scene-based correction algorithm for removal of residual fixed pattern noise in microgrid image data[C]//Polarization: Measurement, Analysis, and Remote Sensing X, 2012, 8364: 83640N.
[25] ZHOU Wang, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[26] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]. Electronics Letters, 2002, 38(7): 313-315.
[27] ZHOU Wang, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans. Image Process, 2004, 13(4): 600-612.