Visual Fidelity Fusion of Infrared and Visible Image Using Edge-Aware Smoothing-Sharpening Filter
-
摘要: 最近，多尺度特征提取被广泛应用于红外与可见光图像融合领域，但是大多数提取过程过于复杂，并且视觉效果不佳。为了提高融合结果的视觉保真度，本文提出一种基于边缘感知平滑锐化滤波器（Edge-Aware Smoothing-Sharpening Filter，EASSF）的多尺度图像融合模型。首先，提出一种基于EASSF的多尺度水平图像分解方法对源图像进行分解，得到水平方向上的多尺度纹理成分和基础成分；其次，采用最大值融合规则（Max-Fusion, MF）融合纹理成分，避免图像细节信息的丢失；然后，通过一种感知融合规则（Perceptual-Fusion, PF）融合基础成分，捕获显著性目标信息；最后，通过整合融合后的多尺度纹理成分和基础成分得到融合图像。实验通过分析感知融合系数，对比融合结果的客观数据得出红外与可见光图像融合在多尺度EASSF下较为合适的取值范围；在该取值范围内，本文提出的融合模型同一些较为经典和流行的融合方法相比，不仅解决了特征信息提取的复杂性，而且通过整合基础成分的显著性光谱信息，有效地保证了融合结果的视觉保真度。
-
关键词:
- 红外与可见光图像融合 /
- 边缘感知平滑滤波器 /
- 视觉保真度 /
- 感知融合
Abstract: Recently, multi-scale feature extraction has been widely used in the field of infrared and visible image fusion; however, most extraction processes are too complex, and the visual effect is not good. To improve the visual fidelity of the fusion result, a multi-scale horizontal image fusion model based on an edge-aware smoothing-sharpening filter (EASSF) is proposed for infrared and visible images. First, to obtain multi-scale texture components and basic components in the horizontal direction, a multi-scale horizontal image decomposition method based on the EASSF is proposed to decompose the source image. Second, the maximum fusion rule is used to merge texture components, which can avoid loss of information detail. Then, to capture salient target information, the basic components are fused via the perceptual-fusion rule. Finally, the fused image is obtained by integrating the fused multi-scale texture components and basic components. By analyzing the perceptual fusion coefficient of PF, the appropriate range of infrared and visible image fusion in the multi-scale EASSF is obtained through the objective data of the fusion results. In this range, compared with several classical and popular fusion methods, the proposed fusion model not only avoids the complexity of feature information extraction, but also effectively ensures the visual fidelity of fusion results by integrating the significant spectral information of basic components. -
0. 引言
在工业生产中，及时掌握设备的工作状态是十分必要的。好多情况下，物体表面温度可以间接地反映设备的工作状态，因此开展依据物体表面温度对工业设备运行状态进行检测和监测的理论与方法研究具有重要的意义[1-2]。
对于设备表面温度分布的测量，最常用的设备为红外热像仪。通过红外热像仪进行测温，一般要求正对测量表面。然而在狭小空间或由其他原因造成可达性较差的位置进行测量时，如舰船的机舱，常常无法满足红外热成像测温的要求，因此就需要人们对特殊测量条件下所测得的温度分布进行修正。造成红外热像测温误差的因素很多，相关的研究包括红外热像仪的测温的影响因素分析及误差的计算[1, 3]、太阳、大气等环境的影响[1, 4-5]，周围高温物体的影响[6-7]、测量距离及视角的影响[8-9]、探测器温度的影响[10]等。对于本文讨论的非平设备表面，尤其在热像仪处于被测点的天顶角的50°范围之外时，发射率将发生明显的变化。因此，对于设为恒定表面发射率的热像仪，必将会产生显著的测温误差。因此，开展非平表面红外温度测量的修正研究具有重要的应用价值。
本文针对利用红外热像仪大角度测温或对非平表面进行测温因无法或部分无法处于表面各点定向发射率恒定的天顶角范围内时热像仪的测温误差进行研究，并基于物体表面定向发射率的变化规律，通过对所测表面进行3D建模，建立实际表面和热像图之间的坐标对应关系，提出热像仪所测温度分布的修正方法。方法通过实验进行验证。
1. 红外测温及修正系数的计算
根据红外热像仪温度计算公式[1]：
$$ {T_0} = {\left\{ {\frac{1}{\varepsilon }\left[ {\frac{1}{{{\tau _{\rm{a}}}}}T_{\rm{r}}^n - \left( {1 - a} \right)T_{\rm{u}}^n - \frac{{{\varepsilon _{\rm{a}}}}}{{{\tau _{\rm{a}}}}}T_{\rm{a}}^n} \right]} \right\}^{\frac{1}{n}}} $$ (1) 式中：ε为物体表面发射率; τa为大气的光谱透射率; Tr为热像仪指示的辐射温度; εa为大气辐射率; Tu为环境温度。在3~5μm，n＝9.2554;在8~12μm，n＝3.9889。
由式(1)可知，温度测量值与被测物体的发射率ε密切相关。在测量复杂物体表面时，需在热像仪上将发射率设为一固定值，通常为该表面材料的法向发射率。天顶角是某个方向和天顶方向的夹角，通常记为θ（见图 1）。本文中利用天顶角来描述热像仪测量物体表面中点的温度时，热像仪成像中心点相对于物体表面的位置关系。在一次测量时，热像仪所处的位置，对于非平表面上不同的点具有不同的天顶角θ。当角θ超出一定范围（如大于50°）时，定向发射率的变化必然对红外测温的准确性产生影响。
根据菲涅尔定律[1]，光谱方向反射率表示为：
$$ \rho (\tilde n, \theta ) = \frac{1}{2}({\left| {\frac{{\tilde n\cos \theta - \cos \theta '}}{{\tilde n\cos \theta + \cos \theta '}}} \right|^2} + {\left| {\frac{{\cos \theta - \tilde n\cos \theta '}}{{\cos \theta + \tilde n\cos \theta '}}} \right|^2}) $$ (2) 式中：$\tilde n = n\left( \lambda \right) - i \cdot k\left( \lambda \right)$表示材料的复折射系数。
根据Snell定律，折射角与入射角满足：
$$ \sin \theta ' = (1/\tilde n)\theta $$ (3) 根据Kirchhoff定律：
$$ \varepsilon (\tilde n, \theta ) = \alpha (\tilde n, \theta ) = 1 - \rho (\tilde n, \theta ) $$ (4) 据表 1[11]中铝（Al）、黄铜（Brass）、聚乙烯（PS）、聚苯乙烯（PE）4种材料分别在3~5 μm与8~12 μm工作波段的复折射率可计算出其定向发射率随天顶角变化的理论值。
表 1 材料各波段复折射率Table 1. Complex refractive indexes of the materials in each wave bandsAl Brass PS PE band/μm 3-5 8-13 3-5 8-13 3-13 3-13 n 6.62 23.19 4.77 17.21 1.57 1.52 k 37.77 85.04 23.73 51.85 0 0 式(4)的计算结果如图 2所示，可观察到金属与非导电体定向发射率随天顶角的变化规律：各类材料定向发射率在被测点天顶角大于50°附近开始出现明显的变化。
在工程测量中，需在测量前设定被测物体表面的发射率，通常设为其法向发射率ε⊥。对于相对平整的表面，可使用ε⊥代表所有点的发射率。当热像仪处于被测点的天顶角大于50°的位置范围时，需采用该角度的定向发射率。对于不同角度的定向发射率εθ，根据(1)式可知实际温度T0与测量温度T1的关系为：
$$ {T_{\rm{1}}} = {\left\{ {\frac{{{\varepsilon _ \bot }}}{{{\varepsilon _\theta }}}} \right\}^{\frac{1}{n}}}{T_0} $$ (5) 定义修正系数为：
$$ c\left( \theta \right) = {\left\{ {\frac{{{\varepsilon _ \bot }}}{{{\varepsilon _\theta }}}} \right\}^{\frac{1}{n}}} $$ (6) 则可得修正系数曲线如图 3所示。
由图 3观察得出，对于金属表面温度测量结果的修正系数在天顶角大于50°时减小，在90°附近上升迅速，而非导电体在天顶角大于70°时迅速增加，最大时测温误差可达50%。因此，需要对红外热像图中不同位置的温度值依据其对应实际点的修正系数进行修正。
2. 被测表面各点天顶角的计算
如前所述，要计算被测表面各个点的修正系数，必须首先计算各个点红外测温时热像仪所处的天顶角θ。
2.1 坐标与法向量的获取
利用3D建模或3D扫描技术可获取被测物体的空间结构，存储格式为.stl文件。将所得.stl文件使用Meshlab软件进行网格划分处理后可获得该被测物体的点云数据，存储为.xyz文件。.xyz文件为一组六维向量，前三维是点云中各点世界坐标系下坐标${p_{\rm{w}}} = {[{x_{\rm{w}}}, {y_{\rm{w}}}, {z_{\rm{w}}}]^{\rm{T}}}$，后三维是该点的法向量坐标$\mathop N\limits^ \to = {\left[ {{n_x}, {n_y}, {n_z}} \right]^{\rm{T}}}$。
以一锅炉为例，绘制出其点云坐标和法向量如图 4所示。
本文将建模过程中的模型原点作为世界坐标系原点。可知热像仪机位中心坐标\$。
2.2 天顶角的计算
由热像仪机位中心坐标与空间坐标可得测量方向向量：$\overrightarrow {{p_{\rm{w}}}I} = {\left[ {{x_{\rm{c}}} - {x_{\rm{w}}}, {y_{\rm{c}}} - {y_{\rm{w}}}, {z_{\rm{c}}} - {z_{\rm{w}}}} \right]^{\rm{T}}}$
则可计算天顶角为：
$$ \theta ({p_{\rm{w}}}, I) = \langle \mathop N\limits^ \to , \overrightarrow {{p_{\rm{w}}}I} \rangle = \arccos (\frac{{\mathop N\limits^ \to \cdot \overrightarrow {{p_{\rm{w}}}I} }}{{\left| {\mathop N\limits^ \to } \right| \cdot \left| {\overrightarrow {{p_{\rm{w}}}I} } \right|}}) $$ (7) 由空间几何关系可知，对于天顶角小于90°的被测点，由于透视关系无法在热像仪上成像，因此可得可视部分如图 5所示。
其中坐标为(－0.75, 0.12, 0.1)的点为红外热像仪中心所在点，黄色部分为锅炉表面在该位置关系下热像仪的可视点，蓝色为不可视点。
2.3 温度修正系数的分布
由该位置关系可计算得出各点对应天顶角θ。由于实际工程应用中，通常在金属表面填涂一层非导电涂料，且非导电体在法向发射率相较于导电体更大，理论的光谱定向发射率与实际相差不大，因此以8~13 μm的PS（Poly styrene）材料作为被测物体材料。在图 4的位置关系下，计算得出该锅炉的修正系数c的频率分布直方图如图 6所示。经计算可得，该位置关系下修正系数大于1.2的点占比44.1%。由此可见，对实际非平表面测温时的定向发射率进行修正是非常必要的。
![]()
图 6 不同温度修正系数对应的被测点所占总被测点的比例Figure 6. Percentage of points with different temperature correction coefficients3. 被测点在图像的映射
天顶角与成像点的实际位置和其法向量密切相关。因此，针对红外热像仪所测温度的修正需明确各成像点在世界坐标中的实际位置。
世界坐标系下被测点pw经红外热像仪投影至平面像素点pp＝[u, v]T，在成像过程中经过两次坐标变换，分别是由世界坐标系到热像仪坐标系的变换和由热像仪坐标系到像素坐标系的变换[12]，两个变换分别通过外参矩阵和内参矩阵来实现。
3.1 外参矩阵的获取
世界坐标pw到热像仪坐标pi的转换关系为：
$$ \left[ {\begin{array}{*{20}{c}} {{p_{\rm{c}}}}\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} R&t\\ {\rm{0}}&{\rm{1}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{p_{\rm{w}}}}\\ 1 \end{array}} \right] $$ (8) 其中：
$$ \left[ {\begin{array}{*{20}{c}} R&t\\ {\rm{0}}&{\rm{1}} \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{R_{\rm{i}}}}&I\\ {\rm{0}}&{\rm{1}} \end{array}} \right]^{ - 1}} = \left[ {\begin{array}{*{20}{c}} {{R_{\rm{i}}}^{\rm{T}}}&{ - {R_{\rm{i}}}^{\rm{T}}I}\\ 0&1 \end{array}} \right] $$ (9) 为热像仪的外参矩阵，Ri为热像仪的基坐标在世界坐标系的坐标，描述热像仪在世界坐标系中的姿态，I为热像仪中心在世界坐标系中的位置。
获取热像仪的外参矩阵需确定热像仪姿态，热像仪在成像过程中一般固定角度。假设热像仪在实际测量中热像仪x轴始终与水平面平行，仅存在俯角γ与转角β。则可知当热像仪对准被测物体中心$\overline {{p_{\rm{w}}}} = {[\overline {{x_{\rm{w}}}} , \overline {{y_{\rm{w}}}} , \overline {{z_{\rm{w}}}} ]^{\rm{T}}}$时，热像仪中心指向被测点中心向量$\overrightarrow {C\overline {{p_{\rm{w}}}} } = {[\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}, \overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, \overline {{z_{\rm{w}}}} - {z_{\rm{c}}}]^{\rm{T}}}$为热像仪坐标z轴方向，热像仪坐标系x轴与水平面平行，y轴方向垂直于x轴和z轴。由数学关系可得3个方向的标准基为：
$$ \begin{array}{l} {e_{\rm{1}}} = {\left[ {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, {x_{\rm{c}}} - \overline {{x_{\rm{w}}}} , 0} \right]^{\rm{T}}}/{\left( {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}} \right)^2} + {\left( {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}} \right)^2}\\ {e_{\rm{2}}} = {e_3} \times {e_1}/\left| {{e_1}} \right|\left| {{e_3}} \right|\\ {e_{\rm{3}}} = {\left[ {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}, \overline {{y_{\rm{w}}}} - {y_{\rm{c}}}, \overline {{z_{\rm{w}}}} - {z_{\rm{c}}}} \right]^{\rm{T}}}/\\ {\rm{ }}{\left( {\overline {{x_{\rm{w}}}} - {x_{\rm{c}}}} \right)^2} + {\left( {\overline {{y_{\rm{w}}}} - {y_{\rm{c}}}} \right)^2} + {\left( {\overline {{z_{\rm{w}}}} - {z_{\rm{c}}}} \right)^2} \end{array} $$ (10) 计算可得Ri＝[e1, e2, e3]为热像仪在世界坐标系旋转到当前姿态的旋转矩阵。
当热像仪角度变化时，可根据热像仪的俯角与转角求得热像仪坐标系z轴与水平面的交点：
$$ {p_0} = {\left[ {\left( {{x_{\rm{c}}} + {z_{\rm{c}}}/\tan \gamma } \right)\sin \beta , \left( {{y_{\rm{c}}} + {z_{\rm{c}}}/\tan \gamma } \right)\cos \beta , 0} \right]^{\rm{T}}} $$ (11) 将上述计算过程中被测点中心$\overline {{p_{\rm{w}}}} $替换为p0即可根据热像仪实际姿态确定外参矩阵。
3.2 内参矩阵的获取
在世界坐标转换为热像仪坐标后，需将热像仪坐标转换为像素坐标，完成三维到二维的转变。
热像仪坐标pi到像素坐标pp的转换关系为：
$$ \left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right] = \frac{1}{{{z_{{p_{\rm{c}}}}}}}\left[ {\begin{array}{*{20}{c}} {{k_x}}&0&{{c_x}}\\ 0&{{k_y}}&{{c_y}}\\ 0&0&1 \end{array}} \right]{p_{\rm{c}}} $$ (12) 式中：$\mathit{\boldsymbol{K}} = \left[ {\begin{array}{*{20}{c}} {{k_x}}&0&{{c_x}}\\ 0&{{k_y}}&{{c_y}}\\ 0&0&1 \end{array}} \right]$为热像仪的内参矩阵，$\frac{1}{{{z_{{p_{\rm{c}}}}}}}$为尺度因子，描述成像位置与热像仪中心的距离。
内参矩阵与热像仪的型号和图像的分辨率有关，kx、ky为热像仪x与y方向的像素焦距，cx、cy为图片主点偏移，内参矩阵均以像素为单位。
fx、fy为热像仪x与y方向的毫米焦距，对于毫米焦距和像素焦距的转换关系有：
$$ \begin{array}{l} {f_x}{\rm{ }} = {\rm{ }}{k_{\rm{u}}}{\rm{ }}*{\rm{ d}}x\\ {f_y}{\rm{ }} = {\rm{ }}{k_{\rm{v}}}{\rm{ }}*{\rm{ d}}y\\ \;{\rm{d}}x{\rm{ }} = {\rm{ (}}1/{\rm{ccd}}\_{\rm{size }}*{\rm{ }}24.5{\rm{ }}*\\ \quad \;{\rm{image}}\_x{\rm{ }}/{\rm{ image}}\_y{\rm{) }}/{\rm{ image}}\_x\\ \;{\rm{d}}y{\rm{ }} = {\rm{ (}}1/{\rm{ccd\_size }}*{\rm{ }}24.5{\rm{ }}*\\ \quad \;{\rm{image}}\_x{\rm{ }}/{\rm{ image\_}}y{\rm{) }}/{\rm{ image}}\_y \end{array} $$ (13) 式中：ccd_size是热像仪厂商给出的CCD尺寸，以英寸为单位; image_x、image_y是图像x、y方向的像素数，与成像的分辨率有关。
3.3 热像仪标定
在工程应用中，外参矩阵主要通过机位的计算得出，内参矩阵经热像仪标定得出。
对于热像仪标定，一般使用张氏标定法[13]。通过Matlab软件自带的热像仪标定程序camera calibrator可对单目热像仪进行标定。可见光相机标定需打印棋盘格，对于红外热像仪，将棋盘格用金属板代替。黑色部分使用隔热胶带，白色部分使用金属板或锡纸。
在程序中输入标定板在不同角度下的红外热像图，可得到热像仪中心与标定板相对位置和热像仪内参、外参、图片尺寸等参数。本文主要使用标定得到的热像仪内参矩阵K。
4. 温度修正计算流程
4.1 温度修正系数矩阵
总体的温度修正计算流程如图 7所示。
据式(7)计算出天顶角，查得该天顶角下的发射率，然后计算式(6)得到世界坐标系下各测温点的修正系数c(pw)。经热像仪成像后，测温点由世界坐标pw映射到成像平面坐标pp＝[u, v]T。pw到pp的转换关系由3.3节标定的热像仪矩阵计算得出。经上述转换关系可得测温点在二维平面坐标对应的修正系数c(pp)。
热像仪拍摄的温度图像将温度以矩阵的形式存储，因此，应当将pp从离散的点云转换为与热像图格式相同的pi, j，其中，pi, j代表像素块(i, j)的坐标。
对于修正系数在像素块范围内梯度较小的点，该像素块的修正系数取像素块内的平均值。对在热像图上像素位置为(i, j)的点，该像素的修正系数为：
$$ {c_{i, j}}\left( {{p_{\rm{p}}}} \right) = \frac{{\sum\limits_{k = 1}^m {{c_0}\left( {u, v} \right)} }}{m}, \{ u \in [i, i + 1), v \in [j, j + 1)\} $$ (14) 当像素内修正系数梯度变化较大的，可采用该像素内修正系数最大值附近点取平均值的方法，在此像素块内凸显该形状非光滑点。
$$ {c_{i, j}}\left( {{p_p}} \right) = \max \left( {{c_0}\left( {u, v} \right)} \right), \{ u \in [i, i + 1), v \in [j, j + 1)\} $$ 4.2 成像温度修正
对于红外热像仪，其所测温度矩阵为T0(pp)。修正后的温度矩阵为所测温度矩阵与温度修正系数矩阵做基本积（哈达玛积）：
$$ {T_{i, j}}\left( {{p_{\rm{p}}}} \right) = {T_{0i, j}}\left( {{p_{\rm{p}}}} \right) * {c_{i, j}}\left( {{p_{\rm{p}}}} \right) $$ (15) 所得温度T(pp)即修正后的温度。
5. 实验验证
本文通过一个热水桶表面的温度测量实验来验证该算法有效性。首先使用Solidworks软件进行几何建模，获得被测物体几何信息，经Meshlab软件求得热像仪可视表面的点云及各点处的法向量，再经Matlab计算出各点温度的修正系数以及各点对应的热像图中的坐标，最后将红外热像仪直接测得的温度分布信息导入Matlab进行修正得到水桶表面的修正后的温度。
5.1 红外测温与热像仪标定
本文选用Fluke Ti400型号热像仪进行测温，测温表面为一聚乙烯塑料桶侧面，塑料桶底部外径为18 cm，顶部外径为20.5 cm，高为20 cm。塑料桶中为热水，热像仪在世界坐标系中的坐标为$C{\rm{ = [}} - {\rm{0}}{\rm{.75, 0}}{\rm{.12, 0}}{\rm{.10}}{{\rm{]}}^{\rm{T}}}$，热像仪正对塑料桶中心，位置关系如图 8所示。测得塑料桶外表面可视部分的红外热像图见图 9。
使用热像仪拍摄红外标定板（如图 10所示），获取标定板的红外热像图，将热像图输入标定程序，获得热像仪内参矩阵K。
5.2 测温结果的修正
通过Solidworks软件建模并将得到的水桶表面的云数据导入Matlab软件中，可得到水桶表面与热像仪在空间中的位置关系，如图 11所示（黄色点为被测表面的可视点，蓝色为被测表面的非可视点）。本实验中，略去了接近桶口的外径较大的部分。
依据热像仪与可视点的空间位置关系，据式(7)可计算得各可视点的天顶角，据图 2可得不同天顶角时，所对应的发射率。然后据式(6)算得每个可视点的修正系数。如4.1节所述，对空间中可视点进行热像仪矩阵的变换，映射至平面可得出热像图中各点对应的修正系数，见图 12。进而依据式(15)得到热像图中各点修正后的温度分布。
为了更好地显示本文方法对红外热像仪所测得的温度分布，本节在所研究的可视表面高度方向的中心，取与图 9中相同位置的截线进行展示，修正系数如图 13所示。将所得修正系数与成像截线温度相乘得到修正后的截线温度，修正前后温度的对比如图 14所示。
![]()
图 14 截线上温度分布修正前和修正后的对比Figure 14. Comparison of temperature distributions before and after correction of points in the cross-line由图 14可见，修正前最大误差近40℃，真实温度为335℃，相对误差约为12.4%;修正后，集中在两侧大角度测量时的误差不超过5.0℃，相对误差小于1.5%。从此可见该方法的有效性。值得说明的是图 13中修正系数分布曲线并不完全对称，主要原因是该图的横坐标为非常微小的像素点，研究过程中像素点的选取没有完全对称所致。更多的平行截线结果均表明，该修正方法较好地消除了非平表面在红外热像测温时部分因为测量角度过大而引起的发射率变化所造成的误差。
6. 结论
针对使用红外热像仪测量非平表面温度时不同被测量点的定向发射率的变化对测温结果的影响，本文依据物体表面定量发射率的变化规律，给出了各个测量点的修正系数。同时，通过点云三维建模，利用热像仪通用几何成像原理推导出红外热像图像素与实际物体的被测表面之间各个测量点的对应关系，给出了红外热像测温过程中非平表面上的大天顶角被测点的温度测量结果的误差修正方法。实验证明了该方法的有效性。
-
![]()
图 5 不同方法在“Road”图像下的融合结果
Figure 5. The fusion results by different methods under "Road"
![]()
图 6 不同方法在“Kaptein_1654”图像下的融合结果
Figure 6. The fusion results by different methods under "Kaptein_1654"
![]()
图 7 不同方法在“Kaptein_1123”图像下的融合结果
Figure 7. The fusion results by different methods under "Kaptein_1123"
表 1 不同感知系数下的融合定量数据
Table 1 Fusion of quantitative data under different perception coefficients
EN MI Qabf Nabf SCD MS-SIM VIFF (a) 6.0190 12.0380 0.5339 0.0458 1.7619 0.9088 0.4558 (b) 6.1825 12.3651 0.5638 0.0505 1.7885 0.9301 0.4970 (c) 6.5425 13.0851 0.6187 0.0684 1.8166 0.9613 0.5727 (d) 6.7653 13.5307 0.6243 0.1090 1.7887 0.9667 0.5887 (e) 6.7762 13.5524 0.6175 0.1218 1.7700 0.9649 0.5801 (f) 6.7717 13.5434 0.6099 0.1091 1.7624 0.9643 0.5764 (g) 6.7753 13.5506 0.6039 0.1229 1.7555 0.9633 0.5713 (h) 6.7622 13.5244 0.5691 0.1358 1.7495 0.9628 0.5680 
下载: 导出CSV
表 2 “Road”的客观评价数据
Table 2 Objective evaluation data of "Road"
EN MI Qabf Nabf SCD MS-SIM VIFF DRTV 6.7132 13.0263 0.3982 0.1437 1.1212 0.9177 0.4249 Bayesian 5.5489 11.0977 0.3295 0.0034 1.4586 0.81 0.2566 VGG 5.9387 11.8774 0.4144 0.0038 1.4889 0.8933 0.3772 Resnet 5.9322 11.8644 0.3823 0.0022 1.4762 0.8889 0.3634 MLEPF 6.2354 12.4707 0.4911 0.1379 1.565 0.8808 0.4712 Ours 6.5425 13.0851 0.6187 0.0684 1.8166 0.9613 0.5727
下载: 导出CSV
表 3 “Kaptein_1654”的客观评价数据
Table 3 Objective evaluation data of " Kaptein_1654"
EN MI Qabf Nabf SCD MS-SIM VIFF DRTV 7.2171 14.4343 0.3368 0.1296 1.0802 0.6963 0.1312 Bayesian 6.9898 13.9795 0.5255 0.0016 1.6979 0.8648 0.2578 VGG 6.7667 13.5333 0.3614 0.0006 1.6992 0.8516 0.2842 Resnet 6.7802 13.5604 0.3493 0.0003 1.6941 0.8510 0.2819 MLEPF 7.2391 14.4781 0.4921 0.1874 1.204 0.6755 0.222 Ours 7.2296 14.4592 0.4448 0.0438 1.7434 0.8442 0.2974
下载: 导出CSV
表 4 “Kaptein_1123”的客观评价数据
Table 4 Objective evaluation data of " Kaptein_1123"
EN MI Qabf Nabf SCD MS-SIM VIFF DRTV 6.6741 13.3482 0.2392 0.11 1.2149 0.8055 0.296 Bayesian 6.4215 12.843 0.2711 0.0035 1.8185 0.8048 0.1505 VGG 6.4876 12.9753 0.3248 0.000896 1.82 0.8782 0.272 Resnet 6.5069 13.0139 0.3171 0.0007 1.8192 0.8781 0.2679 MLEPF 7.1401 14.2803 0.411 0.1744 1.3662 0.5958 0.1951 Ours 7.1576 14.1151 0.4484 0.0728 1.8204 0.8945 0.3414
下载: 导出CSV
-
[1] MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] Singh R, Vatsa M, Noore A. Integrated multilevel image fusion and match score fusion of visible and infrared face image for robust recognition[J]. Pattern Recogn. 2008, 41(3): 880-893. DOI: 10.1016/j.patcog.2007.06.022
[3] Reinhard E, Ashikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Computer. Graph. Appl. , 2002, 21(5): 34-41.
[4] Somone G, Farina A, Morabito F C, et al. Image fusion techniques for remote sensing applications[J]. Inform. Fusion, 2002, 3(1): 3-15. DOI: 10.1016/S1566-2535(01)00056-2
[5] 陈峰, 李敏, 马乐, 等. 基于滚动引导滤波的红外与可见光图像融合算法[J]. 红外技术, 2020, 42(1): 54-61. http://hwjs.nvir.cn/article/id/hwjs202001008 CHEN Feng, LI Min, MA Le, et al. Infrared and visible image fusion algorithm based on the rolling guidance filter[J]. Infrared Technology, 2020, 42(1): 54-61. http://hwjs.nvir.cn/article/id/hwjs202001008
[6] 杨九章, 刘炜剑, 程阳. 基于对比度金字塔与双边滤波的非对称红外与可见光图像融合[J]. 红外技术, 2021, 43(9): 840-844. http://hwjs.nvir.cn/article/id/1c7de46d-f30d-48dc-8841-9e8bf3c91107 YANG Jiuzhang, LIU Weijian, CHENG Yang. A symmetric infrared and visible image fusion based on contrast pyramid and bilateral filtering[J]. Infrared Technology, 2021, 43(9): 840-844. http://hwjs.nvir.cn/article/id/1c7de46d-f30d-48dc-8841-9e8bf3c91107
[7] DU Qinglei, XU Han, MA Yong, et al. Fussing infrared and visible images of different resolutions vis total variation model[J]. Sensors, 2018, 18(11): 3827. DOI: 10.3390/s18113827
[8] ZHAO Z, XU S, ZHANG C, et al. Bayesian fusion for infrared and visible images[J]. Signal Processing, 2020, 177: 165-168
[9] LI H, WU X, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//The 24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710.
[10] LI Hui, WU Xiaojun, Tariq S. Durrani. Infrared and visible image fusion with ResNet and zero-phase component analysis[J]. Infrared Physics & Technology, 2019, 102: 1030390.
[11] TAN Wei, Thitn William, XIANG Pei, Zhou, Huixin. Multi-modal brain image fusion based on multi-level edge-preserving filtering[J]. Biomedical Signal Processing and Control, 2021, 64(11): 102280.
[12] DENG Guan, Galetto Fernando J, Al-Nasrawi M, et al. A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized Gamma distribution[J]. IEEE Open Journal of Signal Processing, 2021, 2: 119-135. DOI: 10.1109/OJSP.2021.3063076
[13] Toet A. TNO Image Fusion Dataset[EB/OL]. [2021-10-01]. http://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029.
[14] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]. Electron. Lett., 2000, 36(4): 308-309. DOI: 10.1049/el:20000267
[15] Aslantas V, Bendes E. A new image quality metric for image fusion: the sum of the correlations of differences[J]. International Journal of Electronics and Communications, 2015, 69(12): 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[16] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//The 24th International Conference on Pattern Recognition (ICPR), 2018: 2705-2710.
[17] YAN Huibin, LI Zhongmin. A general perceptual infrared and visible image fusion framework based on linear filter and side window filtering technology[J]. IEEE Access, 2020, 8: 3029–3041. DOI: 10.1109/ACCESS.2019.2961626
-
期刊类型引用(2)
1. 宋宏伟，刘塑，李海英，于洪有，史圣兵，郭秀丽，李昊岚，张亚平，王向前. 中波红外640×512(25μm)探测器组件可靠性验证试验. 红外技术. 2024(08): 879-882 . 
本站查看
2. 何邦盛，王忠华. 基于结构张量筛选和局部对比度分析的空中红外小目标检测算法. 红外技术. 2023(12): 1169-1176 . 本站查看
其他类型引用(1)
计量
- 文章访问数: 207
- HTML全文浏览量: 36
- PDF下载量: 30
- 被引次数: 3
