Performance Comparison Between Super Second Generation and Third Generation Image Intensifiers
-
摘要: 超二代和三代像增强器是两种不同技术的像增强器，其在光电阴极、减反膜、离子阻挡膜以及阴极电压方面存在区别。在极限分辨力方面，尽管三代像增强器GaAs光电阴极的电子初速小、出射角分布较窄以及阴极电压较高，但目前两种像增强器的极限分辨力均相同，三代像增强器GaAs光电阴极的优势在现有极限分辨力水平下并未得到发挥。在信噪比方面，尽管GaAs光电阴极具有更高的阴极灵敏度，但因为较高的阴极电压以及离子阻挡膜透过率的影响，使得两种像增强器的信噪比基本相同，三代像增强器GaAs光电阴极高灵敏度的优势也未得到发挥。在增益方面，尽管三代像增强器具有更高的阴极灵敏度以及较高的阴极电压，但超二代像增强器通过提高微通道板的工作电压来弥补阴极灵敏度以及阴极电压的不足，因此在现有像增强器增益的条件下，两种像增强器的增益完全相同。在等效背景照度方面，由于三代像增强器GaAs光电阴极的灵敏度更高，因此在相同光电阴极暗电流的条件下，三代像增强器可以获得更低的等效背景照度，所以三代像增强器较超二代像增强器具有更高的初始对比度。在光晕方面，由于三代像增强器光电阴极的灵敏度较高，同时具有离子阻挡膜，因此理论上讲，三代像增强器较超二代像增强器具有更高的光晕亮度，但实际的情况是两种像增强器的光晕亮度基本相同。在杂光方面，GaAs光电阴极具有减反膜，因此杂光较超二代像增强器低，所以三代像增强器的成像更清晰，层次感更好。在带外光谱响应方面，由于超二代像增强器Na2KSb（Cs）光电阴极的带外光谱响应高于三代像增强器，因此在近红外波段进行辅助照明时，超二代像增强器较三代像增强器成像性能更好。在低照度分辨力方面，具有相同性能参数的超二代和三代像增强器具有相同的低照度分辨力。需要注意的是，这是在标准A光源测试条件下所得出的结论。当实际的环境发射光谱分布与标准A光源发射光谱分布不相同时，两种像增强器的低照度分辨力将会不同。Abstract: Super-second-generation and third-generation image intensifiers are two types of image intensifiers that use different technologies. Super-second-generation image intensifiers employ a Na2KSb(Cs) photocathode, whereas third-generation image intensifiers employ a GaAs photocathode. Third-generation image intensifiers employ higher cathode voltages than those employed by super-second-generation image intensifiers. In addition, third-generation image intensifiers employ an antireflection coating between the glass input window and GaAs photocathode; however, this is not employed in super second-generation image intensifiers. Furthermore, third-generation image intensifiers employ ion barriers on their MCP(microchannel plate), whereas super-second-generation image intensifiers do not. In terms of limiting resolution, despite the small initial electron velocity, narrow exit angle distribution, and high cathode voltage of the third-generation image intensifiers, the limiting resolutions of the two types of image intensifiers are the same; the advantages of the GaAs photocathode of the third-generation image intensifiers have not been introduced under the existing limiting resolution level. In terms of signal-to-noise ratio, the GaAs photocathode has a higher cathode sensitivity, normally more than twice that of the super-second-generation image intensifier. Thus, theoretically, the third-generation image intensifiers have signal-to-noise ratios that are 1.4 times those of the super-second-generation image intensifiers. However, the two types of image intensifiers are basically the same owing to the influence of higher cathode voltage and ion barrier transmittance and the advantage of not introducing the high sensitivity of the GaAs photocathode of the third-generation image intensifiers. In terms of gain, although the third-generation image intensifiers have higher cathode sensitivity and cathode voltage, the super-second-generation image intensifiers compensate for the shortcomings of cathode sensitivity and cathode voltage by increasing the working voltage of the microchannel plate. Therefore, in terms of the existing image intensifier gain, the gains of the two types of image intensifiers are identical. In terms of equivalent background illumination(EBI), owing to the higher sensitivity of the GaAs photocathode, the third-generation image intensifiers can obtain lower equivalent background illumination under the same photocathode dark current. Therefore, the third-generation image intensifiers have higher initial contrast than that of the super-second-generation image intensifiers. The higher the initial contrast of the input image, the higher the contrast of the output image. In terms of halo, because the photocathode of the third-generation image intensifiers has high sensitivity and an ion barrier film, theoretically, the third-generation image intensifiers have higher halo brightness than that of the super-second-generation image intensifiers. However, in actual situation, the halo brightness levels of the two types of image intensifiers are basically the same. In terms of stray light, the GaAs photocathode has an antireflection coating; thus, the stray light is lower than that of the super-second-generation image intensifier, so the imaging of the third-generation image intensifier is clearer and the sense of gradation is better. In terms of spectral response beyond the long-wavelength threshold, because the spectral responses beyond the long-wavelength threshold of the super-second-generation image intensifiers are higher than those of the third-generation image intensifiers, the super-second-generation image intensifiers have better imaging performance than that of the third-generation image intensifier under supplementary illumination using the near-infrared waveband. For example, without the presence of any light, the super-second-generation image intensifiers can obtain better images at a supplementary illumination of 980 nm wavelength, whereas the third-generation image intensifiers cannot. In terms of the resolution of low illumination, the super-second- and third-generation image intensifiers with similar performance parameters have the same low luminance resolution. It should be noted that this conclusion was obtained under the test conditions of a standard A light source. When the actual environmental emission spectrum distribution is different from that of a standard illuminant A, the low illumination resolutions of the two types of image intensifiers are different. Photocathode sensitivity is a parameter of the photocathode and not of the image intensifier. Thus, the performances of the two types of image intensifiers cannot be compared in terms of photocathode sensitivity. The difference between the super-second and third-generations cannot be understood using the meaning of "generation; " their differences do not lie in the meaning of "generation."
-
Keywords:
- image intensifier /
- resolution /
- signal to noise ratio /
- gain /
- Halo /
- AR coating /
- ion barrier
-
0. 引言
图像融合将来自不同传感器的图像整合得到包含更多有效信息的融合图像，其中红外和可见光图像融合被广泛使用在监控、军事以及人脸识别等领域[1]。红外图像由于依靠物体热辐射进行成像，可以在低光照、烟雾等恶劣情况下捕捉到目标，但分辨率通常较低，且成像会受环境温度等因素的影响。可见光图像在理想的情况下可以得到分辨率较高、细节丰富的高质量图像，但通常受到光照、天气、能见度等影响。利用红外和可见光间互补特性的图像融合，可以充分保留红外图像中显著的目标信息和可见光图像中的纹理细节等背景信息[2]。
图像融合依据处理层次可以大致分为像素级、特征级以及决策级3类[3]，目前主流图像融合算法研究集中在像素级。文献[4]中基于方法论将像素级图像融合算法分为基于多尺度分解、稀疏表示、深度学习、显著性以及混合类型5类。
基于多尺度和稀疏表示的图像融合方法，通常包含分解、融合和重构3部分，不同之处在于多尺度方法一般是解析的固定函数变换，而稀疏表示的方法通过训练得到字典来表达图像中的丰富信息。随着深度学习的发展，Liu Yu等人[5]将卷积稀疏表示方法用于图像融合领域。Ma Jiayi等人将图像融合问题视为一种优化问题[6]，通过博弈尽可能使得融合结果与红外图像相似，且保留可见光中的梯度信息，并系统总结[7]深度学习方法在图像融合中的应用。
基于红外和可见光的差异，研究者提出了基于显著性分层的融合方法。D. P. Bavirisetti等人[8]使用均值和中值滤波结果的差值，度量视觉显著性生成融合系数。Li Hui等人[9]使用潜在低秩表示（latent low-rank representation，LatLRR）分解得到显著层和基层，更好地利用红外图像与可见光图像的互补特性。Zhang Xingchen等人[3]提出一个可见光和红外图像融合数据集，并系统比较了20种开源融合方法的客观指标平均值，其中LatLRR方法在3个指标上达到最优，但显著层采用简单的求和融合，损失了部分对比度和细节信息。
本文针对红外和可见光融合图像目标区域对比度较小、细节保留不足的问题，提出一种基于LatLRR分解的红外可见光图像融合框架。源图像经过LatLRR和多尺度分解得到显著层、基层低频和基层高频，其中显著层包含能量相对集中的局部显著区域，基层低频主要包含能量较为分散的全局信息，基层高频主要包含轮廓、纹理等结构信息。根据分层特点设计对应的融合规则。针对显著层设计突出对比度信息的加权融合规则，以更好保留显著性信息；使用金字塔尺度分解得到基层低频部分，针对基层低频设计基于L1范数和稀疏系数的融合规则，保留源图像不同区域的互补信息；针对基层高频选取绝对值最大保留结构信息。
1. 相关理论
1.1 潜在低秩表示
LatLRR是Guangcan Liu等人[10]在低秩表示（low-rank representation，LRR）基础上提出的。低秩表示[11]是一种从观测矩阵中恢复原始矩阵的技术，其基本假设是原始数据满足低秩，将观测矩阵分解为一个低秩矩阵和噪声矩阵，该问题被描述为：
$$ \min\limits _{D, E} \operatorname{rank}(X)+\lambda\|E\|_{l} \quad \text { s.t. } X=\boldsymbol{D}+E$$ (1) 式中：λ为大于零的常数；$ {\Vert ·\Vert }_{l} $为特定的范数；D为原始矩阵；E为分离出来的噪声。
LRR无法提取局部结构信息，而LatLRR通过求解公式(2)的优化问题，可以从原始数据中提取全局结构和局部结构信息。不仅可以将噪声分离出来，还将显著性信息提取出来，作为一个单独的子空间，其问题描述如下：
$$ \min\limits _{Z, L, E}\|Z\|_{*}+\|L\|_{*}+\lambda\|E\|_{1} \text { s.t. } \boldsymbol{X}=\boldsymbol{X }Z+L \boldsymbol{X}+E $$ (2) 式中：λ为大于零的常数；$ {\Vert ·\Vert }_{1} $为矩阵1范数；X为观察得到的矩阵；XZ为分离出来的基层；LX为提取出来的显著层，E为噪声。从图 1中可以看出，显著层包含局部显著区域，是红外和可见光图像融合中重点保留的信息，对融合结果中目标区域的对比度强弱有关键影响；基层由于显著性区域部分能量被分解到了显著层，图像整体亮度下降，主要包含目标整体以及背景细节。
1.2 稀疏表示
稀疏表示基于所有信号都可以被一组原子线性组合近似的假设，原子组成的矩阵被称为字典，且仅利用少数原子可表示，即系数存在稀疏性。稀疏表示的优化式[12]为：
$$ \mathop {\min }\limits_x {\left\| x \right\|_0}\quad s.t.\left\| {y - Dx} \right\|_2^2 \leqslant \varepsilon $$ (3) 式中：y为待表示信号；D为字典；x为系数向量；$ {\Vert ·\Vert }_{0} $为向量0范数；$ {\Vert ·\Vert }_{2}^{2} $为向量范数的平方；ε为稀疏表示误差。
稀疏表示仅适用于低维度向量，因此需要利用滑窗技术对图像进行分块，而融合中常用的“最大L1范数”易受高频噪声的影响，造成空间不一致性，因此稀疏表示方法更适用于处理低频分量[13]。
1.3 多尺度变换
多尺度变换通过尺度分解得到不同分辨率、方向子带图像，并针对子带图像特点设计对应的融合规则。经典的方法包括[14]金字塔变换、小波变换、多分辨率几何变换等。
其中比率金字塔通过相邻两层之间的比率实现尺度分解，能够突出对比度信息。分解和重建过程如公式(4)、(5)和(6)：
$$ \left\{\begin{array}{l} \mathrm{RP}_{l}=\frac{G_{l}}{\operatorname{Expand}\left(G_{l+1}\right)} & \text { 当 } 0 \leq l \leq N-1 \text { 时 } \\ \;\;\;\;\;\;\;\;\;\;\;\mathrm{RP}_{N}=G_{N} & \text { 当 } l=N \text { 时 } \end{array}\right.$$ (4) $$ \begin{array}{l}{\text{G}}_{l}^{\ast }(i,j)=\operatorname{Expand}({G}_{l})=\\ 4{\displaystyle \sum _{m=-2}^{2}{\displaystyle \sum _{n=-2}^{2}w(m,n)}}{\text{G}}_{l}^{\ast }(\frac{i+m}{2},\frac{j+n}{2})\\ （0 < l\le N,0 < i\le {C}_{l},0 < j\le {R}_{l}）\end{array} $$ (5) 式中：RPl为比例低通金字塔各层的图像；w(m, n)为有低通特性的窗口函数；GN为高斯金字塔第N层图像；Expand()为放大算子；Cl、Rl为对应层长和宽。重建过程表示为：
$$ \left\{\begin{array}{cc} G_{N}=\mathrm{RP}_{N} & \text { 当 } l=N \text { 时 } \\ G_{l}=\mathrm{RP}_{i}^{*} \operatorname{Expand}\left(G_{l+1}\right) & \text { 当 } 0 \leq l \leq N-1 \text { 时 } \end{array}\right. $$ (6) 2. 改进后的融合方法
本文提出的图像融合框架如图 2所示，首先利用LatLRR分解得到相应的显著层和基层，并将基层进一步分解为高频和低频部分。以红外图像源为例，分解后得到的各层示意图如图 3所示，其中显著层提取到能量较为集中的局部显著区域，表现为亮度和对比度突出的目标区域；基层低频包含图像的主要内容，表现为较平滑的全局信息，而基层高频部分则包含图像轮廓、边缘等细节信息。
2.1 基层融合
源图像经过LatLRR分解之后得到的红外和可见光基层分别表示为IRbase和VIbase，如图 4所示。进一步利用比率金字塔分解将图像基层分解为高频部分IRbase-high和VIbase-high以及低频部分IRbase-low和VIbase-low，较好地保留和增强图像对比度。
![]()
图 4 比率金字塔-稀疏表示融合算法示意Figure 4. Schematic diagram of ratio pyramid-sparse representation algorithm2.1.1 基层低频融合
红外和可见光进行融合时，源图像的同一位置区域可能有不同的亮度和对比度。传统方法针对低频部分通常采用加权平均方式，但平均的融合规则对于不同模态的融合容易造成能量的损失。
稀疏表示的方法对低频部分具有良好的表达能力。本文利用稀疏表示对基层低频部分进行融合，并设计利用不同的融合规则加权融合保留不同的显著特征，具体步骤如下：
1）对红外和可见光源进行滑窗操作分别得到标准化后的向量$\hat v_\mathrm{IR}^i$和$\hat v_\mathrm{VI}^i$。求解公式(7)的优化问题得到稀疏系数。
$$ \begin{array}{l} \alpha_{\mathrm{IR}}^{i}=\arg \min\limits _{\alpha}\|\alpha\|_{0} \text { s.t. }\left\|\hat{v}_{\mathrm{IR}}^{i}-D \alpha\right\|_{2} <\varepsilon \\ \alpha_{\mathrm{VI}}^{i}=\arg \min\limits _{\alpha}\|\alpha\|_{0} \text { s.t. }\left\|\hat{v}_{\mathrm{VI}}^{i}-D \alpha\right\|_{2} <\varepsilon \end{array}$$ (7) 式中：D是字典，αIRi和αVIi分别是$\hat v_\mathrm{IR}^i$和$\hat v_\mathrm{VI}^i$对应的稀疏系数。
2）稀疏系数的融合分别采用“最大L1范数”和“最大稀疏系数”融合规则。
①“最大L1范数”以稀疏向量的L1范数衡量特征的显著程度：
$$ \alpha_{\mathrm{F} 1}^{i}=\left\{\begin{array}{cc} \alpha_{\mathrm{IR}}^{i} & \text { 当 }\left\|\alpha_{\mathrm{IR}}^{i}\right\|_{1}>\left\|\alpha_{\mathrm{VI}}^{i}\right\|_{1} \text { 时 } \\ \alpha_{\mathrm{VI}}^{i} & \text { 其他 } \end{array}\right. $$ (8) ②“最大稀疏系数”以稀疏系数的绝对值大小反映了该特征的显著程度：
$$x_{\mathrm{F} 1}^{i}=\left\{\begin{array}{cc} x_{\mathrm{IR}}^{i} & \text { 当 }\left|x_{\mathrm{IR}}^{i}\right|>\left|x_{\mathrm{VI}}^{i}\right| \text { 时 } \\ x_{\mathrm{VI}}^{i} & \text { 其他 } \end{array}\right.$$ (9) 式中：$ \alpha_{\mathrm{IR}}^{i}=\left(x_{\mathrm{IR}}^{i 1}, x_{\mathrm{IR}}^{i 2}, x_{\mathrm{IR}}^{i 3}, \cdots, x_{\mathrm{IR}}^{i j}\right)^{\mathrm{T}}$；αVIi，αF1i和αF2i同理；$ |·| $为取绝对值。
③ 对不同融合规则得到两个对应的稀疏系数向量αF1i和αF2i进行加权平均，得到融合后的稀疏系数αFi，即：
$$ \alpha_{\mathrm{F}}^{i}=\frac{1}{2} \alpha_{\mathrm{F} 1}^{i}+\frac{1}{2} \alpha_{\mathrm{F} 2}^{i} $$ (10) 图 5示意了不同规则下基层图像的融合效果。从结果来看，两者在图像中的目标区域特征保留情况相近，但在背景细节纹理上具有互补性。其中“最大L1范数”取自同一个源图像的图像块，在该例中倾向于保留较亮的细节特征，但损失了一定的对比度。而“最大稀疏系数”将每个原子对应的特征作为一组，选择保留来自两个源图像中更显著的系数对应的原子特征，组合为新的图像块。经过加权融合之后的结果保证图像对比度的同时，保留了丰富的细节。
利用字典D得到融合向量vFi＝DαFi并进行重建得到基层低频分量融合结果Fbase-low。
2.1.2 基层高频融合
基层高频部分包含了图像中的边缘细节，对于比率金字塔分解之后得到的不同尺度高频子带，利用像素绝对值度量活跃程度，并使用绝对最大值的融合规则保留高频细节信息。
2.1.3 基层重建
将融合后的低频分量Fbase-low和高频分量Fbase-high根据公式(6)进行重建，得到融合后的基层图像Fbase。
2.2 显著层融合
显著层包含了各个源图像中能量集中的显著区域，其融合规则会直接影响红外和可见光融合的效果。Li Hui等人[9]指出显著层信息需要没有损失地保留在融合结果中，并利用逐像素加和方式融合，总权重为2。
本文设计基于滑窗的局部方差度量显著性，权重和为2以突出图像源中的局部显著性，具体公式如下：
$$ F_{\text {saliency }}=2 \cdot \omega_{\mathrm{IR}} \cdot \mathrm{IR}_{\text {saliency }}+\left(2-2 \cdot \omega_{\mathrm{IR}}\right) \cdot \mathrm{VI}_{\text {saliency }} $$ (11) 式中：$\omega_{\mathrm{IR}}=\frac{\operatorname{Var}_{\mathrm{IR}}^{i}}{\operatorname{Var}_{\mathrm{IR}}^{i}+\operatorname{Var}_{\mathrm{VI}}^{i}}$决定显著层加权融合的权重；varIRi和varVIi分别为滑窗内图像块的方差。方差度量图像局部区域中的对比度以及信息丰富程度。在红外和可见光显著性重叠区域，加权平均方式合理保留多个源的显著信息；而在显著性非重叠区域，基于滑窗方法最大限度保留源的局部显著性。
3. 实验结果与分析
3.1 实验设定
实验数据主要源自TNO数据集[15]，包含不同应用场景的10对红外可见光图像对，如图 6所示。第一、三行是红外图像，第二、四行是对应的可见光图像。
本文选择了8种经典的图像融合算法，分别为ADF（anisotropic diffusion fusion）[16]、CSR（convolutional sparse representation）[5]、TE-MST（target-enhanced multiscale transform decomposition）[17]、FPDE（fourth order partial differential equations）[18]、GF（gradientlet filter）[19]、TIF（two-scale image fusion）[20]、LatLRR（latent low-rank representation）[9]以及MSVD（multi-resolution singular value decomposition）[21]对数据集中的图像进行图像融合，与提出的方法进行定性和定量比较分析。
实验在AMD Ryzen 5 4600H 3.00 GHz，16 GB RAM的计算机上运行，其中金字塔分解层数为5。
3.2 融合结果及分析
图 7为源图像“soldier behind smoke”的各个方法融合结果。红外源图像中包含主要目标以及丰富的背景信息，可见光图像中主要是烟雾。从对比结果中可以看出，ADF，FPDE，GF，MSVD得到的士兵部分边缘细节十分模糊；CSR得到的融合结果目标区域对比度不强；TE-MST完整保留了红外图像中的士兵，但是背景细节和目标区域对比度损失较多；TIF和LatLRR目标区域对比度较强，但背景信息损失较大；本文提出的方法较好地保留了背景细节以及士兵区域的完整信息，且对比度较强。
![]()
图 7 9种方法在‘soldier behind smoke’上的结果Figure 7. Results of the nine methods on 'soldier behind smoke'图 8和图 9分别为图像“street”和“boat”的融合对比结果。图像“street”，本文方法的融合结果在行人处整体亮度较亮，对比度显著，而在商店周围，则保留了丰富的细节如灯牌上的文字等。对于图像“boat”，ADF、CSR、FPDE、TIF、LatLRR、MSVD和GF等融合结果对比度普遍较低，TE-MST和本文方法得到结果中船与背景对比度较强，同时没有因为显著部分过亮导致船上细节信息的损失，保留了丰富的背景纹理信息。
本文采用EN（entropy）、AG（avgerage gradient）、CE（cross entropy）、SF（spatial frequency）、SD（standard deviation）和EI（edge intensity）6种客观评价指标定量评估各种方法的融合质量[22]。EN度量图像中的信息量；AG表示图像的平均梯度，用于描述图像中细节和纹理的丰富程度；CE为结果与源图像的交叉熵，衡量的是融合之后的图像与源图像的相似程度，CE越小图像间的差异越小；SF描述的是图像在空间上的活跃程度；SD反映图像的对比度；EI度量图像中细节信息多少的客观指标。
表 1为图像“soldier behind smoke”、“street”和“boat”9种方法融合结果的客观指标评价结果，表中加粗数值表示该指标下的最优值。图像“soldier behind smoke”客观评价指标中TE-MST和本文方法分别有3个指标最优，与定性分析的结论基本一致。图像“street”所提算法的大部分指标均排名靠前。
表 1 9种方法在‘soldier behind smoke’、‘street’和‘boat’上的客观指标Table 1. Objective evaluation indexes of nine methods on'soldier behind smoke', 'street' and'boat'Source image Methods ADF CSR TE-MST FPDE GF LatLRR MSVD TIF OURS Soldier behind smoke EN 6.892 6.925 6.563 6.899 7.166 6.924 6.894 7.053 7.297 AG 3.604 3.580 4.500 3.567 3.369 2.674 2.871 3.863 3.232 CE 3.766 3.014 2.349 3.109 2.982 2.870 3.173 2.485 1.544 SF 10.606 11.225 11.930 10.161 9.767 7.755 9.693 11.360 8.558 SD 33.280 34.120 28.180 33.346 39.749 33.797 33.101 36.420 41.472 EI 33.163 34.478 43.443 32.901 32.719 26.200 25.596 38.837 33.934 Street EN 6.040 6.013 6.776 6.067 6.133 6.030 5.935 6.414 6.852 AG 2.682 2.525 3.597 4.105 2.714 2.413 2.176 3.298 5.551 CE 3.278 3.255 2.994 3.111 3.447 1.076 3.494 2.222 4.863 SF 9.790 11.064 12.593 12.484 10.445 9.184 9.964 11.612 18.467 SD 21.981 23.207 35.386 22.172 31.453 27.485 21.149 30.346 42.875 EI 27.827 26.632 38.053 41.107 28.833 25.682 22.388 35.128 56.952 Boat EN 5.005 4.965 6.436 4.984 5.362 5.076 4.892 5.226 6.373 AG 1.728 1.456 2.169 1.681 1.530 1.406 1.215 1.969 2.348 CE 3.999 3.955 1.396 3.367 4.186 1.571 3.573 3.540 1.780 SF 6.041 5.764 7.233 5.176 5.429 4.756 3.897 6.303 8.537 SD 11.082 11.250 33.517 10.800 15.426 12.892 10.456 13.169 27.118 EI 17.479 15.085 22.265 17.052 15.792 14.562 12.183 20.446 23.994 不同客观评价指标在不同源图像上的评价排名上有差异，为了对比TNO中10对图像源的融合效果，表 2统计了不同图像对的客观指标平均值。从统计结果来看，提出的融合算法能够保留丰富的图像细节，表现为EN、AG、SF和EI等反映图像特征丰富程度的客观指标排名靠前，在反映融合结果与源图像的相似程度的CE指标上排名次优，在反映图像对比度的SD指标上表现很好，综上分析达到了保留细节的同时增强图像对比度的效果。
表 2 9种方法在10对源图像上的客观指标平均值Table 2. Average values of objective evaluation indexes of nine methods on ten pairs of source imagesAverage Methods ADF CSR TE-MST FPDE GF LatLRR MSVD TIF Ours EN 6.083 6.068 6.724 6.078 6.310 6.198 6.019 6.340 6.862 AG 2.743 2.388 3.464 2.840 2.336 2.233 2.074 3.001 3.529 CE 2.306 2.266 1.558 1.911 2.218 1.354 1.998 1.847 1.393 SF 7.283 7.011 9.218 7.272 6.725 6.158 6.602 8.144 9.768 SD 21.866 22.238 32.147 21.771 30.854 24.791 21.416 26.060 35.556 EI 26.600 23.911 34.097 27.485 23.694 22.300 19.541 30.484 34.776 表 3对比不同算法对不同分辨率源图像进行融合的运行时间，以及它们的均值。其中CSR、LatLRR方法和本文提出的方法由于需要对大量图像块进行稀疏或低秩分解，算法复杂度非常高，运行时间较长。从统计结果来看，以60 fps为标准，除了TE-MST、TIF方法外，大部分融合算法在未加速的情况下，均无法达到实时处理，如何在保证融合效果的同时，提升图像融合算法的计算效率，是影响融合算法未来应用的重要因素。
表 3 9种方法在3种不同分辨率源图像上的运行时间以及平均值Table 3. The running time and average value of nine methods on three different resolution source images (seconds per image pair)s Source image Resolution Methods ADF CSR TE-MST FPDE GF LatRR MSVD TIF Ours Boat street 505×510 0.421 52.381 0.006 0.952 0.101 97.959 0.295 0.031 99.247 Soldier 632×496 0.486 68.214 0.012 1.119 0.232 126.849 0.374 0.028 127.150 Behind smoke 768×576 0.699 79.660 0.015 1.682 0.146 215.724 0.490 0.088 217.110 Average - 0.535 66.752 0.011 1.251 0.160 146.844 0.386 0.049 147.836 4. 结论
红外和可见光图像融合应用中，红外图像通常包含对比度较强的目标信息，而可见光图像包含背景中较丰富的纹理和细节信息。基于多尺度、稀疏、深度学习等融合算法通常采用尺度变换、固定字典或深度特征来表示源图像中的有效信息。本文利用低秩和多尺度分解得到基层低频、基层高频、显著层，分别表达图像中的全局信息、结构和局部显著性。针对各层的特点设计不同的融合规则，其中对比度较低的基层分别采用稀疏表示和比率金字塔处理低频和高频部分；能量相对集中的显著层，设计方差最大融合规则增强局部显著性。在TNO数据集的定性和定量实验分析表明，本文算法保留了较多的图像细节并增强目标区域的对比度。由于基于低秩分解的方法算法复杂度较高，无法达到实时处理的要求，研发快速融合方法满足应用需求将是未来红外和可见光图像融合的重点。
-
![]()
图 2 GaAs和Na2KSb（Cs）光电阴极光谱响应
Figure 2. Photocathode response of GaAs and Na2KSb (Cs) photocathode
![]()
图 3 GaAs and Na2KSb（Cs）光电阴极光谱反射率
Figure 3. Reflection of GaAs and Na2KSb(Cs)photocathode
![]()
图 11 输入光的多次反射示意图
Figure 11. Reflection between the interface of glass and photocathode
![]()
图 13 光电阴极带外光谱灵敏度
Figure 13. Spectral response of photocathode beyond long wave threshold
![]()
图 14 超二代和三代像增强器观察效果
Figure 14. Images obtained by super Gen.Ⅱ and Gen.Ⅲ image intensifier
(a) Super Gen.Ⅱ image intensifier (b) Gen.Ⅲ image intensifier
表 1 超二代与三代像增强器区别
Table 1 Difference between super Gen.Ⅱ and Gen.Ⅲ image intensifier
Super Gen.Ⅱ Gen.Ⅲ Photocathode Na2KSb（Cs） GaAs AR coating N/A Si3N4 Ion barrier N/A Al2O3 Cathode voltage 200 V > 400 V 
下载: 导出CSV
表 2 像增强器阴极灵敏度下降比例
Table 2 Decline percentage of sensitivity for the image intensifier
APS/% EPS/% QPS/% 1997#(Filmed Gen. Ⅲ) 100 68 52 4321#(Thin filmed Gen. Ⅲ) 100 81 63
下载: 导出CSV
表 3 像增强器性能参数
Table 3 Parameters of the image intensifier
RES/(lp·mm-1) SNR Gain/(cd·m-2·Lx-1) EBI/Lx 1049#（Super Gen.Ⅱ） 64 31.71 18000 1.5×10-7 1997#（Gen.Ⅲ） 64 31.63 18000 1.2×10-7
下载: 导出CSV
表 4 不同照度下的分辨力
Table 4 Resolution of different illuminations
Input illumination
/Lx1049#(Super Gen.Ⅱ)RES/(lp·mm-1) 1997#(Gen.Ⅲ)
RES/(lp·mm-1)4.3×10-1 64 64 4.3×10-2 64 64 4.3×10-3 60 60 4.3×10-4 45 45 4.3×10-5 28 28 4.3×10-6 14 14
下载: 导出CSV
表 5 不同高通滤光片下的阴极灵敏度
Table 5 Photocathode sensitivity on different long pass filter
1227#(Super Gen.Ⅱ) /% 1997#(Gen.Ⅲ) /% 2856 K 100 100 2856 K+530 nm 94.4 99.8 2856 K+630 nm 79.3 88.4
下载: 导出CSV
-
[1] 程宏昌, 石峰, 李周奎, 等. 微光夜视器件划代方法初探[J]. 应用光学, 2021, 42(6): 1092-1101. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202106023.htm CHENG Hongchang, SHI Feng, LI Zhoukui, et al. Preliminary study on distinguishment method of low-level-light night vision devices[J]. Journal of Applied Optics, 2021, 42(6): 1092-1101. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202106023.htm
[2] 潘京生. 像增强器的迭代性能及其评价标准[J]. 红外技术, 2020, 42(6): 509-518. http://hwjs.nvir.cn/article/id/hwjs202006001 PAN Jingsheng. Image intensifier upgraded performance and evaluation standard[J]. Infrared Technology, 2020, 42(6): 509-518. http://hwjs.nvir.cn/article/id/hwjs202006001
[3] 田金生. 低照度微光传感器的最新进展[J]. 红外技术, 2013, 35(9): 527-534. TIAN Jinsheng. New development of low level imaging sensor technology[J]. Infrared Technology, 2013, 35(9): 527-534.
[4] 常本康. 多碱光电阴极[M]. 北京: 兵器工业出版社, 2001. CHANG Benkang. Multi-Alkali Photocathode[M]. Beijing: Ordnance Industry Press, 2001.
[5] 李晓峰, 刘如彪, 赵学峰. 多碱阴极光电发射机理研究[J]. 光子学报, 2011, 40(9): 1438-1441. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201212008.htm LI Xiaofeng, LIU Rubiao, ZHAO Xuefeng. Photoemission mechanism of multi-alkali cathode[J]. Acta Photonica Sinica, 2011, 40(9): 1438-1441. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201212008.htm
[6] 李晓峰, 陆强, 李莉, 等. 超二代像增强器多碱阴极膜厚测量研究[J]. 光子学报, 2012, 41(11): 1377-1381. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201211023.htm LI Xiaofeng, LU Qiang, LI Li, et al. Thickness measurement of multi-alkali photocathode[J]. Acta Photonica Sinica, 2012, 41(11): 1377-1381. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201211023.htm
[7] 李晓峰, 杨文波, 王俊. 用光致荧光研究多碱阴极光电发射机理[J]. 光子学报, 2012, 41(12): 1435-1440. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201212008.htm LI Xiaofeng, YANG Wenbo, WANG Jun. Photoemission mechanism of multi-alkali photocathode by photoluminescence [J]. Acta Photonica Sinica, 2012, 41(12): 1435-1440. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201212008.htm
[8] 常本康. GaAs光电阴极[M]. 北京: 科学出版社, 2001. CHANG Benkang. GaAs Photocathode[M]. Beijing: Science Press, 2001.
[9] 常本康. GaAs基光电阴极[M]. 北京: 科学出版社, 2017. CHANG Benkang. Photocathode Base on GaAs[M]. Beijing: Science Press, 2017.
[10] 焦岗成, 张锴珉, 张益军, 等. 改进"yo-yo"Cs/O交替激活方法对GaAs光阴极稳定性影响[J]. 光子学报, 2022, 51(2): 0212001. JIAO Gangcheng, ZHANG Kaimin, ZHANG Yijun, et al. Effect of improved 'yo-yo' Cs/O alternate activation method on stability of GaAs photocathode[J]. Acta Photonica Sinica, 2022, 51(2): 0212001.
[11] 方城伟, 张益军, 荣敏敏, 等. GaAs光电阴极制备工艺中表面污染的微区分析[J]. 光子学报, 2019, 48(9): 0925001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201909006.htm FANG Chenwei, ZHANG Yijun, RONG Minmin, et al. Micro-area analysis of surface contaminations of GaAs photocathode[J]. Acta Photonica Sinica, 2019, 48(9): 0925001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201909006.htm
[12] LI Xiaofeng, CHANG Le, ZHAO Heng, et al. Comparison of Resolution between Super Gen. Ⅱ and Gen. Ⅲ Image Intensifier[J]. Acta Photonica Sinica, 2021, 50(9): 0904003-1. DOI: 10.3788/gzxb20215009.0904003
[13] 李晓峰, 常乐, 曾进能, 等. 微通道板分辨力提高研究[J]. 光子学报, 2019, 48(12): 1223002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201912016.htm LI Xiaofeng, CHANG Le, ZENG Jinneng, et al. Study on resolution improvement of microchannel plate[J]. Acta Photonica Sinica, 2019, 48(12): 1223002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201912016.htm
[14] 邱亚峰, 严武凌, 华桑暾. 基于电子追迹算法的微光像增强器分辨力研究[J]. 光子学报, 2020, 49(12): 1223003. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202012003.htm QIU Yafeng, YAN Wuling, HUA Sangtun. Resolution research of low-light-level image intensifier based on electronic trajectory tracking[J]. Acta Photonica Sinica, 2020, 49(12): 1223003. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202012003.htm
[15] Hoenderken T H, Hagen C W, Nutzel G O, et al. Influence of the microchannel plate and anode gap parameters on the spatial resolution of an image intensifier[J]. Journal of Vacuum, Science and Technology, 2001, 19(30): 843-850.
[16] Photonis Nerthlands B V. Fiber optic phosphor screen comprising angular filter: 8933419B2, USA[P]. 2015-01-13.
[17] 李晓峰, 常乐, 邱永生, 等. 微通道板近紫外量子效率测量及成像研究[J]. 光子学报, 2020, 49(3): 0325001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202003021.htm LI Xiaofeng, CHANG Le, QIU Yongsheng, et al. Measurement of quantum yield and image of microchannel plate in near ultraviolet band[J]. Acta Photonica Sinica, 2020, 49(3): 0325001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202003021.htm
[18] 李晓峰, 李廷涛, 曾进能, 等. 微通道板输入信号利用率提高研究[J]. 光子学报, 2020, 49(3): 0325002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202003022.htm LI Xiaofeng, LI Tingtao, ZENG Jinneng, et al. Study on the improvement of input signal utilization of MCP[J]. Acta Photonica Sinica, 2020, 49(3): 0325002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202003022.htm
[19] 李晓峰, 常乐, 李金沙, 等. 微通道板噪声因子与工作电压关系研究[J]. 光子学报, 2020, 49(7): 0725002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202007003.htm LI Xiaofeng, CHANG Le, LI Jinsha, et al. Study on the relationship between noise factor and working voltage of microchannel plate[J]. Acta Photonica Sinica, 2020, 49(7): 0725002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202007003.htm
[20] 李晓峰, 张正君, 丛晓庆, 等. 微通道板结构参数对噪声因子的影响研究[J]. 光子学报, 2021, 50(5): 0225001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202104016.htm LI Xiaofeng, ZHANG Zhenjun, CONG Xiaoqing, et al. Influence of microchannel plate structure parameters on noise factor[J]. Acta Photonica Sinica, 2021, 50(5): 0225001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202104016.htm
[21] 李晓峰, 张景文, 高宏凯, 等. 三代管MCP离子阻挡膜研究[J]. 光子学报, 2001, 30(12): 1496-1499. LI Xiaofeng, ZHANG Jingwen, GAO Hongkai, et al. Ion barrier of MCP in the third generation image intensifier[J]. Acta Photonica Sinica, 2001, 30(12): 1496-1499.
[22] 杨晓军, 李丹, 乔凯, 等. 防离子反馈微通道板表面碳污染去除的试验研究[J]. 红外技术, 2020, 42(8): 747-751. http://hwjs.nvir.cn/article/id/hwjs202008007 YANG Xiaojun, LI Dan, QIAO Kai, et al. Experimental study of C pollution removal from microchannel plate with ion barrier film[J]. Infrared Technology, 2020, 42(8): 509-518. http://hwjs.nvir.cn/article/id/hwjs202008007
[23] Jan Van Spijker. Ion Barrier Membrane for Use in a Vacuum Tube Using Electron Multiplying, an Electron Multiplying Structure for Use in a Vacuum Tube Using Electron Multiplying as well as a Vacuum Tube Using Electron Multiplying Provided with Such an Electron Multiplying Structure. USA, 8471444B2[P]. 2013-01-25.
[24] 李晓峰, 杜木林, 徐传平, 等. 影响超二代像增强器最高增益的因数分析[J]. 光子学报, 2022, 51(3): 0304001-1. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202203011.htm LI Xiaofeng, DU Mulin, XU Chuanping, et al. Analysis on factors affecting the maximum gain of super second generation image intensifier[J]. Acta Photonica Sinica, 2022, 51(3): 0304001-1. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202203011.htm
[25] 周异松. 电真空成像器件及理论分析[M]. 北京: 国防工业出版社, 1989. ZHOU Yisong. Electric Vacuum Imaging Device and Its Theoretical Analysis[M]. Beijing: National Defense Industry Press, 1989.
[26] 向世明, 倪国强. 光电子成像器件原理[M]. 北京: 国防工业出版社, 2006. XIANG Shiming, NI Guoqiang. The Principle of Photoelectronic Imaging Device[M]. Beijing: National Defense Industry Press, 2006.
[27] 李晓峰, 姜云龙, 李靖雯, 等. Cs2Te紫外光电阴极带外光谱响应研究[J]. 红外技术, 2015, 37(12): 1068-1073. http://hwjs.nvir.cn/article/id/hwjs201512015 LI Xiaofeng, JIANG Yunlong, LI Jingwen, et al. Study on spectral response beyond cut off of Cs2Te ultra violet photo cathode[J]. Infrared Technology, 2015, 37(12): 1068-1073. http://hwjs.nvir.cn/article/id/hwjs201512015
[28] 李晓峰, 常乐, 刘蓓宏, 等. 超二代像增强器分辨力随输入照度变化研究[J]. 红外技术, 2022, 44(4): 378-382. http://hwjs.nvir.cn/article/id/61644d40-dd96-4ccd-ab1c-12d46bf5bfb8 LI Xiaofeng, CHANG Le, LIU Beihong, et al. Analysis of resolution change of the super Gen. Ⅱ image intensifier with input illumination variation[J]. Infrared Technology, 2022, 44(4): 378-382. http://hwjs.nvir.cn/article/id/61644d40-dd96-4ccd-ab1c-12d46bf5bfb8
[29] 董煜辉, 黄丽书, 王俊, 等. 微光像增强器试验方法: WJ 2091-1992[S]. 北京: 中国标准出版社, 1992. DONG Yuhui, HUANG Lishu, WANG Jun, et al. Test Method of Image Intensifier: WJ2091-1992[S]. Beijing: Standards Press of China, 1992.
[30] 董煜辉, 黄丽书, 王俊, 等. 像增强器通用规范: GJB 2000A-2020[S]. 北京: 中国标准出版社, 2020. DONG Yuhui, HUANG Lishu, WANG Jun, et al. General Specification of Image Intensifier: GJB 2000A-2020[S]. Beijing: Standards Press of China, 2020.
[31] 李晓峰, 李娇娇, 李金沙, 等. 超二代及三代像增强器不同响应波段的参数测量及比较[J]. 光子学报, 2021, 50(2): 0225001-1. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202102013.htm LI Xiaofeng, LI Jiaojiao, LI Jinsha, et al. Measure and comparison between the second-generation and the third-generation image intensifier within the different region of wavelength[J]. Acta Photonica Sinica, 2021, 50(2): 0225001-1. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202102013.htm
[32] 李晓峰, 赵恒, 张彦云, 等. 高性能超二代像增强器及发展[J]. 红外技术, 2021, 43(9): 811-816. http://hwjs.nvir.cn/article/id/5a0a0141-171d-410c-bb3f-ac14dc76e189 LI Xiaofeng, ZHAO Heng, ZHANG Yanyun, et al. High performance super second generation image intensifier and its further development[J]. Infrared Technology, 2021, 43(9): 811-816. http://hwjs.nvir.cn/article/id/5a0a0141-171d-410c-bb3f-ac14dc76e189
[33] Nutzel G, Lavout P. Sem-transparent Photocathode with Improved Absorption Tate: US, 9960004B2[P]. 2018-05-01.
[34] 格特·怒茨泽尔, 帕斯卡尔·拉武特. 具有改善吸收率的半透明的光电阴极: CN, 104781903A[P]. 2015-07-15. Nutzel G, Lavout P. Sem-transparent photocathode with improved absorption rate: CN, 104781903A[P]. 2015-07-15.
-
期刊类型引用(17)
1. 陈秋菊，彭天昊，康万杰，何国锋. 特征融合的电力机械设备过热故障红外检测. 机械设计与制造. 2024(04): 337-341 . 
百度学术
2. 林颖，张峰达，李壮壮，郑文杰，戈宁. 基于大模型的红外图像电力设备交互式分割. 网络新媒体技术. 2024(02): 53-60+67 . 百度学术
3. 尤渺. 基于模糊Petri网和马尔科夫链理论的水电厂设备故障应急响应模型. 电子设计工程. 2024(10): 59-63 . 百度学术
4. 曹李伟. 基于红外热成像技术的变电设备热故障识别方法. 电工技术. 2024(09): 130-132 . 百度学术
5. 江钊. 基于深度神经网络的市政电气故障识别方法研究. 电气技术与经济. 2024(07): 48-50 . 百度学术
6. 张宇，袁小翠，许志浩，康兵. 复杂背景下断路器红外图形精确分割方法. 江西电力. 2024(03): 1-7 . 百度学术
7. 戚浩明. 风力发电厂输变电设备电连接发热故障主动预警研究. 电气时代. 2024(09): 35-39 . 百度学术
8. 李荪. 基于红外测温技术的变电设备温度异常检测研究. 电气技术与经济. 2024(10): 57-59 . 百度学术
9. 黄颖，彭铖，夏骏. 梯度扩散下的电气设备调试危险点自适应识别方法. 微型电脑应用. 2024(11): 182-185 . 百度学术
10. 张彦迪，陈江宁，老大中. 改进激光传感器的电气设备过热故障识别方法. 计算机仿真. 2023(11): 91-95 . 百度学术
11. 汤婕. 物联网环境下电气设备实时状态信息监测技术. 廊坊师范学院学报(自然科学版). 2023(04): 66-70 . 百度学术
12. 张婷婷，张冬霞，潘红娜. 基于无线网络的船舶电气设备过热监测系统. 舰船科学技术. 2023(24): 180-183 . 百度学术
13. 林颖，张峰达，李壮壮，孙艺玮，于文牮. 基于交互式分割的电力设备红外图像自动标注方法. 山东电力技术. 2023(12): 20-25+44 . 百度学术
14. 刘赫，赵天成，刘俊博，矫立新，许志浩，袁小翠. 基于深度残差UNet网络的电气设备红外图像分割方法. 红外技术. 2022(12): 1351-1357 . 本站查看
15. 梁玉真，张仕海，汝承印，朱冶诚. 海上平台电气温度监控系统及预测模型研究. 电子测量技术. 2022(22): 162-169 . 百度学术
16. 谢水斌. 智能化变电站电气设备的安装及调试. 光源与照明. 2022(10): 158-160 . 百度学术
17. 李烈熊. 基于ZigBee技术的机电设备故障智能监测系统设计. 信息与电脑(理论版). 2022(20): 140-142 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 928
- HTML全文浏览量: 123
- PDF下载量: 228
- 被引次数: 17
