Review of Infrared and Visible Image Registration
-
摘要: 多模态图像配准能提供比单模态图像配准更加丰富和全面的信息，红外与可见光图像配准作为一种常见的多模态配准类型，在电力、遥感、军事以及人脸识别等领域具有重要的应用价值。首先介绍了红外与可见光图像配准的相关技术并阐述了配准中存在的难点与挑战，然后详细分析和总结了基于区域、基于特征和基于深度学习3种红外与可见光图像配准方法，并分别阐述了不同配准方法的优缺点，之后概述了红外与可见光图像配准技术的实际应用，最后对红外与可见光图像配准未来的发展趋势进行讨论。Abstract: Multi-modal image registration can provide richer and more comprehensive information than single-modal image registration. Among them, infrared and visible image registration, which is a common multi-modal form of registration, has important application value in fields such as electric power, remote sensing, military, and face recognition. In this paper, the correlation technique of infrared and visible image registration is introduced, and the existing difficulties and challenges involved in registration are analyzed. Subsequently, the advantages and disadvantages of different registration methods are evaluated in detail the three types based on area, feature, and deep learning, and a practical application of infrared and visible image registration technology is presented. Finally, the future development trend of infrared and visible image registration is discussed.
-
Keywords:
- image registration /
- infrared image /
- visible image /
- deep learning
-
0. 引言
烟幕材料对电磁波产生衰减的基本原理是电磁波经过物质颗粒时，与颗粒发生了散射和吸收等相互作用，电磁波沿原有方向的传输能量减弱[1-2]。烟幕粒子对红外辐射消光能力的强弱取决于颗粒的成分、复折射率、带电性等自身特性参量[3-5]。建立适用于各种粒子的消光计算模型，可以揭示材料产生遮蔽/干扰效能的内在作用机制，加深对粒子与电磁波相互作用原理的理解。同时，如果能够借助大量的理论模拟和计算，获得材料的形状、尺寸、物理特性等基础参数，并基于最优参数集进行干扰材料设计，将大大加快光电干扰材料的研发进度，节约研发成本。
当前，可用于烟幕粒子消光性能计算的方法主要有两类，一类是适用于球形粒子精确求解的Lorenz-Mie理论[6]，该理论是最早发展的光散射模型，能够对球形粒子的消光特性进行精确求解。另一类是适用于球形和非球形粒子精确求解的数值计算方法，此类方法通过在一定边界条件下直接数值求解电磁波传播方程，如Maxwell方程组及Helmholtz方程等，获得粒子的电磁散射特性。按照计算原理，常见的数值散射理论及模型大致可分为[7-8]：①基于场展开方式的散射模型，主要包括T矩阵法、扩展边界条件法、分离变量法和点匹配法等；②基于体积积分方程的散射模型，主要包括矩量法和离散偶极近似法等；③基于微元法的散射模型，主要包括时域有限差分法和有限元法等。每种计算方法都有自己的优点和局限性，目前还没有一种方法能够精确计算所有类型粒子的电磁波散射特性。因此，在实践中通常是对一种方法尽可能地优化近似以提高其计算准确性，同时也可采用多种计算方法相结合的方式，互为补充、互相验证，以获取更加精确的计算结果。
碳基材料烟幕对多波段电磁波有很好的衰减效果，也是目前应用最为广泛的光电干扰材料之一[9-10]。本文采用计算精度较高的矩量法建立旋转体烟幕粒子的消光计算模型，研究基本参数对石墨粒子红外消光性能的影响，对其形状、尺寸等参数进行优化设计，以进一步提升其消光性能。矩量法离散得到的矩阵方程为满阵，存储复杂度和计算复杂度高，是一种比较耗费计算内存和时间的数值方法[11]。旋转体基本囊括了主要的烟幕粒子形状，如球体、柱体、圆片等，旋转体具有轴对称性，计算区域由传统的三维区域转换为由母线和旋转轴构成的二维区域，求解区域和未知量的数目大大减小，可以节约计算内存和计算时间，实现高速的计算。
1. 消光计算模型
1.1 计算方法
旋转体粒子矩量法消光计算模型的基本思想是将粒子表面的未知电流密度积分方程用基函数和权函数离散化成矩阵形式的代数方程，然后计算矩阵元素并求解该矩阵方程，最后得到表面电磁场和各种衰减截面积[12]。该模型是在Mautz和Harrington[13-14]用矩量法研究旋转体散射特性的基础上建立的，此后又经过不断的完善和发展[15-17]，现在广泛用于解决旋转体粒子的光学散射问题，本文只简要介绍一下其基本原理。
用来表示散射体表面电磁场的未知电流$\overrightarrow J $和磁流$\overrightarrow M $可利用矩量法展开成如下形式[17]：
$$ \overrightarrow J (t, \varphi ) = \sum\limits_{n = - \infty }^\infty {\sum\limits_{j = 1}^N {I_{nj}^t} \overrightarrow J _{nj}^t(t, \varphi ) + I_{nj}^\varphi \overrightarrow J _{nj}^\varphi (t, \varphi )} $$ (1) $$ \overrightarrow M (t, \varphi ) = \eta \sum\limits_{n = - \infty }^\infty {\sum\limits_{j = 1}^N {M_{nj}^t} \overrightarrow J _{nj}^t(t, \varphi ) + M_{nj}^\varphi \overrightarrow J _{nj}^\varphi (t, \varphi )} $$ (2) 式中：$\overrightarrow J _{nj}^t$、$\overrightarrow J _{nj}^\varphi $、$\overrightarrow M _{nj}^t$、$M_{nj}^\varphi $均为待求电磁流系数；阻抗$\eta = \sqrt {{\mu _0}/{\varepsilon _0}} $，μ0和ε0分别为真空中的磁导率和介电常数；基函数定义为：
$$ \overrightarrow J _{nj}^t(t, \varphi ) = {\hat u_t}{f_j}(t){{\rm{e}}^{{\rm{j}}n\varphi }} $$ (3) $$ \overrightarrow J _{nj}^\varphi (t, \varphi ) = {\hat u_\varphi }{f_j}(t){{\rm{e}}^{{\rm{j}}n\varphi }} $$ (4) 式中：fj(t)为三角分段函数；t是沿旋转曲线方向的弧长；Φ是从x轴方向开始的方位角；${\hat u_t}$和${\hat u_\varphi }$分别是t和Φ的切向量；N为三角展开函数的个数；n表示按第n个方位角展开函数展开的状态。
同样，权函数可定义为：
$$ \overrightarrow W _{ni}^t(t, \varphi ) = {\hat u_t}{f_i}(t){{\rm{e}}^{{\rm{i}}n\varphi }} $$ (5) $$ \overrightarrow W _{ni}^\varphi (t, \varphi ) = {\hat u_t}{f_i}(t){{\rm{e}}^{{\rm{i}}n\varphi }} $$ (6) 于是可得到矩阵方程如下：
$$ \left[ \begin{array}{l} \left[ {Z_n^{tt}} \right]\left[ {Z_n^{t\varphi }} \right]\left[ {X_{n - }^{tt}} \right]\left[ {X_{n - }^{t\varphi }} \right]\\ \left[ {Z_n^{\varphi t}} \right]\left[ {Z_n^{\varphi \varphi }} \right]\left[ {X_{n - }^{\varphi t}} \right]\left[ {X_{n - }^{\varphi \varphi }} \right]\\ \left[ {Z_{nd}^{tt}} \right]\left[ {Z_{nd}^{t\varphi }} \right]\left[ {X_{nd + }^{tt}} \right]\left[ {X_{nd + }^{t\varphi }} \right]\\ \left[ {Z_{nd}^{\varphi t}} \right]\left[ {Z_{nd}^{\varphi \varphi }} \right]\left[ {X_{nd + }^{\varphi t}} \right]\left[ {X_{nd + }^{\varphi \varphi }} \right] \end{array} \right]\left[ \begin{array}{l} \left[ {I_n^t} \right]\\ \left[ {I_n^\varphi } \right]\\ \left[ {M_n^t} \right]\\ \left[ {M_n^\varphi } \right] \end{array} \right] = \left[ \begin{array}{l} \left[ {V_n^t} \right]\\ \left[ {V_n^\varphi } \right]\\ \left[ 0 \right]\\ \left[ 0 \right] \end{array} \right] $$ (7) 各矩阵元素的内积表示形式为：
$$ \eta {(Z_n^{pq})_{ij}} = < \overrightarrow W _{ni}^p, \hat L\left[ {\overrightarrow J _{nj}^q} \right] > $$ (8) $$ \eta {(Z_{n{\rm{d}}}^{pq})_{ij}} = < \overrightarrow W _{ni}^p, {\hat L^{\rm{d}}}\left[ {\overrightarrow J _{nj}^q} \right] > $$ (9) $$ {(X_{n - }^{pq})_{ij}} = < \overrightarrow W _{ni}^p, {\hat K_ - }\left[ {\overrightarrow J _{nj}^q} \right] > $$ (10) $$ {(X_{n{\rm{d}} + }^{pq})_{ij}} = < \overrightarrow W _{ni}^p, \hat K_ + ^{\rm{d}}\left[ {\overrightarrow J _{nj}^q} \right] > $$ (11) $$ \eta {(V_n^t)_i} = < \overrightarrow W _{ni}^t, {\overrightarrow E ^i} > $$ (12) $$ \eta {(V_n^\varphi )_i} = < \overrightarrow W _{ni}^\varphi , {\overrightarrow E ^i} > $$ (13) 式中：p=t, φ，q=t, φ，n=0, 1, …；${\overrightarrow E ^i}$为入射电场；$\hat L$、$\hat K$为积分算子；“d”表示在介质空间中，无“d”表示在自由空间中；“+”表示在粒子表面以外，“-”表示在粒子表面以内。
由矩阵方程可求得各系数，于是其散射振幅函数可表示为：
$$ \begin{array}{l} {S_{\alpha \beta }}({{\hat k}^{\rm{s}}}, {{\hat k}^{\rm{i}}}) = - \frac{j}{{4{\rm{ \mathsf{ π} }}}}\sum\limits_{n, j} {\{ {{(R_n^{t\alpha })}_j}{{(I_n^{t\beta })}_j} + {{(R_n^{\varphi \alpha })}_j}{{(I_n^{\varphi \beta })}_j}} \\ \quad \quad \;\quad \;\;\;\;\; - (R_n^{t\alpha })_j^{{\rm{mag}}}{(M_n^{t\beta })_j} - (R_n^{\varphi \alpha })_j^{{\rm{mag}}}{(M_n^{\varphi \beta })_j}\} \end{array} $$ (14) 其中：
$$ {{(R_{n}^{p\alpha })}_{j}}=k\iint\limits_{s}{{{\text{e}}^{-\text{j}{{\overrightarrow{k}}^{\text{s}}}\cdot \overrightarrow{r}}}{{{\hat{u}}}_{\alpha }}\cdot \overrightarrow{j}_{nj}^{p}\text{d}s} $$ (15) $$ (R_{n}^{p\alpha })_{j}^{\text{mag}}=k\iint\limits_{s}{{{\text{e}}^{^{-\text{j}{{\overrightarrow{k}}^{\text{s}}}\cdot \overrightarrow{r}}}}({{{\hat{k}}}^{\text{s}}}\times {{{\hat{u}}}_{\alpha }})\cdot \overrightarrow{j}_{nj}^{p}\text{d}s} $$ (16) 式中：α、β表示极化系数，α≠β；${{\hat{k}}^{\text{s}}}$、${{\hat{k}}^{\text{i}}}$分别为散射方向和入射方向的单位矢量；波数k=2π/λ，λ为入射波长；$\overrightarrow r $为坐标原点至粒子表面的矢量。
散射体的微分散射截面积可表示为：
$$ \sigma _d^{\alpha \beta }({\hat k^{\rm{s}}}, {\hat k^{\rm{i}}}) = \frac{{{{\left| {{S_{\alpha \beta }}({{\hat k}^{\rm{s}}}, {{\hat k}^{\rm{i}}})} \right|}^2}}}{{{k^2}}} $$ (17) 散射截面积为：
$$ \begin{array}{l} \sigma _{\rm{s}}^{\alpha \beta }({\theta _i}) = \int\limits_{4{\rm{ \mathsf{ π} }}} {\sigma _{\rm{d}}^{\alpha \beta }({{\hat k}^{\rm{s}}}, {{\hat k}^{\rm{i}}}){\rm{d}}{\Omega _{\rm{s}}}} \\ \quad \quad \quad = \frac{1}{{{k^2}}}{\int\limits_0^{2{\rm{ \mathsf{ π} }}} {\int\limits_0^{\rm{ \mathsf{ π} }} {\left| {{S_{\alpha \beta }}({{\hat k}^{\rm{s}}}({\theta _{\rm{s}}}, {\varphi _{\rm{s}}}), {{\hat k}^{\rm{i}}}({\theta _{\rm{i}}})} \right|} } ^2}\sin {\theta _{\rm{s}}}{\rm{d}}{\theta _{\rm{s}}}{\rm{d}}{\varphi _{\rm{s}}} \end{array} $$ (18) 式中：θi为入射角；θs为散射角；φs为方位角。
当散射方向为入射方向的反方向时为后向散射，此时，θi+θs=π可由式(18)计算得到后向散射截面积σb。
由前向散射原理，消光截面积为：
$$ \sigma _{\rm{e}}^{\alpha \beta }({\theta _{\rm{i}}}) = \frac{{4{\rm{ \mathsf{ π} }}}}{{{k^2}}}{\mathop{\rm Im}\nolimits} [{S_{\alpha \beta }}( - {\hat k^{\rm{i}}}, {\hat k^{\rm{i}}})] $$ (19) 吸收截面积为消光截面积与散射截面积之差：
$$ \sigma _{\rm{a}}^{\alpha \beta }({\theta _{\rm{i}}}) = \sigma _{\rm{e}}^{\alpha \beta }({\theta _{\rm{i}}}) - \sigma _{\rm{s}}^{\alpha \beta }({\theta _{\rm{i}}}) $$ (20) 对于随机取向的粒子，其各种衰减截面积的平均值都可用下式求得：
$$ {\sigma _{{\rm{random}}}} = \frac{1}{{\rm{ \mathsf{ π} }}}\int_0^{\rm{ \mathsf{ π} }} {\sigma ({\theta _{\rm{i}}}){\rm{d}}{\theta _{\rm{i}}}} $$ (21) 消光效率因子Qext、散射效率因子Qsca、吸收效率因子Qabs和后向散射效率因子Qbac可由相应的截面积除以粒子在电磁波传播方向的投影面积得到，即：
$$ {Q_{{\rm{ext}}}} = {\sigma _{\rm{e}}}/{S_{\rm{R}}} $$ (22) $$ {Q_{{\rm{sca}}}} = {\sigma _{\rm{s}}}/{S_{\rm{R}}} $$ (23) $$ {Q_{{\rm{abs}}}} = {\sigma _{\rm{a}}}/{S_{\rm{R}}} $$ (24) $$ {Q_{{\rm{bac}}}} = {\sigma _{\rm{b}}}/{S_{\rm{R}}} $$ (25) 式中：SR为旋转体粒子在电磁波传播方向的投影面积。
效率因子均为无量纲的量，消光效率因子、散射效率因子和吸收效率因子之间有如下关系：
$$ {Q_{{\rm{ext}}}} = {Q_{{\rm{sca}}}} + {Q_{{\rm{abs}}}} $$ (26) 质量消光系数是单位质量粒子的消光截面，对于单一尺寸的粒子，质量消光系数α为：
$$ \alpha = {\sigma _{\rm{e}}}/m $$ (27) 式中：m为旋转体烟幕粒子的质量。
对于粒子尺度不均的多分散体系，质量消光系数α可用以下公式求得：
$$ \alpha = \int\limits_r {\frac{{\sigma (r)N(r)}}{{m(r)}}{\rm{d}}r} $$ (28) 式中：r为粒子的尺寸；σ(r)为粒子消光截面积；N(r)为粒子数量分布函数；m(r)为粒子质量。
1.2 模型参数
基本粒子共设计了圆片及其等效球体和等效柱体3种形状（如图 1所示），基本涵盖了常见的烟幕粒子类型，如薄片、鳞片等可近似为圆片，纤维、棒体可近似为柱体，其余长径比接近1的如圆珠、立方体、八面体等可近似为球体。圆片的长径比（厚度与直径比）设为1:10，柱体的长径比设为10:1，设圆片的半径为r，可推导得等效球体的半径$R = \sqrt[3]{{3/20}}r$，等效柱体的半径$L = \sqrt[3]{{1/100}}r$。
利用建立的旋转体消光计算模型对3种形状粒子进行消光性能计算，计算参数设置为：
① 半径r：0.25~10 μm；
② 同形状所有粒子为单分散体系（尺寸均一），三角展开函数个数N取值为60~120，方位角展开函数个数n球体取值1，其他形状取20~40；
③ 入射波长中波红外取λ=4 μm，长波红外取λ=10 μm；
④ 石墨粒子密度取值为2.25 g/cm3；
⑤ 复折射率的值取自文献[18]。
对于非球形粒子，入射角随机取向进行角度平均，并且存在电磁极化，其消光性能计算结果取垂直极化和平行极化的平均值。
2. 消光计算结果
2.1 粒子形状
图 2是计算得到的不同尺寸的3种形状粒子对4 μm和10 μm红外的消光效率因子Qext、散射效率因子Qsca、吸收效率因子Qabs和后向散射因子Qbac。对4 μm红外而言，当圆片半径＜0.75 μm、球体半径＜0.46 μm、柱体半径＜0.43 μm时，3种粒子的Qabs＞Qsca，即吸收衰减在红外消光效应中占主导。对10 μm红外而言，当圆片半径＜1.5 μm、球体半径＜0.53 μm、柱体半径＜0.32 μm时，3种粒子的Qabs＞Qsca，同样是吸收衰减占主导。因此，对两个波长的红外来说，3种粒子在尺寸较小时都以吸收消光为主，尺寸变大后都以散射消光为主。另外，计算结果表明3种形状粒子对红外的后向散射效应都相对较弱。
![]()
图 2 不同形状的粒子对4 μm和10 μm红外的效率因子Figure 2. 4 μm and 10 μm infrared efficiency factors of particles with different shapes图 3为不同尺寸的粒子对4 μm和10 μm红外的消光系数计算结果，3种粒子的消光系数都是先随半径增大而增大，到达峰值后变为随着半径增大而减小，说明粒子对特定波长电磁波的衰减应该有相应的最佳尺寸，此时消光系数达到最大值。对比3种形状粒子的消光系数可以发现，对4 μm红外而言：在所有尺寸下，等效球体的消光性能最差；半径大于0.5 μm时，圆片的消光性能最佳；半径小于0.5 μm时，等效柱体表现出最好的消光性能；3种形状粒子对4 μm红外消光性能最大时对应的尺寸分别为圆片半径0.75 μm，球体半径0.53 μm，柱体半径0.08 μm。对10 μm红外而言，消光性能基本类似：等效球体在所有尺寸下都表现出最差的消光性能；半径大于1.5 μm时，圆片的消光性能最佳；圆片半径小于1.5 μm时，等效柱体表现出最好的消光性能；3种粒子对10 μm红外消光性能最大时对应的尺寸分别为圆片半径2.0 μm，球体半径1.6 μm，柱体半径0.19 μm。
![]()
图 3 不同尺寸的粒子对4 μm和10 μm红外的消光系数Figure 3. 4 μm and 10 μm infrared extinction coefficients of particles with different radii总体来看，无论是对中波还是长波红外，球体的消光系数在三者中都是最小的，对10 μm红外，几乎所有尺寸的消光系数都小于0.5 m2/g，消光效率很低。实际上烟幕材料制备加工过程中，球体是较为容易获取的，但从材料消光效率的角度来看，应尽可能避免将烟幕粒子设计成球形。非球形的圆片和柱体粒子对中波和长波红外都表现出了良好的消光能力，特别是圆片形粒子半径处于0.25~2.0 μm之间时，对4 μm红外的消光系数均大于2.0 m2/g，半径处于1.4~2.4 μm之间时，对10 μm红外的消光系数均大于2.0 m2/g。因此，调控设计半径在1.4~2.0 μm的区间时，粒子对中波和长波红外的消光系数均可超过2.0 m2/g。柱体粒子虽然在中波和长波红外也表现出了较好的消光能力，尤其在尺寸较小的时候甚至优于圆片，但柱体粒子加工的技术难度大、成本高，且半径大于1 μm后其消光能力将显著下降，因此综合考虑平均消光能力和制造加工成本，圆片状结构将是石墨类红外消光粒子的最优选择。
2.2 圆片厚度
图 4是不同厚度的圆片粒子对4 μm和10 μm红外的消光系数计算结果，计算参数N取值为100，n取值为20。随着厚度的减小，5种半径粒子的消光系数均显著升高。半径2.0~5.0 μm的4种粒子在片层厚度100 nm时，对两个波长红外的消光系数均可达到4.0 m2/g以上，厚度为50 nm时可进一步提升到6.0 m2/g以上，在厚度小于50 nm的纳米尺度，消光系数会随着厚度的变薄而迅速增加。这一结果表明，圆片粒子对红外的消光系数和消光能力会随着厚度的减小而迅速提升。
![]()
图 4 不同厚度圆片粒子对4 μm和10 μm红外的消光系数Figure 4. 4 μm and 10 μm infrared extinction coefficients of flake with different thicknesses为进一步研究厚度对圆片消光性能的影响，将圆片粒子的半径固定在2 μm，控制厚度在20~200 nm之间变化，计算不同厚度的圆片对1~10 μm各波长红外的消光系数，计算参数N取值为60，n取值为10，计算结果见图 5。在计算波长范围内，圆片粒子对红外的消光系数都随着厚度的减小而增加，这进一步说明厚度对圆片粒子的红外消光性能具有极为重要的影响。表 1为半径2 μm圆片粒子对1~10 μm红外的平均消光系数，20 nm厚度圆片的平均消光系数达到了13.2 m2/g。但随着厚度的增加，平均消光系数呈现下降趋势，当厚度增加到200 nm时，平均消光系数下降到3.5 m2/g。厚度为20 nm的圆片，对近红外和中红外的消光系数最大，但往远红外延伸时消光系数却出现了下降趋势，对10 μm红外的消光系数已经与40 nm厚度的圆片接近，说明过小的厚度将不利于圆片粒子对远红外的消光能力。因此，在进行圆片粒子设计时应尽可能减小厚度，但为了兼顾中远红外的消光能力，其厚度不能低于某一范围。对于半径2 μm圆片粒子来说，其厚度不应低于20 nm，否则其对远红外的消光能力将大幅降低。
![]()
图 5 半径2 μm圆片粒子对1~10 μm红外的消光系数Figure 5. 1-10 μm infrared extinction coefficient of flake with 2 μm radii表 1 半径2 μm的圆片粒子对1~10 μm红外的平均消光系数Table 1. 1-10 μm infrared average extinction coefficients of flake with 2 μm radiusThickness/nm 20 40 60 80 100 150 200 Extinction coefficients/(m2/g) 13.2 10.8 8.6 6.3 5.7 4.4 3.5 2.3 薄层圆片半径
圆片粒子的厚度达到纳米级后，其消光性能会有显著的提升，为进一步研究纳米级的圆片半径对其消光性能的影响，固定圆片的厚度为100 nm，通过调整其半径进行圆片红外消光性能计算，计算结果仍然取垂直极化和平行极化的平均值，计算结果如图 6所示。对每个波长的红外而言，圆片粒子都存在一个最佳半径，尺寸在该半径值时圆片粒子对特定波长红外的消光系数最大，圆片对各个波长红外的最大消光系数和对应的最佳半径如表 2所示。每个波长下圆片的最佳半径随着波长的增大而增大，同时最佳直径略小于相对应的波长的一半。另外，最大消光系数随着红外波长的增大反而减小，说明圆片对远红外的消光能力随着波长的增加而逐渐降低。图 6表明，当半径大于1.2 μm时圆片对所有波长红外的消光系数都大于3.0 m2/g，当半径大于1.5 μm时圆片对所有波长红外的消光系数都大于5.0 m2/g，但当半径超过2.1 μm以后，圆片对所有波长红外的消光系数均有随半径增大而变小的趋势。因此，对于100 nm厚度的圆片而言，如果将其半径设计在1.5~2.1 μm之间，则可使其对1~10 μm红外均表现出良好的消光性能。
表 2 厚度为100 nm的圆片粒子对1~10 μm红外的最大消光系数和对应的最佳半径Table 2. Maximum extinction coefficient and corresponding optimum radius of 100 nm thick flakeWavelength/μm 1 2 3 4 5 6 7 8 9 10 Maximum extinction coefficient/ (m2/g) 9.9 8.2 7.8 7.5 7.4 7.3 7.2 7.1 7.1 7.0 Optimum radius/μm 0.15 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.9 2.1 3. 结论
基于矩量法建立了旋转体烟幕粒子的红外消光模型，并对圆片、球体和柱体等基本粒子进行了消光性能计算。计算结果表明，3种基本形状的粒子，在尺寸较小时都以吸收消光为主，在尺寸较大时都以散射消光为主。相对来说，球体粒子的消光能力最差，圆片粒子具有最佳的红外消光能力。当半径在1.4~2.0 μm区间时，圆片对4 μm和10 μm红外的消光系数均可超过2.0 m2/g。通过减小圆片的厚度，可以显著提升圆片粒子对红外的消光能力，但考虑到远红外波段的消光效果，其厚度不能低于20 nm。对于100 nm厚度的圆片而言，当其半径在1.5~2.1 μm之间时，粒子对1~10 μm红外的消光系数均大于5.0 m2/g，可使该尺寸的圆片粒子在整个红外波段范围内都表现出良好的消光性能。石墨是当前较为高效的烟幕干扰材料之一，本计算结果可为进一步提高石墨干扰能力提供指导，也可为其他先进光电干扰材料的设计和研制提供理论基础。
-
![]()
图 3 基于深度学习的图像配准算法步骤
Figure 3. Image registration algorithm principle based on deep learning
![]()
![]()
图 5 基于点特征的图像配准：(a)红外与可见光图像配准；(b)融合结果
Figure 5. Image registration based on point feature: (a)Infrared and visible image registration; (b)Fusion result
![]()
图 6 基于形态学梯度和C_SIFT的实时自适应可见光和红外图像配准及其结果：(a)算法流程图；(b)待配准图像对；(c)待配准图像的形态梯度图像；(d)红外与可见光图像配准结果[24]
Figure 6. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT and result: (a)The flowchart of proposed algorithm; (b)Image pairs to be registered; (c)The morphology gradient image of visible and infrared images; (d)The registration results of visible and infrared images[24]
![]()
![]()
图 10 变压器对抗网络（TAN）的红外与可见光图像配准框架及部分实验结果：变压器对抗网络框架(a)与配准结果(b)[45]
Figure 10. Infrared and visible image registration framework using transformer adversarial network (TAN) and some experimental results: (a) The framework of the proposed Transformer Adversarial Network and (b) registration results of TAN[45]
-
[1] LI Y, YU F Y, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]. Cluster Computing the Journal of Networks Software Tools and Applications, 2019, 22(4): 9435-9443.
[2] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784. DOI: 10.1016/j.patcog.2014.09.005
[3] 韩静, 柏连发, 张毅, 等. 基于改进配准测度的红外与可见光图像配准[J]. 红外技术, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006 HAN J, BO L F, ZHANG Y, et al. A registration algorithm of infrared and visible image based on revised measure function[J]. Infrared Technology, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006
[4] Sarvaiya J N, Patnaik S, Bombaywala S. Image registration by template matching using normalized cross-correlation[C]//2009 International Conference on Advances in Computing, Control, and Telecommunication Technologies. IEEE, 2009: 819-822.
[5] YANG Z, SHEN G, WANG W, et al. Spatial-spectral cross correlation for reliable multispectral image registration[C]//2009 IEEE Applied Imagery Pattern Recognition Workshop (AIPR 2009), 2009: 1-8.
[6] MA J, JIANG X, FAN A, et al. Image matching from handcrafted to deep features: A survey[J]. International Journal of Computer Vision, 2021, 129(1): 23-79. DOI: 10.1007/s11263-020-01359-2
[7] Stone H S, Tao B, McGuire M. Analysis of image registration noise due to rotationally dependent aliasing[J]. Journal of Visual Communication and Image Representation, 2003, 14(2): 114-135. DOI: 10.1016/S1047-3203(03)00002-6
[8] LI Z, YANG J, LI M, et al. Estimation of large scalings in images based on multilayer pseudopolar fractional Fourier transform[J]. Mathematical Problems in Engineering, 2013, 2013: 179489.
[9] DONG Y, JIAO W, LONG T, et al. An extension of phase correlation-based image registration to estimate similarity transform using multiple polar Fourier transform[J]. Remote Sensing, 2018, 10(11): 1719. DOI: 10.3390/rs10111719
[10] Fujisawa T, Ikehara M. High-accuracy image rotation and scale estimation using radon transform and sub-pixel shift estimation[J]. IEEE Access, 2019, 7: 22719-22728. DOI: 10.1109/ACCESS.2019.2899390
[11] Fouda Y, Ragab K. An efficient implementation of normalized cross-correlation image matching based on pyramid[C]//2013 International Joint Conference on Awareness Science and Technology & Ubi-Media Computing, IEEE, 2013: 98-103.
[12] YANG M Y, QIANG Y, Rosenhahn B. A global-to-local framework for infrared and visible image sequence registration[C]//2015 IEEE Winter Conference on Applications of Computer Vision, 2015: 381-388.
[13] BAI L F, HAN J, ZHANG Y, et al. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization[J]. Infrared Laser Engineering, 2012, 41(1): 248-254.
[14] CHEN S J, SHEN H L, LI C, et al. Normalized total gradient: A new measure for multispectral image registration[J]. IEEE Transactions on Image Processing, 2017, 27(3): 1297-1310.
[15] YANG T J, TANG Q, LI L. Nonrigid registration of medical image based on adaptive local structure tensor and normalized mutual information[J]. Journal of Applied Clinical Medical Physics, 2019, 20(6): 99-110. DOI: 10.1002/acm2.12612
[16] 赵洪山, 张则言. 基于文化狼群算法的电力设备红外和可见光图像配准[J]. 光学学报, 2020, 40(16): 51-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202016007.htm ZHAO H, ZHANG Z. Power equipment infrared and visible images registration based om cultural wolf pack algorithm[J]. Acta Optica Sinica, 2020, 40(16): 51-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202016007.htm
[17] 孙凤杰, 赵孟丹, 刘威, 等. 基于方向场的输电线路间隔棒匹配定位算法[J]. 中国电机工程学报, 2014, 34(1): 206-213. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201401025.htm SUN F, ZHAO M, LIU W, et al. Spacer matching and localizetion algorithm for transmission line video image based on directional field[J]. Proceedings of the CSEE, 2014, 34(1): 206-213. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201401025.htm
[18] 刘刚, 周珩, 梁晓庚, 等. 非下采样轮廓波域红外与可见光图像配准算法[J]. 计算机科学, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061 LIU G, ZHOU H, LIANG X, et al. Image registration algorithm for infrared and visible light based on non-subsamoled Contourlet transform[J]. Computer Science, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061
[19] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm WU Y, ZHANG C, ZHANG Y. Image Registration based on gradient and regional mutual information[J]. Journal of Guangxi University: Natural Science Edition, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm
[20] ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization–Powell search algorithm[J]. Optik, 2016, 127(1): 188-191. DOI: 10.1016/j.ijleo.2015.09.199
[21] LI Y, WANG J, YAO K. Modified phase correlation algorithm for image registration based on pyramid[J]. Alexandria Engineering Journal, 2022, 61(1): 709-718. DOI: 10.1016/j.aej.2021.05.004
[22] Morel J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469. DOI: 10.1137/080732730
[23] YANG N, YANG Y, LI P, et al. Research on infrared and visible image registration of substation equipment based on Multi-scale Retinex and ASIFT features[C]//Sixth International Workshop on Pattern Recognition. International Society for Optics and Photonics, 2021, 11913: 1191303.
[24] ZENG Q, ADU J, LIU J, et al. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]. Journal of Real-Time Image Processing, 2020, 17(5): 1103-1115. DOI: 10.1007/s11554-019-00858-x
[25] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2020, 36(4): 2559-2569.
[26] 李伟, 王军, 俞跃. 基于可见光匹配矩阵的电气部件故障红外自动识别算法[J]. 红外技术, 2019, 41(11): 1047-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911009.htm LI W, WANG J, YU Y. An infrared automatic fault recognition method for electrical parts based on visible matching matrix[J]. Infrared Technology, 2019, 41(11): 1047-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911009.htm
[27] CHEN Y, DAI J, MAO X, et al. Image registration betwe en visible and infrared images for electrical equipment inspection robots based on quadrilateral features[C]// 2nd International Conference on Robotics and Automation Engineering (ICRAE), 2017: 126-130.
[28] 戴进墩, 刘亚东, 毛先胤, 等. 基于NSCT域FAST角点检测的电气设备红外与可见光图像配准[J]. 电测与仪表, 2019, 56(1): 108-114. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201901018.htm DAI J, LIU Y, MAO X, et al. Registration based on NSCT-domain FAST corner detection for infrared and visible images of electrical equipment[J]. Electrical Measurement & Instrumentation, 2019, 56(1): 108-114. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201901018.htm
[29] 江泽涛, 刘小艳, 王琦. 基于显著性和ORB的红外和可见光图像配准算法[J]. 激光与红外, 2019, 49(2): 251-256. DOI: 10.3969/j.issn.1001-5078.2019.02.022 JIANG Z, LIU X, WANG Q. Visible and infrared image registration algorithm based on saliency and ORB[J]. Laser & Infrared, 2019, 49(2): 251-256. DOI: 10.3969/j.issn.1001-5078.2019.02.022
[30] 占祥慧, 徐智勇, 张建林. 结合滚动引导滤波和相位信息的红外与可见光图像配准[J]. 半导体光电, 2021, 42(5): 726-732. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202105023.htm ZHANG X, XU Z, ZHANG J. Infrared and visible images registration using rolling guided filter and phase information[J]. Semiconductor Optoelectronics, 2021, 42(5): 726-732. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202105023.htm
[31] LI Q, HAN G, LIU P, et al. An infrared-visible image registration method based on the constrained point feature[J]. Sensors, 2021, 21(4): 1188. DOI: 10.3390/s21041188
[32] CHEN X, LIU L, ZHANG J, et al. Registration of multimodal images with edge features and scale invariant PIIFD[J]. Infrared Physics & Technology, 2020, 111: 103549.
[33] LIU X, LI J B, PAN J S, et al. An advanced gradient texture feature descriptor based on phase information for infrared and visible image matching[J]. Multimedia Tools and Applications, 2021, 80(11): 16491-16511. DOI: 10.1007/s11042-020-10213-z
[34] 李云红, 罗雪敏, 苏雪平, 等. 基于改进CSS的电力设备红外与可见光图像配准[J/OL]. 激光与光电子学进展: 1-14. [2021-9-9]. http://www.cnki.com.cn/Article/CJFDTotal-JGDJ20210909004.htm. LI Y, LUO X, SU X, et al. Registration method for power equipment infrared and visible images based on improved CSS[J/OL]. Laser & Optoelectronics Progress: 1-14. [2021-9-9]. http://www.cnki.com.cn/ Article/CJFDTotal-JGDJ20210909004.htm.
[35] CHENG T, GU J, ZHANG X, et al. Multimodal image registration for power equipment using clifford algebraic geometric invariance[J]. Energy Reports, 2022, 8: 1078-1086. DOI: 10.1016/j.egyr.2022.02.192
[36] 陈亮, 周孟哲, 陈禾. 一种结合边缘区域和互相关的图像配准方法[J]. 北京理工大学学报, 2016, 36(3): 320-325. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201603018.htm CHEN L, ZHOU M, CHEN H. A method for image registration combined by edge region and cross correlation[J]. Transactions of Beijing Institute of Technology, 2016, 36(3): 320-325. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201603018.htm
[37] LIU G, LIU Z, LIU S. et al. Registration of infrared and visible light image based on visual saliency and scale invariant feature transform[J]. J. Image Video Proc. , 2018: 45. https://doi.org/10.1186/s13640-018-0283-9.
[38] 廉蔺, 李国辉, 张军, 等. 基于边缘最优映射的红外和可见光图像自动配准算法[J]. 自动化学报, 2012, 38(4): 570-581. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201204009.htm LIAN L, LI G, ZHANG J, et al. An automatic registration algorithm of infrared and visible images based on optimal mapping of edges[J]. Acta Automatica Sinica, 2012, 38(4): 570-581. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201204009.htm
[39] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784. DOI: 10.1016/j.patcog.2014.09.005
[40] 李巍, 董明利, 吕乃光, 等. 基于T分布混合模型的多光谱人脸图像配准[J]. 光学学报, 2019, 39(7): 56-66. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201907007.htm LI W, DONG M L, LYU N G, et al. Multispectral face image registration based on t-distribution mixture model[J]. Acta Optica Sinica, 2019, 39(7): 56-66. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201907007.htm
[41] MIN C, GU Y, LI Y, et al. Non-rigid infrared and visible image registration by enhanced affine transformation[J]. Pattern Recognition, 2020, 106: 107377. DOI: 10.1016/j.patcog.2020.107377
[42] MIN C, GU Y, YANG F, et al. Non-rigid registration for infrared and visible images via Gaussian weighted shape context and enhanced affine transformation[J]. IEEE Access, 2020, 8: 42562-42575. DOI: 10.1109/ACCESS.2020.2976767
[43] ZHAO Z, ZHAO L, QI Y, et al. Infrared and visible image registration based on hypercolumns[C]//CCF Chinese Conference on Computer Vision, 2017: 529-539.
[44] WEI Z, JUNG C, SU C. RegiNet: Gradient guided multispectral image registration using convolutional neural networks[J]. Neurocomputing, 2020, 415: 193-200. DOI: 10.1016/j.neucom.2020.07.066
[45] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]// 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018: 1248-1252.
[46] Kumari K, Krishnamurthi G. GAN-based End-to-End Unsupervised Image Registration for RGB-Infrared Image[C]// 3rd International Conference on Intelligent Autonomous Systems (ICoIAS). IEEE, 2020: 62-66.
[47] MAO Y, HE Z. Dual-Y network: infrared-visible image patches matching via semi-supervised transfer learning[J]. Applied Intelligence, 2021, 51(4): 2188-2197. DOI: 10.1007/s10489-020-01996-7
[48] 杨冰超, 王鹏, 李晓艳, 等. 基于模态转换结合鲁棒特征的红外图像和可见光图像配准[J]. 激光与光电子学进展, 2022, 59(4): 180-189. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202204017.htm YANG B, WANG P, LI X, et al. Infrared and visible light image registration based on model conversion and robust features[J]. Laser & Optoelectronics Progress, 2022, 59(4): 180-189. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202204017.htm
[49] YU K, MA J, HU F, et al. A grayscale weight with window algorithm for infrared and visible image registration[J]. Infrared Physics & Technology, 2019, 99: 178-186.
[50] LUO W, HAO X, XU C, et al. Coarse-to-fine registration for infrared and visible images of power grid[C]// 4th International Conference on Systems and Informatics (ICSAI), 2017: 1181-1185.
[51] 姜骞, 刘亚东, 方健, 等. 基于轮廓特征的电力设备红外和可见光图像配准方法[J]. 仪器仪表学报, 2020, 41(11): 252-260. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202011028.htm JIANG Q, LIU Y D, FANG J, et al. Registration method for power equipment infrared and visible images based on contour feature[J]. Chinese Journal of Scientific Instrument, 2020, 41(11): 252-260. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202011028.htm
[52] 马露凡, 罗凤, 严江鹏, 等. 深度医学图像配准研究进展: 迈向无监督学习[J]. 中国图象图形学报, 2021, 26(9): 2037-2057. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202109002.htm MA L F, LUO F, YAN J P, et al. Deep-learning based medical image registration pathway: towards unsupervised learning[J]. Journal of Image and Graphics, 2021, 26(9): 2037-2057. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202109002.htm
[53] 刘欢, 肖根福, 欧阳春娟, 等. 初-精结合和多特征融合的多源遥感图像配准[J]. 遥感信息, 2018, 33(6): 61-70. DOI: 10.3969/j.issn.1000-3177.2018.06.009 LIU H, XIAO G F, OUYANG C J, et al. Initial-fine combination and multi-feature fusion for multi-source remote sensing image registration[J]. Remote Sensing Information, 2018, 33(6): 61-70. DOI: 10.3969/j.issn.1000-3177.2018.06.009
-
期刊类型引用(1)
1. 赵雷磊，贺伟，张森，高凯悦，刘丽娜，张坤钰. 脉冲激光近感探测烟雾回波特性仿真研究. 红外技术. 2023(08): 863-868 . 
本站查看
其他类型引用(3)
下载:
计量
- 文章访问数: 650
- HTML全文浏览量: 258
- PDF下载量: 263
- 被引次数: 4
