红外与可见光图像配准技术研究综述

李云红, 刘宇栋, 苏雪平, 罗雪敏, 姚兰

李云红, 刘宇栋, 苏雪平, 罗雪敏, 姚兰. 红外与可见光图像配准技术研究综述[J]. 红外技术, 2022, 44(7): 641-651.
引用本文: 李云红, 刘宇栋, 苏雪平, 罗雪敏, 姚兰. 红外与可见光图像配准技术研究综述[J]. 红外技术, 2022, 44(7): 641-651.
LI Yunhong, LIU Yudong, SU Xueping, LUO Xuemin, YAO Lan. Review of Infrared and Visible Image Registration[J]. Infrared Technology , 2022, 44(7): 641-651.
Citation: LI Yunhong, LIU Yudong, SU Xueping, LUO Xuemin, YAO Lan. Review of Infrared and Visible Image Registration[J]. Infrared Technology , 2022, 44(7): 641-651.

红外与可见光图像配准技术研究综述

基金项目: 

国家自然科学基金 61902301

陕西省科技厅自然科学基础研究重点项目 2022JZ-35

国家级大学生创新创业训练计划项目 S202110709002

详细信息
    作者简介:

    李云红(1974-),女,教授,硕士生导师,研究方向为红外热像技术、数字图像处理和信号与信息处理技术。E-mail:hitliyunhong@163.com

  • 中图分类号: TP391

Review of Infrared and Visible Image Registration

  • 摘要: 多模态图像配准能提供比单模态图像配准更加丰富和全面的信息,红外与可见光图像配准作为一种常见的多模态配准类型,在电力、遥感、军事以及人脸识别等领域具有重要的应用价值。首先介绍了红外与可见光图像配准的相关技术并阐述了配准中存在的难点与挑战,然后详细分析和总结了基于区域、基于特征和基于深度学习3种红外与可见光图像配准方法,并分别阐述了不同配准方法的优缺点,之后概述了红外与可见光图像配准技术的实际应用,最后对红外与可见光图像配准未来的发展趋势进行讨论。
    Abstract: Multi-modal image registration can provide richer and more comprehensive information than single-modal image registration. Among them, infrared and visible image registration, which is a common multi-modal form of registration, has important application value in fields such as electric power, remote sensing, military, and face recognition. In this paper, the correlation technique of infrared and visible image registration is introduced, and the existing difficulties and challenges involved in registration are analyzed. Subsequently, the advantages and disadvantages of different registration methods are evaluated in detail the three types based on area, feature, and deep learning, and a practical application of infrared and visible image registration technology is presented. Finally, the future development trend of infrared and visible image registration is discussed.
  • 高性能制冷型红外探测器的工作温度在77 K附近,配置旋转式、直线型小型低温斯特林制冷机以提供低温工作环境,已广泛用于军事的多维信息获取及战场态势感知技术,如反装甲(坦克)武器制导、防空武器制导、舰载火控、前视红外成像系统、红外搜索与跟踪系统、红外对抗系统、红外制导导弹等[1-3]。对红外探测器组件而言,工作温度不影响接收信号的截止波长、量子效率等,但会对热生载流子浓度造成影响,通过新工艺或新结构控制热生载流子的流动可以实现探测器工作温度的提高。随着碲镉汞(mercury cadmium telluride, MCT)材料制备工艺的改进和提升,红外探测器芯片组的暗电流得到一定程度的抑制,工作温度有上升的趋势[4-5],文献中有95 K、120 K、140 K、150 K、175 K、200 K、210 K、250 K等报道[1],统称为HOT(high operation temperature)红外探测器。HOT红外探测器配置的低温制冷机尺寸、体积、重量都明显减小,显著提高了制冷机的热力学效率,可使用带可调增压器的数字控制器实现低于2 W DC的低输入功率,实现快速冷却,适用于微型无人机、手持热像仪、手持夜视镜的陀螺稳定有效载荷等设备。第三代MCT焦平面阵列要求的目标工作温度是190~300 K,且性能达到77 K时的指标。探测器芯片对制冷需求降低的趋势,推动了尺寸更小、重量更轻、效率更高、成本更低的微型斯特林制冷机的研制与发展[6-8]。本文阐述了HOT器件用的微型斯特林制冷机的设计技术,综述了目前国内外针对HOT红外探测器研制的微型旋转式斯特林制冷机的发展,涵盖以色列RICOR、法国Thales Cryogenics、高德红外等研制单位的产品。

    HOT器件用小型低温斯特林制冷机的设计遵循SWaP3准则,SWaP3是1999年由唐纳德·里高等人提出的高性能、低成本的思想基础上发展而来,即更小的尺寸(Size)、更小的重量(Weight)、更低的功耗(Power)、更低的成本(Price)、更好的性能(Performance)[8],主要的性能指标包括制冷量、功耗和降温时间。

    用于HOT器件的微型旋转式斯特林制冷机由于工作温度升高,制冷机热力学效率提升,对制冷量的需求相对降低。制冷机的制冷系数COP(coefficient of performance)定义为制冷量Qc与净输入功Qe之比,如下式(1):

    $$ \mathrm{COP}=\frac{Q_{\mathrm{c}}}{Q_e}=\frac{T_c}{T_a-T_c} $$ (1)

    式中:Tc为器件工作温度;Ta为循环最高温度,通常为环境温度。可见,同等条件下,器件工作温度Tc从77 K提高到150 K,制冷机效率会提高接近3倍。

    制冷机的整体效率不仅取决于斯特林循环的效率,还取决于其他子系统,其效率由热循环效率、机械效率、电机效率、控制器效率组成,如下式(2):

    $$ \eta_{\text {cooler }}=\eta_{\text {cycle }} \times \eta_{\text {machine }} \times \eta_{\text {motor }} \times \eta_{\mathrm{CDE}} $$ (2)

    器件的工作温度升高以后,斯特林循环的制冷系数和蓄冷器填料的比热容会有所提升,故热力学循环的效率ηcycle会随之提升;冷头温度升高,其漏热损失会降低,沿杜瓦轴向的温度梯度减小,轴向导热损失、穿梭损失等热损失都会降低,制冷机的效率ηcooler会整体提升。

    在上述设计理念指导下,相比于常规液氮温区制冷机,除了制冷量需求降低引起的压缩副尺寸减小等变化以外,当前HOT器件用斯特林制冷机技术的发展有以下几个重要的方面。

    HOT器件用制冷机通常匹配专门的冷指,通过对冷指材料、几何形状和制造工艺进行优化,以减小冷指的尺寸、壁厚及冷端厚度,在保证冷指刚度的同时减少其漏热。常规冷指与短冷指的主要差异包括:①冷指长度不同,HOT器件用制冷机通常匹配短冷指;②冷指壁厚不同,冷指漏热主要来源是杜瓦瓶与外界环境的热传导、热对流和热辐射。与冷指进行匹配的杜瓦瓶内部抽真空,对流换热导致的热损失忽略不计,抛光冷指外表面可大量减少热辐射,因此主要漏热来源于热传导。传导漏热与杜瓦材料导热系数和材料厚度有关。薄壁管中的导热传热率为式(3):

    $$ Q=\frac{K A\left(T_{\text {hot }}-T_{\text {cold }}\right)}{L} $$ (3)

    式中:K为传热系数,W/(m⋅K);A为横截面积,m2THot为制冷机热端温度,K;TCold为制冷机冷端温度,K;L为长度,m。冷指管的传热方程为式(4):

    $$ \begin{aligned} & Q=K \pi\left(R^2-r^2\right) \frac{\left(T_{\text {hot }}-T_{\text {cold }}\right)}{L}=K \pi\left(R^2-(R-r)^2\right) \\ & \frac{\left(T_{\text {hot }}-T_{\text {cold }}\right)}{L}=K \pi\left(2 R t-t^2\right) \frac{\left(T_{\text {hot }}-T_{\text {cold }}\right)}{L} \end{aligned} $$ (4)

    式中:R是管的外径;r是管的内径;t是管的厚度,由于厚度远小于半径,可以简写为式(5):

    $$ Q=2 K \pi R t \frac{\left(T_{\text {hot }}-T_{\text {cold }}\right)}{L} $$ (5)

    从式(7)中我们可以看到传热速率Q是厚度t的线性函数,因此减小厚度会降低整个冷指管的传导散热。如图 1所示为RICOR公司不同材料及壁厚的冷指在95 K工作温度时的漏热大小[9],可见管壁厚度增加会导致漏热增加。图 2为RICOR公司HOT器件用冷指漏热随壁厚变化及RICOR公司冷指壁厚的设计范围[10]。对于冷指的设计,在尺寸要求占主导地位的应用中,可缩短冷指及对蓄冷器进行优化,在功耗要求占主导地位的应用中,冷指壁厚可从80~100 μm的范围减小到50~60 μm。

    图  1  不同材料的冷指管从300 K到95 K的热负载大小
    Figure  1.  Cold finger heat load from 300 K to 95 K derived from different tube materials
    图  2  不同材料的冷指管从300 K到150 K的热负载大小
    Figure  2.  Cold finger heat load from 300 K to 150 K derived from different tube materials

    与常规控制器相比,HOT器件用小型紧凑制冷机匹配的高效轻质控制器,应具有更小的尺寸重量,更高的控温精度以及更高的效率。HOT器件制冷机配置的控制器,在以下几个方面取得了一定进展:①控制器采用双PCB(printed circuit board))构,以减小外部尺寸;②采用数字化控制器,控制精度和效率都有所提升,同时减小了驱动控制电路的尺寸与重量。③以“电压控制电路”原理控制电机,从而实现转速的电机调控,能一定程度上改善PWM(pulse width modulation)波调制对控制器效率的影响,提高控制器的效率。④比起常规制冷机控制器,驱动电压范围更宽泛。同时,用于HOT器件的制冷机配置的控制器还有以下提升方向:无传感器调控方案或ADUC处理器控制无刷直流电机的有传感器调控方案;用户自主可调控温点等[11]。常规液氮温区制冷机配置的控制器、RICOR在2019年报道的用于HOT器件的K580制冷机[11]所用控制器及HOT器件用制冷机控制器设计指标如表 1所示,可以看到RICOR控制器效率的提升和尺寸重量的减小。

    表  1  HOT器件用制冷机控制器主要特性
    Table  1.  Main characteristics of the cryocooler controller of HOT detector
    Cryocooler Traditional controller RICOR K580 HOT controller
    Controller type Digital/Analog Digital Digital
    Efficiency 80% > 80% > 90%
    Input Voltage 12-24 V 4-16 V Work with a wide operation voltage
    Temperature drift ±0.6 K ±0.2 K > ±0.1 K
    Temperature stability ±3 K ±0.1 K > ±0.2
    Weight 120 g 30 g <30 g
    下载: 导出CSV 
    | 显示表格

    制冷机是集成度较高的机电产品,同时内部含有压缩机进行热力学循环,导致机体发热较明显。制冷机的表面温度会直接影响其性能,系统的热管理对于低温制冷机的功耗和冷却能力至关重要。优化热力学过程、改进热管理,是提高温度环境适应性的重要措施[2]。制冷机的主要发热源为压缩机部件、电机部件、控制器部件。压缩机部件发热源于热力学循环中压缩过程产热及冷指端换热,电机部件发热来源于绕阻焦耳热,控制器部件发热源于电子元器件发热。不加散热夹具时,散热面主要集中在制冷机安装基准面(约占40%)、压缩机缸盖(约占30%)、电机表面(约占30%),一般要求机体表面温度不高于环境温度10℃。HOT器件用制冷机由于功耗更低,散热要求更低一些,设计应充分考虑散热条件,全温区内机体表面温度与环境温度的温差越小越有利于制冷机性能的释放。考虑到制冷机散热设计中由于机体与环境温差较小,同时整体内部空间相对密闭,辐射散热与对流散热作用都较弱,设计过程应充分强化制冷机几个主要散热面与光学平台之间的热传导进行散热,条件允许时增加热沉强化散热。RICOR为满足高环境温度及机载战斗机的严酷振动水平开发了K544旋转集成式斯特林制冷机,并在制冷机层面强化了散热设计,主要包含3个方面:①电机和压缩机外壳之间要有足够的热耦合;②PCB内部设计专门散热路径;③冷指法兰和低温制冷机安装表面之间有足够的热耦合。该机型可在102℃环境温度、95 K工作温度下输出1.3 W的制冷量,温度环境适应性提升显著[12]

    旋转式低温制冷机主要故障机制是运动部件的机械磨损,影响制冷机内部机械部件磨损的一个重要因素制冷机的转速,转速直接影响活塞/气缸部件的线速度和制冷机中不同轴承的转速,从而直接影响这些部件的磨损[13]。旋转制冷机常规的寿命终止模式是磨损导致的轴承故障[14],消除或减缓磨损可以提高制冷机可靠性。常规旋转制冷机活塞耐磨技术是依靠镀层对活塞实施保护。DLC和TiN硬质镀层微观结构致密,硬度高、摩擦系数低,可以较好地保护活塞,提高耐磨寿命[2]

    关于制冷机可靠性的预测,RICOR报道过他们的一般预测方法[15],此后没有太大变化。预测模型是一个乘法模型,在规定工作条件下给定制冷机的实际MTTF(mean time to failure))(θPR)是通过将来自寿命测试或现场数据的基线MTTF值(θb)乘以一系列转换因子(π)得到的。这些因素量化了基线MTTF从参考条件到实际运行条件对环境变换的修正[9]。预测模型为式(6):

    $$ \theta_{\mathrm{PR}}=\theta_{\mathrm{b}} \pi_{\mathrm{E}} \pi_T \pi_{\mathrm{S} 1} \pi_{\mathrm{S} 2} \ldots \ldots $$ (6)

    式中:θPR为预测MTTF;θb为基线MTTF;πE为环境因子;πT为环境温度因子;πSi为应力i转换因子,工作应力转换因子包括制冷机工质压力P和工作频率H,它由热负载和FPA温度等参数得出,故:

    $$ \theta_{\mathrm{PR}}=\theta_{\mathrm{b}} \pi_{\mathrm{E}} \pi_{\mathrm{T}} \pi_{\mathrm{P}} \pi_{\mathrm{H}} $$ (7)

    因子πPπH根据逆幂律计算如式(8):

    $$ \pi_{\mathrm{P}}=\left(\frac{P_{\mathrm{b}}}{P_{\mathrm{PR}}}\right)^2, \pi_{\mathrm{H}}=\left(\frac{H_{\mathrm{b}}}{H_{\mathrm{PR}}}\right)^2 $$ (8)

    式中:b和PR分别代表参考点和实际工作点的工作条件。RICOR通过加速寿命实验的测试结果,对K580的基线寿命进行了预测[11]

    Thales也做了大量寿命测试、可靠性分析来提高制冷机的可靠性,Thales的可靠性研究建立了能够计算制冷机MTTF的表达式如式(9)[16]

    $$ {{\rm{MTTF}}}_{\text{base_RM}}={\left(\frac{{{\rm{RPM}}}_{{\rm{A20}}}}{\text{RP}{\text{M}}_{20℃}}\right)}^{1.5}{{\rm{MTTF}}}_{\text{A20 test Weibull}} $$ (9)

    MTTFbase_RM为制冷机在典型条件(标准工作温度为77 K,环境温度为20℃)下的基线MTTF,MTTFA20 test Weibull是Thales在A20剖面测得的加速寿命试验的结果,RPMA20是Thales的制冷机在A20加速寿命测试中制冷机的转速,RPM20℃是典型条件下制冷机的转速。Thales的研究表明[13],HOT器件用制冷机工作温度从110 K到150 K时,制冷机的负载整体降低,转速会降低约30%。在110 K制冷温度和+20℃环境温度下,若制冷温度升高导致转速降低30%,则对制冷机可靠性的影响可由式(10)计算:

    $$ \begin{array}{l}{{\rm{MTTF}}}_{\text{base_RM HOT}}={\left(\frac{{{\rm{RPM}}}_{A20}}{0.7\ast {{\rm{RPM}}}_{20℃}}\right)}^{1.5}{{\rm{MTTF}}}_{\text{A20 test Weibull}}\\ =1.7\ast {{\rm{MTTF}}}_{\text{base_RM}}\end{array} $$ (10)

    可见,制冷温度的升高对制冷机的可靠性有重要影响。制冷机转速降低30%时(相当于制冷温度从110 K到150 K),预计制冷机的MTTF可增加70%。

    旋转式斯特林制冷机由旋转电机驱动,具有结构紧凑、效率高、启动快等特点,但是整机结构较复杂、振动噪音较大,尤其是运动部件的相互磨损、制冷工质的污染和泄漏使得制冷机的工作寿命受到一定的限制。传统用于红外探测器的旋转式斯特林制冷机工作温度在70~80 K,重量多在250~1000 g范围。用于HOT器件的微型旋转式斯特林制冷机主要设计改进为:①使用更高效率和性能的控制器电机;②冷指材料、结构改进以减小冷指尺寸和热损失;③降低充气压力。典型结构与性能参数为:①重量在200 g以下;②室温下稳态功耗低于2 W;③降温时间在3 min以内;④工作电压在6~7 V;⑤控制器效率提高到90%以上;⑥MTTF>15000 h。以色列RICOR、法国Thales等公司都在持续不断地做微型旋转式斯特林制冷机的研制。

    以色列RICOR公司2012年在SPIE报道的K562S型旋转式斯特林制冷机的改型,将冷指长度由原来的45 mm降低到22.5 mm,工作温度在130~150 K,充气压力从20 Bar降至16 Bar,该制冷机在23℃环境温度150 K工作温度,热负载为160 mW时稳态功耗为1.9 W。如图 3图 4为RICOR公司K562S short & K562S斯特林制冷机及其外型尺寸图。K562S short制冷机的质量能做到135 g。若对功耗要求较高,冷指壁厚还可从80~100 μm降到50~60 μm[9-10]。RICOR另外的产品K563型旋转式斯特林制冷机工作温度从77 K升至130~150 K之后,充气压力从18 Bar降低至6~8 Bar,室温下稳态功耗在1.55~1.64 W[9]。RICOR将常规77 K工作的常规旋转式斯特林制冷机K561工作温度从77 K升至150~200 K,充气压力从20 Bar降低至10 Bar,在23℃环境温度@200 K控温点,测得稳态功耗低于1.2 W[9]。在功耗、质量等方面均有了较大的提升。RICOR公司2015年报道的K562SI是为HOT探测器设计的旋转整体式低温制冷机,它基于K562作了如下改进:①更高效率和性能的新型电机;②冷指更薄更短,以减小漏热。改进之后,热负载为190 mW时,在140 K时的功耗低于2.5 W;降温时间少于3 min 30 s;71℃环境温度@150 K控温点时的总制冷量为500 mW,重量低于185 g,如图 5图 6所示[17]。RICOR公司开发的K580型旋转集成式制冷机[11, 18],如图 7所示。RICOR对其进行了较多性能测试及寿命测试,在150 K控温点、150 mW热负载、23℃环境温度下控温功耗约1.5 W,150 J热负载下降温时间约3 min,在71℃环境温度、150 K控温点下的最大制冷量为600 mW[11]。Thales公司针对HOT器件开发了RM1制冷机,如图 8所示,其性能测试结果显示,在常温下,工作温度每上升20 K,制冷机的降温时间加快约15%,稳态输入功耗约降低15%[13]。武汉高德红外公司基于RS046旋转集成式斯特林制冷机开发的RS046H旋转分置式斯特林制冷机,适配φ6.4 mm的冷指,可在-45℃~+85℃的环境温度范围下工作,比起其他公司的HOT器件用制冷机,环境适应性有所提升,能在100 K控温点@20℃环境温度下输出400 mW冷量。表 2对比了几种用于HOT器件的旋转式斯特林制冷机的主要参数。

    图  3  K562S short & K562S制冷机
    Figure  3.  K562S short & K562S cryocooler and controller image
    图  4  K562S short & K562S制冷机外形图
    Figure  4.  K562S short and K562S cryocooler profile
    图  5  K562SI制冷机外形图
    Figure  5.  K562SI cryocooler profile
    图  6  K562SI制冷机实物
    Figure  6.  K562SI cryocooler and controller image
    图  7  K580制冷机外形图
    Figure  7.  K580 cryocooler profile
    图  8  RM1制冷机外形图
    Figure  8.  RM1 cryocooler profile
    表  2  HOT器件用旋转式斯特林制冷机
    Table  2.  Micro-rotary Stirling cryocoolers for high operating temperature applications
    RICOR RICOR RICOR
    K562S SHORT K562S K562SI
    Cooling capacity 400 mW@150 K,71℃ 350 mW@110 K, 71℃ 500 mW@150 K, 71℃
    Cooldown time 3.5 min@150 J, 150 K 4 min@160 J, 110K 3.5 min@150 J, 150 K
    Power operation 12 V 12 V 12 V
    Input power 2.6 W@185 mW, 150 K 3 W@200 mW, 110 K 2.5 W@200 mW, 150 K
    Maximum input power 12 W 14 W 11 W
    Weight 215 g 215 g 215 g
    MTTF 17000 h 12000 h 17000 h
    Temperature range -40℃-+71℃ -40℃-+71℃ -40℃-+71℃
    RICOR THALES GUIDE INFRARED
    K580 RM1 RS046H
    Cooling capacity 600 mW@150 K, 71℃ 420 mW@110 K, 20℃ > 400 mW@100 K, 20℃
    Cooldown time 3 min@150 J, 150 K 4.5 min@110 J, 110 K < 5min@110J@100K, 20℃
    Power operation 4-16 V 12 V 24-32 V
    Input power 1.5 W@150 mW, 150K 2.9 W@100 mW, 110K < 3.5 W@130 mW, 100K
    Maximum input power 10 W 10 W < 12 W
    Weight 210 g 250 g < 260 g
    MTTF 16000 h 24000 h > 10000 h
    Temperature range -40℃-+71℃ -40℃-+71℃ -45℃-+85℃
    下载: 导出CSV 
    | 显示表格

    本文主要阐述了HOT器件用旋转斯特林制冷机的SWaP3设计理念、设计技术,总结了近年国内外HOT器件用斯特林制冷机开发的进展。HOT器件用小型低温斯特林制冷机的设计应遵循SWaP3准则,以SWaP3准则为指导发展薄壁管短冷指、高效小尺寸控制器、制冷机综合热管理、可靠性预测等设计技术。目前半导体理论体系基本上没有太多的变化,其工作温度需求的提升得益于材料器件制造工艺的提升。随着器件制造工艺的不断提升,在现有基础理论下探测器工作温度不断提高已经成为明确的发展方向,未来的制冷机市场也必将是HOT制冷机的市场。

  • 图  1   基于区域的图像配准算法步骤

    Figure  1.   The steps of region-based image registration algorithm

    图  2   基于特征的图像配准算法步骤

    Figure  2.   The steps of feature-based image registration algorithm

    图  3   基于深度学习的图像配准算法步骤

    Figure  3.   Image registration algorithm principle based on deep learning

    图  4   基于互信息的PSO-Powell图像配准算法及实验结果:算法流程图(a);红外与可见光图像对(b)和配准结果(c)[20]

    Figure  4.   Pso-powell image registration algorithm based on mutual information and experimental results: (a)Flowchart of the PSO–Powell algorithm; (b)A pair of infrared and visual images and (c)Registration results[20]

    图  5   基于点特征的图像配准:(a)红外与可见光图像配准;(b)融合结果

    Figure  5.   Image registration based on point feature: (a)Infrared and visible image registration; (b)Fusion result

    图  6   基于形态学梯度和C_SIFT的实时自适应可见光和红外图像配准及其结果:(a)算法流程图;(b)待配准图像对;(c)待配准图像的形态梯度图像;(d)红外与可见光图像配准结果[24]

    Figure  6.   Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT and result: (a)The flowchart of proposed algorithm; (b)Image pairs to be registered; (c)The morphology gradient image of visible and infrared images; (d)The registration results of visible and infrared images[24]

    图  7   高斯加权形状上下文原理与配准结果:(a)由原始SC提供的对应点的实例;(b)改进的GWSC配准结果[42]

    Figure  7.   Principle and registration results of Gaussian weighted shape Context (GWSC): (a)An example of point correspondence by the original SC; (b)Qualitative registration results of GWSC[42]

    图  8   RegiNet的网络架构。

    Figure  8.   Network architecture of RegiNet

    图  9   基于GAN的变换参数预测框架

    Figure  9.   Transform parameter prediction framework based on GAN

    图  10   变压器对抗网络(TAN)的红外与可见光图像配准框架及部分实验结果:变压器对抗网络框架(a)与配准结果(b)[45]

    Figure  10.   Infrared and visible image registration framework using transformer adversarial network (TAN) and some experimental results: (a) The framework of the proposed Transformer Adversarial Network and (b) registration results of TAN[45]

  • [1]

    LI Y, YU F Y, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]. Cluster Computing the Journal of Networks Software Tools and Applications, 2019, 22(4): 9435-9443.

    [2]

    MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784. DOI: 10.1016/j.patcog.2014.09.005

    [3] 韩静, 柏连发, 张毅, 等. 基于改进配准测度的红外与可见光图像配准[J]. 红外技术, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006

    HAN J, BO L F, ZHANG Y, et al. A registration algorithm of infrared and visible image based on revised measure function[J]. Infrared Technology, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006

    [4]

    Sarvaiya J N, Patnaik S, Bombaywala S. Image registration by template matching using normalized cross-correlation[C]//2009 International Conference on Advances in Computing, Control, and Telecommunication Technologies. IEEE, 2009: 819-822.

    [5]

    YANG Z, SHEN G, WANG W, et al. Spatial-spectral cross correlation for reliable multispectral image registration[C]//2009 IEEE Applied Imagery Pattern Recognition Workshop (AIPR 2009), 2009: 1-8.

    [6]

    MA J, JIANG X, FAN A, et al. Image matching from handcrafted to deep features: A survey[J]. International Journal of Computer Vision, 2021, 129(1): 23-79. DOI: 10.1007/s11263-020-01359-2

    [7]

    Stone H S, Tao B, McGuire M. Analysis of image registration noise due to rotationally dependent aliasing[J]. Journal of Visual Communication and Image Representation, 2003, 14(2): 114-135. DOI: 10.1016/S1047-3203(03)00002-6

    [8]

    LI Z, YANG J, LI M, et al. Estimation of large scalings in images based on multilayer pseudopolar fractional Fourier transform[J]. Mathematical Problems in Engineering, 2013, 2013: 179489.

    [9]

    DONG Y, JIAO W, LONG T, et al. An extension of phase correlation-based image registration to estimate similarity transform using multiple polar Fourier transform[J]. Remote Sensing, 2018, 10(11): 1719. DOI: 10.3390/rs10111719

    [10]

    Fujisawa T, Ikehara M. High-accuracy image rotation and scale estimation using radon transform and sub-pixel shift estimation[J]. IEEE Access, 2019, 7: 22719-22728. DOI: 10.1109/ACCESS.2019.2899390

    [11]

    Fouda Y, Ragab K. An efficient implementation of normalized cross-correlation image matching based on pyramid[C]//2013 International Joint Conference on Awareness Science and Technology & Ubi-Media Computing, IEEE, 2013: 98-103.

    [12]

    YANG M Y, QIANG Y, Rosenhahn B. A global-to-local framework for infrared and visible image sequence registration[C]//2015 IEEE Winter Conference on Applications of Computer Vision, 2015: 381-388.

    [13]

    BAI L F, HAN J, ZHANG Y, et al. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization[J]. Infrared Laser Engineering, 2012, 41(1): 248-254.

    [14]

    CHEN S J, SHEN H L, LI C, et al. Normalized total gradient: A new measure for multispectral image registration[J]. IEEE Transactions on Image Processing, 2017, 27(3): 1297-1310.

    [15]

    YANG T J, TANG Q, LI L. Nonrigid registration of medical image based on adaptive local structure tensor and normalized mutual information[J]. Journal of Applied Clinical Medical Physics, 2019, 20(6): 99-110. DOI: 10.1002/acm2.12612

    [16] 赵洪山, 张则言. 基于文化狼群算法的电力设备红外和可见光图像配准[J]. 光学学报, 2020, 40(16): 51-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202016007.htm

    ZHAO H, ZHANG Z. Power equipment infrared and visible images registration based om cultural wolf pack algorithm[J]. Acta Optica Sinica, 2020, 40(16): 51-64. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202016007.htm

    [17] 孙凤杰, 赵孟丹, 刘威, 等. 基于方向场的输电线路间隔棒匹配定位算法[J]. 中国电机工程学报, 2014, 34(1): 206-213. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201401025.htm

    SUN F, ZHAO M, LIU W, et al. Spacer matching and localizetion algorithm for transmission line video image based on directional field[J]. Proceedings of the CSEE, 2014, 34(1): 206-213. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGDC201401025.htm

    [18] 刘刚, 周珩, 梁晓庚, 等. 非下采样轮廓波域红外与可见光图像配准算法[J]. 计算机科学, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061

    LIU G, ZHOU H, LIANG X, et al. Image registration algorithm for infrared and visible light based on non-subsamoled Contourlet transform[J]. Computer Science, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061

    [19] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm

    WU Y, ZHANG C, ZHANG Y. Image Registration based on gradient and regional mutual information[J]. Journal of Guangxi University: Natural Science Edition, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm

    [20]

    ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization–Powell search algorithm[J]. Optik, 2016, 127(1): 188-191. DOI: 10.1016/j.ijleo.2015.09.199

    [21]

    LI Y, WANG J, YAO K. Modified phase correlation algorithm for image registration based on pyramid[J]. Alexandria Engineering Journal, 2022, 61(1): 709-718. DOI: 10.1016/j.aej.2021.05.004

    [22]

    Morel J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469. DOI: 10.1137/080732730

    [23]

    YANG N, YANG Y, LI P, et al. Research on infrared and visible image registration of substation equipment based on Multi-scale Retinex and ASIFT features[C]//Sixth International Workshop on Pattern Recognition. International Society for Optics and Photonics, 2021, 11913: 1191303.

    [24]

    ZENG Q, ADU J, LIU J, et al. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]. Journal of Real-Time Image Processing, 2020, 17(5): 1103-1115. DOI: 10.1007/s11554-019-00858-x

    [25]

    JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2020, 36(4): 2559-2569.

    [26] 李伟, 王军, 俞跃. 基于可见光匹配矩阵的电气部件故障红外自动识别算法[J]. 红外技术, 2019, 41(11): 1047-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911009.htm

    LI W, WANG J, YU Y. An infrared automatic fault recognition method for electrical parts based on visible matching matrix[J]. Infrared Technology, 2019, 41(11): 1047-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201911009.htm

    [27]

    CHEN Y, DAI J, MAO X, et al. Image registration betwe en visible and infrared images for electrical equipment inspection robots based on quadrilateral features[C]// 2nd International Conference on Robotics and Automation Engineering (ICRAE), 2017: 126-130.

    [28] 戴进墩, 刘亚东, 毛先胤, 等. 基于NSCT域FAST角点检测的电气设备红外与可见光图像配准[J]. 电测与仪表, 2019, 56(1): 108-114. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201901018.htm

    DAI J, LIU Y, MAO X, et al. Registration based on NSCT-domain FAST corner detection for infrared and visible images of electrical equipment[J]. Electrical Measurement & Instrumentation, 2019, 56(1): 108-114. https://www.cnki.com.cn/Article/CJFDTOTAL-DCYQ201901018.htm

    [29] 江泽涛, 刘小艳, 王琦. 基于显著性和ORB的红外和可见光图像配准算法[J]. 激光与红外, 2019, 49(2): 251-256. DOI: 10.3969/j.issn.1001-5078.2019.02.022

    JIANG Z, LIU X, WANG Q. Visible and infrared image registration algorithm based on saliency and ORB[J]. Laser & Infrared, 2019, 49(2): 251-256. DOI: 10.3969/j.issn.1001-5078.2019.02.022

    [30] 占祥慧, 徐智勇, 张建林. 结合滚动引导滤波和相位信息的红外与可见光图像配准[J]. 半导体光电, 2021, 42(5): 726-732. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202105023.htm

    ZHANG X, XU Z, ZHANG J. Infrared and visible images registration using rolling guided filter and phase information[J]. Semiconductor Optoelectronics, 2021, 42(5): 726-732. https://www.cnki.com.cn/Article/CJFDTOTAL-BDTG202105023.htm

    [31]

    LI Q, HAN G, LIU P, et al. An infrared-visible image registration method based on the constrained point feature[J]. Sensors, 2021, 21(4): 1188. DOI: 10.3390/s21041188

    [32]

    CHEN X, LIU L, ZHANG J, et al. Registration of multimodal images with edge features and scale invariant PIIFD[J]. Infrared Physics & Technology, 2020, 111: 103549.

    [33]

    LIU X, LI J B, PAN J S, et al. An advanced gradient texture feature descriptor based on phase information for infrared and visible image matching[J]. Multimedia Tools and Applications, 2021, 80(11): 16491-16511. DOI: 10.1007/s11042-020-10213-z

    [34] 李云红, 罗雪敏, 苏雪平, 等. 基于改进CSS的电力设备红外与可见光图像配准[J/OL]. 激光与光电子学进展: 1-14. [2021-9-9]. http://www.cnki.com.cn/Article/CJFDTotal-JGDJ20210909004.htm.

    LI Y, LUO X, SU X, et al. Registration method for power equipment infrared and visible images based on improved CSS[J/OL]. Laser & Optoelectronics Progress: 1-14. [2021-9-9]. http://www.cnki.com.cn/ Article/CJFDTotal-JGDJ20210909004.htm.

    [35]

    CHENG T, GU J, ZHANG X, et al. Multimodal image registration for power equipment using clifford algebraic geometric invariance[J]. Energy Reports, 2022, 8: 1078-1086. DOI: 10.1016/j.egyr.2022.02.192

    [36] 陈亮, 周孟哲, 陈禾. 一种结合边缘区域和互相关的图像配准方法[J]. 北京理工大学学报, 2016, 36(3): 320-325. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201603018.htm

    CHEN L, ZHOU M, CHEN H. A method for image registration combined by edge region and cross correlation[J]. Transactions of Beijing Institute of Technology, 2016, 36(3): 320-325. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201603018.htm

    [37]

    LIU G, LIU Z, LIU S. et al. Registration of infrared and visible light image based on visual saliency and scale invariant feature transform[J]. J. Image Video Proc. , 2018: 45. https://doi.org/10.1186/s13640-018-0283-9.

    [38] 廉蔺, 李国辉, 张军, 等. 基于边缘最优映射的红外和可见光图像自动配准算法[J]. 自动化学报, 2012, 38(4): 570-581. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201204009.htm

    LIAN L, LI G, ZHANG J, et al. An automatic registration algorithm of infrared and visible images based on optimal mapping of edges[J]. Acta Automatica Sinica, 2012, 38(4): 570-581. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201204009.htm

    [39]

    MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784. DOI: 10.1016/j.patcog.2014.09.005

    [40] 李巍, 董明利, 吕乃光, 等. 基于T分布混合模型的多光谱人脸图像配准[J]. 光学学报, 2019, 39(7): 56-66. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201907007.htm

    LI W, DONG M L, LYU N G, et al. Multispectral face image registration based on t-distribution mixture model[J]. Acta Optica Sinica, 2019, 39(7): 56-66. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201907007.htm

    [41]

    MIN C, GU Y, LI Y, et al. Non-rigid infrared and visible image registration by enhanced affine transformation[J]. Pattern Recognition, 2020, 106: 107377. DOI: 10.1016/j.patcog.2020.107377

    [42]

    MIN C, GU Y, YANG F, et al. Non-rigid registration for infrared and visible images via Gaussian weighted shape context and enhanced affine transformation[J]. IEEE Access, 2020, 8: 42562-42575. DOI: 10.1109/ACCESS.2020.2976767

    [43]

    ZHAO Z, ZHAO L, QI Y, et al. Infrared and visible image registration based on hypercolumns[C]//CCF Chinese Conference on Computer Vision, 2017: 529-539.

    [44]

    WEI Z, JUNG C, SU C. RegiNet: Gradient guided multispectral image registration using convolutional neural networks[J]. Neurocomputing, 2020, 415: 193-200. DOI: 10.1016/j.neucom.2020.07.066

    [45]

    WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]// 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018: 1248-1252.

    [46]

    Kumari K, Krishnamurthi G. GAN-based End-to-End Unsupervised Image Registration for RGB-Infrared Image[C]// 3rd International Conference on Intelligent Autonomous Systems (ICoIAS). IEEE, 2020: 62-66.

    [47]

    MAO Y, HE Z. Dual-Y network: infrared-visible image patches matching via semi-supervised transfer learning[J]. Applied Intelligence, 2021, 51(4): 2188-2197. DOI: 10.1007/s10489-020-01996-7

    [48] 杨冰超, 王鹏, 李晓艳, 等. 基于模态转换结合鲁棒特征的红外图像和可见光图像配准[J]. 激光与光电子学进展, 2022, 59(4): 180-189. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202204017.htm

    YANG B, WANG P, LI X, et al. Infrared and visible light image registration based on model conversion and robust features[J]. Laser & Optoelectronics Progress, 2022, 59(4): 180-189. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202204017.htm

    [49]

    YU K, MA J, HU F, et al. A grayscale weight with window algorithm for infrared and visible image registration[J]. Infrared Physics & Technology, 2019, 99: 178-186.

    [50]

    LUO W, HAO X, XU C, et al. Coarse-to-fine registration for infrared and visible images of power grid[C]// 4th International Conference on Systems and Informatics (ICSAI), 2017: 1181-1185.

    [51] 姜骞, 刘亚东, 方健, 等. 基于轮廓特征的电力设备红外和可见光图像配准方法[J]. 仪器仪表学报, 2020, 41(11): 252-260. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202011028.htm

    JIANG Q, LIU Y D, FANG J, et al. Registration method for power equipment infrared and visible images based on contour feature[J]. Chinese Journal of Scientific Instrument, 2020, 41(11): 252-260. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202011028.htm

    [52] 马露凡, 罗凤, 严江鹏, 等. 深度医学图像配准研究进展: 迈向无监督学习[J]. 中国图象图形学报, 2021, 26(9): 2037-2057. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202109002.htm

    MA L F, LUO F, YAN J P, et al. Deep-learning based medical image registration pathway: towards unsupervised learning[J]. Journal of Image and Graphics, 2021, 26(9): 2037-2057. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202109002.htm

    [53] 刘欢, 肖根福, 欧阳春娟, 等. 初-精结合和多特征融合的多源遥感图像配准[J]. 遥感信息, 2018, 33(6): 61-70. DOI: 10.3969/j.issn.1000-3177.2018.06.009

    LIU H, XIAO G F, OUYANG C J, et al. Initial-fine combination and multi-feature fusion for multi-source remote sensing image registration[J]. Remote Sensing Information, 2018, 33(6): 61-70. DOI: 10.3969/j.issn.1000-3177.2018.06.009

  • 期刊类型引用(3)

    1. 耿利红,饶启超,段燕波,刘湘德,迟国春. HOT器件用旋转式斯特林制冷机数值模拟及实验研究. 真空与低温. 2025(02): 239-247 . 百度学术
    2. 张利明,李艳红,冯志攀,宋淑芳,付志凯,王冠,张磊. 高工作温度碲镉汞红外探测器杜瓦结构研究. 激光与红外. 2024(07): 1081-1085 . 百度学术
    3. 饶启超,耿利红,刘志勇,李建国. 斯特林制冷机热真空环境散热设计与分析. 红外. 2024(11): 28-33 . 百度学术

    其他类型引用(0)

图(10)
计量
  • 文章访问数:  660
  • HTML全文浏览量:  264
  • PDF下载量:  269
  • 被引次数: 3
出版历程
  • 收稿日期:  2022-04-12
  • 修回日期:  2022-05-23
  • 刊出日期:  2022-07-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日