车载红外和可见光图像配准方法

苏建彬, 沈英, 黄磊, 沈元兴

苏建彬, 沈英, 黄磊, 沈元兴. 车载红外和可见光图像配准方法[J]. 红外技术, 2024, 46(10): 1209-1217.
引用本文: 苏建彬, 沈英, 黄磊, 沈元兴. 车载红外和可见光图像配准方法[J]. 红外技术, 2024, 46(10): 1209-1217.
SU Jianbin, SHEN Ying, HUANG Lei, SHEN Yuanxing. Automotive Infrared and Visible Light Image Registration Method[J]. Infrared Technology , 2024, 46(10): 1209-1217.
Citation: SU Jianbin, SHEN Ying, HUANG Lei, SHEN Yuanxing. Automotive Infrared and Visible Light Image Registration Method[J]. Infrared Technology , 2024, 46(10): 1209-1217.

车载红外和可见光图像配准方法

基金项目: 

国家自然科学基金 62005049

详细信息
    作者简介:

    苏建彬(1990-),男,硕士,讲师,主要从事图像处理方面的研究。E-mail: 877518727@qq.com

    通讯作者:

    沈英(1982-),女,博士,教授,博导,主要从事遥感测试、光机电算一体化方面的研究。E-mail: yshen@fzu.edu.cn

  • 中图分类号: TP391.4

Automotive Infrared and Visible Light Image Registration Method

  • 摘要:

    为了提高车辆视觉感知能力,针对交通场景运用提出一种改进的轮廓角方向(contour angle orientation,CAO)算法用于实现红外与可见光图像配准。通过模拟不同的交通场景,对成熟算法进行性能检测对比,选出CAO算法这一优势算法,并对其粗匹配参数和图像预处理图像缩放程序做了改进。实验表明,改进后的CAO算法细匹配更精准,马赛克拼接图拼接处衔接更加自然,线条更加顺滑,效果更好。与原来CAO算法相比,改进后的算法均方根误差值RMSE下降3.29%,查准率Precision提高2.13%,平均运算耗时减少0.11 s,在配准精度和配准实时性方面均证明了算法的改进效果。

    Abstract:

    To enhance the visual perception of vehicles, an improved contour angle orientation (CAO) algorithm is proposed for the registration of infrared and visible light images in traffic scenes. By simulating different traffic scenarios, a performance comparison was conducted among mature algorithms to select the superior CAO algorithm. Subsequently, improvements were made to the coarse matching parameters and image preprocessing scaling procedure. Experiments demonstrate that the refined CAO algorithm achieves more precise fine matching, thus resulting in mosaic stitching with smoother transitions and lines and yielding better results. Compared with the original CAO algorithm, the improved version reduces the RMSE value by 3.29%, increases the precision value by 2.13%, and decreases the average computation time by 0.11 s, thereby demonstrating improvements in both registration accuracy and real-time performance.

  • 中波红外波段具有探测距离远、对比度较高等优点,利于分辨目标热辐射差异。细分后的中/中波双色对于背景和目标存在明显对比度差异,因此能够增强在人工干扰及复杂背景干扰下的目标识别能力,是机载周视红外探测系统主要发展方向。目前制导用的单色中波红外探测器通常遭受大量的假警报,比如来自太阳在植被或海洋上的反射。采用中/中波双色探测技术,可以有效地区分太阳反射和战机。以4.2 μm为界将中波红外分为“红带”和“蓝带”,阳光在“红带”中显示出较高的辐射,而飞机尾焰在“蓝带”中显示较高的辐射。因此中/中波双色与单色中波信号相比,能提供很多增强功能,例如远程绝对温度测量、在宽范围的环境条件下的操作、更好地区分目标和背景杂波、唯一目标特征的光谱识别[1]。为了降低采用双光谱探测器的复杂性、重量、尺寸和成本,将双色探测功能集成到一个芯片上是必要的,并且将双色芯片与集成读出电路结合,能够实现双路信号同步采集和图像逐个像素采集,克服时空匹配问题。

    目前正在研究或制备的双色红外探测器有锑化铟平面双色探测器、碲镉汞双波段探测器、CdS/InSb光伏型紫外/红外双色探测器以及许多新型的双色或多色探测器,比如量子阱多色红外探测器、超晶格红外双色探测器、量子点堆叠红外探测器等[2-3]。其中,锑化铟(InSb)是一种Ⅲ-Ⅴ族化合物半导体材料,具有闪锌矿结构,拥有最小带隙、最小载流子有效质量、最大电子饱和漂移速度和最大迁移率等,具有优异的光电性能,锑化铟红外探测器工作在中波波段,通过分光可实现两个中波波段的探测。另外,以InAs/GaSb为代表的锑化物II类超晶格材料,具有周期性重复结构,可进行灵活的能带结构设计,实现禁带宽度在2~30 μm波段内可调,并且可以进行大尺寸、高均匀性的材料外延生长,非常适用于多波段和甚长波段[4-5],因此锑化物超晶格材料在第三代红外焦平面探测器材料的选择中占据优先位置[5-7]。20世纪末以来,各国科学家对锑化物Ⅱ类超晶格红外探测器进行了大量研究,尤其在材料生长、器件机理、结构设计和器件性能等方面进行实验,取得了许多技术突破,比如新的势垒结构设计、高质量的材料生长技术、高量子效率的器件制备等,使锑化物超晶格焦平面探测器技术获得了迅速发展。由光电导型升级为光伏型,由单元尺寸发展到多元和焦平面阵列,从中波、长波、甚长波的单波段响应发展到中/短波[8]、中/中波、中/长波[9]、长波/超长波[10]的双波段响应。采用锑化物超晶格材料制备双色红外探测器的研究已经成为各国研究的热点,目前来看,美国、德国、以色列等国具备了研制生产双色锑化物超晶格红外焦平面探测器的能力,并处于领先地位[11-12]

    中/中波双色探测器已经处于应用阶段,但新的设计和制备也在不断发展。2010年德国首次将384×288中/中波双色超晶格探测器应用于欧洲的大型运输机导弹来袭警告系统。2011年法国开发出640×512中/中双色焦平面探测器,可观察到10 km外的直升机以及100 km外的富士山。2012年以色列报道了适合于特定的机载导弹预警系统的混合集成中/中双色探测器。这之后新的设计方案和材料不断被报道,本文将根据锑化物中/中波双色红外探测器的研究进展,介绍主要技术路线和特点,以及近年来该技术在国内外的发展趋势。

    采用平面结构的双色探测器,是吸收不同红外波段的光敏元在同一平面上错开排列或拼接而成。优点是不同波段的器件可在同一工艺中制成,没有增加工艺难度。比如InSb双色探测器,通过在其芯片表面分别加上两种不同的滤光片将InSb的响应波段分开,形成中/中双色探测器。

    采用叠层结构的双色探测器,是将吸收一种红外波段的光敏元布置在吸收另一种红外波段的光敏元之上,波长较短的红外材料成为了波长较长材料的滤光片。

    比如以InAs/GaSb为代表的Ⅱ类超晶格材料通常是在GaSb衬底上采用分子束外延生长而成。通过调节InAs和GaSb的比例和排列周期对其禁带宽度进行“人工裁剪”,实现从红外短波到甚长波吸收波段的调节[13]。InAs/GaSb II类超晶格红外中/中波双色焦平面阵列探测器一般采用N-P-N或P-N-P叠层双色器件结构。结构一般都包括5个部分,分别为底部接触层、“红带”吸收层,中间接触层、“蓝带”吸收层、顶部接触层。“蓝带”和“红带”吸收层分别由几百个周期的InAs/GaSb的超晶格构成。接触层由晶格匹配的InAs/GaSb超晶格和掺杂的InAs构成,与电极形成欧姆接触。顺序型结构器件可通过调节器件工作电压实现器件在两个截止波段的切换,从而实现双波段的顺序成像探测,如图 1(a)。同时型结构器件在中间接触层上也增加电极,即三电极输出,通过设置3个电极上的偏压实现两个二极管的同时工作,从而实现双波段的同时成像探测,如图 1(b)

    图  1  N-P-N器件结构图:(a)顺序型和(b)同时型
    Figure  1.  Schematics of N-P-N sequential structure (a) and simultaneous structure (b)

    以“蓝带”为例,在入射光子作用下,电子发生本征激发,产生光生载流子。在内建电场的作用下,光生电子向N区漂移,光生空穴向P区漂移,在外接回路中形成光电流,器件通常工作在零偏压或者负偏压条件。因此在不同偏压下,可以分别获得“蓝带”和“红带”信号。比如双色探测器的一个重要应用是探测高温二氧化碳,因为它在4.2 μm有强烈的辐射,正好在“红带”的响应范围,而在“蓝带”没有响应。通过计算“蓝带”和“红带”之间的信号比值,就可以推断所探测的气体信息。

    从结构上看,平面双色技术牺牲了表面空间,即每一个波段的占空比将减小一半,从而损失了探测器的空间分辨率。而叠层双色技术简化了探测器组件滤光片的研制,有利于光学共轴设计,两种波段光敏元的占空比也不受影响。

    从材料设计上看,采用InSb的平面双色结构不需要专门的材料结构设计,即采用扩散、离子注入等方式成结即可。采用锑化物超晶格的叠层双色材料是一种新型人工窄禁带半导体材料,通过“能带工程”实现禁带宽度可调,具有更高的复杂设计难度。

    从工艺上看,锑化物超晶格的叠层双色工艺可以充分利用已经广泛应用的Ⅲ-Ⅴ族器件加工的工业基础,可以与InSb生产线共线生产,具有很好的可加工性和工程化适应能力,同样具有稳定性高、可靠性强以及低成本的优势。采用传统半导体工艺进行器件制备,叠层双色器件与平面双色器件的主要区别在于台面深度不同和钝化方法优化。由于叠层结构需要更深的台面刻蚀深度,使用湿法化学腐蚀方法存在横向钻蚀大等问题,因此采用化学辅助离子束蚀刻(Chemically-Assisted Ion Beam Etching,CAIBE)或电感耦合等离子体(Inductively Coupled Plasma,ICP)刻蚀等,有较好的深宽比,但是会存在刻蚀残留问题,影响钝化效果。常用的钝化方法有硫化[14]和SiO2钝化[15]等。

    碲镉汞(Hg1-xCdxTe)是比较主流的制冷型红外探测材料,其应用最为广泛。作为三元合金,碲镉汞的禁带宽度可以通过改变Cd组分x值进行调节,这种调节可以满足其在整个红外波段内都有光谱响应。并且在整个组分范围内都是直接带隙半导体,这使其具有量子效率高、掺杂浓度大、范围可调控、电子迁移率高和介电常数低等优点。

    2008年法国报道的碲镉汞中/中波双波段探测器[16],截止波长分别为4.6 μm和5.5 μm,量子效率大于50%,噪声等效温差(Noise Equivalent Temperature Difference,NETD)在20 mK以下,在98 K下有效像元率可达到99.8%。2019年德国AIM公司介绍了其最新的中/中双色碲镉汞探测器[17],像元数为320×256,像元大小为30 μm,“蓝带”的NETD达到22.2 mK,“红带”达到18.0 mK,并将“蓝带”的量子效率改善到60%。

    材料制备难度和器件工艺技术难度都比较大,这是碲镉汞技术的缺点。因为Hg-Te的化学键弱,致使碲镉汞材料性能不稳定,也会导致焦平面器件的均匀性变差和成品率变低。锑化物超晶格探测器不但不存在此缺点,而且具有与碲镉汞类似的优点。比如,锑化物超晶格对垂直入射光响应且具有较大的吸收系数,理论计算得出InAs/GaSb超晶格材料的吸收系数和量子效率与碲镉汞的相当。而锑化物超晶格红外探测器的优点还有均匀性好、电子有效质量大和俄歇复合速率低等,这些特点有利于降低红外探测器的暗电流。目前,Ⅲ-V族锑化物探测器技术作为碲镉汞探测器材料的一种可能的替代品,正处于快速发展中[18]

    2012年,以色列SCD公司采用两个并列的480×384的InSb芯片制作探测器[19],用于机载导弹预警系统。它是依靠每个芯片上面的滤光片来进行双色分光,形成两个光学通道,每个都有特定的芯片和读出电路,集成在一个杜瓦中。并且通过抗反射膜层设计使频带之间的光谱串扰最小,通常低于0.1%,其成像效果如图 2

    图  2  并列式中/中波双色红外探测器成像
    Figure  2.  A fisheye image of hybrid dual-color MWIR detector

    该结构的优点是每个焦平面阵列芯片可以独立选择增益,适应各自的光谱带通量水平,从而实现每个波段的性能优化。还可以通过高动态范围模式实现对低通量目标的高灵敏度和对高通量目标或杂波的低灵敏度的非饱和图像。另外,采用了外延InSb材料制作芯片,在95 K温度下可以实现InSb体材料在77 K温度下的性能,从而降低了杜瓦的热负荷,提高了制冷器的效率。该结构的缺点是需要设计两个光通道,增加了光路设计和镜头数量,并且要考虑机械设计和增加装配难度。因此并列式中/中双色探测器关键的技术和面对的挑战是如何实现共同的视场角、视距、像素坐标。

    目前该结构只见于以色列SCD公司的报道中,后来没有再采用该结构的报道出现。

    2003年美国CMC Electronics Cincinnati公司提出了一种平面式双色InSb焦平面探测器设计方案[20],如图 3,即将滤光片制备到芯片表面实现双色成像。类似地还可以制作成其它形状。

    图  3  InSb中波双色红外探测器滤光片方案
    Figure  3.  Filter deposition pattern of InSb MWIR detector

    2017年瑞典IRnova公司报道了采用该方案的InAs/GaSb超晶格中/中波双色探测器,也是在焦平面阵列上增加滤光片[21]。设计的滤光片能透过3.5~4.1 μm的波段而完全阻止3.5 μm以下的波段,InAs/GaSb超晶格材料在85 K时的截止波长为5.1 μm。制备阵列器件时将阵列上沉积的像元滤光薄膜刻蚀成棋盘图案,如图 4所示。该探测器主要用来识别气体,已用于挥发性有机化合物的气体检测,所述挥发性有机化合物具有3.3 μm的主要吸收峰。气体辐射仅被未经滤光的像元吸收,而滤光后的像元信号被用作参考信号,通过组合的信息对比增强成像质量,这一概念允许在两个不同的波段同时工作,不需要特殊处理或改变读出电路。

    图  4  InAs/GaSb中波双色红外探测器滤光片方案
    Figure  4.  Filter deposition pattern of InAs/GaSb dual-color MWIR detector

    该结构的优点是探测器具有极高的光谱分辨率而无串扰,还可以实现高占空比和高灵敏度。采用该种结构还可以设计更多种类的滤光片实现三色及多色探测,即实现彩色成像,也可以设计窄带通滤光片实现对某种气体辐射信号的探测。另外,工艺上只增加了制备滤光片,不影响工艺复杂度。该结构的缺点是每一个波段的占空比将减小,会损失相应波段探测的空间分辨率。

    目前采用该结构的中/中双色焦平面探测器技术难度不大,工艺相对成熟,已经处于应用阶段。

    2006年德国弗朗霍费固态电子研究所首先报道了中/中波双色超晶格焦平面探测器[22],规模为288×384,器件在“蓝带”(3~4 μm)的NETD为29.5 mK,在“红带”(4~5 μm)为16.5 mK。该器件包括两个背靠背的InAs/GaSb超晶格光电二极管,中间采用接触层隔开,通过MBE技术在非掺的(100)晶向、2英寸的GaSb衬底生长,首先生长200 nm绝缘的晶格匹配的AlGaAsSb缓冲层,接着生长700 nm的n型掺杂的GaSb。为了吸收到高能量的光子,生长330个周期的7.5 ML InAs/10 ML GaSb超晶格光电二极管为“蓝带”。接着生长500 nm的p型GaSb接触层,之后生长150周期的9.5 ML InAs/10 ML GaSb超晶格光电二极管为“红带”。最后生长20 nm的n型InAs。整个探测器结构的厚度仅仅为4.5 μm,与碲镉汞15 μm的厚度相比,减少了工艺技术难度。器件单个像元面积为40 μm,上面有三电极,采用刻蚀方法为CAIBE(Chemically-Assisted Ion Beam Etching),图 5为40 μm和30 μm像元尺寸的器件表面照片。

    图  5  不同像元尺寸的双色超晶格阵列器件表面照片
    Figure  5.  Sections of completely processed dual-color InAs/GaSb FPA with different pixel pitch

    测试结果表明,77 K时0 V电压下,双色波段的50%响应截止波长分别为4 μm和5 μm。同样温度下,-50 mV偏压下“红带”暗电流密度为2.2×10-7 A/cm2,面积与阻抗之积RA为2.5×105 Ω·cm2。由于“蓝带”有着更高的带隙,其暗电流比“红带”值低1~2个数量级。-50 mV偏压下“蓝带”暗电流密度为1.9×10-9 A/cm2,面积与阻抗之积RA为2.3×107 Ω·cm2

    2011年该研究所对器件结构和生长工艺进行了优化[23],其结构如图 6所示。外延生长的超晶格具有更少的缺陷,工艺上改用ICP刻蚀台面,ICP刻蚀具有很高的填充系数和光滑的表面,且没有持续的刻蚀损伤。将像元间距缩小到30 μm,如图 3(b)所示。测试结果表明,“红带”和“蓝带”的NETD性能分别提高到17.9 mK和9.9 mK。

    图  6  双色InAs/GaSb超晶格器件结构图
    Figure  6.  Schematic view of a dual-color InAs/GaSb SL detector pixel

    2015年中国科学院上海技术物理研究所报道了规模为320×256的InAs/GaSb Ⅱ类超晶格中/中双色焦平面阵列探测器的初步结果[24]。探测器采用P-N-P叠层双色外延结构,如图 7所示,制备出两个电极,信号提取采用顺序读出方式。采用分子束外延技术在GaSb衬底上生长超晶格材料,中/中波段红外吸收区的超晶格周期结构分别为7 ML InAs/7 ML GaSb和10 ML InAs/10 ML GaSb。焦平面阵列像元中心距为30 μm。在77 K时测试,器件双色波段的50%响应截止波长分别为4.2 μm和5.5 μm,N-on-P器件平均峰值探测率为6.0×1010 cm·Hz1/2·W-1,盲元率为8.6%;P-on-N器件平均峰值探测率为2.3×109 cm·Hz1/2·W-1,盲元率为9.8%。红外焦平面偏压调节成像测试得到较为清晰的双波段成像。

    图  7  双色器件结构及互连示意图
    Figure  7.  Schematic view of dual-color InAs/GaSb SL detector

    同年该研究所还报道了N-P-N结构的640×512规模探测器的研究结果[25]。两个截止波长为4.5 μm和5.8 μm,特别提到了采用ICP刻蚀技术制备焦平面器件,N-on-P器件峰值探测率为7.73×1010 cm·Hz1/2·W-1,响应率为2.35×107 V/W;P-on-N器件峰值探测率为7.81×1010 cm·Hz1/2·W-1,响应率为2.34×107 V/W,两个中/中波段焦平面性能一致性较好。通过红外焦平面偏压调节成像测试,该器件得到了清晰的双波段热成像。

    该结构的优点除了锑化物超晶格具有的量子效率高、电子有效质量大、吸收率高外,还具有结构紧凑,双波段的像元对准精确,提高了探测器整体性能,也简化了系统其它部件的设计。可以选择使用对信号进行同时或顺序积分,同时积分型要求每个像元的两种通道有独立的电连接,如上述的三电极结构,二极管阵列结构复杂,但读出电路结构简单,两路通道相互影响小。顺序积分型一般通过偏压改变像元的工作通道,同一时间只能对一个通道信号进行积分,且读出电路需满足两种模式工作的要求,如上述的二电极结构,二极管阵列结构较简单,每个像元仅需一个铟柱。从像元密度、占空比和工艺复杂程度考虑,目前多采用顺序积分型。该结构的缺点是存在较大的串音,由于光子穿过短的中波吸收区吸收不完全时会进入长的中波吸收区,并且两吸收区截止波长相差很小,工作波段存在交叠。目前多数报道采用PIN型结构,但因为PIN型结构器件的暗电流还较高,新的设计结构也在不断出现。

    2017年中国科学院半导体研究所报道了niBin结构的双色超晶格探测器[26],器件的能带图如图 8所示。包括5个部分,分别为底部接触层、“红带”吸收层,势垒层、“蓝带”吸收层、顶部接触层。“蓝带”由500个周期的4 ML InAs/7 ML GaSb超晶格构成,“红带”由400个周期的7 ML InAs/7 ML GaSb超晶格构成。两个吸收层都为非故意掺杂。处于两吸收层之间的势垒层为0.2 μm厚的Al0.2Ga0.8Sb,目的是通过阻挡电子来减少暗电流,但不对空穴形成屏障。底部接触层由0.5 μm的4 ML InAs/7 ML GaSb超晶格构成,其中InAs用Si掺杂。顶部接触层由140周期的4 ML InAs/7 ML GaSb超晶格和最上层20 nm用Si掺杂的InAs构成。

    图  8  niBin结构的双色超晶格材料能带图
    Figure  8.  The band structure of the niBin device

    整个超晶格材料是在001晶向的GaSb衬底上MBE生长的,采用湿法化学腐蚀台面的方法和SiO2钝化方法。在-0.1 V偏压下,其在90 K时和300 K时的50%响应截止波长分别为3.13 μm和3.96 μm。在0.1 V偏压下,则分别为3.62 μm和4.91 μm。室温时在-0.05 V的工作电压下,器件峰值探测率为4.71×1010 cm·Hz1/2·W-1,在0.1 V电压下为3.93×109 cm·Hz1/2·W-1

    该结构的优点是通过插入势垒层来降低器件的暗电流和提高器件的工作温度,最终提高探测器的探测率。但增加了器件结构设计和材料外延生长难度,目前还处于单元中/中波双色器件试验验证阶段。

    上述几种锑化物中/中波双色红外焦平面探测器的性能参数如表 1所示。

    表  1  各种锑化物中/中波双色红外焦平面探测器的性能参数
    Table  1.  Specification of Mid-/Mid-Wavelength dual-color infrared detector performance
    Year Country Company or institute Materials Structure Array format Pixel Pitch/μm Working waveband/μm Peak Detectivity/
    (cm⋅Hz1/2⋅W-1)
    NETD/mK
    2012 Israel SemiConductor Devices (SCD) InSb Parallel 480×384 - - - -
    2017 Sweden IRnova AB InAs/GaSb Flat 320×256 30 3.0-3.5
    3.5-4.1
    - -
    2006 Germany Fraunhofer-Institute InAs/GaSb PIN Stack 384×288 40 3-4
    4-5
    - 29.5
    16.5
    2011 Germany Fraunhofer-Institute InAs/GaSb PIN Stack 384×288 30 3-4
    4-5
    - 17.9
    9.9
    2015 China Shanghai Institute of Technical Physics InAs/GaSb PIN Stack 320×256 30 3-4.2
    4.2-5.5
    6.0×1010
    2.3×109
    -
    2015 China Shanghai Institute of Technical Physics InAs/GaSb PIN Stack 640×512 30 3-4.5
    4.5-5.8
    7.73×1010
    7.81×1010
    -
    2017 China Institute of Semiconductors InAs/GaSb niBin Stack - - - - -
    下载: 导出CSV 
    | 显示表格

    从器件结构上看,器件结构经历了增加滤光片的方式到叠层结构,叠层结构的中中波的分离由光敏芯片完成,其焦平面阵列结构紧凑,且可得到精确的像元配准,提高了系统的性能,同时也大大简化了系统其他元件的设计,能够满足灵敏度高、响应速度快、结构紧凑的军事应用需求。

    从材料设计上看,主要采用InAs/GaSb II类超晶格材料,从PIN结构逐步向在超晶格中插入薄的AlSb或合金层作为新的调整手段。目前典型的二元InAs/GaSb对称结构仍是最成熟的主流技术。近年来InAs/InAsSb超晶格逐渐受到重视,其波长范围逐渐从长波扩展到中波。优点是高温暗电流小,无Ⅱ类界面生长控制问题,缺点是吸收率不占优势,有Ⅴ族比例控制问题,因此在双色器件中还没有表现出明显优势。

    从工艺加工上看,经历了湿法腐蚀台面到干法刻蚀台面,但对主要影响器件性能的钝化方法都没有介绍。但发展趋势仍然是不断优化设计和提升工艺水平来减小暗电流和提高器件性能,工艺稳定性和一致性也需要进一步验证。

    综上所述,目前中/中波双色锑化物探测器需要在探测器结构设计、锑化物超晶格材料生长、阵列器件制备等方面进行进一步研究。针对中/中波双色探测需求,综合匹配滤光片、超晶格材料特性、读出电路等。进行超晶格材料生长,设计和验证不同层厚和势垒结构的器件。开展锑化物超晶格双色焦平面阵列制备,突破刻蚀技术、钝化技术和互连技术等。

    本文概述了中/中波双色锑化物红外探测技术的主要技术路线和技术特点,并简要回顾了中/中波双色锑化物红外探测技术的发展历史。从中可以看出,与传统InSb双色探测器相比,中/中波双色超晶格红外器件用于红外成像探测具有鲜明的特点和优势。中/中波双色超晶格红外探测技术在国内获得越来越高的重视,不断接近国际先进水平。但是距实用阶段还有相当多的工作要做,目前需要进一步突破中/中双色焦平面芯片结构设计及材料生长、大规模小像元焦平面芯片制备、中波双色时分读出电路设计等关键技术,研制出更大阵列规模的中波双色叠层式超晶格焦平面探测器,提高探测器性能,早日实现中/中波双色大规模锑化物红外焦平面探测器的工程化应用。

  • 图  1   CAO算法流程示例

    Figure  1.   Flow chart of CAO algorithm

    图  2   改进前后的粗匹配示意图

    Figure  2.   Schematic diagram of rough matching before and after improvement

    图  3   交通场景分类图例:(a)~(e)分别是非机动车场景、行人场景、机动车场景、道路岔口场景、混合交通场景

    Figure  3.   Traffic scenario classification legend: (a) to (e) are respectively non-motor vehicle scene, pedestrian scene, motor vehicle scene, road fork scene, and mixed traffic scene

    图  4   视角偏差分类图例

    Figure  4.   Illustration of angle of view deviation classification

    图  5   本次实验图像集采集器材

    Figure  5.   Image collection equipment for this experiment

    图  6   各场景图像配准融合结果:(a) 行人场景;(b) 非机动车场景;(c) 机动车场景;(d) 道路岔口场景;(e) 混合交通场景

    Figure  6.   Image registration fusion results of each scene: (a) Pedestrain scene; (b) Non-motorized vehicle scene; (c) Motorized vehicle scene (d) Road intersection scene; (e) Mixed traffic scene

    图  7   五种算法在各场景中的RMSE值和precision值

    注:PS为行人场景、NMVS非机动车场景、MVS为机动车场景、RIS为道路岔口场景、MTS为混合交通场景

    Figure  7.   RMSE values and precision values of the five algorithms in each scenario

    Note: PS is pedestrain scene; NMVS is non-motorized vehicle scene; MVS is motorized vehicle scene; RIS is road intersection scene; MTS is mixed traffic scene

    图  8   改进前后的细匹配结果

    Figure  8.   Fine matching results before and after improvement

    图  9   改进前后的马赛克拼接图对比

    Figure  9.   Comparison of mosaic before and after improvement

    图  10   边缘特征提取算法和改进前后CAO算法在复杂视角偏差组中性能表现

    Figure  10.   Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in complex angle of view deviation groups

    图  11   边缘特征提取算法和改进前后CAO算法在水平偏差、纵向偏差、无明显视角偏差组中性能表现

    Figure  11.   Performance of edge feature extraction algorithm and CAO algorithm before and after improvement in horizontal deviation, longitudinal deviation and no obvious angle of view deviation groups

    图  12   算法改进前后运行耗时对比

    Figure  12.   Comparison of running time before and after algorithm improvement

    表  1   按场景分类图像对数量

    Table  1   Classifies the number of image pairs by scene

    Scene classification Number of image pairs
    Pedestrian 5
    Non-motorized vehicle 2
    Motorized vehicle 2
    Road intersection 5
    Mixed traffic 6
    下载: 导出CSV

    表  2   按视角偏差分类图像对数量

    Table  2   Categorizes the number of image pairs according to viewpoint deviation

    Classification of angle of view deviation Horizontal angle of view deviation Vertical angle of view deviation Complex angle of view deviation No significant angle of view deviation
    Number of image pairs 7 2 5 6
    下载: 导出CSV

    表  3   实验器材信息

    Table  3   Information of the experimental equipment

    Experimental equipment Related parameters
    Visible light camera Hikvision camera, resolution: 2048×1536, Focal length: 12 mm
    Infrared camera FLIR infrared camera, resolution: 640×480, Focal length: 16 mm
    Test platform AMD 5600X processor, 16 G memory
    下载: 导出CSV

    表  4   边缘特征提取算法和改进前后CAO算法的RMSE平均值与Precision平均值

    Table  4   RMSE and precision average values of edge feature extraction algorithm and CAO algorithm before and after improvement

    EFE CAO Improved CAO
    RMSE mean value 10.70 7.90 7.64
    Precision mean value 0.70 0.94 0.96
    下载: 导出CSV

    表  5   算法改进前后在各视角偏移中的平均运行耗时

    Table  5   The average running time of each angle of view offset before and after algorithm improvement

    Evaluation metrics Comparison algorithm Horizontal deviation Longitudinal deviation Complex deviation No deviation
    Average runtime/s Original algorithm 4.58 4.79 4.63 5.14
    Improved algorithm 4.50 4.24 4.59 5.07
    下载: 导出CSV
  • [1]

    HONG R, XIANG C L, LIU H, et al. Visualizing the knowledge structure and research evolution of infrared detection technology studies[J]. Information, 2019, 10(7): 227. DOI: 10.3390/info10070227

    [2]

    LI S T, KANG X D, FANG L Y, et al. Pixel-level image fusion: a survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112. DOI: 10.1016/j.inffus.2016.05.004

    [3]

    MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004

    [4]

    Castillo J C, Fernandez-Caballero A, Serrano-Cuerda J, et al. Smart environment architecture for robust people detection by infrared and visible video fusion[J]. Journal of Ambient Intelligence and Humanized Computing, 2017, 8(2): 223-237. DOI: 10.1007/s12652-016-0429-5

    [5]

    Fendri E, Boukhriss R R, Hammami M. Fusion of thermal infrared and visible spectra for robust moving object detection[J]. Pattern Analysis and Applications, 2017, 20(4): 907-926. DOI: 10.1007/s10044-017-0621-z

    [6]

    Apatean A, Rogozan A, Bensrhair A. Visible-infrared fusion schemes for road obstacle classification[J]. Transportation Research Part C-Emerging Technologies, 2013, 35: 180-192. DOI: 10.1016/j.trc.2013.07.003

    [7]

    DONG Yakui, FEI Cheng, ZHAO Guopeng, et al. Registration method for infrared and visible image of sea surface vessels based on contour feature[J]. Heliyon, 2023, 9(3): 14166-14176. DOI: 10.1016/j.heliyon.2023.e14166

    [8]

    Kumar K S, Kavitha G, Subramanian R, et al. MATLAB-A Ubiquitous Tool for the Practical Engineer[M]. Croatia: InTech, 2011: 307-326.

    [9] 李大华, 郑文鹏, 李璇, 等. 基于局部归一化的电力设备红外与可见光图像配准[J/OL]. 激光与光电子学进展, 2025, 62(6): 0637007.

    LI Dahua, ZHENG Wengpeng, LI Xuan, et al. Infrared and visible image registration of power equipment based on local normalization[J]. Laser & Optoelectronics Progress, 2025, 62(6) : 0637007.

    [10] 程国华, 王阿川, 陈舒畅, 等. 多源遥感影像高精度自动配准方法研究[J]. 液晶与显示, 2016, 31(6): 604-612.

    CHEN Guohua, WANG Achuan, CHEN Shuchang, et al. High accuracy-automatic registration method research on multi-source remote sensing image[J]. Liquid Crystals and Displays, 2016, 31(6): 604-612.

    [11] 谭东杰, 张安. 方向相关与互信息加权组合多模图像配准方法[J]. 红外与激光工程, 2013, 42(3): 836-841. DOI: 10.3969/j.issn.1007-2276.2013.03.067

    TAN Dongjie, ZHANG an, Multi-model image registration based on weighted orientation correlation and mutual information[J]. Infrared and Laser Engineering, 2013, 42(3): 836-841. DOI: 10.3969/j.issn.1007-2276.2013.03.067

    [12] 李云红, 刘宇栋, 苏雪平, 等. 红外与可见光图像配准技术研究综述[J]. 红外技术, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7

    LI Yunhong, LIU Yudong, SU Xueping, et al. Review of infrared and visible image registration[J]. Infrared Technology, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7

    [13] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727.

    WU Yanhai, ZHANG Cheng, ZHANG Ye. Image registration based on gradient and regional mutual information[J]. Journal of Guangxi University(Natural Science Edition), 2017, 42(2): 720-727.

    [14] 孙凤杰, 赵孟丹, 刘威, 等. 基于方向场的输电线路间隔棒匹配定位算法[J]. 中国电机工程学报, 2014, 34(1): 206-213.

    SUN Fengjie, ZHAO Mengdan, LIU Wei, et al. Spacer matching and localization algorithm for transmission line video images based on directional field[J]. Proceedings of the CSEE, 2014, 34(1): 206-213.

    [15] 刘刚, 周珩, 梁晓庚, 等. 非下采样轮廓波域红外与可见光图像配准算法[J]. 计算机科学, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061

    LIU Gang, ZHOU Heng, LIANG Xiaogeng, et al. Image registration algorithm for infrared and visible light based on non-subsampled contourlet transform[J]. Computer Science, 2016, 43(11): 313-316. DOI: 10.11896/j.issn.1002-137X.2016.11.061

    [16]

    MA J, JIANG X, FAN A, et al. Image matching from handcrafted to deep features: a survey[J]. International Journal of Computer Vision, 2021, 129(1): 23-79. DOI: 10.1007/s11263-020-01359-2

    [17]

    MOREL J M, YU G. ASIFT: A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469. DOI: 10.1137/080732730

    [18]

    YANG N, YANG Y, LI P, et al. Research on infrared and visible image registration of substation equipment based on multi-scale Retinex and ASIFT features[C]//Sixth International Workshop on Pattern Recognition. International Society for Optics and Photonics, 2021, 11913: 1191303.

    [19]

    BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[C]//European Conference on Computer Vision(ECCV), 2006, 3951(1): 404-417.

    [20]

    JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2021, 36(4): 2559-2569. DOI: 10.1109/TPWRD.2020.3011962

    [21] 李云红, 罗雪敏, 苏雪平, 等. 基于改进曲率尺度空间算法的电力设备红外与可见光图像配准[J]. 激光与光电子学进展, 2022, 59(12): 138-145.

    LI Yunhong, LUO Xuemin, SU Xueping, et al. Registration method for power equipment infrared and visible images based on improved curvature scale space algorithm[J]. Progress in Laser and Optoelectronics, 2022, 59(12): 138-145.

    [22]

    CHENG T, GU J, ZHANG X, et al. Multimodal image registration for power equipment using clifford algebraic geometric invariance[J]. Energy Reports, 2022, 8: 1078-1086. DOI: 10.1016/j.egyr.2022.02.192

    [23] 陈亮, 周孟哲, 陈禾. 一种结合边缘区域和互相关的图像配准方法[J]. 北京理工大学学报, 2016, 36(3): 320-325.

    CHEN Liang, ZHOU Mengzhe, CHEN He, A method for image registration combined by edge region and cross correlation[J]. Transactions of Beijing Institute of Technology, 2016, 36(3): 320-325.

    [24] 付添, 邓长征, 韩欣月, 等. 基于深度学习的电力设备红外与可见光图像配准[J]. 红外技术, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a

    FU Tian, DENG Changzheng, HAN Xinyue, et al. Infrared and visible image registration for power equipment based on deep learning[J]. Infrared Technology, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a

    [25] 赵俊梅, 张利平. 复杂天气和环境下交通标志图像特征匹配技术的研究[J]. 车辆与动力技术, 2022(4): 38-43.

    ZHAO Junmin, ZHANG Liping. Research on image feature matching technology of traffic signs in complex weather and environment[J]. Vehicle & Power Technology, 2022(4): 38-43.

    [26] 姜骞, 刘亚东, 方健, 等. 基于轮廓特征的电力设备红外和可见光图像配准方法[J]. 仪器仪表学报, 2020, 41(11): 252-260.

    JIANG Qian, LIU Yadong, FANG Jian, et al. Registration method for power equipment infrared and visible images based on contour feature[J]. Chinese Journal of Scientific Instrument, 2020, 41(11): 252-260.

    [27] 徐伯庆, 孙国强, 陈离. 数字图像缩放的原理与硬件实现[J]. 上海理工大学学报, 2002, 24(3): 222-225. DOI: 10.3969/j.issn.1007-6735.2002.03.005

    XU Boqing, SUN Guoqiang, CHEN Li. The principle and hardware implementation of digital image scaling[J]. Journal of University of Shanghai for Science and Technology, 2002, 24(3): 222-225. DOI: 10.3969/j.issn.1007-6735.2002.03.005

    [28] 余先川, 吕中华, 胡丹. 遥感图像配准技术综述[J]. 光学精密工程, 2013, 21(11): 2960-2972.

    YU Xianchuan, LV Zhonghua, HU Dan. Review of remote sensing image registration techniques[J]. Optics and Precision Engineering, 2013, 21(11): 2960-2972.

    [29] 陈勇, 皮德富, 周士源, 等. 基于小波变换的红外图像融合技术研究[J]. 红外与激光工程, 2001, 30(1): 3.

    CHEN Yong, PI Defu, ZHOU Shiyuan, et al. Study for infrared image fusion based on wavelet transform[J]. Infrared and Laser Engineering, 2001, 30(1): 3.

    [30]

    Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//International Conference on Computer Vision, 2011, 2564-2571(DOI: 10.1109/ICCV.2011.6126544).

图(12)  /  表(5)
计量
  • 文章访问数:  136
  • HTML全文浏览量:  21
  • PDF下载量:  42
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-10-24
  • 修回日期:  2024-01-01
  • 刊出日期:  2024-10-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日