基于边缘结构特征的红外与可见光图像配准算法

徐海洋, 赵伟, 刘建业

徐海洋, 赵伟, 刘建业. 基于边缘结构特征的红外与可见光图像配准算法[J]. 红外技术, 2023, 45(8): 858-862.
引用本文: 徐海洋, 赵伟, 刘建业. 基于边缘结构特征的红外与可见光图像配准算法[J]. 红外技术, 2023, 45(8): 858-862.
XU Haiyang, ZHAO Wei, LIU Jianye. Infrared and Visible Image Registration Algorithm Based on Edge Structure Features[J]. Infrared Technology , 2023, 45(8): 858-862.
Citation: XU Haiyang, ZHAO Wei, LIU Jianye. Infrared and Visible Image Registration Algorithm Based on Edge Structure Features[J]. Infrared Technology , 2023, 45(8): 858-862.

基于边缘结构特征的红外与可见光图像配准算法

基金项目: 

国家自然科学基金 61603181

江苏高校优势学科建设工程项目 

详细信息
    作者简介:

    徐海洋(1997-),男,江苏宿迁人,硕士研究生,研究方向为图像处理。E-mail:xuhaiyang@nuaa.edu.cn

  • 中图分类号: TP391

Infrared and Visible Image Registration Algorithm Based on Edge Structure Features

  • 摘要: 针对红外与可见光图像难以提取特征点实现配准的问题,提出一种基于边缘结构特征的红外与可见光图像配准算法。首先通过优化的显著性算法增强红外图像的结构特征;其次利用相位一致性提取红外和可见光图像的稳定边缘结构;然后提取边缘结构的ORB(oriented FAST and rotated BRIEF)特征点;最后结合KNN(K-nearest neighbor)算法和余弦相似度对匹配特征点进行筛选,并应用RANSAC(random sample consensus)算法进行提纯。实验表明,该算法能够克服灰度差异的影响,具有较高的配准精度和效率,有助于实现红外与可见光图像的配准。
    Abstract: Here, a registration algorithm based on edge structure features is proposed to solve the difficulty of extracting feature points from infrared and visible images. First, the structural features of infrared images are enhanced using an optimized saliency algorithm. Second, we extract the stable edge structures of the infrared and visible images using a phase consistency algorithm. Further, the ORB feature points are extracted from the edge structures. Finally, the KNN algorithm and cosine similarity are combined to filter the matching feature points, and the random sample consensus (RANSAC) algorithm is used for purification. Experimental results show that the algorithm overcomes the influence of grayscale differences between infrared and visible images. In addition, it achieves a high registration accuracy and efficiency, which is conducive to the registration of infrared and visible images.
  • 微型J-T效应制冷器(焦耳-汤姆逊制冷器)[1]的研究始于20世纪50年代,这种制冷器是利用高压高纯的氮气、氩气或空气,通过节流小孔,产生节流制冷效应[2]。该制冷器无运动的机械机构,尺寸小,启动快,非常适合各型红外制导武器系统[3]。红外制导导弹在迅速发展的红外探测器件的牵引下,其抗干扰性已得到不断的改进和提高[4]

    红外导引头的探测器作用距离除与目标的红外辐射强度及辐射光谱特性有关外,也与其自身的灵敏度及外在环境的气象条件有关,因此,红外导引头在生产调试过程中,需使用专用测试系统完成高低温环境下探测器的制冷时间测试,以确定制冷量需求。

    在此背景下,结合某型武器系统红外导引头制冷用气和测试需要,本文介绍了一种红外导引头制冷供气测试系统的设计方法,该系统可以满足导引头批量生产用气和测试需要。

    红外导引头制冷供气测试系统主要用于为某型红外导弹提供满足要求的制冷气体,并对导引头探测器制冷启动时间和制冷量进行测试和采集。

    系统采用高压气驱增压泵对低压氩气进行增压,可实现到压自动停机;配置有高压电磁阀,通过工控机自动进行供气控制;配备有高低温试验系统和数据采集模块,可模拟导引头探测器实际工作温度,进行压力、温度、制冷量、成像数据的自动采集。

    制冷供气测试系统从结构上主要由供气系统、高低温试验系统和数据采集系统组成(如图 1所示)。

    图  1  制冷供气测试系统外形
    Figure  1.  Apperance of refrigeration gas supply test system

    供气系统主要由气驱增压泵、纯化器、过滤器、高压缓冲罐、减压器、阀门、高压管路和智能压力控制器组成,用于对氩气进行增压、干燥、储存、过滤和减压输出。其气路原理图如图 2所示。

    图  2  供气系统气路原理图
    Figure  2.  Schematic diagram of gas supply system

    供气系统气路分为3路:

    驱动气路:0.8~1 MPa的压缩空气分两路输入,一路经减压器(JY1)减压后为气驱增压泵提供驱动力,通过调节减压器压力可控制增压速率,另一路驱动气驱增压泵进行换向;

    预增压气路:5~15 MPa的高纯氩气经纯化器(CHQ1)干燥净化后进入气驱增压泵,通过减压器(JY2)可调节进气压力大小,进而控制增压效率;

    高压气路:气驱增压泵增压至100 MPa后,通过智能压力控制器控制气驱增压泵自动停止,增压后的高压氩气存入高压缓冲罐(HCG1)备用,并通过过滤器(G4)再次过滤,通过减压器(JY3)可控制输出压力。

    本供气系统可实现的技术指标如下:

    ① 气体介质:高纯氩(5~15 MPa);

    ② 增压压力:≤100 MPa;

    ③ 露点控制:≤-65℃(常压);

    ④ 减压输出压力:0~55 MPa。

    高低温试验系统由环境试验箱、模拟气瓶[5]、高压电磁阀、高压针阀、红外导引头、红外玻璃等组成,如图 3所示。

    图  3  高低温试验系统外形组成图
    Figure  3.  Outline composition diagram of high and low temperature test system

    其中,试验箱用于控制高压氩气、探测器等的温度,模拟探测器实际工作环境温度;高压储气瓶采用嵌入式安装框架集成在环境试验箱,可通过供气系统和安装框架上的针阀充入指定压力的高压氩气,进行制冷耗气量的测试,针阀用于高压储气瓶的开闭控制;高压电磁阀通过数据采集系统上位机控制,实现高压储气瓶中高压氩气向导引头输送,通过毛细管节流实现制冷效果;红外玻璃用于红外光透入对接模拟目标源。

    高低温试验系统试验的技术指标如下:

    ① 测试温度:-50℃~+200℃;

    ② 储气压力:0~55 MPa。

    数据采集系统主要由测试柜体、工控机、显示屏、CAN盒、LVDS板卡、视频采集卡、直流电源等组成,可实现系统压力、温度、制冷启动时间、成像图片、视频等数据的采集。系统结构图如图 4所示。

    图  4  测试系统结构图
    Figure  4.  Test system structure diagram

    测试软件实现的功能包括:

    ① 实时接收并显示LVDS卡图像、视频、CAN卡数据状态等;

    ② 温度和压力数据曲线实时显示;

    ③ 实时保存温度和压力数据;

    ④ 实时保存LVDS卡接收数据、视频卡接收视频、CAN卡接收数据;

    ⑤ 解析CAN卡和LVDS卡接收数据。

    操作人员与设备间通过人机交互界面完成测试控制,该功能由主控模块负责,主控模块的基本操作流程如图 5所示。

    图  5  主控模块操作流程
    Figure  5.  Operation flow of main control module

    根据实际测试需要,开发如图 6~图 8的软件界面,其中:

    图  6  主测试界面
    Figure  6.  Main test interface
    图  7  LVDS解析界面
    Figure  7.  LVDS parsing interface
    图  8  AD校准界面
    Figure  8.  AD calibration interface

    ① 主测试界面:用于实现测试过程控制和参数监控,能够实时显示压力、温度、图像等数据信息;

    ② LVDS解析界面:用于对CAN卡和LVDS卡接收数据进行分析、处理和转换,以便于后期数据处理;

    ③ AD校准界面:用于测试前对压力、温度等采集信号进行自校准,保证数据采集的准确性。

    结合系统在工程实践中遇到的问题,对系统的结构进行优化改进,主要体现在以下几个方面:

    系统采用模块化的设计思想,供气系统、高低温试验系统、数据采集系统采用分体设计,每个分系统按其功能设计为独立模块,互不干涉,其气路和电气接口采用通用接口,使得系统各独立模块可单独使用,提高了系统的适用范围。

    导弹在飞行过程中,其周围的气候条件差异性很大,有可能经历极端的高温或低温环境。为了模拟高低温条件对导弹捕获目标性能的影响,在高低温试验系统中需要用到高低温箱,同时,不同环境下导引头工作所需的制冷量不同,节流制冷器耗气量的大小决定了弹上气瓶的体积、重量、工作时间等[5],这就要求为导引头提供不同容积的模拟气瓶以验证其在不同温度下对氩气的需求。

    首先,模拟气瓶必须置于高低温箱内部以保证氩气能够达到设定的环境温度,同时模拟气瓶的充气控制阀门和供气控制阀门需设置在高低温箱外部以方便操作。

    其次,模拟气瓶与阀门的连接管路尽量固定,以避免在反复测试过程中可能造成的漏气问题。

    基于以上分析,在本项目设计时,模拟气瓶与阀门的设计和连接形式仍采用模块化的设计思想(如图 9所示),其设计思路如下:

    图  9  高低温试验系统外部结构
    Figure  9.  External structure of high and low temperature test system

    ① 模拟气瓶设置3种容积,气瓶直径相同,长度不同,可根据不同的制冷量组合选择所需容积;

    ② 模拟气瓶、电磁阀、压力传感器固定于气瓶架上,气瓶架和充气、供气针阀固定于面板上,所有器件采用不锈钢管连接,其充气口采用穿板接头固定于高低温箱侧板,有效保证了结构的整体性和稳定性,避免了频繁拆装;

    ③ 面板与高低温箱侧板嵌入式连接,其接触面填充宽温橡胶材料,以保证温箱的保温和密封性能;

    ④ 温箱侧壁设置过线孔并加橡胶塞。

    通过以上设计,主要解决了以下问题:

    ① 高压供气管路一体化铺设,外部接口少,连接操作减少,避免了频繁拆装和漏气,提高了可靠性;

    ② 阀门操作时无需打开高低温箱门,避免了高低温箱内部温度变化,减少对试验的影响;

    ③ 模拟气瓶为同直径设计,简化了生产工艺,提高了互换性。

    高低温箱在进行环境温度模拟时,内部放置有导引头和红外滤光玻璃,目标源红外光经高低温箱门上的双层保温玻璃(光入口,见图 10)进入箱内,经红外滤光玻璃被导引头识别,但在实际工作过程中,因高低温箱内外部温度的差异,温箱门外层玻璃因与大气接触,不可避免会产生水汽进而结霜,由此造成接收光源强度减弱,影响导引头对光波的采集。

    图  10  高低温试验箱内部结构
    Figure  10.  Internal structure of high and low temperature test system

    在本设计中,为防止温箱玻璃窗口在低温下结霜,影响光波照入强度,我们将高低温试验箱压缩机热风出口通过软管引至双层玻璃夹层内,通过预先试验识别结霜温度,借助温度传感器和PLC控制模块,当温度临近结霜温度时,热风自动吹出,使双层玻璃时刻保持加热状态,经实测验证达到了良好的除霜效果。

    通过本设计系统的实施,提供了一套完整的红外导引头制冷供气测试解决方案,通过近3年的测试应用,表明本系统可以满足批量红外型武器系统测试需求;系统输出压力高,同时内部集成了3组不同容积的模拟气瓶,可以满足多种导引头的测试需求;通过设计优化和改进,系统在可靠性、人机工程等方面有很大改善;系统软件和板卡预留有升级接口,便于后期对系统的更新和完善。

  • 图  1   本文提出的算法流程

    Figure  1.   Algorithm flowchart in this paper

    图  2   实验测试图像

    Figure  2.   Experimental images

    图  3   图像配准实验过程与结果

    Figure  3.   Experimental process and results of image registration

    表  1   不同算法效果对比

    Table  1   Comparison of effects of different algorithms

    Scene Algorithm Registration/(%) Time/s
    1 MI 53.1 7.73
    ORB 25.8 1.43
    This paper 92.5 1.68
    2 MI 42.2 17.04
    ORB 16.7 1.25
    This paper 90.1 1.92
    下载: 导出CSV
  • [1]

    CHEN Yanjia. Visible and infrared image registration based on region features and edginess[J]. Machine Vision and Applications, 2018, 29(1): 113-123. DOI: 10.1007/s00138-017-0879-6

    [2]

    ZENG Qiang. Real-time adaptive visible and infrared image registration based on morphological gradient and C_SIFT[J]. Journal of Real-Time Image Processing, 2019: 1-13.

    [3]

    CHEN S, LI X, ZHAO L, et al. Medium-low resolution multisource remote sensing image registration based on SIFT and robust regional mutual information[J]. International Journal of Remote Sensing, 2018, 39(10): 3215-3242. DOI: 10.1080/01431161.2018.1437295

    [4]

    XU W, ZHONG S, YAN L, et al. Moving object detection in aerial infrared images with registration accuracy prediction and feature points selection[J]. Infrared Physics & Technology, 2018, 92: 318-26.

    [5] 张莉, 李彬, 田联房, 等. 基于局部结构张量-互信息的多模态图像配准[J]. 华南理工大学学报: 自然科学版, 2017, 45(7): 98-106. https://www.cnki.com.cn/Article/CJFDTOTAL-HNLG201707014.htm

    ZHANG Li, LI Bin, TIAN Lianfang, et al. Multi-modal image registration on the basis of local structure tensor-mutual information[J]. Journal of South China University of Technology: Natural Science Edition, 2017, 45(7): 98-106. https://www.cnki.com.cn/Article/CJFDTOTAL-HNLG201707014.htm

    [6] 吴延海, 张程, 张烨. 基于梯度信息和区域互信息的图像配准[J]. 广西大学学报: 自然科学版, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm

    WU Yanhai, ZHANG Cheng, ZHANG Ye. Image registration based on gradient and regional mutual information[J]. Journal of Guangxi University: Natural Science Edition, 2017, 42(2): 720-727. https://www.cnki.com.cn/Article/CJFDTOTAL-GXKZ201702040.htm

    [7]

    XIANG Y, WANG F, YOU H. OS-SIFT: a robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(6): 3078-3090. DOI: 10.1109/TGRS.2018.2790483

    [8] 张晨光, 周诠, 回征. 基于SIFT特征点检测的低复杂度图像配准算法[J]. 扬州大学学报: 自然科学版, 2018, 21(4): 52-56. https://www.cnki.com.cn/Article/CJFDTOTAL-YZDZ201804012.htm

    ZHANG Chenguang, ZHOU Quan, HUI Zheng. A low-complexity image registration approach based on SIFT[J]. Journal of Yangzhou University: Nature Science Edition, 2018, 21(4): 52-56. https://www.cnki.com.cn/Article/CJFDTOTAL-YZDZ201804012.htm

    [9]

    SHENG H. Medical image registration method based on tensor voting and Harris corner point detection[J]. Journal of Medical Imaging and Health Informatics, 2018, 8(3): 583-589. DOI: 10.1166/jmihi.2018.2322

    [10]

    MENG Z. Image registration method based on optimized SURF algorithm[J]. American Journal of Optics and Photonics, 2019, 7(4): 63-69. DOI: 10.11648/j.ajop.20190704.11

    [11]

    Morrone M Concetta, Ross John, Burr David C, et al. Mach bands are phase dependent[J]. Nature, 1986, 324: 250-253. DOI: 10.1038/324250a0

    [12]

    LV L T, YUAN Q Q, LI Z X. An algorithm of iris feature-extracting based on 2D log-gabor[J]. Multi-media Tools and Applications, 2019, 78(16): 22643-22666. DOI: 10.1007/s11042-019-7551-2

    [13]

    Ethan Rublee, Vincent Rabaud, Kurt Konolige, et al. ORB: an efficient alternative to SIFT or SURF[C]//Proceedings of IEEE International Conference on Computer Vision, 2011: 2564-2571.

图(3)  /  表(1)
计量
  • 文章访问数:  165
  • HTML全文浏览量:  48
  • PDF下载量:  51
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-05-18
  • 修回日期:  2021-06-21
  • 刊出日期:  2023-08-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日