基于改进LatLRR算法的红外与可见光图像融合研究

张健, 黄安穴

张健, 黄安穴. 基于改进LatLRR算法的红外与可见光图像融合研究[J]. 红外技术, 2024, 46(6): 672-680.
引用本文: 张健, 黄安穴. 基于改进LatLRR算法的红外与可见光图像融合研究[J]. 红外技术, 2024, 46(6): 672-680.
ZHANG Jian, HUANG Anxue. Infrared and Visible Image Fusion Based on Improved LatLRR Algorithm[J]. Infrared Technology , 2024, 46(6): 672-680.
Citation: ZHANG Jian, HUANG Anxue. Infrared and Visible Image Fusion Based on Improved LatLRR Algorithm[J]. Infrared Technology , 2024, 46(6): 672-680.

基于改进LatLRR算法的红外与可见光图像融合研究

基金项目: 

河南省科技发展计划项目 212102210515

详细信息
    作者简介:

    张健(1980-),男,河南驻马店人,硕士,副教授,研究方向:物联网技术应用。E-mail: hhzhj@foxmail.com

  • 中图分类号: TP391.41

Infrared and Visible Image Fusion Based on Improved LatLRR Algorithm

  • 摘要:

    为了使红外与可见光图像融合后的目标图像更突出、背景信息更丰富,提出改进LatLRR算法。首先将潜在低秩分解获得的基础图层进行多级分解以便获得较多的基础图层、细节图层;接着多级分解控制,分别依据细节图层的水平分量、垂直分量的能量和基础图层的全局对比度,避免了无效分解;最后基础图层和细节图层融合采用不同的融合策略。实验仿真表明,本文算法融合结果具有层次感,图像比较清晰,纹理丰富,能够保持红外热辐射目标的轮廓细节信息,同时也保留大量的可见光图像背景特征,客观评价指标较优。

    Abstract:

    An improved latent low-rank representation(ILatLRR) is proposed to make the target more prominent and the background information more abundant after infrared and visible image fusion. First, the underlying layer obtained using LatLRR was decomposed at multiple levels to obtain additional underlying detail layers. Second, multilevel decomposition control was adopted based on the energy of the horizontal and vertical components of the detail layer and global contrast of the base layer to avoid invalid decomposition. Finally, different fusion strategies were adopted for the base and detail layers. The experimental simulations show that the fusion result of ILatLRR displays a sense of hierarchy; the image is clear; and the texture is rich. The contour details of the infrared thermal radiation target are maintained, retaining a large number of visible light image background features, with an objective evaluation index better than those of other algorithms.

  • 在太阳辐射波段中,受到大气衰减的影响,200~300 nm紫外辐射被臭氧层吸收而无法到达地球表面,被称为“日盲区”。由于导弹尾部燃料的燃烧,产生的辐射范围从短波紫外到可见光谱,为紫外告警提供可能。紫外告警技术正是通过对导弹尾焰中“日盲”紫外波段的探测,对目标进行判断及定位,从而采取有效的规避及拦截手段。紫外告警系统对目标的探测优势在于:紫外背景辐射较少、被动式探测、结构简化、可靠性高且兼容性强[1]

    国内的紫外告警技术研究起步较晚,目前国内紫外告警系统的告警距离与国外告警距离存在差距,而光学系统相对孔径的提高与系统透过率的增大可提高告警系统的告警距离,达到国外告警的距离水平。

    紫外告警技术针对光学系统而言,要求光学系统具有大视场与大相对孔径、结构简单、光能损失较小等特点。国内已有的紫外光学系统的设计中,文献[2]中,光学系统由6片透镜组成,视场8°,系统的相对孔径为1/3.5,采用标准球面镜进行设计。文献[3]中,光学系统由5片透镜组成,系统的视场为40°,相对孔径为1/3,系统采用一个衍射元件和两个非球面校正像差,非标准球面镜的使用增加了系统加工的难度与成本。文献[4]中,光学系统由6片透镜组成,相对孔径达到1/2,采用标准球面镜,但是系统视场角较小,仅有10°,满足长焦距的特点但不满足大视场要求。同样在文献[5]中,光学系统采用了卡塞格林系统,应用于对日盲紫外太阳跟踪预警系统的研究,视场角只有1°,但满足长焦距的特点。

    本文主要工作是设计工作波段与AlGaN光阴极日盲紫外像增强器光谱响应范围相匹配的光学系统。与上述已有的光学系统相比,具有大视场,大相对孔径的特点,对于紫外辐射的会聚能力更强,且系统由5片透镜构成,减少了光能损失。光学系统的传递函数满足探测器需求,成像质量良好且系统均采用标准球面结构进行设计,更有利于加工,避免了使用非球面与衍射元件为加工带来的难度。

    日盲紫外告警系统是由光学系统、光电转换系统、接收系统组成。日盲紫外告警系统工作原理(如图 1所示)是探测导弹尾焰辐射在200~300 nm的波段并对其所观测的空间区域进行成像。由于在太阳辐射波段中,200~300 nm的紫外辐射被臭氧层吸收而无法到达地球表面,因此200~300 nm的紫外光谱区被称为“日盲区”,为紫外告警系统提供良好的背景条件[6]。日盲紫外告警系统工作方式是光学系统将所接收到的辐射进行过滤保证进入光学系统的辐射在工作波段内,进入光电阴极引起光谱响应将光子转换成电子,后经微通道板在高压加速的情况下倍增的电子轰击荧光屏后,穿过反射铝膜激发荧光粉进行发光成像在荧光屏上,并通过光锥耦合将所成的像照射在高灵敏CCD成像传感器上,目标将以一个点源的形式表征于图像上,经数字化后根据时间及空间特性进行信号处理,实时探测并判断精确方向得出位置并进行距离的估算。本文采用日盲紫外像增强器进行成像,紫外告警系统是以紫外探测器件为核心,接受来自目标或者目标反射的紫外辐射信号,经过紫外探测成像器件进行光电转换,电子倍增,信号转换以后进行输出[7]

    图  1  紫外告警系统原理图
    Figure  1.  Schematic diagram of ultraviolet warning system

    目前国内告警光学系统由6个以2×3组合形式排列的光学系统组成,整个告警系统的空间视场角为80°×120°,单个光学系统最大视场为40°。为满足国内告警系统的结构形式,本文在初始结构的基础上,不增加透镜数量或改变面型的情况下使用标准球面进行设计,将视场设置为40°,光学系统进行2×3的组合排列,以匹配AlGaN像增强器的探测器。物体成像在像增强器像面上,像面大小约为18 mm,焦距、像面以及视场角(2ω)之间关系,利用公式y'=f'·tanω',可算出焦距的大小约为:f'=21.22 mm。考虑到系统机械结构与径向尺寸的影响,系统的入瞳直径大小设为9 mm,因此系统的相对孔径大小为$\frac{D}{{f'}} \approx \frac{1}{{2.36}} \approx \frac{1}{{2.5}}$。综上所述,系统的设计指标如下:

    工作波段:240~280 nm

    视场角:2ω=40°

    焦距:f'=21.22 mm

    相对孔径:$\frac{D}{{f'}} \approx \frac{1}{{2.5}}$

    探测器像元尺寸为:11.9 μm×11.9 μm

    紫外光学系统分为折射式光学系统、反射式光学系统和折返式光学系统。折射式光学系统具有大视场、透过率高等特点,但基本结构形式选择取决于多方面因素影响,且像差校正较难。由于本文设计的是大视场光学系统,反射式光学系统在实现大视场时,结构尺寸以及遮拦都比较大,系统的布局困难,成像质量较好但对杂散辐射较为敏感,有较大的能量损失。折反式系统可采用球面镜作为主镜减少加工难度,满足高分辨率及相对孔径大的要求,但是中心存在遮拦,检验装调比较复杂。由于探测波段在紫外的日盲波段,能量低,为保证能量尽可能被探测到,选择折射式光学系统。

    在光组的设计中,初始结构的确定一般分为解析法(PW法)与缩放法两种情况,因此需要根据实际情况选择合适的方法,再利用相关软件进行分析。对于像差的校正与优化通常是通过透镜的厚度、透镜的曲率、透镜材料等相关因素的相互配合完成,通常也会采取其他方法如改变面形与增加多重结构等。根据设计要求,查阅相关文件,确定初始结构参数为:工作波长为240~280 nm,视场角为10°,焦距为126.8 mm,相对孔径为1/4的镜头作为本设计的初始结构。

    紫外光学系统设计中需对系统的像差进行校正,对于紫外系统而言,影响系统最大像差是色差的影响。校正色差的方法是选择两种阿贝数差异较大的玻璃进行双胶合或者双分离透镜的设计。但在紫外波段中,光学玻璃材料的选择性不大且色散系数的差别较小,因此紫外光学系统的色差校正较为困难。而系统相对孔径较大,意味着光学材料的折射率更高,但是紫外玻璃选择十分有限,折射率小于1.46,因此在设计中会导致透镜数量的增加或者透镜厚度的变大,降低光学系统的透过率,增大设计难度。

    因此,本文的设计思路是根据选择的初始结构,将其各尺寸乘以缩放比先进行缩放,得到所要求的结构。缩放后的结构,其视场角和相对孔径的大小不符合设计要求,因此在后期优化中不断提高视场角和相对孔径的大小,其中视场角的大小按照10°、20°、30°、40°递增,相对孔径的大小按照1/4、1/3、1/2.5增加。对于缩放后的初始结构的优化按照塞得和数系数对光学系统的影响进行优化。进行缩放焦距后,控制曲率半径与透镜间隔进行优化,提高成像质量并避免透镜表面进行重叠失形,进而对镜片厚度进行控制,确保系统的合理性。增大视场时考虑边缘视场的像差影响,设置合理的渐晕拦截掉边缘不利于成像的光线。

    为了保证进入系统的波长在工作波段范围内,需要在设计过程中在光学系统前端增加一个滤光片。又由于光学系统是基于AlGaN光阴极日盲紫外像增强器的基础上进行设计的,因此光学系统成像的像面应该是日盲紫外像增强器的光电阴极表面,由于光电阴极存在一层窗口玻璃基底,因此需要成像在光电阴极窗口玻璃的后端。在光学系统结构设计合理后,加入窗口玻璃的模型,进而对系统继续优化,以保证成像质量。经过选型,扩大视场角与增大相对孔径,加入滤光片与光电阴极的窗口玻璃优化后,得到最终的光学系统。由5片透镜组成,其中第一片、第三片与第四片材料为CaF2,第二片和第五片的材料为紫外熔石英。完成设计后的光学系统二维结构如图 2所示。

    图  2  优化后的光学系统二维结构图
    Figure  2.  Layout of the optimized optical system

    紫外告警系统中的紫外光学系统不仅要对目标辐射的能量进行收集探测,还需进行精确成像。因此不能仅仅只用传统评价光学系统成像质量的光学传递函数曲线作为绝对指标来评价,还需要结合光学系统的衍射能量分布曲线图等来共同评判其成像质量的优劣。本文采用了像点衍射能量分布图、点列图、点扩散函数图、光学系统的相对照度图及光学传递函数曲线图(modulation transfer function,MTF)等共同作为紫外光学系统的评价标准。

    图 3为光学系统的衍射能量分布图,是以离主光线或物点的像的重心的距离为函数的包围能量圈占总能量的百分比。由图 3可看出像素点大小在7 μm时,各个视场的衍射的包围能量圈能够达到80%;像素点大小在8 μm时,各个视场的衍射的包围能量圈能够达到90%;10 μm时各个视场已逐渐接近衍射极限,说明此时光线基本成像的范围在10 μm,满足成像在一个像元大小内。

    图  3  衍射能量分布图
    Figure  3.  Radial energy distribution of the optical system

    图 4所示为光学系统的点列图。点列图形成原因是在光线成像的过程中,由一点发出的许多光线经过光学系统成像以后,由于像差存在导致光线与像面不会交于一点而是分布在一定范围内的弥散斑图形。由图 4可知,弥散斑的半径约7.54 μm,实验室使用的CCD像元面积约11.9 μm,满足设计要求。

    图  4  光学系统的点列图
    Figure  4.  Spot diagram of the optical system

    图 5为光学系统的点扩散函数图,点扩散函数是指一个理想的几何物点,经过光学系统后其像点的能量展开情况。利用快速傅里叶变换的方法近似计算衍射的点扩散函数。由图 5可知,对于经过光学系统会聚在像点的光强能量展开较少,能量集中度较好。

    图  5  光学系统点扩散函数图
    Figure  5.  Point spread function of the optical system

    图 6为光学系统的相对照度图,是像面单位面积的响度强度,是计算以径向视场坐标y为函数的相对照度。由图 6可知,整个像面照度均匀,在0.7视场即对应图中14°时的能量达到80%;边缘视场的照度值达到50%。由于设置渐晕,边缘视场相对于中心视场的照度下降幅度较大,但整体比较均匀。

    图  6  光学系统的相对照度图
    Figure  6.  Relative illumination curve of optical system

    图 7为光学系统的光学传递函数图(MTF图),反映了光学系统对不同频率成分的传递能力。由光学传递函数图(MTF图)可知系统内各个视场的MTF曲线平直,系统的0.7视场与边缘视场均具备良好的成像质量。在空间频率为40 lp/mm时,轴上不小于0.8,轴外不小于0.6,满足探测器需求,成像质量良好。

    图  7  光学系统的光学传递函数图
    Figure  7.  MTF of optical system

    本文根据日盲紫外告警系统的特点设计了满足探测要求的紫外光学系统。该系统的工作波段在240~280 nm,采用5片透镜组成,且结构均为标准球面镜,透镜材料为氟化钙和紫外熔石英,成像在日盲紫外像增强器的光电阴极的窗口玻璃后,具有大相对孔径的特点。焦距为21.22 mm,视场角为40°,相对孔径为1/2.5。从系统的点列图、能量分布曲线图、MTF曲线图分析可知,光学系统的成像质量好、结构简单紧凑、易于加工,具有很高的应用价值和实用性,满足导弹告警系统的使用要求。

  • 图  1   图像潜在低秩分解

    Figure  1.   Potential low rank decomposition of images

    图  2   二级分解结果:(a) 红外图像二级分解基础图层部分;(b) 红外图像二级分解细节图层部分;(c) 可见光图像二级分解基础图层部分;(d) 可见光图像二级分解细节图层部分

    Figure  2.   Two level decomposition results: (a) Basic layer part of infrared image two level decomposition; (b) Detailed layer part of infrared image two level decomposition; (c) Basic layer part of visible light image two level decomposition; (d) Detailed layer part of visible light image two level decomposition

    图  3   三级分解结果:(b11) 红外图像三级分解基础图层部分;(b12) 红外图像三级分解细节图层部分;b13) 可见光图像三级分解基础图层部分(b14) 可见光图像三级分解细节图层部分

    Figure  3.   Three level decomposition results: (a) Basic layer part of infrared image three level decomposition; (b) Detailed layer part of infrared image three level decomposition; (c) Basic layer part of visible light image three level decomposition; (d) Detailed layer part of visible light image three level decomposition

    图  4   红外图像第三级细节图层

    Figure  4.   Third level detail layer of infrared image

    图  5   可见光图像第三级细节图层

    Figure  5.   Third level detail layer of visible light images

    图  6   对比实验融合结果

    Figure  6.   Comparison experiment fusion results

    表  1   多级分解获得的基础图层全局对比度

    Table  1   Global contrast of base layer of multi-level decomposition

    Level C
    Infrared image Visible light image
    First 119.8101 35.0735
    Second 52.5221 17.7984
    Third 18.9573 6.6224
    Fourth 5.9619 3.4891
    Fifth 1.7106 0.9674
    下载: 导出CSV

    表  2   客观评价

    Table  2   Objective evaluation

    Image Methods AG EI SF QE CB
    No.1 WT 3.3473 31.5629 7.2597 0.3058 0.3063
    DWT 3.8576 32.9177 9.3798 0.3607 0.3245
    SSRNSCT 4.5342 36.3271 10.6271 0.4255 0.3791
    LRR 4.8616 36.5584 13.5672 0.4575 0.4054
    MSLLD 6.3619 45.1137 13.9221 0.5016 0.4312
    LatLRR 7.5014 59.4162 18.6957 0.5514 0.4823
    ILatLRR 7.6128 71.3522 21.8415 0.6738 0.5648
    No.2 WT 3.4778 31.8785 7.3323 0.3089 0.3094
    DWT 3.8962 33.2469 9.4736 0.3643 0.3277
    SSRNSCT 4.5795 36.6904 10.7334 0.4298 0.3829
    LRR 4.9102 36.9240 13.7029 0.4621 0.4095
    MSLLD 6.4255 45.5648 14.0613 0.5066 0.4355
    LatLRR 7.5764 60.0104 18.8827 0.5569 0.4871
    ILatLRR 7.6889 72.0657 22.0599 0.6805 0.5704
    No.3 WT 3.3716 31.8148 7.3176 0.3082 0.3087
    DWT 3.8884 33.1804 9.4547 0.3636 0.3271
    SSRNSCT 4.5704 36.6170 10.7119 0.4289 0.3821
    LRR 4.9004 36.8501 13.6755 0.4612 0.4086
    MSLLD 6.4127 45.4737 14.0332 0.5056 0.4346
    LatLRR 7.5613 59.8903 18.8449 0.5558 0.4861
    ILatLRR 7.6736 71.9216 22.0158 0.6792 0.5693
    No.4 WT 3.3023 32.1329 7.3908 0.3113 0.3118
    DWT 3.9273 33.5122 9.5492 0.3672 0.3304
    SSRNSCT 4.6161 36.9832 10.8190 0.4332 0.3859
    LRR 4.9494 37.2186 13.8122 0.4658 0.4127
    MSLLD 6.4768 45.9284 14.1735 0.5107 0.4390
    LatLRR 7.6369 60.4892 19.0333 0.5614 0.4910
    ILatLRR 7.7503 72.6408 22.2360 0.6860 0.5750
    下载: 导出CSV
  • [1] 李一白, 王彦林, 闫禹, 等. 基于显著性检测的不同视角下红外与可见光图像融合[J]. 激光与红外, 2021, 51(4): 465-470. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202104011.htm

    LI Yibai, WANG Yanlin, YAN Yu, et al. Infrared and visible images fusion from different views based on saliency detection[J]. Laser & Infrared, 2021, 51(4): 465-470. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202104011.htm

    [2] 荣传振, 贾永兴, 吴城, 等. 红外与可见光图像分解与融合方法研究[J]. 数据采集与处理, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm

    RONG Chuanzhen, JIA Yongxing, WU Cheng, et al. Research on infrared and visible image decomposition and fusion methods[J]. Data Acquisition, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm

    [3]

    ZHAN L, ZHUANG Y, HUANG L. Infrared and visible images fusion method based on discrete wavelet transform[J]. Journal of Computational Acoustics, 2017, 28(2): 57-71.

    [4] 张贵仓, 苏金凤, 拓明秀. DTCWT域的红外与可见光图像融合算法[J]. 计算机工程与科学, 2020, 42(7): 1226-1333. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK202007011.htm

    ZHANG Guicang, SU Jinfeng, TUO Mingxiu. Fusion algorithm of infrared and visible images in DTCWT domain[J]. Computer Engineering and Science, 2020, 42(7): 1226-1333. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJK202007011.htm

    [5]

    HE Guiqing, XING Siyuan, HE Xingjian, et al. Image fusion method based on simultaneous sparse representation with non-subsampled contourlet transform[J]. IET Computer Vision, 2019, 13(2): 240-248. DOI: 10.1049/iet-cvi.2018.5496

    [6]

    ZHANG Baohua, LU Xiaoqi, PEI Haiquan, et al. A fusion algorithm for infrared and visible images based on saliency analysis and non- subsampled Shearlet transform[J]. Infrared Physics & Technology, 2015, 73: 286-297.

    [7] 刘成士, 赵志刚, 李强, 等. 加强的低秩表示图像去噪算法[J]. 计算机工程与应用, 2020, 56(2): 216-225. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202002032.htm

    LIU Chengshi, ZHAO Zhigang, LI Qiang, et al. Enhanced Low-rank representation image denoising algorithm[J]. Computer Engineering and Applications, 2020, 56(2): 216-225. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202002032.htm

    [8] 陈潮起, 孟祥超, 邵枫, 等. 一种基于多尺度低秩分解的红外与可见光图像融合方法[J]. 光学学报, 2020, 40(11): 1110001. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm

    CHEN Chaoqi, MENG Xiangchao, SHAO Feng, et al. Infrared and visible image fusion method based on multiscale low-rank decomposition[J]. Acta Optica Sinica, 2020, 40(11): 1110001. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm

    [9]

    TAO Tiwei, LIU Mingxia, HOU Yingkun, et al. Latent low-rank representation with sparse consistency constraint for infrared and visible image fusion[J]. Optik, 2022, 261: 169102.

    [10]

    LI H, WU X J, KITTLER J. MDLatLRR: a novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746.

    [11] 蔡怀宇, 卓励然, 朱攀, 等. 基于非下采样轮廓波变换和直觉模糊集的红外与可见光图像融合[J]. 光子学报, 2018, 47(6): 061002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201806027.htm

    CAI Huaiyu, ZHUO Liran, ZHU Pan, et al. Fusion of infrared and visible images based on non-subsampled contourlet transform and intuitionistic fuzzy set[J]. Acta Photonica Sinica, 2018, 47(6): 061002. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201806027.htm

    [12] 张林发, 张榆锋, 王琨, 等. 基于直觉模糊集和亮度增强的医学图像融合[J]. 计算机应用, 2021, 41(7): 2082-2091. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202107036.htm

    ZHANG Linfa, ZHANG Yufeng, WANG Kun, et al. Medical image fusion with intuitionistic fuzzy set and intensity enhancement[J]. Journal of Computer Applications, 2021, 41(7): 2082-2091. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202107036.htm

    [13] 朱亚辉, 高逦. 基于复合分解与直觉模糊集的红外与可见光图像融合方法[J]. 西北工业大学学报, 2021, 39(4): 930-936. https://www.cnki.com.cn/Article/CJFDTOTAL-XBGD202104028.htm

    ZHU Yahui, GAO Li. Infrared and visible image fusion method based on compound decomposition and intuitionistic fuzzy set[J]. Journal of Northwestern Polytechnical University, 2021, 39(4): 930-936. https://www.cnki.com.cn/Article/CJFDTOTAL-XBGD202104028.htm

    [14] 闵莉, 曹思健, 赵怀慈, 等. 改进生成对抗网络实现红外与可见光图像融合[J]. 红外与激光工程, 2022, 51(4): 20210291. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202204041.htm

    MIN Li, CAO Sijian, ZHAO Huaici, et al. Infrared and visible image fusion using improved generative adversarial networks[J]. Infrared and Laser Engineering, 2022, 51(4): 20210291. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202204041.htm

  • 期刊类型引用(1)

    1. 王玉莹,李劲东,孙鹤枝,李享. 中长波红外探测技术发展与空间应用进展(英文). Frontiers of Information Technology & Electronic Engineering. 2024(08): 1031-1057 . 百度学术

    其他类型引用(2)

图(6)  /  表(2)
计量
  • 文章访问数:  112
  • HTML全文浏览量:  14
  • PDF下载量:  53
  • 被引次数: 3
出版历程
  • 收稿日期:  2023-03-25
  • 修回日期:  2023-08-29
  • 网络出版日期:  2024-06-23
  • 刊出日期:  2024-06-19

目录

/

返回文章
返回