基于自适应加权的多尺度图像融合研究

胡雪凯, 罗蓬, 李铁成, 蔡玉汝, 马娜, 周雪青

胡雪凯, 罗蓬, 李铁成, 蔡玉汝, 马娜, 周雪青. 基于自适应加权的多尺度图像融合研究[J]. 红外技术, 2022, 44(4): 404-409.
引用本文: 胡雪凯, 罗蓬, 李铁成, 蔡玉汝, 马娜, 周雪青. 基于自适应加权的多尺度图像融合研究[J]. 红外技术, 2022, 44(4): 404-409.
HU Xuekai, LUO Peng, LI Tiecheng, CAI Yuru, MA Na, ZHOU Xueqing. Multi-scale Image Fusion Based on Adaptive Weighting[J]. Infrared Technology , 2022, 44(4): 404-409.
Citation: HU Xuekai, LUO Peng, LI Tiecheng, CAI Yuru, MA Na, ZHOU Xueqing. Multi-scale Image Fusion Based on Adaptive Weighting[J]. Infrared Technology , 2022, 44(4): 404-409.

基于自适应加权的多尺度图像融合研究

基金项目: 国家电网项目《基于云边计算协同的异构传感器网络开放式接入网关与组网技术研究》
详细信息
    作者简介:

    胡雪凯(1987-),男,硕士,高级工程师,主要从事电力系统计算分析、新能源并网检测分析等方面的研究

    通讯作者:

    马娜(1985-),女,硕士,助理研究员,主要从事物联网在智能电网,智能工业等方面的研究。E-mail:man@sari.ac.cn

  • 中图分类号: TN219

Multi-scale Image Fusion Based on Adaptive Weighting

  • 摘要: 近年来图像融合技术广泛应用到电力行业,通过不同类型的图像传感器采集电力设备和输电线的图像,经过红外和可见光的图像融合处理,实现电力设备及输电线的智能巡视和故障分析。文中提出一种基于自适应加权的多尺度图像融合算法,采用配准后的可见光和红外图像,进行多尺度小波分解,根据高低频的不同图像特征,低频采用自适应加权融合规则,高频采用绝对值最大的融合规则,将融合后的小波系数进行逆变换后得到全新的融合图像。通过对融合图像的主观和客观评价分析,证明融合算法解决了单一图像传感器采集图像存在的完整性问题,提高了融合图像细节信息,提升了场景的置信度。
    Abstract: In recent years, image fusion technology has been widely used in the power industry. Different types of image sensors are used to collect images of power equipment and transmission lines. Through the fusion of infrared and visible light images, intelligent inspection and fault analysis of power equipment and transmission lines can be realized. This article first briefly introduces common image fusion algorithms and fusion image evaluation standards. A multi-scale image fusion algorithm based on adaptive weighting is proposed, which uses the registered visible light and infrared images to perform multi-scale wavelet decomposition. According to the different image characteristics of high and low frequencies, the low frequency adopts the adaptive weighted fusion rule and the high frequency adopts the fusion rule with the largest absolute value. The fused wavelet coefficients are inversely transformed to obtain a new fused image. Subjective and objective evaluation and analysis of the fusion image confirm that the fusion algorithm solves the integrity problem of the image collected by a single image sensor, enhances the detailed information of the fusion image, and improves the confidence of the scene.
  • 在太阳辐射波段中,受到大气衰减的影响,200~300 nm紫外辐射被臭氧层吸收而无法到达地球表面,被称为“日盲区”。由于导弹尾部燃料的燃烧,产生的辐射范围从短波紫外到可见光谱,为紫外告警提供可能。紫外告警技术正是通过对导弹尾焰中“日盲”紫外波段的探测,对目标进行判断及定位,从而采取有效的规避及拦截手段。紫外告警系统对目标的探测优势在于:紫外背景辐射较少、被动式探测、结构简化、可靠性高且兼容性强[1]

    国内的紫外告警技术研究起步较晚,目前国内紫外告警系统的告警距离与国外告警距离存在差距,而光学系统相对孔径的提高与系统透过率的增大可提高告警系统的告警距离,达到国外告警的距离水平。

    紫外告警技术针对光学系统而言,要求光学系统具有大视场与大相对孔径、结构简单、光能损失较小等特点。国内已有的紫外光学系统的设计中,文献[2]中,光学系统由6片透镜组成,视场8°,系统的相对孔径为1/3.5,采用标准球面镜进行设计。文献[3]中,光学系统由5片透镜组成,系统的视场为40°,相对孔径为1/3,系统采用一个衍射元件和两个非球面校正像差,非标准球面镜的使用增加了系统加工的难度与成本。文献[4]中,光学系统由6片透镜组成,相对孔径达到1/2,采用标准球面镜,但是系统视场角较小,仅有10°,满足长焦距的特点但不满足大视场要求。同样在文献[5]中,光学系统采用了卡塞格林系统,应用于对日盲紫外太阳跟踪预警系统的研究,视场角只有1°,但满足长焦距的特点。

    本文主要工作是设计工作波段与AlGaN光阴极日盲紫外像增强器光谱响应范围相匹配的光学系统。与上述已有的光学系统相比,具有大视场,大相对孔径的特点,对于紫外辐射的会聚能力更强,且系统由5片透镜构成,减少了光能损失。光学系统的传递函数满足探测器需求,成像质量良好且系统均采用标准球面结构进行设计,更有利于加工,避免了使用非球面与衍射元件为加工带来的难度。

    日盲紫外告警系统是由光学系统、光电转换系统、接收系统组成。日盲紫外告警系统工作原理(如图 1所示)是探测导弹尾焰辐射在200~300 nm的波段并对其所观测的空间区域进行成像。由于在太阳辐射波段中,200~300 nm的紫外辐射被臭氧层吸收而无法到达地球表面,因此200~300 nm的紫外光谱区被称为“日盲区”,为紫外告警系统提供良好的背景条件[6]。日盲紫外告警系统工作方式是光学系统将所接收到的辐射进行过滤保证进入光学系统的辐射在工作波段内,进入光电阴极引起光谱响应将光子转换成电子,后经微通道板在高压加速的情况下倍增的电子轰击荧光屏后,穿过反射铝膜激发荧光粉进行发光成像在荧光屏上,并通过光锥耦合将所成的像照射在高灵敏CCD成像传感器上,目标将以一个点源的形式表征于图像上,经数字化后根据时间及空间特性进行信号处理,实时探测并判断精确方向得出位置并进行距离的估算。本文采用日盲紫外像增强器进行成像,紫外告警系统是以紫外探测器件为核心,接受来自目标或者目标反射的紫外辐射信号,经过紫外探测成像器件进行光电转换,电子倍增,信号转换以后进行输出[7]

    图  1  紫外告警系统原理图
    Figure  1.  Schematic diagram of ultraviolet warning system

    目前国内告警光学系统由6个以2×3组合形式排列的光学系统组成,整个告警系统的空间视场角为80°×120°,单个光学系统最大视场为40°。为满足国内告警系统的结构形式,本文在初始结构的基础上,不增加透镜数量或改变面型的情况下使用标准球面进行设计,将视场设置为40°,光学系统进行2×3的组合排列,以匹配AlGaN像增强器的探测器。物体成像在像增强器像面上,像面大小约为18 mm,焦距、像面以及视场角(2ω)之间关系,利用公式y'=f'·tanω',可算出焦距的大小约为:f'=21.22 mm。考虑到系统机械结构与径向尺寸的影响,系统的入瞳直径大小设为9 mm,因此系统的相对孔径大小为$\frac{D}{{f'}} \approx \frac{1}{{2.36}} \approx \frac{1}{{2.5}}$。综上所述,系统的设计指标如下:

    工作波段:240~280 nm

    视场角:2ω=40°

    焦距:f'=21.22 mm

    相对孔径:$\frac{D}{{f'}} \approx \frac{1}{{2.5}}$

    探测器像元尺寸为:11.9 μm×11.9 μm

    紫外光学系统分为折射式光学系统、反射式光学系统和折返式光学系统。折射式光学系统具有大视场、透过率高等特点,但基本结构形式选择取决于多方面因素影响,且像差校正较难。由于本文设计的是大视场光学系统,反射式光学系统在实现大视场时,结构尺寸以及遮拦都比较大,系统的布局困难,成像质量较好但对杂散辐射较为敏感,有较大的能量损失。折反式系统可采用球面镜作为主镜减少加工难度,满足高分辨率及相对孔径大的要求,但是中心存在遮拦,检验装调比较复杂。由于探测波段在紫外的日盲波段,能量低,为保证能量尽可能被探测到,选择折射式光学系统。

    在光组的设计中,初始结构的确定一般分为解析法(PW法)与缩放法两种情况,因此需要根据实际情况选择合适的方法,再利用相关软件进行分析。对于像差的校正与优化通常是通过透镜的厚度、透镜的曲率、透镜材料等相关因素的相互配合完成,通常也会采取其他方法如改变面形与增加多重结构等。根据设计要求,查阅相关文件,确定初始结构参数为:工作波长为240~280 nm,视场角为10°,焦距为126.8 mm,相对孔径为1/4的镜头作为本设计的初始结构。

    紫外光学系统设计中需对系统的像差进行校正,对于紫外系统而言,影响系统最大像差是色差的影响。校正色差的方法是选择两种阿贝数差异较大的玻璃进行双胶合或者双分离透镜的设计。但在紫外波段中,光学玻璃材料的选择性不大且色散系数的差别较小,因此紫外光学系统的色差校正较为困难。而系统相对孔径较大,意味着光学材料的折射率更高,但是紫外玻璃选择十分有限,折射率小于1.46,因此在设计中会导致透镜数量的增加或者透镜厚度的变大,降低光学系统的透过率,增大设计难度。

    因此,本文的设计思路是根据选择的初始结构,将其各尺寸乘以缩放比先进行缩放,得到所要求的结构。缩放后的结构,其视场角和相对孔径的大小不符合设计要求,因此在后期优化中不断提高视场角和相对孔径的大小,其中视场角的大小按照10°、20°、30°、40°递增,相对孔径的大小按照1/4、1/3、1/2.5增加。对于缩放后的初始结构的优化按照塞得和数系数对光学系统的影响进行优化。进行缩放焦距后,控制曲率半径与透镜间隔进行优化,提高成像质量并避免透镜表面进行重叠失形,进而对镜片厚度进行控制,确保系统的合理性。增大视场时考虑边缘视场的像差影响,设置合理的渐晕拦截掉边缘不利于成像的光线。

    为了保证进入系统的波长在工作波段范围内,需要在设计过程中在光学系统前端增加一个滤光片。又由于光学系统是基于AlGaN光阴极日盲紫外像增强器的基础上进行设计的,因此光学系统成像的像面应该是日盲紫外像增强器的光电阴极表面,由于光电阴极存在一层窗口玻璃基底,因此需要成像在光电阴极窗口玻璃的后端。在光学系统结构设计合理后,加入窗口玻璃的模型,进而对系统继续优化,以保证成像质量。经过选型,扩大视场角与增大相对孔径,加入滤光片与光电阴极的窗口玻璃优化后,得到最终的光学系统。由5片透镜组成,其中第一片、第三片与第四片材料为CaF2,第二片和第五片的材料为紫外熔石英。完成设计后的光学系统二维结构如图 2所示。

    图  2  优化后的光学系统二维结构图
    Figure  2.  Layout of the optimized optical system

    紫外告警系统中的紫外光学系统不仅要对目标辐射的能量进行收集探测,还需进行精确成像。因此不能仅仅只用传统评价光学系统成像质量的光学传递函数曲线作为绝对指标来评价,还需要结合光学系统的衍射能量分布曲线图等来共同评判其成像质量的优劣。本文采用了像点衍射能量分布图、点列图、点扩散函数图、光学系统的相对照度图及光学传递函数曲线图(modulation transfer function,MTF)等共同作为紫外光学系统的评价标准。

    图 3为光学系统的衍射能量分布图,是以离主光线或物点的像的重心的距离为函数的包围能量圈占总能量的百分比。由图 3可看出像素点大小在7 μm时,各个视场的衍射的包围能量圈能够达到80%;像素点大小在8 μm时,各个视场的衍射的包围能量圈能够达到90%;10 μm时各个视场已逐渐接近衍射极限,说明此时光线基本成像的范围在10 μm,满足成像在一个像元大小内。

    图  3  衍射能量分布图
    Figure  3.  Radial energy distribution of the optical system

    图 4所示为光学系统的点列图。点列图形成原因是在光线成像的过程中,由一点发出的许多光线经过光学系统成像以后,由于像差存在导致光线与像面不会交于一点而是分布在一定范围内的弥散斑图形。由图 4可知,弥散斑的半径约7.54 μm,实验室使用的CCD像元面积约11.9 μm,满足设计要求。

    图  4  光学系统的点列图
    Figure  4.  Spot diagram of the optical system

    图 5为光学系统的点扩散函数图,点扩散函数是指一个理想的几何物点,经过光学系统后其像点的能量展开情况。利用快速傅里叶变换的方法近似计算衍射的点扩散函数。由图 5可知,对于经过光学系统会聚在像点的光强能量展开较少,能量集中度较好。

    图  5  光学系统点扩散函数图
    Figure  5.  Point spread function of the optical system

    图 6为光学系统的相对照度图,是像面单位面积的响度强度,是计算以径向视场坐标y为函数的相对照度。由图 6可知,整个像面照度均匀,在0.7视场即对应图中14°时的能量达到80%;边缘视场的照度值达到50%。由于设置渐晕,边缘视场相对于中心视场的照度下降幅度较大,但整体比较均匀。

    图  6  光学系统的相对照度图
    Figure  6.  Relative illumination curve of optical system

    图 7为光学系统的光学传递函数图(MTF图),反映了光学系统对不同频率成分的传递能力。由光学传递函数图(MTF图)可知系统内各个视场的MTF曲线平直,系统的0.7视场与边缘视场均具备良好的成像质量。在空间频率为40 lp/mm时,轴上不小于0.8,轴外不小于0.6,满足探测器需求,成像质量良好。

    图  7  光学系统的光学传递函数图
    Figure  7.  MTF of optical system

    本文根据日盲紫外告警系统的特点设计了满足探测要求的紫外光学系统。该系统的工作波段在240~280 nm,采用5片透镜组成,且结构均为标准球面镜,透镜材料为氟化钙和紫外熔石英,成像在日盲紫外像增强器的光电阴极的窗口玻璃后,具有大相对孔径的特点。焦距为21.22 mm,视场角为40°,相对孔径为1/2.5。从系统的点列图、能量分布曲线图、MTF曲线图分析可知,光学系统的成像质量好、结构简单紧凑、易于加工,具有很高的应用价值和实用性,满足导弹告警系统的使用要求。

  • 图  1   加权融合算法

    Figure  1.   Weighted fusion algorithm

    图  2   基于余弦变换的图像融合处理

    Figure  2.   Image fusion processing based on cosine transform

    图  3   基于小波变换的图像融合处理

    Figure  3.   Wavelet transform image fusion

    图  4   基于自适应多尺度小波变换的图像融合流程

    Figure  4.   Image fusion process based on adaptive multi-scale wavelet transform

    图  5   不同融合算法的融合结果图

    Figure  5.   Fusion results of different fusion algorithms

    图  6   小波变换及改进算法的图像融合

    Figure  6.   Image fusion of WT and improved algorithm

    表  1   高空输电线图像的融合客观评价标准对比

    Table  1   Comparison of objective evaluation criteria for fusion of high-altitude transmission line images

    STD MEAN AG EN RMSE SSIM CEN
    Weighted average 39.3650 98.5524 3.1722 7.1353 71.4027 0.3234 1.0664
    wavelet transform 39.3650 98.5523 3.1722 7.1353 71.4027 0.3234 1.0664
    WT & weighted average 38.2143 109.7571 2.9482 7.1895 85.4409 0.2735 1.1609
    Improved wavelet transform 41.2748 98.2816 5.2196 7.2012 70.9102 0.3392 4.0186
    下载: 导出CSV

    表  2   电力设备图像融合客观评价指标对比

    Table  2   Comparison of objective evaluation indicators for image fusion of power equipment

    STD MEAN AG EN RMSE SSIM CEN
    Wavelet transform 51.1815 147.3664 6.1471 7.5610 40.2199 0.5510 0.3889
    Improved wavelet transform 55.0531↑ 147.1156 10.4049↑ 7.6992↑ 40.4952 0.4329↓ 0.3403↓
    下载: 导出CSV
  • [1] 王景致, 刘刚, 袁嘉彬, 等. 电力巡检中的图像融合技术与应用[J]. 自动化技术与应用, 2019, 38(8): 4. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ201908026.htm

    WANG Jingzhi, LIU Gang, YUAN Jiabin, et al. Image fusion technology and application in power inspection[J]. Techniques of Automation and Applications, 2019, 38(8): 4. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ201908026.htm

    [2]

    Pohl C, Van Genderen J L. Review article multisensor image fusion in remote sensing: concepts, methods and applications[J]. International Journal of Remote Sensing, 1998, 19(5): 823-854. DOI: 10.1080/014311698215748

    [3] 李婵飞, 刘文晶. 一种新颖的红外与可见光图像融合方法[J]. 红外技术, 2020, 42(4): 74-81. http://hwjs.nvir.cn/article/id/hwjs202004010

    LI Chanfei, LIU Wenjing. Novel fusion method for infrared and visible light images[J]. Infrared Technology, 2020, 42(4): 74-81. http://hwjs.nvir.cn/article/id/hwjs202004010

    [4] 陈凤翔, 刘博迪, 方广东. 基于机器视觉的无人机电力巡线技术[J]. 电子技术与软件工程, 2019, 150(4): 76-77. https://www.cnki.com.cn/Article/CJFDTOTAL-DZRU201904047.htm

    CHEN Fengxiang, LIU Bodi, FANG Guangdong. Research on the technology of UAU power line inspection based on machine vision[J]. Electronic Technology & Software Engineering, 2019, 150(4): 76-77. https://www.cnki.com.cn/Article/CJFDTOTAL-DZRU201904047.htm

    [5] 王立军, 张拓, 刘光伟, 等. 基于机器视觉技术的高压断路器机械特性诊断[J]. 高电压技术, 2020, 46(6): 303-309. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202006036.htm

    WANG Lijun, ZHANG Tuo, LIU Guangwei, et al. Diagnostics on mechanical characteristics of high voltage circuit breaker based on machine vision technology [J]. High Voltage Engineering, 2020, 46(6): 303-309. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202006036.htm

    [6]

    Ardeshir A Goshtasby, Stavri Nikolov. Guest editorial: image fusion: advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114-118. DOI: 10.1016/j.inffus.2006.04.001

    [7] 苗启广, 王宝树. 基于改进的拉普拉斯金字塔变换的图像融合方法[J]. 光学学报, 2007, 27(9): 1605-1610. DOI: 10.3321/j.issn:0253-2239.2007.09.013

    MIAO Qiguang, WANG Baoshu. Multi-sensor image fusion based on improved Laplacian pyramid transform[J]. Acta Optics Sinica, 2007, 27(9): 1605-1610. DOI: 10.3321/j.issn:0253-2239.2007.09.013

    [8] 晁锐, 张科, 李言俊. 一种基于小波变换的图像融合算法[J]. 电子学报, 2004, 32(5): 750-753. DOI: 10.3321/j.issn:0372-2112.2004.05.011

    CHAO Rui, ZHANG Ke, LI Yanjun. An image fusion algorithm using wavelet transform [J]. Acta Electronica Sinica, 2004, 32(5): 750-753. DOI: 10.3321/j.issn:0372-2112.2004.05.011

    [9]

    ZHANG Bin, ZHENG Yongguo, FANG Wei, et al. A new image fusion algorithm based on second generation wavelet transform [C]// Computational Intelligence & Natural Computing Proceedings Second International Conference, 2010, 1: 390-393.

    [10] 陶冰洁, 王敬儒, 许俊平. 基于小波分析的不同融合规则的图像融合研究[J]. 红外技术, 2006(7): 62-65. DOI: 10.3969/j.issn.1001-8891.2006.07.014

    TAO Bingjie, WANG Jingru, XU Junping. Study on image fusion based on different fusion rules of wavelet transform[J]. Infrared Technology, 2006(7): 62-65. DOI: 10.3969/j.issn.1001-8891.2006.07.014

    [11] 张生伟, 李伟, 赵雪景. 一种基于稀疏表示的可见光与红外图像融合方法[J]. 电光与控制, 2017, 24(6): 47-52. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201706012.htm

    ZHANG Shengwei, LI Wei, ZHAO Xuejing. A method for fusion of visible and infrared images based on sparse representation[J]. Electronics Optics & Control, 2017, 24(6): 47-52. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201706012.htm

    [12] 杨艳春, 李娇, 王阳萍. 图像融合质量评价方法研究综述[J]. 计算机科学与探索, 2018, 12(7): 6-20. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTS201807002.htm

    YANG Yanchun, LI Jiao, WANG Yangping. Review of image fusion quality evaluation methods[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(7): 6-20. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTS201807002.htm

  • 期刊类型引用(1)

    1. 王玉莹,李劲东,孙鹤枝,李享. 中长波红外探测技术发展与空间应用进展(英文). Frontiers of Information Technology & Electronic Engineering. 2024(08): 1031-1057 . 百度学术

    其他类型引用(2)

图(6)  /  表(2)
计量
  • 文章访问数: 
  • HTML全文浏览量: 
  • PDF下载量: 
  • 被引次数: 3
出版历程
  • 收稿日期:  2021-07-04
  • 修回日期:  2021-11-16
  • 刊出日期:  2022-04-19

目录

/

返回文章
返回