Design of Objective Lens for Infrared and Visible Image Fusion by Optical Passive Thermal Compensation
-
摘要: 图像融合的配准精度是关系到图像融合质量的一个重要性能指标。本文所述的红外与可见光图像融合物镜系统采取平行光路布局、光学被动热补偿的方式提高图像融合的配准精度。本文首先分析对比了机械热补偿方式与光学热补偿方式对提高图像配准精度的贡献；其次根据图像融合物镜系统的性能指标对红外物镜和可见光物镜进行光学被动热补偿的优化设计，并分析了对可见光物镜进行光学被动热补偿设计的必要性；第三从光学布局型式及畸变变化来分析图像融合物镜系统的图像配准精度；最后根据图像融合物镜系统的成像质量和图像配准效果，可得出融合图像质量好、能满足指标要求的结论。Abstract: The registration accuracy of image fusion is an important performance index that is related to the quality of image fusion. The infrared and visible image fusion objective optical system in this study adopts a parallel optical path layout and an optical passive thermal compensation method to improve the registration accuracy of image fusion. First, the contributions of mechanical thermal compensation and optical thermal compensation are analyzed and compared to improve the image registration accuracy. Second, according to the performance index of the image fusion objective system, the optical passive thermal compensation designs of the infrared objective and visible objective are optimized. Moreover, the necessity of optical passive thermal compensation design of the visible objective is analyzed. Finally, according to the imaging quality and image registration effect of the image fusion objective system, it is concluded that the quality of the fused image is high and that the requirements of the index can be achieved.
-
Keywords:
- visible lens /
- infrared lens /
- image fusion /
- image registration
-
0. 引言
随着复杂战场环境中目标的伪装和隐身能力的不断增强，如何快速准确侦查到敌方目标显得尤其重要[1-2]。战场光电设备常用的波段为可见光、微光、近红外、中波红外和长波红外等几个波段。根据单一波段光电设备特有的成像机制，发展出对应的对抗措施，依此减小目标被探测到的几率。因此对两个或两个以上使用不同波段的光电设备进行图像融合处理，融合后的图像相应地具有识别一定伪装的能力，提高探测目标的概率。
图像融合是指将同一目标场景的两幅或多幅图像按特定的准则进行融合，使合成后的单幅图像包含更全面的信息[3]。红外与可见光图像融合是当前图像融合研究的热点之一，被广泛应用于军事、航空、安防监控等领域[4]。红外图像依赖于目标与环境的温度差，不受外界光照度的影响，故红外图像对比度较高，但不能突显所观察场景中的细节信息；可见光图像具有较强的细节信息表现能力，但易受外界光照度的影响，光照度较差时目标难以分辨，因此红外与可见光图像融合具有十分重要的意义[5-6]。
孙爱平等对共光路与平行光路两种图像融合光学布局型式的优劣做出相关论述，受工艺条件的限制，现在大部分图像融合光学装置为平行光路布局[7]。为了补偿温度变化带来的焦面位移，平行光路布局的红外与可见光图像融合光学系统可采用机械热补偿和光学被动热补偿两种方式，其中光学被动热补偿的图像融合光学系统具有更好的图像配准精度。据此本文采用平行光路布局型式，光学被动热补偿的设计型式设计了一款红外和可见光图像融合物镜，并对图像配准精度展开相应分析。
1. 图像融合光学系统热补偿方式的比较
光学元件的尺寸、折射率和镜筒的尺寸随温度的变化而变化，引起像面位移造成成像模糊。为了补偿温度变化所引起的像面位移可采用机械热补偿方式和光学被动热补偿方式，其中机械热补偿方式可分为外调焦热补偿方式和内调焦热补偿方式，如图 1所示。
外调焦热补偿方式即镜头组整组前后移动，改变镜头与探测器靶面的间隔实现热补偿。对于红外与可见光图像融合光学系统，受加工、装配精度的影响，红外镜头和可见光镜头整组前后移动的过程中，二者的光轴发生漂移，造成图像配准精度的降低。
内调焦热补偿方式即镜头组其中一件光学元件或者一组光学元件作为补偿组沿光轴前后移动，在环境温度变化时实现像面与探测器靶面的重合。由于其中一件光学元件或者一组光学元件沿光轴前后移动，改变了原来的光学成像关系，使镜头组的焦距发生改变即放大倍率改变，造成目标所成图像的大小不一致，进而降低图像配准精度；受加工、装配精度的影响，补偿组沿轴向移动，二者光轴发生漂移，造成图像配准精度的降低。
光学被动热补偿方式即镜头组选择合适的光学材料、镜筒材料及面型类型，在不移动任何光学元件的条件下，实现环境温度变化时像面与探测器靶面的重合。随着工作温度的变化，镜头组采取光学被动热补偿方式时其放大倍率一致并且无活动的光学元件，光轴相对位置基本无变化，图像配准精度很高。
红外与可见光图像融合光学系统采取光学被动热补偿方式比机械热补偿方式具有更高的图像配准精度，故本文采取光学被动热补偿方式开展红外与可见光图像融合物镜的设计。
2. 融合物镜设计分析
2.1 设计指标
可见光物镜选用800×600、18 μm的低照度CMOS，设计波段为0.6 μm~0.95 μm，此波段相对于可见光常用的0.48 μm~0.65 μm彩色波段，具有一定的透雾功能，配合透雾算法可提高可见光物镜观察场景的细节能力。图像融合系统光学设计参数见表 1。
表 1 图像融合系统光学设计参数Table 1. Optical design parameters of image fusion systemInfrared lens Focal length
Field
F/#
Wavelength
Detector type38.7 mm
16°×12°
1.1
8 μm-12 μm
UFPA 640×480, 17 μmVisible lens Focal length
Field
F/#
Wavelength
Detector type51.22 mm
16°×12°
1.5
0.6 μm~0.95 μm
CMOS 800×600, 18 μmFusion lens Registration accuracy
Distance temperatureOne pixel（0.017 mm）
45.5 m-∞
－40℃-60℃2.2 红外物镜光学被动热补偿设计
红外物镜采取四片式设计型式，光学布局型式见图 2。红外物镜光学透镜材料选择Ge和IRG206，镜筒材料选择铝合金，面型选择常用的球面、非球面和二元衍射面，其中二元衍射面放置在第二透镜的后表面上。通过以上措施实现在环境温度变化时红外物镜的像面与红外机芯的靶面相重合，在工作温度范围内成像清晰。
红外物镜在低温（－40℃）、常温（20℃）和高温（60℃）条件下的点列图及传递函数曲线如图 3所示。红外物镜的传递函数（MTF）在奈奎斯特频率（30 lp/mm）处除边缘视场外对比度均在0.4以上，中心视场区域的对比度接近衍射极限；依据点列图所示，0.7视场内的能量均在一个像素内，其余视场约有80%的能量在一个像素内。综上所述红外物镜在工作温度范围内像差校正效果较好。
2.3 可见光物镜光学被动热补偿设计
可见光物镜采用类高斯的设计形式，如图 4所示。可见光物镜的光学透镜选用成都光明生产的环保材料，面型均为球面，镜筒材料选择铝合金。通过优化选择球面半径和透镜材料实现在工作温度范围内可见光物镜的像面与CMOS（Complementary Metal-Oxide Semiconductor）靶面相重合，成像清晰。
可见光物镜在低温（－40℃）、常温（20℃）和高温（60℃）条件下的点列图及传递函数曲线如图 5所示。可见光物镜的MTF（Modulation Transfer Function）在奈奎斯特频率（28 lp/mm）处除边缘视场外对比度均在0.6以上；依据点列图所示，所有视场约有80%的能量在一个像素内。综上所述可见光物镜在工作温度范围内像差校正效果较好。
2.4 可见光物镜进行光学被动热补偿的必要性分析
可见光物镜在大部分场合使用机械热补偿方式，很少见到光学被动热补偿的镜头。对于图像融合光学系统，为了提高图像配准的精度，不仅红外物镜需要进行光学被动热补偿设计，可见光物镜也需要进行光学被动热补偿设计。
以一种天塞型变形型式的照相物镜为例，分析在图像融合光学系统中进行光学被动热补偿设计的必要性。此天塞型照相物镜的焦距为44.8 mm，F数为3.5，工作波段为0.48 μm~0.65 μm，成像器件为1/3英寸的CCD（WAT-600CX，像元大小6.5 μm×6.25 μm），光学透镜材料为成都光明环保材料，面型均为球面，镜筒材料为铝合金，设计布局型式见图 6，各个温度点的传递函数曲线见图 7。由图 7可知此照相物镜在常温工作环境下MTF曲线在奈奎斯特频率处（80 lp/mm）对比度在0.6以上，在低温和高温工作环境下，MTF性能严重下降。在常温工作环境中，如果此照相物镜的性能使用到奈奎斯特频率或者接近此频率点时，在低温和高温工作环境中，照相物镜具有不能达到常温性能指标的缺陷。
据以上分析，红外与可见光图像融合光学系统中的可见光物镜采用光学被动热补偿设计非常必要，同时对于定焦使用的可见光或者微光物镜，如果工作环境温度变化较大，也需要进行光学被动热补偿设计。
3. 图像配准精度的分析
3.1 引起图像配准精度降低的因素
图像配准精度的高低是决定图像融合效果的一个重要因素，因此图像配准精度是设计图像融合光学系统的一个与图像质量同等重要的设计指标。对于平行光路布局、红外与可见光图像融合光学系统，从理论上分析影响图像配准精度的因素有以下两个方面：
一是平行光路布局引起的图像配准精度的降低。由于红外物镜与可见光物镜的光轴平行但不重合，二者之间具有一定的间隔，造成随着观察距离的远近不同，配准精度也随之变化。
二是红外物镜与可见光物镜的畸变造成图像配准精度的降低。在图像融合光学系统中红外物镜与可见光物镜的畸变是需要关联的，为了提高图像配准的精度，红外物镜与可见光物镜的畸变在相同视场点需要具有相同的畸变值，依此来消除畸变带来的图像配准误差。
3.2 平行光路布局图像配准精度分析
红外和可见光图像融合物镜采取平行光路布局型式，由于二者的光轴具有一定的间隔，因此同一个目标分别经过红外物镜和可见光物镜成像后成像于各自的探测器上，像点距离各自探测器中心的间隔随观察距离的变化而变化，造成图像配准精度的降低。
为了简化分析，假设目标A在可见光物镜的光轴上，距离可见光物镜间隔为L，则经过可见光物镜成像于CMOS靶面的中心ACMOS。目标A与红外物镜的光轴间隔为d，经红外物镜成像于红外机芯的AIR处，AIR距离红外机芯的间隔为△d，如图 8所示。此△d为平行光路布局带来的图像配准误差：
$$\frac{d}{L} = \frac{{\Delta d}}{{{f_{{\rm{IR}}}}}}$$ 红外物镜与可见光物镜光轴间距为0.02 m，则对应不同距离的图像配准精度如表 2所示。由表 2可知此图像融合光学系统在45.5 mm~无穷远的观察范围内，图像配准精度在一个像素内，并且所观察的目标越远，图像配准精度越高。在图像配准误差大于一个像素的观察范围内，可以采取单通道观察如红外通道或者可见光通道。
表 2 随距离变化的图像配准精度Table 2. Image registration accuracy with distanceL/m △d/mm Pixel Notes 30 0.026 1.5 the size of each pixel is 0.017 mm 40 0.019 1.1 45.5 0.017 1 50 0.015 0.88 60 0.013 0.76 3.3 畸变影响图像配准精度分析
红外图像和可见光图像在同一个监视器上显示时，由于受畸变的影响，实际目标图像与理论目标图像具有一定的错位，造成图像配准精度的降低，因此在进行红外物镜和可见光物镜设计时需要对其畸变大小进行控制，使其畸变大小相一致。
红外物镜和可见光物镜在进行像质优化时，由于是光学被动热补偿系统，只需控制常温下的畸变值相一致，其余工作温度下畸变值相对常温下的畸变值变化非常小，即红外物镜和可见光物镜在其余工作温度下畸变值大小也一致，畸变变化情况见表 3和图 9。由表 3和图 9可知，以常温20℃的工作条件分析畸变带来图像配准的误差即可。
表 3 红外物镜与可见光物镜的畸变Table 3. Distortion of infrared objective lens and visible objective lens0.5ω 0.707ω 0.85ω 1ω Infrared lens 20℃ －0.61879% －1.24937% －1.83023% －2.59627% －40℃ －0.61847% －1.24882% －1.82957% －2.59568% 60℃ －0.61883% －1.2494% －1.83017% －2.59595% Visible lens 20℃ －0.61071% －1.25465% －1.83872% －2.588% －40℃ －0.61292% －1.25212% －1.83447% －2.5828% 60℃ －0.60927% －1.25632% －1.84153% －2.59143% ![]()
图 9 红外物镜和可见光物镜的场曲与畸变曲线Figure 9. Field curve and distortion curve of infrared objective lens and visible objective lens假定红外图像和可见光图像都在同一个微型OLED上显示（800×600、15 μm），以对角线一半长度做为像方理论像高进行分析。图像处理不会对红外图像和可见光图像产生畸变，则在进行图像融合时各个视场点图像配准的误差见表 4所示。由表 4可知，红外图像与可见光图像的畸变带来的配准精度误差不超过1 μm，即在进行像质优化设计过程中通过控制红外物镜和可见光物镜的畸变值，可以基本消除畸变带来的图像配准误差。
表 4 红外物镜和可见光物镜的图像配准误差Table 4. Image registration error of infrared objective lens and visible objective lensTheoretical image height /mm Infrared image height /mm Visibleimageheight /mm Error/mm 0.5ω 3.75 3.72680 3.72710 0.00030 0.707ω 5.3025 5.23626 5.23597 0.00029 0.85ω 6.375 6.25832 6.25778 0.00054 1ω 7.5 7.30528 7.30590 0.00062 4. 公差分析
红外物镜和可见光物镜分别按表 5、表 6分配零件公差，焦面位移作为补偿（补偿量±0.5 mm），以平均概率分布方式分配实际装配及加工时的公差值，并采用蒙特卡罗分析方法模拟50套加工装配后的虚拟镜头，分析虚拟镜头的MTF变化，依此判断实际镜头的成像效果。
表 5 红外物镜零件公差表Table 5. Tolerance table of infrared objective lens partsParameter Tolerance N ±3aperture △N ±0.7aperture Aspheric error ±0.00007 mm Thickness of optical parts ±0.02 mm Focal plane displacement compensation ±0.5 mm Surface tilt ±1' Air distance ±0.02 mm Element tilt 4.5' Element eccentricity 0.052 mm - - 表 6 可见光物镜零件公差表Table 6. Tolerance table of visible objective lens partsParameter Tolerance N ±4aperture △N ±0.6aperture Thickness of optical part ±0.03 mm Air distance ±0.05 mm Focal plane displacement compensation ±0.5 mm Surface tilt ±6' Element tilt ±6' Element eccentricity ±0.052 mm nd ±0.001 vd ±1% 表 7的蒙特卡罗分析结果表明90%的红外镜头在奈奎斯特频率处MTF值不小于0.135的；表 8的蒙特卡罗分析结果表明90%的可见光镜头在奈奎斯特频率处MTF值不小于0.301的。常规的加工及装配工艺均能满足表 5、表 6的公差要求，公差分配合理且整个镜头的成像质量较好。
表 7 红外物镜公差分析结果Table 7. Tolerance analysis results of infrared objective lensLens percentage /% MTF minimum（Nyquist frequency） 90 0.135 80 0.158 50 0.196 20 0.248 10 0.275 表 8 可见光物镜公差分析结果Table 8. Tolerance analysis results of infrared lens visible objective lensLens percentage /% MTF minimum（Nyquist frequency） 90 0.301 80 0.351 50 0.455 20 0.531 10 0.597 5. 结论
本文介绍了平行光路布局、光学被动热补偿方式实现红外与可见光图像融合物镜的设计理论和方法。通过对产生图像配准误差因素的分析，采取相应的措施减小或消除图像配准的误差，说明红外物镜和可见光物镜采取光学被动热补偿方式的设计方案能够提高图像配准的精度，改善图像融合效果。通过采取光学被动热补偿方式进行红外与可见光图像融合物镜的设计，为其它进行图像融合研究的相关人员提供参考。
-
![]()
图 9 红外物镜和可见光物镜的场曲与畸变曲线
Figure 9. Field curve and distortion curve of infrared objective lens and visible objective lens
表 1 图像融合系统光学设计参数
Table 1 Optical design parameters of image fusion system
Infrared lens Focal length
Field
F/#
Wavelength
Detector type38.7 mm
16°×12°
1.1
8 μm-12 μm
UFPA 640×480, 17 μmVisible lens Focal length
Field
F/#
Wavelength
Detector type51.22 mm
16°×12°
1.5
0.6 μm~0.95 μm
CMOS 800×600, 18 μmFusion lens Registration accuracy
Distance temperatureOne pixel（0.017 mm）
45.5 m-∞
－40℃-60℃
下载: 导出CSV
表 2 随距离变化的图像配准精度
Table 2 Image registration accuracy with distance
L/m △d/mm Pixel Notes 30 0.026 1.5 the size of each pixel is 0.017 mm 40 0.019 1.1 45.5 0.017 1 50 0.015 0.88 60 0.013 0.76
下载: 导出CSV
表 3 红外物镜与可见光物镜的畸变
Table 3 Distortion of infrared objective lens and visible objective lens
0.5ω 0.707ω 0.85ω 1ω Infrared lens 20℃ －0.61879% －1.24937% －1.83023% －2.59627% －40℃ －0.61847% －1.24882% －1.82957% －2.59568% 60℃ －0.61883% －1.2494% －1.83017% －2.59595% Visible lens 20℃ －0.61071% －1.25465% －1.83872% －2.588% －40℃ －0.61292% －1.25212% －1.83447% －2.5828% 60℃ －0.60927% －1.25632% －1.84153% －2.59143%
下载: 导出CSV
表 4 红外物镜和可见光物镜的图像配准误差
Table 4 Image registration error of infrared objective lens and visible objective lens
Theoretical image height /mm Infrared image height /mm Visibleimageheight /mm Error/mm 0.5ω 3.75 3.72680 3.72710 0.00030 0.707ω 5.3025 5.23626 5.23597 0.00029 0.85ω 6.375 6.25832 6.25778 0.00054 1ω 7.5 7.30528 7.30590 0.00062
下载: 导出CSV
表 5 红外物镜零件公差表
Table 5 Tolerance table of infrared objective lens parts
Parameter Tolerance N ±3aperture △N ±0.7aperture Aspheric error ±0.00007 mm Thickness of optical parts ±0.02 mm Focal plane displacement compensation ±0.5 mm Surface tilt ±1' Air distance ±0.02 mm Element tilt 4.5' Element eccentricity 0.052 mm - -
下载: 导出CSV
表 6 可见光物镜零件公差表
Table 6 Tolerance table of visible objective lens parts
Parameter Tolerance N ±4aperture △N ±0.6aperture Thickness of optical part ±0.03 mm Air distance ±0.05 mm Focal plane displacement compensation ±0.5 mm Surface tilt ±6' Element tilt ±6' Element eccentricity ±0.052 mm nd ±0.001 vd ±1%
下载: 导出CSV
表 7 红外物镜公差分析结果
Table 7 Tolerance analysis results of infrared objective lens
Lens percentage /% MTF minimum（Nyquist frequency） 90 0.135 80 0.158 50 0.196 20 0.248 10 0.275
下载: 导出CSV
表 8 可见光物镜公差分析结果
Table 8 Tolerance analysis results of infrared lens visible objective lens
Lens percentage /% MTF minimum（Nyquist frequency） 90 0.301 80 0.351 50 0.455 20 0.531 10 0.597
下载: 导出CSV
-
[1] 安福, 杨风暴, 李伟伟, 等.基于DWT的红外偏振与光强图像的融合[J].光电技术应用, 2013, 28(2): 18-23. http://www.cnki.com.cn/Article/CJFDTotal-GDYG201302008.htm AN Fu, YANG Fengbao, LI Weiwei, et al. Fusion of Infrared Polarization and Intensity Images Based on DWT[J]. Electro-optic Technology Application, 2013, 28(2): 18-23. http://www.cnki.com.cn/Article/CJFDTotal-GDYG201302008.htm
[2] 曾朝阳, 程相正, 陈杭, 等.基于改进SURF算子的高低分辨率图像配准方法[J].激光与红外, 2014, 44(2): 207-212. http://d.wanfangdata.com.cn/Periodical/jgyhw201402022 ZENG Zhaoyang, CHENG Xiaozheng, CHEN Hang, et al. Registrantion method of high-low resolution images based on improved SURF[J]. Laser & Infrared, 2014, 44(2): 207-212. http://d.wanfangdata.com.cn/Periodical/jgyhw201402022
[3] 郭李华.基于金字塔和HIS变换的图像融合研究[J].微计算机应用, 2010, 31(11): 67-72. http://d.wanfangdata.com.cn/Periodical/wjsjyy201011011 GUO Lihua. Research of Image Fusion Based on Laplacian-Pyramid and HIS-Transform[J]. Microcomputer Applications, 2010, 31(11): 67-72. http://d.wanfangdata.com.cn/Periodical/wjsjyy201011011
[4] 韩泽, 蔺素珍, 赵竞超, 等.基于直觉模糊集的多波段图像融合[J].红外技术, 2018, 40(3): 253-258. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201711015 HAN Ze, LIN Suzhen, ZHAO Jingchao, et al. Multi-band Image Fusion Based on Intuitionistic Fuzzy Set Theory[J]. Infrared Technology, 2018, 40(3): 253-258. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201711015
[5] 李博博, 马泳, 张晓晔, 等.基于BMA滤波器和边缘的红外与可见光图像融合[J].红外技术, 2018, 40(2): 139-145. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201706011 LI Bobo, MA Yong, ZHANG Xiaoye, et al. Infrared and Visible Image Fusion Based on BMA Filter and Edge[J]. Infrared Technology, 2018, 40(2): 139-145. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201706011
[6] 张俊举, 常本康, 张宝辉, 等.远距离红外与微光/可见光融合成像系统[J].红外与激光工程, 2012, 41(1): 20-24. http://d.wanfangdata.com.cn/Periodical/hwyjggc201201005 ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Long-distance image fusion system for infrared and LLL/visible bands[J]. Infrared and Laser Engineering, 2012, 41(1): 20-24. http://d.wanfangdata.com.cn/Periodical/hwyjggc201201005
[7] 孙爱平, 龚杨云, 朱尤攀, 等.微光与红外图像融合手持观察镜光学系统设计[J].红外技术, 2013, 35(11): 712-717. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201307017 SUN Aiping, GONG Yangyun, ZHU Youpan, et al. Optical System Design of Low-light-level and Infrared Image Fusion Hand-held Viewer[J]. Infrared Technology, 2013, 35(11): 712-717. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201307017
-
期刊类型引用(3)
1. 李夕雯，张可人，赵建府. 基于光纤探头的光电图像径向畸变校正方法. 激光杂志. 2023(12): 207-211 . 
百度学术
2. 杨璐，郭文锋. 抵抗密文攻击的光学图像加密方法. 激光杂志. 2022(11): 134-138 . 百度学术
3. 罗扬，袁艺标. 基于聚类的超声射频图像阴影双线性补偿方法. 计算机仿真. 2021(10): 209-212+236 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 268
- HTML全文浏览量: 45
- PDF下载量: 43
- 被引次数: 4
