Design of Compact Athermalized Long-Wave Infrared Lens Set with Large Field of View
-
摘要: 跟随红外镜头小型化、大视场化的趋势,利用ZEMAX设计了一款大视场无热化小型长波红外镜组。系统匹配384×288@17μm的非制冷型长波红外探测器,工作波段为8~12 μm。系统F数为1.6,相比于传统红外镜头,视场角更大,全视场达72°,尺寸更小,总长仅为6.96 mm。主镜头仅用3片镜片,通过两种红外光学材料的搭配以及6面非球面实现像差的校正和光学系统的无热化,工作温度范围覆盖-40~60℃。仿真结果表明,在空间频率15 lp/mm处,全视场的调制传递函数大于0.5,空间频率30 lp/mm处,全视场调制传递函数大于0.15。同时为了增大红外探测器的填充因子,提高能量利用率,在系统中搭配设计了放置于红外传感器前的微透镜阵列。实现了红外光学系统的小型化,为红外热像仪在智能手机上的应用提供了解决方案。Abstract: Following the trend of miniaturization and large fields-of-view for infrared lenses, we designed a large-field-of-view athermalized compact long-wave infrared lens using ZEMAX. The system matches a 384×288@17 μm uncooled long-wave infrared detector with an operating band of 8 μm to 12 μm. The F-number of the system is 1.6. The designed system has a larger field-of-view than a traditional infrared lens, with a full field-of-view reaching 72°. The size of the designed system is small with a total length of only 6.96 mm. The primary lens system lens uses only 3 lenses. Aberration correction and athermalization was realized by combining two infrared materials and six aspherical surfaces. The system has a working temperature range of −40℃ to 60℃. Simulation results show that the MTF of the full field-of-view reaches 0.5 at a spatial frequency of 15 lp/mm and 0.15 at a spatial frequency of 30 lp/mm. Further, to increase the filling factor of the infrared detector and improve energy efficiency, a microlens array is placed in front of the infrared sensor. Miniaturization of the infrared optical system was achieved, providing a solution for the application of thermal imaging cameras on smartphones.
-
Keywords:
- long-wave infrared /
- athermalization /
- large field of view /
- microlens array
-
0. 引言
在红外热成像设备的设计和应用中,经常针对不同厂家或者不同型号的红外探测器定制非标的红外图像处理算法,以及标定不同的算法参数。由于算法模型或者算法参数经常变化,导致设计算法、仿真、在硬件上调试算法的时间很多,开发周期很长,开发效率低下等问题。而常规的红外图像处理算法,包括数据采集、时域滤波、非均匀性校正、空域滤波、锐化增强、坏点校正以及调光映射等。设计的初期,需要从算法原理设计、算法模型的建立、数学过程的计算,转化成可实现的编程语言,然后实现和显示。
随着小型化、低功耗、低成本的红外热成像设备应用的普及和民用。FPGA处理器非常适合于该种应用需求,FPGA是高速并行的处理器,适合于图像阵列的算法处理和加速,并且功耗低,可反复编程设计,所以常应用于红外热成像设备中。
1. 传统的红外图像仿真方法
基于FPGA的红外图像处理算法,仿真流程示意图如图 1所示。
从图 1中可知,利用FPGA处理器进行图像处理,需要两步的仿真结果。
第一步:根据算法需求,设计算法原理,在Matlab软件上编程实现算法过程,先用浮点数进行设计和计算,代码设计和编写完成后,导入测试图像,进行仿真和显示,在显示窗口中显示出来[1-4]。对显示出来的图像效果进行评估,看看图像效果有没有达到算法原理期望的结果,如果没有,调整算法参数和实现过程,反复迭代调整直至图像效果达到期望的结果。达到期望结果后,进行定点化设计,将算法实现过程中的浮点数,全部转化成定点化数,比如INT8、INT16、INT32等,并且转化完成后,保证算法实现的结果仍然达到期望值,不损失精度,不丢失细节。然后再更换测试图像,测试数据设计成依次递增或者递减的特征数据,再进行仿真。
第二步:文献[5]、[6]提出定点化之后的算法原理和实现过程,编写FPGA的硬件描述语言,设计FPGA的逻辑,将第一步过程中的算法原理实现出来,再进行ModelSim仿真,仿真测试的输入激励是第一步中同样依次递增或者递减的特征数据,得到仿真结果,与第一步中每个关键节点(关键步骤)的结果进行比对,保证每一步的结果都与Matlab仿真的结果相同,才能确保算法效果的达到。
传统的红外图像仿真方法,分成上述两个步骤,先要进行Matlab仿真,显示评判效果达到之后,再启动定点化,将定点化之后的算法过程转化成FPGA中可以实现的过程,并用FPGA的硬件描述语言实现相关的逻辑,再进行ModelSim仿真,由于ModelSim不能像Matlab工具一样方便导入一张图像(图片数据)进行仿真,仿真结果不能直观地可视化显示。所以在第一步、第二步过程中,输入激励的时候制作一些递增、递减的相同特征数据进行仿真。对每一步关键步骤和最后结果的仿真比对,保证数据正确,才能保证算法原理的实现和算法效果的达到。
2. 基于ModelSim可视化的红外图像仿真方法
从上述传统的红外图像仿真过程看,既要实现Matlab代码编写、仿真、还要做定点化设计。等FPGA代码编写完成后,在ModelSim仿真的时候还要进行每一步过程的计算结果比对,并且不能直接可视化的方式看到算法运行的结果。存在实现过程复杂、开发效率低下,开发周期长等问题。针对这些问题,本文提出了一种新的基于ModelSim可视化仿真的红外图像仿真方法。如图 2所示为本文的实现框图。
从图 2中可知,基于ModelSim可视化的红外图像仿真方法相比传统的红外图像仿真方法,仿真过程简单很多,开发效率也会提高很多。在算法原理设计完成后,直接编写FPGA的硬件描述语言实现算法计算过程,再进行ModelSim仿真,仿真的时候,不再用特定的递增数据或者递减的特征数据做输入激励,而是用之前原始采集到的红外图像,如果算法原理是针对16 bit的原始红外图像处理,可以是Y16数据,针对8 bit的调光之后红外图像处理可以是Y8数据,之前采集到的红外图像Y16或者Y8数据,存放在RAW文件中。而RAW文件中的图像数据是可以用ImageJ查看的,ImageJ工具可以直接显示16位或者8位的RAW图像。
对于红外图像算法所用到的数据文件——RAW文件,是不能直接导入ModelSim进行仿真的,需要经过binary工具将raw文件转换成txt文件,在ModelSim中通过系统调用$readmemb/ readmemh函数读入TXT文件的方式读入到内存中,然后进行图像算法处理,算法处理完成,调用$writememb/ $writememh函数将算法处理之后的图像写入txt文件中,通过txt2bin工具,将txt格式的数据转换成bin文件,再通过直接改后缀名,将.bin改成.raw文件。这样输入输出都是raw格式的数据文件,导入ImageJ工具中显示,以可视化的方式显示出了图像。
所以,这样红外图像算法处理的输入是图像数据,输出是处理之后的图像数据,可以直观地在ImageJ工具中显示出来对比,分析红外图像算法的处理过程是否正确。并且每一步的计算过程和关键步骤的结果也可以通过如图 3内存查看的方式、图 4内存读写过程仿真的方式查看数据在内存中存储、写入和读出是否异常。并通过如图 5红外图像算法处理仿真过程来查看数据计算过程正确与否。
这样数据输入,写入内存,然后从内存中读出,再进行红外图像算法处理,每一步数据的处理都是可以查询和追溯的,所以既方便又快捷。如图 6所示为本文进行红外图像滤波降噪算法处理过程中的输入源图和处理完成之后输出结果对比图Image显示,图 7为本文中基于ModelSim仿真过程中输入输出文件结构示意图。
在反复调整算法过程,以及算法参数的情况下,能够很快得到想要的算法结果,比如图 6中右边是降噪之后的效果图,降噪之后,图像噪声能消除了,但是图像变得模糊了,说明降噪算法参数设置不合适,通过调整滤波器的系数和阈值之后,降噪效果有明显的改善,如图 8所示。
上述图 6与图 8中的红外图像滤波降噪算法为非局部平均滤波降噪算法,算法流程如图 9所示。这种降噪算法是一种利用图像自相似性的空域滤波算法,相比传统高斯平滑、双边滤波等方法,保护更多的图像细节。图像各点之间可以同时进行运算,非常适合于在FPGA并行处理器上运算。根据相似性计算权重的时候,如果相似性阈值选择太大,算法滤波出来的效果如图 6所示,过度平滑了,图像变模糊了,而选择合适的相似性阈值,得到滤波出来的效果如图 8所示,既能滤除噪声,又能保留图像细节。在该种红外图像仿真方法中能很快得到一组适合的算法参数。
基于该种ModelSim可视化的红外图像仿真方法,能够快速地修改算法参数和调整算法计算过程,运行之后得到图像算法的仿真结果,并且输入、算法计算、输出等环节里的每一步数据都是可以通过内存或者波形查看的方式追溯数据处理过程,保证数据向着期望的方向计算和处理。
3. 分析讨论
本文提出两种红外图像的仿真方法,传统的红外图像仿真方法,需要进行Matlab仿真,仿真结束后,再进行定点化设计,才能指导FPGA进行编程和实现,最后启动ModelSim的仿真,并且传统的ModelSim仿真并不能直接对图像数据的输入进行仿真并且可视化,而是制作相关的递增或者递减的特征数据作为输入,并且Matlab仿真同样以该特征数据作为输入,进行仿真,最后对2组仿真数据结果进行比对,比对结果一致代表该算法在FPGA中运行正常,能达到期望的算法效果。该过程复杂、繁琐、开发效率低下、开发周期长等问题不可忽视。所以本文在传统的红外图像仿真方法上进行了改进和优化,提出了一种新的基于ModelSim可视化的红外图像仿真方法与系统。该种方法在传统方法上省去了Matlab仿真的过程和环节,同时也省去了定点化的设计过程。在算法原理设计完成后,启动FPGA硬件描述语言的编写和仿真,只是在仿真的时候,输入图像可以用之前采集好的红外图像或者用PS工具生成一张图片,保存为.raw文件,在仿真输入的时候用binary工具将raw格式文件转换成txt文件,就可以启动仿真过程了,仿真结束后,生成的结果TXT,再通过txt2bin工具,将txt格式的数据转换成bin文件,再通过直接改后缀名的方式,将.bin改成.raw文件。用ImageJ工具打开source.raw和result.raw文件就可以直观地对比显示在图像窗口上了。并且对于算法参数、计算过程的调整,也是很快得到相应的输出结果。该过程相对传统的Matlab仿真和ModelSim联合仿真要方便很多,尤其是在算法调整和参数的调整的情况下,又要重复一遍Matlab仿真,再去ModelSim仿真的过程。但是该种方法对于红外图像算法原理的理解和FPGA逻辑实现图像算法的能力要求比较高。并且本文针对红外图像的仿真方法与传统的红外图像仿真方法,在适用范围上是一样的,对象都是红外图像的算法仿真。针对具体的算法模型,需要将算法分解成各计算步骤,然后针对各计算步骤进行数据仿真,所以对于其他文献[7]中不同的算法,比如弱小目标的背景的抑制,突出目标的增强算法等都是一样的仿真过程。
4. 结论
对于红外图像处理算法在FPGA的实现过程中,本文阐述了传统的仿真方法,先进行Matlab仿真,仿真效果达到的前提下,再进行定点化设计,指导FPGA进行逻辑设计,完成算法原理的实现,最后启动ModelSim仿真,而且仿真结果的正确评判标准是与Matlab仿真结果比对一致,不一致的话,要优化定点化过程,再进行仿真,重复直至结果一致。而本文的仿真方法基于ModelSim的可视化仿真,省去了上述繁琐的开发过程,直接将图像源文件转化后导入ModelSim仿真,算法处理完成后,转成图像结果文件进行比对,用可视化的方式评判图像经过算法处理之后是否达到算法原理期望达到的算法效果。同时如果算法未到达期望效果,通过调整参数、算法实现过程,以及追溯输入图像、写入、读出内存过程,判断图像算法计算过程中数据的正确与否。所以该方法与传统的红外图像仿真方法相比,评估算法效果以可视化显示输入、输出对比图差异性来达到。评估算法计算过程的正确性,同样可以追溯数据处理过程的每一步的正确性来达到。所以该仿真方法的仿真效果是与传统的方法一致的。但是开发过程缩减了和效率上大大提升了,开发周期短。尤其是在反复调参和优化过程中,显得更为明显和方便便捷。
-
表 1 IRG203与IRG206在8~12 μm的光学特性和热特性
Table 1 Optical and thermal properties of IRG203 and IRG206 (8~12 μm)
Material Refractive index at 10 μm Abbe number at 10.6 μm dn/dT at 10 μm and 20℃/(10−6/℃) IRG203 2.5862 86.07 40 IRG206 2.7781 137.71 34 表 2 光学系统设计指标
Table 2 Design requirements of optical system
Parameters Value Wavelength/μm 8 to 12 F# 1.6 Focal length/mm <6 Field of view/(°) ≥60 Temperature range/℃ -40 to 60 Total Track Length/mm <7 表 3 后截距调节分析
Table 3 Back focal length adjustive distance
Temperature/℃ BFL/μm Ideal BFL/μm Adjust/μm -40 875.42 881.92 6.5 -20 877.69 881.97 4.28 0 879.97 882.06 2.09 20 882.23 882.23 0 40 884.50 882.53 -1.97 60 886.76 882.99 -3.77 表 4 各温度下最大轴向色差
Table 4 Maximum axial chromatic aberration at each temperature
Temperature/℃ Maximum axial chromatic aberration/μm -40 32.9537 -20 32.9643 0 32.9768 20 32.9917 40 33.0095 60 33.0301 表 5 蒙特卡洛公差分析结果
Table 5 Result of Monte Carlo tolerance analysis
Sample proportion MTF 90% 0.14136629 80% 0.14557190 50% 0.15886338 20% 0.16967453 10% 0.17301277 -
[1] 奚晓, 岑兆丰, 李晓彤. 无热技术在光学系统中的应用[J]. 红外与激光工程, 2005, 34(4): 388-390. DOI: 10.3969/j.issn.1007-2276.2005.04.003 XI Xiao, CEN Zhaofeng, LI Xiaotong. Application of athermalisation in optical systems[J]. Infrared and Laser Engineering, 2005, 34(4): 388-390. DOI: 10.3969/j.issn.1007-2276.2005.04.003
[2] 张凌志. 面向移动端的长波红外成像系统光学设计[D]. 武汉: 华中科技大学, 2017. ZHANG Lingzhi. Option Design of Long-Wave Infrared Imaging System for Mobile Devices[D]. Wuhan: Huazhong University of Science and Technology, 2017.
[3] 田永. 基于非制冷型探测器的红外成像系统设计[D]. 长春: 长春理工大学, 2021. TIAN Yong. Design of Infrared Imaging System Based on Uncooled Detector[D]. Changchun: Changchun University of Science and Technology, 2021.
[4] 张继艳, 林海峰, 黄章超. 基于硫系玻璃的紧凑式大相对孔径长波红外光学系统无热化设计[J]. 应用光学, 2021, 42(5): 790-795. ZHANG Jiyan, LIN Haifeng, HUANG Zhangchao. Compact large relative aperture long wavelength infrared athermalization optical system with chalcogenide glasses[J]. Journal of Applied Optics, 2021, 42(5): 790-795.
[5] 王静, 吴越豪, 戴世勋, 等. 硫系玻璃在长波红外无热化连续变焦广角镜头设计中的应用[J]. 红外与激光工程, 2018, 47(3): 165-171. WANG Jing, WU Yuehao, DAI Shixun, et al. Application of chalcogenide glass in designing a long-wave infrared athermalized continuous zoom wide-angle lens[J]. Infrared and Laser Engineering, 2018, 47(3): 165-171.
[6] 吴晓晴, 孟军和. 使用简单机械结构实现红外光学系统无热化[J]. 红外与激光工程, 2005, 34(4): 391-393. DOI: 10.3969/j.issn.1007-2276.2005.04.004 WU Xiaojing, MENG Junhe. Athermalizing infrared optical systems by using simple mechanical framework [J]. Infrared and Laser Engineering, 2005, 34(4): 391-393. DOI: 10.3969/j.issn.1007-2276.2005.04.004
[7] 王学新, 焦明印. 红外光学系统无热化设计方法的研究[J]. 应用光学, 2009, 30(1): 129-133. WANG Xuexin, JIAO Mingyin. Athermalization design for infrared optical systems[J]. Journal of Applied Optics, 2009, 30(1): 129-133.
[8] 崔莉, 赵新亮, 李同海, 等. 无调焦非制冷红外光学系统的无热化设计[J]. 红外技术, 2010, 32(4): 187-190. DOI: 10.3969/j.issn.1001-8891.2010.04.001 CUI Li, ZHAO Xinliang, LI Tonghai, et al. Athermalization of uncooled infrared optical system without focusing mechanism[J]. Infrared Technology, 2010, 32(4): 187-190. DOI: 10.3969/j.issn.1001-8891.2010.04.001
[9] 武岩, 高春, 魏巍. 基于CMOS图像传感器的微透镜平移算法研究[J]. 现代计算机, 2017(35): 66-70. WU Yan, GAO Chun, WEI Wei. The research of microlens shifting algorithm for CMOS Image Sensor[J]. Modern Computer, 2017(35): 66-70.
[10] 张以漠. 应用光学[M]. 北京: 电子工业出版社, 2015. ZHANG Yimo. Applied Optics[M]. Beijing: Electronic Industry Press, 2015.
[11] 尹志东, 向阳, 高健, 等. 1300万像素手机镜头设计[J]. 激光与光电子学进展, 2014, 51(1): 012202. YIN Zhidong, XIANG Yang, GAO Jian, et al. Optical design of a 1300 megapixel mobile phone camera lens optics designs[J]. Laser & Optoelectronics Progress, 2014, 51(1): 012202.
[12] 于洋, 蹇毅, 潘兆鑫, 等. 红外二次成像无热化光学系统设计与实测[J]. 红外与激光工程, 2013, 42(12): 3180-3184. YU Yang, JIAN Yi, PAN Zhaoxin, et al. Design and test-result of re-imaging athermal infrared optical system[J]. Infrared and Laser Engineering, 2013, 42(12): 3180-3184.
[13] 路文文, 郭景阳, 陈善勇. 鸥翼型非球面元件的白光干涉拼接测量[J]. 光学学报, 2022, 42(9): 112-122. LU Wenwen, GUO Jingyang, CHEN Shanyong. White light interferometry stitching measurement of gull-wing aspheric optics[J]. Acta Optica Sinica, 2022, 42(9): 112-122.
[14] 刘丰, 张帆, 边浩, 等. 折射型红外微透镜阵列器件的发展及制备[J]. 激光与光电子学进展, 2020, 57(7): 071607. LIU Feng, ZHANG Fan, BIAN Hao, et al. Development and preparation of refractive infrared microlens array device[J]. Laser & Optoelectronics Progress, 2020, 57(7): 071607.