Distortion Correction Method for Large Field-of-View Infrared Camera
-
摘要:
本文针对大视场红外相机的畸变校正过程复杂的问题，提出了一种新的畸变校正方法。首先，选择单参数除法模型（division model，DM）作为相机畸变模型，使用改进的加速特征稳健算法（speed-up robust features，SURF）自动获取两幅有相同场景的畸变红外图像的特征点对，然后利用九点非迭代算法和核密度估计方法获取图像的畸变参数，最后根据求得的畸变参数使用基于边缘保持的灰度插值方法对图像进行畸变校正。在整个过程中，不需要预先知道相机的参数和场景信息，通过输入两幅具有相同场景的图像，完成畸变校正，为大视场红外相机的畸变校正提供了一种新的解决方法。实验结果表明，使用该方法对大视场红外相机进行畸变校正具有可行性和鲁棒性。
Abstract:This paper proposes a distortion correction method suitable for large field of view infrared cameras. First, the single-parameter division model is selected as the camera distortion model, and the improved speed-up robust features algorithm is used to automatically obtain the feature point pairs of two distorted infrared images with the same scene. The nine-point non-iterative algorithm and kernel density estimation method are then used to obtain the distortion parameters of the image. Finally, according to the obtained distortion parameters, the grayscale interpolation method based on edge preservation is used to correct the distortion of the image. In the entire process, it is not necessary to determine the parameters and scene information of the camera in advance, and the distortion correction is completed by entering two images with the same scene, which provides a new solution for the distortion correction of large-field infrared cameras. The experimental results show that it is feasible and robust to use this method to correct the distortion of large field infrared cameras.
-
0. 引言
随着探测技术的不断发展，红外探测器在军民领域的应用越来越广泛，红外探测器的性能也在不断提高。此外，红外探测器正向更大面阵、更小像元、更高分辨率的方向发展。目前，为了表征探测器性能的好坏，常用MTF来衡量。在对探测器MTF测试时，要求标准成像镜头的传递函数高于探测器，因此红外高分辨率小像元探测器的MTF测试要求其标准成像镜头在无中心遮拦并且具有衍射极限的良好像质基础上，相对于传统的标准镜具有更大的相对孔径也就是更小的F数[1-2]。但是对于光学系统来说，F数越小，在光学设计的过程中也会更加困难。所以本文基于上述问题，开展波段处于1.1~2.5 μm，视场角为1.6°×2.4°并且F数接近1的红外光学系统设计。由于F数极小，在设计时需要的镜片数量也较多。为了使结构简单，并且具有相对较小的体积，本文选择使用离轴三反射式的光学结构。
目前国内对离轴三反光学系统的研究相对较晚，在2002年，刘琳、薛鸣球等人分析研究了一款10 m焦距、F数为10的三反射式结构的长焦距望远镜系统[3]。2006年，张亮、安源等人研究设计了一款3个反射面均是二次曲面、焦距为2000 mm、F数为9的离轴三反射镜系统[4]。2016年，孟庆宇、汪洪源等人设计了一款1200 mm焦距、F数12、30°×1°视场的可见光波段离轴三反成像系统，其主镜为高阶偶次非球面，次镜为球面，三镜为自由曲面[5]。通过上述几位学者对离轴反射系统的研究，发现了离轴三反射式光学系统具备同时校正球差、彗差与像散3种像差的能力，可以实现较高的光学性能。对比目前现有的具有小F数大视场的离轴三反光学系统，大多都采用了自由曲面，虽然自由曲面的设计自由度较高，但是考虑到自由曲面面型的复杂性以及加工的困难性，本文选择采用具有旋转对称性并且面型简单的偶次非球面来进行小F数红外光学系统的设计[6]。所以本文根据系统的指标要求，首先利用高斯公式以及三级像差理论自主计算得到同轴三反系统的初始结构，然后通过视场离轴和孔径离轴相结合的方式来避免中心遮拦这一问题，并且，该系统中的三面反射镜都采用了偶次非球面，使系统在后续优化的过程中，很好地校正了像差。最终设计出F数为1.3的小F数红外光学系统。此系统的研究可能对红外探测器后续的发展起到很大的作用。
1. 光学系统结构的选择
1.1 系统结构的选择
在进行光学设计时，一般常用折射式、折反式和反射式系统。折射式系统结构形式丰富，而且能够同时满足大视场大相对孔径的要求。折反式系统具有外形尺寸小、透射比高、光能损失少等优点。但最重要的是，在光学设计过程中，无论是折射式结构还是折反式结构都需要使用光学透射材料。由于本文是针对红外波段来进行光学系统的设计，所以还要选择特殊的红外材料。但是由于红外光学材料类别有限，这样就会为红外光学系统的设计带来一定的局限性[7-8]。
相比于折射式和折反式结构来说，反射式系统无色差，对波段也没有要求，反射式光学系统元件比较少，而且光路设计形式灵活，可以满足大口径、大视场、长焦距等多种要求。综上所述，本文选择采用全反射式结构。在采用该结构时，如果仅使用两镜系统，那么可优化的变量太少，在后续对像差的优化过程中增加了难度，然而由4个或多个反射镜组成的多反射镜系统结构复杂。所以三反系统更有利于该系统的设计[9]。
此外，反射系统可以分为两类，即同轴系统和离轴系统。相比于同轴系统，离轴式反射系统无中心遮拦，视场比较大。最终本论文选择采用离轴三反式结构来进行小F数红外光学系统的设计。
1.2 离轴三反式光学系统结构的确定
离轴三反系统可以分为两种形式，一种是两次成像的Rug型，另一种是一次成像的Cook型。这两种形式的结构如图 1所示。
图 1(a)为有中间像面的Rug型离轴三反系统，光阑位于主镜附近，有利于结构紧凑，可以在中间像面附近加消杂光光阑，能够有效抑制杂散光，适用于小视场大范围目标跟踪的光学系统。图 1(b)为无中间像面的Cook型离轴三反系统，光阑位于次镜附近，有较好的对称性，有利于实现大视场。适用于大视场目标捕获的扫描成像系统。基于该优点，所以本文选择Cook型结构来进行小F数红外光学系统的设计[10-11]。
1.3 系统设计指标
光学系统的设计指标如表 1所示。
表 1 光学系统设计参数Table 1. Parameters of optical systemParameters Value Focal length 60 mm F# 1.3 Field of view 1.6°×2.4° Wavelength 1.1-2.5 μm MTF（100lp/mm） > 0.6 1.4 初始结构计算方法
离轴三反系统是在同轴三反系统结构基础上进行偏心和倾斜得到的。图 2为同轴三反系统的结构图。因此要想得到离轴三反系统，必须先计算出同轴三反系统的结构参数。即三面反射镜的曲率半径，主次镜之间距离，次镜和三镜之间的距离，主镜、次镜、三镜的面型参数[12-15]。
同轴三反系统的轮廓主要由以下参数决定：
次镜对主镜的遮拦比：
$$ α_{1}＝l_{2}/f′≈h_{2}/h_{1}$$ (1) 三镜对次镜的遮拦比：
$$ α_{2}＝l_{3}/l_{2}′≈h_{3}/h_{2}$$ (2) 次镜的放大率：
$$ β_{1}＝l_{2}′/l_{2}≈u_{2}/u_{2}′$$ (3) 三镜的放大率：
$$ β_{2}＝l_{3}′/l_{3}≈u_{3}/u_{3}′$$ (4) 根据三级像差理论，经推导得到各参数之间的数学关系：
$$ R_1^{} = \frac{2}{{{\beta _1}{\beta _2}}}f' $$ (5) $$ R_2^{} = \frac{{2{\alpha _1}}}{{\beta {}_2(1 + {\beta _1})}}f' $$ (6) $$ R_3^{} = \frac{{2{\alpha _1}{\alpha _2}}}{{1 + {\beta _2}}}f' $$ (7) $$ d_1^{} = \frac{{1 - {\alpha _1}}}{{{\beta _1}{\beta _2}}}f' $$ (8) $$ d_2^{} = \frac{{{\alpha _1}(1 - {\alpha _2})}}{{{\beta _1}{\beta _2}}}f' $$ (9) 由于该设计采用Cook型离轴三反光学系统结构，所以我们只需给定系统中遮拦比和放大率中的任意三个变量，即可计算得到初始结构。由于本文想要采用图 1中一次成像系统的结构形式，那么一般可以给定α1在0.394左右，α2在1.17左右，所以本文令α1＝0.394，α2＝1.17，再根据平像场条件可得到β1＝0.86，最后再基于以上公式(5)~(9)和三级像差理论，使得三级像差表达式各个像差等于零，就可以求解出系统的曲率半径、距离和三个反射镜的圆锥系数。表 2为最终求得的初始结构参数[16]。
表 2 初始结构参数Table 2. Initial structural parametersReflecting mirror Radius/mm Distance/mm Conic Primary mirror −178.890 −46 −1.465 Secondary mirror −49.969 46 1.137 Tertiary mirror −68.314 −50 0.163 2. 光学系统设计与优化
将上述光学设计指标和计算出的同轴三反光学系统的初始结构输入到光学设计软件中，得到最初的同轴三反结构。
2.1 系统优化设计
首先将同轴系统中的曲率半径、三镜之间的距离以及圆锥系数都设为变量，先对该同轴结构进行初步的优化，使其具有优良的成像质量。然后再分别设定主镜、次镜、三镜的偏心和倾斜使其离轴。在离轴的过程中，此系统没有单独使用视场离轴，而是采用孔径离轴与视场离轴相结合的方式。主要是因为系统F数很小，在优化时，发现系统很容易产生中心遮拦。而且该系统的三面反射镜为非球面，不像自由曲面自由度那么高，所以采用两者相结合的方式，相当于增加了可优化的变量，从而能够更好实现高像质和较小的体积。除此之外，系统在优化的过程中还是会产生中心遮拦以及系统的同轴化，所以特利用以下方法来控制镜面与可能被光线遮拦部分的最小距离[17]。图 3为无中心遮拦系统结构图，具体步骤如下：
1）首先提取点A、B、C的全局坐标YA、YB、YC；
2）根据A点和C点的全局坐标可以计算得到该条光线的斜率k；
3）再依据斜率k与A点坐标即可得到该条光线的截距b；
4）最后再计算出AB之间的距离Δ，合理限制Δ大小即可很好地避免系统产生中心遮拦。
综合上述优化思路，对其他会产生遮拦的部分采用同样的方法，不断地对系统进行优化。最后优化完成得到的离轴三反光学系统结构如图 4所示。相应的结构参数如表 3所示。
表 3 优化后的结构参数Radius/mm Distance/mm Conic Decenter Y/mm Tilt About X/(°) Primary mirror −881.861 −118.000 −3.179 −79.000 −1.500 Secondary mirror −153.457 58.000 9.968 20.000 15.000 Tertiary mirror −96.431 −47.631 −1.204 1.064 −0.565 其间，在优化的过程中，由于该设计的三反系统F数很小，在对像差校正的过程中增加了很大难度，所以将反射镜的高次非球面系数设置为变量，再次优化，从而能够使系统进一步提高像质。最终反射镜的高次非球面系数如表 4所示。
表 4 三面反射镜的高次非球面系数Table 4. High order aspherical coefficients of three mirrorsReflecting mirror Four order term Sixth order term Eighth order term Primary mirror −5.208×10-9 −3.523×10-14 1.430×10-17 Secondary mirror −3.883×10-8 1.024×10-11 2.642×10-15 Tertiary mirror −2.083×10-7 −1.128×10-11 −2.011×10-15 2.2 结果分析
图 5为此光学系统的点列图。从图中可以观察到均方根半径最大为1.674 μm，小于探测器的像元尺寸。系统的MTF曲线如图 6所示。从MTF曲线图可以看出，在空间截止频率100 lp/mm处，各个视场的MTF均大于0.6，满足系统设计要求。图 7为系统的场曲和畸变，通过该图能够看出，系统各视场畸变都小于2%，场曲控制为±10 μm之间，通过以上指标可以知道，该设计具有良好的成像质量。
3. 公差分析
当光学系统理论设计完成后，在使用前还要经过制造、装调等过程。在这些过程中可能会遇到各种因素的影响，所以还要对光学系统进行公差分析。由于离轴三反系统相较于同轴三反系统在装调时具有更大的难度，所以为了保证加工和装调的可行性，需制定合理的公差分配来确保光学系统既可以做到低成本又能达到所要求的光学性能。离轴三反系统的公差主要为加工公差和装调公差，加工公差是指曲率半径、厚度、圆锥系数在加工过程中可能出现的误差。装调公差主要是指光学元件或光学表面沿着X/Y/Z的倾斜公差和光学元件沿X/Y/Z轴的偏心公差[18-22]。本文选择使用蒙特卡洛分析方法来进行公差分析，以系统各视场截止频率处的MTF作为系统性能衡量标准，对于离轴三反光学系统的公差分配结果如表 5所示。
表 5 光学系统公差分配结果Table 5. Tolerance allocation results for optical systemsTolerance category Assembly tolerance Machining tolerance Various tolerance
sourcesDEC
X/mmDEC
Y/mmTILT
X/(°)TILT
Y/(°)ΔR/mm ΔD/mm Δ(−e2) Primary mirror ±0.065 ±0.065 ±0.018 ±0.027 ±0.2 ±0.2 ±1.000E-005 Secondary mirror ±0.016 ±0.016 ±0.018 ±0.018 ±0.2 ±0.04 ±1.000E-005 Tertiary mirror ±0.025 ±0.025 ±0.012 ±0.012 ±0.01 ±0.1 ±1.000E-005 表 6为按照以上公差分配进行的200次蒙特卡洛分析结果，表明在上述公差范围内，系统MTF曲线在100 lp/mm处具有90%的概率大于0.4，并且MTF由于工艺因素的影响总下降量不大于0.2，满足成像要求。
表 6 蒙特卡洛分析结果Table 6. Monte Carlo analysis resultsCumulative probability MTF value(100 lp/mm) 90% 0.42674321 80% 0.45558468 50% 0.51148248 20% 0.55397772 10% 0.56854015 4. 结论
本文根据红外探测器对高分辨率和小像元探测的需求，提出了一种小F数离轴三反光学系统。通过利用三级像差理论计算得到同轴三反的初始结构，并且为了避免中心遮拦、提高成像质量，采取视场离轴和
孔径离轴相结合的方式。而且该系统的三面反射镜都采用了偶次非球面，能够很好地校正离轴像差。最终设计得到具有结构简单，并且体积相对较小的小F数红外光学系统。根据空间截止频率处的MTF值以及点列图可知，该系统成像质量满足要求。与现有的离轴三反系统相比，此系统具有较小的F数和良好的像质，对该类红外光学成像系统的研究和发展有着重要的意义。
-
![]()
图 2 不同成像模型的视场角与投影半径关系
Figure 2. The relationship between the field of view and the projection radius of different imaging models
![]()
图 4 改进的SURF算法特征点检测流程
Figure 4. Improved SURF algorithm extracts feature point flowcharts
![]()
图 5 基于边缘保持的插值方法原理
Figure 5. The principle of interpolation method based on edge holding
-
[1] 黄文文, 彭小红, 李丽圆, 等. 相机标定方法及进展研究综述[J]. 激光与光电子学进展, 2023, 60(16): 1600001. DOI: 10.3788/LOP221494. HUANG Wenwen, PENG Xiaohong, LI Liyuan, et al. Camera calibration method and progress research review[J]. Advances in Laser and Optoelectronics, 2023, 60(16): 1600001. DOI: 10.3788/LOP221494.
[2] 叶晴旻. 大视场相机畸变校正相关技术的研究[D]. 杭州: 浙江大学, 2016. YE Qingmin. Research on Distortion Correction Technology of Large Field Camera[D]. Hangzhou: Zhejiang University, 2016.
[3] Tsai R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[C]//IEEE Conference on Computer Vision & Pattern Recognition, 1987, 3(4): 323-344.
[4] 孟晓桥, 胡占义. 摄像机自标定方法的研究与进展[J]. 自动化学报, 2003, 29(1): 110-120. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO200301014.htm MENG Xiaoqiao, HU Zhanyi. Research and progress of camera self-calibration method[J]. Acta Automatica Sinica, 2003, 29(1): 110-120. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO200301014.htm
[5] WENG J, Cohen P, Herniou M. Camera calibration with distortion models and accuracy evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(10): 965-980. DOI: 10.1109/34.159901
[6] LI Hongdong, Hartley R. A non-iterative method for correcting lens distortion from nine point correspondences[C]//Proceedings of IEEE International Conference on Image Processing, 2005: 273-282.
[7] 刘亚强, 陈文艺. 桶形畸变图像的一种校正方法[J]. 西安邮电大学学报, 2012, 17(2): 27-30. LIU Yaqiang, CHEN Wenyi. A correction method for barrel distortion images[J]. Journal of Xi'an University of Posts and Telecommunications, 2012, 17(2): 27-30.
[8] Conrady B. Lens-systems, Detected[J]. Monthly Notices of the Royal Astronomical Society, 1919, 79: 384-390. DOI: 10.1093/mnras/79.5.384
[9] Claus D, Fitzgibbon A W. A rational function lens distortion model for general cameras[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005: 213-219.
[10] 杨济瑞, 张晓燕, 罗攀. 基于图像匹配的特征点检测方法综述[J]. 电子测试, 2021(6): 53-54. DOI: 10.3969/j.issn. 1000-8519.2021.06.022. YANG Jirui, ZHANG Xiaoyan, LUO Pan. Review of feature point detection methods based on image matching[J]. Electronic Testing, 2021(6): 53-54. DOI: 10.3969/j.issn. 1000-8519.2021.06.022.
[11] 陈秀芳. 基于改进SURF的图像匹配算法研究[D]. 大庆: 东北石油大学, 2021. DOI: 10.26995/d.cnki.gdqsc.2021.000228. CHEN Xiufang. Research on Image Matching Algorithm Based on Improved SURF[D]. Daqing: Northeast Petroleum Science, 2021. DOI: 10.26995/d.cnki.gdqsc.2021.000228.
[12] Hartley R, Kang S B. Parameter-free radial distortion correction with centre of distortion estimation[C]//International Conference on Computer Vision. IEEE, 2005: 1834-1841. DOI: 10.1109/ICCV.2005.184.
[13] 任德清, 张天宇, 王钢. 改进型高性能静态像差校正技术[J]. 光电工程, 2022, 49(3): 210319. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202203003.htm REN Deqing, ZHANG Tianyu, WANG Gang. An optimized high-performance technique for adaptive optics static aberration correction[J]. Opto-Electron Eng, 2022, 49(3): 210319. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202203003.htm
[14] 石恬. 车载鱼眼相机自标定研究[D]. 西安: 西安电子科技大学, 2015. DOI: 10.7666/d.D01066412. SHI Tian. Research on Self-calibration of Vehicle-Mounted Fisheye Camera[D]. Xi'an: Xidian University, 2015. DOI: 10.7666/d.D01066412.
下载:
计量
- 文章访问数: 96
- HTML全文浏览量: 6
- PDF下载量: 46
