鱼眼镜头的研究进展及应用

江云峰, 罗敏, 何红星, 陶亮, 柳继勇, 康丽珠, 唐鑫, 赵小童, 陈波, 赵劲松

江云峰, 罗敏, 何红星, 陶亮, 柳继勇, 康丽珠, 唐鑫, 赵小童, 陈波, 赵劲松. 鱼眼镜头的研究进展及应用[J]. 红外技术, 2023, 45(4): 342-351.
引用本文: 江云峰, 罗敏, 何红星, 陶亮, 柳继勇, 康丽珠, 唐鑫, 赵小童, 陈波, 赵劲松. 鱼眼镜头的研究进展及应用[J]. 红外技术, 2023, 45(4): 342-351.
JIANG Yunfeng, LUO Min, HE Hongxing, TAO Liang, LIU Jiyong, KANG Lizhu, TANG Xin, ZHAO Xiaotong, CHEN Bo, ZHAO Jinsong. Research and Application of Fisheye Lens[J]. Infrared Technology , 2023, 45(4): 342-351.
Citation: JIANG Yunfeng, LUO Min, HE Hongxing, TAO Liang, LIU Jiyong, KANG Lizhu, TANG Xin, ZHAO Xiaotong, CHEN Bo, ZHAO Jinsong. Research and Application of Fisheye Lens[J]. Infrared Technology , 2023, 45(4): 342-351.

鱼眼镜头的研究进展及应用

详细信息
    作者简介:

    江云峰(1997-),男,山东威海人,硕士研究生,主要从事光学设计方面研究。E-mail: jyf97wh@163.com

    通讯作者:

    赵劲松(1972-),男,云南大理人,博士,博士生导师,正高级工程师。主要从事军用红外热像仪研究,探测器元件研发等。E-mail: zhaojinsong@tsinghua.org.cn

  • 中图分类号: TH744

Research and Application of Fisheye Lens

  • 摘要: 鱼眼镜头优势在于拥有极大的视场,可以捕获更多信息。如今鱼眼镜头在安保安防、摄影、航空航天等方面得到广泛应用,尤其在军事和国防中的地位不可替代。本文首先概括了鱼眼镜头的成像原理和发展历程,分析了现代鱼眼镜头初始结构设计中的光线溢出以及与镜面无交点等常见的关键问题和已有的思路,介绍了现代鱼眼镜头的应用和发展趋势,最后讨论了鱼眼镜头目前发展中存在的一些设计瓶颈以及鱼眼镜头未来的发展方向。
    Abstract: The advantage of a fisheye lens is that it has a very large field of view and can provide more information. Nowadays, fisheye lenses are widely used in security, photography, aerospace, etc., especially in military and national defense. This paper firstly summarizes the imaging principle and development of fisheye lens, then analyzes the key issues, such as overflow of light or total reflection, and existing methods in the initial structure designing of modern fisheye lens, introduces the application and development trend of modern fisheye lens, and finally discusses recent crucial designing problems and the future of fisheye lens.
  • 鱼眼镜头视场极大,焦距很短,一般来说视场在180°以上、焦距在16 mm或更短的镜头被称为鱼眼镜头。但从工程角度上,视场在120°以上的镜头也可以认为是鱼眼镜头。鱼眼镜头是经典的反摄远型光组,通常由前组成像透镜组和后组修正透镜组组成。为了能在拥有极大视场的同时又不使相面照度降低,成像组透镜第一片透镜通常为曲率极大的负弯月形透镜。鱼眼透镜可以看作是一种极端的广角透镜,由于其视场极大,不可避免地引入大量的筒形畸变,来压缩边缘视场。伴随着计算机科学的发展,人们不光通过修正透镜来矫正鱼眼镜头的畸变,还通过后期的图像处理,将被压缩的边缘视场像点通过算法来还原其正确的空间位置[1]

    目前,鱼眼镜头在森林防火、天文、气象和空间成像等领域都得到了广泛的应用。鱼眼镜头由于属于折射式光学系统,不同于折反式光学系统和反射式光学系统,其系统体积往往更小,总体质量更轻,非常适合作为机载镜头或者空间光学镜头。伴随着芯片技术和探测器大阵列技术的发展,鱼眼镜头的视场也从最初的180°被人们逐渐拓宽到270°甚至更大。并且,人们通过拼接两张鱼眼镜头相片的方式,可以做到全景环带成像。总而言之,鱼眼镜头的超大视场特性以及目前消除畸变技术逐渐成熟,使得鱼眼镜头在需求大视场成像方向逐渐成为人们的第一选择。

    本文介绍了鱼眼镜头的基本原理和国内外发展历程,并且针对鱼眼镜头的畸变消除方面进行了介绍,最后介绍了鱼眼镜头在可见光和红外领域的应用并对鱼眼镜头的未来发展进行了探讨。

    1906年Robert W. Wood提出鱼眼镜头的概念[2]。他通过鱼眼可以在水底对水面180°成像,联想到可以仿生鱼眼的工作环境,如图 1,制造一款能半球成像的鱼眼镜头。

    图  1  鱼眼成像示意图
    Figure  1.  Imaging diagram of fisheye lenses

    通过斯涅尔公式可以计算,当水下入射角为48°时,光线将沿着水面出射。也就是说,180°的视场通过水体压缩后仅有96°,这也是鱼眼镜头最基本的原理。

    $$\sin \theta_1 n_1=\sin \theta_2 n_2 $$ (1)

    式中:θ1为入射角;n1为入射介质折射率;θ2为折射角;n2为折射介质折射率。Wood通过在装满水的盒子底面装上感光材料,作为他的鱼眼镜头的焦平面,然后在盒子顶部放置一个片背面涂有图层的玻璃平板。同时在玻璃平板的背部Wood开出一个针孔作为光学系统的孔径光阑。Wood的“鱼眼镜头”示意图如图 2

    图  2  Robert W. Wood鱼眼镜头示意图
    Figure  2.  Schematic diagram of Robert W. Wood fisheye lens

    Wood通过这种类似鱼眼镜头的结构制造出了大视场照片,并引发了科研工作者们对于鱼眼镜头的设计的探索。但是由于Wood的光学系统里仅是通过玻璃平板完成对大视场光线的折射,因而导致大视场的照度下降十分严重,并且还存在着大量的筒形畸变。

    在1922年,W. N. Bond改进了Wood的“鱼眼镜头”[3],如图 3,通过使用一个半圆形的玻璃透镜来代替Wood的充满水的箱体,并且由于半圆透镜的曲面的中心设置孔径光阑,Bond的鱼眼透镜会将球形像面成像在系统的平面焦平面上。

    图  3  Bond鱼眼镜头示意图
    Figure  3.  Schematic diagram of Bond fisheye lens

    Bond的鱼眼镜头由于将180°半圆形视场成像在平面焦平面上,因此不可避免地也会存在很大的桶形畸变。Bond提出使用单色滤光片来减少色差,同时将半球形玻璃透镜的平面替换成平凸透镜,并在平凸透镜的平面端放置孔径光阑,这样可以对水平面以下的光线成像,也就是视场可以超过180°。这一改进可以被看作鱼眼透镜经典负弯月形透镜的前身。

    Robin Hill是第一位真正意义上创造出鱼眼镜头的人,并且将鱼眼镜头用于商用[4],如图 4。Robin Hill提高了鱼眼镜头的相对照度,并且降低了系统的F数。他通过将Bond的半球形透镜替换为负弯月形透镜,该透镜第一个面为口径极大的凸面,这样可以允许更多的光线进入系统,并且通过第二个凹面的折射,使得光线能以正常的角度出射。Robin Hill通过第一片负弯月形透镜,使大视场角光线与光轴的光线夹角大大减少,从而显著减小后续组元对应的视场角,使像差校正更为容易。并且弯月形透镜使物方半视场角和其对应的像方半视场角显著减小,从而提高像面照度分布的均匀性。不仅如此,Robin Hill可以将孔径光阑设置在第一个透镜面之后,并在光阑后设置一个双凹面镜和一个平凸透镜来校正系统的像差。Robin Hill的透镜可以提供更多的边缘视场细节,降低了桶形畸变,并将系统的F数缩小到F/22,成为当时对空摄影的主流镜头。

    图  4  Robin Hill鱼眼镜头示意图
    Figure  4.  Schematic diagram of Robin Hill fisheye lens

    Robin Hill的前组负弯月形透镜与后组校正透镜组的组合方式是现代鱼眼镜头系统结构的雏形。现代鱼眼镜头虽然在各种需求场景下衍变出各种不同的光学系统结构,但基本构成仍是前组以第一面负弯月型透镜为核心的成像镜组与后组像差校正组。

    在现代鱼眼镜头设计中,最重要也是最为核心的一步,则是鱼眼镜头的初始结构设计。现代光学软件诸如Zemax、CODE V等虽然功能已经十分强大,但是其所谓的像差自动校正功能,仅限于在已有的结构形式上对透镜的厚度、曲率以及折射率等进行修改,试图充分发掘当前结构的最大性能[5];同时,流行的阻尼最小二乘法的优化思路,虽然在大多数其他光学结构上取得了巨大成功,但是在鱼眼镜头优化方面,往往无法取得令人满意的结果。这是因为,阻尼最小二乘法是在局部定义域内寻求极值。而对于复杂的光学结构来说,其局部极小值极多,优化程序只能将计算结果诱导至与初始结构最靠近的极值点,但是无法找到全域的最小点,很容易陷入局部极小值状态从而使优化无法继续进展。对于紫外、红外鱼眼镜头来说,其光学系统往往有十几片透镜,这就对优化过程造成了极大困难。因此,高质量的鱼眼镜头初始结构的确定,是获取高性能鱼眼镜头的最关键的一步。

    目前,鱼眼镜头初始结构确定与光学系统设计主要分为两种,一是参考用途、参数近似的现有专利。然后根据系统的具体需求,进行系统的二次设计和优化。另一种是根据系统参数要求,通过主光线传递方程、像差计算来确定鱼眼镜头初始结构[6]。亦或对于红外鱼眼镜头来讲,红外系统均存在无热化(光学系统性能不会受到工作温度环境变化的影响)需求,可以通过求解消热差,来合理分配光焦度不同热色散系数透镜的光焦度,使得透镜之间因温度而产生的离焦相互补偿[7],从而确定系统的初始结构。值得一提的是,目前,计算鱼眼镜头初始结构的方法有很多,但目前还没有最优的方法规律[8]

    长春理工大学付跃刚团队通过求解消热差方程,得到不同的热膨胀系数的玻璃材料的光焦度分配,确定双波段无热化设计的鱼眼镜头初始结构。这款双波段消热差鱼眼镜头可以同时获得中波和长波4.4~5.4 μm/7.8~8.8 μm两波段的信息,可以在-40℃~60℃正常工作,全视场196°,大大地增强了红外信息的获取范围[9]

    付跃刚等人首先将初始结构分为3个组元如图 5所示。并根据系统参数要求,以系统F数不变为前提,通过分别求解大视场和小视场的消热差方程。

    图  5  鱼眼系统示意图
    Figure  5.  Schematic diagram of fisheye system

    根据焦距组合公式${\varphi _l}(1 - {\varphi _{l1}}{t_{l1}} - {\varphi _{l2}}{t_{l2}})$,${\varphi _{l(12)}} = {\varphi _{l1}} + {\varphi _{l1}}(1 - {\varphi _{l1}}{t_{l1}})$,其中下角标ll代表小视场,下角标l2为第一组元和第二组元的组合。

    将光焦度对温度进行求导,导出分别满足大、小视场的热差方程[10]

    $$\begin{array}{l} \left( {\frac{{{f_1} - {t_{l1}}}}{{{t_{l1}}}}} \right)\left( {\left( {1 - \frac{{{f_1} - {t_{l1}}}}{{{f_3}}}} \right) - \frac{{\left| {{\varphi _2}} \right|}}{{\left| {{\varphi _3}} \right|}}} \right){\chi _1} + \\ \left( {\frac{{{t_{l2}}}}{{{f_3}}}} \right){\chi _2} + \frac{{\left| {{\varphi _2}} \right|}}{{\left| {{\varphi _3}} \right|}}{\chi _3} = 0 \\ \end{array} $$ (2)
    $$ \begin{array}{l} \left( {\frac{{{f_1} - {t_{h1}}}}{{{t_{h1}}}}} \right)\left( {\left( {1 - \frac{{{t_{h2}}}}{{{f_3}}}} \right) - \frac{{\left| {{\varphi _2}} \right|}}{{\left| {{\varphi _3}} \right|}}} \right){\chi _1} + \\ \left( {\frac{{{t_{h2}}}}{{{f_3}}}} \right){\chi _2} + \frac{{\left| {{\varphi _2}} \right|}}{{\left| {{\varphi _3}} \right|}}{\chi _3} = 0 \\ \end{array} $$ (3)

    式中:t为透镜厚度;下角标h代表大视场;f为焦距;φ为透镜光焦度;χ为材料热膨胀系数。同时,在不同视场下还有如下色差方程:

    $$ \sum\limits_{i = 1}^n {{\chi _i}{\varphi _i} = - {\alpha _L}\varphi } $$ (4)
    $$ \sum\limits_{i = 1}^n {\frac{{{y_i}}}{{{y_1}}}\frac{{{\varphi _i}}}{{{v_i}}} = 0} $$ (5)

    式中:χi为各镜组元的热膨胀系数;yi为边缘光纤光线在各镜面上的高度;vi为各种玻璃材料的阿贝数;αL为镜筒材料的热膨胀系数。

    公式(2)、(3)为了保障不同的视场下整体消热差,公式(3)、(4)分别保证筒长与色差都满足条件。在一个组元中,如果一个镜元难以实现这些功能,可以分成双分离透镜实现,不同视场下均满足公式(1)~(4),合理选择玻璃后求解便可以得出一个合理的初始结构[11]

    在设计中继系统时采用如下公式:

    $$ \sum\limits_{i = 1}^n {{\varphi _i} = \varphi } $$ (6)
    $$ \sum\limits_{i = 1}^n {\frac{{{\varphi _i}}}{{{\nu _i}}} = 0} $$ (7)
    $$ \sum\limits_{i = 1}^n {{\chi _i}{\varphi _i} = - {\alpha _L}\varphi } $$ (8)

    公式(6)系统光焦度求和使其等于总体要求光焦度,公式(7)为色差方程,保证中继系统各镜片色散之和为零,方程(7)通过将中继系统各部分热差抵消保证系统总热差为零。根据公式(6)~(8)得到中继系统初始结构,综合公式(2)~(5)便可以得出一个总体合理的初始结构[11]

    通过热差和色差公式,确定了系统的初始结构,然后通过Zemax光学软件对系统进行优化,最终得到设计结果如图 6

    图  6  消热差光学系统[9]
    Figure  6.  Schematic of athermalization optical system[9]

    该系统工作在-40℃~60℃温度下,像面稳定、成像质量优良。在20℃、-40℃、-10℃、60℃下,长波红外波段在20 lp/mm处轴上各温度下的传递函数为0.31、0.25、0.23、0.33,边缘分别为0.21、0.23、0.18、0.25;中波红外波段在20 lp/mm处轴上各温度下的传递函数为0.48、0.51、0.45、0.52,边缘分别为0.32、0.41、0.38、0.29,同时相对照度在各视场下差异极小,均在0.9以上,满足环境适应性及像质要求。

    上海大学吕丽军团队在2017年基于主光线传输方程[12],研究系统视场压缩比率与鱼眼镜头第一片负弯月形透镜结构参数之间的联系,结合光学系统设计参数,从而计算出鱼眼镜头前组镜头的初始结构,如图 7

    图  7  鱼眼镜头负弯月形透镜主光线传输示意图[12]
    Figure  7.  Optic scheme of a principle ray passing the negative meniscus lens[12]

    图中各参量已标明,其中θ为光线在第二透镜面的法线与光轴的夹角。且$ \sin \theta = {h_2}/{r_2} \equiv k $。通过光线追迹,可以得到主光线方程[13]

    $$ \sin {\alpha _{i + 1}} = \frac{{{r_{i + 1}} + {d_i} - {r_i}}}{{{r_{i + 1}}}}\sin {\omega _i} + \frac{{{r_i}}}{{{r_{i + 1}}}}\sin {\beta _i} $$ (9)
    $$ {\omega _i} = {\omega _{i - 1}} + {\beta _i} - \alpha {}_i = {\omega _0} + \sum\limits_{i = 1}^i {({\beta _i} - {\alpha _i})} $$ (10)
    $$ {\beta _i} = \arcsin (\frac{{{n_{i - 1}}}}{{{n_i}}}\sin {\alpha _i}) $$ (11)

    式中:i为镜面的序号,表示第i个镜面的光学参数;di是第i个与第i+1个镜面之间的厚度。

    根据光学设计参数,结合公式(9)~(10),可以计算出主光线在各光学面的参数,从而获得视场压缩比ω0/ω2。吕丽军团队通过系统视场的压缩比和物方视场角的要求,逆向计算主光线的光学参数,并根据主光线参数,推导出负弯月形透镜两面的曲率之比以及透镜横向尺寸h1与曲率的关系[14]

    $$ \frac{{{r_2}}}{{{r_1}}} = \frac{{\sin {\omega _1} - \sin {\beta _1}}}{{\sin {\alpha _2} + \sin {\omega _1}}} $$ (12)
    $$ \frac{{{h_1}}}{{{r_2}}} = \frac{{\sin ({\omega _0} - {\alpha _1})}}{{{r_2}/{r_1}}} $$ (13)

    通过公式(12)(13)结合系统视场压缩比以及初步设定k,可以得到透镜前后表面曲率的比值。再根据横向尺寸限制,确定r2,这样r1也随之确定。同理,如果前组光学镜头由两或三片弯月透镜组成,可以通过主光线传输方程,求出其初始结构参数。最终,通过后组像差校正以及Zemax软件优化,最终系统如图 8

    图  8  优化设计的鱼眼镜头示意图[14]
    Figure  8.  Schematic diagram of optimized fisheye lens[14]

    通过消热差方程、主光线追迹等方式,求解出高质量的鱼眼镜头初始结构,才能为后续的光学软件优化打下基础,从而保证最终的鱼眼镜头性能优秀。正如上文所说,鱼眼镜头初始结构设计的思路和依据多种多样,在设计鱼眼镜头初始结构时,建议尝试使用不同的方法,选取最为符合需求的初始结构。

    文献[15]提出了将鱼眼镜头分为前后组,前组设置由两片负弯月形透镜组成,后组由3片单透镜组成。前透镜组初始结构通过主光线传递方程根据视场压缩比和横向尺寸确定,后组组元根据场曲、横向与纵向色差要求以及系统总光焦度和尺寸来确定。最后文章创新地使用自适应和实数编码遗传算法来优化光学结构,这为鱼眼镜头初始结构设计和优化提出了一种更加严谨有效的途径[16]

    目前已经有很多前人设计的性能优良的鱼眼镜头专利。选取合适的鱼眼镜头专利作为初始结构,然后进一步优化,使其符合研究人员的设计需求,这一方法往往可以节约大量的时间,省去初始结构设计环节。

    2021年,国际天体物理学研究机构Claudio Pernechele等人设计了一款[17]悬挂于空间旋转探测仪上的空间鱼眼镜头,用于观测慧尾。Pernechele等人在专利的基础上,前两片透镜选用抗辐射性能强的材料,然后通过Zemax优化设计,得到了一款视场为360°×180°,工作波段550~770 nm,相对孔径F/3,有效焦距为3.3 mm的系统,其系统示意图、MTF、F-theta畸变曲线如图 9

    图  9  鱼眼镜头示意图[17]
    Figure  9.  Schematic diagram of fisheye lens[17]

    从MTF和畸变曲线可以看出,采用专利作为初始结构然后根据需求和使用背景来优化的这一设计方法,同样可以得到令人满意的鱼眼光学系统。国内外大多数鱼眼系统设计都会采用参考专利的方式,从而达到避免重复设计,缩短研发周期的目的。

    鱼眼镜头由于需要压缩视场以达到大范围成像的目的,因此引入了大量的桶形畸变。在图像上直观地表现为,图像中心区域与物体保持着相似性,但是边缘视场部分,图形发生严重地弯曲形变,物体被挤压在一起,失去了与实际物体的相似性。目前鱼眼镜头校正方法分为两种。一种是设置校正透镜组,然后通过光学软件优化光学系统,降低系统畸变;另一种通过算法,将畸变严重的图像重新构建为与现实物体较为相似的图像,从而减小畸变[18]

    鱼眼光学系统的物像投影关系不同于一般光学系统所遵循的相似成像,其投影模型表示为:

    物体在近距离:

    $$ y^{\prime}=\beta y $$ (14)

    式中:β为横向放大率;y为物高;y′为理想像高。

    物体在无限远:

    $$y^{\prime}=\tan \omega $$ (15)

    式中:ω为物方半视场角。对于鱼眼镜头超大视场来说,当半视场角ω超过90°时,tanω趋于无穷,相似成像原理不再适用[19]。因此,对于鱼眼光学系统,不能采用以往的相似成像模型,而应该采用“非相似成像”投影模型。目前,鱼眼光学系统投影模型分为4种:

    $$ \begin{array}{l} y' = f\omega \\ y' = 2f\sin \frac{\omega }{2} \\ y' = 2f\tan \frac{\omega }{2} \\ y' = f\sin \omega \\ \end{array} $$ (16)

    以上分别为等距投影、等立体角投影、体视投影和正交投影,这4种投影模型通过人为引入桶形畸变来实现ω超过90°成像。绝大多数鱼眼光学系统使用等距投影模型,通过投影高度与视场角成正比,可以方便地从像平面内提取角坐标信息[20]。非相似成像虽然人为引入了畸变,但是并没有改变物像一对一的映射关系,因此并不会影响图像的清晰度。不同于传统光学系统畸变评价标准,鱼眼镜头畸变计算中,将上述4种非相似成像模型计算的像高作为理想像高而非高斯理想像高,从而计算得到“F-theta畸变”。

    对于视场达到180°及以上的鱼眼光学系统来说即使成像严格按照等距投影等投影方式,最终图像依然会存在畸变。这就需要通过后期的算法处理,来提高图像质量。目前利用算法校正鱼眼镜头畸变,主要分为两步。首先,通过等距投影关系,例如等距投影关系,还原出实际半球面的真实图像,然后通过一定的投影关系,将半球面的图像再次在二维平面上重建图像[21],示意图如图 10

    图  10  鱼眼算法畸变矫正图
    Figure  10.  Diagram of distortion correction algorithm of fisheye

    国防科学技术大学张茂军团队,在校正算法第二步半球面像投影到平面过程中,采用垂直鱼眼投影方式,如图 11[22],比起之前传统的透视投影、墨卡托投影等取得了更好的视觉效果。

    图  11  垂直语言投影与传统投影算法对比[22]
    Figure  11.  Comparison between vertical language projection and traditional projection algorithms[22]

    D. Schneider, E. Schwalbe等人通过标定方法,在场景中建立标定物点,如图 12[23],通过鱼眼相机对标定点成像,建立视场中实际物体与所成像的投影关系,从而还原出接近实际物体的像。

    图  12  鱼眼镜头图像标定室[23]
    Figure  12.  Fisheye lens image calibration room[23]

    鱼眼镜头最早是用于摄影,创造出大视场同时带有大畸变的艺术照片。现如今,鱼眼镜头被广泛应用于需求广角成像的领域,例如监控、球幕成像、航空航天相机。现如今鱼眼镜头在国防上有着不可替代的地位。国内市面上实用且性能良好的鱼眼镜头数目寥寥,并且因为商业或军事机密的原因,国外实用的鱼眼镜头结构参数也无处可查。并且目前鱼眼镜头大多用于可见光波段,红外波段的有实用价值的镜头可谓凤毛麟角。

    目前计算机标定的处理方式,也是解决鱼眼镜头畸变的另一种主流方式。哈尔滨工程大学席志红等人在2007年提出一款基于鱼眼镜头的能够实现球面成像的车载摄像机SpherEye,采用两个180°鱼眼镜头成像,并通过反射镜将像反射在同一像平面内[24]。席志红等人针对鱼眼镜头摄像标定不适用传统的正常市场模型或者小孔成像模型,提出了基于鱼眼镜头投影模型和畸变模型的球面投影模型的标定方法,其最终结果如图 13,可以看出通过球面模型的标定方法,基本上解决了边缘视场畸变问题。

    图  13  SpherEye图像[24]
    Figure  13.  Images of SpherEye[24]

    2008年韩国湖南大学Gyeong-li Kweon等人研制出一款微型鱼眼镜头。该镜头可以覆盖190°视场范围,工作波段为可见光与近红外波段,且在可见光波段的调制传递函数足够适用于百万像素的探测器面阵,在近红外波段也有足够的空间分辨率,镜头畸变小于5%,相对照度超过90%[25]。Gyeong-li Kweon等人提出一种“真实投影模型”,相比传统等距投影模型,他们发现该模型在计算机标定后,其成像质量更好,图 14为镜头外观图、以及该相机经过极坐标转化为平面坐标系成像图。

    图  14  韩国微型鱼眼镜头图[25]
    Figure  14.  Photos of a Korean micro fisheye lens[25]

    2011年中国科学院闫阿奇等人研制了一款航天鱼眼相机,该相机系统焦距为2.1 mm,F数为4,视场角为210°,空间工作环境温度为-40℃~60℃[26]。这款鱼眼相机着重考虑了如何应对空间中复杂环境,如紫外辐射、带电粒子撞击、温度和气压变化[27]。空间带电粒子与玻璃内的粒子发生作用会降低镜片的光学透过率,从而影响到图像像质和相对照度,电离总剂量的长期累计对于鱼眼镜头全折射式光学系统会严重缩短其使用寿命[28]。光学系统防带电粒子设计通常是第一片透镜采用稳定的材料,并且适当加深厚度,来保护光学系统后面的其他透镜。闫阿奇等人第一片透镜使用石英玻璃,中心厚度为8.15 mm,换算成等效铝厚度为6.6 mm;第二片透镜同样采用物理性质稳定的K9玻璃,该材料同样具有较好的抗辐射性能。此外,将光学材料抗辐射性能差的镜片,在设计过程中安置在系统后端,来达到保护的目的。紫外辐射是观测太阳或者观测深空近地轨道相机必须考虑的一个因素。紫外辐射会改变玻璃材料的化学性质,造成不可逆的光化学污染,同时降低增透膜、胶合剂的使用寿命。闫阿奇等人通过实验验证了石英玻璃具有较强的抗辐射性能,因此第一片透镜采用石英玻璃可以起到很好的防紫外辐射作用。同时,考虑到系统中存在着胶合面,因此需要保证紫外线到达胶合透镜时剂量应尽可能的小。闫阿奇等人一方面采用对紫外线有强烈吸收作用的ZF7材料,另一方面根据杂散光分析结果,在第4片透镜后表面镀制紫外截止膜。对于空间温度和气压变化影响,闫阿奇等人对于温度折射率系数大的透镜分配较小的光焦度,并镜筒材料和隔圈材料使用TC4和LY12,最终得到了在工作环境-40℃~60℃下表现均良好的光学系统,最终光学系统二维图以及三维图如图 15

    图  15  航空相机[26]
    Figure  15.  Photo of an aerial camera[26]

    随着高分辨CCD、CMOS图像传感器的发展,4k高清图像传感器的产生,市场上出现了对微型、超高分辨率鱼眼镜头的需求。商用鱼眼镜头不再满足于大视场、低畸变的指标,而是向着微型、高清的趋势发展。2022年伯森光电科技有限公司发明一项分辨率高达1200万像素的、完全满足4k应用要求的超高分辨率鱼眼镜头。该镜头视场角为195°,光学总长小于22 mm,是一款出色的小型、4k商用鱼眼镜头[29]

    本文综述了鱼眼镜头的原理和发展历程,探讨了鱼眼镜头初始结构设计的思路,介绍了鱼眼镜头新时代的应用和发展趋势。可以看出,鱼眼镜头在各个领域有着不可替代的地位。当今鱼眼镜头虽然发展迅速,但还存在着瓶颈亟待突破。

    ① 目前世面上鱼眼镜头工作波段绝大多数还是可见光,红外、紫外鱼眼镜头往往结构复杂,研制周期长[30]。由于对光学材料的特殊要求和工作波段本身的电磁频谱特征因素,使得计算机设计难度很高。随着自由曲面加工技术的发展以及衍射透镜的使用,在光学系统设计中使用非球面透镜以及衍射透镜可以有效地简化光学系统,这也是目前鱼眼镜头设计的一种主流思路。

    ②“光线溢出”问题在鱼眼镜头设计中一直存在。在设计过程中,光线由于全反射无法进入光学表面,或者与光学表面无交点,使鱼眼镜头在优化设计中常常陷入僵局。目前,采用“虚拟光线”、“虚拟透镜”、“虚拟可变光阑”技术被证明是一种行之有效的解决方法。虚拟光线技术,通过插值,模拟出存在溢出问题的光线在像面上的交点[31],从而保证优化过程继续进行。如果多次循环优化得到的结构仍存在光线溢出,则在光线溢出处增加一虚拟透镜,虚拟透镜不同于分裂透镜,其光焦度未必与发生溢出的透镜光焦度一致,只是保证优化过程能继续进行。在最终优化完成后,通过光角度转移以及像差收缩等方法,取代掉增加的虚拟透镜。例如初始结构仅有4片的鱼眼系统,在优化过程中,增设虚拟透镜到共有9片透镜,通过合并将系统简化为最简形式。虚拟可变光阑技术应用于前两者均不能解决光线溢出问题时,通过缩小孔径光阑或视场光阑的口径,清除发生光线溢出的光线,在较小视场优化完成后,再逐步扩大视场[32],进行优化。因此,对于鱼眼镜头来说,小口径小视场下的成像质量优质,是大视场成像优质的前提。

    ③ 初始结构设计问题。成像质量要求越高的鱼眼透镜,结构也越复杂,要求初始结构质量也更高。初始结构设计问题目前还没有规律可循,如何高效地设计高质量的初始结构也给研究人员提出了难题[33]。正如前文提到,采用鱼眼镜头专利作为初始结构,是一种方法。但是在浩如烟海的专利中,如何选择最适合研发背景和技术指标的初始结构,需要进一步理论分析。

    像质更优、成本更低、分辨率更高、体积更小是未来鱼眼镜头的发展方向。我国鱼眼镜头目前发展迅速,但与国外还存在着一定差距,还需加大科研投入,研制出质量更高的鱼眼镜头,更好地为民生和国防建设服务。

  • 图  1   鱼眼成像示意图

    Figure  1.   Imaging diagram of fisheye lenses

    图  2   Robert W. Wood鱼眼镜头示意图

    Figure  2.   Schematic diagram of Robert W. Wood fisheye lens

    图  3   Bond鱼眼镜头示意图

    Figure  3.   Schematic diagram of Bond fisheye lens

    图  4   Robin Hill鱼眼镜头示意图

    Figure  4.   Schematic diagram of Robin Hill fisheye lens

    图  5   鱼眼系统示意图

    Figure  5.   Schematic diagram of fisheye system

    图  6   消热差光学系统[9]

    Figure  6.   Schematic of athermalization optical system[9]

    图  7   鱼眼镜头负弯月形透镜主光线传输示意图[12]

    Figure  7.   Optic scheme of a principle ray passing the negative meniscus lens[12]

    图  8   优化设计的鱼眼镜头示意图[14]

    Figure  8.   Schematic diagram of optimized fisheye lens[14]

    图  9   鱼眼镜头示意图[17]

    Figure  9.   Schematic diagram of fisheye lens[17]

    图  10   鱼眼算法畸变矫正图

    Figure  10.   Diagram of distortion correction algorithm of fisheye

    图  11   垂直语言投影与传统投影算法对比[22]

    Figure  11.   Comparison between vertical language projection and traditional projection algorithms[22]

    图  12   鱼眼镜头图像标定室[23]

    Figure  12.   Fisheye lens image calibration room[23]

    图  13   SpherEye图像[24]

    Figure  13.   Images of SpherEye[24]

    图  14   韩国微型鱼眼镜头图[25]

    Figure  14.   Photos of a Korean micro fisheye lens[25]

    图  15   航空相机[26]

    Figure  15.   Photo of an aerial camera[26]

  • [1] 陈晃明, 陈向颖. 鱼眼镜头光学设计[J]. 北京理工大学学报, 1989(3): 35-42. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG198903005.htm

    CHEN Huangming, CHEN Xiangying. Optical design of fisheye lens[J]. Journal of Beijing University of Technology, 1989(3): 35-42. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG198903005.htm

    [2]

    Kumlera J J, Bauerb M. Fisheye lens designs and their relative performance[C]//Proc. of SPIE, 2000, 4093: 360-369.

    [3]

    Ning A. Compact fisheye objective lens: US7869141 B2[P]. 2006, US.

    [4]

    Martin C B. Design issues of a hyperfield fisheye lens[J]. Proceedings of SPIE, 2004, 29(13): 56-60.

    [5] 王永仲. 鱼眼镜头光学[M]. 北京: 科学出版社, 2006.

    WANG Yongzhong. Fisheye Lens Optics[M]. Beijing: Science Press, 2006.

    [6]

    LU Lijun, HU Xiaoyan, SHENG Cuiyuan. Optimization method for ultra-wide-angle and panoramic optical systems[J]. Applied Optics, 2012, 51(17): 3776-3786. DOI: 10.1364/AO.51.003776

    [7]

    Oelrich B, Underwood C, Mackin S. The evaluation of un-cooled detectors for low-cost thermal-IR earth observation at the surrey space center[C]// Proceedings of the 5th International Symposium of the International Academy of Astronautics, 2005: 206-213.

    [8]

    Akram M N. Design of a dual field-of-view optical system for infrared focal-plane arrays[C]//Proceedings of SPIE on Current Developments in Lens Design and Optical Engineering Ⅲ, 2002, 47: https://doi.org/10.1117/12.451222.

    [9] 付跃刚, 黄蕴涵, 刘智颖. 双波段消热差红外鱼眼光学系统设计[J]. 红外与激光工程, 2014, 43(10): 3329-3333. DOI: 10.3969/j.issn.1007-2276.2014.10.027

    FU Yuegang, HUANG Yunhan, LIU Zhiying. Design of dual band heat dissipation infrared fisheye optical system[J]. Infrared and Laser Engineering, 2014, 43(10): 3329-3333. DOI: 10.3969/j.issn.1007-2276.2014.10.027

    [10] 胡玉禧, 周绍祥, 相里斌, 等. 消热差光学系统设计[J]. 光学学报, 2000, 20(10): 1386-1390. DOI: 10.3321/j.issn:0253-2239.2000.10.016

    HU Yuxi, ZHOU Shaoxiang, XIANG Libin, et al. Design of heat dissipation optical system[J]. Journal of Optics, 2000, 20(10): 1386-1390. DOI: 10.3321/j.issn:0253-2239.2000.10.016

    [11]

    Robert K, Swank. Calculation of modulation transfer function of fisheye lens with the wavefront aberration theory[J]. Acta Photonica Sinica, 2016, 45(3): 322001. DOI: 10.3788/gzxb20164503.0322001

    [12] 侯国柱, 吕丽军. 一款可见光鱼眼镜头系统设计[J]. 光学与光电技术, 2018, 16(3): 90-95. https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD201803016.htm

    HOU Guozhu, LYU Lijun. Design of a fisheye lens system in visible waveband[J]. Optics and Optoelectronics Technology, 2018, 16(3): 90-95. https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD201803016.htm

    [13]

    FANG X, LU L J, NIU Z Q. Optimization of fisheye lens systems with adaptive and normalized real-coded genetic algorithm[J]. Journal of OptoelectronicsLaser, 2015, 26(4): 655-661.

    [14]

    FAN L, LU L. Design of a simple fisheye lens[J]. Applied Optics, 2019, 58(19): 5311-5319. DOI: 10.1364/AO.58.005311

    [15]

    LU L, CAO Y. Sixth-order wave aberration theory of ultrawide-angle optical systems[J]. Applied Optics, 2017, 56(30): 8570-8583.

    [16]

    JIA H, LU L, CAO Y. Modulation transfer function of a fish-eye lens based on the sixth-order wave aberration theory[J]. Applied Optics, 2018, 57(2): 314-321.

    [17]

    Pernechele C, Consolaro L, Jones G H, et al. Telecentric F-Theta fisheye lens for space applications[J]. OSA Continuum, 2020, 4(3): 13-16.

    [18]

    Schneider D, Schwalbe E. Validation of geometric models for fisheye lenses[J]. SPRS Journal of Photogrammetry and Remote Sensing, 2009, 27(28): 259-266.

    [19]

    YAN Y, Sasián, José M. Photographic zoom fisheye lens design for DSLR cameras[J]. Optical Engineering, 2017, 56(9): 1-10.

    [20]

    LAI S, XIONG Z, CHEN L, et al. Real-time distortion correction of fish-eye lens based on Bayer image signal[J]. Optical Review, 2014, 211: 162-173.

    [21]

    YU Z J, Asada M, Tsuji S. Color-based panoramic representation of outdoor environment for a mobile robot[C]// International Conference on Pattern Recognition of IEEE, 1988, 20(23): 1200-1230.

    [22]

    ZHANG Chen, WANG J Y. 3D Model Reconstruction from fisheye images and virtual walk-through[J]. Journal of Computer-Aided Design & Computer Graphic, 2004(1): 79-84.

    [23]

    Schneider D, Schwalbe E, Maas H G. Validation of geometric models for fisheye lenses[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2009, 64(3): 259-266.

    [24] 席志红, 孙丽华, 孙昭光. 基于鱼眼镜头的全视觉图像[J]. 应用科技, 2007(12): 10-16. https://www.cnki.com.cn/Article/CJFDTOTAL-YYKJ200712002.htm

    XI Zhihong, SUN Lihua, SUN Zhaoguang. Full vision image based on fisheye lens[J]. Applied Science and Technology, 2007(12): 10-16. https://www.cnki.com.cn/Article/CJFDTOTAL-YYKJ200712002.htm

    [25]

    Kweon G I, Choi Y H, Laikin M. Fisheye lens for image processing applications[J]. Journal of the Optical Society of Korea, 2008, 12(2): 79-87.

    [26] 闫阿奇. 航天器用大视场低畸变光学系统的研究[D]. 西安: 中国科学院研究生院(西安光学精密机械研究所), 2008.

    YAN Aqi. Research on Large Field of View and Low Distortion Optical Systems for Spacecraft[D]. Xi'an: Graduate School of the Chinese Academy of Sciences, 2008.

    [27] 赵雪, 周彦平, 刘海刚. 空间光学系统抗辐射设计的研究[J]. 哈尔滨工业大学学报, 2004, 36(3): 406-409. https://www.cnki.com.cn/Article/CJFDTOTAL-HEBX200403035.htm

    ZHAO Xue, ZHOU Yanping, LIU Haigang. Research on radiation resistance design of space optical systems[J]. Journal of Harbin Institute of Technology, 2004, 36(3): 406-409. https://www.cnki.com.cn/Article/CJFDTOTAL-HEBX200403035.htm

    [28] 王茜, 许士文. 可见光折/衍射混合光学系统消热差设计[J]. 光学学报, 2004, 24(12): 1595-1598. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB200412003.htm

    WANG Qian, XU Shiwen. Design of heat dissipation in a visible refractive/diffractive hybrid optical system[J]. Journal of Optics, 2004, 24(12): 1595-1598. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB200412003.htm

    [29] 刘宵婵, 陈琛, 单宏, 等. 基于4k分辨率小型投影机的鱼眼镜头设计[J]. 应用光学, 2020, 41(5): 1060-1066. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202005029.htm

    LIU Xiaochan, CHEN Chen, SHAN Hong, et al. Design of fisheye lens based on 4k resolution small projector[J]. Journal of Applied Optics, 2020, 41(5): 1060-1066. https://www.cnki.com.cn/Article/CJFDTOTAL-YYGX202005029.htm

    [30]

    Swaminathan R, Nayar S K. Nonmetric calibration of wide-angle lenses and polycameras[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1172-1178.

    [31]

    LI S, Nakano M, Chiba N. Acquisition of spherical image by fish-eye conversion lens[C]//Virtual Reality of IEEE, 2004, 14(12): 25-40.

    [32]

    Tsai R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics & Automation, 2003, 3(4): 323-344.

    [33]

    Kannala S J. A generic camera calibration method for fish-eye lenses[C]// Proceedings of the 17th International Conference on Pattern Recognition, 2004: DOI: 10.1109/ICPR.2004.1333993.

  • 期刊类型引用(3)

    1. 刘一帆,周峰,胡斌,晋利兵. 基于Q型非球面的全景环带红外光学系统设计. 航天返回与遥感. 2024(01): 90-98 . 百度学术
    2. 王彩霞,陈洪耀,司孝龙,李鑫,李佳伟,张黎明,包诗薇. 多波段鱼眼镜头相机实验室几何定标方法. 光子学报. 2024(08): 187-200 . 百度学术
    3. 上官佳伟,李永亮,冯海龙,张馨元,王宁,李佳航. 大视场医用电子内窥镜光学成像系统研究综述. 激光杂志. 2024(08): 1-5 . 百度学术

    其他类型引用(2)

图(15)
计量
  • 文章访问数:  227
  • HTML全文浏览量:  319
  • PDF下载量:  92
  • 被引次数: 5
出版历程
  • 收稿日期:  2022-08-05
  • 修回日期:  2022-11-16
  • 刊出日期:  2023-04-19

目录

/

返回文章
返回