Research Review of 3D Cameras Based on Time-of-Flight Method
-
摘要: 基于飞行时间法(Time-of-Flight,TOF)的3D相机是一种体积小、误差小、抗干扰能力强、可直接输出深度信息的新型立体成像设备。目前,该类相机已成为测量成像领域的研究热点。本文首先介绍了TOF相机的发展历程及测量原理;随后对TOF相机测量误差来源及类型进行分析;接着将TOF技术与其他主流的三维成像技术进行对比分析;最后对TOF相机的应用与发展趋势进行了阐述。Abstract: The time-of-flight (TOF)-based 3D camera is a new stereo imaging device with a small size, small error, strong anti-interference ability, and direct output of depth information. This type of camera has become a focus of research in the field of measurement and imaging. In this Review, the development history and measurement principle of the TOF camera are introduced. Subsequently, an analysis of the source and type of measurement error of the camera are presented. A comparison of the TOF technology with other mainstream 3D imaging technologies is then provided. Finally, the application and development trends of the TOF camera are described.
-
Keywords:
- time-of-flight method /
- 3D - TOF camera /
- depth information /
- measurement error
-
0. 引言
飞行时间法,即TOF技术。TOF技术是一种用“光”测量距离的技术,所谓“光”测量距离是通过向被测物发射连续的光脉冲信号,随后传感器接收由物体反射回来的信号,通过计算光脉冲的飞行(往返)时间来得到目标物的距离信息[1]。基于TOF技术的3D相机是一种新型、结构小型化的立体成像设备。该类型相机可以同时捕获被测物体的强度信息与深度图像信息。因其制造成本低、数据处理简单、响应快、光照不敏感等特点,被广泛应用于游戏娱乐、虚拟现实、动作识别与跟踪、机器人自主导航、工业自动化装配[2-6]等领域。
首先提出用光来测量距离的是科学家伽利略,但是由于当时技术条件的限制,伽利略的实验未能取得成功。此后的1676年,丹麦天文学家罗默(Roemer)经过观测发现木星与其卫星相互掩食的速度与理论值相比存在一定的误差,大致估算出了光穿过地球轨道所需要的时间,这是人类历史上第一次推算出光的传播速度。200多年后的1849年,法国物理学家Fizeau和Foucault成功设计出了世界首台可测量光的飞行时间的实验装置,即在确定的距离上求光的飞行速度,这也正是TOF技术的逆运用。
光是目前已知具有最快速度的物质,因而若想使用光的飞行时间来测量距离的话就需要精确度极高的测量设备。1903年德国工程师Hulsmeyer将电磁波与TOF技术相结合对舰船进行检测实验,但都是一些TOF的基础实验,其结果也并不十分精确,直至1968年,美国科学家Walter Koechner才首次完全设计出一台基于TOF技术的并且具有实用价值的测距系统。但受制于当时信号接收设备技术的不成熟,只能获得少数几个点的距离信息。20世纪初,科学家们发现了光电效应这一重要特性,这一重大发现打开电子成像领域的大门。随即1939年第一只电子成像管成功面世。1969年美国贝尔实验室提出了一种CCD技术,基于CCD技术生产的固态图像传感器取代了之前传统的电子摄像管。在过去的十年间,随着微电子、微光学和微技术的不断发展,使TOF相机的实用化发展成为可能[7]。20世纪90年代初,首次将基于TOF的距离测量技术与特殊功能的传感器结合到一起,生产出了第一代的TOF相机[6]。从此众多公司开始对TOF相机进行更深层次的开发,其中微软、MESA公司、PMD公司、Canesta公司、Fotonic[8-10]等公司最具代表性。
本文首先介绍了TOF相机的测量原理,随后针对TOF相机测量误差来源进行分析,紧接着介绍了TOF相机与其他主流的三维成像相机的区别,最后将针对TOF相机的最新发展趋势及其应用进行阐述。
1. TOF相机的测量原理
TOF相机广义的概念就是通过测量光脉冲在传感器与物体表面之间的飞行时间,其测得的时间与光速的乘积就是所需测量距离的两倍。其基本原理图如图 1所示。
TOF相机工作时是通过主动发射调制后的光信号到被测物体上,光信号经反射后被光电探测器接收,随后根据探测器上积聚到的电荷数来计算发射信号跟接收信号之间的相位差△φ,就可以得到被测物体与相机之间的距离D,其计算公式如下:
$$ D = \frac{1}{2} \times c \times \left( {\frac{{\Delta \varphi }}{{2{\rm{ \mathsf{ π} }}f}}} \right) $$ (1) 式中:D为目标物与TOF之间的距离;c为光速(约为3×108m/s);f为信号的调制频率。当调制频率f与光速c确定的情况下,此时相位差$\Delta \varphi $的大小即代表距离的大小。然而当调制频率变高时,量程就会变小,鉴于光源的功率和光散射等问题,通常TOF技术的最远测量距离要比光在半个周期内的飞行距离要小,因此,这也属于3D-TOF技术应用的难题之一。
目前基于TOF技术的测量设备根据测量传播时间方式的不同大致可以分为直接测量法与间接测量法[11]两大类。根据光源发射器调制光脉冲方法的不同,可以分为脉冲调制法和连续波调制法[12]。
1.1 根据测量时间的方式分类
1.1.1 直接测量法
直接测量法采用测量飞行时间的系统属于脉冲式飞行时间系统,一般采用的脉冲是方波脉冲,其测量方式是利用高精度计时器直接计算从脉冲发射到接收的时间差,从而求得距离[13]。由于是直接测量光脉冲的飞行时间,所以被称为直接测量法,进而得到时间数据。此种测量方法简单,响应速度快,但对物理器件的性能要求很高,并且对时间测量精度要求也会较高。
1.1.2 间接测量法
与直接测量法含义相对的则是间接测量法,又被称作相关法飞行时间成像,其测量原理是通过调制信号与解调信号相关函数计算得到的相位差,间接地得到调制光信号在传播过程中的飞行时间,进而计算出相机与被测物之间的距离[13]。其中普遍的调制信号有正弦波调制信号和线性频率调制信号,调制信号通过往返距离延迟后,到达光电传感器的相位或者频率就会发生变化,再利用一定的鉴相/鉴频技术来计算出相位或频率的变化值获得被测物的距离信息。对于间接测量方式还可以利用电容来对时间进行计算,其测量的方式是利用入射光的光电子给电容进行充电,对于计算光传播的时间,则是通过电容两端的电压随时间的变化关系,间接地计算得到。
1.2 根据光源发射信号的调制方式分类
依据TOF相机在测距时光源发射器发射信号类别的不同,TOF相机就会对光信号进行调制处理,根据调制方式的不同可分为脉冲调制与连续波调制。
脉冲调制法(一般采用方波脉冲调制)相对简单,是直接通过计时器计算出脉冲发射与接收的时间来测算距离。而连续波调制法则是指经光源发出的调制信号,是以连续调制波的形式(通常采用正弦波调制)发射与接收的,调制的方法一般采用频率调制和幅度调制两种,并且连续波调制法不需要特别短的上升和下降时间,所以光源的选择就具有可变性与广泛性。并且当连续波测量法采用幅度单频调制时可以降低系统对宽带的要求,同时采用幅度调频方式可以大大增加TOF相机的测量范围。连续波调制法相较于脉冲调制法的区别就是不是直接计算出光信号飞行时间,因为其在知道调制频率的情况下,光信号的飞行时间与相位差是直接相关的。
当采用连续波测量法时就需要利用相位解调或者通过频率调制与幅度调制的方法相对准确地计算出光信号在空间中的飞行时间。相位解调就是光源发射器发射经过调制后的连续波信号,到达被测物体后经过反射回到探测器,探测器则是利用与调制光源信号相同的解调信号,完成解调进而读取光信号的相位变化,相位解调的方式目前可分为两种,一是相关函数法进行解调,第二种是离散傅里叶变换法进行解调,更加详细的解调计算过程详见文献[14]。离散傅里叶变换法相位解调的原理图如图 2所示。
2. TOF相机误差分析
TOF相机结构系统本身的硬件设备的复杂性及外界因素的多样性,在相机工作时,不可避免地会带来某些误差,从而影响到TOF相机的测量精度。TOF相机在测量时的误差来源有很多,但其误差来源大致总体可以分为两大类:一是由系统本身引起的误差,称为系统误差;二是由外界环境及噪声等因素引起的误差,称为随机误差也被称为非系统误差[15]。
2.1 系统误差
系统误差是由TOF相机本身的配件、成像的硬件设备、成像条件等一些系统本身所带来的误差,这一类误差统称为系统误差,此种误差是TOF相机误差来源中比较常见的误差,在目前国内外已有的技术与硬件条件下,视这类误差为不可规避的。因而,在考虑造成测量结果出现偏差的影响因素时,系统误差则是我们首先应该考虑的。系统误差主要是由积分时间不同、波形不一致、测量元器件温度变化所引起。
2.1.1 积分时间不同
积分时间的长短对相同的场景,会产生不同的深度值,这是在系统设计方面所存在的误差,一般情况下是无法去除的[16]。但是TOF相机的积分时间可以通过编程的方式来控制,通过积分时间的不同对测量误差的影响进行研究,从而得到一般性的规律,一般较长的积分时间对测量的标准差影响极大,并且较长的积分时间还可能增加相机的信噪比。
2.1.2 波形的不一致
当TOF相机的测距系统对距离和幅度进行计算时所假定的参考信号与接收信号都是正弦波、余弦波或方波等标准波形。但实际上参考信号与接收信号的波形并不是标准波形,因此波形不一致会给准确的距离测量结果带来不可规避的误差[14]。
2.1.3 测量元器件的温度变化
由于半导体材料的特性会随温度的变化而发生改变,尤其是在半导体材料较多的传感器设备对TOF相机的温度变化特别敏感,因为温度升高会导致半导体材料中的热电子的比率增加,虽然这些热电子不包含有用的测量信息,但是却能减少或抑制有用的光学性能。因此当TOF相机持续测量工作时,相机的内部温度会发生显著的变化,也会使每个像素所测量的深度值发生变化,从而导致测量误差出现。
2.2 随机误差
TOF相机在测量时,不可避免地会受到外界因素的影响,此种影响具有不确定性,故属于随机误差,TOF相机的随机误差主要是由物体与相机间的距离、物体与相机间互成角度以及被测物的反射率等因素所引起的。
2.2.1 物体与相机间的距离
在实际测量中信号的发射路径与接收路径不是完全一致的,由此所测量距离也就不完全等于被测对象与相机间的实际距离[17]。如果被测对象距离TOF相机太近,反射光会出现过于饱和的状态,此时所测量的深度信息基本上是无效的,相对应地,当被测对象距离TOF相机较远时,误差就会较小。并且调制信号的幅度A与距离d之间的关系[18]为A∝1/d2,由此可知当d越大时,A就越低,相应的测量精度也就会降低。
2.2.2 物体与相机互成角度
在TOF相机对静态场景进行拍摄时,一般来说相机与被测物之间互成角度,此时反射光线的分布形态将会是椭圆形[17]。并且当角度很大时,经被测物反射回传感器的光线就会急剧减少,此时噪声在传感器接收的信号中所占的比重就会迅速增加,与此同时,测量误差也会随之增大。
2.2.3 被测物的反射率
在实际测量中不同被测物自身材质与形态会有差异,此时被测物对光的反射率会不同,当被测物表面粗糙时,则易发生漫反射,导致发射回传感器的光会变少,使得所测量的深度图像中的对象变得模糊。当被测物表面过于光滑时,容易发生镜面反射,此时反射信号会出现两个极端的状态,要么光信号都发射回到相机接收器中导致光饱和,或者都没返回相机接收器中使得所接收到的信号产生接收误差。
针对以上所述的不同误差来源,国内外研究学者们也进行了不少的研究工作。Ruocco R[19]等人提出利用查表法来对系统积分时间所产生的误差进行修正。Jiyoung Jung[20]等人利用深度图像与彩色图像对TOF相机所测得的数据进行联合误差修正。Fuchs[21]等人则是设计出了一个误差校正模型,该模型是由若干条样条曲线组成,每个样条曲线的参数都是由初始位置进行估计的,并且通过采集到的距离与灰度数据来校正图像中所出现的误差。潘华东[22]等人采用B-样条拟合的方法来解决由实际信号波形与理论波形存在差异而产生的误差。针对不同误差没有统一的校正方法,需要对具体问题进行具体分析。
3. TOF成像与其他主流三维成像技术的比较
目前主流的三维成像技术按其三维景深信息获取的方式可以分为双目视觉、结构光及飞行时间系统3类[23]。其中双目视觉采用被动式光源对三维景深进行测量,而结构光与飞行时间系统则是采用主动式光源进行测量(如图 3所示)。
3.1 双目视觉
双目视觉是基于视差原理来获取目标深度信息,一般由两台相机以一定的基线长度从不同角度对被测物进行成像,或者由一台相机分别从前后两个不同时间点并从不同角度对被测物进行成像。基于视差原理,通过测得的两幅二维图像即可恢复出被测物的三维信息,进而就能对场景进行三维重建并且确定被测物位置。双目视觉的测距示意图如图 4所示。
图中X为两台相机间的距离即基线的长度,基线长度决定测量系统的深度分辨率,基线长度越大,深度分辨率越高[23],α、β为两台相机与被测物的视场角。根据这些即可求得被测物的实际距离,计算公式如下:
$$ Y = \frac{X}{{\frac{1}{{\tan \alpha }} + \frac{1}{{\tan \beta }}}} $$ (2) 对于双目视觉而言,因其是采用被动光对物体进行测量,很容易受到外部光线的干扰,如果外部光线较暗时,或者光线过强时,就会影响到双目视觉的特征提取与匹配,进而使得立体视觉效果变差。另外,双目视觉系统为实现立体成像需要很高的计算资源,在进行复杂的计算时就会导致实时性变差,并且通过此种途径得到的深度信息通常是稀疏的[24]。TOF相机恰恰与之相反,其采用的是主动式光源,因此所受外界光线的影响很小,并且TOF相机可以同时得到被测物的稠密深度信息与强度信息,而且不需要很高的计算资源即可达到高实时性。
双目视觉的优点是它的施行成本很低,常见的摄像头就可以使用,并且因其是利用双目仿生的原理,所以双目视觉所得到的图像就能呈现出更加直观的效果。其次,双目视觉中的深度分辨误差是测量距离的二次函数,故在测量较远距离物体时依旧会保持较高的测量精度。
3.2 结构光
结构光技术是基于双目视觉而提出来的,目的是为了解决双目视觉中匹配算法复杂性与鲁棒性[25]的问题,该技术解决了双目视觉所存在的使用场景缺陷等问题。基于结构光技术的深度相机是由一台摄像机与一台投影仪组成,首先是通过投影仪发射具有特征的光信号(结构光)到被测物表面,由于被测物表面的凹凸情况会对具有特征的光信号产生特定的变形,即被调制,随后再通过摄像机对调制后的光信号进行再次采集。结构光的基本原理图如图 5所示。
与TOF相机相比,结构光采用的是主动三角测量法对被测物进行测量,而主动三角测量法所测量的结果缺少深度信息。在强光条件下会导致结构光的核心技术激光散斑被淹没,因此不太适合户外测量。在测量时被测物一定要在投影序列时间段内保持相对静止,否则会导致在获取图像时的帧率变低,实时性变差。经过最近几年对结构光的研究,发现利用散焦技术可以估算出深度信息,还可以通过发射沿相机光路的结构光的方式来提高帧率[26]。
结构光属主动投射编码光,非常适合在光照条件不足(甚至于无光)或缺乏纹理的场景使用,以上特点正好解决了双目视觉所存在的一些问题。结构光投射的图案一般是经过设计的,所以在一定范围内(一般探测距离在1.5m以内)可以达到较高的测量精度。详细的3种主流三维成像技术性能对比如表 1所示。
表 1 三种主流三维成像技术性能对比Table 1. Performance comparison of three mainstream 3Dimaging technologiesCamera type Binocular vision Structured light TOFcamera Ranging method Passive Active Active Precision medium Medium -high medium Resolution Medium -high Medium low Frame rate low Medium high real-time Medium low high Software complexity high Medium low Power consumption low Medium Adjustable Hardware cost low high Medium 4. TOF相机的应用及发展趋势
4.1 TOF相机的应用研究
随着TOF相机的快速发展,因其具备诸多优势而被广泛应用,如在机器人、农业、医疗、工业自动化等领域都发挥了显著的作用。
4.1.1 机器人领域
Prusak A[27]等人提出了一种基于TOF相机与球面CCD相机相结合的机器人导航避障、姿态估计和地图生成的联合方法。他们首先是通过机器人对周围环境进行扫描,进而通过TOF相机生成三维的全景图,并且机器人在沿着预先定义的路径进行移动时,在移动的过程中利用TOF相机的三维图像导航传感器进行避障,并结合结构-运动和模型跟踪方法进行自定位。此种方法充分利用了TOF相机实时性好、精度高等特点。G. Alenyà[28]等人则利用TOF相机与RGB-D(Red Green Blue-Depth Map)相机结合的方式,为机器人提供高分辨率的三维环境感知能力,其方式是利用RGBD相机可以有效弥补TOF相机分辨率低的特点,而TOF相机也相应地弥补RGBD相机在测量深度信息时误差大的特点。进而两种相机起到相辅相成的作用。此种方法提升了机器人对目标物的识别能力,并且可以迅速而且精确地完成机器人障碍物识别和对货物的抓取。
4.1.2 农业领域
司秀娟[29]等人提出将TOF相机应用于精准农业,并针对三维图像在精准农业所需的定位、定量研究上的优势提出了使用TOF相机获取农作物深度信息,并对农作物位置信息和表征参数进行检测和提取,该方式为TOF相机在精准农业领域的研究提出了具体的方案,并且验证了TOF相机在精准农业领域的可行性。Vázquez-Arellano[30]等人提出一种玉米作物图像的三维重建方法,使用高分辨率的三维图像,最新的软件技术将其映射到彩色图像中。通过基于迭代最近点算法的点云配准,对单个三维图像中植物点的近似数量进行计算得到阈值,再通过RANSAC(RANdom SAmple Consensus)算法完成植物/土壤的分割,经过定量比较表明TOF相机所获得的点数大约是使用两个光探测测距系统(激光雷达)所获得点数的23倍,进而验证了TOF相机在作物三维重建等方面应用的优越性。
4.1.3 医疗领域
Jochen Penne[31]等人提出了一个用于计算病人三维呼吸密度估计的系统。该系统利用TOF传感器以超过每秒15帧的速度来获取患者胸部和腹部的致密三维模型,再通过数据驱动算法将不同平面拟合到患者躯干的不同区域,从而对胸部和腹部进行三维建模。结果显示TOF相机进行建模的方法能够以0.1mm的精度对病人的呼吸运动进行无标记、3D、实时的跟踪。SoutschekS[32]等人提出在医疗成像中应用TOF相机进行三维姿态成像,就是利用内窥镜上的TOF三维图像导航提供影像数据,它为医生展示出一个可视化页面,可以有效地避免物理交互设备对人体产生不必要的伤害。
4.1.4 工业自动化装配领域
雷禧生[33]等人应用TOF相机采集工件的三维点云数据以获得工件的轮廓数据。由于喷涂生产线轨迹规划和喷涂机器人技术上大都以工件的在线三维测量为基础,所以对实时三维在线轨迹规划要求高。TOF相机会实时提供被测工件的深度信息,精确地对工件进行喷涂作业。Ahmad R[34]等人应用三维TOF传感器规划出2.5D铣削/钻削机床的安全刀具的行走路径。以避免在多工具工作时可能造成的碰撞、避免意外的生产中止和机械设备的损坏。三维TOF传感器提供的制造场景的深度信息,包含TOF相机的自动检测与避障等信息,方便生产期间实现安全的刀具路径。
除以上应用领域外,TOF相机还被广泛地应用于多媒体/零售业、消费电子、安全/监控[35-37]、超分辨成像[38-39]、非视域成像[40]、自动驾驶[41]等领域。
4.2 TOF相机的发展趋势
TOF相机是近些年才兴起的,目前处于刚刚起步阶段,国内TOF相机在空间中的应用还尚未展开。随着技术的逐渐成熟,未来TOF相机势必会被应用于空间近距离探测[42]或空间非合作目标近距离测量[16]等空间任务中来。目前中国科学院等研究机构正在开展对空间TOF相机的研制工作,相信不久的将来TOF相机会成为宇航空间近距离测量中的一种有效的测量手段。
相信随着TOF相机成像分辨率的不断提高以及光源技术的快速发展,TOF三维成像技术将会在机器人视觉、农业测量与检测、医疗成像、工业检测等科学领域得到更加深入的应用。图 6给出了我国目前市面上几款主流的商用TOF相机。
5. 结语
TOF相机作为新兴立体成像设备,具有结构简单、体积小巧、帧率高、实时性强、可以同时获得强度信息与深度信息[43]等特点。本文详细介绍了TOF相机的工作原理、误差来源,并与其他同类型相机进行对比研究,同时针对当前TOF相机的应用领域及发展趋势进行了论述,结合我国现阶段深度信息获取技术的发展现状,TOF相机的相关具体技术改进及其解决途径如下:
1)进一步提高相机分辨率,提高相机量程,使相机获取的图像更加清晰,获取的深度图像能够更加精准地还原被测物体的细节特征。具体可以通过“插值”算法、像素错位技术、“阵列外拼接成像原理”、微扫描复合自适应虚拟电子微扫描算法以及图像传感器升级等手段来提高相机的分辨率及量程。
2)降低相机的测量误差,从TOF相机的测距理论出发,进行更深入的研究,找出控制或消除误差的方法,将外界因素对TOF相机的测量精度的影响降到最低。目前主要是从软件和硬件的升级这两方面来降低误差对相机测量精度的影响。
3)对相机进行适应性改造,针对相机工作环境的复杂性及其特点(如力、高低温、真空、辐射等),对TOF相机进行适应性改进,进而确保相机在复杂环境下的光机结构系统稳定性,以适用于更多应用领域。目前主要是通过对复合材料(提高刚度、强度、热性能等)的探索与研究以及对结构系统进行自动化设计来提高相机光机结构系统的稳定性。
综上所述,虽然关于TOF相机的技术改进、软硬件升级、相机的适应性改造及应用拓展等研究方向已是国外科研机构研究的热点且发展迅速,但在最近几年,国内相关研究工作也已经逐步展开。就目前来看,TOF相机规模化生产与应用还不够现实,但相信随着相机软硬件技术的不断升级和对算法研究的不断深入,TOF相机一定会成为我国今后三维测量领域的新兴设备,引导我国步入全新的3D时代并助力Industry4.0。
-
表 1 三种主流三维成像技术性能对比
Table 1 Performance comparison of three mainstream 3Dimaging technologies
Camera type Binocular vision Structured light TOFcamera Ranging method Passive Active Active Precision medium Medium -high medium Resolution Medium -high Medium low Frame rate low Medium high real-time Medium low high Software complexity high Medium low Power consumption low Medium Adjustable Hardware cost low high Medium -
[1] 李占利, 周康, 牟琦, 等. TOF相机实时高精度深度误差补偿方法[J/OL].红外与激光工程, 2019(12): 253-262. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201912035.htm LI Zhanli, ZHOU Kang, MOU Qi, et al. Real-time high precision depth error compensation method for TOF camera[J/OL]. Infrared and Laser Engineering, 2019(12): 253-262. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201912035.htm
[2] Rice K, Moigne J Le, Jain P. Analyzing range maps data for future space robotics applications[C]//Proceedings of the 2nd IEEE International Conference on Space Mission Challenges for Information Technology, 2006, 17: 357-357.
[3] 侯飞.基于飞行时间的三维目标点云提取和重建研究[D].北京: 中国科学院大学(中国科学院国家空间科学中心), 2019. HOU Fei. Research on extraction and reconstruction of three-dimensional target point cloud based on time of flight[D]. Beijing: University of Chinese Academy of Sciences(National Center for space science, Chinese Academy of Sciences), 2019.
[4] Kohoutek, Tobias. Analysis and processing the 3drangeimagedata for robot monitoring[J]. Geodesy and Cartography, 2008, 34(3): 92-96. DOI: 10.3846/1392-1541.2008.34.92-96
[5] Kuehnle J U, Xue Z, Zoellner J M, et al. Grasping in Depth maps of time-of-flight cameras[C]//International Workshop on Robotic & Sensors Environments. IEEE, 2008: 132-137.
[6] Oggier T, Lehmann M, Kaufmann R, et al. An all-solid-state optical range camera for 3D real-time imaging with sub-centimeter depth resolution (SwissRanger)[C]//Optical Design and Engineering. International Society for Optics and Photonics, 2004, 5249: 534-545.
[7] 郭宁博, 陈向宁, 薛俊诗.基于飞行时间法的红外相机研究综述[J].兵器装备工程学报, 2017, 38(3): 152-159. DOI: 10.11809/scbgxb2017.03.035 GUO Ningbo, CHEN Xiangning, XUE Junshi. Review of research on infrared camera based on time of flight[J]. Journal of Ordnance and Equipment Engineering, 2017, 38(3): 152-159. DOI: 10.11809/scbgxb2017.03.035
[8] 丁津津.基于TOF技术的3D相机应用研究综述[C]//中国仪器仪表学会第十二届青年学术会议论文集, 2010: 76-79. DING Jinjin. A review of 3D camera application research based on TOF technology[C]//Proceedings of the 12th Youth Academic Conference of China Instrumentation Society, 2010: 76-79.
[9] 侯飞, 韩丰泽, 李国栋, 等.基于飞行时间的三维成像研究进展和发展趋势[J].导航与控制, 2018, 17(5): 1-7, 48. DOI: 10.3969/j.issn.1674-5558.2018.05.001 HOU Fei, HAN Fengze, LI Guodong, et al. Research Progress and Development Trend of 3D Imaging Based on Time of Flight[J]. Navigation and Control, 2018, 17(5): 1-7, 48. DOI: 10.3969/j.issn.1674-5558.2018.05.001
[10] Kaufmann R, Lehmann M, Schweizer M, et al. A time-of-flight line sensor Development and application[J]. Optical Sensing, 2004, 5459: 192-199. DOI: 10.1117/12.545571
[11] Gupta M, Agrawal A, Ashok Veeraraghavan. A Practical Approach to 3D Scanning in the Presence of Interreflections, Subsurface Scattering and Defocus[J]. International Journal of Computer Vision, 2013, 102(1-3): 33-55. DOI: 10.1007/s11263-012-0554-3
[12] 段志坚.基于3D-TOF图像传感器采集系统的设计与实现[D].湘潭: 湘潭大学, 2015. DUAN Zhijian. Design and implementation of 3D-TOF image sensor acquisition system[D]. Xiangtan: Xiangtan University, 2015.
[13] 卢纯青, 宋玉志, 武延鹏, 等.基于TOF计算成像的三维信息获取与误差分析[J].红外与激光工程, 2018, 47(10): 160-166. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201810021.htm LU Chunqing, SONG Yuzhi, WU Yanpeng, et al. 3D Information Acquisition and Error Analysis Based on TOF Computational Imaging[J]. Infrared and Laser Engineering, 2018, 47(10): 160-166. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201810021.htm
[14] 王胤.应用于三维成像飞行时间法建模及其误差分析[D].湘潭: 湘潭大学, 2017. WANG Yin. Application of 3D imaging time-of-flight modeling and its error analysis[D]. Xiangtan: Xiangtan University, 2017.
[15] 杨晶晶, 冯文刚.连续调制TOF图像误差来源及降噪处理[J].合肥工业大学学报:自然科学版, 2012, 35(4): 485-488. https://www.cnki.com.cn/Article/CJFDTOTAL-HEFE201204013.htm YANG Jingjing, FENG Wengang. The source of continuous modulation TOF image error and noise reduction processing[J]. Journal of Hefei University of Technology: Natural Science, 2012, 35(4): 485-488. https://www.cnki.com.cn/Article/CJFDTOTAL-HEFE201204013.htm
[16] Payne A D, Dorrington A A, Cree M J. Illumination waveform optimization for time-of-flight range imaging cameras[C]//Videometrics, Range Imaging, and Applications XI. International Society for Optics and Photonics, 2011, 8085: 136-148.
[17] Corti A, Giancola S, Mainetti G, et al. A metrological characterization of the Kinect V2 time-of-flight camera[J]. Robotics and Autonomous Systems, 2016, 75(PB): 584-594.
[18] Rapp H. Faculty for physics and astronomy[D]. Heidelberg: University of Heidelberg, 2007.
[19] Ruocco R, White T, Jarrett D. Systematic errors in active 3D vision sensors[J]. IEEE Proceedings-Vision, Image and Signal Processing, 2003, 150(6): 341-345. DOI: 10.1049/ip-vis:20030794
[20] Jung J, Lee J, Jeong Y, et al. Time-of-Flight Sensor Calibration for a Color and Depth Camera Pair[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(7): 1501-1513. DOI: 10.1109/TPAMI.2014.2363827
[21] Fuchs S, Hirzinger G. Extrinsic and depth calibration of ToF-cameras[C]//IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, 2008: 1-6.
[22] 潘华东, 谢斌, 刘济林.无扫描激光三维成像系统的建模与仿真[J].浙江大学学报:工学版, 2010(4): 21-26, 33. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDZC201004002.htm PAN Huadong, XIE Bin, LIU Jilin. Modeling and Simulation of Scanless Laser 3D Imaging System[J]. Journal of Zhejiang University: Engineering Science, 2010(4): 21-26, 33. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDZC201004002.htm
[23] 梁斌, 何英, 邹瑜, 等. ToF相机在空间非合作目标近距离测量中的应用[J].宇航学报, 2016, 37(9): 1080-1088. DOI: 10.3873/j.issn.1000-1328.2016.09.007 LIANG Bin, HE Ying, ZOU Yu, et al. Application of ToF camera in close measurement of non-cooperative objects in space[J]. Acta Astronautica, 2016, 37(9): 1080-1088. DOI: 10.3873/j.issn.1000-1328.2016.09.007
[24] Opower H. Multiple view geometry in computer vision[J]. Optics and Lasers in Engineering, 2002, 37(1): 85-86. DOI: 10.1016/S0143-8166(01)00145-2
[25] 张鑫, 习俊通.基于随机编码结构光的双目立体三维测量系统[J].机电一体化, 2013, 19(3): 61-65. DOI: 10.3969/j.issn.1007-080x.2013.03.013 ZHANG Xin, XI Juntong. Binocular three-dimensional measurement system based on randomly encoded structured light[J]. Mechatronics, 2013, 19(3): 61-65. DOI: 10.3969/j.issn.1007-080x.2013.03.013
[26] Moreno-Noguer F, Belhumeur P N, Nayar S K. Active refocusing of images and videos[J]. ACM Transactions on Graphics, 2007, 26(99): 67. DOI: 10.1145/1276377.1276461
[27] Prusak A, Melnychuk O, Roth H, et al. Pose estimation and map building with a Time-Of-Flight camera for robot navigation[J]. International Journal of Intelligent Systems Technologies and Applications, 2008, 5(3/4): 355-364. DOI: 10.1504/IJISTA.2008.021298
[28] Alenyà G, Foix S, Torras C. Using ToF and RGBD cameras for 3D robot perception and manipulation in human environments[J]. Intelligent Service Robotics, 2014, 7(4): 211-220. DOI: 10.1007/s11370-014-0159-5
[29] 司秀娟.深度图像处理在精准农业领域的应用研究[D].合肥: 中国科学技术大学, 2017. SI Xiujuan. Application Research of Deep Image Processing in Precision Agriculture[D]. Hefei: University of Science and Technology of China, 2017.
[30] Vázquez-Arellano, Manuel Reiser D, Paraforos D S, et al. 3-D reconstruction of maize plants using a time-of-flight camera[J]. Computers and Electronics in Agriculture, 2018, 145: 235-247 DOI: 10.1016/j.compag.2018.01.002
[31] Penne J, Schaller C, Hornegger J, et al. Robust real-time 3D respiratory motion detection using time-of-flight cameras[J]. International Journal of Computer Assisted Radiology and Surgery, 2008, 3(5): 427-431. DOI: 10.1007/s11548-008-0245-2
[32] Soutschek S, Penne J, Hornegger J, et al. 3-D gesture-based scene navigation in medical imaging applications using Time-of-Flight cameras[C]//IEEE Conf. on Computer Vision & Pattern Recogn., 2008: 1-6.
[33] 雷禧生, 肖昌炎, 蒋仕龙.基于TOF相机的喷涂工件在线三维重建[J].电子测量与仪器学报, 2017, 31(12): 1991-1998. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201712018.htm LEI Xisheng, XIAO Changyan, JIANG Shilong. Online 3d reconstruction of sprayed workpiece based on TOF camera[J]. Journal of Electronic Measurement and Instrument, 2017, 31(12): 1991-1998. https://www.cnki.com.cn/Article/CJFDTOTAL-DZIY201712018.htm
[34] Ahmad R, Plapper P. Generation of safe tool-path for 2.5D milling/drilling machine-tool using 3D ToF sensor[J]. CIRP Journal of Manufacturing Science and Technology, 2015, 10: 84-91. DOI: 10.1016/j.cirpj.2015.04.003
[35] 丁津津. TOF三维摄像机的误差分析及补偿方法研究[D].合肥: 合肥工业大学, 2011. DING Jinjin. Error analysis and compensation method of TOF 3d camera[D]. Hefei: Hefei University of Technology, 2011.
[36] 王亚洲.采用TOF面阵传感器与双目视觉融合的三维深度相机设计[D].深圳: 深圳大学, 2017. WANG Yazhou. Design of a 3D Depth Camera Using TOF Area Array Sensor and Binocular Vision[D]. Shenzhen: Shenzhen University, 2017.
[37] 黄舒兰. ToF与立体视觉技术相结合的三维重建方法研究[D].深圳: 中国科学院大学(中国科学院深圳先进技术研究院), 2019. HUANG Shulan. Research on 3D reconstruction method combining ToF and stereo vision technology[D]. Shenzhen: University of Chinese Academy of Sciences (Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences), 2019.
[38] Hullin M B. Computational imaging of light in flight[C]//Proceedings of Optoelectronic Imaging and Multimedia Technology Ⅲ, 2014: 927314.
[39] XIE Jun, Feris Rogerio Schmidt, SUN Mingting. Edge-Guided Single Depth Image Super Resolution[J]. IEEE Transactions on Image Processing: a publication of the IEEE Signal Processing Society, 2016, 25(1): 428-438. DOI: 10.1109/TIP.2015.2501749
[40] SONG X B, DAI Y C, QIN X Y. Deep Depth Super-Resolution: Learning Depth Super-Resolution using Deep Convolutional Neural Network[C]//Asian Conference on Computer Vision, 2017, 10114: 360-376.
[41] Kahlmann T, Oggier T, Lustenberger F, et al. 3D-TOF sensors in the automobile[C]//Proceedings of SPIE the International Society for Optical Engineering, 2005, 5663: 216-224.
[42] 宋玉志, 卢纯青, 王立. 3D-TOF相机在空间近距离目标探测中的应用研究[J].空间控制技术与应用, 2019, 45(1): 53-59. https://www.cnki.com.cn/Article/CJFDTOTAL-KJKZ201901021.htm SONG Yuzhi, LU Chunqing, WANG Li. Research on the application of cameras in the detection of close range objects in space[J]. Aerospace Control and Application, 2019, 45(1): 53-59. https://www.cnki.com.cn/Article/CJFDTOTAL-KJKZ201901021.htm
[43] Nguyen Trong-Nguyen, Huynh Huu-Hung, Meunier Jean. Human gait symmetry assessment using a depth camera and mirrors[J]. Computers in Biology and Medicine, 2018, 101: 174-183. DOI: 10.1016/j.compbiomed.2018.08.021
-
期刊类型引用(23)
1. 任杰,蒋海燕,姬建荣. 基于欧式变换的矩形破片拦截靶点云拼接方法. 兵工学报. 2025(02): 349-358 . 百度学术
2. 刘佳鑫,关新,曹中祥,华宝成,李林. 间接飞行时间相机性能参数的测量方法与验证. 应用光学. 2025(02): 395-403 . 百度学术
3. 魏振红,吴瑞珉. 基于手眼深度相机的钢包滑板检测定位技术研究. 机电工程技术. 2025(09): 138-144 . 百度学术
4. 郭大卫. 基于图像的三维建模拓展训练课设计与验证——以Agisoft Photoscan二维照片创建三维模型为例. 艺术教育. 2025(05): 151-154 . 百度学术
5. 俞圣池,李佳康,熊鑫泉,贺刘刚,何瑞麟,戴阳. 基于线激光三角测距法的鱼体测距研究. 渔业现代化. 2024(01): 80-89 . 百度学术
6. 吴凤占,周可. 乘员舱大角度飞行时间相机的设计与验证. 汽车工程师. 2024(03): 35-42 . 百度学术
7. 刘耀文,毕远伟,张鲁建,黄延森. 基于深度传感器的多视角点云配准研究. 激光杂志. 2024(03): 161-167 . 百度学术
8. 洪国,张春雷,覃琴. 基于SFM的三维重建在点胶加工中的应用. 组合机床与自动化加工技术. 2024(05): 55-59 . 百度学术
9. 李柏雄,刘俊杰,刘建青,程霖,葛平淑. 基于非接触式的三维重建技术综述. 机电工程技术. 2024(05): 1-5+42 . 百度学术
10. 张铭桂,琚俊,刘厚诚. 基于机器视觉的三维重建技术在蔬菜上的应用综述. 江苏农业科学. 2024(09): 27-35 . 百度学术
11. 王庆辉,顾怿晨. 一种改进的货架物品抓取方法. 微型电脑应用. 2024(08): 194-197 . 百度学术
12. 高楠,王鹏程,刘泽圳,倪育博,孟召宗,张宗华. 透明物体非侵入式三维重建方法综述(特邀). 红外与激光工程. 2024(09): 100-118 . 百度学术
13. 聂根良,程晓红,周超,侯德华,李忠玉. 基于热红外深度估计的路用骨料三维特征评价. 红外技术. 2024(09): 1099-1105 . 本站查看
14. 周楚涵,王雪梅,倪文波. 应用线结构光的混凝土试块三维几何参数测量方法. 中国测试. 2024(09): 126-135 . 百度学术
15. 张烨佼,马连成,段金刚,刘洪臻,孙效玉,刘煜祖,王仁炎. 基于TOF相机的露天矿卡车装载体积测量实验研究. 金属矿山. 2023(02): 167-172 . 百度学术
16. 魏麟,雷中洲,祁美照,杨济睿. 基于视觉SLAM的飞机模拟座舱三维地图构建. 民用飞机设计与研究. 2023(01): 128-133 . 百度学术
17. 陈斯亮,张佳敏. 建筑遗产数字活化的本质、现状及未来趋势探析. 建筑与文化. 2023(05): 99-103 . 百度学术
18. 梁尔祝,耿威,田思雨,王锐,于忠滢. TOF相机在工业袋子计数系统中的应用. 物联网技术. 2022(02): 110-112 . 百度学术
19. 王梓凌,张震,王一璋,周哲海. 基于线结构光的3D智能相机数据处理算法. 数字技术与应用. 2022(01): 89-92 . 百度学术
20. 金肃静,罗佳,顾海荣,刘胜,韩帅. 基于深度相机的碎石撒布质量检测方法. 公路交通科技. 2022(05): 50-56 . 百度学术
21. 黄正伟,刘宏伟,徐渊. 用于IToF传感器的极低功耗RISC-V专用处理器设计. 计算机工程. 2022(09): 146-154 . 百度学术
22. 张月,张学敏,柳祎,李轩,张肃,俞越,焦建超,苏云. 偏振三维成像仪的相对偏振方向定标方法. 红外与毫米波学报. 2022(06): 1062-1071 . 百度学术
23. 吴海滨,徐若彤,王爱丽,于晓洋,岩堀,祐之,赵蓝飞,刘赫. 基于计算机视觉的人体内腔三维重建技术综述. 计算机工程. 2021(10): 1-15 . 百度学术
其他类型引用(142)