0.   引言

近20年以来，飞行时间三维成像方法因具有非接触测量、响应速度快等优势，在工业生产、科学研究、计算机视觉、自主导航等领域得到广泛的应用。飞行时间三维成像方法是通过向目标物体发射近红外强度调制信号，传感器接收从目标物体返回的调制信号，然后对发射信号与接收信号进行相位解调获得目标物体与飞行时间相关的相位差数据，最后计算获得目标物体的距离信息^[1]。在实际应用中，存在系统相关噪声和非相关噪声，其中系统噪声包括深度畸变噪声、积分时间相关噪声、像素相关噪声、振幅相关噪声和温度相关噪声^[2]；非相关噪声是指多径干扰^[3]、背景光产生的噪声等。

现有的点云去噪方法主要可以分为4类：基于移动最小二乘（moving least squares，MLS）的方法、基于局部最优投影（locally optimal projection，LOP）的方法、基于稀疏性的方法和非局部的方法^[4]。

基于移动最小二乘的方法首先根据最小二乘法确定每个点的局部参考域，然后拟合一个基于参考域的多项式函数，最终将输入点云拟合出一个平滑曲面，并将点投影到生成的曲面上^[5]。文献[6]提出代数点集曲面（algebraic point set surfaces，APSS）的方法，利用局部移动最小二乘法拟合代数球面，通过控制拟合球面的曲率，解决了高曲率情况下不稳定重构的问题。文献[7]提出一种鲁棒的隐式最小二乘法（robust implicit MLS，RIMLS），解决了移动最小二乘法对异常值和尖锐特征敏感的问题。然而，这些方法存在过度平滑的问题^[8]。

基于局部最优投影的方法与基于MLS的方法不同，它不计算曲面的显式参数。文献[9]中通过最小化到数据点的欧氏距离之和来定义表示估计曲面的一组点。它的两个改进版本是加权局部最优投影（weighted LOP, WLOP）^[10]和边缘感知点集重采样（edge-aware resampling，EAR）^[11]。WLOP通过使排斥项适应局部密度来输出分布更均匀的点云，而EAR通过局部各向异性投影进行重采样来保留尖锐特征。然而，基于局部最优投影的方法也存在过度平滑的问题^[8]。

基于稀疏性的方法假设每个局部是平面，并针对某些几何特征的稀疏表示进行优化。基于表面法线稀疏性的方法首先通过使用L0^[8]或L1^[12]正则化求解全局极小化问题得到表面法线的稀疏重建，然后基于局部平面假设解决另一个全局极小化问题来使用表面法线更新点的位置。但是，在局部噪声比较高的情况下，法线估计会产生较大的误差，由此导致过度平滑或过度锐化^[8]。

非局部的方法将数字图像去噪算法中非局部均值（non-local means，NLM）^[13]和三维块匹配滤波（block-matching and 3D filtering，BM3D）^[14]的非局部自相似性概念应用到点云去噪中，在高噪声水平下能够更好地保留结构特征。文献[15]中利用基于曲率的相似性进行非局部滤波，由于滤波过程中考虑了邻域的几何结构，更好地保留了精细的形状特征。然而，这些方法的计算复杂度很高。

综述分析了各类点云去噪方法，本文提出的基于置信度的点云去噪算法不属于上述中的任何一类。它跳出了从单帧点云分析的思维局限，利用统计学的方法分析多帧有序点云，计算点云的置信度，如果该点云的置信度大于给定的置信度阈值，则该点为有效点，予以保留；相反，若小于给定的置信度阈值，则该点为噪声点，予以删除。

1.   飞行时间三维成像原理与噪声分析

飞行时间三维成像设备主要包括发射端和接收端，如图 1所示，控制器发送调制信号到激光器，控制激光器发出调制的近红外光，经过物体漫反射后，接收端传感器接收反射回来的调制光，最后根据发射信号与接收信号的相位差来计算深度信息。相位差Δφ是由4个不同相位延迟的接收窗口的电荷量Q₁、Q₂、Q₃、Q₄计算得到^[1]：

图  1  TOF相机成像原理

Figure  1.  The principle of ToF imaging

下载: 全尺寸图片 幻灯片

获得相位差之后，根据公式(2)计算目标物体与相机之间的距离D：

式中：c表示光速；f表示发射信号的调制频率。

公式(2)中，相位差Δφ的取值范围为[0, 2π]，因此相机能测量的最大距离为c/2f，与调制频率成反比，频率越低，能够测量的范围就越大，但是随之带来的是测量精度的下降。若目标超过相机能够测量的最大距离，测量得到的错误值依然落在[0, c/2f]区间内，这种噪声混杂在真实点云中难以滤除。因而在实际应用中，面对不同距离的测量场景，需要调制不同频率的发射信号。

在飞行时间相机获取的点云图中，物体与背景之间以及物体边缘处存在大量的飞行像素噪声（flying pixels^[16]），这是由于目标物体测量的距离信息和背景测量的距离信息混合后产生的干扰噪声。当飞行时间相机的单个传感单元同时接收到前景和背景反射回来的调制光^[17]，如图 2所示，二者产生的能量叠加在一起，使用公式(1)计算得到错误的相位差，此时传感器测量得到的距离介于前景与背景之间，导致生成3D点云后，出现了实际场景中不存在的飞行像素噪声。尤其在拍摄对象细节丰富的情况下，飞行像素噪声散落在物体边缘，如图 3(a)所示，在视觉上物体的边缘信息已经完全被破坏。因此在进行点云分割、配准、重建等下游任务之前必须有效去除噪声。

图  2  飞行像素噪声的产生

Figure  2.  Generation of flying pixels noise

下载: 全尺寸图片 幻灯片

图  3  实际场景中点云噪声示例

Figure  3.  Examples of point cloud noise in a real scene

下载: 全尺寸图片 幻灯片

另外，如图 3(b)中椭圆标记2，在相机镜头与目标之间存在实际场景中不存在的噪声，这是由于场景中的镜面反射引起的。同时，反射率不合适的目标材料、镜头散射以及多径干扰也是噪声产生的原因^[16-17]。

2.   点云置信度的定义

由于存在噪声，传感器的各个传感单元获取的点云数据存在误差或者缺失的现象。具体表现为：本该接收到红外反射光的图像传感单元，由于太阳反射光直流分量或是硬件问题导致红外反射光丢失，呈现点云缺失的现象；一些本不应该接收到反射光的图像传感单元，受物体漫反射、多路径干扰等影响接收到距离信息，产生飞行像素噪声。对此本文利用有效点云与噪声之间的非相关性，定义了点云置信度的概念。当把图像传感单元采集的数据作为一个随机变量，点云噪声以较低的概率被图像传感单元接收，而有效点云以较高概率被采集。对同一个目标进行多次测量，根据图像传感单元采集的次数计算置信度。

本实验采用的飞行时间传感器有307200个图像传感单元对目标进行测量，并输出有序点云数据。当对同一目标采集N次，则第j个图像传感单元采集的点云的置信度为：

即按采集次数计算点云的置信度，当采集10幅图时将会有10组点云，若10次图像传感单元都接收到了信息，计算该点云置信度为100%，可以认为该图像传感器单元接收到的是有效的信息。若10次测量中只有1次采集到信息时，计算该点云置信度为10%，那么可以认为该图像传感单元接收到的是噪声。

3.   基于置信度的点云去噪算法

根据公式(3)可以求出各个传感单元获取的点云的置信度，若直接对N幅点云图像遍历求得t_ij，在面对数据量极大的点云时，其复杂度相对较高。本文提出了一种通过矢量对偶点云加和的方式快速提取不同置信度的点云方法，该方法能够以很小的时间和空间复杂度提取出符合置信度要求的点云。当使用飞行时间传感器采集到N副点云图时，对其中第i幅图像的传感单元j进行研究，若传感单元接收到物体反射信号，该传感单元将会根据公式(1)和(2)计算输出该点云的三维坐标L_ij＝(X_ij, Y_ij, Z_ij)，若传感单元没有接收到物体反射信号，该传感单元会输出一个极大的偏置L_ij＝L_max＝(X_max, Y_max, Z_max)，表明该点区域没有物体，即该点为无效点。若在N次采集中图像传感器单元j只有M次采集到数据，对该传感单元N次获取的三维坐标进行求和有：

式中：L_{sum, j}是图像传感单元j采集N次的三维坐标之和，由于被正确采集时，三维坐标数据受随机误差影响在小数量级浮动，可以近似表示为L_{sum, j}＝N*L_1j；当只有M次被采集时，同理L_{sum, j}可以近似表示为L_{sum, j}＝M*L_kj+(N－M)*L_max。这样根据未被采集的次数N－M，L_{sum, j}就会相对于原始点云进行(N－M)*L_max的偏移，因此只要偏置L_max足够大时，对这些点云进行直通滤波处理，就可以很容易提取出不同置信度的点云。

基于置信度的点云去噪算法的伪代码如下所示：

基于置信度的点云去噪算法的计算主要集中在点云坐标的相加，时间复杂度为O(L)，L是常量，取决于点云图的分辨率以及帧数。一般来说，对于常量级的加法操作，其复杂度几乎可以忽略不计。

4.   实验与分析

4.1   飞行时间点云获取和预处理

以实验中一组数据为例，首先将“东方红一号”1:15的模型固定在光学实验平台中央，然后利用飞行时间传感器从4个不同的角度分别采集10帧数据，4个角度之间相隔90°左右。实验装置如图 4所示。

图  4  实验装置

Figure  4.  Experimental equipment

下载: 全尺寸图片 幻灯片

实验获取的点云数据如图 5所示，点云数据中包含了大量与目标物体无关的背景数据以及噪点，并且由于物体的遮挡，如图 5(a)、(c)所示，在目标物体和背景之间存在大量的飞行像素噪声。对原始数据进行直通滤波实现目标提取，目标提取结果如图 5(b)、(c)所示，目标物体背面的点云比较稀疏和散乱，给后续的点云拼接与重建工作带来了较大阻碍。

图  5  TOF相机拍摄的点云数据示例

Figure  5.  Example of point cloud data taken by TOF camera

下载: 全尺寸图片 幻灯片

4.2   基于置信度的点云去噪

本文实验使用的传感器分辨率为480×640，输出有序点云数据。实验在固定位置对目标连续采集10帧图像。将每一个图像传感器单元采集到的10个三维坐标进行求和，得到的点云如图 6所示，从左上角到右下角很明显地分成了10个区域，由于这10个区域在空间中是彼此分离的，因此很容易分别提取出来。左上角为10帧图像中采集到10次的点，在这10帧图像中它的置信度为100%，右下角为10帧图像只采集到一次的点，它的置信度为10%。

图  6  10帧点云图各像素单元求和结果

Figure  6.  Summation result of pixel units of 10-frame images

下载: 全尺寸图片 幻灯片

将图 6中不同置信度的点云分别提取出来，得到的结果如图 7所示。其中100%置信度的点云具有最丰富的细节，表面特征相较于原始点云更加明显，这是因为这些点被百分之百接收。另外，其它置信度的点云基本上都分布在目标物体的边缘，说明物体的边缘比较容易产生异常点和噪声，这与飞行像素噪声产生的原理是相吻合的。

图  7  提取不同置信度点云结果

Figure  7.  The results of point clouds with different confidence

下载: 全尺寸图片 幻灯片

表 1统计了不同置信度的点云数量及其所占比率，其中100%置信度的点云所占比率为0.9425，这表明基于置信度的点云去噪方法能够保证在有效数据不损失的前提下去除噪声。另外，根据需求降低置信度阈值可以丰富目标边缘信息。

表  1  不同置信度的点云数量及所占比率

Table  1.  The number and percentage of point clouds with different confidence

Confidence level	100%	90%	80%	70%	60%	50%	40%	30%	20%	10%	Total
Number of point clouds	21238	135	132	121	91	107	139	147	174	249	22533
Proportion	0.9425	0.0060	0.0059	0.0054	0.0040	0.0047	0.0062	0.0065	0.0077	0.0111	1

下载: 导出CSV 

| 显示表格

图 8（左）是置信度为100%的点云数据，与图 5中的(b)、(d)比较，置信度去噪后的点云相比于原始的点云以及经过统计滤波的点云有明显的提升：

图  8  置信度去噪结果(左）和红色选中区域置信度去噪前后距离Z随坐标X的变化图像（右）

Figure  8.  Confidence denoising result (left) and Image of Z varying with X before and after confidence denoising in red selected area (right)

下载: 全尺寸图片 幻灯片

1）传统的滤波方法无法对混杂在正确点云中的噪声进行滤除，而基于置信度的点云去噪方法能找到置信度不高的点云进行滤除，并且具有复杂度低、效率高的优点。

2）提高测量精度。基于置信度点云去噪的结果中点云分布相较原始点云更加细致有序。由于随机误差、计算精度等，测量得到的点云三维坐标存在随机误差的情况，假设该误差以高斯分布形式出现(μ, δ²)，当利用10幅图进行置信度去噪后，根据统计学原理，该点的分布会变成(μ, 0.1*δ²)，即对点云进行了校正。实验中选取图 8（左）红色框选区域的点云数据，其X坐标范围为[4, 15]，Y坐标范围为[13, 14]，分析在置信度去噪前后的距离Z随坐标X变化的图像，其分布如图 8（右）所示，原始图像距离Z的范围为[362.75, 376.75]，置信度去噪后的距离Z的范围为[365, 370.23]，即原始图像的距离测量精度为±7.00 mm，置信度去噪后的距离测量精度为±2.62 mm，精度提高了62.86%。

3）增强目标物体特征。传统滤波根据点云的空间分布信息进行滤波，使得一些零散却有效的点被滤除，表现为特征模糊。而基于置信度的点云去噪能保留这些特征，如图 8（左）所示，卫星模型的表面结构更加清晰，有利于后续配准、重建等工作。

边缘缺失的点云是卫星模型72面球体结构的特殊性造成的。缺失部分对应的镜面反射路径朝着远离相机传感器的方向，传感器无法接收该部分反射光信息，导致点云缺失。缺失部分可以采用多视角点云配准的方式进行补全，最终实现完整的三维重建。

4.3   不同帧数的置信度去噪对比实验

实验按照目标物体的类型分为A、B、C、D四组。分别测试利用不同帧数的去噪效果，并与直通滤波方法进行对比。

其中A1、A2是在室内用飞行时间传感器从2个不同的角度获取的“东方红一号”1:15的模型拍摄的点云数据。B1、B2是在室外用飞行时间传感器从2个不同的角度获取的汽车的点云数据。C1、C2是在室内用飞行时间传感器从2个不同的角度获取的雕塑的点云数据。D1、D2是在室内用飞行时间传感器从2个不同的角度获取的木制椅子的点云数据。

实验中对各组数据分别进行直通滤波以及2帧、4帧、6帧、8帧、10帧的置信度去噪处理。表 2显示了不同帧数置信度去噪后点云的数量，可以看出A、B两组点云数量随着帧数的增加呈现的下降趋势比C、D两组更加明显，这是因为A、B组的目标物体表面为金属材质，高反光条件下获取的数据中的噪声相对更多。

表  2  不同帧数置信度去噪后点云数量

Table  2.  The number of point clouds after confidence filtering with different frame numbers

Groups	Pass-Through Filtering	2 Frames	4 Frames	6 Frames	8 Frames	10 Frames
A1	21802	21563	21390	21343	21276	21238
A2	20932	20784	20615	20557	20489	20417
B1	39870	35106	31168	29226	27702	26531
B2	55180	50005	45664	43525	41793	40471
C1	30424	29969	29851	29743	29659	29572
C2	15897	15802	15793	15718	15641	15579
D1	47241	47028	46914	46832	46748	46657
D2	49512	49386	49297	49208	49117	49034

下载: 导出CSV 

| 显示表格

实验发现，通过2帧点云数据的置信度去噪，能够达到较好的去噪效果，在有效滤除噪声的同时能够保留目标物体的特征。如图 9所示，相比于原图，在两帧点云加和后，点云图中的目标物体周围的飞行像素噪声几乎消失了，目标提取变得更加容易，为后续的配准以及重建工作创造了有利条件。

图  9  B1组原始点云俯视图（左）与2帧加和后点云俯视图（右）对比

Figure  9.  Comparison of top view of original point cloud (left) and top view of point cloud after sum of 2 frames (right)

下载: 全尺寸图片 幻灯片

图 10列出了A1、B1、C1、D1组在不同帧数加和的效果以及对应置信度去噪的结果。点云帧数越多，置信度去噪后点云数量越少，例如，在B1组数据的置信度去噪结果中，车顶部分的点云随帧数增加变得稀疏。在C1、D1组中，由于获取的原始点云目标物体周围噪声相对较少，10帧点云的置信度去噪与2帧点云的置信度去噪结果从视觉上不易发现差别，都完整地保留了目标物体的特征。这也说明了本文算法去除点云噪声能力较强，而对于有效的目标点云能够较好地保留下来。

图  10  不同帧数点云矢量加和的结果以及相对应的置信度去噪的结果（A1、B1、C1、D1组）

Figure  10.  The results of the sum of point clouds vectors with different frame numbers and the corresponding confidence denoising results

下载: 全尺寸图片 幻灯片

5.   结论

本文提出了一种基于置信度的点云去噪方法，实验证明，它能够快速有效地去除ToF点云中的噪声，去除噪声占比达5.75%，还能减小随机误差，目标物体的距离测量精度提高了62.86%，同时增强目标物体的特征。这种方法对于通过其它方式获取的同源有序点云数据同样适用，具有可推广性。

本文算法简单高效，时间复杂度为O(L)，点云帧数和置信度阈值在实验中需要根据实际情况进行选择，因此可以考虑直接将算法嵌入相机芯片或者集成到通用图像捕获软件中，把置信度作为一个设置参数，直接输出经过置信度去噪后的点云数据。在置信度较高时，目标物体的边缘若出现点云缺失的情况，可以通过多视角点云配准的方式进行补全。