Time-of-Flight Point Cloud Denoising Method Based on Confidence Level
-
摘要: 飞行时间（Time-of-Flight，ToF）三维成像方法由于多路径干扰和混合像素等问题降低了目标物体深度测量的精度。传统的方法通过优化重构异常点云数据或滤除噪声点云数据来提高目标的准确性，但是这些方法复杂度高且容易导致过度平滑。三维点云图像中的有效点云与噪声点云之间的关系很难用数学模型来表示。针对上述问题，本文提出了一种基于置信度的飞行时间点云去噪方法。首先，分析多帧点云数据的概率相关性，以点云数据的置信度作为判别有效点云与噪声点云的依据；其次，利用多帧点云之间的矢量对偶性，提出了一种快速提取不同置信度点云的算法，其时间复杂度为O(L)；最后使用该算法提取多帧三维图像中置信度高的点云数据获得目标物体的真实测量数据，并重点对4组不同场景的点云数据进行对比实验。实验结果表明，该算法能够在有效滤除噪声的同时，显著提高目标物体的距离测量精度，增强目标物体的特征，因此具有广泛的应用价值。Abstract: The time-of-flight (ToF) 3D imaging method suffers from reduced precision in the depth measurement of target objects because of multipath interference and mixed pixels. Traditional methods improve the accuracy of the measurement by optimizing and reconstructing abnormal point cloud data or filtering noisy point cloud data. However, these methods are complex and can easily lead to excessive smoothing. The relationship between a valid point cloud and noisy point cloud in a 3D point cloud image is difficult to express using a mathematical model. To address these problems, a point cloud denoising method based on the confidence level is proposed in this paper. First, the probability correlation of multi-frame point cloud data is analyzed, and the confidence level of the point cloud data is used as the basis to distinguish valid point clouds from noisy point clouds. Second, by utilizing the vector duality between multi-frame point clouds, a fast algorithm for extracting point clouds with different confidence levels is presented, and its time complexity is O(L). Finally, the algorithm is used to extract the point cloud data with a high confidence level in multi-frame 3D images to obtain the real measurement data of the target object. We focus on the comparative experiments of four groups of point cloud data in different scenes. The experimental results show that the algorithm can not only effectively filter the noise but also significantly improve the distance measurement accuracy of the target object and enhance the characteristics of the target object; therefore, it has extensive application value.
-
Keywords:
- ToF /
- point cloud denoising /
- confidence level
-
0. 引言
饰面层（building decorative layers, BDLs）广泛应用于建筑外墙，但由于环境影响、施工质量等原因，饰面层容易发生脱粘剥落，且随着时间的推移，在雨水、冰冻、暴晒、强风等的作用下，脱粘面积会逐渐增大，最终导致饰面层从主体结构上剥离、脱落。近年来建筑外墙饰面层剥落事故时有发生，对居民生命财产安全带来巨大威胁，尤其对于高层建筑，一旦出现饰面层脱落将导致严重后果，迫切需要采取有效的检测手段来避免此类事故的发生。
传统饰面层脱粘缺陷检测手段主要有：目测法、锤击法、拉拔法[1-2]，需要搭设支架依靠人工攀爬检测，时间长、成本高且检测人员安全存在风险，因此采用传统人工检测的方法识别饰面层脱粘缺陷无实际意义。近年来基于固定或手持红外热成像设备对外墙饰面砖脱粘缺陷检测相关研究发展迅速[3-4]，相关学者研究了饰面层脱粘缺陷的温度场分布规律，并利用红外设备对外墙饰面层模型进行热成像，识别缺陷面积。但由于红外热成像与可见光成像相比具有成像范围较小、分辨率低的特点[5]，固定或手持红外热成像设备对外墙饰面砖脱粘缺陷检测尚没有得到广泛应用。
近年来，旋翼无人飞机在航空拍照、测量、高压输电线路巡视、农业等民用领域得到广泛应用[6-10]。在无人飞机搭载红外热像仪进行结构检测方面，Omar利用无人机机载红外热像仪检查混凝土桥面脱空[11]。Patel基于无人飞机红外热成像测量了建筑围护构件的传热系数[12]。Ellenberg使用无人机分别搭载红外相机、普通相机对地面预制梁进行检测，分析混凝土结构表面缺陷特征[13]。Dusik Kim利用无人飞机携带红外热像仪对光伏电站的太阳能面板进行检测，应用阈值分割和形态学算法提出太阳面板的面积自动提取算法，识别的正确率达到96.9%[14]。但由于饰面脱粘缺陷为隐蔽缺陷，其热成像温度场受太阳辐射角度影响随时间变化。此外，不同颜色、规格的脱粘缺陷温度场规律可能不一致。因此基于无人飞机平台进行饰面层脱粘缺陷热成像检测还需进一步研究。
同时，由于红外热成像像素分辨率低，边缘模糊，使得基于传统图像处理方法难以识别红外热成像缺陷面积。近年来机器学习、深度学习技术发展迅速[15-16]，适于大规模的机载热成像图像识别。Olivier利用卷积神经网络识别红外图像自动确定机器的状态[17]。Gong将深度学习方法用于基于热成像的电气设备检测[18]。Zhang结合压缩感知与分类卷积神经网络，提出超分辨率红外图像处理方法[19]。Luo建立了适于红外热成像缺陷检测的VGG-Unet网络[20]。Saeed提出了一种基于卷积神经网络和迁移学习的缺陷自动检测方法[21]。但无人飞机热成像的脱粘缺陷识别基于检测飞行试验建立小规模样本集，且基于文献及试验已得到缺陷热成像先验规律，利用深度学习卷积神经网络获得高阶特征进行红外图像语义分割的方法人工标记时间成本高，且特征冗余，造成识别精度和鲁棒性较低。
因此，本文以六旋翼无人飞机为工作台搭载红外热成像仪，在无人飞机加装三点激光测距仪与热像仪视频同步测距[22-23]，基于无人飞机热成像试验获得饰面层脱粘缺陷热成像敏感性规律；基于饰面层脱粘缺陷红外图像特点，提出热源模糊聚类二值分割方法，和适于小样本的机器学习算法，并与开源深度学习语义分割效果比较；基于空间分辨率换算识别缺陷面积，并与传统人工检测进行比较，验证本文所提出方法的精度，系统架构如图 1所示。
1. 饰面层脱粘缺陷热成像敏感性试验研究
近年来，有关学者研究了基于热成像的饰面脱粘缺陷识别，但受拍摄仰角、分辨率的限制难以进行大规模实际应用[1-4]。旋翼无人飞机具有使用灵活的特点，以旋翼无人机为平台，搭载红外热成像仪是否满足饰面层脱粘缺陷识别要求，取决于机载热成像对于温度变化下饰面层缺陷的敏感程度，以及不同规格饰面层的脱粘缺陷热成像温度场特性是否具有一致性。为满足建筑饰面层脱粘缺陷智能识别要求，利用无人飞机机载热成像对基于人工检测的脱粘缺陷进行检测，研究脱粘缺陷热成像温度特性，为基于机器学习图像处理的饰面层脱粘缺陷识别提供先验特征。
1.1 饰面层缺陷识别热成像原理
文献[1-4]研究了建筑饰面层的热传递规律，如图 2所示为建筑物外墙饰面层的能量辐射示意图，当饰面层与建筑外墙之间发生剥离、脱空时，在脱空位置将形成很薄的空气层，由于气体具有很好的隔热性，使得饰面层与建筑结构之间的热传递减少。升温时，在太阳照射下墙体的温度迅速升高并向建筑内部传导热量，由于脱粘缺陷位置有空气层的存在热量向内传递相应减少，导致脱粘缺陷表面的温度异常高于正常位置；降温时，由于脱粘缺陷阻挡了建筑内部的热量向表面传递，使缺陷表面的温度异常低于正常位置。利用饰面层脱粘缺陷的热传递规律，脱粘缺陷处的红外热成像图像与正常位置应具有明显差异，为识别饰面层脱粘缺陷位置与面积提供了实验与理论依据。
1.2 温度变化下饰面层缺陷热成像试验
根据建筑饰面层的热传递规律，利用如图 3所示六旋翼无人飞机平台，搭载DY640红外热成像仪（温度分辨率0.04℃，热灵敏度0.035℃，图像分辨率640×480，帧率25帧）和三点激光测距仪，对人工检测的脱粘缺陷位置进行成像检测。将机载红外热成像视频逐帧解压，对缺陷区域红外热成像照片按典型时段排列，并计算其灰度分布图，如图 4所示。表明在8:00 am~14:00 pm的升温过程中，脱粘缺陷的灰度范围与正常背景之间存在明显的差异，显著高于背景，其中在10:00 am左右由于剧烈升温导致图像灰度差异最为明显，脱粘缺陷区域灰度差异值在40以上。在降温过程中，脱粘缺陷处灰度值低于正常背景，在16:00 pm左右差异最为明显。试验结果与建筑外墙饰面层能量传递规律一致，且升温时热成像图像灰度特征变化更为明显，表明利用快速升温时缺陷区域机载热成像结果的显著灰度差异识别饰面层缺陷具有可行性。
![]()
图 3 饰面层缺陷机载热成像检测：(a) 机载热成像测试原理；(b) 机载热成像测试结果Figure 3. The detection process of UAV thermography: (a) Test principle of UAV thermography; (b) Test result of UAV thermography1.3 不同规格饰面层脱粘缺陷热成像试验
利用前述无人飞机系统，在升温最剧烈的时间段对多座曾出现过饰面层剥落的大楼进行机载红外热成像实验，选取同一规格饰面建筑的不同面积脱粘缺陷热成像图像进行对比，如图 5所示，表明不同面积的脱粘缺陷区域温度场都有中心向边缘的灰度梯度变化，具有普遍一致性，利用机载热像仪无差别视频录像识别不同面积饰面层缺陷具有可行性。
![]()
图 5 不同面积饰面层脱粘缺陷热成像灰度分布规律Figure 5. Debonding defect's temperature field of the different areas of BDLS如图 6所示，对比不同规格饰面层的缺陷热成像图像，表明脱粘缺陷温度场变化与饰面种类、颜色、规格无关，缺陷温度场特性具有普遍一致性，饰面层脱粘缺陷热成像图像边缘模糊、由中心向边缘温度梯度变化明显、区域形状特征与其他干扰噪声有明显区别，表明通过建立饰面缺陷图像数据集，利用无人飞机机载热成像视频无差别检测飞行，利用机器学习方法快速识别缺陷病害具有可行性。
![]()
图 6 不同规格饰面层脱粘缺陷热成像灰度分布规律Figure 6. Debonding defect's temperature field of the different sizes of BDLS2. 无人飞机热成像饰面层脱粘缺陷识别算法
基于前述试验分析，表明设定无人飞机航迹进行无差别机载红外视频成像识别饰面层脱粘缺陷具有可行性，但由于视频成像数据量巨大，同时在饰面层热成像图像中，饰面砖勾缝、金属窗、空调外机等物体大量存在，其比热容小升温迅速，与脱粘缺陷的温度场具有类似的特点，引起脱粘缺陷的误识别，因此如何利用图像处理技术快速准确识别脱粘缺陷面积尤为重要。基于前述特点，本文提出基于热源模糊聚类的二值分割方法，和基于支持向量机的缺陷形状自动筛选机器学习算法，自动提取并识别饰面层脱粘缺陷面积。
2.1 基于热源模糊聚类的红外图像分割
为准确识别饰面层脱粘缺陷面积，需对缺陷图像区域内每一像素点进行分类判断，实现语义分割[24]。而聚类是把某些具有相同特征的样本数据聚集在一起，从而实现对样本数据进行分类。基于热源模糊聚类的红外图像分割使用迭代搜索聚类中心即热成像图像中热源中心，并通过区域内像素与中心之间的隶属度关系来计算目标函数的最小值，实现红外图像模糊边界的分离和缺陷区域图像的像素级分割[25]。算法的目标函数如式(1)所示：
$$ J = \sum\limits_{i = 1}^n {\sum\limits_{k = 1}^c {u_{ik}^m} } {({X_i} - {X_{\rm K}})^2} $$ (1) 式中：n是像素数目；C表示聚类中心数；μikm表示i相对于类k的隶属度；m表示模糊权重系数；Xi表示像素灰度；XK表示聚类中心。隶属度uikm的约束条件为：
$$ \sum\limits_{k = 1}^c {u_{ik}^m} = 1, \forall i = 1, 2, 3 \cdots , n $$ (2) 因此求解聚类问题变成了一个非线性优化，求解在约束公式(2)下的目标函数最小值，通过引入拉格朗日乘子，将方程变成如下：
$$ J = \sum\limits_{i = 1}^n {\sum\limits_{k = 1}^c {u_{ik}^m} } {({X_i} - {X_K})^2}{\text{ + }}\sum\limits_{i = 1}^n {{\lambda _i}} (1 - \sum\limits_{k = 1}^c {{u_{ik}}} ) $$ (3) 基于升温时段饰面脱粘缺陷和噪声都具有异常高的温度场特性，利用上述模糊聚类算法进行热成像图像分割，其步骤的如下：①将图 7(a)所示原始图片进行灰度化，并计算其灰度直方图，如图 7(c)所示；②根据灰度直方图确定聚类类别数为2类；③计算目标函数。如果目标函数比某确定阈值小，或相对于某阈值ε大于上次目标函数值的改变量，则算法停止；④用公式(2)计算新的模糊矩阵U，然后返回步骤③。从而确定各类聚类的中心和各个样本数据属于各类的隶属度矩阵，完成聚类分割，如图 7(d)所示。
2.2 基于支持向量机的饰面层缺陷识别
经过模糊聚类分割后，红外图像中窗户、空调外机、勾缝等具有集中温度场特性的噪声与饰面缺陷同时被聚类出来。为实现小样本数据集下的脱粘缺陷面积精确识别，基于脱粘缺陷区域形状特征参数构造向量集，训练基于支持向量机的脱粘缺陷面积识别模型。
2.2.1 形状特征向量集构造
为快速区分二值图像内脱粘缺陷与其他噪声，如图 7所示，利用区域提取函数对分割后区域进行标记。根据文献，计算图 7标记区域内等主要形状指标面积、最小外接矩形长宽比、矩形度、圆形度、周长、伸长度、偏心率，结果表 1所示，缺陷与噪声区域形状特征有明显区别，表明利用形状参数筛选缺陷区域具有可行性[26]。随机选取20张含不同像素面积的脱粘缺陷图像，统计其形状特征参数值，并进行归一化处理，建立筛选曲线，以形状特征面积和区域圆度为例，如图 8和图 9所示，其中缺陷区域像素面积与噪声像素面积范围互相重合，无法对缺陷区域和噪声进行筛选，而区域圆度则能有效区分缺陷与噪声区域。统计上述区域形状特征指标对样本区域的筛选率，选取筛选率高的圆度C、最小外接矩形长宽比B、偏心率E、矩形度R作为脱粘缺陷区域特征向量。构建X＝(C, B, E, R)的缺陷形状特征向量。
表 1 脱粘缺陷区域形状特征参数计算Table 1. Calculation of shape characteristic parameters of debonding defect areaItem Area (1) Area (2) Area/pixel 3233 1685 Rectangularity 0.83 0.29 Elongation 0.82 0.69 Circularity 0.76 0.19 Circumference /pixel 725 382 Eccentricity 0.26 0.91 Minimum bounding rectangle 0.97 0.52 2.2.2 支持向量机算法构建
支持向量机（support vector machines, SVM）是基于结构风险最小化的一种机器学习算法，具有泛化能力强、适用于小样本分类等优点[27]。而基于机载热成像的饰面层脱粘缺陷区域识别样本数据集制作的时间成本较高，因此本文利用支持向量机算法，建立小样本饰面缺陷识别数据集，训练脱粘缺陷自动识别模型。选取具有强学习能力、适应范围宽的径向基（radial basis function, RBF）核函数作为支持向量机的核函数。该核函数为：
$$ K({X_i}, {X_j}) = \exp {( - g\left\| {{X_i} - {X_j}} \right\|)^2} $$ (4) 对应参数寻优的二次规划问题转化为以下的最大值问题：
$$ \mathop {\max }\limits_{{a_i}} \sum\limits_{i = 1}^n {{a_i}} - \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{y_i}{y_j}} } {a_i}{a_j}\exp {( - g\left\| {{X_i} - {X_j}} \right\|)^2}\, $$ $$ {\rm{s.t.}}\sum\limits_{i = 1}^n {{y_i}} {a_i} = 0\text{，} 0 \leqslant {a_i} \leqslant C $$ (5) 相应的最优函数为：
$$ f(X) = {\rm{sign}}[{\sum\limits_{i = 1}^n {{a_i}{y_i}\exp ( - g\left\| {{X_i} - {X_j}} \right\|)} ^2} + b] $$ (6) SVM即为构造最优分割平面，将基于筛选的脱粘缺陷区域形状特征向量映射到高维空间，实现基于最优分割平面的缺陷区域与噪声区域分类，实现脱粘缺陷区域与非缺陷区域的自动筛选滤除。
2.2.3 模型训练与验证
选取200张经过聚类分割后的脱粘缺陷红外图像进行区域标记。随机选取像素面积不同的n个区域作为样本集(xi, yi)，其中i＝1, 2, 3, …, n，取n＝200为样本数。xi为脱粘缺陷红外图像的特征向量，yi为缺陷特征向量的人工标记。标记图像的大小为640 pixel×480 pixel，按照“训练集：验证集＝4:1”的比例，将图像样本数据集分成训练集和验证集，训练集图像数量为160张，验证集图像数量为40张。利用Python编写程序完成样本训练，将学习模型对验证集进行交叉验证，测试结果显示39个验证集样本实现了正确分类，正确率为97.5%。
3. 无人飞机建筑饰面层脱粘缺陷热成像试验分析
为验证本文所提出系统方法的有效性，进行无人飞机建筑饰面层脱粘缺陷热成像试验，试验以作者单位某五层教学楼为依托工程，该教学楼于2005建成，其采用20 cm×8 cm规格瓷砖作为外墙饰面，近年来出现多次饰面层脱落事件。选择出现剥落较多的东立面、南立面作为检测飞行对象，在夏季升温最快的上午10:00左右进行机载热成像试验，成像设备为六旋翼无人飞机平台，搭载DY640红外热成像仪（温度分辨率0.04℃，热灵敏度0.035℃，图像分辨率640×480，帧率25帧），配备与热像仪同频率三点激光测距仪，及高清图传系统，如图 10所示，飞行检测过程如图 11所示。
3.1 饰面缺陷无人飞机成像试验
机载红外摄像具有检测速度快、检测范围全覆盖的优点，只需在低速平稳状态下进行无差别扫描摄像。饰面层的脱粘缺陷识别要求对建筑物外墙立面进行快速、全覆盖检测，因此选择机载红外摄像作为成像方式。在试验飞行过程中，利用三点激光测距仪实时测量并记录无人飞机系统与建筑外墙之间物距，为保证机载红外摄像具有足够的分辨率，经过现场反复飞行检测验证，设定检测飞行物距为4~6 m。根据文献[21-22]，在6 m物距下像素解析度计算如式(7)所示：
$$ J = L{\text{*}}\lambda {\text{ = }}6000{\rm{mm}}{\text{*0}}{\text{.00}}17{\rm{pixe}}{{\rm l}^{ - 1}}{\text{ = }}10.2{\rm{mm}}/{\rm{pixel}} $$ (7) 式中：J为像素解析度（像素尺寸所代表的实际尺寸），$ L $为成像物距6 m，像素尺寸与实际尺寸的转换比$ A $为0.0017。本文采用的机载红外摄像视频为每秒25帧，根据文献[28]，航拍视频的清晰标准为任一帧内成像点位移小于3像素宽度，为保证饰面层脱粘缺陷检测视频不出现虚焦、模糊，计算无人飞机飞行速度，如式(8)所示：
$$ {V_{\rm{uav}}} = \frac{{{S_{\rm{pixel}}}}}{t} = \frac{{n*J}}{t} = \frac{{3{\text{*}}0.0102}}{{0.04}}{\rm{m/s}} = 0.765{\rm{m/s}} $$ (8) 式中：Vuav是待求的无人飞机飞行速度；Spixel为保证视频清晰的最小像移；n为保证视频清晰的最小像素数；J为像素解析度；t为视频中单帧拍摄时间。根据(7)、(8)式计算，设定飞行物距4~6 m，飞行速度0.7 m/s。对获取的红外视频进行解压，得到饰面层缺陷红外热成像图像如图 12所示，对图 12进行人工分割识别如图 13所示。
3.2 饰面层缺陷图像分割
对于无人飞机机载热成像的饰面层脱粘缺陷图 12按前述方法进行聚类分割，将红外图像中的热源中心及其附近区域聚类，结果如图 14所示。聚类分割后的图像上存在窗、空调外机、饰面勾缝等比热容较低的物体区域。将图 14所示二值图像进行区域标记，将形成的区域特征向量代入前述训练好的支持向量机模型，消除非缺陷区域，并重新进行区域标记得图 15所示缺陷区域图像。结果显示所提出的识别方法具有更好的分割效果，对金属窗户、勾缝等伪特征噪声有较强的抑制能力，对边缘的分割效果也更接近如图 13所示的饰面脱粘缺陷人工分割图像。
为了评估所提出热源模糊聚类二值分割和支持向量机筛选预测模型的精确性，采用交互比进行模型评估，其计算方法如式(9)[29]：
$${\rm{ IoU} = \frac{{TP}}{{TP + FP + FN}}} $$ (9) 式中：TP是被模型预测为正的正样本；FP是被模型预测为正的负样本；FN是被模型预测为负的正样本。计算图 15所示分割结果对比人工分割样本的IoU值，对比图 16采用开源Deeplab V3+深度学习语义分割网络[30]所分割图像，本文算法的IoU值平均在0.9以上，分割的精度优于训练好的语义分割模型。表明利用饰面层脱粘温度场变化先验特征、基于支持向量机建立筛选分类模型，在小样本数据集中对比开源深度学习网络更具有优越性和可解释性，对于对比度较低、边缘模糊、且有伪特征干扰的脱粘缺陷红外图像具有更好的分割精度。
3.3 缺陷面积计算与分析
图 12所示机载热成像饰面缺陷同步激光测距如表 2所示，对于图 15中提取的缺陷形状，通过工具箱分别统计各脱粘缺陷区域内总像素数，根据文献[21-22]，利用物距法计算单个像素对应的实际面积，最后得到脱粘缺陷区域总的实际面积，计算结果如表 2所示。
表 2 机载热成像饰面缺陷面积识别与比对Table 2. Recognition and comparison of debonding defects based on UAV thermography imageryItem Area Ι Area Ⅱ Area Ⅲ Object distance/m 5.388 4.018 4.864 Pixel resolution/(mm/pixel) 8.99 6.83 8.27 Pixels 5024 6287 4569 Area/m2 0.406 0.293 0.312 Artificial detection width/m2 0.400 0.304 0.336 Accuracy/% 98.5 96.4 92.8 对比基于传统人工敲击检测脱粘缺陷区域面积，如表 2所示，基于无人飞机热成像的建筑饰面脱粘缺陷识别结果，与人工检测数据相比所得结果相差较小，机载热成像系统达到90%以上精度，表明基于无人飞机热成像饰面层脱粘缺陷识别具有可行性。
4. 结论
① 通过无人飞机饰面层脱粘缺陷热成像敏感性试验，得到饰面层脱粘缺陷温度场随时间变化规律；比较在最佳检测时间内不同饰面层热成像试验结果，表明不同面积和不同饰面规格的脱粘缺陷热成像灰度分布具有一致性，利用无人飞机机载红外无差别扫描录像识别脱粘缺陷位置与面积大小具有可行性。
② 本文提出了一种结合聚类和机器学习的小样本脱粘缺陷面积识别方法。基于红外图像边缘模糊、灰度梯度明显、脱粘缺陷区域形状与其他干扰噪声有明显区别的特点，提出热源模糊聚类二值分割方法，并基于支持向量机建立缺陷形状自动筛选模型，达到90%以上面积识别精度。表明利用温度场特性和形状参数先验特征，在小样本数据集上对比开源深度学习网络更具有优越性和可解释性，具有更好的分割精度。利用无人飞机机载红外热成像系统可有效识别饰面层脱粘缺陷，为后续的维修和预警提供了有效检测数据，具有良好的社会和工程应用价值。
③ 根据本文试验及分析结果，建议无人飞机机载热成像检测时段应该选择在夏季、秋季的温度迅速升高时段。
④ 本文对饰面层脱粘缺陷的识别为事后分析，制作专门分析软件内置入机载热成像系统进行实时检测还需要进一步研究。
-
![]()
图 8 置信度去噪结果(左）和红色选中区域置信度去噪前后距离Z随坐标X的变化图像（右）
Figure 8. Confidence denoising result (left) and Image of Z varying with X before and after confidence denoising in red selected area (right)
![]()
图 9 B1组原始点云俯视图（左）与2帧加和后点云俯视图（右）对比
Figure 9. Comparison of top view of original point cloud (left) and top view of point cloud after sum of 2 frames (right)
![]()
图 10 不同帧数点云矢量加和的结果以及相对应的置信度去噪的结果（A1、B1、C1、D1组）
Figure 10. The results of the sum of point clouds vectors with different frame numbers and the corresponding confidence denoising results
算法基于置信度的点云去噪 输入: $ {P}_{i},i=1,...,n $ //n帧点云图像 输出: $ Pt\;\&\;Confidence $ //点云集和对应置信度 1：if $ {P}_{1}.Count=...={P}_{n}.Count $ //检查是否为同源点云 2： $ {P}_{add}\leftarrow {P}_{1}.Location+...+{P}_{1}.Location $ //矢量加和 3： $ Pt\&Confidence\leftarrow Segmention\left({P}_{add}\right) $ //分割提取 4： $ Pt\leftarrow pointCloud\left(Pt\right) $ 5：else 6： output输入错误 7： return 8：return $ Pt\&Confidence $ 
下载: 导出CSV
表 1 不同置信度的点云数量及所占比率
Table 1 The number and percentage of point clouds with different confidence
Confidence level 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% Total Number of point clouds 21238 135 132 121 91 107 139 147 174 249 22533 Proportion 0.9425 0.0060 0.0059 0.0054 0.0040 0.0047 0.0062 0.0065 0.0077 0.0111 1
下载: 导出CSV
表 2 不同帧数置信度去噪后点云数量
Table 2 The number of point clouds after confidence filtering with different frame numbers
Groups Pass-Through Filtering 2 Frames 4 Frames 6 Frames 8 Frames 10 Frames A1 21802 21563 21390 21343 21276 21238 A2 20932 20784 20615 20557 20489 20417 B1 39870 35106 31168 29226 27702 26531 B2 55180 50005 45664 43525 41793 40471 C1 30424 29969 29851 29743 29659 29572 C2 15897 15802 15793 15718 15641 15579 D1 47241 47028 46914 46832 46748 46657 D2 49512 49386 49297 49208 49117 49034
下载: 导出CSV
-
[1] LI L. Time-of-flight camera–an introduction[R/OL]. [2021-10-08]. chrome-extension: //ibllepbpahcoppkjjllbabhnigcbffpihttp://www-cs.ccny.cuny.edu/~wolberg/capstone/kinect/ToFBasicsTI14.pdf.
[2] Foix S, Alenya G, Torras C. Lock-in time-of-flight (ToF) cameras: A survey[J]. IEEE Sensors Journal, 2011, 11(9): 1917-1926. DOI: 10.1109/JSEN.2010.2101060
[3] Whyte R, Streeter L, Cree M J, et al. Review of methods for resolving multi-path interference in time-of-flight range cameras[C]//Sensors, IEEE, 2014: 629-632.
[4] ZENG J, CHEUNG G, Ng M, et al. 3D point cloud denoising using graph Laplacian regularization of a low dimensional manifold model[J]. IEEE Transactions on Image Processing, 2019, 29: 3474-3489.
[5] Fleishman S, Cohen-Or D, Silva C T. Robust moving least-squares fitting with sharp features[J]. ACM transactions on graphics (TOG), 2005, 24(3): 544-552. DOI: 10.1145/1073204.1073227
[6] Guennebaud G, Germann M, Gross M. Dynamic sampling and rendering of algebraic point set surfaces[C]//Computer Graphics Forum, 2008, 27(2): 653-662.
[7] Öztireli A C, Guennebaud G, Gross M. Feature preserving point set surfaces based on non-linear kernel regression[C]//Computer Graphics Forum, 2009, 28(2): 493-501.
[8] SUN Y, Schaefer S, WANG W. Denoising point sets via L0 minimization[J]. Computer Aided Geometric Design, 2015, 35: 2-15.
[9] Lipman Y, Cohen-Or D, Levin D, et al. Parameterization-free projection for geometry reconstruction[J]. ACM Transactions on Graphics (TOG), 2007, 26(3): 22-es. DOI: 10.1145/1276377.1276405
[10] HUANG H, LI D, ZHANG H, et al. Consolidation of unorganized point clouds for surface reconstruction[J]. ACM Transactions on Graphics (TOG), 2009, 28(5): 1-7.
[11] HUANG H, WU S, GONG M, et al. Edge-aware point set resampling[J]. ACM Transactions on Graphics (TOG), 2013, 32(1): 1-12.
[12] Avron H, Sharf A, Greif C, et al. ℓ1-sparse reconstruction of sharp point set surfaces[J]. ACM Transactions on Graphics (TOG), 2010, 29(5): 1-12.
[13] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2005, 2: 60-65.
[14] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095. DOI: 10.1109/TIP.2007.901238
[15] WANG R, CHEN W, ZHANG S, et al. Similarity-based denoising of point-sampled surfaces[J]. Journal of Zhejiang University-Science A, 2008, 9(6): 807-815. DOI: 10.1631/jzus.A071465
[16] HE Y, CHEN S. Recent advances in 3D data acquisition and processing by time-of-flight camera[J]. IEEE Access, 2019, 7: 12495-12510. DOI: 10.1109/ACCESS.2019.2891693
[17] Reynolds M, Doboš J, Peel L, et al. Capturing time-of-flight data with confidence[C]//CVPR, IEEE, 2011: 945-952.
-
期刊类型引用(1)
1. 单幼芳. 基于深度学习算法的太赫兹人体安检图像处理技术研究. 电脑编程技巧与维护. 2024(07): 127-129 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 453
- HTML全文浏览量: 64
- PDF下载量: 41
- 被引次数: 2
