留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于置信度的飞行时间点云去噪方法

王明星 郑福 王艳秋 孙志斌

王明星, 郑福, 王艳秋, 孙志斌. 基于置信度的飞行时间点云去噪方法[J]. 红外技术, 2022, 44(5): 513-520.
引用本文: 王明星, 郑福, 王艳秋, 孙志斌. 基于置信度的飞行时间点云去噪方法[J]. 红外技术, 2022, 44(5): 513-520.
WANG Mingxing, ZHENG Fu, WANG Yanqiu, SUN Zhibin. Time-of-Flight Point Cloud Denoising Method Based on Confidence Level[J]. Infrared Technology , 2022, 44(5): 513-520.
Citation: WANG Mingxing, ZHENG Fu, WANG Yanqiu, SUN Zhibin. Time-of-Flight Point Cloud Denoising Method Based on Confidence Level[J]. Infrared Technology , 2022, 44(5): 513-520.

基于置信度的飞行时间点云去噪方法

基金项目: 

国家重点研发计划 2016YFE0131500

中国科学院青年创新促进会优秀会员项目 2013105

中国科学院青年创新促进会优秀会员项目 Y201728

中国科学院科研仪器设备研制项目 YJKYYQ20190008

发改委国家重大科技基础设施 2018YFA0404201

发改委国家重大科技基础设施 2018YFA0404202

空间科学战略先导专项 XDA15016300

国家重大科学仪器设备开发专项 2013YQ030595

空间科学战略先导专项 XDA15013600

国家自然科学基金委面上项目 61474123

国家自然科学基金委面上项目 61274024

详细信息
    作者简介:

    王明星(1998-),男,江西人,硕士研究生,主要研究方向为点云数据处理与应用,E-mail: wangmingxing20@mails.ucas.ac.cn

    通讯作者:

    孙志斌(1978-),男,山西人,博士,研究员,博士生导师,主要研究方向为空间光子学、光子信息学、空间材料学和物理电子学。E-mail: zbsun@nssc.ac.cn

  • 中图分类号: TN391

Time-of-Flight Point Cloud Denoising Method Based on Confidence Level

  • 摘要: 飞行时间(Time-of-Flight,ToF)三维成像方法由于多路径干扰和混合像素等问题降低了目标物体深度测量的精度。传统的方法通过优化重构异常点云数据或滤除噪声点云数据来提高目标的准确性,但是这些方法复杂度高且容易导致过度平滑。三维点云图像中的有效点云与噪声点云之间的关系很难用数学模型来表示。针对上述问题,本文提出了一种基于置信度的飞行时间点云去噪方法。首先,分析多帧点云数据的概率相关性,以点云数据的置信度作为判别有效点云与噪声点云的依据;其次,利用多帧点云之间的矢量对偶性,提出了一种快速提取不同置信度点云的算法,其时间复杂度为O(L);最后使用该算法提取多帧三维图像中置信度高的点云数据获得目标物体的真实测量数据,并重点对4组不同场景的点云数据进行对比实验。实验结果表明,该算法能够在有效滤除噪声的同时,显著提高目标物体的距离测量精度,增强目标物体的特征,因此具有广泛的应用价值。
  • 图  1  TOF相机成像原理

    Figure  1.  The principle of ToF imaging

    图  2  飞行像素噪声的产生

    Figure  2.  Generation of flying pixels noise

    图  3  实际场景中点云噪声示例

    Figure  3.  Examples of point cloud noise in a real scene

    图  4  实验装置

    Figure  4.  Experimental equipment

    图  5  TOF相机拍摄的点云数据示例

    Figure  5.  Example of point cloud data taken by TOF camera

    图  6  10帧点云图各像素单元求和结果

    Figure  6.  Summation result of pixel units of 10-frame images

    图  7  提取不同置信度点云结果

    Figure  7.  The results of point clouds with different confidence

    图  8  置信度去噪结果(左)和红色选中区域置信度去噪前后距离Z随坐标X的变化图像(右)

    Figure  8.  Confidence denoising result (left) and Image of Z varying with X before and after confidence denoising in red selected area (right)

    图  9  B1组原始点云俯视图(左)与2帧加和后点云俯视图(右)对比

    Figure  9.  Comparison of top view of original point cloud (left) and top view of point cloud after sum of 2 frames (right)

    图  10  不同帧数点云矢量加和的结果以及相对应的置信度去噪的结果(A1、B1、C1、D1组)

    Figure  10.  The results of the sum of point clouds vectors with different frame numbers and the corresponding confidence denoising results

    算法基于置信度的点云去噪
    输入: $ {P}_{i},i=1,...,n $                            //n帧点云图像
    输出: $ Pt\;\&\;Confidence $                      //点云集和对应置信度
    1:if $ {P}_{1}.Count=...={P}_{n}.Count $    //检查是否为同源点云
    2:    $ {P}_{add}\leftarrow {P}_{1}.Location+...+{P}_{1}.Location $  //矢量加和
    3:    $ Pt\&Confidence\leftarrow Segmention\left({P}_{add}\right) $  //分割提取
    4:    $ Pt\leftarrow pointCloud\left(Pt\right) $
    5:else
    6:    output输入错误
    7:    return
    8:return $ Pt\&Confidence $
    下载: 导出CSV

    表  1  不同置信度的点云数量及所占比率

    Table  1.   The number and percentage of point clouds with different confidence

    Confidence level 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% Total
    Number of point clouds 21238 135 132 121 91 107 139 147 174 249 22533
    Proportion 0.9425 0.0060 0.0059 0.0054 0.0040 0.0047 0.0062 0.0065 0.0077 0.0111 1
    下载: 导出CSV

    表  2  不同帧数置信度去噪后点云数量

    Table  2.   The number of point clouds after confidence filtering with different frame numbers

    Groups Pass-Through Filtering 2 Frames 4 Frames 6 Frames 8 Frames 10 Frames
    A1 21802 21563 21390 21343 21276 21238
    A2 20932 20784 20615 20557 20489 20417
    B1 39870 35106 31168 29226 27702 26531
    B2 55180 50005 45664 43525 41793 40471
    C1 30424 29969 29851 29743 29659 29572
    C2 15897 15802 15793 15718 15641 15579
    D1 47241 47028 46914 46832 46748 46657
    D2 49512 49386 49297 49208 49117 49034
    下载: 导出CSV
  • [1] LI L. Time-of-flight camera–an introduction[R/OL]. [2021-10-08]. chrome-extension: //ibllepbpahcoppkjjllbabhnigcbffpihttp://www-cs.ccny.cuny.edu/~wolberg/capstone/kinect/ToFBasicsTI14.pdf.
    [2] Foix S, Alenya G, Torras C. Lock-in time-of-flight (ToF) cameras: A survey[J]. IEEE Sensors Journal, 2011, 11(9): 1917-1926. doi:  10.1109/JSEN.2010.2101060
    [3] Whyte R, Streeter L, Cree M J, et al. Review of methods for resolving multi-path interference in time-of-flight range cameras[C]//Sensors, IEEE, 2014: 629-632.
    [4] ZENG J, CHEUNG G, Ng M, et al. 3D point cloud denoising using graph Laplacian regularization of a low dimensional manifold model[J]. IEEE Transactions on Image Processing, 2019, 29: 3474-3489.
    [5] Fleishman S, Cohen-Or D, Silva C T. Robust moving least-squares fitting with sharp features[J]. ACM transactions on graphics (TOG), 2005, 24(3): 544-552. doi:  10.1145/1073204.1073227
    [6] Guennebaud G, Germann M, Gross M. Dynamic sampling and rendering of algebraic point set surfaces[C]//Computer Graphics Forum, 2008, 27(2): 653-662.
    [7] Öztireli A C, Guennebaud G, Gross M. Feature preserving point set surfaces based on non-linear kernel regression[C]//Computer Graphics Forum, 2009, 28(2): 493-501.
    [8] SUN Y, Schaefer S, WANG W. Denoising point sets via L0 minimization[J]. Computer Aided Geometric Design, 2015, 35: 2-15.
    [9] Lipman Y, Cohen-Or D, Levin D, et al. Parameterization-free projection for geometry reconstruction[J]. ACM Transactions on Graphics (TOG), 2007, 26(3): 22-es. doi:  10.1145/1276377.1276405
    [10] HUANG H, LI D, ZHANG H, et al. Consolidation of unorganized point clouds for surface reconstruction[J]. ACM Transactions on Graphics (TOG), 2009, 28(5): 1-7.
    [11] HUANG H, WU S, GONG M, et al. Edge-aware point set resampling[J]. ACM Transactions on Graphics (TOG), 2013, 32(1): 1-12.
    [12] Avron H, Sharf A, Greif C, et al. ℓ1-sparse reconstruction of sharp point set surfaces[J]. ACM Transactions on Graphics (TOG), 2010, 29(5): 1-12.
    [13] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2005, 2: 60-65.
    [14] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095. doi:  10.1109/TIP.2007.901238
    [15] WANG R, CHEN W, ZHANG S, et al. Similarity-based denoising of point-sampled surfaces[J]. Journal of Zhejiang University-Science A, 2008, 9(6): 807-815. doi:  10.1631/jzus.A071465
    [16] HE Y, CHEN S. Recent advances in 3D data acquisition and processing by time-of-flight camera[J]. IEEE Access, 2019, 7: 12495-12510. doi:  10.1109/ACCESS.2019.2891693
    [17] Reynolds M, Doboš J, Peel L, et al. Capturing time-of-flight data with confidence[C]//CVPR, IEEE, 2011: 945-952.
  • 加载中
图(10) / 表(3)
计量
  • 文章访问数:  396
  • HTML全文浏览量:  50
  • PDF下载量:  30
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-10-08
  • 修回日期:  2021-11-11
  • 刊出日期:  2022-05-20

目录

    /

    返回文章
    返回