视觉SLAM在动态场景下的图像处理方法

游通飞, 孔令华, 刘文玉, 易定容, 殷江

游通飞, 孔令华, 刘文玉, 易定容, 殷江. 视觉SLAM在动态场景下的图像处理方法[J]. 红外技术, 2021, 43(10): 960-967.
引用本文: 游通飞, 孔令华, 刘文玉, 易定容, 殷江. 视觉SLAM在动态场景下的图像处理方法[J]. 红外技术, 2021, 43(10): 960-967.
YOU Tongfei, KONG Linghua, LIU Wenyu, YI Dingrong, YIN Jiang. Image Processing Method for Visual Simultaneous Localization and Mapping[J]. Infrared Technology , 2021, 43(10): 960-967.
Citation: YOU Tongfei, KONG Linghua, LIU Wenyu, YI Dingrong, YIN Jiang. Image Processing Method for Visual Simultaneous Localization and Mapping[J]. Infrared Technology , 2021, 43(10): 960-967.

视觉SLAM在动态场景下的图像处理方法

基金项目: 

国家自然科学基金资助项目 51775200

详细信息
    作者简介:

    游通飞(1994-),男,福建福州人,硕士研究生,研究方向:视觉SLAM和语义分割

    通讯作者:

    孔令华(1963-),男,加拿大人,教授,博士,硕士生导师,研究方向:三维视觉和多光谱检测。E-mail:15392030898@163.com

  • 中图分类号: TP391

Image Processing Method for Visual Simultaneous Localization and Mapping

  • 摘要: SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。
    Abstract: Simultaneous localization and mapping(SLAM) has always been a research hotspot in the robotics field. In recent years, remarkable progress has been made in SLAM research, but few SLAM algorithms have considered the processing of dynamic scenes. Therefore, in this study, an image processing method for dynamic target processing in a visual SLAM scene is proposed. The semantic segmentation algorithm based on deep learning was introduced into the ORB_SLAM2 method and input image classification processing was accomplished while removing the feature points on the body. Pose estimation was performed based on images with eliminated feature points. Compared to ORB_SLAM2 on the TUM dataset, the absolute trajectory error and relative path error accuracy were improved by more than 90% in the dynamic scene. To ensure the accuracy of the generated map, the applicability of the map was improved.
  • 对于一些复杂的系统,由于功能或机构的限制,单片FPGA难以实现全部功能[1]。在多片FPGA协同工作情况下,如何提高FPGA片间高速通信的稳定性逐渐成为这一领域的研究热点。传统的并行总线因占用资源多,噪声高等缺点,在高速数据传输领域已逐渐被淘汰。目前对于Xilinx 7系列FPGA而言,片间高速通信主要有两种方案。一种是通过GT系列串行高速收发器来实现,根据FPGA种类不同分为GTP、GTX、GTH、GTZ。其中线速率最低的GTP可以支持6.6 Gb/s。虽然此方案传输速率高,但由于每片FPGA的串行高速收发器数量有限,且高速传输对于PCB布局布线提出了很高的要求,因此存在一定的局限性。另一种方案是通过LVDS技术来实现[2]。该技术具有线速率高、抑制共模噪声、低功耗、抗干扰能力强等优点[3]。且通过配置BANK电压,可使FPGA提供大量支持LVDS标准的接口,吞吐率可达Gb/s级,因此该方案具有更加广阔的应用前景[4]

    本文提出了一种提高LVDS通信稳定性的校验协议,基于两片Xilinx FPGA平台搭建多路LVDS通信测试系统,并在不同温度条件下测试系统的误码率[5]

    本文分别利用两片Xilinx公司的Kintex-7和Artix-7 FPGA作为数据处理中心,通过9对LVDS信号线进行片间通信,如图 1所示。

    图  1  片间通信测试系统组成框图
    Figure  1.  Block diagram of inter-chip communication test system

    程序测试主要分3步。第一步通过图 1中的Clock Channel进行同步时钟,其中涉及到差分信号和单端信号的转换以及时钟分频倍频;第二步通过Data Channel进行双向数据校验,其中涉及到串并转换、bit位对齐、Byte位对齐、通道对齐。因为每个通道经过串并转换都可以收发8 bit数据,共有8个数据通道,所以Data Channel是64 bit;最后进行单向数据传输,测试系统误码率。

    系统硬件包括3部分,分别是K7 FPGA核心板、通信底板、A7 FPGA核心板。硬件测试平台实物如图 2所示。为了保证片间通信的稳定性,在绘制PCB时,布线方面要保证9组数据通道等长,且使用圆弧走线;在布局方面,要避开电源等强电磁干扰,且保证对应IO口间距尽量短。

    图  2  硬件测试平台
    Figure  2.  Hardware test bench

    两片FPGA的主时钟属于非同源时钟,存在一定的相位差,因此在数据校验和通信之前,必须先进行同步时钟。

    同步时钟包括发送和接受两部分。首先要通过K7的MMCM(mixed-mod clock manager)IP核分频生成20 MHz的同步时钟,然后经过OBUFDS转换成差分时钟输出[6]。同步时钟的作用只是对齐两片FPGA时钟的相位,因此频率无需过高,这有利于提高片间传输的稳定性。

    图 3所示,LVDS信号电平标准为2.5 V,周期T为50 ns[7]。因此在硬件方面,需要在试验开始前更改FPGA对应BANK的供电电压,以改变FPGA IO口的电平标准;在程序方面,需要通过XDC文件配置输出IO口模式为LVDS_25模式。

    图  3  差分信号波形图
    Figure  3.  Differential signal waveform diagram

    该差分信号需经过电磁环境复杂的底板传输后才能到达A7,如果时钟频率过高,PCB的布局布线不能满足高速信号的严格要求,就会导致误码。这也说明了采用多路LVDS信号传输比少量GT高速串行收发器传输的可靠性和适应性更好。

    A7 FPGA接收到差分时钟后,首先利用IBUFDS对输入信号进行输入缓冲和差分转单端处理,以去除共模噪声的影响[8]。该时钟将作为接收端的系统主时钟使用,因此还需进入BUFG进行全局缓冲。然后利用MMCM对20 MHz的同步时钟进行倍频,得到600 MHz的串行时钟SCLK和150 MHz的并行时钟PCLK,完成同步时钟。这里需要注意的是FPGA接收时钟信号时,必须将引脚分配到MRCC(区域时钟的BUFIO,能驱动相邻BANK/时钟域的IO)或SRCC(区域时钟的BUFIO,能驱动所属BANK/时钟域的IO)的I/O口上才可以作为接收端主时钟使用[9]

    两片FPGA之间通信是双向的,各通道数据收发原理相同,如图 4所示。

    图  4  通信原理框图
    Figure  4.  Communication schematic

    首先由发送端生成8 bit测试数据,然后经过DDR(Double Data Rate)模式的OSERDESE2(并串转换器)把并行数据转成串行数据,最后用OBUFDS把单端信号转成差分信号输出[10]。这里需要给OSERDESE2提供并行时钟PCLK_TX和串行时钟SCLK_TX,这两个时钟分别接CLKDIV和CLK端口[11]

    差分信号经过底板传输后,由另一片FPGA的IBUFDS接收,并把差分信号转成单端信号。数据经过转换后需要进行三步对齐,如图 5所示。

    图  5  数据对齐流程图
    Figure  5.  Flowchart of data alignment

    首先通过IDELAYE2进行bit位对齐,然后通过ISERDESE2进行串并转换和Byte位对齐,最后进行通道对齐,直至还原出各通道的8 bit测试数据。在LVDS信号传输过程中,虽然可以消除共模噪声,但数字信号的抖动无法避免,如图 6所示。

    图  6  信号在时间域抖动特性
    Figure  6.  Signal jitter characteristics in the time domain

    从频域的角度分析,抖动频谱的中心就是信号的工作频率,其符合高斯分布。不是中心频率的信号,被称为相位噪声。抖动和相位噪声本质相同,分别是时域和频域分析的结果。

    正弦波输出信号可以用如下公式表示:

    $$ V(t) = [{A_0} + \varepsilon (t)\left] {{\rm{sin}}} \right[2{\rm{ \mathsf{ π} }}{f_0}t + \varphi (t)] $$ (1)

    式中:A0为电压最大值;ε(t)为振幅噪声;f0为工作频率;φ(t)为相位噪声。在理想情况下,ε(t)和φ(t)均为0。但振荡器并不理想,相位噪声不能忽略。因此得到下面公式:

    $$ V\left( t \right) = {A_0}\sin \left[ {\frac{{2{\rm{ \mathsf{ π} }}}}{{{T_0}}}\left( {t + \frac{{\varphi \left( t \right)}}{{2{\rm{ \mathsf{ π} }}{f_0}}}} \right)} \right] $$ (2)

    x=2π,则sin(x)=0,此时公式(2)可以表示为:

    $$t = {T_0} + \Delta T = {T_0}\left( {1 - \frac{{\varphi \left( t \right)}}{{2{\rm{ \mathsf{ π} }}}}} \right)$$ (3)

    所以抖动与周期的关系可以通过如下公式表示:

    $$J\left( t \right) = \frac{{\Delta T}}{{{T_0}}} = \frac{{\varphi \left( t \right)}}{{2{\rm{ \mathsf{ π} }}}}$$ (4)

    因此频率越高,抖动越大。当利用时钟信号采集串行数据时,就可能出现亚稳态。所以对串行数据进行相位调节是必要的。

    另外在PCB布线时会出现数据线之间不等长的情况,或受外界温度变化的影响,从而在接收端产生相位差。因此无法准确地根据接收端的时钟沿采集到正确的串行数据。

    本文采用IDELAYE2对串行数据进行相位调节,实现bit位对齐,以防止亚稳态的发生,保证采集到正确的bit,如图 7所示。

    图  7  Bit位对齐时序图
    Figure  7.  Timing diagram of bit alignment

    图 7中DDR Clock为接收端倍频后的串行时钟。因为采用DDR模式,因此串行时钟的每个跳边沿都应该和一个串行数据对齐。IDELAYE2可以不断调整串行数据的相位,最终使时钟跳变沿刚好对齐数据中心。

    调整过程主要包括两个环节。首先向右不断调整IDELAYE2的tap值,使其出现tap1的情况。一旦出现此情况,则说明发生了亚稳态,这将导致后续Byte位对齐失败,记录此时的延迟值tap1;然后向左对数据通道不断调整,直至出现tap5的情况,此时再次出现Byte位对齐失败,记录此时的延时值tap5。最后取tap1和tap5的中值,即tap3作为该数据通道的最理想延时值,进而完成bit位对齐。时钟沿和数据通道中心对齐将会保证采集到最稳定的数据。

    此处注意IDELAYE2需要IDELAYCTRL提供延时分辨率[12]。因为给IDELAYCTRL的参考时钟REFCLK是200MHz,根据如下公式可得IDELAYE2的延时分辨率为78.125 ps:

    $${\rm{tap}} = \frac{1}{{{F_{\left( {{\rm{REFCLK}}} \right)}} \times 2 \times 32}}$$ (5)

    式中:F(REFCLK)为参考时钟的频率;tap为调节延迟分辨率。其中参考时钟需要由同步时钟倍频而来,以保证时钟同源。一共有32个调节梯度可以选择,所以通过IDELAYE2最多可以将bit位延迟2.5 ns。另外,IDELAYE2一旦使用,将引入固定的基础延迟0.6 ns。

    上述方法是通过调节数据通道的相位关系来解决信号抖动问题的。但在实际应用中,在保证硬件各信号通道严格等长的情况下,各数据通道相位相差不大,此时可调节串行时钟相位。因为发送端的时钟和数据相位关系如图 7中的tap1,而在接收端需要调节成tap3。那么此时只需要将接收端的串行时钟通过MMCM延迟90°,使跳边沿能采集到正确稳定的数据,避免亚稳态的产生。

    进行Byte位对齐,首先需通过ISERDESE2(专用解串器)把串行信号转成并行信号,重新组成8 bit的并行数据。

    图 8为DDR模式下的Byte位对齐过程。只要采集到的并行数据和测试数据不同,则继续拉高Bitslip,并进行对齐失败计数。每次Bitslip拉高,都会对并行数据的bit顺序进行调整[13]。如果连续7次对齐失败,则说明bit位对齐失败,返回IDELAYE2。基于此原理,需经过多次调整,最终完成字节对齐。另外还需要为ISERDESE2提供并行时钟PCLK_RX和串行时钟SCLK_RX。

    图  8  Byte位对齐时序图
    Figure  8.  Timing diagram of Byte alignment

    待各通道Byte位均对齐成功后,将得到4路并行数据。最后进行通道对齐,不断调整4路8bit的数据顺序,将其拼接成32 bit的并行数据。如果此数据和测试数据相同,则说明数据对齐成功。

    基于上述原理,在常规的LVDS通信之前,需进行片间双向校验。校验流程如图 9所示。

    图  9  双向校验示意图
    Figure  9.  Schematic diagram of two-way verification

    同步时钟后,两片FPGA的8个数据通道进行数据对齐。首先K7 FPGA的前4路会发送32 bit的Test Data 1,A7 FPGA的前4路接收并进行对齐。如果对齐失败,将继续进行数据对齐;如果对齐成功,则说明A7前4路接收数据正常,将前4路的rx_locked拉高。然后通过后4路发送Test Data 2,K7的后4路接收并对齐。

    如果K7的后4路对齐失败,将继续进行数据对齐;如果对齐成功,则说明K7的前4路发送正常,后4路接收正常,将前4路的tx_ready和后4路的rx_locked拉高。然后通过前4路发送Test Data 2,A7的前4路接收并对齐。

    此时可直接使用第一轮校验的对齐策略来对齐Test Data 2。A7接收到Test Data 2后,则说明其后4路发送正常,将其后4路的tx_ready拉高。校验完成。

    通过上述3轮数据对齐,完成一轮闭环校验,如图 10所示。该校验协议保证了K7端前4路发送正常,后4路接收正常,A7端前4路接收正常,后4路发送正常。从而保证两个终端之间双向8路通信正常。进而确保后续稳定的数据通信,以达到降低误码率的目的。

    图  10  闭环校验示意图
    Figure  10.  Closed-loop verification diagram

    经过校验后,K7和A7两片FPGA的tx_ready和rx_locked都会拉高。随后进入数据通信阶段,8路数据通道开始传输数据,误码率测试方案如图 11所示。

    图  11  通信测试数据传输方案
    Figure  11.  Transmission plan of communication test data

    PRBS(Pseudorandom binary sequence)被称作伪随机码,常用于高速串行通信的误码率测试。其码型由多项式确定,周期性重复。本文将借助伪随机码来测试误码率。

    设计使用K7产生64 bit的伪随机码,然后分成8路通过LVDS的方式发送出去。由A7的8个数据通道接收并拼接数据,把拼接后的64 bit数据输入PRBS检测模块,该模块将输出误码累计个数。为了方便实验统计,还在A7端还加入了计时模块Timer。

    因为温度的变化会影响数据传输的稳定性,导致出现亚稳态,使Byte位对齐失败。所以基于此方案,对测试系统进行高低温试验,以检测温度变化对片间通信误码率的影响。

    本试验基于Vivado平台完成。串行时钟为600 MHz,并行时钟为150 MHz,板间同步时钟为20 MHz[14]

    为了直观地统计测试结果,在A7端利用ChipScope对error_cnt进行实时观察。图 12给出了系统在20℃环境下持续1 h的测试截图。

    图  12  A7端ChipScope在线测试图
    Figure  12.  ChipScope online test chart of A7

    图 12中rx_locked和tx_ready均已拉高,说明系统已经过校验。prbs_data_r是A7端8个通道拼接而成的64 bit数据,把该数据输入到PRBS校验模块PRBS_CHECK,此模块输出的误码个数为error_cnt_r。hour_r、min_r、sec_r分别为小时、分钟、秒。为利用ChipScope触发hour_r为1的时刻。实验持续测试1 h,在20℃环境下未出现误码。

    本试验在-30℃~50℃之间每隔10℃进行一组测试,最终得到9组测试结果,如表 1所示。结果表明,在各温度下测试该通信系统,均未出现误码。

    表  1  不同温度下FPGA片间通信误码率测试结果
    Table  1.  Test results of bit error rate of FPGA inter-chip communication at different temperatures
    Temperature/℃ -30 -20 -10 0 10 20 30 40 50
    Bit error rate 0 0 0 0 0 0 0 0 0
    下载: 导出CSV 
    | 显示表格

    因为并行时钟是150 MHz,每检测一个并行数据需要6.7 ns,所以1 h测试期间共检测5.4×1011个数据。如果出现1个误码,经计算得出误码率为1.9×10-12。因此可以推断,在不同温度条件下,经过校验的FPGA片间通信误码率低于1.9×10-12

    本文基于LVDS技术,设计了一种FPGA片间通信校验协议。在常规的LVDS通信之前,经过多通道多轮校验,完成多通道数据对齐,补偿由于PCB布线和其他外界因素所带来的各路间的延迟。该校验协议有效防止了亚稳态的产生和数据丢失,从而保证后续双向通信稳定进行。试验结果证明,本校验协议可以有效降低误码率,提高通信的稳定性。下一步可以完善校验协议,对影响片间通信稳定性的其他外界因素进行试验,进一步降低误码率。

  • 图  1   ORB_SLAM2系统线程和结构

    Figure  1.   ORB_SLAM2 system threads and structure

    图  2   PSPNet算法结构

    Figure  2.   PSPNet algorithm structure

    图  3   剔除动态点方法

    Figure  3.   Remove dynamic point method

    图  4   ORB-SLAM2在walking_xyz下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  4.   Error of ORB-SLAM2 under walking_xyz(left: absolute trajectory error; right: relative pose error)

    图  5   本文方法在walking_xyz下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  5.   Error of our method under walking_xyz(left: absolute trajectory error; right: relative pose error)

    图  6   ORB-SLAM2在walking_halfsphere下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  6.   Error of ORB-SLAM2 under walking_halfsphere(left: absolute trajectory error; right: relative pose error)

    图  7   本文方法在walking_halfsphere下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  7.   Error of our method under walking_halfsphere(left: absolute trajectory error; right: relative pose error)

    图  8   ORB-SLAM2在walking_static下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  8.   Error of ORB-SLAM2 under walking_static(left: absolute trajectory error; right: relative pose error)

    图  9   本文方法在walking_static下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  9.   Error of our method under walking_static(left: absolute trajectory error; right: relative pose error)

    图  10   ORB-SLAM2在sitting_static下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  10.   Error of ORB-SLAM2 under sitting_static(left: absolute trajectory error; right: relative pose error)

    图  11   本文方法在sitting_static下的误差(左:轨迹误差;右:相对位姿误差)

    Figure  11.   Error of our method under sitting_static(left: absolute trajectory error; right: relative pose error)

    表  1   绝对轨迹误差对比(ATE)

    Table  1   Absolute trajectory error comparison

    Sequences ORB-SLAM2 Ours Improvement/%
    Rmse Mean Median Std Rmse Mean Median Std Rmse Mean Median Std
    walking_xyz 0.5357 0.4964 0.4733 0.2014 0.0269 0.0185 0.0151 0.0196 94.98 96.27 96.81 90.27
    walking_halfsphere 0.4318 0.3651 0.3107 0.2305 0.0334 0.0285 0.0243 0.0175 92.26 92.19 92.18 92.41
    walking_static 0.3753 0.3398 0.2963 0.1593 0.0076 0.0068 0.0062 0.0034 97.97 98.00 97.91 97.87
    sitting_static 0.0082 0.0071 0.0063 0.0041 0.0062 0.0054 0.0047 0.0031 24.39 23.94 25.40 24.39
    下载: 导出CSV

    表  2   相对位姿误差对比(RPE)

    Table  2   Relative pose error comparison

    Sequences ORB-SLAM2 Ours Improvement/%
    Rmse Mean Median Std Rmse Mean Median Std Rmse Mean Median Std
    walking_xyz 0.7856 0.6444 0.5714 0.4493 0.0400 0.0280 0.0222 0.0285 94.91 95.65 96.11 93.66
    walking_halfsphere 0.6200 0.4957 0.4705 0.3724 0.0474 0.0414 0.0373 0.0231 92.35 91.65 92.07 93.80
    walking_static 0.5354 0.3946 0.1802 0.3618 0.0112 0.0102 0.0096 0.0048 97.91 97.42 94.67 98.67
    sitting_static 0.0127 0.0112 0.0101 0.0060 0.0093 0.0081 0.0073 0.0044 26.77 27.68 27.72 26.67
    下载: 导出CSV

    表  3   相对旋转误差对比(RRE)

    Table  3   Relative rotation error comparison

    Sequences ORB-SLAM2 Ours Improvement/%
    Rmse Mean Median Std Rmse Mean Median Std Rmse Mean Median Std
    walking_xyz 14.3695 11.7969 0.1856 8.2046 0.8776 0.6192 0.0082 0.6220 93.89 94.75 95.58 92.42
    walking_halfsphere 14.5176 12.0261 0.2177 8.1323 1.0316 0.8956 0.0139 0.5118 92.89 92.55 93.62 93.71
    walking_static 9.6864 7.1088 0.0558 6.5796 0.3021 0.2724 0.0044 0.1306 96.88 96.17 92.11 98.02
    sitting_static 0.3572 0.3220 0.0054 0.1546 0.3347 0.2981 0.0048 0.1523 6.30 7.42 11.11 1.49
    下载: 导出CSV

    表  4   两种方法在TUM数据集的耗时

    Table  4   Time consuming of the two methods in TUM dataset

    Methods 1 2 3 Average
    ORB-SLAM2 54.314 58.629 59.373 57.439
    Ours 81.241 79.298 78.505 79.681
    下载: 导出CSV
  • [1]

    Durrant-Whyte H, Bailey Tim. Simultaneous localization and mapping: part I[J]. IEEE Robotics & Amp Amp Automation Magazine, 2006, 13(2): 99-10. http://vigir.missouri.edu/~gdesouza/Research/MobileRobotics/Simultaneous%20localization%20and%20mapping.%20IEEE%20Robotics%20and%20Automation%20magazine-%20Part%201,%20H.%20Durrant-White%20and%20T.%20Bailey.pdf

    [2] 张金凤, 石朝侠, 王燕清. 动态场景下基于视觉特征的SLAM方法[J]. 计算机工程, 2020, 46(10): 95-102. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC202010012.htm

    ZHANG Jinfeng, SHI Chaoxia, WANG Yanqing. SLAM method based on visual features in dynamic scene[J]. Computer Engineering, 2020, 46(10): 95-102. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJC202010012.htm

    [3] 江国来. 共融移动服务机器人导航与交互关键技术研究[D]. 深圳: 中国科学院大学(中国科学院深圳先进技术研究院), 2019.

    JIANG Guolai. Research on Key Technologies of Navigation and Interaction of Inclusive Mobile Service Robot[D]. Shenzhen: University of Chinese Academy of Sciences, 2019.

    [4]

    HAN Shuangquan, XI Zhihong. Dynamic scene semantics SLAM based on semantic segmentation[J]. IEEE Access, 2020, 8: 43563-43570. DOI: 10.1109/ACCESS.2020.2977684

    [5]

    WANG Kai, LIN Yimin, WANG Luowei, et al. A unified framework for mutual improvement of SLAM and semantic segmen- tation[C]//International Conference on Robotics and Automation (ICRA) of IEEE, 2019: 5224-5230.

    [6]

    Bescos Berta, Fácil José M, Civera Javier, et al. Dyna SLAM: tracking, mapping and in painting in dynamic scenes[J]. IEEE Robotics and Automation Letters, 2018, 3(4): 4076-4083. DOI: 10.1109/LRA.2018.2860039

    [7]

    YU Chao, LIU Zuxin, LIU Xinjun, et al. DS-SLAM: a semantic visual SLAM towards dynamic environments[C]//IEEE International Conference on Intelligent Robots and Systems(IROS), 2018: 1168-1174.

    [8] 王召东, 郭晨. 一种动态场景下语义分割优化的ORB_SLAM2[J]. 大连海事大学学报, 2018, 44(4): 121-126. DOI: 10.3969/j.issn.1671-7031.2018.04.020

    WANG Zhaodong, GUO Chen. An improved ORB_SLAM2 in dynamic scene with semantic segmentation[J]. Journal of Dalian Maritime University, 2018, 44(4): 121-126. DOI: 10.3969/j.issn.1671-7031.2018.04.020

    [9] 王晨, 汤心溢, 高思莉. 基于深度卷积神经网络的红外场景理解算法[J]. 红外技术, 2017, 39(8): 728-733. http://hwjs.nvir.cn/article/id/hwjs201708010

    WANG Chen, TANG Xinyi, GAO Sili. Infrared scene understanding algorithm based on deep convolutional neural network[J]. Infrared Technology, 2017, 39(8): 728-733. http://hwjs.nvir.cn/article/id/hwjs201708010

    [10]

    Mur-Artal Raul, D Tardos Juan. ORB-SLAM2: an opensource slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262. DOI: 10.1109/TRO.2017.2705103

    [11]

    ZHAO Hengshuang, SHI Jianping, QI Xiaojuan, et al. Pyramid scene parsing network[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6230-6239.

    [12] 李瀚超, 蔡毅, 王岭雪. 全局特征提取的全卷积网络图像语义分割算法[J]. 红外技术, 2019, 41(7): 595-599, 615. http://hwjs.nvir.cn/article/id/hwjs201907001

    LI Hanchao, CAI Yi, WANG Lingxue. Image semantic segmentation based on fully convoluted network with global feature extraction[J]. Infrared Technology, 2019, 41(7): 595-599. http://hwjs.nvir.cn/article/id/hwjs201907001

    [13]

    Sturm Jürgen, Engelhard Nikolas, Endres Felix, et al. A benchmark for the evaluation of RGB-D SLAM systems[C]//RSJ Int. Conf. Intell. Robots Syst. of IEEE, 2012: 573-580.

  • 期刊类型引用(11)

    1. 李卓. 基于线结构光成像技术的定制产品包装视觉图像处理方法. 激光杂志. 2024(02): 208-213 . 百度学术
    2. 徐立,刘亮,赵凤军. 灰度变换下多模态刚性医学图像分层增强仿真. 计算机仿真. 2024(04): 250-254 . 百度学术
    3. 唐菀,刘鑫. 视觉注意模型的低照度图像感兴趣区域检测. 计算机仿真. 2024(05): 242-245+337 . 百度学术
    4. 阚绪康,史格非,杨雪榕. 基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法. 计算机应用. 2024(10): 3185-3190 . 百度学术
    5. 卢佳佳,蔡坚勇. 基于增强视觉质量的图像感兴趣区域检测研究. 计算机仿真. 2023(01): 234-238 . 百度学术
    6. 孙宇辰,石逸夫,王查理,石可民. 一种视觉定位算法在社区低速车上的应用. 科技与创新. 2023(08): 168-170 . 百度学术
    7. 来金强. 基于目标检测和动静点分离的视觉即时定位与地图构建技术. 机械制造. 2023(11): 80-84 . 百度学术
    8. 刘文杰,刘小娇,付猛,姚玉波. 基于视觉SLAM的动态图像处理方法研究. 数字通信世界. 2022(06): 14-16 . 百度学术
    9. 贾雨萌,刘甜甜,李振华. 一种改进的SLAM建图方法研究. 物联网技术. 2022(08): 71-73 . 百度学术
    10. 张凤,王伟良,袁帅,孙明智. 动态环境下基于卷积神经网络的视觉SLAM方法. 沈阳工业大学学报. 2022(06): 688-693 . 百度学术
    11. 王德欣. SLAM技术及其在测绘领域中的应用研究. 西部资源. 2022(05): 106-108 . 百度学术

    其他类型引用(2)

图(11)  /  表(4)
计量
  • 文章访问数:  205
  • HTML全文浏览量:  42
  • PDF下载量:  46
  • 被引次数: 13
出版历程
  • 收稿日期:  2020-06-05
  • 修回日期:  2020-07-27
  • 刊出日期:  2021-10-19

目录

/

返回文章
返回