CN110458863A - 一种基于rgbd与编码器融合的动态slam系统 - Google Patents
一种基于rgbd与编码器融合的动态slam系统 Download PDFInfo
- Publication number
- CN110458863A CN110458863A CN201910555539.6A CN201910555539A CN110458863A CN 110458863 A CN110458863 A CN 110458863A CN 201910555539 A CN201910555539 A CN 201910555539A CN 110458863 A CN110458863 A CN 110458863A
- Authority
- CN
- China
- Prior art keywords
- point
- map
- encoder
- octree
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004804 winding Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000004899 motility Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 239000010959 steel Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
了解决现有技术中SLAM系统都采用GPU进行辅助计算而导致的硬件成本过高的问题，本发明提供一种基于RGBD与编码器融合的动态SLAM系统，首先，通过基于RGB‑D深度相机和编码器的追踪模块先将RGB‑D深度相机中的每一个关键帧提取ORB特征点，然后再将机器人上的编码器数据进行融合，形成追踪局部地图；然后，动态像素剔除模块采用成对链接的点云分割算法将追踪局部地图中属于同一物体或同一物体的不同部分的像素，并打上相同的标签，最后，通过对每一个簇进行切片，再对切片进行合并，即可得到最终的分割结果；最后，八叉树建图模块采用八叉树的结构去存储3D点，形成八叉树建图。
Description
技术领域
本发明涉及同步定位与地图构建技术领域，特别涉及一种具有动态物体识别与剔除能力的同步定位与地图构建方法。
背景技术
同步定位与地图构建技术(SLAM，Simultaneous Localization and Mapping)是一种概念：希望机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征(比如，墙角，柱子等)定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。自SLAM技术的诞生开始，SLAM技术得到了世界各地学者的密切关注， SLAM技术得到了空前的发展，许多优秀的方案被提出，并广泛应用于各种领域，如： ORBSLAM2、RGBD-SLAM2等。然而，大多数比较成熟的方案都假设机器人处在低运动(甚至完全静止)场景中，应用在剧烈运动的场景中会把移动的物体也添加到建立的地图当中，甚至可能导致SLAM系统的崩溃。
为了解决SLAM系统在动态场景下的技术问题，各国的学者提出了不同的解决方案， MartinRünz和Lourdes Agapito在文献[1]中提出了一种利用SLIC算法进行超像素的划分然后用全连接CRFs模型进行图像的分割，从而达到对动态物体的实时建模与跟踪；在文献[2]中提出了一种利用Mask-RCNN网络进行2d语义分割并利用基于几何形状的图像分割算法对深度信息和表面信息进行处理，从而提高提取物体边界的准确率的方法；Peilaing Li等人在文献[3] 中提出了一种基于立体视觉的方法来跟踪动态自主驾驶场景中的相机自我运动和3D语义对象，不同于使用端到端方法直接回归3D边界框，他们提出使用易于标记的2D检测和离散视点分类以及轻量级语义推理方法来获得粗略的3D物体估计；
然而，绝大多数动态场景下的SLAM方案都需要用到GPU的辅助来进行庞大的计算，在享受了GPU带来计算力的极大提升的同时，GPU无疑大大增加了产品的硬件成本，从而极大的限制了产品的应用范围。
其中，[1]M.Rünz,L.Agapito,"Co-fusion:Real-time segmentation trackingand fusion of multiple objects",Robotics and Automation(ICRA)2017IEEEInternational Conference on,pp.4471-4478, 2017。
[2]M.Rünz,L.Agapito,"Maskfusion:Real-time recognition tracking andreconstruction of multiple moving objects",2018。
[3]Peiliang Li,Tong Qin,Shaojie Shen."Stereo Vision-based Semantic 3DObject and Ego-motion Tracking for Autonomous Driving",European Conference onComputer Vision(eccv),2018。
发明内容
为了解决现有技术中SLAM系统都采用GPU进行辅助计算而导致的硬件成本过高的问题，本发明提供一种基于CPU的具有动态物体识别与剔除的同步定位与地图构建技术，具体为：一种基于RGBD与编码器融合的动态SLAM系统。
本发明为了解决上述技术问题所采用的技术方案是：一种基于RGBD与编码器融合的动态SLAM系统，其技术方案在于，包括基于RGB-D深度相机和编码器的追踪模块、动态像素剔除模块、稀疏映射模块以及八叉树建图模块；首先，通过基于RGB-D深度相机和编码器的追踪模块先将RGB-D深度相机中的每一个关键帧提取ORB特征点，然后再将机器人上的编码器数据进行融合，形成追踪局部地图；然后，动态像素剔除模块采用成对链接的点云分割算法将追踪局部地图中属于同一物体或同一物体的不同部分的像素，并对上述像素打上相同的标签，最后，通过对每一个簇进行切片，再对切片进行合并，即可得到最终的分割结果；然后，稀疏映射模块采用滑动窗口来对关键帧进行BA优化，得到当前帧对应的地图点，建立子地图；然后再使用DBow2的词袋模型来进行回环的检测，进行回环优化；最后，八叉树建图模块采用八叉树的结构去存储3D点，形成八叉树建图。
本发明的有益效果是：本发明采用了点云分割算法(Pairwise Linkage forPoint Cloud Segmentation)对像素进行划分、打标签，实现了对物体像素的精准分割，达到了与深度学习中的实例分割相似的效果的同时，不需要采用GPU加速，因而大大的减少了机器人硬件成本，扩大了其应用场景。另外本发明采用多视角几何判断动态点，使得系统具备动态物体剔除的功能，可以应用在动态的场景之下。最后，本发明采用了先建立子地图然后再融合的方案，解决了在优化过程中，八叉树地图需要全部重新建立的缺点，增加了系统运行的效率。
附图说明
图1为本发明的系统框图。
图2为分割效果图。
图3为八叉树效果图。
具体实施方式
下面结合附图对本申请进行进一步的说明。
如图1，所述的一种基于RGBD与编码器融合的动态SLAM系统，其技术方案在于，包括基于RGB-D深度相机和编码器的追踪模块、动态像素剔除模块、稀疏映射模块以及八叉树建图模块；
首先，通过基于RGB-D深度相机和编码器的追踪模块先将RGB-D深度相机中的每一个关键帧提取ORB特征点，然后再将机器人上的编码器数据进行融合，形成追踪局部地图；然后，动态像素剔除模块采用成对链接的点云分割算法将追踪局部地图中属于同一物体或同一物体的不同部分的像素打上相同的标签，最后，通过对每一个簇进行切片，再对切片进行合并，即可得到最终的分割结果；然后，稀疏映射模块采用滑动窗口来对关键帧进行BA优化，得到当前帧对应的地图点，建立子地图；然后再使用DBow2的词袋模型来进行回环的检测，进行回环优化；最后，八叉树建图模块采用八叉树的结构去存储3D点，形成八叉树建图。
其中，基于RGB-D深度相机和编码器的追踪模块的工作步骤是：
S1.提取ORB特征：运用四叉树算法对角点进行再分布，使角点分布更均匀合理，得到每一帧图像中的特征点；
S2.编码器数据融合：在t时刻，机器人的位姿为ζt＝[xt，yt，θt]T,则根据里程计的运动模型，得出t+1时刻机器人的位姿为：其中，Δs是机器人中心移动的距离，Δθ是机器人移动的角度值，Δsl/r代表着机器人左/右轮子的位移差；xt代表机器人在t时刻x轴上的位置；yt代表机器人在t时刻y轴上的位置；θt代表机器人在t时刻的旋转角度；
假设机器人的实际位姿服从高斯分布，即其中是机器人位姿的均值，∑t是机器人位姿的方差，由上述公式可求出，t+1时刻位姿的协方差矩阵为：∑t+1＝Gζ∑t(Gζ)T+GS∑S(GS)T，其中Gζ是对于ζt的雅可比行列式，GS是对于Δsl/r的雅可比行列式，∑S是Δsl/r的协方差矩阵：其中kl和kr分别是左右轮子的比例系数，该系数根据轮子的型号来确定，本发明使用的实验平台kl和kr为0.000375；机器人从当前帧坐标到关键帧坐标的实际转换矩阵其中表示从当前帧坐标到关键帧坐标的转换矩阵的均值，而表示转换矩阵的方差，这两个值都是从编码器读取出来。
综上所述，S2步骤获得了关键帧与当前帧之间的机器人位姿(转换矩阵)及其方差
S3.追踪局部地图：从S2得到机器人从关键帧坐标到当前帧坐标的转换矩阵则机器人的初始位姿为其中为机器人世界坐标到关键帧坐标的转换矩阵。将S1得到的局部地图上的特征点重投影到当前帧上，则可得到3D-2D的特征匹配；局部地图上的特征点pw映射到相机坐标为：
其中为当前帧坐标到相机坐标的转换矩阵，是相机的内参。假设局部地图3D点的真实坐标服从高斯分布，即其中分别为其均值和方差。同样，其投影也服从高斯分布，即其中分别为其均值和方差,则u 的协方差矩阵为：
其中Ge是对的雅可比行列式，Gp是对pw的雅可比行列式；
在上一步得到的2D匹配点u′后，可得对应的3D点为：
综上，求解位姿的问题转化成了最小化重投影误差的问题：
其中表示所有3D-2D匹配；
编码器误差函数和投影误差函数分别为：
其中ρ(·)为Huber鲁棒性损失函数，F(·)是将4x4的矩阵转化为3x1向量的算子,是与ORB 特征大小有关的特征协方差矩阵。
至此，得到了世界坐标与当前帧坐标之间的机器人位姿
其中，所述的动态像素剔除模块的工作过程是：
S4.基于点云的物体分割：采用了成对链接的点云分割算法给属于同一物体或同一物体的不同部分的像素打上相同的标签，最后，通过对每一个簇进行切片，再对切片进行合并，即可得到最终的分割结果，如图2；
S5.运动一致性检查：令Pi表示关键帧Fi中关键点的归一化坐标，pi为对应的相机坐标；
首先，根据当前帧Fi和前一帧Fi-1的信息，利用Lucas-Kanade光流法，通过图像金字塔在Fi-1找到与Fi中的特征点Pi对应的特征点Pi，然后根据S3步骤中得到的标签信息，找出含有像素点最多的标签(即标记为背景的标签)，记为Pi，移除Pi所属物体的轮廓，然后利用RANSAC算法计算Pi和Pi-1之间的基础矩阵FM；最后计算除上述标签所标记的匹配点对外的所有匹配点对 Pi-1距离极线Ii的距离D：
若D大于阈值ε，则判定该特征点为运动的点并删除，否则，该特征点静止，存储。至此，求解了所有特征点的运动性。
其中，，所述的稀疏映射模块的工作过程是：
S6.稀疏映射：通过滑动窗口来对关键帧进行BA优化：
通过最小化连续Nopt帧关键帧误差函数，得到了当前帧对应的地图点，本发明Nopt设为6；
S7.回环检测：使用DBow2的词袋模型进行回环的检测，当检测到回环的时候，调用Ceres Solver进行回环优化。
其中，八叉树建图模块的工作过程是：
S8.八叉树子地图建立：采用八叉树建图的方法利用八叉树的结构去存储3D点，将每个像素点用一个概率值来表示该像素是否被占用：
其中P(o)是先验概率；
将上式左右两侧同时取对数：
其中，L(o|z1：t)＝max(min(L(o|z1：t)，lmax)，lmin),其中lmax和lmin分别是奇对数的上下界；其中，局部子地图Si，表示子地图坐标转换为世界坐标的转换矩阵；
S9.八叉树子地图融合：根据S8步骤得到的子地图的集合表示为则地图中的像素点在世界坐标下的坐标可表示为：
其中psi为像素块的中心点坐标；
假设像素点pw处于八叉树中的像素块，则像素块的奇对数更新为：得到如图3所示的八叉树效果图。
以上所述仅为发明的较佳实施例而己，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于RGBD与编码器融合的动态SLAM系统，其特征在于，包括基于RGB-D深度相机和编码器的追踪模块、动态像素剔除模块、稀疏映射模块以及八叉树建图模块；
通过基于RGB-D深度相机和编码器的追踪模块先将RGB-D深度相机中的每一个关键帧提取ORB特征点，然后再将机器人上的编码器数据进行融合，形成追踪局部地图；然后，动态像素剔除模块采用成对链接的点云分割算法将追踪局部地图中属于同一物体或同一物体的不同部分的像素，并对上述像素打上相同的标签，最后，通过对每一个簇进行切片，再对切片进行合并，即可得到最终的分割结果；然后，稀疏映射模块采用滑动窗口来对关键帧进行BA优化，得到当前帧对应的地图点，建立子地图；然后再使用DBow2的词袋模型来进行回环的检测，进行回环优化；最后，八叉树建图模块采用八叉树的结构去存储3D点，形成八叉树建图。
2.根据权利要求1所述的一种基于RGBD与编码器融合的动态SLAM系统，其特征在于，基于RGB-D深度相机和编码器的追踪模块的工作步骤是：
S1.提取ORB特征：运用四叉树算法对角点进行再分布，使角点分布更均匀合理，得到每一帧图像中的特征点；
S2.编码器数据融合：通过假设机器人的实际位姿服从高斯分布，得到机器人从当前帧坐标到关键帧坐标的实际转换矩阵；
S3.追踪局部地图：从S2得到机器人从关键帧坐标到当前帧坐标的转换矩阵，将S1得到的局部地图上的特征点重投影到当前帧上，则可得到3D-2D的特征匹配；将求解位姿的问题转化成最小化重投影误差的问题，从而得到世界坐标与当前帧坐标之间的机器人位姿。
3.根据权利要求1所述的一种基于RGBD与编码器融合的动态SLAM系统，其特征在于，所述的动态像素剔除模块的工作过程是：
S4.基于点云的物体分割：采用了成对链接的点云分割算法给属于同一物体或同一物体的不同部分的像素打上相同的标签，最后，通过对每一个簇进行切片，再对切片进行合并，得到最终的分割结果；
S5.运动一致性检查：令Pi表示关键帧Fi中关键点的归一化坐标，pi为对应的相机坐标；
首先，根据当前帧Fi和前一帧Fi-1的信息，利用Lucas-Kanade光流法，通过图像金字塔在Fi-1找到与Fi中的特征点Pi对应的特征点Pi，然后根据S3步骤中得到的标签信息，找出含有像素点最多的标签(即标记为背景的标签)，记为Pi，移除Pi所属物体的轮廓，然后利用RANSAC算法计算Pi和Pi-1之间的基础矩阵FM；最后计算除上述标签所标记的匹配点对外的所有匹配点对Pi-1距离极线Ii的距离D：
若D大于阈值ε，则判定该特征点为运动的点并删除，否则，该特征点静止，存储。
至此，我们求解了所有特征点的运动性。
4.根据权利要求1所述的一种基于RGBD与编码器融合的动态SLAM系统，其特征在于，所述的稀疏映射模块的工作过程是：
S6.稀疏映射：通过滑动窗口来对关键帧进行BA优化，利用最小化连续Nopt帧关键帧误差函数，得到了当前帧对应的地图点；
S7.回环检测：使用DBow2的词袋模型进行回环的检测，当检测到回环的时候，调用Ceres Solver进行回环优化。
5.根据权利要求1所述的一种基于RGBD与编码器融合的动态SLAM系统，其特征在于，八叉树建图模块的工作过程是：
S8.八叉树子地图建立：采用八叉树建图的方法利用八叉树的结构去存储3D点，将每个像素点用一个概率值来表示该像素是否被占用：
S9.八叉树子地图融合：根据S8步骤得到的子地图的集合表示为则地图中的像素块在世界坐标下的坐标可表示为：
其中psi为像素块的中心点坐标；
假设像素点pw处于八叉树中的像素块，则像素块的奇对数更新为：其中，局部子地图Si，表示子地图坐标转换为世界坐标的转换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910555539.6A CN110458863B (zh) | 2019-06-25 | 2019-06-25 | 一种基于rgbd与编码器融合的动态slam系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910555539.6A CN110458863B (zh) | 2019-06-25 | 2019-06-25 | 一种基于rgbd与编码器融合的动态slam系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458863A true CN110458863A (zh) | 2019-11-15 |
| CN110458863B CN110458863B (zh) | 2023-12-01 |
Family
ID=68480865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910555539.6A Active CN110458863B (zh) | 2019-06-25 | 2019-06-25 | 一种基于rgbd与编码器融合的动态slam系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458863B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956651A (zh) * | 2019-12-16 | 2020-04-03 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
| CN111179344A (zh) * | 2019-12-26 | 2020-05-19 | 广东工业大学 | 一种修复语义信息的高效移动机器人slam系统 |
| CN111724439A (zh) * | 2019-11-29 | 2020-09-29 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN111735446A (zh) * | 2020-07-09 | 2020-10-02 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
| CN111753638A (zh) * | 2020-05-03 | 2020-10-09 | 深圳奥比中光科技有限公司 | 一种基于rgbd图像的行人跟踪方法及系统 |
| CN112037268A (zh) * | 2020-09-02 | 2020-12-04 | 中国科学技术大学 | 一种动态场景下的基于概率传递模型的环境感知方法 |
| CN112200874A (zh) * | 2020-10-30 | 2021-01-08 | 中国科学院自动化研究所 | 狭窄空间的多层次场景重建和快速分割方法、系统及装置 |
| CN112558602A (zh) * | 2020-11-19 | 2021-03-26 | 许昌许继软件技术有限公司 | 基于影像特征的机器人定位的方法 |
| WO2021129071A1 (zh) * | 2019-12-25 | 2021-07-01 | 北京极智嘉科技股份有限公司 | 机器人、定位方法及计算机可读存储介质 |
| CN113872693A (zh) * | 2021-09-29 | 2021-12-31 | 佛山市南海区广工大数控装备协同创新研究院 | 基于关键帧选取的可见光定位与深度相机的紧耦合方法 |
| CN114926536A (zh) * | 2022-07-19 | 2022-08-19 | 合肥工业大学 | 一种基于语义的定位与建图方法、系统及智能机器人 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048353A1 (en) * | 2016-09-09 | 2018-03-15 | Nanyang Technological University | Simultaneous localization and mapping methods and apparatus |
| US20180161986A1 (en) * | 2016-12-12 | 2018-06-14 | The Charles Stark Draper Laboratory, Inc. | System and method for semantic simultaneous localization and mapping of static and dynamic objects |
| CN108230337A (zh) * | 2017-12-31 | 2018-06-29 | 厦门大学 | 一种基于移动端的语义slam系统实现的方法 |
| CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图系统及方法 |
| CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
| CN108776989A (zh) * | 2018-06-08 | 2018-11-09 | 北京航空航天大学 | 基于稀疏slam框架的低纹理平面场景重建方法 |
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
-
2019
- 2019-06-25 CN CN201910555539.6A patent/CN110458863B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048353A1 (en) * | 2016-09-09 | 2018-03-15 | Nanyang Technological University | Simultaneous localization and mapping methods and apparatus |
| US20180161986A1 (en) * | 2016-12-12 | 2018-06-14 | The Charles Stark Draper Laboratory, Inc. | System and method for semantic simultaneous localization and mapping of static and dynamic objects |
| CN108230337A (zh) * | 2017-12-31 | 2018-06-29 | 厦门大学 | 一种基于移动端的语义slam系统实现的方法 |
| CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
| CN108596974A (zh) * | 2018-04-04 | 2018-09-28 | 清华大学 | 动态场景机器人定位建图系统及方法 |
| CN108776989A (zh) * | 2018-06-08 | 2018-11-09 | 北京航空航天大学 | 基于稀疏slam框架的低纹理平面场景重建方法 |
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
Non-Patent Citations (1)
| Title |
|---|
| XUANPENG LI等: "Fast semi-dense 3D semantic mapping with monocular visual SLAM", 《 2017 IEEE 20TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724439A (zh) * | 2019-11-29 | 2020-09-29 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN111724439B (zh) * | 2019-11-29 | 2024-05-17 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN110956651B (zh) * | 2019-12-16 | 2021-02-19 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
| CN110956651A (zh) * | 2019-12-16 | 2020-04-03 | 哈尔滨工业大学 | 一种基于视觉和振动触觉融合的地形语义感知方法 |
| WO2021129071A1 (zh) * | 2019-12-25 | 2021-07-01 | 北京极智嘉科技股份有限公司 | 机器人、定位方法及计算机可读存储介质 |
| CN111179344A (zh) * | 2019-12-26 | 2020-05-19 | 广东工业大学 | 一种修复语义信息的高效移动机器人slam系统 |
| CN111179344B (zh) * | 2019-12-26 | 2023-05-23 | 广东工业大学 | 一种修复语义信息的高效移动机器人slam系统 |
| CN111753638A (zh) * | 2020-05-03 | 2020-10-09 | 深圳奥比中光科技有限公司 | 一种基于rgbd图像的行人跟踪方法及系统 |
| CN111735446B (zh) * | 2020-07-09 | 2020-11-13 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
| CN111735446A (zh) * | 2020-07-09 | 2020-10-02 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
| CN112037268A (zh) * | 2020-09-02 | 2020-12-04 | 中国科学技术大学 | 一种动态场景下的基于概率传递模型的环境感知方法 |
| CN112037268B (zh) * | 2020-09-02 | 2022-09-02 | 中国科学技术大学 | 一种动态场景下的基于概率传递模型的环境感知方法 |
| CN112200874A (zh) * | 2020-10-30 | 2021-01-08 | 中国科学院自动化研究所 | 狭窄空间的多层次场景重建和快速分割方法、系统及装置 |
| CN112200874B (zh) * | 2020-10-30 | 2022-06-21 | 中国科学院自动化研究所 | 狭窄空间的多层次场景重建和快速分割方法、系统及装置 |
| CN112558602A (zh) * | 2020-11-19 | 2021-03-26 | 许昌许继软件技术有限公司 | 基于影像特征的机器人定位的方法 |
| CN113872693A (zh) * | 2021-09-29 | 2021-12-31 | 佛山市南海区广工大数控装备协同创新研究院 | 基于关键帧选取的可见光定位与深度相机的紧耦合方法 |
| CN113872693B (zh) * | 2021-09-29 | 2022-08-23 | 佛山市南海区广工大数控装备协同创新研究院 | 基于关键帧选取的可见光定位与深度相机的紧耦合方法 |
| CN114926536A (zh) * | 2022-07-19 | 2022-08-19 | 合肥工业大学 | 一种基于语义的定位与建图方法、系统及智能机器人 |
| CN114926536B (zh) * | 2022-07-19 | 2022-10-14 | 合肥工业大学 | 一种基于语义的定位与建图方法、系统及智能机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458863B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458863A (zh) | 一种基于rgbd与编码器融合的动态slam系统 | |
| CN114862949B (zh) | 一种基于点线面特征的结构化场景视觉slam方法 | |
| CN108416840B (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
| CN113450408B (zh) | 一种基于深度相机的非规则物体位姿估计方法及装置 | |
| CN103778635B (zh) | 用于处理数据的方法和装置 | |
| CN111145253B (zh) | 一种高效的物体6d姿态估计算法 | |
| CN111179324A (zh) | 基于颜色和深度信息融合的物体六自由度位姿估计方法 | |
| CN110706248A (zh) | 一种基于slam的视觉感知建图算法及移动机器人 | |
| Delmerico et al. | Building facade detection, segmentation, and parameter estimation for mobile robot localization and guidance | |
| CN108597009A (zh) | 一种基于方向角信息进行三维目标检测的方法 | |
| CN112435262A (zh) | 基于语义分割网络和多视图几何的动态环境信息检测方法 | |
| JP2020512646A (ja) | 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム | |
| Jiang et al. | Static-map and dynamic object reconstruction in outdoor scenes using 3-d motion segmentation | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN110570474B (zh) | 一种深度相机的位姿估计方法及系统 | |
| CN106780631A (zh) | 一种基于深度学习的机器人闭环检测方法 | |
| CN112541423A (zh) | 一种同步定位与地图构建方法和系统 | |
| Yu et al. | Accurate and robust visual localization system in large-scale appearance-changing environments | |
| CN107358189A (zh) | 一种基于多视目标提取的室内环境下物体检测方法 | |
| Li et al. | Pallet detection and localization with RGB image and depth data using deep learning techniques | |
| CN112446885A (zh) | 一种动态环境下基于改进的语义光流法的slam方法 | |
| Cai et al. | Deep representation and stereo vision based vehicle detection | |
| Chen et al. | End-to-end multi-view structure-from-motion with hypercorrelation volume | |
| Quang et al. | Some improvements in the RGB-D SLAM system | |
| Li et al. | Visual SLAM in Dynamic Environments Based on Object Detection and Scene Flow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |