CN112509006A - 一种子地图恢复融合方法及装置 - Google Patents
一种子地图恢复融合方法及装置 Download PDFInfo
- Publication number
- CN112509006A CN112509006A CN202011457290.4A CN202011457290A CN112509006A CN 112509006 A CN112509006 A CN 112509006A CN 202011457290 A CN202011457290 A CN 202011457290A CN 112509006 A CN112509006 A CN 112509006A
- Authority
- CN
- China
- Prior art keywords
- map
- image
- feature
- characteristic point
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title description 10
- 238000007500 overflow downdraw method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims description 92
- 239000013598 vector Substances 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 abstract description 5
- 101000664407 Neisseria meningitidis serogroup B (strain MC58) Surface lipoprotein assembly modifier 2 Proteins 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种子地图恢复融合方法及装置,在系统跟踪失败后,用IMU来临时计算相机位姿,并采用IMU算出的相机位姿作为初值建立子地图,子地图在建图过程中,检查与前面地图的匹配并进行融合调整。本发明在系统跟踪失败后,即使无法满足重定位要求,也能继续进行跟踪建图。该方法对场景的依赖较弱,只要初始化成功,就能保存重定位之前的地图信息。
Description
技术领域
本发明涉及视觉同时定位与建图技术领域,更具体地说,涉及一种子地图恢复融合方法及装置。
背景技术
SLAM(simultaneous localization and mapping,同时定位与地图构建)是指移动机器人在未知环境中通过传感器建立环境模型并确定自身位置。视觉惯性融合的SLAM算法已经成为当今研究热点。
现在主流的视觉惯性融合框架是基于非线性优化或滤波的紧耦合SLAM算法,尽管鲁棒性有所提高,但在实际应用中由于环境和运动的复杂性,仍然可能跟踪失败。
因此,如何在SLAM系统跟踪失败后重新跟踪建图,是本领域亟需解决的问题。
发明内容
有鉴于此,为解决上述问题,本发明提供一种子地图恢复融合方法及装置,技术方案如下:
一种子地图恢复融合方法,所述方法包括:
如果检测到系统跟踪失败,建立当前子地图,所述当前子地图对应的时间最早的一帧图像是通过惯性测量单元IMU计算其相机位姿的;
获取建立时间距离所述当前子地图最近的上一子地图,并对所述当前子地图对应的采集时间最早的前N帧第一图像、以及所述上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配;
如果所述第一图像和所述第二图像特征匹配成功,基于特征匹配所得的至少一个第一特征点对求解所述当前子地图与所述上一子地图间的第一相机位姿变换;
基于所述第一相机位姿变换对所述当前子地图和所述上一子地图进行融合。
优选的,所述对所述当前子地图对应的采集时间最早的前N帧第一图像、以及所述上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配,包括:
针对所述第一图像中的第一特征点,通过检索图像字典数据库从所述第二图像的第二特征点中确定词袋向量与该第一特征点相同的第一候选特征点;
从所述第一候选特征点中选取一个描述符相似度最大的第一目标特征点,所述第一目标特征点与该第一特征点组成一个第一特征点对。
优选的,所述方法还包括:
如果所述第一图像和所述第二图像特征匹配失败,对所述当前子地图对应的采集时间最晚的一帧第三图像、以及所述上一子地图对应的各帧第四图像进行特征匹配;
如果所述第三图像和所述第四图像特征匹配成功,通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到所述当前子地图与所述上一子地图间的第二相机位姿变换;
基于所述第二相机位姿变换对所述当前子地图和所述上一子地图进行融合。
优选的,所述对所述当前子地图对应的采集时间最晚的一帧第三图像、以及所述上一子地图对应的各帧第四图像进行特征匹配,包括:
针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述第四图像的第四特征点中确定词袋向量与该第三特征点相同的第二候选特征点;
从具有所述第二候选特征点的第四图像中,筛选所具有的所述第二候选特征点的数量最多的多帧候选图像;
针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述候选图像的第四特征点中确定词袋向量与该第三特征点相同的第三候选特征点;
从所述第三候选特征点中选取一个描述符相似度最大的第二目标特征点,所述第二目标特征点与该第三特征点组成一个第二特征点对。
优选的,所述通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到所述当前子地图与所述上一子地图间的第二相机位姿变换,包括:
按照所述第二特征点对中第二目标特征点所在的候选图像,将所述第二特征点对划分至相应的特征点对组内;
确定待处理的当前特征点对组,从该当前特征点对组中随机选取三个第二特征点对,并通过对所选取的三个第二特征点对进行sim(3)变换,得到所述第三图像与该当前特征点对组对应的候选图像间的候选相机位姿变换;
基于所述候选相机位姿变换对该当前特征点对组内的第二特征点对进行重投影操作,以确定该当前特征点对组内属于内点的第二特征点对;
如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,将所述候选相机位姿变换作为所述当前子地图与所述上一子地图间的第二相机位姿变换;
如果该当前特征点对组内属于内点的第二特征点对的数量小于预设阈值,返回执行所述确定待处理的当前特征点对组的步骤,直到遍历完所有特征点对组时结束。
优选的,所述方法还包括:
如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,基于重投影操作的结果确定该当前特征点对组内属于外点的第二特征点对,并删除;
针对删除外点后的该当前特征点对组,基于所述第二相机位姿变换优化其组内属于内点的第二特征点对,并根据优化结果调整所述第二相机位姿变换。
一种子地图恢复融合装置,所述装置包括:
地图建立模块,用于如果检测到系统跟踪失败,建立当前子地图,所述当前子地图对应的时间最早的一帧图像是通过惯性测量单元IMU计算其相机位姿的;
第一特征匹配模块,用于获取建立时间距离所述当前子地图最近的上一子地图,并对所述当前子地图对应的采集时间最早的前N帧第一图像、以及所述上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配;
第一位姿计算模块,用于如果所述第一图像和所述第二图像特征匹配成功,基于特征匹配所得的至少一个第一特征点对求解所述当前子地图与所述上一子地图间的第一相机位姿变换;
第一地图融合模块,用于基于所述第一相机位姿变换对所述当前子地图和所述上一子地图进行融合。
优选的,所述装置还包括:
第二特征匹配模块,用于如果所述第一图像和所述第二图像特征匹配失败,对所述当前子地图对应的采集时间最晚的一帧第三图像、以及所述上一子地图对应的各帧第四图像进行特征匹配;
第二位姿计算模块,用于如果所述第三图像和所述第四图像特征匹配成功,通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到所述当前子地图与所述上一子地图间的第二相机位姿变换;
第二地图融合模块,用于基于所述第二相机位姿变换对所述当前子地图和所述上一子地图进行融合。
优选的,所述第二特征匹配模块,具体用于:
针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述第四图像的第四特征点中确定词袋向量与该第三特征点相同的第二候选特征点;从具有所述第二候选特征点的第四图像中,筛选所具有的所述第二候选特征点的数量最多的多帧候选图像;针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述候选图像的第四特征点中确定词袋向量与该第三特征点相同的第三候选特征点;从所述第三候选特征点中选取一个描述符相似度最大的第二目标特征点,所述第二目标特征点与该第三特征点组成一个第二特征点对。
优选的,所述第二位姿计算模块,具体用于:
按照所述第二特征点对中第二目标特征点所在的候选图像,将所述第二特征点对划分至相应的特征点对组内;确定待处理的当前特征点对组,从该当前特征点对组中随机选取三个第二特征点对,并通过对所选取的三个第二特征点对进行sim(3)变换,得到所述第三图像与该当前特征点对组对应的候选图像间的候选相机位姿变换;基于所述候选相机位姿变换对该当前特征点对组内的第二特征点对进行重投影操作,以确定该当前特征点对组内属于内点的第二特征点对;如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,将所述候选相机位姿变换作为所述当前子地图与所述上一子地图间的第二相机位姿变换;如果该当前特征点对组内属于内点的第二特征点对的数量小于预设阈值,返回执行所述确定待处理的当前特征点对组的步骤,直到遍历完所有特征点对组时结束。
本发明提供一种子地图恢复融合方法及装置,在系统跟踪失败后,用IMU来临时计算相机位姿,并采用IMU算出的相机位姿作为初值建立子地图,子地图在建图过程中,检查与前面地图的匹配并进行融合调整。本发明在系统跟踪失败后,即使无法满足重定位要求,也能继续进行跟踪建图。该方法对场景的依赖较弱,只要初始化成功,就能保存重定位之前的地图信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的子地图恢复融合方法的方法流程图;
图2为本发明实施例提供的子地图恢复融合方法的另一方法流程图;
图3为本发明实施例提供的子地图恢复融合装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
SLAM技术可应用于许多领域,如自动驾驶、增强和虚拟现实、移动机器人和无人机导航。但是现实世界中的运动往往是比较复杂的,例如相机运动过快时会导致图像运动模糊,在高亮、低亮或者环境纹理特征较少等情况下都会导致视觉SLAM跟踪失败,因此仅仅通过视觉传感器已经无法满足实际应用需求。而惯性传感器能在短时间内的快速运动中提供较好的状态估计,与相机有明显的互补性,并且目前在移动设备中基本都同时具有相机与惯性传感器,视觉惯性融合的SLAM算法已经成为当今研究热点。
现在主流的视觉惯性融合框架是基于非线性优化或滤波的紧耦合SLAM算法。无论是滤波的方案还是优化的方案,尽管都提高了系统的鲁棒性,但是在实际应用中由于环境和运动的复杂性,仍然可能会跟踪失败。
目前采用最多的解决跟踪失败的方案是重定位。比如ORB SLAM2,这是一套基于ORB特征点的SLAM算法,ORB是指一种具有旋转不变性的特征点。在ORB SLAM2中,使用Bagof Word词袋模型,计算每个图像帧的Bow,将词袋与特征点结合对图像进行描述;当视觉跟踪失败后,ORB SLAM2通过当前帧的BoW,与图像数据库中的所有数据进行匹配,查找相似的图像帧。
上述方法只有当相机采集到的图像与已经建立好的地图中的某帧关键帧非常相似时,才能恢复出当前相机的位姿,从而重定位成功。在实际应用中,当系统跟踪失败后,设备必须回到之前能跟踪上的场景中才能重定位成功并继续跟踪建图。但是在许多应用场景中,如无人驾驶汽车和智能无人机需要一直前进时,这种重定位方案并不适合。
针对这个问题,本发明提出一种基于ORB SLAM2的子地图融合算法解决跟踪失败的问题。算法的框架是基于IMU(inertial measurement unit惯性测量单元)紧耦合的ORBSLAM2框架,在系统跟踪失败后,即使无法满足重定位要求,也能继续进行跟踪建图。该方法对场景的依赖较弱,只要初始化成功,就能保存重定位之前的地图信息。
本发明实施例提供一种子地图恢复融合方法,该方法的方法流程图如图1所示,包括如下步骤:
S10,如果检测到系统跟踪失败,建立当前子地图,当前子地图对应的时间最早的一帧图像是通过惯性测量单元IMU计算其相机位姿的。
本发明实施例中,在ORB SLAM2系统跟踪失败后,使用IMU预积分临时计算相机位姿,以此作为建图的基础。
以下对IMU预积分的过程、以及利用预积分临时计算相机位姿的过程进行说明:
采用如下公式(1)、(2)、(3)计算IMU预积分:
其中,i、j是IMU数据的索引;k是图像帧的索引;ΔRij,Δvij,Δpij是IMU的预积分项,分别为预积分的旋转、速度和位移;分别是陀螺仪测量的角速度、加速度计测量的加速度,分别是角速度和加速度的偏移,分别是角速度和加速度的离散时间噪声,Δt是IMU数据的时间间隔。
采用如下公式(4)、(5)、(6)计算相机位姿:
其中,W代表世界坐标系(第一帧相机的坐标系),B代表载体坐标系,分别是位姿(从载体坐标系到世界坐标系)的旋转和位移分量,是第i+1时刻载体在世界坐标系中的速度,是第i+1时刻载体在世界坐标系中的位移,分别是预积分的速度对的雅克比矩阵,分别是预积分的位移对的雅克比矩阵。
ORB SLAM2系统在运行过程中会创建多个地图,每个地图都称为一个子地图。而ORB SLAM2本身是基于视觉进行跟踪,在系统跟踪失败后,本发明实施例在用IMU临时计算相机位姿的同时,会重新建立一个新的子地图,即当前子地图,后续继续基于ORB SLAM2进行视觉跟踪。
S20,获取建立时间距离当前子地图最近的上一子地图,并对当前子地图对应的采集时间最早的前N帧第一图像、以及上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配。
本发明实施例中,对于子地图的匹配,基于当前子地图的前N帧与上一子地图的最后M帧进行快速匹配,N和M的大小关系并不做限定。这种方式可以在系统跟踪失败后快速匹配地图并恢复位姿。
系统初始化成功,对当前子地图的前N帧与上一子地图的最后M帧进行特征点匹配;若匹配上,则可以进行子地图的融合。
需要说明的是,本发明实施例中的图像,都是指关键帧,该关键帧是ORB SLAM2系统中根据时间间隔、帧间匹配点数量等条件所选取的,这样可以避免信息冗余、减少内存占用。
具体实现过程中,步骤S20“对当前子地图对应的采集时间最早的前N帧第一图像、以及上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配”可以采用如下步骤:
针对第一图像中的第一特征点,通过检索图像字典数据库从第二图像的第二特征点中确定词袋向量与该第一特征点相同的第一候选特征点;从第一候选特征点中选取一个描述符相似度最大的第一目标特征点,第一目标特征点与该第一特征点组成一个第一特征点对。
本发明实施例中,图像中存在多个特征点,每个特征点都具有相应的词袋向量,图像中各特征点的词袋向量被记录于图像字典数据库。因此,根据词袋向量,通过函数SearchByBow()对当前子地图的前N帧与上一子地图的最后M帧进行特征点匹配,得到一系列匹配的特征点对。特征点匹配的基本原理,根据第一特征点的词袋向量在图像字典数据库中查找与可能的匹配点,然后计算与所匹配特征点的描述符相似度,得到最佳的匹配点。
S30,如果第一图像和第二图像特征匹配成功,基于特征匹配所得的至少一个第一特征点对求解当前子地图与上一子地图间的第一相机位姿变换。
本发明实施例中,根据步骤S20所获得的至少一个第一特征点对,通过函数PoseOptimization()对相机姿态进行优化求解,进一步求解当前子地图的图像与上一子地图所匹配的图像之间的位姿变换进而将该位姿变换作为当前子地图与上一子地图间的相机位姿变换。
S40,基于第一相机位姿变换对当前子地图和上一子地图进行融合。
本发明实施例中,将当前子地图中的所有图像的相机位姿调整到上一子地图中,采用如下公式(7)计算调整后的相机位姿:
其中,i是当前子地图中图像的索引,w2是当前子地图的世界坐标系,w1是匹配的地图的世界坐标系,cur是指当前图像,matched是指匹配的上一子地图中的图像。是指从坐标系b到坐标系a的SE(3)变换,也就是包括旋转和平移。
将当前子地图中的所有地图点的坐标调整到上一子地图中,两个地图之间3D点的坐标变换采用如下公式(8)表示:
在其他一些实施例中,为提高地图匹配的精度,本发明实施例还可以采用长时运行的基于sim(3)变换的子地图匹配,这种方式可以对地图进行全局优化,提高系统的精度。在图1所示的子地图恢复融合方法的基础上,还可以采用如下步骤,方法流程图如图2所示:
S50,如果第一图像和第二图像特征匹配失败,对当前子地图对应的采集时间最晚的一帧第三图像、以及上一子地图对应的各帧第四图像进行特征匹配。
本发明实施例中,对于子地图的匹配,采用当前子地图的最后一帧与上一子地图的所有帧进行全局匹配,这种方式可以在系统跟踪失败后精确匹配地图并恢复位姿。当然,匹配的方式可以采用词袋向量与描述符相结合的方式进行处理。即,根据第三图像中特征点的词袋向量在图像字典数据库中查找与可能的匹配点,然后计算与所匹配特征点的描述符相似度,得到最佳的匹配点。
具体实现过程中,步骤S50中“对当前子地图对应的采集时间最晚的一帧第三图像、以及上一子地图对应的各帧第四图像进行特征匹配”可以采用如下步骤:
针对第三图像中的第三特征点,通过检索图像字典数据库从第四图像的第四特征点中确定词袋向量与该第三特征点相同的第二候选特征点;从具有第二候选特征点的第四图像中,筛选所具有的第二候选特征点的数量最多的多帧候选图像;针对第三图像中的第三特征点,通过检索图像字典数据库从候选图像的第四特征点中确定词袋向量与该第三特征点相同的第三候选特征点;从第三候选特征点中选取一个描述符相似度最大的第二目标特征点,第二目标特征点与该第三特征点组成一个第二特征点对。
本发明实施例中,根据第三图像中第三特征点的词袋向量,调用ORB SLAM2系统中函数DetectLoopCandidates()接口,检索图像字典数据库,得到上一子地图中与匹配的第四图像,并通过一定的筛选策略对这些匹配的第四图像进行筛选,得到匹配较好的多个候选图像。
进一步,通过函数SearchByBoW()寻找候选图像与第三图像间的ORB特征匹配,特征点匹配的基本原理也是根据第三特征点的词袋向量在图像字典数据库中查找可能的匹配点,然后计算匹配特征点描述符的相似度,得到最佳匹配点。对于每个候选图像都会与第三图像进行特征匹配。
S60,如果第三图像和第四图像特征匹配成功,通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到当前子地图与上一子地图间的第二相机位姿变换。
单目SLAM系统有7个自由度,3个平移,3个旋转,1个尺度因子。本发明实施例中,对于步骤S50得到的至少一个第二特征点对,通过调用函数ComputeSim3()计算第三图像和所匹配的图像之间的平移和旋转。
具体实现过程中,步骤S60“通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到当前子地图与上一子地图间的第二相机位姿变换”可以采用如下步骤:
按照第二特征点对中第二目标特征点所在的候选图像,将第二特征点对划分至相应的特征点对组内;确定待处理的当前特征点对组,从该当前特征点对组中随机选取三个第二特征点对,并通过对所选取的三个第二特征点对进行sim(3)变换,得到第三图像与该当前特征点对组对应的候选图像间的候选相机位姿变换;基于候选相机位姿变换对该当前特征点对组内的第二特征点对进行重投影操作,以确定该当前特征点对组内属于内点的第二特征点对;如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,将候选相机位姿变换作为当前子地图与上一子地图间的第二相机位姿变换;如果该当前特征点对组内属于内点的第二特征点对的数量小于预设阈值,返回执行确定待处理的当前特征点对组的步骤,直到遍历完所有特征点对组时结束。
本发明实施例中,将第二目标特征点位于同一候选图像中的第二特征点对划分到同一特征点对组中,并以特征点对组为维度进行处理。
对于待处理的当前特征点对组,从中随机选取三个第二特征点对,通过sim(3)变换得到两帧图像间的相机位姿变换,即候选相机位姿变换;进一步,将其中一帧所有能够组成第二特征点对的特征点通过该候选相机位姿变换投影到另一帧中,一次是由第三图像投影到第四图像、另一次是由第四图像投影到第三图像,两次投影结束后计算两帧图像间各第二特征点对的重投影误差;如果重投影误差大于等于预设的误差阈值,则相应第二特征点对属于外点,反之,则属于内点。
最后,如果内点的数量大于等于预设阈值,则表示本次计算的候选相机位姿变换有效,反之,则重新选择待处理的当前特征点对组。
当然,对于待处理的当前特征点对组,如果一次计算的候选相机位姿变换无效,还可以重新选择该组中三个第二特征点对,在多次选择所计算的候选相机位姿变换均无效时,再重新选择待处理的当前特征点对组。
在此基础上,为获得更准确的平移和旋转,本发明实施例还可以采用如下步骤:
如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,基于重投影操作的结果确定该当前特征点对组内属于外点的第二特征点对,并删除;针对删除外点后的该当前特征点对组,基于第二相机位姿变换优化其组内属于内点的第二特征点对,并根据优化结果调整第二相机位姿变换。
本发明实施例中,基于所获得的各第二特征点对的重投影误差,将小于预设的误差阈值的第二特征点对作为外点,并剔除该异常点。而当通过sim(3)变换一个初始的平移和旋转之后,还可以调用函数SearchBySim3()来寻找更多的特征匹配的第二特征点对,进而利用重投影误差构造sim(3)优化问题,通过函数Optimizer::OptimizeSim3()优化,得到更准确的平移和旋转。这就可以得到当前子地图的第三图像与上一子地图所匹配的第四图像之间的位姿变换进而将该位姿变换作为当前子地图与上一子地图间的相机位姿变换,这是一个sim(3)变换矩阵。
S70,基于第二相机位姿变换对当前子地图和上一子地图进行融合。
本发明实施例中,基于第二相机位姿变换进行地图融合的过程,可以参见步骤S40基于第一相机位姿变化进行地图融合的公开内容,在此不再赘述。
最后,本发明实施例中还可以调用一次函数RunGlobalBundleAdjustment()做一次地图的全局优化。
本发明实施例提供的子地图恢复融合方法,在系统跟踪失败后,即使无法满足重定位要求,也能继续进行跟踪建图。该方法对场景的依赖较弱,只要初始化成功,就能保存重定位之前的地图信息。
基于上述实施例提供的子地图恢复融合方法,本发明实施例还提供一种执行上述子地图恢复融合方法的装置,该装置的结构示意图如图3所示,包括:
地图建立模块10,用于如果检测到系统跟踪失败,建立当前子地图,当前子地图对应的时间最早的一帧图像是通过惯性测量单元IMU计算其相机位姿的;
第一特征匹配模块20,用于获取建立时间距离当前子地图最近的上一子地图,并对当前子地图对应的采集时间最早的前N帧第一图像、以及上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配;
第一位姿计算模块30,用于如果第一图像和第二图像特征匹配成功,基于特征匹配所得的至少一个第一特征点对求解当前子地图与上一子地图间的第一相机位姿变换;
第一地图融合模块40,用于基于第一相机位姿变换对当前子地图和上一子地图进行融合。
可选的,第一特征匹配模块20,具体用于:
针对第一图像中的第一特征点,通过检索图像字典数据库从第二图像的第二特征点中确定词袋向量与该第一特征点相同的第一候选特征点;从第一候选特征点中选取一个描述符相似度最大的第一目标特征点,第一目标特征点与该第一特征点组成一个第一特征点对。
可选的,上述装置还包括:
第二特征匹配模块,用于如果第一图像和第二图像特征匹配失败,对当前子地图对应的采集时间最晚的一帧第三图像、以及上一子地图对应的各帧第四图像进行特征匹配;
第二位姿计算模块,用于如果第三图像和第四图像特征匹配成功,通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到当前子地图与上一子地图间的第二相机位姿变换;
第二地图融合模块,用于基于第二相机位姿变换对当前子地图和上一子地图进行融合。
可选的,第二特征匹配模块,具体用于:
针对第三图像中的第三特征点,通过检索图像字典数据库从第四图像的第四特征点中确定词袋向量与该第三特征点相同的第二候选特征点;从具有第二候选特征点的第四图像中,筛选所具有的第二候选特征点的数量最多的多帧候选图像;针对第三图像中的第三特征点,通过检索图像字典数据库从候选图像的第四特征点中确定词袋向量与该第三特征点相同的第三候选特征点;从第三候选特征点中选取一个描述符相似度最大的第二目标特征点,第二目标特征点与该第三特征点组成一个第二特征点对。
可选的,第二位姿计算模块,具体用于:
按照第二特征点对中第二目标特征点所在的候选图像,将第二特征点对划分至相应的特征点对组内;确定待处理的当前特征点对组,从该当前特征点对组中随机选取三个第二特征点对,并通过对所选取的三个第二特征点对进行sim(3)变换,得到第三图像与该当前特征点对组对应的候选图像间的候选相机位姿变换;基于候选相机位姿变换对该当前特征点对组内的第二特征点对进行重投影操作,以确定该当前特征点对组内属于内点的第二特征点对;如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,将候选相机位姿变换作为当前子地图与上一子地图间的第二相机位姿变换;如果该当前特征点对组内属于内点的第二特征点对的数量小于预设阈值,返回执行确定待处理的当前特征点对组的步骤,直到遍历完所有特征点对组时结束。
可选的,第二位姿计算模块,还用于:
如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,基于重投影操作的结果确定该当前特征点对组内属于外点的第二特征点对,并删除;针对删除外点后的该当前特征点对组,基于第二相机位姿变换优化其组内属于内点的第二特征点对,并根据优化结果调整第二相机位姿变换。
本发明实施例提供的子地图恢复融合装置,在系统跟踪失败后,即使无法满足重定位要求,也能继续进行跟踪建图。该方法对场景的依赖较弱,只要初始化成功,就能保存重定位之前的地图信息。
以上对本发明所提供的一种子地图恢复融合方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素,或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种子地图恢复融合方法,其特征在于,所述方法包括:
如果检测到系统跟踪失败,建立当前子地图,所述当前子地图对应的时间最早的一帧图像是通过惯性测量单元IMU计算其相机位姿的;
获取建立时间距离所述当前子地图最近的上一子地图,并对所述当前子地图对应的采集时间最早的前N帧第一图像、以及所述上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配;
如果所述第一图像和所述第二图像特征匹配成功,基于特征匹配所得的至少一个第一特征点对求解所述当前子地图与所述上一子地图间的第一相机位姿变换;
基于所述第一相机位姿变换对所述当前子地图和所述上一子地图进行融合。
2.根据权利要求1所述的方法,其特征在于,所述对所述当前子地图对应的采集时间最早的前N帧第一图像、以及所述上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配,包括:
针对所述第一图像中的第一特征点,通过检索图像字典数据库从所述第二图像的第二特征点中确定词袋向量与该第一特征点相同的第一候选特征点;
从所述第一候选特征点中选取一个描述符相似度最大的第一目标特征点,所述第一目标特征点与该第一特征点组成一个第一特征点对。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述第一图像和所述第二图像特征匹配失败,对所述当前子地图对应的采集时间最晚的一帧第三图像、以及所述上一子地图对应的各帧第四图像进行特征匹配;
如果所述第三图像和所述第四图像特征匹配成功,通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到所述当前子地图与所述上一子地图间的第二相机位姿变换;
基于所述第二相机位姿变换对所述当前子地图和所述上一子地图进行融合。
4.根据权利要求3所述的方法,其特征在于,所述对所述当前子地图对应的采集时间最晚的一帧第三图像、以及所述上一子地图对应的各帧第四图像进行特征匹配,包括:
针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述第四图像的第四特征点中确定词袋向量与该第三特征点相同的第二候选特征点;
从具有所述第二候选特征点的第四图像中,筛选所具有的所述第二候选特征点的数量最多的多帧候选图像;
针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述候选图像的第四特征点中确定词袋向量与该第三特征点相同的第三候选特征点;
从所述第三候选特征点中选取一个描述符相似度最大的第二目标特征点,所述第二目标特征点与该第三特征点组成一个第二特征点对。
5.根据权利要求3所述的方法,其特征在于,所述通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到所述当前子地图与所述上一子地图间的第二相机位姿变换,包括:
按照所述第二特征点对中第二目标特征点所在的候选图像,将所述第二特征点对划分至相应的特征点对组内;
确定待处理的当前特征点对组,从该当前特征点对组中随机选取三个第二特征点对,并通过对所选取的三个第二特征点对进行sim(3)变换,得到所述第三图像与该当前特征点对组对应的候选图像间的候选相机位姿变换;
基于所述候选相机位姿变换对该当前特征点对组内的第二特征点对进行重投影操作,以确定该当前特征点对组内属于内点的第二特征点对;
如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,将所述候选相机位姿变换作为所述当前子地图与所述上一子地图间的第二相机位姿变换;
如果该当前特征点对组内属于内点的第二特征点对的数量小于预设阈值,返回执行所述确定待处理的当前特征点对组的步骤,直到遍历完所有特征点对组时结束。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,基于重投影操作的结果确定该当前特征点对组内属于外点的第二特征点对,并删除;
针对删除外点后的该当前特征点对组,基于所述第二相机位姿变换优化其组内属于内点的第二特征点对,并根据优化结果调整所述第二相机位姿变换。
7.一种子地图恢复融合装置,其特征在于,所述装置包括:
地图建立模块,用于如果检测到系统跟踪失败,建立当前子地图,所述当前子地图对应的时间最早的一帧图像是通过惯性测量单元IMU计算其相机位姿的;
第一特征匹配模块,用于获取建立时间距离所述当前子地图最近的上一子地图,并对所述当前子地图对应的采集时间最早的前N帧第一图像、以及所述上一子地图对应的采集时间最晚的前M帧第二图像进行特征匹配;
第一位姿计算模块,用于如果所述第一图像和所述第二图像特征匹配成功,基于特征匹配所得的至少一个第一特征点对求解所述当前子地图与所述上一子地图间的第一相机位姿变换;
第一地图融合模块,用于基于所述第一相机位姿变换对所述当前子地图和所述上一子地图进行融合。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二特征匹配模块,用于如果所述第一图像和所述第二图像特征匹配失败,对所述当前子地图对应的采集时间最晚的一帧第三图像、以及所述上一子地图对应的各帧第四图像进行特征匹配;
第二位姿计算模块,用于如果所述第三图像和所述第四图像特征匹配成功,通过对特征匹配所得到的至少一个第二特征点对进行sim(3)变换得到所述当前子地图与所述上一子地图间的第二相机位姿变换;
第二地图融合模块,用于基于所述第二相机位姿变换对所述当前子地图和所述上一子地图进行融合。
9.根据权利要求8所述的装置,其特征在于,所述第二特征匹配模块,具体用于:
针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述第四图像的第四特征点中确定词袋向量与该第三特征点相同的第二候选特征点;从具有所述第二候选特征点的第四图像中,筛选所具有的所述第二候选特征点的数量最多的多帧候选图像;针对所述第三图像中的第三特征点,通过检索图像字典数据库从所述候选图像的第四特征点中确定词袋向量与该第三特征点相同的第三候选特征点;从所述第三候选特征点中选取一个描述符相似度最大的第二目标特征点,所述第二目标特征点与该第三特征点组成一个第二特征点对。
10.根据权利要求9所述的装置,其特征在于,所述第二位姿计算模块,具体用于:
按照所述第二特征点对中第二目标特征点所在的候选图像,将所述第二特征点对划分至相应的特征点对组内;确定待处理的当前特征点对组,从该当前特征点对组中随机选取三个第二特征点对,并通过对所选取的三个第二特征点对进行sim(3)变换,得到所述第三图像与该当前特征点对组对应的候选图像间的候选相机位姿变换;基于所述候选相机位姿变换对该当前特征点对组内的第二特征点对进行重投影操作,以确定该当前特征点对组内属于内点的第二特征点对;如果该当前特征点对组内属于内点的第二特征点对的数量大于等于预设阈值,将所述候选相机位姿变换作为所述当前子地图与所述上一子地图间的第二相机位姿变换;如果该当前特征点对组内属于内点的第二特征点对的数量小于预设阈值,返回执行所述确定待处理的当前特征点对组的步骤,直到遍历完所有特征点对组时结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011457290.4A CN112509006A (zh) | 2020-12-11 | 2020-12-11 | 一种子地图恢复融合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011457290.4A CN112509006A (zh) | 2020-12-11 | 2020-12-11 | 一种子地图恢复融合方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112509006A true CN112509006A (zh) | 2021-03-16 |
Family
ID=74973665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011457290.4A Pending CN112509006A (zh) | 2020-12-11 | 2020-12-11 | 一种子地图恢复融合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112509006A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113238557A (zh) * | 2021-05-17 | 2021-08-10 | 珠海市一微半导体有限公司 | 一种建图异常的识别及恢复方法、芯片和移动机器人 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180053056A1 (en) * | 2016-08-22 | 2018-02-22 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
CN109465832A (zh) * | 2018-12-18 | 2019-03-15 | 哈尔滨工业大学(深圳) | 高精度视觉和imu紧融合定位方法与系统 |
CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
CN110533587A (zh) * | 2019-07-03 | 2019-12-03 | 浙江工业大学 | 一种基于视觉先验信息和地图恢复的slam方法 |
CN110866497A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于点线特征融合的机器人定位与建图方法和装置 |
CN110967009A (zh) * | 2019-11-27 | 2020-04-07 | 云南电网有限责任公司电力科学研究院 | 变电站巡检机器人导航定位与地图构建方法及装置 |
US20200109954A1 (en) * | 2017-06-30 | 2020-04-09 | SZ DJI Technology Co., Ltd. | Map generation systems and methods |
CN111583136A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种救援场景下自主移动平台同时定位与建图方法 |
-
2020
- 2020-12-11 CN CN202011457290.4A patent/CN112509006A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180053056A1 (en) * | 2016-08-22 | 2018-02-22 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
US20200109954A1 (en) * | 2017-06-30 | 2020-04-09 | SZ DJI Technology Co., Ltd. | Map generation systems and methods |
CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
CN109465832A (zh) * | 2018-12-18 | 2019-03-15 | 哈尔滨工业大学(深圳) | 高精度视觉和imu紧融合定位方法与系统 |
CN110533587A (zh) * | 2019-07-03 | 2019-12-03 | 浙江工业大学 | 一种基于视觉先验信息和地图恢复的slam方法 |
CN110866497A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于点线特征融合的机器人定位与建图方法和装置 |
CN110967009A (zh) * | 2019-11-27 | 2020-04-07 | 云南电网有限责任公司电力科学研究院 | 变电站巡检机器人导航定位与地图构建方法及装置 |
CN111583136A (zh) * | 2020-04-25 | 2020-08-25 | 华南理工大学 | 一种救援场景下自主移动平台同时定位与建图方法 |
Non-Patent Citations (6)
Title |
---|
CHENG YUAN 等: "A Novel Fault-Tolerant Navigation and Positioning Method with Stereo-Camera/Micro Electro Mechanical Systems Inertial Measurement Unit (MEMS-IMU) in Hostile Environment", 《MICROMACHINES》, vol. 9, no. 12, 27 November 2018 (2018-11-27), pages 1 - 19 * |
MARY B. ALATISE 等: "Pose Estimation of a Mobile Robot Based on Fusion of IMU Data and Vision Data Using and Extended Kalman Filter", 《SENSORS》, vol. 17, no. 10, 21 September 2017 (2017-09-21), pages 1 - 22 * |
向良华: "室外环境下视觉与惯导融合定位算法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2019, 15 January 2019 (2019-01-15), pages 140 - 1526 * |
张玉龙: "基于关键帧的视觉惯性SLAM算法", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2019, 15 April 2019 (2019-04-15), pages 140 - 293 * |
许峰: "基于单目视觉的多传感器组合导航算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2019, 15 February 2019 (2019-02-15), pages 140 - 664 * |
陈常: "基于视觉和惯导融合的巡检机器人定位与建图技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2019, 15 September 2019 (2019-09-15), pages 138 - 651 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113238557A (zh) * | 2021-05-17 | 2021-08-10 | 珠海市一微半导体有限公司 | 一种建图异常的识别及恢复方法、芯片和移动机器人 |
CN113238557B (zh) * | 2021-05-17 | 2024-05-07 | 珠海一微半导体股份有限公司 | 一种建图异常的识别及恢复方法、计算机可读存储介质和移动机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
CN110411441B (zh) | 用于多模态映射和定位的系统和方法 | |
CN110490900B (zh) | 动态环境下的双目视觉定位方法及系统 | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Rambach et al. | Learning to fuse: A deep learning approach to visual-inertial camera pose estimation | |
WO2017163596A1 (en) | Autonomous navigation using visual odometry | |
CN114623817B (zh) | 基于关键帧滑窗滤波的含自标定的视觉惯性里程计方法 | |
CN112219087A (zh) | 位姿预测方法、地图构建方法、可移动平台及存储介质 | |
CN107735797B (zh) | 用于确定第一坐标系与第二坐标系之间的运动的方法 | |
CN111274847B (zh) | 一种定位方法 | |
CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
CN111882602B (zh) | 基于orb特征点和gms匹配过滤器的视觉里程计实现方法 | |
CN111540011A (zh) | 基于混合度量-拓扑相机的定位 | |
CN116295412A (zh) | 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法 | |
CN114485640A (zh) | 基于点线特征的单目视觉惯性同步定位与建图方法及系统 | |
CN110827353A (zh) | 一种基于单目摄像头辅助的机器人定位方法 | |
CN112731503B (zh) | 一种基于前端紧耦合的位姿估计方法及系统 | |
CN117152249A (zh) | 基于语义一致性的多无人机协同建图与感知方法及系统 | |
CN116380079A (zh) | 一种融合前视声呐与orb-slam3的水下slam方法 | |
CN113012224A (zh) | 定位初始化方法和相关装置、设备、存储介质 | |
Hu et al. | Multiple maps for the feature-based monocular SLAM system | |
CN112509006A (zh) | 一种子地图恢复融合方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |