CN109509230A - 一种应用于多镜头组合式全景相机的slam方法 - Google Patents
一种应用于多镜头组合式全景相机的slam方法 Download PDFInfo
- Publication number
- CN109509230A CN109509230A CN201811346301.4A CN201811346301A CN109509230A CN 109509230 A CN109509230 A CN 109509230A CN 201811346301 A CN201811346301 A CN 201811346301A CN 109509230 A CN109509230 A CN 109509230A
- Authority
- CN
- China
- Prior art keywords
- frame
- point
- map
- pose
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 11
- 241000251468 Actinopterygii Species 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 125000006850 spacer group Chemical group 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 241000255749 Coccinellidae Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明提出一种应用于多镜头组合式全景相机的SLAM方法，很好地实现了车载多镜头组合式全景相机的自动定位与地图构建功能，达到0.1m级的高定位精度而无需借助昂贵的GPS/IMU组合导航系统。本发明方法先对多镜头组合设备进行相机检校，然后建立一个并行的三线程，其中位姿跟踪线程主要完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；稀疏地图构建线程主要负责根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；闭环纠正线程主要负责探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。
Description
技术领域
本发明涉及一种应用于多镜头组合式全景相机的SLAM方法，属于摄影测量与遥感，计算机视觉，机器人等领域。
背景技术
随着传感器、自动化和平台技术的发展，利用平台上安置的光学或距离传感器，同时实现自我定位与环境感知的智能系统成为摄影测量、计算机视觉和机器人学的新型研究方向；并在移动测图系统、无人驾驶汽车、火星和月球的深空探测、无人机侦察、室内导航等领域发挥着关键的作用。若以光学传感器为主要信息获取源，这种系统通常称为基于视觉的自动定位与地图构建(Simultaneous Localization And Mapping,SLAM)。主流的视觉SLAM系统有两种分类模式。一类按照所采用的传感器划分。包括单目SLAM(Mono-SLAM)、双目SLAM(Stereo-SLAM)和4D相机SLAM(RGBD-SLAM)。另一类按照所采用的方法划分，主流是基于点特征的SLAM(feature-based SLAM)和基于图像自身的SLAM(Direct SLAM)。成熟的、具代表性的SLAM系统如：基于特征点的ORB-SLAM，直接法的LSD-SLAM，将特征点法与直接法混用的SVO、SVO2.0以及RBG-D SLAM的代表作RTAB-MAP，等等。这些主流SLAM架构采用传统框幅式的相机或摄像机作为视觉信息获取装备。单目SLAM视场狭窄，尺度估计受累积误差的影响，较依赖于闭环条件。双目SLAM虽然克服了尺度漂移，但是视差狭窄依然没有改变。若局部成像区域信息较少(即提取其他特征较少)，或者出现较大的视角变化，则会引起跟踪频繁丢失。这也是SLAM技术尚未广泛应用于测绘行业的地面移动测图系统(mobilemapping system,MMS)的关键因素。大视场成像设备，如鱼眼镜头和全景镜头，理论上能够克服视场狭窄的问题。全景视觉成像具有360°全视角成像的优势，已经在测绘、机器人、计算机视觉等相关领域中逐步得到应用，如用于城市测图、视频监控、交通监督、虚拟现实、机器人导航、场景重建等。装载于移动测图系统或普通汽车上的全景成像装置通常只被用于街景收集，如谷歌和百度的街景图像，无法实现量测功能；基于全景视觉的几何定位和SLAM也有过很少量的研究，然而，目前尚缺少一套完整的、自动化的解决方案。
发明内容
本发明的目的就在于克服上述现有技术的不足而提供一种适用于多镜头组合式全景相机的SLAM系统，重点考虑将SLAM技术应用于多镜头组合设备所拍摄的全景影像序列，使其能够完成对全景相机在运动过程中拍摄图像时的定位与稀疏地图的构建。
实现本发明目的采用的技术方案是：事先对多镜头组合设备进行相机检校，然后建立一个三线程并行运行的系统，三线程分别负责全景图像位姿跟踪，稀疏地图构建以及闭环纠正。位姿跟踪线程主要完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；稀疏地图构建线程主要负责根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；闭环纠正线程主要负责探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。
以上三个并行线程的具体实现步骤如下，
线程1具体包括如下步骤，
步骤1.1，采用三帧图像进行初始化，获取初始位姿及初始地图点，同时建立局部地图与全局地图；
步骤1.2，采用恒速模型跟踪下一帧地图点，即3D地图点到2D图像的匹配，匹配失败则执行步骤1.3；
步骤1.3，采用视觉词袋的方法进行3D地图点到2D图像的匹配，当匹配点数满足一定条件时执行步骤1.4；
步骤1.4，采用多视匹配获取当前帧位姿初值并用于匹配，当匹配点数满足一定条件时执行步骤1.5；
步骤1.5，当步骤1.2～步骤1.4中的匹配都失败时，进行重定位；
步骤1.6，步骤1.2～步骤1.5中任意一步成功即得到当前帧的位姿的初始值，并利用该值，将局部地图点全部投影至当前帧进行匹配，匹配完成后进行局部光束法平差，统计内点数，若大于内点数阈值a则判定为跟踪成功，若小于内点数阈值a判定为跟踪失败，等待系统传入下一帧，并直接执行步骤1.5；
步骤1.7，正确跟踪当前帧之后，判断当前帧是否作为关键帧；
线程2具体包括如下步骤；
步骤2.1，更新关键帧与地图点的连接关系，找出与其具有一定共视点数的关键帧作为共视关键帧；
步骤2.2，三角化地图点；
步骤2.3，将地图点插入步骤1.1中已构建的局部地图与全局地图；
步骤2.4，调用G2O的库建立优化图，并进行局部光束法平差；
步骤2.5，剔除误匹配点与冗余关键帧；
步骤2.6，再次执行步骤2.4；
步骤2.7，更新关键帧与地图点的连接关系，更新局部地图与全局地图；
线程3具体包括如下步骤，
步骤3.1，计算当前关键帧的BoW向量，用于表示当前帧的场景信息；
步骤3.2，选取与当前关键帧相连性最好的n1个关键帧，计算与他们的BoW相似性；
步骤3.3，选取步骤3.2中所计算的相似性的最小值minScore，设定判别阈值为n2*minScore；
步骤3.4，搜索与当前关键帧及其相连关键帧之外的关键帧，逐一计算BoW相似性，相似性大于阈值的设为第一候选关键帧；
步骤3.5，逐一计算当前帧与第一候选关键帧相连性最好的n3个关键帧的相似性，累加相似性计算累计得分AccumScore，将n4*AccumScore作为阈值；
步骤3.6，选取累计得分大于阈值的关键帧作为第二候选关键帧。
步骤3.7，连续性检验：将第二候选关键帧及其相连关键帧设为候选组，认为孤立的候选组具有很强的不确定性，因此检测候选组的连续性，若有n5个及以上候选组相连且与当前帧的相连关键帧同样构成候选关系，则认为此候选组通过连续性检验，否则删除该候选组；
步骤3.8，通过连续性检验的候选组中匹配点数最多的帧即视为闭环关键帧；
步骤3.9，依次与当前关键帧使用BoW搜索匹配特征点，若匹配点数小于n6则剔除此闭环关键帧，继续下一帧的匹配；匹配成功后，计算闭环帧到当前帧的相似变换群，即sim(3)变换，得到了闭环关键帧与当前帧的转换关系S，通过转化关系再次搜索匹配点并使用局部光束法平差优化S。
进一步的，所述相机检校采用一种适合于鱼眼相机的高精度模型完成，具体检校模型为，
其中，Xd＝(xd yd)T是鱼眼相机坐标，Xr＝(xr yr)T是鱼眼相机纠正后坐标，θ和分别是天顶角和水平角，k1，k2，A1，A2，A3，C1，C2为多项式系数，f为镜头焦距，λ为比例系数。与为Kannala提出的通用相机检校模型的多项式；
检校具体步骤为，首先获取均匀分布在图像上的一系列纠正前与纠正后的点坐标；其次带入模型求解模型参数：k1，k2，A1，A2，A3，C1，C2，λ以及与的多项式系数；最后通过模型纠正鱼眼图像上任意像素。
进一步的，步骤1.1中采用三帧图像进行初始化的具体实现方式如下，
确定第一帧为参考帧，提取ORB特征点，等待系统连续传入两帧，进行第1帧与第2帧，第2帧与第3帧的特征匹配，然后结合RANSAC剔除误匹配点，保留3帧共视点，计算1-2帧和2-3帧的本质矩阵E；对1-2、2-3、1-3帧组合分别进行三角化，则每个地图点得到三个值，若这三个值中有任意一个值为无穷大或三个值之间的两两差值大于0.08m，则剔除此地图点，否则认为此地图点三角化成功；若成功三角化的点数量大于正确匹配点数量的75％，则G2O进行优化；若优化后内点数量大于30个则视为初始化成功，否则判定为失败，等待系统新传入两帧图像进行初始化。
进一步的，步骤1.2的具体实现方式如下，
利用恒速模型估计当前相机位姿的初始值，将上一帧观察到的地图点投影到当前帧的全景球面上，然后，根据球面特征点坐标与鱼眼相机的外方位元素，判断该点所在的鱼眼相机编号，最后根据如下所示的模型：
x′＝mRiKi(x)+Ti
x′2+y′2+z′2＝r2
投射到鱼眼图像上设定搜索窗口进行特征匹配，上述模型中x′＝(x′ y′ z′)T为特征点的球面坐标，[Ri|Ti]为第i个鱼眼相机相对于相机坐标系的位姿，Ki为第i个鱼眼相机的内参矩阵，r为人为设置的球面半径，同时计算地图点到全景球面的距离；
假定当前恒速模型的水平旋转角度绝对值为θ，预先人工设置地图点到相机中心距离的最大值dmax与最小值dmin，通过两点间的距离公式可计算出地图点到相机中心距离为d，则窗口大小W自适应地设为：
确定搜索窗口后，在窗口内搜索同名特征点，这里的匹配阈值设置为：最邻近次临近之比大于0.7且描述子距离小于70，对所有地图点进行逐个匹配，若匹配数大于20则认为匹配成功并结束当前帧的跟踪，传入下一帧进行跟踪，否则进入步骤1.3。
进一步的，步骤1.3的具体实现方式如下，
在当前帧与上一帧的特征点间进行匹配，若匹配点数小于10则进入步骤1.4，若匹配点数在10～25之间，则扩大搜索范围，匹配从当前帧直到上一个关键帧所观察到的所有地图特征点；若匹配点数大于等于25，设上一帧的位姿为当前帧的位姿，执行位姿优化，统计优化后的内点个数，若小于15，进入步骤1.4；否则判定为匹配成功，返回位姿，传入下一帧图像循环执行步骤1.2～步骤1.7。
进一步的，步骤1.4的具体实现方式如下，
使用当前帧与前两帧的所有特征点进行匹配，并提取三度重叠点，计算当前帧与前一帧的E矩阵，SVD分解后得到位姿初值，使用该初值将前一帧地图点投影到当前帧，并进行匹配，其中搜索窗口大小设置方式与1.2中的W一致。
进一步的，步骤1.7中当满足以下五项条件的任意一项时，则将此帧确定为关键帧，
①超过8帧未插入关键帧，则确定当前帧为关键帧；
②当前帧新插入的地图点大于其跟踪到的地图点的1.7倍；
③当前帧跟踪到的地图点数小于上一帧跟踪到的点数的85％且局部地图构建线程空闲；
④当前帧跟踪到的地图点数小于上一帧跟踪到的50％，中断局部建图并插入关键帧；
⑤局部地图构建的线程空闲。
进一步的，步骤2.1中根据全景相机的特殊情形，设定共视关键帧必须同时满足：(1)与当前关键帧的共视点数>＝50个；(2)与当前关键帧在图像序列中的间隔关键帧不超过40个；(3)其与当前关键帧的共视点在两帧所在金字塔层数差异>2的特征点数不超过总共视点数的85％。
进一步的，步骤3.9中若局部光束法平差优化后的匹配点内点数大于n7，则可认为此帧与当前帧位于相近的位置，设其为相连，根据相连关系与S将地图点投影到当前帧并与当前帧进行匹配，若匹配数量>n8则视为匹配成功，不再对之后的闭环候选帧进行计算；此时，调整当前帧及其相连关键帧的位姿与地图点，更新关键帧链接关系并传递调整位姿，构建Essential Graph进行全局位姿优化并调整相应地图点，最后执行全局光束法平差。
与现有技术相比，本发明有如下优点和有益效果：
1)使得当前的主流的基于特征点的SLAM算法能够应用于多镜头组合式的全景相机；
2)在全景图像上的SLAM系统相比于单目相机，双目或RGB-D相机的SLAM系统具有更好的视场角，从而具有更好的稳定性；
3)此系统能应用于高分辨率的移动测图系统中，在车载摄影测图系统中有望具有广泛的应用。
附图说明
下面结合附图和具体实施方式对本发明作进一步的说明。
图1为本发明实施例的流程图。
图2为本发明调用G2O优化库构建的优化图；其中(a)为位姿优化图；(b)构建的是局部图优化；(c)为Essential Graph；(d)为全图优化，即全局光束法平差；三角形代表位姿节点，圆点代表地图点节点，黑色与浅灰色为图的边，代表目标函数的误差项，其中黑色为位姿之间的误差项，浅灰色代表地图点与位姿之间的误差项。
图3为鱼眼相机拍摄的图像(上面一排)与其纠正后的图像(下面一排)。
图4为系统初始化中三帧同时匹配的结果。
图5为车载LADYBUG-5相机于天津彩虹花园小区连续拍摄的图像序列使用本发明进行定位与构图的结果总览。
图6为试验验证中总共6套数据的定位结果。
具体实施方式
本发明方法的具体作业流程如附图1所示，系统由三个并行线程构成，分别负责全景图像位姿跟踪，稀疏地图构建以及闭环纠正。位姿跟踪线程主要完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；稀疏地图构建线程主要负责根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；闭环纠正线程主要负责探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。
位姿跟踪线程的具体流程如下：
线程1位姿跟踪，具体步骤为：
1.1：系统初始化，初始化的目的为启动系统并计算获取初始位姿，同时在系统中建立局部地图与全局地图。首先，鱼眼相机变形较大，匹配难度高，误匹配数量大，因此采用三帧而非两帧进行初始化。确定第一帧为参考帧，提取ORB特征点，等待系统连续传入两帧，进行第1帧与第2帧，第2帧与第3帧的特征匹配，然后结合RANSAC剔除误匹配点，保留3帧共视点，计算1-2帧和2-3帧的本质矩阵E，本质矩阵E的计算方法参考了Richard Hartley于2008年出版的计算机视觉教材《Multiple View Geometry in Computer Vision》，1-2、2-3、1-3帧组合分别进行三角化，则每个地图点会得到三个值，若这三个值中有任意一个值为无穷大或三个值之间的两两差值大于0.08m，则剔除此地图点，否则认为此地图点三角化成功。若成功三角化的点数量大于正确匹配点数量的75％，则调用由Rainer Kuemmerle所发布的开源优化库G2O进行优化(即摄影测量领域的光束法平差)。若优化后内点(匹配正确的点称为内点，匹配错误的点称为外点)数量大于30个则视为初始化成功，否则判定为失败，等待系统新传入两帧图像进行初始化。
1.2：采用恒速模型(即当前帧速度与上一帧速度保持不变)跟踪上一帧的地图点。首先，利用恒速模型估计当前相机位姿的初始值，将上一帧观察到的地图点投影到当前帧的全景球面上。然后，根据球面特征点坐标与鱼眼相机的外方位元素，判断该点所在的鱼眼相机编号。最后根据如下所示的模型：
x′＝mRiKi(x)+Ti
x′2+y′2+z′2＝r2
投射到鱼眼图像上设定搜索窗口进行特征匹配，上述模型中x′＝(x′ y′ z′)T为特征点的球面坐标，[Ri|Ti]为第i个鱼眼相机相对于相机坐标系的位姿，Ki为第i个鱼眼相机的内参矩阵，r为人为设置的球面半径，同时计算地图点到全景球面的距离。假定当前恒速模型的水平旋转角度绝对值为θ，预先人工设置地图点到相机中心距离的最大值dmax与最小值dmin，通过两点间的距离公式可计算出地图点到相机中心距离为d，则窗口大小W自适应地设为：
确定搜索窗口后，在窗口内搜索同名特征点。这里的匹配阈值设置为：最邻近次临近之比大于0.7且描述子距离小于70。对所有地图点进行逐个匹配，若匹配数大于20则认为匹配成功并结束跟踪步骤功(即结束当前帧的跟踪，传入下一帧图像进行跟踪，即传入下一帧后循环1.2～1.7步骤)。否则进入步骤1.3。
1.3：在步骤1.2，即3D地图点到2D图像的匹配失败时执行。采用图像到图像匹配策略，方法是视觉词袋(Bag-of-words,BoW)技术。在当前帧与上一帧的特征点间进行匹配，若匹配点数小于10则进入步骤1.4。若匹配点数在10～25之间，则扩大搜索范围，匹配从当前帧直到上一个关键帧所观察到的所有地图特征点。若匹配点数大于等于25，设上一帧的位姿为当前帧的位姿，执行位姿优化(图2a)，统计优化后的内点个数。若小于15，进入步骤1.4；否则判定为匹配成功，返回位姿，传入下一帧循环1.2～1.7步骤。
1.4：采用多视匹配获取当前帧位姿初值并用于匹配。使用当前帧与前两帧的所有特征点进行匹配，并提取三度重叠点，计算当前帧与前一帧的E矩阵(E矩阵的计算参考Richard Hartley于2008年出版的计算机视觉教材《Multiple View Geometry inComputer Vision》)，SVD分解后得到位姿初值，使用该初值将前一帧地图点投影到当前帧，并进行匹配。搜索窗口大小设置方式与1.2中的W一致，也即下式：
假定当前恒速模型的水平旋转角度绝对值为θ，预先人工设置地图点到相机中心距离的最大值dmax与最小值dmin，通过两点间的距离公式可计算出地图点到相机中心距离为d，若匹配点数小于30则判定失败，进入步骤1.5。若匹配点数大于30，则执行位姿调用G2O开源优化库执行优化，剔除粗差后若匹配点数再次小于30，则采用第二步BoW的匹配点执行位姿调用G2O开源优化库执行优化。若内点数大于15则判定成功，返回位姿；否则进入1.5。
1.5：在以上匹配都失败时，进行重定位(Re-localization)。使用BoW搜索上一帧到上一个关键帧的所有匹配点，调用EPnP算法(此算法参考了Vincent Lepetit于2009年发表的论文:EPnP:An Accurate O(n)Solution to the PnP Problem)配合RANSA算法进行重定位。
1.6：以上步骤任意一步成功即可得到当前帧的位姿的初始值。利用该值，将局部地图点全部投影至当前帧进行匹配，匹配完成后进行局部光束法平差(图2b)。统计内点数，若大于20则判定为跟踪成功，若小于20判定为跟踪失败，等待系统传入下一帧，并直接执行步骤1.5。
1.7：选取关键帧：正确跟踪当前帧之后，判断当前帧是否作为关键帧。当满足以下五项条件的任意一项时，则将此帧确定为关键帧：
①超过8帧未插入关键帧，则确定当前帧为关键帧；
②当前帧新插入的地图点大于其跟踪到的地图点的1.7倍；
③当前帧跟踪到的地图点数小于上一帧跟踪到的点数的85％且局部地图构建线程空闲；
④当前帧跟踪到的地图点数小于上一帧跟踪到的50％，中断局部建图并插入关键帧；
⑤局部地图构建的线程空闲。
线程2局部地图构建
2.1：更新关键帧与地图点的连接关系，找出与其具有一定共视点数的关键帧作为共视关键帧。根据全景相机的特殊情形，设定共视关键帧必须同时满足：(1)与当前关键帧的共视点数>＝50个；(2)与当前关键帧在图像序列中的间隔关键帧不超过40个；(3)其与当前关键帧的共视点在两帧所在金字塔层数差异>2的特征点数不超过总共视点数的85％；
2.2：三角化地图点；
2.3：将地图点插入1.1中已构建的局部地图与全局地图；
2.4：调用G2O的库建立的优化图进行局部光束法平差；
2.5：剔除误匹配点与冗余关键帧，此步骤的算法参考Raul Mur-Artal于2016年发表的论文《ORB-SLAM2:An Open-Source SLAM System for Monocular,Stereo,and RGB-DCameras》；
2.6：再次执行2.4；
2.7：更新关键帧与地图点的连接关系，更新局部地图与全局地图。
线程3闭环探测与全图优化
3.1：计算当前关键帧的BoW向量，用于表示当前帧的场景信息；
3.2：选取与当前关键帧相连性最好的5个关键帧，计算与他们的BoW相似性；
3.3：选取3.2中所计算的相似性的最小值minScore，设定判别阈值为0.85*minScore；
3.4：搜索与当前关键帧及其相连关键帧之外的关键帧，逐一计算BoW相似性，相似性大于判别阈值的设为第一候选关键帧；
3.5：逐一计算当前帧与第一候选关键帧相连性最好的10个关键帧的相似性，累加相似性计算累计得分AccumScore，将0.75*AccumScore作为阈值；
3.6：选取累计得分大于阈值的关键帧作为第二候选关键帧。
3.7：连续性检验：将第二候选关键帧及其相连关键帧设为候选组，认为孤立的候选组具有很强的不确定性，因此检测候选组的连续性，若有3个及以上候选组相连且与当前帧的相连关键帧同样构成候选关系，则认为此候选组通过连续性检验。否则删除该候选组。
3.8：通过连续性检验的候选组中匹配点数最多的帧即视为闭环关键帧；
3.9：依次与当前关键帧使用BoW搜索匹配特征点，若匹配点数小于30则剔除此闭环关键帧，继续下一帧的匹配。匹配成功后，按照Horn于1998年提出的的使用四元数计算绝对位姿的方法计算闭环帧到当前帧的相似变换群，即sim(3)变换，此时便得到了闭环关键帧与当前帧的转换关系S，通过转化关系再次搜索匹配点并使用局部光束法平差优化S。若优化后的匹配点内点数大于20，则可认为此帧与当前帧位于相近的位置，设其为相连，根据相连关系与S将地图点投影到当前帧并与当前帧进行匹配，若匹配数量>50则视为匹配成功，不再对之后的闭环候选帧进行计算。此时，调整当前帧及其相连关键帧的位姿与地图点，更新关键帧链接关系并传递调整位姿，构建如附图2c所示的Essential Graph进行全局位姿优化并调整相应地图点，最后执行如附图2d所示的全图优化，即全局光束法平差。
试验验证
为验证本发明在全景影像序列上的同步定位于地图构建效果，选用了共6套数据集进行测试，其中两套数据集分别拍摄于日本东京附近的城区与郊区，另外四套数据集分别拍摄于中国天津市及周边各路段，包括城市主干道，城郊道路，小区内部道路，高速公路及隧道等场景。所有的定位结果均以与全景相机同步的车载GPS作为标准进行精度评估，定位精度可达分米级。
首先对所使用的LADYBUG多镜头组合式全景相机进行检校，LADYBUG拍摄鱼眼影像大小为1616pixels×1232pixels，像元分辨率为0.009mm，颜色分辨率为8bit量化的RGB色彩空间。鱼眼相机的焦距为3.3mm，投影中心相互距离约40mm；共有6个鱼眼相机，5个相机用于360°水平成像，1个相机指向天空。全景影像球面成像于距离球心20m处。拼接后的全景影像大小为4000×2000像素。相机检校中，我们采用了63个均匀分布的校准点，根据不同的检校模型，解算对应的模型参数，并评估了检校中误差。检校精度如表1所示，本文方法的精度为0.56像素，明显高于通用相机检校模型，并后继保证了优于一个像素的核线精度。图像检校效果如附图3所示，其中图3上面一排为鱼眼相机拍摄的图像，图3下面一排为纠正后的图像。
附图4所示为Ladybug数据集使用三帧同时匹配的结果，由于鱼眼相机变形较大，距离相机越近的地物变形越大，可以看出，特征点(图中圆圈标出的为特征点)基本分布于距相机相对较远的地物上。图中灰色方框中的电线杆在被4号鱼眼相机捕捉，可以看出极大的变形造成其上无任何匹配成功的特征点，除变形之外，距离4号相机的地物在不同帧上还具有较大的视差，扩大了匹配搜索范围，从而大大降低了匹配成功概率。纵然4号相机捕捉的图像正确的匹配点，但本发明使用的全景球模型使得只依靠其余相机捕捉到的特征依旧能完成跟踪定位。
附图5所示为使用车载LADYBUG-5相机于天津彩虹花园小区连续拍摄的图像序列，输入本发明进行定位于稀疏地图构建的结果总览，在图中可以清晰的看出车辆行驶的轨迹(连续黑色点形成的轨迹线)与周围地物的轮廓(黑色杂乱点)。
总共6套数据的位姿跟踪结果如附图6所示，可以看出，使用全景相机进行SLAM位姿跟踪的轨迹与GPS轨迹几乎完全重合，甚至，在一些GPS信号丢失如隧道内或周围有较高建筑物的场景(图6中方框内的路段)，本发明仍然能够通过全景图像所拍摄到的360度全方位场景进行较为准确的位姿恢复。位姿跟踪结果的精度如表2所示，可以看出，在GPS定位误差较小的两套数据集中，定位精度均达到了分米级，而天津数据集受GPS本身精度限制，定位精度达到了米级。
表1鱼眼相机检校精度的对比
表2共6套数据的跟踪结果
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：首先对多镜头组合设备进行相机检校，然后建立如下三个并行线程：
线程1，全景图像位姿跟踪线程，用于完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；
线程2，稀疏地图构建线程，用于根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；
线程3，闭环纠正线程，用于探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。
2.如权利要求1所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：三个并行线程的具体实现步骤如下，
线程1具体包括如下步骤，
步骤1.1，采用三帧图像进行初始化，获取初始位姿及初始地图点，同时建立局部地图与全局地图；
步骤1.2，采用恒速模型跟踪下一帧地图点，即3D地图点到2D图像的匹配，匹配失败则执行步骤1.3；
步骤1.3，采用视觉词袋的方法进行3D地图点到2D图像的匹配，当匹配点数满足一定条件时执行步骤1.4；
步骤1.4，采用多视匹配获取当前帧位姿初值并用于匹配，当匹配点数满足一定条件时执行步骤1.5；
步骤1.5，当步骤1.2～步骤1.4中的匹配都失败时，进行重定位；
步骤1.6，步骤1.2～步骤1.5中任意一步成功即得到当前帧的位姿的初始值，并利用该值，将局部地图点全部投影至当前帧进行匹配，匹配完成后进行局部光束法平差，统计内点数，若大于内点数阈值a则判定为跟踪成功，若小于内点数阈值a判定为跟踪失败，等待系统传入下一帧，并直接执行步骤1.5；
步骤1.7，正确跟踪当前帧之后，判断当前帧是否作为关键帧；
线程2具体包括如下步骤；
步骤2.1，更新关键帧与地图点的连接关系，找出与其具有一定共视点数的关键帧作为共视关键帧；
步骤2.2，三角化地图点；
步骤2.3，将地图点插入步骤1.1中已构建的局部地图与全局地图；
步骤2.4，调用G2O的库建立优化图，并进行局部光束法平差；
步骤2.5，剔除误匹配点与冗余关键帧；
步骤2.6，再次执行步骤2.4；
步骤2.7，更新关键帧与地图点的连接关系，更新局部地图与全局地图；
线程3具体包括如下步骤，
步骤3.1，计算当前关键帧的BoW向量，用于表示当前帧的场景信息；
步骤3.2，选取与当前关键帧相连性最好的n1个关键帧，计算与他们的BoW相似性；
步骤3.3，选取步骤3.2中所计算的相似性的最小值minScore，设定判别阈值为n2*minScore；
步骤3.4，搜索与当前关键帧及其相连关键帧之外的关键帧，逐一计算BoW相似性，相似性大于阈值的设为第一候选关键帧；
步骤3.5，逐一计算当前帧与第一候选关键帧相连性最好的n3个关键帧的相似性，累加相似性计算累计得分AccumScore，将n4*AccumScore作为阈值；
步骤3.6，选取累计得分大于阈值的关键帧作为第二候选关键帧；
步骤3.7，连续性检验：将第二候选关键帧及其相连关键帧设为候选组，认为孤立的候选组具有很强的不确定性，因此检测候选组的连续性，若有n5个及以上候选组相连且与当前帧的相连关键帧同样构成候选关系，则认为此候选组通过连续性检验，否则删除该候选组；
步骤3.8，通过连续性检验的候选组中匹配点数最多的帧即视为闭环关键帧；
步骤3.9，依次与当前关键帧使用BoW搜索匹配特征点，若匹配点数小于n6则剔除此闭环关键帧，继续下一帧的匹配；匹配成功后，计算闭环帧到当前帧的相似变换群，即sim(3)变换，得到了闭环关键帧与当前帧的转换关系S，通过转化关系再次搜索匹配点并使用局部光束法平差优化S。
3.如权利要求1或2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：所述相机检校采用一种适合于鱼眼相机的高精度模型完成，具体检校模型为，
其中，Xd＝(xd yd)T是鱼眼相机坐标，Xr＝(xr yr)T是鱼眼相机纠正后坐标，θ和分别是天顶角和水平角，k1，k2，A1，A2，A3，C1，C2为多项式系数，f为镜头焦距，λ为比例系数。与为Kannala提出的通用相机检校模型的多项式；
检校具体步骤为，首先获取均匀分布在图像上的一系列纠正前与纠正后的点坐标；其次带入模型求解模型参数：k1，k2，A1，A2，A3，C1，C2，λ以及与的多项式系数；最后通过模型纠正鱼眼图像上任意像素。
4.如权利要求2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：步骤1.1中采用三帧图像进行初始化的具体实现方式如下，
确定第一帧为参考帧，提取ORB特征点，等待系统连续传入两帧，进行第1帧与第2帧，第2帧与第3帧的特征匹配，然后结合RANSAC剔除误匹配点，保留3帧共视点，计算1-2帧和2-3帧的本质矩阵E；对1-2、2-3、1-3帧组合分别进行三角化，则每个地图点得到三个值，若这三个值中有任意一个值为无穷大或三个值之间的两两差值大于0.08m，则剔除此地图点，否则认为此地图点三角化成功；若成功三角化的点数量大于正确匹配点数量的75％，则G2O进行优化；若优化后内点数量大于30个则视为初始化成功，否则判定为失败，等待系统新传入两帧图像进行初始化。
5.如权利要求2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：步骤1.2的具体实现方式如下，
利用恒速模型估计当前相机位姿的初始值，将上一帧观察到的地图点投影到当前帧的全景球面上，然后，根据球面特征点坐标与鱼眼相机的外方位元素，判断该点所在的鱼眼相机编号，最后根据如下所示的模型：
x′＝mRiKi(x)+Ti
x′2+y′2+z′2＝r2
投射到鱼眼图像上设定搜索窗口进行特征匹配，上述模型中x′＝(x′ y′ z′)T为特征点的球面坐标，[Ri|Ti]为第i个鱼眼相机相对于相机坐标系的位姿，Ki为第i个鱼眼相机的内参矩阵，r为人为设置的球面半径，同时计算地图点到全景球面的距离；
假定当前恒速模型的水平旋转角度绝对值为θ，预先人工设置地图点到相机中心距离的最大值dmax与最小值dmin，通过两点间的距离公式可计算出地图点到相机中心距离为d，则窗口大小W自适应地设为：
确定搜索窗口后，在窗口内搜索同名特征点，这里的匹配阈值设置为：最邻近次临近之比大于0.7且描述子距离小于70，对所有地图点进行逐个匹配，若匹配数大于20则认为匹配成功并结束当前帧的跟踪，传入下一帧进行跟踪，否则进入步骤1.3。
6.如权利要求2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：步骤1.3的具体实现方式如下，
在当前帧与上一帧的特征点间进行匹配，若匹配点数小于10则进入步骤1.4，若匹配点数在10～25之间，则扩大搜索范围，匹配从当前帧直到上一个关键帧所观察到的所有地图特征点；若匹配点数大于等于25，设上一帧的位姿为当前帧的位姿，执行位姿优化，统计优化后的内点个数，若小于15，进入步骤1.4；否则判定为匹配成功，返回位姿，传入下一帧图像循环执行步骤1.2～步骤1.7。
7.如权利要求5所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：步骤1.4的具体实现方式如下，
使用当前帧与前两帧的所有特征点进行匹配，并提取三度重叠点，计算当前帧与前一帧的E矩阵，SVD分解后得到位姿初值，使用该初值将前一帧地图点投影到当前帧，并进行匹配，其中搜索窗口大小设置方式与1.2中的W一致。
8.如权利要求2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：步骤1.7中当满足以下五项条件的任意一项时，则将此帧确定为关键帧，
①超过8帧未插入关键帧，则确定当前帧为关键帧；
②当前帧新插入的地图点大于其跟踪到的地图点的1.7倍；
③当前帧跟踪到的地图点数小于上一帧跟踪到的点数的85％且局部地图构建线程空闲；
④当前帧跟踪到的地图点数小于上一帧跟踪到的50％，中断局部建图并插入关键帧；
⑤局部地图构建的线程空闲。
9.如权利要求2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：步骤2.1中根据全景相机的特殊情形，设定共视关键帧必须同时满足：(1)与当前关键帧的共视点数>＝50个；(2)与当前关键帧在图像序列中的间隔关键帧不超过40个；(3)其与当前关键帧的共视点在两帧所在金字塔层数差异>2的特征点数不超过总共视点数的85％。
10.如权利要求2所述的一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：步骤3.9中若局部光束法平差优化后的匹配点内点数大于n7，则可认为此帧与当前帧位于相近的位置，设其为相连，根据相连关系与S将地图点投影到当前帧并与当前帧进行匹配，若匹配数量>n8则视为匹配成功，不再对之后的闭环候选帧进行计算；此时，调整当前帧及其相连关键帧的位姿与地图点，更新关键帧链接关系并传递调整位姿，构建EssentialGraph进行全局位姿优化并调整相应地图点，最后执行全局光束法平差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811346301.4A CN109509230B (zh) | 2018-11-13 | 2018-11-13 | 一种应用于多镜头组合式全景相机的slam方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811346301.4A CN109509230B (zh) | 2018-11-13 | 2018-11-13 | 一种应用于多镜头组合式全景相机的slam方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109509230A true CN109509230A (zh) | 2019-03-22 |
| CN109509230B CN109509230B (zh) | 2020-06-23 |
Family
ID=65748279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811346301.4A Active CN109509230B (zh) | 2018-11-13 | 2018-11-13 | 一种应用于多镜头组合式全景相机的slam方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109509230B (zh) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993793A (zh) * | 2019-03-29 | 2019-07-09 | 北京易达图灵科技有限公司 | 视觉定位方法及装置 |
| CN110045750A (zh) * | 2019-05-13 | 2019-07-23 | 南京邮电大学 | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 |
| CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
| CN110470298A (zh) * | 2019-07-04 | 2019-11-19 | 浙江工业大学 | 一种基于滚动时域的机器人视觉伺服位姿估计方法 |
| CN110490131A (zh) * | 2019-08-16 | 2019-11-22 | 北京达佳互联信息技术有限公司 | 一种拍摄设备的定位方法、装置、电子设备及存储介质 |
| CN110555901A (zh) * | 2019-09-05 | 2019-12-10 | 亮风台（上海）信息科技有限公司 | 动静态场景的定位和建图方法、装置、设备和存储介质 |
| CN110599545A (zh) * | 2019-09-06 | 2019-12-20 | 电子科技大学中山学院 | 一种基于特征的构建稠密地图的系统 |
| CN110587597A (zh) * | 2019-08-01 | 2019-12-20 | 深圳市银星智能科技股份有限公司 | 一种基于激光雷达的slam闭环检测方法及检测系统 |
| CN110610520A (zh) * | 2019-08-29 | 2019-12-24 | 中德（珠海）人工智能研究院有限公司 | 一种基于双球幕相机的视觉定位方法及系统 |
| CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
| CN110675455A (zh) * | 2019-08-30 | 2020-01-10 | 的卢技术有限公司 | 一种基于自然场景的车身环视相机自标定方法和系统 |
| CN111243021A (zh) * | 2020-01-06 | 2020-06-05 | 武汉理工大学 | 基于多组合相机的车载视觉定位方法、系统及存储介质 |
| CN111292420A (zh) * | 2020-02-28 | 2020-06-16 | 北京百度网讯科技有限公司 | 用于构建地图的方法和装置 |
| CN111415375A (zh) * | 2020-02-29 | 2020-07-14 | 华南理工大学 | 一种基于多鱼眼摄像机和双针孔投影模型的slam方法 |
| CN111462207A (zh) * | 2020-03-30 | 2020-07-28 | 重庆邮电大学 | 一种融合直接法与特征法的rgb-d同时定位与地图创建方法 |
| CN111754388A (zh) * | 2019-03-28 | 2020-10-09 | 北京初速度科技有限公司 | 一种建图方法及车载终端 |
| CN111862200A (zh) * | 2020-06-30 | 2020-10-30 | 同济大学 | 一种煤棚内无人机定位方法 |
| WO2020258936A1 (zh) * | 2019-06-27 | 2020-12-30 | 浙江商汤科技开发有限公司 | 一种基于共享地图的定位方法及装置、电子设备和存储介质 |
| CN112258546A (zh) * | 2020-10-18 | 2021-01-22 | 东南大学 | 一种slam系统的关键帧选取方法 |
| CN112304321A (zh) * | 2019-07-26 | 2021-02-02 | 北京初速度科技有限公司 | 一种基于视觉和imu的车辆融合定位方法及车载终端 |
| CN112509006A (zh) * | 2020-12-11 | 2021-03-16 | 北京华捷艾米科技有限公司 | 一种子地图恢复融合方法及装置 |
| TWI732398B (zh) * | 2019-12-25 | 2021-07-01 | 國立陽明交通大學 | 基於等距長方投影的全景地圖的處理模組及其處理方法 |
| CN113506342A (zh) * | 2021-06-08 | 2021-10-15 | 北京理工大学 | 一种基于多相机全景视觉的slam全向回环校正方法 |
| CN113628279A (zh) * | 2021-07-29 | 2021-11-09 | 成都易瞳科技有限公司 | 一种全景视觉slam建图方法 |
| WO2021255495A1 (en) * | 2020-06-16 | 2021-12-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for generating a three-dimensional model based on spherical photogrammetry |
| CN113959435A (zh) * | 2021-09-24 | 2022-01-21 | 杭州大数云智科技有限公司 | 一种基于多相机模型的车载环视在线slam系统及方法 |
| CN114745528A (zh) * | 2022-06-13 | 2022-07-12 | 松立控股集团股份有限公司 | 一种高位全景视频安全监控方法 |
| CN115719363A (zh) * | 2022-10-31 | 2023-02-28 | 重庆理工大学 | 可进行二维动态检测和三维重建的环境感知方法与系统 |
| CN116592897A (zh) * | 2023-07-17 | 2023-08-15 | 河海大学 | 基于位姿不确定性的改进orb-slam2定位方法 |
| CN117456124A (zh) * | 2023-12-26 | 2024-01-26 | 浙江大学 | 一种基于背靠背双目鱼眼相机的稠密slam的方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160012588A1 (en) * | 2014-07-14 | 2016-01-14 | Mitsubishi Electric Research Laboratories, Inc. | Method for Calibrating Cameras with Non-Overlapping Views |
| CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
| CN105869136A (zh) * | 2015-01-22 | 2016-08-17 | 北京雷动云合智能技术有限公司 | 一种基于多摄像机的协作式视觉slam方法 |
| CN106920210A (zh) * | 2017-02-27 | 2017-07-04 | 武汉大学 | 一种基于球面展开模型的鱼眼视频实时全景校正方法 |
| US20170262992A1 (en) * | 2016-03-11 | 2017-09-14 | Kabushiki Kaisha Toshiba | Image analysis system and method |
| CN108053473A (zh) * | 2017-12-29 | 2018-05-18 | 北京领航视觉科技有限公司 | 一种室内三维模型数据的处理方法 |
| CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和系统 |
| CN108398139A (zh) * | 2018-03-01 | 2018-08-14 | 北京航空航天大学 | 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法 |
| CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及系统 |
-
2018
- 2018-11-13 CN CN201811346301.4A patent/CN109509230B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160012588A1 (en) * | 2014-07-14 | 2016-01-14 | Mitsubishi Electric Research Laboratories, Inc. | Method for Calibrating Cameras with Non-Overlapping Views |
| CN105869136A (zh) * | 2015-01-22 | 2016-08-17 | 北京雷动云合智能技术有限公司 | 一种基于多摄像机的协作式视觉slam方法 |
| US20170262992A1 (en) * | 2016-03-11 | 2017-09-14 | Kabushiki Kaisha Toshiba | Image analysis system and method |
| CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
| CN106920210A (zh) * | 2017-02-27 | 2017-07-04 | 武汉大学 | 一种基于球面展开模型的鱼眼视频实时全景校正方法 |
| CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和系统 |
| CN108053473A (zh) * | 2017-12-29 | 2018-05-18 | 北京领航视觉科技有限公司 | 一种室内三维模型数据的处理方法 |
| CN108398139A (zh) * | 2018-03-01 | 2018-08-14 | 北京航空航天大学 | 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法 |
| CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| RAU´L MUR-ARTAL 等: "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", 《IEEE TRANSACTIONS ON ROBOTICS》 * |
| S. URBAN 等: "MULTICOL-SLAM - A MODULAR REAL-TIME MULTI-CAMERA SLAM SYSTEM", 《ARXIV》 * |
| SHAOWU YANG 等: "Multi-camera visual SLAM for autonomous navigation of micro aerial vehicles", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 * |
| XINRUI MENG 等: "Dense RGB-D SLAM with Multiple Cameras", 《SENSORS》 * |
Cited By (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754388B (zh) * | 2019-03-28 | 2024-06-18 | 北京初速度科技有限公司 | 一种建图方法及车载终端 |
| CN111754388A (zh) * | 2019-03-28 | 2020-10-09 | 北京初速度科技有限公司 | 一种建图方法及车载终端 |
| CN109993793A (zh) * | 2019-03-29 | 2019-07-09 | 北京易达图灵科技有限公司 | 视觉定位方法及装置 |
| CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
| CN110045750A (zh) * | 2019-05-13 | 2019-07-23 | 南京邮电大学 | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 |
| WO2020258936A1 (zh) * | 2019-06-27 | 2020-12-30 | 浙江商汤科技开发有限公司 | 一种基于共享地图的定位方法及装置、电子设备和存储介质 |
| JP2022518810A (ja) * | 2019-06-27 | 2022-03-16 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体 |
| TWI748439B (zh) * | 2019-06-27 | 2021-12-01 | 大陸商浙江商湯科技開發有限公司 | 一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體 |
| JP7261889B2 (ja) | 2019-06-27 | 2023-04-20 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体 |
| CN110470298B (zh) * | 2019-07-04 | 2021-02-26 | 浙江工业大学 | 一种基于滚动时域的机器人视觉伺服位姿估计方法 |
| CN110470298A (zh) * | 2019-07-04 | 2019-11-19 | 浙江工业大学 | 一种基于滚动时域的机器人视觉伺服位姿估计方法 |
| CN112304321A (zh) * | 2019-07-26 | 2021-02-02 | 北京初速度科技有限公司 | 一种基于视觉和imu的车辆融合定位方法及车载终端 |
| CN110587597B (zh) * | 2019-08-01 | 2020-09-22 | 深圳市银星智能科技股份有限公司 | 一种基于激光雷达的slam闭环检测方法及检测系统 |
| CN110587597A (zh) * | 2019-08-01 | 2019-12-20 | 深圳市银星智能科技股份有限公司 | 一种基于激光雷达的slam闭环检测方法及检测系统 |
| CN110648398A (zh) * | 2019-08-07 | 2020-01-03 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
| CN110490131A (zh) * | 2019-08-16 | 2019-11-22 | 北京达佳互联信息技术有限公司 | 一种拍摄设备的定位方法、装置、电子设备及存储介质 |
| CN110490131B (zh) * | 2019-08-16 | 2021-08-24 | 北京达佳互联信息技术有限公司 | 一种拍摄设备的定位方法、装置、电子设备及存储介质 |
| CN110610520A (zh) * | 2019-08-29 | 2019-12-24 | 中德（珠海）人工智能研究院有限公司 | 一种基于双球幕相机的视觉定位方法及系统 |
| CN110675455B (zh) * | 2019-08-30 | 2023-09-22 | 的卢技术有限公司 | 一种基于自然场景的车身环视相机自标定方法和系统 |
| CN110675455A (zh) * | 2019-08-30 | 2020-01-10 | 的卢技术有限公司 | 一种基于自然场景的车身环视相机自标定方法和系统 |
| CN110555901A (zh) * | 2019-09-05 | 2019-12-10 | 亮风台（上海）信息科技有限公司 | 动静态场景的定位和建图方法、装置、设备和存储介质 |
| CN110555901B (zh) * | 2019-09-05 | 2022-10-28 | 亮风台（上海）信息科技有限公司 | 动静态场景的定位和建图方法、装置、设备和存储介质 |
| CN110599545A (zh) * | 2019-09-06 | 2019-12-20 | 电子科技大学中山学院 | 一种基于特征的构建稠密地图的系统 |
| CN110599545B (zh) * | 2019-09-06 | 2022-12-02 | 电子科技大学中山学院 | 一种基于特征的构建稠密地图的系统 |
| TWI732398B (zh) * | 2019-12-25 | 2021-07-01 | 國立陽明交通大學 | 基於等距長方投影的全景地圖的處理模組及其處理方法 |
| US11102406B2 (en) | 2019-12-25 | 2021-08-24 | National Chiao Tung University | Device of panoramic map based on an equirectangular projection and method thereof |
| CN111243021A (zh) * | 2020-01-06 | 2020-06-05 | 武汉理工大学 | 基于多组合相机的车载视觉定位方法、系统及存储介质 |
| KR102502651B1 (ko) | 2020-02-28 | 2023-02-21 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 지도를 구축하기 위한 방법 및 장치 |
| KR20210110514A (ko) * | 2020-02-28 | 2021-09-08 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 지도를 구축하기 위한 방법 및 장치 |
| CN111292420A (zh) * | 2020-02-28 | 2020-06-16 | 北京百度网讯科技有限公司 | 用于构建地图的方法和装置 |
| EP3872764A1 (en) * | 2020-02-28 | 2021-09-01 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for constructing map |
| CN111292420B (zh) * | 2020-02-28 | 2023-04-28 | 北京百度网讯科技有限公司 | 用于构建地图的方法和装置 |
| US11417014B2 (en) | 2020-02-28 | 2022-08-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for constructing map |
| CN111415375B (zh) * | 2020-02-29 | 2023-03-21 | 华南理工大学 | 一种基于多鱼眼摄像机和双针孔投影模型的slam方法 |
| CN111415375A (zh) * | 2020-02-29 | 2020-07-14 | 华南理工大学 | 一种基于多鱼眼摄像机和双针孔投影模型的slam方法 |
| CN111462207A (zh) * | 2020-03-30 | 2020-07-28 | 重庆邮电大学 | 一种融合直接法与特征法的rgb-d同时定位与地图创建方法 |
| WO2021255495A1 (en) * | 2020-06-16 | 2021-12-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for generating a three-dimensional model based on spherical photogrammetry |
| CN111862200B (zh) * | 2020-06-30 | 2023-04-28 | 同济大学 | 一种煤棚内无人机定位方法 |
| CN111862200A (zh) * | 2020-06-30 | 2020-10-30 | 同济大学 | 一种煤棚内无人机定位方法 |
| CN112258546A (zh) * | 2020-10-18 | 2021-01-22 | 东南大学 | 一种slam系统的关键帧选取方法 |
| CN112509006A (zh) * | 2020-12-11 | 2021-03-16 | 北京华捷艾米科技有限公司 | 一种子地图恢复融合方法及装置 |
| CN113506342A (zh) * | 2021-06-08 | 2021-10-15 | 北京理工大学 | 一种基于多相机全景视觉的slam全向回环校正方法 |
| CN113506342B (zh) * | 2021-06-08 | 2024-01-02 | 北京理工大学 | 一种基于多相机全景视觉的slam全向回环校正方法 |
| CN113628279B (zh) * | 2021-07-29 | 2023-10-31 | 成都易瞳科技有限公司 | 一种全景视觉slam建图方法 |
| CN113628279A (zh) * | 2021-07-29 | 2021-11-09 | 成都易瞳科技有限公司 | 一种全景视觉slam建图方法 |
| CN113959435A (zh) * | 2021-09-24 | 2022-01-21 | 杭州大数云智科技有限公司 | 一种基于多相机模型的车载环视在线slam系统及方法 |
| CN114745528B (zh) * | 2022-06-13 | 2022-08-23 | 松立控股集团股份有限公司 | 一种高位全景视频安全监控方法 |
| CN114745528A (zh) * | 2022-06-13 | 2022-07-12 | 松立控股集团股份有限公司 | 一种高位全景视频安全监控方法 |
| CN115719363A (zh) * | 2022-10-31 | 2023-02-28 | 重庆理工大学 | 可进行二维动态检测和三维重建的环境感知方法与系统 |
| CN115719363B (zh) * | 2022-10-31 | 2024-02-02 | 重庆理工大学 | 可进行二维动态检测和三维重建的环境感知方法与系统 |
| CN116592897B (zh) * | 2023-07-17 | 2023-09-22 | 河海大学 | 基于位姿不确定性的改进orb-slam2定位方法 |
| CN116592897A (zh) * | 2023-07-17 | 2023-08-15 | 河海大学 | 基于位姿不确定性的改进orb-slam2定位方法 |
| CN117456124A (zh) * | 2023-12-26 | 2024-01-26 | 浙江大学 | 一种基于背靠背双目鱼眼相机的稠密slam的方法 |
| CN117456124B (zh) * | 2023-12-26 | 2024-03-26 | 浙江大学 | 一种基于背靠背双目鱼眼相机的稠密slam的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109509230B (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109509230A (zh) | 一种应用于多镜头组合式全景相机的slam方法 | |
| CN111983639B (zh) | 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法 | |
| CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
| CN109631855B (zh) | 基于orb-slam的高精度车辆定位方法 | |
| Patil et al. | The h3d dataset for full-surround 3d multi-object detection and tracking in crowded urban scenes | |
| CN111462135B (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN110009739B (zh) | 移动摄像机的数字视网膜的运动特征的提取与编码方法 | |
| CN108303099B (zh) | 基于三维视觉slam的无人机室内自主导航方法 | |
| CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| Ji et al. | Panoramic SLAM from a multiple fisheye camera rig | |
| CN108242079B (zh) | 一种基于多特征视觉里程计和图优化模型的vslam方法 | |
| CN112734765B (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
| CN111968129A (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN111080659A (zh) | 一种基于视觉信息的环境语义感知方法 | |
| CN111882612A (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
| CN113674416B (zh) | 三维地图的构建方法、装置、电子设备及存储介质 | |
| US11788845B2 (en) | Systems and methods for robust self-relocalization in a visual map | |
| CN111274847B (zh) | 一种定位方法 | |
| CN113658337B (zh) | 一种基于车辙线的多模态里程计方法 | |
| CN110728751A (zh) | 一种室内3d点云语义地图的构建方法 | |
| CN110223351B (zh) | 一种基于卷积神经网络的深度相机定位方法 | |
| Saleem et al. | Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review | |
| CN116258744A (zh) | 基于可见光、红外和激光雷达数据融合的目标跟踪方法 | |
| CN116468786A (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
| Lu et al. | Vision-based localization methods under GPS-denied conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |