CN113506342B - 一种基于多相机全景视觉的slam全向回环校正方法 - Google Patents
一种基于多相机全景视觉的slam全向回环校正方法 Download PDFInfo
- Publication number
- CN113506342B CN113506342B CN202110638485.7A CN202110638485A CN113506342B CN 113506342 B CN113506342 B CN 113506342B CN 202110638485 A CN202110638485 A CN 202110638485A CN 113506342 B CN113506342 B CN 113506342B
- Authority
- CN
- China
- Prior art keywords
- key frame
- points
- loop
- matching
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012937 correction Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 18
- 230000033001 locomotion Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于多相机全景视觉的SLAM全向回环校正方法，该方法利用多相机全景视觉系统提供的全景图像信息，对运动载体周围的环境进行全方位的感知，解决现有SLAM方法所用回环校正算法无法在传感器朝向差异较为明显时检测出相同场景的问题；通过冗余的视野范围，可以保证环境信息感知时没有盲区；通过去除匹配特征点中的重复信息来减弱冗余视野范围对回环检测的影响，可以在传感器位置相同时准确地检测出运动轨迹中的回环；在回环校正过程中通过特征点、地图点的全局匹配，使回环校正算法在传感器朝向差异较大的情况下也能够计算两个关键帧之间多相机全景视觉系统的相似变换，进而令回环校正算法仅需传感器处于曾经经过的位置即可完成回环校正。
Description
技术领域
本发明属于计算机视觉定位领域，涉及一种不受传感器朝向限制的基于多相机全景视觉 信息的SLAM回环校正方法。
背景技术
随着计算机视觉技术的发展，基于视觉的同步定位与地图构建(VisualSimultaneous Localization And Mapping，VSLAM)因为成本低、信息丰富等优点逐渐被研究者们重视，得 到广泛研究，相关的研究成果应用于虚拟现实、机器人控制等领域。由于相机成像噪声、特 征提取的偏差、特征匹配时不可避免的错误信息、相机成像模型误差等因素的影响，SLAM 算法中视觉里程计的定位不可避免地存在误差。SLAM是增量式的定位方式，这导致视觉里 程计的误差在运行过程中会不断累积，在大规模场景中经过长距离的运行后其定位结果难以 保持全局一致性，往往会出现相机载体回到曾经经过的位置但实时定位信息偏离该位置。在 无人车定位等应用中，这一问题会导致比较严重的定位偏差，影响无人驾驶的性能。
针对上述问题，研究者们提出多种路径回环的检测方法，并基于回环检测结果校正定位 误差，实现全局一致的SLAM定位。基于里程计几何关系的回环检测方法会在载体实时定位 位置回到曾经经过的某个位置附近时检测回环，这种方法仅能在定位误差很小时使用，适用 范围小，因此基于外观的回环检测方法得到了研究者们的重视。然而，由于传感器视野范围 的限制，在现有视觉SLAM方法中回环检测不仅要求相机处于曾经经过的位置，还要求相机 的朝向与过去经过位置的时候相同，否则图像中的信息将不一致，无法检测运动轨迹中的回 环。这导致回环检测在视觉SLAM中受到极大的限制，在无人车辆原路返回、经过十字路口 等情况下无法进行回环校正，使得部分场景中视觉SLAM方法的定位精度受到限制。
因此，基于多相机全景视觉的SLAM全向回环校正方法利用无盲区的全景视觉信息改进 现有视觉SLAM方法中的回环检测，解除传感器朝向对回环校正的限制，实现更多场景下的 回环校正，使视觉SLAM定位的全局一致性在更多场景中得以保证，提升视觉SLAM定位精 度，对无人车辆在未知环境中的自主导航具有重要意义，有极高的研究价值。
发明内容
有鉴于此，本发明提供一种基于多相机全景视觉的SLAM全向回环校正方法，依靠多相 机全景视觉系统在水平方向上具有的无盲区视野范围实现360°全景信息感知，基于感知信 息对载体所在环境进行完整的描述，然后利用环境描述向量匹配不同时刻同一位置所采集的 图像，实现全向回环检测，解除传感器朝向对回环检测的限制，并基于回环检测结果改进回 环校正算法，使算法能充分利用多幅相机图像特征信息，在不限制传感器朝向差异的情况下 求解不同时刻传感器之间的位姿变换。
一种基于多相机全景视觉的SLAM全向回环校正方法，包括如下步骤：
步骤S1、根据相机的视场范围对相机进行排布组成多相机全景视觉系统，使多个相机能 在水平方向上观测360°的环境信息，对各相机进行标定，包括相机成像模型的内参和表示 多个相机之间位姿关系的外参；
步骤S2、触发多相机全景视觉系统的中各相机同步采集图像，然后在多个相机的图像中 提取特征点，并匹配相邻相机图像中的特征点；
步骤S3、使用提取的特征点训练词袋模型，最终经过多轮训练生成以k-d树为数据结构 的字典；其中，特征点包括图像中未匹配的特征点和删除了一个特征点的匹配点对；
步骤S4、在SLAM过程中为每一个关键帧图像提取特征点，匹配相邻相机图像中的特征 点，并使用字典为每一个关键帧图像构建描述向量，通过描述向量计算每一个历史关键帧和 当前关键帧之间的相似度，然后根据相似度检索可能与当前关键帧形成回环的关键帧，作为 候选关键帧；
步骤S5、对于每一个候选关键帧，匹配该关键帧与当前关键帧观测的地图点，为候选关 键帧求解与当前关键帧之间的相似变换，根据相似变换计算每一对匹配地图点之间的位置误 差并通过设定的误差阈值挑选有效的匹配地图点对，然后根据有效匹配地图点对数量判断该 关键帧是否可能与当前关键帧形成回环；
步骤S6、根据可能形成回环的候选关键帧与当前关键帧的相似变换，将当前关键帧尚未 匹配的地图点投影至该候选关键帧的图像中，并在投影点邻域内检索匹配的二维特征点，设 在当前关键帧中地图点表示为A，与该地图点匹配的特征点为a；同时将候选关键帧中尚未 匹配的地图点投影至当前关键帧的图像中进行匹配，设候选关键帧中地图点表示为B，与该 地图点匹配的特征点为b，如果地图点A与特征点b匹配，且地图点B与特征点a也匹配， 则这两对点匹配成功；利用步骤S5和步骤S6中的地图点、特征点匹配结果对当前关键帧和 候选关键帧之间的相似变换进行非线性优化，优化后检查各匹配点对重投影误差并对匹配结 果进行筛选，如果剩余的有效匹配数量达到设定要求，则该候选关键帧与当前关键帧匹配成 功，如果匹配不成功，则返回步骤S5；将第一个与当前关键帧匹配成功的候选键帧作为回环 关键帧，执行步骤S7；
步骤S7、利用回环关键帧与当前关键帧之间的相似变换关系进行位姿图优化，并以位姿 图优化的结果作为初始值，对全局地图进行捆集优化，完成回环校正与地图更新。
较佳的，所述步骤S4中，通过当前关键帧和与其有共视地图点的历史关键帧之间的最小 相似度作为阈值，对全部历史关键帧进行筛选，得到历史关键帧集合；
针对历史关键帧集合中任意一个历史关键帧h，找到与历史关键帧h具有最大共视关系 的10个关键帧，连同关键帧h，形成具有11个关键帧的集合j，则每个历史关键帧对应一个 集合；计算集合j中各历史关键帧与当前关键帧的相似度，并求和，定义为相似度和值s，利 用s来评判这11个关键帧和当前关键帧是否有可能形成回环，筛选条件为：
s>0.75(smax-smin)+smin
其中，s是关键帧集合与当前关键帧的相似度之和，smin表示上述关键帧集合与当前关键 帧的相似度和值s中的最小值；smax表示上述关键帧集合与当前关键帧的相似度和值s中的最 大值；
在满足上述筛选条件的集合中选出与当前关键帧相似度最高的关键帧，作为全向回环检 测的候选关键帧；遍历历史关键帧集合中所有历史关键帧h，则找到可作为全向回环检测的 其它候选关键帧。
较佳的，所述步骤S2中，所述词袋模型训练过程中使用的图像特征点为ORB特征点。
较佳的，所述步骤S2中，所述相邻相机图像特征匹配方法会通过检查匹配点对是否符合 对极几何约束以及夹角是否在设置范围内来筛选匹配结果，去除误匹配。
较佳的，所述步骤S6中，将当前关键帧观测的地图点投影至候选关键帧每一个相机采集 的图像中，检查投影点是否在图像内以及地图点深度是否为正，据此剔除无效投影点。
较佳的，所述步骤S3中，词袋模型训练算法为K-means++聚类算法，每一轮聚类该算法 将现有样本划分为k类，经过d轮聚类生成k-d树形式的字典，字典中每一个叶子节点被称 为一个单词，对应一类特征点。
较佳的，所述步骤S4中，使用L1范数计算图像相似度。
较佳的，所述步骤S5中，结合RANSAC算法和基于3D-3D匹配地图点信息的相似变换求解算法求解该关键帧和当前关键帧之间的相似变换。
本发明具有如下有益效果：
本发明提出一种基于多相机全景视觉的SLAM全向回环校正方法，该方法利用多相机全 景视觉系统提供的全景图像信息，对运动载体周围的环境进行全方位的感知，解决现有SLAM 方法所用回环校正算法无法在传感器朝向差异较为明显时检测出相同场景的问题；
通过冗余的视野范围，可以保证环境信息感知时没有盲区；
通过去除匹配特征点中的重复信息来减弱冗余视野范围对回环检测的影响，可以在传感 器位置相同时准确地检测出运动轨迹中的回环；
在回环校正过程中通过特征点、地图点的全局匹配，使回环校正算法在传感器朝向差异 较大的情况下也能够计算两个关键帧之间多相机全景视觉系统的相似变换，进而令回环校正 算法仅需传感器处于曾经经过的位置即可完成回环校正。
附图说明
图1为本发明全向回环校正方法中的多相机全景视觉系统硬件结构示意图。
图2为本发明基于多相机全景视觉的SLAM全向回环校正方法的算法流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述，本领域技术人员可以根据本说明书 所阐述的内容了解本发明的优点及功能。
本发明涉及一种基于多相机全景视觉的SLAM全向回环校正方法，包括多相机全景视觉 系统的硬件结构和软件算法。多相机全景视觉系统的硬件由N(N≥2)个可以通过电信号同 步触发的相机组成，在水平方向上具有360°的视野范围，并且相邻相机的视场范围有一定 的重叠，保证多相机全景视觉系统整体的视野范围在水平方向上没有盲区，全向回环校正方 法在视觉SLAM算法的基础上使用，需要视觉SLAM提供地图点信息和载体运动轨迹信息， 以关键帧和关键帧相关地图点的形式呈现，全向回环校正方法的流程如下：
步骤S1、根据相机的视场范围对相机进行排布，使多个相机能在水平方向上观测360° 的环境信息，选择适当的成像模型对相机进行标定，需要标定的参数包括相机成像模型的内 参和表示多个相机之间位姿关系的外参；
步骤S2、使用电信号触发多相机全景视觉系统的同步图像采集，令多个相机同时采集图 像，然后在多个相机的图像中提取特征点，并匹配相邻相机图像中的特征点，去除匹配点对 中的其中一个特征点；
步骤S3、使用大量图像数据提取的特征点训练词袋模型，最终经过多轮训练生成以k-d 树为数据结构的字典；其中，特征点包括未匹配的二维特征点和删除了一个特征点的匹配点 对。
步骤S4、在SLAM过程中为每一个关键帧图像提取特征点，匹配相邻相机图像中的特征 点，并使用字典为每一个关键帧图像构建描述向量，通过描述向量计算每一个历史关键帧和 当前关键帧之间的相似度，然后根据相似度检索可能与当前关键帧形成回环的关键帧，作为 候选关键帧；
步骤S5、对于每一个候选关键帧，匹配该关键帧与当前关键帧观测的地图点，然后结合 RANSAC算法和基于3D-3D匹配地图点信息的相似变换求解算法求解该关键帧和当前关键 帧之间的相似变换，根据相似变换计算每一对匹配地图点之间的位置误差并通过误差阈值挑 选有效的匹配地图点对，根据有效匹配地图点对数量检查该关键帧是否可能与当前关键帧形 成回环，然后为可能形成回环的候选关键帧执行步骤S6；
步骤S6、根据可能形成回环的候选关键帧与当前关键帧的相似变换，将当前关键帧尚未 匹配的地图点投影至该候选关键帧的图像中，并在投影点邻域内检索匹配的二维特征点，设 在当前关键帧中地图点表示为A，与该地图点匹配的特征点为a；同时将候选关键帧中尚未 匹配的地图点投影至当前关键帧的图像中进行匹配，设候选关键帧中地图点表示为B，与该 地图点匹配的特征点为b，如果地图点A与特征点b匹配，且地图点B与特征点a也匹配， 则这两对点匹配成功；利用步骤S5和步骤S6中的地图点、特征点匹配结果对当前关键帧和 候选关键帧之间的相似变换进行非线性优化，优化后检查匹配点对重投影误差并对匹配结果 进行筛选，如果剩余的有效匹配数量足够多，则该候选关键帧与当前关键帧匹配成功，如果 匹配不成功，则返回步骤S5；将第一个与当前关键帧匹配成功的候选键帧作为回环关键帧。
步骤S7、利用回环关键帧与当前关键帧之间的相似变换关系进行位姿图优化，并以位姿 图优化的结果作为初始值，对全局地图进行捆集优化，完成回环校正与地图更新。
步骤S1中，回环校正全过程中不使用多相机图像拼接而得的全景图像，而是直接使用多 相机图像，避免拼接位置的图像变形影响回环检测准确度。
步骤S2中，所述词袋模型训练过程中使用的图像特征点为ORB特征点，所述相邻相机 图像特征匹配方法会通过检查匹配点对是否符合对极几何约束、夹角是否在设置范围内以及 用三角测量方式重建后深度是否为正、重投影误差是否在一定范围内来筛选匹配结果，去除 误匹配，使匹配结果更加地准确、可靠；所述SLAM中回环校正过程使用的特征点同样为 ORB特征点，并且所述匹配算法与上述匹配算法相同。
步骤S3中，所述词袋模型训练算法为K-means++聚类算法，该算法的初始化算法会检索 距离现有类别中心较远的新类别中心，使初始化之后各类别足够分散，保证聚类结果的有效 性，每一轮聚类该算法可以将现有样本划分为k类，经过d轮聚类可以生成k-d树形式的字 典，字典中每一个叶子节点被称为一个单词，对应一类特征点。
步骤S3中，所述词袋模型训练开始前会剔除匹配特征点对中的一个点，减轻相同环境地 标点在不同相机图像中重复出现对回环检测算法的影响，所述词袋模型训练过程中会统计各 个单词对应特征点出现次数，利用统计信息在训练后为每一个单词生成逆文档频率IDF信息； 在回环检测算法统计单词出现频率TF时同样剔除匹配点对中的其中一个，以提升回环检测 准确度。
步骤S4中，所述图像相似度计算过程使用L1范数，可以以较高的效率完成相似度计算， 减少单词计算的耗时。
步骤S4中，所述回环检测过程中，通过当前关键帧和与其有共视地图点的历史关键帧之 间的最小相似度作为阈值，对全部历史关键帧进行筛选，得到历史关键帧集合；可以解决词 袋模型在不同环境中使用时图像相似度数值差异较大的问题。
步骤S4中，所述回环检测过程中，针对历史关键帧集合中任意一个历史关键帧h，找到 与历史关键帧h具有最大共视关系的10个关键帧，连同关键帧h，形成具有11个关键帧的 集合j，则每个历史关键帧对应一个集合；计算集合j中各历史关键帧与当前关键帧的相似度， 并求和，定义为相似度和值s，利用s来评判这11个关键帧和当前关键帧是否有可能形成回 环，筛选条件为：
s>0.75(smax-smin)+smin
其中，s是关键帧集合与当前关键帧的相似度之和，smin表示上述关键帧集合与当前关键 帧的相似度和值s中的最小值；smax表示上述关键帧集合与当前关键帧的相似度和值s中的最 大值；
在满足上述筛选条件的集合中选出与当前关键帧相似度最高的关键帧，作为全向回环检 测的候选关键帧；遍历历史关键帧集合中所有历史关键帧h，则可找到可作为全向回环检测 的多个候选关键帧。
在步骤S5和步骤S6的匹配过程中，不仅仅匹配相同相机图像中的特征点或是相同相机 观测的地图点，而是在两个关键帧之间对全部地图点和特征点进行全局匹配，使回环校正算 法在传感器朝向差异较大时仍能完成轨迹校正和地图更新，解除传感器朝向的限制。在步骤 S6的匹配过程中，根据同一关键帧中特征点和地图点的对应关系获取两次投影匹配得到的两 组匹配结果中都存在的匹配点对，剔除其余匹配结果，可以有效地提高该步骤的匹配准确度。
所述回环校正过程会使用相似变换表示多相机全景视觉系统的位姿变换，相似变换是带 有尺度信息的位姿变换，可以在回环校正过程中优化关键帧之间平移量的尺度，提升历史轨 迹和地图的全局一致性。
基于3D-3D匹配地图点信息的相似变换求解方法使用3对地图点匹配信息即可计算相似 变换，并且在计算时可以先将所有三维地图点的坐标基准统一，避免计算过程中引入不同相 机之间的位姿变换，使计算效率明显提高。
所述RANSAC算法会根据相似变换求解问题求取一个最大迭代次数，并额外设置一个固 定的最大迭代次数，当迭代次数超过二者的最小值时视为求解失败，保证算法运行效率，所 求取的最大迭代次数为
其中，z是经最大次数kmax迭代后最少有一次选中在模型容忍范围内的最小样本的概率，imin是最终结果所需要的最小内点数，ns是总匹配点对数。
在RANSAC算法迭代过程中，某一关键帧与当前关键帧相似变换求解的迭代过程中不会 一次性完成，而是按预先设定的次数轮流迭代每一个候选关键帧相关的求解问题，每当一个 关键帧的迭代求解得到有效值后，为其进行进一步匹配和非线性优化，直到其中一个关键帧 满足有效匹配数量条件或全部关键帧都不满足条件，在候选关键帧数量较大时能快速找到正 确的回环关键帧。
实施例1
本实施案例中所提供的附图只能说明本发明的基本构想，仅显示与本实施案例相关的组 件，并非按照实际实施时的组件数目、尺寸绘制，实际实施过程中的各组件形态、数量可以 随意改变。
本实施案例提供一种基于多相机全景视觉的SLAM全向回环校正方法，该方法使用的硬 件结构如图1所示，该图显示4个相机组成的多相机全景视觉系统，每个相机的水平视场角 约为120°，相邻相机的视场范围均有一定的重叠。
如图2所示，所述的基于多相机全景视觉的SLAM全向回环校正方法包括以下步骤：
步骤S1、多相机全景视觉图像采集。利用电信号按照15Hz的频率同步触发4个相机， 获取同步采集的多相机图像，同时获取预先标定的相机模型内参和位姿变换外参，并将参数 与对应相机的图像相关联，相机模型内参包括针孔相机模型矩阵元素的4个参数和径向畸变、 切向畸变模型的5个参数，位姿变换外参则为旋转矩阵和平移向量。
步骤S2、图像特征提取与匹配。在多个相机采集的图像中提取ORB特征点，并匹配相 邻相机图像的特征点，在完成匹配后使用Sampson误差检查匹配结果是否满足对极几何约束， 剔除Sampson误差大于0.01的匹配结果，检查特征点逆投影后的观测方向向量夹角，剔除夹 角不在1.5°到60°之间的匹配结果，然后通过三角测量方法计算匹配点对对应的三维点坐 标，检查三维点深度是否为正，检查三维点在两幅图像中的重投影误差模长是否小于剔 除不满足条件的匹配结果，使特征匹配结果更加准确。上述过程每一个相机的图像在一个单 独的线程中处理，通过多线程编程提高算法效率。
步骤S3、训练词袋模型的字典。使用多相机全景视觉系统采集大量图像制作训练集，在 图像中提取特征点并匹配，剔除每一对匹配点中的一个点之后通过K-means++算法对未匹配 特征点以及匹配点对中剩余的特征点进行聚类，通过6轮训练生成一个度为9、深度为6的 k-d树作为词袋模型的字典，训练时统计每个叶子节点聚类后对应的特征点数目作为叶子节点 对应单词的逆文档频率。
步骤S4、全向回环检测。在SLAM过程中为每一个关键帧提取图像特征点并匹配相邻相 机图像的特征点，剔除每一对匹配点中的一个点之后，为未匹配特征点以及匹配点对中剩余 的特征点寻找k-d树中对应的单词，统计每个单词对应特征点出现的频率，并生成多相机图 像的描述向量，保证描述向量充分利用环境中的视觉信息，同时避免冗余信息的干扰。利用 描述向量计算历史关键帧与当前关键帧的相似度，并以当前关键帧和与当前关键帧共视超过 30个地图点的关键帧之间的相似度最小值为阈值初步筛选关键帧，然后为每一个筛选得到的 关键帧搜索与其具有最大共视关系的10个关键帧，并将这11个关键帧组成一个集合，计算 每一个集合的关键帧与当前关键帧的相似度之和，获取相似度之和满足如权利要求2所述条 件的集合，选取满足条件的每一个集合中与当前关键帧相似度最高的关键帧作为候选关键帧。
步骤S5、回环检测结果初步筛选及候选关键帧相似变换初步解算。对于每一个候选关键 帧，对该关键帧观测的地图点和当前关键帧观测的地图点进行全局匹配，使解算可以在传感 器朝向差异较大时能够完成，然后结合RANSAC算法和基于3D-3D匹配地图点信息的相似 变换求解算法求解该关键帧和当前关键帧之间的相似变换，用相似变换后匹配地图点的位置 误差筛选匹配结果后，根据剩余有效匹配数量检查该关键帧是否仍然可能与当前关键帧形成 回环，并为可能形成回环的候选关键帧输出该关键帧与当前关键帧之间的相似变换，在上述 RANSAC算法迭代过程中以50次迭代为周期轮流迭代各个关键帧的相似变换求解问题，使 算法在候选关键帧数量较大时能更快地找到正确的回环关键帧。
步骤S6、候选关键帧相似变换优化及回环关键帧确认。对于步骤S5输出的每一个候选 关键帧，根据该关键帧与当前关键帧的相似变换，将当前关键帧观测的地图点投影至候选关 键帧每一个相机采集的图像中，检查投影点是否在图像内以及地图点深度是否为正，据此剔 除无效投影点并在剩余投影点邻域内检索匹配的特征点，通过相同方法将候选关键帧观测的 地图点投影至当前关键帧图像中进行匹配，然后检查匹配是否一致，剔除不一致的匹配结果， 通过非线性优化算法优化当前关键帧与候选关键帧之间的相似变换，最终保留一个关键帧作 为回环关键帧。
步骤S7、回环校正与地图更新。利用回环关键帧与当前关键帧之间的相似变换关系进行 位姿图优化，并以位姿图优化的结果作为初始值，对全局地图进行捆集优化，完成回环校正 与地图更新。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在 本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。
Claims (8)
1.一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，包括如下步骤：
步骤S1、根据相机的视场范围对相机进行排布组成多相机全景视觉系统，使多个相机能在水平方向上观测360°的环境信息，对各相机进行标定，包括相机成像模型的内参和表示多个相机之间位姿关系的外参；
步骤S2、触发多相机全景视觉系统的中各相机同步采集图像，然后在多个相机的图像中提取特征点，并匹配相邻相机图像中的特征点；
步骤S3、使用提取的特征点训练词袋模型，最终经过多轮训练生成以k-d树为数据结构的字典；其中，特征点包括图像中未匹配的特征点和删除了一个特征点的匹配点对；
步骤S4、在SLAM过程中为每一个关键帧图像提取特征点，匹配相邻相机图像中的特征点，并使用字典为每一个关键帧图像构建描述向量，通过描述向量计算每一个历史关键帧和当前关键帧之间的相似度，然后根据相似度检索可能与当前关键帧形成回环的关键帧，作为候选关键帧；
步骤S5、对于每一个候选关键帧，匹配该关键帧与当前关键帧观测的地图点，为候选关键帧求解与当前关键帧之间的相似变换，根据相似变换计算每一对匹配地图点之间的位置误差并通过设定的误差阈值挑选有效的匹配地图点对，然后根据有效匹配地图点对数量判断该关键帧是否可能与当前关键帧形成回环；
步骤S6、根据可能形成回环的候选关键帧与当前关键帧的相似变换，将当前关键帧尚未匹配的地图点投影至该候选关键帧的图像中，并在投影点邻域内检索匹配的二维特征点，设在当前关键帧中地图点表示为A，与该地图点匹配的特征点为a；同时将候选关键帧中尚未匹配的地图点投影至当前关键帧的图像中进行匹配，设候选关键帧中地图点表示为B，与该地图点匹配的特征点为b，如果地图点A与特征点b匹配，且地图点B与特征点a也匹配，则这两对点匹配成功；利用步骤S5和步骤S6中的地图点、特征点匹配结果对当前关键帧和候选关键帧之间的相似变换进行非线性优化，优化后检查各匹配点对重投影误差并对匹配结果进行筛选，如果剩余的有效匹配数量达到设定要求，则该候选关键帧与当前关键帧匹配成功，如果匹配不成功，则返回步骤S5；将第一个与当前关键帧匹配成功的候选关键帧作为回环关键帧，执行步骤S7；
步骤S7、利用回环关键帧与当前关键帧之间的相似变换关系进行位姿图优化，并以位姿图优化的结果作为初始值，对全局地图进行捆集优化，完成回环校正与地图更新。
2.如权利要求1所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S4中，通过当前关键帧和与其有共视地图点的历史关键帧之间的最小相似度作为阈值，对全部历史关键帧进行筛选，得到历史关键帧集合；
针对历史关键帧集合中任意一个历史关键帧h，找到与历史关键帧h具有最大共视关系的10个关键帧，连同关键帧h，形成具有11个关键帧的集合j，则每个历史关键帧对应一个集合；计算集合j中各历史关键帧与当前关键帧的相似度，并求和，定义为相似度和值s，利用s来评判这11个关键帧和当前关键帧是否有可能形成回环，筛选条件为：
s>0.75(smax-smin)+smin
其中，s是关键帧集合与当前关键帧的相似度之和，smin表示上述关键帧集合与当前关键帧的相似度和值s中的最小值；smax表示上述关键帧集合与当前关键帧的相似度和值s中的最大值；
在满足上述筛选条件的集合中选出与当前关键帧相似度最高的关键帧，作为全向回环检测的候选关键帧；遍历历史关键帧集合中所有历史关键帧h，则找到可作为全向回环检测的其它候选关键帧。
3.如权利要求1或2所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S2中，所述词袋模型训练过程中使用的图像特征点为ORB特征点。
4.如权利要求3所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S2中，所述相邻相机图像特征匹配方法会通过检查匹配点对是否符合对极几何约束以及夹角是否在设置范围内来筛选匹配结果，去除误匹配。
5.如权利要求1或2所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S6中，将当前关键帧观测的地图点投影至候选关键帧每一个相机采集的图像中，检查投影点是否在图像内以及地图点深度是否为正，据此剔除无效投影点。
6.如权利要求1或2所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S3中，词袋模型训练算法为K-means++聚类算法，每一轮聚类算法将现有样本划分为k类，经过d轮聚类生成k-d树形式的字典，字典中每一个叶子节点被称为一个单词，对应一类特征点。
7.如权利要求1或2所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S4中，使用L1范数计算图像相似度。
8.如权利要求1或2所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S5中，结合RANSAC算法和基于3D-3D匹配地图点信息的相似变换求解算法求解该关键帧和当前关键帧之间的相似变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110638485.7A CN113506342B (zh) | 2021-06-08 | 2021-06-08 | 一种基于多相机全景视觉的slam全向回环校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110638485.7A CN113506342B (zh) | 2021-06-08 | 2021-06-08 | 一种基于多相机全景视觉的slam全向回环校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113506342A CN113506342A (zh) | 2021-10-15 |
| CN113506342B true CN113506342B (zh) | 2024-01-02 |
Family
ID=78008983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110638485.7A Active CN113506342B (zh) | 2021-06-08 | 2021-06-08 | 一种基于多相机全景视觉的slam全向回环校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506342B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882254B (zh) * | 2022-07-12 | 2022-09-23 | 东南大学 | 基于改进ransac校验的空间失效卫星回环检测方法 |
| CN115200588B (zh) * | 2022-09-14 | 2023-01-06 | 煤炭科学研究总院有限公司 | 移动机器人的slam自主导航方法及其装置 |
| CN118470474A (zh) * | 2023-02-09 | 2024-08-09 | 中兴通讯股份有限公司 | 多传感器融合的slam方法、设备及介质 |
| CN117826141A (zh) * | 2023-12-29 | 2024-04-05 | 广东工业大学 | 一种复杂环境下分布式无人机群的协同定位方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
| CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
| CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
| CN112461228A (zh) * | 2020-11-03 | 2021-03-09 | 南昌航空大学 | 一种相似环境下基于imu和视觉的二次回环检测定位方法 |
-
2021
- 2021-06-08 CN CN202110638485.7A patent/CN113506342B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
| CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
| CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
| CN112461228A (zh) * | 2020-11-03 | 2021-03-09 | 南昌航空大学 | 一种相似环境下基于imu和视觉的二次回环检测定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的SLAM回环检测算法研究;胡年宗;伍世虔;张亦明;;计算机仿真(05);287-291 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113506342A (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111561923B (zh) | 基于多传感器融合的slam制图方法、系统 | |
| CN113506342B (zh) | 一种基于多相机全景视觉的slam全向回环校正方法 | |
| CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN112907491B (zh) | 一种适用于井下巷道的激光点云回环检测方法及系统 | |
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
| WO2019057179A1 (zh) | 一种基于点线特征的视觉slam方法和装置 | |
| CN112734841B (zh) | 一种用轮式里程计-imu和单目相机实现定位的方法 | |
| Cui et al. | Efficient large-scale structure from motion by fusing auxiliary imaging information | |
| CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
| Yuan et al. | SDV-LOAM: semi-direct visual–LiDAR Odometry and mapping | |
| CN112362072A (zh) | 一种复杂城区环境中的高精度点云地图创建系统及方法 | |
| CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
| CN107818598B (zh) | 一种基于视觉矫正的三维点云地图融合方法 | |
| CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
| CN104966063A (zh) | 基于gpu与cpu协同计算的矿井多摄像机视频融合方法 | |
| CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| CN113516692A (zh) | 一种多传感器融合的slam方法和装置 | |
| CN112767546B (zh) | 移动机器人基于双目图像的视觉地图生成方法 | |
| Zhang | LILO: A novel LiDAR–IMU SLAM system with loop optimization | |
| CN113763481B (zh) | 一种移动场景中多相机视觉三维地图构建与自标定方法 | |
| CN110163915B (zh) | 一种多rgb-d传感器的空间三维扫描方法及装置 | |
| WO2020197495A1 (en) | Method and system for feature matching | |
| CN113256736B (zh) | 一种基于可观测性优化的多相机视觉slam方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |