Nothing Special   »   [go: up one dir, main page]

CN111739066B - 一种基于高斯过程的视觉定位方法、系统及存储介质 - Google Patents

一种基于高斯过程的视觉定位方法、系统及存储介质 Download PDF

Info

Publication number
CN111739066B
CN111739066B CN202010731969.1A CN202010731969A CN111739066B CN 111739066 B CN111739066 B CN 111739066B CN 202010731969 A CN202010731969 A CN 202010731969A CN 111739066 B CN111739066 B CN 111739066B
Authority
CN
China
Prior art keywords
gaussian process
position point
features
track
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010731969.1A
Other languages
English (en)
Other versions
CN111739066A (zh
Inventor
李坚强
陈杰
李钦坚
胡书卿
梁中明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010731969.1A priority Critical patent/CN111739066B/zh
Publication of CN111739066A publication Critical patent/CN111739066A/zh
Priority to PCT/CN2020/127187 priority patent/WO2022021661A1/zh
Application granted granted Critical
Publication of CN111739066B publication Critical patent/CN111739066B/zh
Priority to US17/666,550 priority patent/US12145281B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明所提供的一种基于高斯过程的视觉定位方法、系统及存储介质，其中，所述方法包括：采集行进途中周围环境的图像信息及移动的轨迹点；提取所采集图像信息中的全局特征和语义特征；按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式；根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点，所述下一个位置点用于为导航提供定位指引。能够建立当前状态与历史状态之间的关联，进而提高了所预测出的下一个位置点的准确性，能够为机器人运动提供精准的导航。

Description

一种基于高斯过程的视觉定位方法、系统及存储介质
技术领域
本发明涉及人工智能定位技术领域，尤其涉及的是一种基于高斯过程的视觉定位方法、系统及存储介质。
背景技术
定位是机器人导航最基本的问题，在未知环境中，机器人自身的定位存在较大误差，因而并不能根据机器人自身的定位为机器人提供导航。因而，需要对机器人的定位进行优化，主要的优化框架有两大类：
一类是基于光束平差法的优化框架，光束平差是一套成熟的视觉定位理论，它具有对整个轨迹进行优化的能力，但易失去对机器人移动轨迹的追踪，且当机器人处于室外变化和噪声较大的环境中时存在较大的定位误差。
另一类是基于滤波方法的优化框架，但该方法只能估计出机器人的最新状态，但机器人当前的状态与历史状态是相互关联的，在不考虑机器人历史状态的情况下，仅估计机器人的最新状态，势必会降低定位的准确性。
可见，以上两种主要的定位优化框架均存在定位准确性差的问题，因此，现有技术存在缺陷，有待改进与发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于高斯过程的视觉定位方法、系统及存储介质，旨在解决现有技术中的用于优化机器人定位的优化框架的定位准确性差的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于高斯过程的视觉定位方法，其中，包括：
采集行进途中周围环境的图像信息及移动的轨迹点；
提取所采集图像信息中的全局特征和语义特征；
按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式；
根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点，所述下一个位置点用于为导航提供定位指引。
通过建立全局特征和语义特征与轨迹点之间的空间关联性，能够提高通过重建的贝叶斯滤波框架预测位置点的准确性。
进一步地，所述根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点，具体包括：
将所述高斯过程表达式代入贝叶斯算法中，以高斯过程表达式构建贝叶斯滤波框架的观测模型，重建贝叶斯滤波框架；
赋予当前轨迹一个初始位置点，在重建的贝叶斯滤波框架中根据所述初始位置点预测当前轨迹的下一个位置点；
对所预测出的下一个位置点施加观测模型进行位置修正，得到修正后的预测位置点。
进一步地，所述对所预测出的下一个位置点施加观测模型进行位置修正，得到修正后的预测位置点，之后包括：
以修正后的预测位置点作为当前位置点继续预测下一个位置点。
通过不断对位置点进行修正，以及预测下一个位置点，能够得到完整的轨迹，利于为机器人提供导航。
进一步地，所述提取所采集图像信息中的全局特征和语义特征的方式分别为：
通过Steerable Pyramid算法提取所采集图像信息中全局特征的维度；
通过CenterNet算法语义提取所采集的每张图片中不同类别事物的最高概率值。
进一步地，所述按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式，具体包括：
压缩所提取全局特征的维度至不重复的最少维度；
按照事物类别分别为语义提取的最高概率值建立一个维度；
将所提取的全局特征和语义特征对应的维度结合成特征值矩阵；
建立特征值矩阵与所采集的轨迹点的对应关系，并进行训练，输出表示特征值与轨迹点空间关系的高斯过程表达式。
通过对全局特征和语义特征进行高维度的处理，能够使得处理结果应用于高斯过程，利于高斯建模。
进一步地，所述建立特征值矩阵与所采集的轨迹点的对应关系，并进行训练，输出表示特征值与轨迹点空间关系的高斯过程表达式，具体包括：
以轨迹点作为X值，以特征值作为Y值，进行高斯过程训练，建立特征值与轨迹点之间的联系，得到高斯过程表达式。
进一步地，所述采集行进途中周围环境的图像信息及移动的轨迹点具体包括：
启用摄像头拍摄行进途中周围环境的图像；
通过GPS定位行进途中移动的轨迹点，并随机采集通过GPS定位的轨迹点。
采用摄像头进行拍摄，在降低成本的同时能够保证获取到的图像信息最大化，提高了周围环境的可识别率。
进一步地，所述当前轨迹的初始位置点为通过GPS定位的当前轨迹的第一个位置点。
本发明还公开一种系统，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上所述的基于高斯过程的视觉定位方法。
本发明还公开一种存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于高斯过程的视觉定位方法。
本发明所提供的一种基于高斯过程的视觉定位方法、系统及存储介质，其中，所述方法包括：采集行进途中周围环境的图像信息及移动的轨迹点；
提取所采集图像信息中的全局特征和语义特征；按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式；根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点。能够建立当前状态与历史状态之间的关联，进而提高了所预测出的下一个位置点的准确性，能够为机器人运动提供精准的导航。
附图说明
图1是本发明中基于高斯过程的视觉定位方法的较佳实施例的流程图。
图2是现有技术中使用无人车和无人机在未知环境中运行时的原始轨迹示意图。
图3是本发明中无人车运行结果的数值示意图。
图4是本发明中无人车运行轨迹的示意图。
图5是本发明中无人机运行结果的数值示意图。
图6是本发明中无人机运行轨迹的示意图。
图7是本发明中对不同特征进行滤波时的效果对比图。
图8是本发明中对观测值进行数值化处理的较佳实施例的示意图。
图9是图1步骤S300中对全局特征、语义特征和随机采用的轨迹点进行处理的方式的较佳实施例的流程图。
图10是图1步骤S400中通过重建的贝叶斯滤波框架预测位置点以及对所预测出的位置点进行修正的较佳实施例的流程图。
图11是传统的贝叶斯滤波框架。
图12是本发明中进行重建后的贝叶斯滤波框架。
图13是本发明中系统的较佳实施例的功能原理框图。
图14是本发明中系统的具体实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
SLAM(定位与地图，simultaneous localization and mapping)是目前人工智能热门的研究方向之一，其中，SLAM问题可描述为：机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。
但是，SLAM算法仅考虑了机器人如何利用它所获得的信息构建环境的地图，并在该地图中对机器人进行定位，没有考虑机器人如何有效地探测未知环境的问题，不能用作机器人的路径规划。
因而，在上述SLAM算法的基础上发展出了ORBSLAM算法，ORBSLAM是一个基于特征点的实时单目SLAM系统，在大规模的、小规模的、室内室外的环境都可以运行，包含的模块有：跟踪（Tracking）、建图（Mapping）、闭环检测（Loop closing），其原理为：通过从图像中提取ORB特征，根据上一帧进行姿态估计，或者进行通过全局重定位初始化位姿，然后跟踪已经重建的局部地图，优化位姿。但是ORBSLAM系统在室外环境下仍然会由于受到各种不同的噪声而产生较大的误差。
基于以上算法，还需要对其进行定位优化，常见的机器人定位主要的优化框架有两类，一类是基于光束平差法BA(Bundle Adjustment)，也是ORBSLAM使用的优化方法，光束平差是一套成熟的视觉定位理论，它具有对整个轨迹进行优化的能力。但是，由于图像中的相邻特征需要匹配，而在旋转、初始化和光照变化的情况下，轨迹可能会失去跟踪，因此它严重依赖于图像数据，并且假设轨迹是平滑的。这些对于室外变化和噪声较大的环境来说存在较多的定位误差，当使用ORBSLAM进行室外机器人定位的时候也经常会丢失特征点而导致轨迹缺失，甚至从此失去定位信息。
另一种是滤波方法，其计算效率高，但只估计最新的机器人姿态。Bayes滤波器利用运动模型估计轨迹，利用观测模型修正误差。在给定机器人当前位置的情况下，观测模型通常具有马尔可夫特性，其当前测量值与过去的测量值有条件无关，由于环境具有空间相关结构，使得机器人的定位性能大大降低。
可见，以上两种常用的机器人定位优化框架在具体应用时还存在弊端，若对机器人的位置预测不够准确，在会存在一定的误差，且会累计误差，导致后续预测出的运行轨迹与实际轨迹存在很大偏差。因而，本发明针对现有的定位优化框架定位不准确的问题进行了改进，以实现机器人在未知环境中精准定位。
本发明的技术方案如下：
请参见图1，图1是本发明中一种基于高斯过程的视觉定位方法的流程图。如图1所示，本发明实施例所述的一种基于高斯过程的视觉定位方法包括以下步骤：
S100、采集行进途中周围环境的图像信息及移动的轨迹点。
采集图像信息的方式有多种，可采用摄像头进行拍摄，也可采用激光雷达进行探测，以上两种方式在用于室外环境探测时能够更加精准。
其中，激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。工作原理是:向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数,从而对飞机、导弹等目标进行探测、跟踪和识别。激光雷达测距具有探测距离远、测量精度高、角度分辨率高的特点，能够较准确地感知周围环境，但是由于其高昂的成本，也会造成机器人成本的增高，并不利于商业推广。
因而，本申请中采用了摄像头用来感测周围环境，摄像头相较于激光雷达的价格更为便宜，能够得到广泛应用，有利于机器人技术开发，且通过摄像头得到的视觉信息中包含了丰富的结构信息，利于构建地图以及提取语义信息。
在进一步具体的实施例中，采集行进途中周围环境的图像信息为：启用摄像头拍摄行进途中周围环境的图像。具体地，可对机器人的结构进行改进，将摄像头装载在机器人中，也可不对机器人结构进行改进，采用在机器人上安装车载摄像机的方式，或者采用飞行器进行同步拍摄，或者以其他方式使得摄像机与机器人同步行进，以对机器人周围环境进行拍摄。可以理解地，采用摄像头拍摄机器人行进途中周围环境的方式有多种，此处并不进行一一举例，凡是能够同步拍摄机器人周围环境的方式均可用于本实施例中。
在进一步具体的实施例中，采集行进途中移动的轨迹点的方式为：通过GPS定位行进途中移动的轨迹点，并随机采集通过GPS定位的轨迹点。具体地，在机器人上安装传感设备，进而能够准确定位机器人运动的真实轨迹点，并从真实轨迹点中随机采样。
S200、提取所采集图像信息中的全局特征和语义特征。
目前室外移动机器人视觉定位系统主要有ORBSLAM系统和VINS系统。两者都使用的是局部特征作为观测值，以表证图像此刻的观测，其中，局部特征指的是从图像的局部区域中抽取的特征，局部区域包括边缘、角点、线、曲线和特别属性的区域等。使用局部特征作为观测值，若要对多帧图像中的局部特征进行匹配，则要求匹配精度越高则定位越准确，对应则要求提取出更多的局部特征，因此，计算量也会随着匹配精度而增大，并不利于对局部特征进行匹配处理。
如图2、图4、图6所示，为现有技术中预测的轨迹与本发明中预测的轨迹的对比图，图2中为现有技术中分别使用无人车（a）（golf cart）和无人机（b）（UAV）在未知环境中运行的示意图，其中，无人车（a）的原始运行轨迹为（c）（ground truth of golf cart），无人机（b）的原始运行轨迹为（d）（ground truth of UAV）；
而本发明通过设置了一系列参数，得出的实验结果如图3至图6所示，图3为无人车的实验结果数值，其对应的图4为无人车的实验结果图示；图5为无人机的实验结果数值，其对应的图6为无人机的实验结果图示，其中，（a）（blind motion）为在未知环境运行，（b）（semantic）为提取语义特征，（c）（global visual）为提取视觉特征；（d）（global visualand semantic）为结合语义特征和视觉特征。
经以上实验结果对比可知，本申请通过提取语义特征和全局特征并结合高斯过程不断预测当前轨迹位置点，以及对所预测的位置点进行修正，其得到的运行轨迹与现有技术中未提取语义特征和全局特征，直接使用贝叶斯滤波的实验结果存在较大差距，同时也表明了本发明所使用方法预测位置点的准确性。
本申请采用全局特征作为观测值，其中，全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征等，比如强度直方图。全局特征具有良好的不变性、计算简单、表示直观等特点。可以较好的表示相邻的位置之间的关联性。
在一具体实施例中，提取全局特征作为观测值的方式为：通过Steerable Pyramid算法提取所采集图像信息中全局特征的维度。其中，Steerable Pyramid算法用于将图像分解成不同尺度、不同方向的子带信息，通过分解的子带图像，可以在不同尺度、不同方向上观察我们所需的特征。
同时，本申请还结合了语义特征作为观测值，语义特征也是近几年随着深度学习的发展而不断发展起来的一个特征表示方式，语义往往可以帮助我们更好地去理解图像，可以让机器人的定位更加智能，同时，相邻位置之间的语义信息的关联性也很大。
在一具体实施例中，提取语义特征作为观测值的方式为：通过CenterNet算法语义提取所采集的每张图片中不同类别事物的最高概率值。具体地，对每张图片上的事物进行分类，同一类事物中寻找能够识别的概率值最高的。其中，基于CenterNet的算法，是预测左上与右下两个角点的位置。每次预测两个heatmap（两个脚点的）、offset（从heatmap到原图映射）、embedding（两个脚点是否为同一物体）。
此处需要说明的是，若仅仅只提取语义特征和全局特征中的一种，则并不能够实现最好的定位效果，如图4和图6所示，因为语义信息可提取的类别较少，用于定位的信息还不够充分，会导致最终的误差也相对较高，而结合全局特行能够达到更好的效果。相对地，由于语义信息占比较少，其精确性比全局特征和局部特征更差，但进行滤波的速度更快，如图7所示，单线表示语义特征，双线表示全局特征，在实验过程中，采用不同的设备，以无人车和无人机为例，分别采集语义特征和全局特征，在进行滤波时，语义特征的滤波速率明显较快。通过将全局特征和语义特征进行结合，能在保持精确度最优的情况下实现滤波过程中消耗时间更少，因此非常适合于室外实时机器人定位的系统。
通过分别提取图像信息中的全局特征和语义特征，能够克服提取局部特征作为观测值时所要求的计算量大的局限，且全局特征和语义特征均能够很好地表述相邻位置之间的关联性，能够很好地表述当前运动状态与历史运动状态之间的关联性，利于提高定位的准确性。且提取语义信息也有利于今后的语义分割和语义信息提取等，使得定位系统更加智能化。
S300、按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式。
其中，高斯过程（GP）指：如果随机过程的有限维分布均为正态分布，则称此随机过程为高斯过程或正态过程。
通过将所提取的全局特征和语义特征作为观测值，进而建立观测值与轨迹点之间的空间结构关系，能够建立机器人当前状态与历史状态之间的联系。其中，全局特征和语义特征所表示的相邻位置之间具有较大关联性，利于构建高斯过程，进而形成观测值与随机采样的轨迹点之间的正态分布。
进一步地，上述对观测值的选择以及观测值的处理过程可选用离线处理的方式，具体做法是将观测值数值化，可参见图8，通过对观测值进行离线处理，并不占用系统内存，能够提高系统运行速度。
在一具体实施例中，如图9所示，对全局特征、语义特征和随机采用的轨迹点进行处理的方式具体为以下步骤：
S310、压缩所提取全局特征的维度至不重复的最少维度。
具体地，通过开源的Steerable Pyramid的算法提取图像中的全局特征，并对全局特征进行压缩处理，处理方式此处以实验数据进行说明：当对全局特征进行提取后，提取了72维的全局特征，但是72维中以4*18的维度循环重复，故而，将原来的72维全局特征压缩为不重复的18维全局特征。
S320、按照事物类别分别为语义提取的最高概率值建立一个维度。
具体地，提取每张图片中各个类别能够识别的最高概率值作为观测值，比如每张图片中单一的类别就只有一个概率值，故只提取该类别的一个概率值作为观测值即可；若每张图片中同一类别存在多个物体，则提取不同图片中同一类别中识别概率最高的物体的概率值作为观测值。之后，将提取出的每个类别作为一个维度，完成对语义特征的处理。
S330、将所提取的全局特征和语义特征对应的维度结合成特征值矩阵；其中，行的维度表示全局特征中的特征类别或者语义特征中事物的类别，列的维度表示估计点或者每一帧图片。
具体地，使用matlab对代码进行处理，形成矩阵形式，形成的特征值矩阵作为一个N*18的矩阵，当前轨迹点形成N*3的矩阵，其中，N表示图片数/位置数。
S340、建立特征值矩阵与所采集的轨迹点的对应关系，并进行训练，输出表示特征值与轨迹点空间关系的高斯过程表达式。
具体地，以轨迹点作为X值，以观测值作为Y值，其中，观测值为语义特征与全局特征进行结合之后的特征值值，通过对观测值和轨迹点进行高斯过程的训练，可以得到一系列表示空间结构之间相关性的协方差函数和均方差（包括核函数）等，作为高斯过程的表达式，将其称作GP Model。通过进行高斯过程的训练，能够得到每一个轨迹点和观测值之间的关系，也即已知当前的观测值，可以通过训练出来的模型推算出与当前观测值对应的当前轨迹点的位置，此推算过程用高斯核函数表示。
可以理解地，通过真实采样的轨迹点和特征值进行高斯过程的训练，目的是为了建立轨迹点与观测值之间的关系，因而，只需要进行一次采样，且随机采取轨迹点，进行一次高斯过程训练，进而得到一个模型，就可将该模型用于相似的场景中，进而能够减少频繁建模的需要，节省数据处理流程。
S400、根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点，所述下一个位置点用于为导航提供定位指引。
其中，贝叶斯滤波的原理是根据概率状态估计机器人的姿态，具体地，贝叶斯滤波器是一种概率状态估计框架，如图11所示，图11为传统的贝叶斯滤波框架，通过调节机器人执行的控制动作和进行的现场测量，反复更新机器人位置/状态的信念，在机器人执行了一系列控制动作后，机器人得到一些观测值和相应的控制信息，然后机器人当前的位置可以通过计算概率分布估算出来，需要计算的称之为信念的概率值（belief）。贝叶斯滤波的框架是由运动模型和观测模型组成的，通常将贝叶斯滤波过程分为两个步骤，也即是通过运动模型估算位置，观测模型修正估算出来的位置。
贝叶斯滤波的观测模型中存在一个马尔可夫（Markov）假设，也即机器人当前的观测值和过去的观测和控制信息无关，仅仅和当前的状态相关。这种假设没有充分利用机器人轨迹上历史数据，忽略了历史数据对于估算机器人当前位置的重要性，进而在一定程度上降低了机器人的定位性能。
因而，本发明为了克服观测模型的马尔可夫特性，引入了具有空间相关性的高斯过程对贝叶斯滤波框架进行重建，如图12所示，图12为本发明中重建后的贝叶斯滤波框架，图中增加了框线圈出的部分，用于表示对时空相关性建模，能够表示机器人当前的观测值和过去的观测和控制信息的相关性，进而提高了机器人定位的准确性。具体地，本发明中是将高斯过程表达式引入GP-Localize中，其中，GP-Localize算法能够在机器人运动过程中进行与空间相关的现场测量，由于GP-Localize为现有技术，此处不再赘述。GP-Localize能够解决马尔可夫假设，降低由于高斯过程计算协方差的逆矩阵导致的三次方的内存和时间复杂度，进而实现常数项的时间和内存。本发明通过利用贝叶斯滤波且基于高斯过程的GP-Localize算法扩展到视觉的高维数据，可以保持GP-Localize常数项级别的时间和内存复杂度，非常适合于实时的机器人定位，并安装摄像头的传感设备，有利于进一步推广和实现商业化。
同时，通过对所拍摄的周围环境图像信息进行维度处理，能够建立室外环境的高维的视觉数据，使得定位更加智能化。且以在线处理的方式，通过对贝叶斯滤波框架进行重建，并赋予当前轨迹一个真实的初始位置点，其中，所述当前轨迹的初始位置点为通过GPS定位的当前轨迹的第一个位置点，所述第一个位置点可通过多次重复采样求取平均值得到。然后通过输入其他的调节参数就可以执行贝叶斯滤波过程，进而不断迭代出当前轨迹上的所有位置点，以实现机器人对其自身的运动提供精准的导航。可以理解地，通过贝叶斯滤波实现对位置点的预测为现有技术，此处不再赘述。
在一具体实施例中，如图10所示，通过重建的贝叶斯滤波框架预测位置点以及对所预测出的位置点进行修正的步骤包括：
S410、将所述高斯过程表达式代入贝叶斯算法中，以高斯过程表达式构建贝叶斯滤波框架的观测模型，重建贝叶斯滤波框架。
S420、赋予当前轨迹一个初始位置点，在重建的贝叶斯滤波框架中根据所述初始位置点预测当前轨迹的下一个位置点。
S430、对所预测出的下一个位置点施加观测模型进行位置修正，得到修正后的预测位置点。
具体地，机器人在一未知环境中运动时，输入当前时刻t的控制u=（相对距离，相对角度），同时，机器人采集周围环境的观测值z，t时刻机器人对环境的观测信息由对m个路标的相对距离和角度测量组成。
同时，估计某坐标系下机器人位姿和所有已被观测的路标位置，即估计整个由机器人和环境路标所组成系统的状态，表示方式为：
Figure 474865DEST_PATH_IMAGE001
，称为信念，估计的方式具体分为两个部分：
对观测之前的先验分布求解t：
Figure 719902DEST_PATH_IMAGE002
其中，
Figure 375005DEST_PATH_IMAGE003
称为运动模型；
根据在时间t的观测，通过贝叶斯公式更新分布以获取后验分布：
Figure 52105DEST_PATH_IMAGE004
，其中，
Figure 928794DEST_PATH_IMAGE005
称为观测模型。
在观察模型中，贝叶斯过滤器强加了给定马尔可夫特性以保持效率机器人的当前位置Xt，其当前测量值Zt有条件独立于过去的行为u1：t =（u1，....；ut）T，并测量z1：t =（z1；... ；zt）T
可以表示为：
Figure 157781DEST_PATH_IMAGE006
本发明通过在贝叶斯框架中引入高斯过程，得到GP-Localize的过程为：
令X为一组位置，并且zx或Zx关联，每个位置
Figure 706706DEST_PATH_IMAGE007
代表观察如果x被观察到或未被观察到，虽然未观察到
Figure 967923DEST_PATH_IMAGE008
也表示一个GP，每个有限
Figure 856375DEST_PATH_IMAGE009
的子集具有多元高斯分布。每个GP的特点是平均值
Figure 646477DEST_PATH_IMAGE010
和协方差
Figure 948276DEST_PATH_IMAGE011
，对于所有x，
Figure 747605DEST_PATH_IMAGE012
，后者代表空间领域的相关结构。使用高斯预测未观察到的观察结果分布表达式为：
Figure 411936DEST_PATH_IMAGE013
。
在贝叶斯过滤器的框架下，放宽对马尔可夫性质的观察以考虑通过边缘化随机位置来获得所有历史数据直到时间步长t-1为止，机器人都已对其进行访问：
Figure 717146DEST_PATH_IMAGE014
其中，
Figure 771821DEST_PATH_IMAGE015
是机器人最初位置的信念时间步长0，
Figure 374841DEST_PATH_IMAGE016
是归一化常数，假设机器人已经参观并观察到一组位置
Figure 831361DEST_PATH_IMAGE017
直到时间长t-1，获得高斯预测分布
Figure 228844DEST_PATH_IMAGE018
。
通过用马尔可夫假设取代观察模型在贝叶斯滤波器中具有改进的观测模型，GP-Localize可以实现恒定的时间和内存，非常适合持久性机器人定位。
之后，在上述表达式中添加全局特征和语义特征，得到对应的表达式：
Figure 161028DEST_PATH_IMAGE019
，其中，
Figure 935384DEST_PATH_IMAGE020
是全局特征和语义特征的组合，根据上述公式，我们可以得到一个提供的多元高斯预测分布GVSGP，因为积分中的项
Figure 246411DEST_PATH_IMAGE021
公式不可计算，则使用Monte Carlo整合观测模型，整合后的表达式为：
Figure 80375DEST_PATH_IMAGE022
其中，
Figure 234275DEST_PATH_IMAGE023
表示使用观测模型对运动模型进行校正，通过多元高斯预测概率
Figure 929830DEST_PATH_IMAGE024
可以有效地获得
Figure 423259DEST_PATH_IMAGE025
，即由训练出的高斯过程可根据当前状态/位置点x得到对应的观测值z。
建立当前时刻的运动模型，通过运动模型预测出当前轨迹的下一个位置点，并对所预测出的下一个位置点施加由上述高斯过程表达式形成的观测模型进行位置修正，其修正表达式为：
Figure 428125DEST_PATH_IMAGE026
，其中的
Figure 679108DEST_PATH_IMAGE027
就是观测模型的公式，进而，通过获取的预测值可以计算高斯预测概率
Figure 162042DEST_PATH_IMAGE028
。
通过将高斯过程引入观测模型中进行建模，推导最后的公式如下：
Figure 447661DEST_PATH_IMAGE029
，其中，
Figure 357849DEST_PATH_IMAGE030
为新的观测模型。
通过贝叶斯滤波不仅仅利用了视觉信息，也利用了机器人本身的定位传感器进行定位，通过将高斯过程引入GP-Localize中建立观测模型，进而通过绘制地图实现机器人精准的导航。相比于ORBSLM系统而言，ORBSLM虽然局部精度较高，但关联性却相比于全局特征较差，往往产生的环境地图比较稀疏。本发明通过将全局特征和语义特征进行结合，不仅方便对高斯过程进行处理，且语义特征也能够用于后期的语义分割识别，能够更好地用于机器人定位，具有很强的实用性。
在一具体实施例中，在所述步骤S430之后包括：
以修正后的预测位置点作为当前位置点继续预测下一个位置点。
通过不断对位置点进行预测和修正的过程，可以实现整个轨迹的预测，完成对机器人精准的定位和导航。
本发明还公开一种系统，如图13所示，其中，包括有存储器20，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器20中，且经配置以由一个或者一个以上处理器10执行所述一个或者一个以上程序包含用于执行如上所述的基于高斯过程的视觉定位方法；具体如上所述。
如图14所示，本发明所述系统在运行时执行以下步骤：
第一步：选择观测值（observation choise）：选取周围环境的语义特征（steerable pyramid）和全局特征（centernet），然后以轨迹点作为x表示（loc：X），观测值用y表示（obs：Y），得到特征矩阵
第二步：进行高斯过程转化（Date Processing）,将特征矩阵输入高斯模型（GPModel）中，并结合实际定位的初始位置点（Initial GPS），通过输入一系列参数（parameters 、slice、 block-way等），得到高斯过程表达式。
第三步、将得到的高斯过程表达式代入贝叶斯框架中进行轨迹预测（trajectoryprediction），其中，使用运动模型（motion model）进行轨迹预测，使用观测模型（observation model）进行轨迹修正，其中，观测模型是通过高斯过程表达式（onlineglobal-semantic gaussian process）在线创建的。
本发明还公开一种存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于高斯过程的视觉定位方法；具体如上所述。
综上所述，本发明公开的一种基于高斯过程的视觉定位方法、系统及存储介质，其中，所述方法包括：采集行进途中周围环境的图像信息及移动的轨迹点；提取所采集图像信息中的全局特征和语义特征；按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式；根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点。能够建立当前状态与历史状态之间的关联，进而提高了所预测出的下一个位置点的准确性，能够为机器人运动提供精准的导航。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于高斯过程的视觉定位方法，其特征在于，包括：
采集行进途中周围环境的图像信息及移动的轨迹点；
提取所采集图像信息中的全局特征和语义特征；
按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式；
根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点，所述下一个位置点用于为导航提供定位指引。
2.根据权利要求1所述的基于高斯过程的视觉定位方法，其特征在于，所述根据所述高斯过程表达式重建贝叶斯滤波框架，并赋予当前轨迹一个初始位置点，通过重建的贝叶斯滤波框架生成当前轨迹的下一个位置点，具体包括：
将所述高斯过程表达式代入贝叶斯算法中，以高斯过程表达式构建贝叶斯滤波框架的观测模型，重建贝叶斯滤波框架；
赋予当前轨迹一个初始位置点，在重建的贝叶斯滤波框架中根据所述初始位置点预测当前轨迹的下一个位置点；
对所预测出的下一个位置点施加观测模型进行位置修正，得到修正后的预测位置点。
3.根据权利要求2所述的基于高斯过程的视觉定位方法，其特征在于，所述对所预测出的下一个位置点施加观测模型进行位置修正，得到修正后的预测位置点，之后包括：
以修正后的预测位置点作为当前位置点继续预测下一个位置点。
4.根据权利要求1所述的基于高斯过程的视觉定位方法，其特征在于，所述提取所采集图像信息中的全局特征和语义特征的方式分别为：
通过Steerable Pyramid算法提取所采集图像信息中全局特征的维度；
通过CenterNet算法语义提取所采集的每张图片中不同类别事物的最高概率值。
5.根据权利要求4所述的基于高斯过程的视觉定位方法，其特征在于，所述按照预设处理规则对所提取的全局特征和语义特征、以及移动的轨迹点进行处理，得到高斯过程表达式，具体包括：
压缩所提取全局特征的维度至不重复的最少维度；
按照事物类别分别为语义提取的最高概率值建立一个维度；
将所提取的全局特征和语义特征对应的维度结合成特征值矩阵；
建立特征值矩阵与所采集的轨迹点的对应关系，并进行训练，输出表示特征值与轨迹点空间关系的高斯过程表达式。
6.根据权利要求5所述的基于高斯过程的视觉定位方法，其特征在于，所述建立特征值矩阵与所采集的轨迹点的对应关系，并进行训练，输出表示特征值与轨迹点空间关系的高斯过程表达式，具体包括：
以轨迹点作为X值，以特征值作为Y值，进行高斯过程训练，建立特征值与轨迹点之间的联系，得到高斯过程表达式。
7.根据权利要求1所述的基于高斯过程的视觉定位方法，其特征在于，所述采集行进途中周围环境的图像信息及移动的轨迹点具体包括：
启用摄像头拍摄行进途中周围环境的图像；
通过GPS定位行进途中移动的轨迹点，并随机采集通过GPS定位的轨迹点。
8.根据权利要求1所述的基于高斯过程的视觉定位方法，其特征在于，所述当前轨迹的初始位置点为通过GPS定位的当前轨迹的第一个位置点。
9.一种基于高斯过程的视觉定位系统，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-8中任一项所述的基于高斯过程的视觉定位方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1-8任一项所述的基于高斯过程的视觉定位方法。
CN202010731969.1A 2020-07-27 2020-07-27 一种基于高斯过程的视觉定位方法、系统及存储介质 Active CN111739066B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010731969.1A CN111739066B (zh) 2020-07-27 2020-07-27 一种基于高斯过程的视觉定位方法、系统及存储介质
PCT/CN2020/127187 WO2022021661A1 (zh) 2020-07-27 2020-11-06 一种基于高斯过程的视觉定位方法、系统及存储介质
US17/666,550 US12145281B2 (en) 2020-07-27 2022-02-07 Visual positioning method and system based on Gaussian process, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010731969.1A CN111739066B (zh) 2020-07-27 2020-07-27 一种基于高斯过程的视觉定位方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111739066A CN111739066A (zh) 2020-10-02
CN111739066B true CN111739066B (zh) 2020-12-22

Family

ID=72657932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010731969.1A Active CN111739066B (zh) 2020-07-27 2020-07-27 一种基于高斯过程的视觉定位方法、系统及存储介质

Country Status (2)

Country Link
CN (1) CN111739066B (zh)
WO (1) WO2022021661A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739066B (zh) * 2020-07-27 2020-12-22 深圳大学 一种基于高斯过程的视觉定位方法、系统及存储介质
CN112767476B (zh) * 2020-12-08 2024-04-26 中国科学院深圳先进技术研究院 一种快速定位系统、方法及应用
CN114897929B (zh) * 2022-05-31 2024-06-04 工业云制造(四川)创新中心有限公司 基于视觉降噪的机器人运动方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833241A (zh) * 2017-10-20 2018-03-23 东华大学 对环境光照变化具有鲁棒性的实时视觉目标检测方法
CN108256572A (zh) * 2018-01-16 2018-07-06 哈尔滨职业技术学院 一种基于改进朴素贝叶斯的室内视觉特征分类方法
CN110751671A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050246307A1 (en) * 2004-03-26 2005-11-03 Datamat Systems Research, Inc. Computerized modeling method and a computer program product employing a hybrid Bayesian decision tree for classification
EP2926218A4 (en) * 2012-12-03 2016-08-03 Navisens Inc SYSTEMS AND METHOD FOR ESTIMATING THE MOVEMENT OF AN OBJECT
CN105509755B (zh) * 2015-11-27 2018-10-12 重庆邮电大学 一种基于高斯分布的移动机器人同步定位与地图构建方法
CN109903338A (zh) * 2019-03-14 2019-06-18 中国计量大学 一种基于改进orb算法的移动机器人定位方法
CN110304075B (zh) * 2019-07-04 2020-06-26 清华大学 基于混合动态贝叶斯网络和高斯过程的车辆轨迹预测方法
CN110558977A (zh) * 2019-09-09 2019-12-13 西北大学 基于机器学习模糊特征选择的癫痫发作脑电信号分类方法
CN111340939B (zh) * 2020-02-21 2023-04-18 广东工业大学 一种室内三维语义地图构建方法
CN111739066B (zh) * 2020-07-27 2020-12-22 深圳大学 一种基于高斯过程的视觉定位方法、系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833241A (zh) * 2017-10-20 2018-03-23 东华大学 对环境光照变化具有鲁棒性的实时视觉目标检测方法
CN108256572A (zh) * 2018-01-16 2018-07-06 哈尔滨职业技术学院 一种基于改进朴素贝叶斯的室内视觉特征分类方法
CN110751671A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于核相关滤波与运动估计的目标跟踪方法

Also Published As

Publication number Publication date
CN111739066A (zh) 2020-10-02
US20220168900A1 (en) 2022-06-02
WO2022021661A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
Taheri et al. SLAM; definition and evolution
CN110335337B (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
US7929730B2 (en) Method and system for object detection and tracking
EP3427008B1 (en) Laser scanner with real-time, online ego-motion estimation
CN110232350B (zh) 一种基于在线学习的实时水面多运动目标检测跟踪方法
CN113269098A (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN101276468B (zh) 在视频帧序列中跟踪目标的由计算机执行的方法
CN111693047A (zh) 一种高动态场景下的微小型无人机视觉导航方法
CN111739066B (zh) 一种基于高斯过程的视觉定位方法、系统及存储介质
CN112784873B (zh) 一种语义地图的构建方法及设备
Qian et al. Robust visual-lidar simultaneous localization and mapping system for UAV
CN115496792A (zh) 基于人在环优化的点云语义slam的方法、系统及装置
Guizilini et al. Dynamic hilbert maps: Real-time occupancy predictions in changing environments
Ushani et al. Feature learning for scene flow estimation from lidar
CN111812978A (zh) 一种多无人机协作slam方法与系统
CN115496900A (zh) 一种基于稀疏融合的在线碳语义地图构建方法
CN115355904A (zh) 一种针对地面移动机器人的Lidar-IMU融合的slam方法
Deng et al. Improved closed-loop detection and Octomap algorithm based on RGB-D SLAM
Xu-Wei et al. Real-time hand tracking based on YOLOv4 model and Kalman filter
US12145281B2 (en) Visual positioning method and system based on Gaussian process, and storage medium
WO2021243281A9 (en) System and method for visual odometry from log-logistic dense optical flow residuals
Friedel Event-based visual-inertial odometry using smart features
CN117928559B (zh) 一种基于强化学习的威胁规避下无人机路径规划方法
CN116295507B (zh) 一种基于深度学习的激光惯性里程计优化方法、系统
CN114613002B (zh) 基于光线投影原理的运动视角下动态物体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant