Nothing Special   »   [go: up one dir, main page]

CN112116657A - 基于表检索的同时定位与建图方法和装置 - Google Patents

基于表检索的同时定位与建图方法和装置 Download PDF

Info

Publication number
CN112116657A
CN112116657A CN202010787859.7A CN202010787859A CN112116657A CN 112116657 A CN112116657 A CN 112116657A CN 202010787859 A CN202010787859 A CN 202010787859A CN 112116657 A CN112116657 A CN 112116657A
Authority
CN
China
Prior art keywords
semantic
feature
key image
image frame
dynamically constructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010787859.7A
Other languages
English (en)
Other versions
CN112116657B (zh
Inventor
宋呈群
程俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010787859.7A priority Critical patent/CN112116657B/zh
Publication of CN112116657A publication Critical patent/CN112116657A/zh
Application granted granted Critical
Publication of CN112116657B publication Critical patent/CN112116657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于表检索的同时定位与建图方法和装置，方法通过获取用于进行同时定位与建图的关键图像帧，并对关键图像帧进行特征提取处理，获取第一特征；对第一特征进行语义检测，获取关键图像帧中各第一特征的语义信息；基于动态构建的语义表对关键图像帧中各第一特征的语义信息进行检索匹配，识别出关键图像帧中拍摄到的视为静态对象物体的第二特征；通过动态构建的语义表检索对第二特征进行数据关联/回环检测处理，基于关键图像帧生成对应的实时环境地图，动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。该方法通过语义表检索快速获得建图地标，计算成本低，耗时少，实时性好。

Description

基于表检索的同时定位与建图方法和装置
技术领域
本申请属于机器人、增强现实等技术领域，尤其涉及一种基于表检索的同时定位与建图方法和装置，还涉及用于执行该基于表检索的同时定位与建图方法的设备及存储介质。
背景技术
同时定位与建图(SLAM，simulated locating and mapping)技术在机器人和增强现实技术领域中具有重要的应用价值，它可以实时地获取机器人的位置信息并同时构建环境地图。对于动态环境，存在着许多运动对象或潜在的运动对象，若这些运动对象被构建到地图上，容易导致同时定位和建图过程中的数据关联环节和回环检测环节出现错误，从而影响到地图构建的准确性和实时性。目前，现有的同时定位与建图方法在进行数据关联和回环检测通常需要遍历参考帧中的所有地标来寻找相匹配的地标实现数据关联和回环检测，计算工作量大，且耗时长，影响建图的实时性和有效性。
发明内容
有鉴于此，本申请实施例提供了一种基于表检索的同时定位与建图方法和装置，以及用于执行该基于表检索的同时定位与建图方法的设备及存储介质，在进行同时定位与建图过程中，可以直接通过语义表检索，点对点快速获得对应在参考帧中的地标来进行数据关联和回环检测操作，降低了计算成本，减少了耗时，保证了建图的实时性和有效性。
本申请实施例的第一方面提供了一种基于表检索的同时定位与建图方法，所述基于表检索的同时定位与建图方法包括：
获取用于进行同时定位与建图的关键图像帧，并对所述关键图像帧进行特征提取处理，以获取第一特征，其中，所述第一特征表征所述关键图像帧中拍摄到的物体；
对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息；
基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；
通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。
结合第一方面，在第一方面的第一种可能实现方式中，所述基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征的步骤，包括：
根据所述语义信息确定各第一特征的语义类型；
根据各第一特征的语义类型从所述动态构建的语义表中检索出各第一特征对应的动态势分数值；
将所述各第一特征的动态势分数值分别与用于判定是否为静态对象的预设分数阈值进行比对，若第一特征的动态势分数值满足所述预设分数阈值要求，则将所述第一特征标记成视为静态对象物体的第二特征。
结合第一方面或第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息的步骤，包括：
获取所述第二特征的语义信息，所述语义信息包括所述第二特征的语义类型标签以及所述第二特征在所述关键图像帧中所处的三维位置数据；
通过语义表检索将所述第二特征的语义类型标签与所述动态构建的语义表中当前记载的语义对象标签进行比对，从所述动态构建的语义表中检索出与所述第二特征匹配的目标语义对象；
将所述第二特征在所述关键图像帧中所处的三维位置数据关联于所述目标语义对象，并基于所述目标语义对象将所述第二特征的三维位置数据存储至所述动态构建的语义表中。
结合第一方面或第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，所述通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息的步骤，包括：
获取所述关键图像帧中各第二特征的语义信息，所述语义信息包括所述第二特征的语义类型标签以及所述第二特征在所述关键图像帧中所处的三维位置数据；
通过语义表检索将各第二特征的语义类型标签与所述动态构建的语义表中当前记载的语义对象标签进行比对，识别从所述动态构建的语义表中是否已记载有与各第二特征匹配的目标语义对象；
若所述动态构建的语义表中均记载有与各第二特征的语义类型标签匹配的目标语义对象且所述与各第二特征的语义类型标签匹配的目标语义对象来自于同一张历史图像帧，则将各第二特征在所述关键图像帧中所处的三维位置数据分别与其匹配的目标语义对象对应在所述历史图像帧中的三维位置数据进行比对；
若各第二特征在所述关键图像帧中所处的三维位置数据均与其匹配的目标语义对象对应在所述历史图像帧中的三维位置数据一致，则判定构建实时环境地图过程中出现回环。
结合第一方面，在第一方面的第四种可能实现方式中，所述对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息的步骤，包括：
通过yolo3目标检测算法检测出所述第一特征的语义类型标签并将所述语义类型标签投影到所述第一特征对应在所述关键图像帧的深度图中。
结合第一方面，在第一方面的第五种可能实现方式中，所述通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息的步骤之后，包括：
基于所述实时环境地图，根据所述动态构建的语义表对生成所述实时环境地图的执行设备进行位姿优化处理以及对所述关键图像帧中拍摄到的物体进行三维定位优化处理。
本申请实施例的第二方面提供了一种基于表检索的同时定位与建图装置，所述基于表检索的同时定位与建图装置包括：
获取模块，用于获取用于进行同时定位与建图的关键图像帧，并对所述关键图像帧进行特征提取处理，以获取第一特征，其中，所述第一特征表征所述关键图像帧中拍摄到的物体；
第一处理模块，用于对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息；
第二处理模块，用于基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；
执行模块，用于通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。
结合第二方面，在第二方面的第一种可能实现方式中，所述基于表检索的同时定位与建图装置还包括：
确定子模块，用于根据所述语义信息确定各第一特征的语义类型；
检索子模块，用于根据各第一特征的语义类型从所述动态构建的语义表中检索出各第一特征对应的动态势分数值；
标记子模块，用于将所述各第一特征的动态势分数值分别与用于判定是否为静态对象的预设分数阈值进行比对，若第一特征的动态势分数值满足所述预设分数阈值要求，则将所述第一特征标记成视为静态对象物体的第二特征。
本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任意一项所述基于表检索的同时定位与建图方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述基于表检索的同时定位与建图方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
本申请通过通过获取用于进行同时定位与建图的关键图像帧，并对关键图像帧进行特征提取处理，获取第一特征，其中，第一特征表征关键图像帧中拍摄到的物体；对第一特征进行语义检测，获取关键图像帧中各第一特征的语义信息；基于动态构建的语义表对关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；通过动态构建的语义表检索对第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。该方法在进行同时定位与建图过程中，可以直接通过语义表检索，点对点快速获取对应在参考帧(该参考帧表征为进行同时定位与建图过程中曾经获取过的关键图像帧)中的地标来进行数据关联和回环检测操作，降低了计算成本，减少了耗时，保证了建图的实时性和有效性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于表检索的同时定位与建图方法的基本方法流程示意图；
图2为本申请实施例提供的基于表检索的同时定位与建图方法中动态构建的语义表的一种表格示意图；
图3为本申请实施例提供的基于表检索的同时定位与建图方法中识别关键图像帧中属于静态对象的第二特征时的一种方法流程示意图；
图4为本申请实施例提供的基于表检索的同时定位与建图方法中通过表检索进行数据关联的一种方法流程示意图；
图5为本申请实施例提供的基于表检索的同时定位与建图方法中通过表检索进行回环检测的一种方法流程示意图；
图6为本申请实施例提供的一种基于表检索的同时定位与建图装置的结构示意图；
图7为本申请实施例提供的基于表检索的同时定位与建图装置的另一结构示意图；
图8为本申请实施例提供的一种实现基于表检索的同时定位与建图方法的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
本申请的一些实施例中，请参阅图1，图1为本申请实施例提供的一种基于表检索的同时定位与建图方法的基本方法流程示意图。详述如下：
在步骤S101中，获取用于进行同时定位与建图的关键图像帧，并对所述关键图像帧进行特征提取处理，以获取第一特征，其中，所述第一特征表征所述关键图像帧中拍摄到的物体。
本实施例中，基于语义SLAM框架，通过摄像头拍摄图像帧来执行跟踪线程，实现同时定位与建图。以机器人为例，在机器人进行同时定位与建图之前，对机器人所携带的摄像头进行初始化处理并将初始化后获取的第一张图像帧作为同时定位与建图的初始图像。本实施例通过基于该初始图像进行局部地图跟踪处理来获取用于进行同时定位与建图的关键图像帧。获得关键图像帧之后，采用ORB(Oriented FAST and Rotated BRIEF)等特征检测算法对该关键图像帧进行特征提取处理，获取得到表征关键图像帧中拍摄到的物体的第一特征，例如地标物体，该第一特征可以表征为地标物体的轮廓特征。
在步骤S102中，对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息。
本实施例中，由于该第一特征表征为存在于关键图像帧中的物体的轮廓特征。获取关键图像帧中的第一特征后，可以采用YOLO3语义检测算法对所述关键图像帧进行物体分割，获得所述关键图像帧中各个物体单独的轮廓特征，并对各个物体单独的轮廓特征进行语义检测，从而获得各个轮廓特征表征的第一特征的语义信息。举例说明，机器人当前拍摄的关键图像帧中有拍摄到一张桌子，则该桌子即为关键图像帧中的一个第一特征，通过对该关键图像帧进行ORB特征提取识别出该桌子的轮廓特征。然后，按照该桌子的轮廓特征从关键图像帧中单独分割出来，进而对单独分割出来的轮廓特征进行语义检测，确定该轮廓特征表征的是一张桌子并为该轮廓特征标注语义信息，例如在关键图像帧中为该轮廓特征标注名为“桌子”的语义类型标签、获取该桌子在该关键图像帧中的三维位置信息等。
本申请的一些实施例中，将对关键图像帧进行特征提取获得的各第一特征进行语义检测时，通过采用yolo3目标检测算法，对各单独分割出来的轮廓特征进行语义检测可以检测出各第一特征的语义类型标签，当获得各第一特征的语义类型标签后，还可以将各第一特征的语义类型标签相应地投影到一个深度图上，以在该深度图中展示各第一特征分别位于关键图像帧中的深度位置，可以准确地反映出各第一特征相互之间的位置关系。在本实施例中，深度图表示摄像头拍摄的关键图像帧中，各第一特征与摄像头平面的远近距离。
在步骤S103中，基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征。
本实施例中，在动态构建的语义表中配置物体的动态势分数值检索功能，例如，针对物体识别预先在动态构建的语义表中配置有语义类型-动态势分数值对应关系。由此，可以实现通过检索第一特征表征的物体对应的动态势分数值来确定该物体视为是动态对象还是静态对象，从而识别出关键图像帧中拍摄到的视为静态对象物体的第二特征。其中，动态势分数值为根据语义类型在环境中的移动趋势预定义的分值，分值设定在0-1之间，越容易移动的物体分值越趋向1，越容易移动的物体分值越趋向0。例如会自主移动的人物、动物等可以设置其两者的动态势分值均为1；容易被移动的车辆、椅子等可以分别设置其动态势分值为0.8、0.7；无法移动的建筑物可以设置其动态势分值为0。可以理解的是，在本实施例中，动态构建的语义表中，物体的动态势分数值检索功能还可以通过神经网络模型训练获得，实现对语义类型进行细化。举例说明，例如人与人型雕像，根据物体的在环境中的移动趋势，可以将人对应的动态势分数值配置为1，而人型雕像对应的动态势分数值则配置为0.3等等。
在步骤S104中，通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。
本实施例在构建实时环境地图过程中，在不同时刻会通过摄像头不断拍摄图像来进行局部地图追踪，获取用于进行同时定位与建图的关键图像帧，实现实时的构建地图。在本实施例中，动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有特征的语义信息，即语义表中记载的语义信息的数量是随着构建实时环境地图过程不断累积的，在每次获得的新的用于进行同时定位与建图的关键图像帧中，若该新的关键图像帧中检测到有新物体，则会将该新物体的语义信息添加至语义表中。语义表中记载的各第一特征的语义信息包括但不限于各第一特征表征的物体的语义类型标签、动态势分数值、三维位置数据等。
在本实施例中，生成实时环境地图时包括数据关联环节以及回环检测环节，通过对第一特征进行语义检测获得关键图像帧中各第一特征的语义信息后，可以通过基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别所述关键图像帧中个第一特征视为静态对象还是动态对象，以便剔除所述关键图像帧中的动态对象，从而检索出所述关键图像中属于静态对象的第二特征，获得所述关键图像中属于静态对象的第二特征后，进而在所述动态构建的语义表中对第二特征进行检索，确定所述第二特征表征的物体是否已记载在所述动态构建的语义表中，若已记载，则对该第二特征进行数据关联/回环检测处理，否则，将该第二特征添加到语义表中作为一个新物体进行记载。由此，可以直接从语义表中获得前一关键图像帧(历史图像帧)拍摄到的静态对象物体，并直接在语义表中检索匹配得到前一帧关键图像帧中与第二特征表示同一物体的数据信息，实现快速将前一关键图像帧和当前获得的关键图像帧中表示同一物体的两个特征进行数据关联；以及可以通过直接从语义表中检索是否存在一张历史图像帧的所有静态物体与当前获得关键图像帧的所有静态物体都相同且每个静态物体的三维位置也一一对应，由此确定是否为回环。本实施例通过上述基于语义表检索进行的数据关联/回环检测处理，可以有效剔除构建实时环境地图时存在的动态对象，避免同时定位和建图过程中的数据关联环节和回环检测环节出现错误，保证了构建实时环境地图时的实时性和有效性。而且，通过语义表检索可直接从语义表中确定数据关联的对象以及通过进行相关项比对即可确定是否为回环，无需进行全局地图的遍历匹配，有效减少计算成本以及节省耗时。
在本实施例中，请一并参阅图2，图2为本申请实施例提供的基于表检索的同时定位与建图方法中动态构建的语义表的一种表格示意图。如图2所示，所述动态构建的语义表中包含有地标物体的语义类型标签、动态势分数值、三维位置数据，其中，如有两个或以上语义类型标签相同的地标物体，在动态构建的语义表中可以通过在语义类型标签中加入后缀(如①、②...等)进行区分；三维位置数据按照历史图像帧，由时间从先到后进行记载，例如语义表的组合ID1列中记载的三维位置数据为在构建实时环境地图过程中，第一张产生的历史图像帧中的各地标物体的三维位置数据。
上述实施例提供的基于表检索的同时定位与建图方法通过获取用于进行同时定位与建图的关键图像帧，并对关键图像帧进行特征提取处理，获取第一特征，其中，第一特征表征关键图像帧中拍摄到的物体；对第一特征进行语义检测，获取关键图像帧中各第一特征的语义信息；基于动态构建的语义表对关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；通过动态构建的语义表检索对第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。该方法在进行同时定位与建图过程中，可以直接通过语义表检索，点对点快速获取对应在参考帧(该参考帧表征为进行同时定位与建图过程中曾经获取过的关键图像帧)中的地标来进行数据关联和回环检测操作，降低了计算成本，减少了耗时，保证了建图的实时性和有效性。
本申请的一些实施例中，请参阅图3，图3为本申请实施例提供的基于表检索的同时定位与建图方法中识别关键图像帧中属于静态对象的第二特征时的一种方法流程示意图。详细如下：
在步骤S201中，根据所述语义信息确定各第一特征的语义类型；
在步骤S202中，根据各第一特征的语义类型从所述动态构建的语义表中检索出各第一特征对应的动态势分数值；
在步骤S203中，将所述各第一特征的动态势分数值分别与用于判定是否为静态对象的预设分数阈值进行比对，若第一特征的动态势分数值满足所述预设分数阈值要求，则将所述第一特征标记成视为静态对象物体的第二特征。
本实施例中，第一特征可以表征为关键图像帧中拍摄到的地标物体的轮廓特征，在对第一特征进行语义检测获取第一特征的语义信息过程中可以根据第一特征表征的物体的轮廓确定该第一特征的语义类型，例如，语义类型包括但不限于：人、动物、车、椅子、桌子、树、建筑等。在本实施例中，根据语义信息确定了第一特征的语义类型后，基于动态构建的语义表中配置的动态势分数值检索功能，根据第一特征的语义类型从该动态构建的语义表中检索出第一特征的动态势分数值。例如从动态构建的语义表中配置的语义类型-动态势分数值对应关系，检索出与所述第一特征的语义类型具有对应关系的动态势分数值。举例说明，在动态构建的语义表中，语义类型“人”对应的动态势分数值为1、语义类型“车”对应的的动态势分数值为0.8、语义类型“树”对应的动态势分数值为0.2、语义类型“建筑”对应的动态势分数值为0等，那么，若根据语义信息确定了第一特征的语义类型为“人”后，则根据该语义类型“人”即可从动态构建的语义表中检索出第一特征的动态势分数值为1。检索出所述关键图像帧中拍摄到的每个第一特征对应的动态势分数值后，将每个第一特征对应的动态势分数值分别与用于判定是否为静态对象的预设分数阈值进行比对，若该第一特征的动态势分数值满足预设分数阈值要求，则将该第一特征视为静态对象物体，并标记为第二特征。
本申请的一些实施例中，请参阅图4，图4为本申请实施例提供的基于表检索的同时定位与建图方法中通过表检索进行数据关联的一种方法流程示意图。详细如下：
在步骤S301中，获取所述第二特征的语义信息，所述语义信息包括所述第二特征的语义类型标签以及所述第二特征在所述关键图像帧中所处的三维位置数据；
在步骤S302中，通过语义表检索将所述第二特征的语义类型标签与所述动态构建的语义表中当前记载的语义对象标签进行比对，从所述动态构建的语义表中检索出与所述第二特征匹配的目标语义对象；
在步骤S303中，将所述第二特征在所述关键图像帧中所处的三维位置数据关联于所述目标语义对象，并基于所述目标语义对象将所述第二特征的三维位置数据存储至所述动态构建的语义表中。
本实施例中，获取的第二特征的语义信息包括该第二特征表征的静态物体的语义类型标签以及该静态物体在关键图像帧中所处的三维位置数据。将该语义类型标签与动态构建的语义表中当前记载的语义对象标签进行比对，若所述第二特征的语义类型标签与所述动态构建的语义表中当前记载的某一个语义对象标签一致，那么可以确定所述第二特征表征的物体已记载在所述动态构建的语义表中，与语义对象标签表征的物体为同一个物体。此时，所述动态构建的语义表中该与第二特征的语义类型标签一致的语义对象标签所对应的语义对象即为目标语义对象。从所述动态构建的语义表中检索出与所述第二特征匹配的目标语义对象后，通过将所述第二特征在所述关键图像帧中所处的三维位置数据关联于所述目标语义对象，并基于所述目标语义对象将所述第二特征的三维位置数据存储至所述动态构建的语义表中，此时即可实现构建实时环境地图时的数据关联操作。由此，可以直接根据语义表检索实现将前后两张关键图像帧之间表征同一物体的三维位置数据进行关联，减少了数据关联操作的计算成本、节省耗时。
本申请的一些实施例中，请参阅图5，图5为本申请实施例提供的基于表检索的同时定位与建图方法中通过表检索进行回环检测的一种方法流程示意图。详细如下：
在步骤S401中，获取所述关键图像帧中各第二特征的语义信息，所述语义信息包括所述第二特征的语义类型标签以及所述第二特征在所述关键图像帧中所处的三维位置数据；
在步骤S402中，通过语义表检索将各第二特征的语义类型标签与所述动态构建的语义表中当前记载的语义对象标签进行比对，识别从所述动态构建的语义表中是否已记载有与各第二特征匹配的目标语义对象；
在步骤S403中，若所述动态构建的语义表中均记载有与各第二特征的语义类型标签匹配的目标语义对象且所述与各第二特征的语义类型标签匹配的目标语义对象来自于同一张历史图像帧，则将各第二特征在所述关键图像帧中所处的三维位置数据分别与其匹配的目标语义对象对应在所述历史图像帧中的三维位置数据进行比对；
在步骤S404中，若各第二特征在所述关键图像帧中所处的三维位置数据均与其匹配的目标语义对象对应在所述历史图像帧中的三维位置数据一致，则判定构建实时环境地图过程中出现回环。
本实施例中，回环检测是指自主移动物体(例如机器人)识别当前所处的场景为曾经所到达过的场景，从而使得自主移动物体在移动过程中所建立的图像形成闭环。因此，判定构建实时环境地图过程中是否出现回环则需要判断当前获取的关键图像帧中的所有静态对象与单张历史图像帧中的所有静态对象是否一一对应相同，且每个静态对象对应在该关键图像帧中的三维位置是否也与在该历史图像帧中的三维位置一一对应相同。所以，在本实施例中，首先通过语义表检索确定当前的动态构建的语义表中是否均记载有与各第二特征的语义类型标签匹配的目标语义对象且该与各第二特征的语义类型标签匹配的目标语义对象均来自于同一张历史图像帧。确定为是之后，再将各第二特征在所述关键图像帧中所处的三维位置数据分别与其匹配的目标语义对象对应在所述历史图像帧中的三维位置数据进行比对，从而判断每个第二特征表征的静态对象对应在该关键图像帧中的三维位置是否也与在该历史图像帧中的三维位置一一对应相同，如果是，则可以判定构建实时环境地图过程中出现回环。本实施例可以直接通过语义表检索进行关键图像帧中静态对象对应的相关项进行比对，无需全局地图进行遍历匹配，也实现了减少计算成本、节省耗时。
本申请的一些实施例中，所述基于表检索的同时定位与建图方法还可以应用于对机器人的位姿进行优化处理和对物体的三维定位进行优化处理，通过动态构建的语义表对生成所述实时环境地图的执行设备(例如正在进行同时定位与建图的机器人)进行位姿优化处理以及对物体的三维定位优化处理。举例说明，在本实施例中，当在环境中移动时，机器人可以获得通过语义标记的度量并记录于语义表中，例如表征环境中的地标物体的语义对象。在本实施例中，机器人的轨迹可以表示为一个离散的姿态序列，T表示总的时间步数，X0:T＝{X0,…,XT}表示从开始到结束的轨迹。每个姿态由一个位置和一个方向组成。SE(3)表示为三维姿态空间，且Xt∈SE(3)。假设ot表示姿态xt和姿态xt-1之间的里程测量值。考虑ot被高斯噪声干扰，此时，时间t的里程测量值可以表示为：
ot＝Xt-Xt-1+v,v～N(0,Q), (1)
其中，Q是里程计噪声协方差矩阵。两个姿态下里程ot的似然为：
p(ot；Xt,Xt-1)～N(Xt-Xt-1,Q). (2)
实时环境地图中地标物体的三维位置表示为L＝{L1,···,LN}，Li∈R3。在时间t，机器人获得的Kt标识测量，表示为
Figure BDA0002622671450000161
为了获取更高的计算精度和降低计算成本，每个标识测量都与一个唯一的语义标识符相关联。其中，关联可以表示为
Figure BDA0002622671450000162
Ⅴ是如表1中所示的标签标识符。在我们生成的实时环境地图中，对于关键图像帧拍摄到的地标物体，动态势分数值大于阈值的将被删除。
地标物体的测量值被高斯噪声干扰时：
Figure BDA0002622671450000163
其中，R是测量噪声矩阵。在给定相机姿态、语义关联和地标物体姿态的情况下，
Figure BDA00026226714500001610
的似然表示为：
Figure BDA0002622671450000164
结合(1)和(3)，里程值和地标测量值的联合对数似然为：
Figure BDA0002622671450000165
式中，
Figure BDA0002622671450000166
和
Figure BDA0002622671450000167
分别为量程和地标因子。利用高斯噪声的概率分布公式，每个因子都可表示为二次型：
Figure BDA0002622671450000168
Figure BDA0002622671450000169
Figure BDA0002622671450000171
基于如下对数似然最大化公式：
Figure BDA0002622671450000172
由此，可以实现基于语义SLAM优化机器人的姿态X0:和地标物体的三维位置L。
可以理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本申请的一些实施例中，请参阅图6，图6为本申请实施例提供的一种基于表检索的同时定位与建图装置的结构示意图，详述如下：
本实施例中，所述基于表检索的同时定位与建图装置包括：获取模块601、第一处理模块602、第二处理模块603以及执行模块603。其中，所述获取模块601用于获取用于进行同时定位与建图的关键图像帧，并对所述关键图像帧进行特征提取处理，以获取第一特征，其中，所述第一特征表征所述关键图像帧中拍摄到的物体；所述第一处理模块602用于对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息；所述第二处理模块603用于基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；所述执行模块604用于通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。
在本申请的一些实施例中，请参阅图7，图7为本申请实施例提供的基于表检索的同时定位与建图装置的另一结构示意图，详述如下：
本实施例中，所述基于表检索的同时定位与建图装置还包括：确定子模块701、检索子模块702以及标记子模块703。所述确定子模块701用于根据所述语义信息确定各第一特征的语义类型；所述检索子模块702用于根据各第一特征的语义类型从所述动态构建的语义表中检索出各第一特征对应的动态势分数值；所述标记子模块703用于将所述各第一特征的动态势分数值分别与用于判定是否为静态对象的预设分数阈值进行比对，若第一特征的动态势分数值满足所述预设分数阈值要求，则将所述第一特征标记成视为静态对象物体的第二特征。
所述基于表检索的同时定位与建图装置，与上述的基于表检索的同时定位与建图方法一一对应，此处不再赘述。
在本申请的一些实施例中，请参阅图8，图8为本申请实施例提供的一种实现基于表检索的同时定位与建图方法的电子设备的示意图。如图8所示，该实施例的电子设备8包括：处理器81、存储器82以及存储在所述存储器82中并可在所述处理器81上运行的计算机程序83，例如基于表检索的同时定位与建图程序。所述处理器81执行所述计算机程序82时实现上述各个基于表检索的同时定位与建图方法实施例中的步骤。或者，所述处理器81执行所述计算机程序83时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序83可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器82中，并由所述处理器81执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序83在所述电子设备8中的执行过程。例如，所述计算机程序83可以被分割成：
获取模块，用于获取用于进行同时定位与建图的关键图像帧，并对所述关键图像帧进行特征提取处理，以获取第一特征，其中，所述第一特征表征所述关键图像帧中拍摄到的物体；
第一处理模块，用于对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息；
第二处理模块，用于基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；
执行模块，用于通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。
所述电子设备可包括，但不仅限于，处理器81、存储器82。本领域技术人员可以理解，图8仅仅是电子设备8的示例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器81可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器82可以是所述电子设备8的内部存储单元，例如电子设备8的硬盘或内存。所述存储器82也可以是所述电子设备8的外部存储设备，例如所述电子设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器82还可以既包括所述电子设备8的内部存储单元也包括外部存储设备。所述存储器82用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器82还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于表检索的同时定位与建图方法，其特征在于，包括：
获取用于进行同时定位与建图的关键图像帧，并对所述关键图像帧进行特征提取处理，以获取第一特征，其中，所述第一特征表征所述关键图像帧中拍摄到的物体；
对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息；
基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；
通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。
2.根据权利要求1所述的基于表检索的同时定位与建图方法，其特征在于，所述基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征的步骤，包括：
根据所述语义信息确定各第一特征的语义类型；
根据各第一特征的语义类型从所述动态构建的语义表中检索出各第一特征对应的动态势分数值；
将所述各第一特征的动态势分数值分别与用于判定是否为静态对象的预设分数阈值进行比对，若第一特征的动态势分数值满足所述预设分数阈值要求，则将所述第一特征标记成视为静态对象物体的第二特征。
3.根据权利要求1或2所述的基于表检索的同时定位与建图方法，其特征在于，所述通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息的步骤，包括：
获取所述第二特征的语义信息，所述语义信息包括所述第二特征的语义类型标签以及所述第二特征在所述关键图像帧中所处的三维位置数据；
通过语义表检索将所述第二特征的语义类型标签与所述动态构建的语义表中当前记载的语义对象标签进行比对，从所述动态构建的语义表中检索出与所述第二特征匹配的目标语义对象；
将所述第二特征在所述关键图像帧中所处的三维位置数据关联于所述目标语义对象，并基于所述目标语义对象将所述第二特征的三维位置数据存储至所述动态构建的语义表中。
4.根据权利要求1或2所述的基于表检索的同时定位与建图方法，其特征在于，所述通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息的步骤，包括：
获取所述关键图像帧中各第二特征的语义信息，所述语义信息包括所述第二特征的语义类型标签以及所述第二特征在所述关键图像帧中所处的三维位置数据；
通过语义表检索将各第二特征的语义类型标签与所述动态构建的语义表中当前记载的语义对象标签进行比对，识别从所述动态构建的语义表中是否已记载有与各第二特征匹配的目标语义对象；
若所述动态构建的语义表中均记载有与各第二特征的语义类型标签匹配的目标语义对象且所述与各第二特征的语义类型标签匹配的目标语义对象来自于同一张历史图像帧，则将各第二特征在所述关键图像帧中所处的三维位置数据分别与其匹配的目标语义对象对应在所述历史图像帧中的三维位置数据进行比对；
若各第二特征在所述关键图像帧中所处的三维位置数据均与其匹配的目标语义对象对应在所述历史图像帧中的三维位置数据一致，则判定构建实时环境地图过程中出现回环。
5.根据权利要求1所述的基于表检索的同时定位与建图方法，其特征在于，所述对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息的步骤，包括：
通过yolo3目标检测算法检测出所述第一特征的语义类型标签并将所述语义类型标签投影到所述第一特征对应在所述关键图像帧的深度图中。
6.根据权利要求1所述的基于表检索的同时定位与建图方法，其特征在于，所述通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息的步骤之后，包括：
基于所述实时环境地图，根据所述动态构建的语义表对生成所述实时环境地图的执行设备进行位姿优化处理以及对所述关键图像帧中拍摄到的物体进行三维定位优化处理。
7.一种基于表检索的同时定位与建图装置，其特征在于，所述基于表检索的同时定位与建图装置包括：
获取模块，用于获取用于进行同时定位与建图的关键图像帧，并对所述关键图像帧进行特征提取处理，以获取第一特征，其中，所述第一特征表征所述关键图像帧中拍摄到的物体；
第一处理模块，用于对所述第一特征进行语义检测，获取所述关键图像帧中各第一特征的语义信息；
第二处理模块，用于基于动态构建的语义表对所述关键图像帧中各第一特征的语义信息进行检索匹配，识别出所述关键图像帧中拍摄到的视为静态对象物体的第二特征；
执行模块，用于通过动态构建的语义表检索对所述第二特征进行数据关联/回环检测处理，以基于所述关键图像帧生成对应的实时环境地图，所述动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。
8.根据权利要求7所述的基于表检索的同时定位与建图装置，其特征在于，所述基于表检索的同时定位与建图装置还包括：
确定子模块，用于根据所述语义信息确定各第一特征的语义类型；
检索子模块，用于根据各第一特征的语义类型从所述动态构建的语义表中检索出各第一特征对应的动态势分数值；
标记子模块，用于将所述各第一特征的动态势分数值分别与用于判定是否为静态对象的预设分数阈值进行比对，若第一特征的动态势分数值满足所述预设分数阈值要求，则将所述第一特征标记成视为静态对象物体的第二特征。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于表检索的同时定位与建图方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于表检索的同时定位与建图方法的步骤。
CN202010787859.7A 2020-08-07 2020-08-07 基于表检索的同时定位与建图方法和装置 Active CN112116657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010787859.7A CN112116657B (zh) 2020-08-07 2020-08-07 基于表检索的同时定位与建图方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010787859.7A CN112116657B (zh) 2020-08-07 2020-08-07 基于表检索的同时定位与建图方法和装置

Publications (2)

Publication Number Publication Date
CN112116657A true CN112116657A (zh) 2020-12-22
CN112116657B CN112116657B (zh) 2023-12-19

Family

ID=73803689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787859.7A Active CN112116657B (zh) 2020-08-07 2020-08-07 基于表检索的同时定位与建图方法和装置

Country Status (1)

Country Link
CN (1) CN112116657B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927269A (zh) * 2021-03-26 2021-06-08 深圳市无限动力发展有限公司 基于环境语义的地图构建方法、装置和计算机设备
CN113591865A (zh) * 2021-07-28 2021-11-02 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备
CN113671522A (zh) * 2021-07-07 2021-11-19 中国人民解放军战略支援部队信息工程大学 基于语义约束的动态环境激光slam方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
CN111179344A (zh) * 2019-12-26 2020-05-19 广东工业大学 一种修复语义信息的高效移动机器人slam系统
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
CN111402336A (zh) * 2020-03-23 2020-07-10 中国科学院自动化研究所 基于语义slam的动态环境相机位姿估计及语义地图构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
CN111179344A (zh) * 2019-12-26 2020-05-19 广东工业大学 一种修复语义信息的高效移动机器人slam系统
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
CN111402336A (zh) * 2020-03-23 2020-07-10 中国科学院自动化研究所 基于语义slam的动态环境相机位姿估计及语义地图构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGSHENG YANG, ET AL.: "DRE-SLAM: Dynamic RGB-D Encoder SLAM for a Differential-Drive Robot", 《REMOTE SENSING》, vol. 11, pages 1 - 29 *
姚二亮 等: "基于语义信息和边缘一致性的鲁棒SLAM算法", 《机器人》, vol. 41, no. 6, pages 751 - 760 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927269A (zh) * 2021-03-26 2021-06-08 深圳市无限动力发展有限公司 基于环境语义的地图构建方法、装置和计算机设备
CN112927269B (zh) * 2021-03-26 2024-07-16 深圳市无限动力发展有限公司 基于环境语义的地图构建方法、装置和计算机设备
CN113671522A (zh) * 2021-07-07 2021-11-19 中国人民解放军战略支援部队信息工程大学 基于语义约束的动态环境激光slam方法
CN113671522B (zh) * 2021-07-07 2023-06-27 中国人民解放军战略支援部队信息工程大学 基于语义约束的动态环境激光slam方法
CN113591865A (zh) * 2021-07-28 2021-11-02 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备
CN113591865B (zh) * 2021-07-28 2024-03-26 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备

Also Published As

Publication number Publication date
CN112116657B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
US11644338B2 (en) Ground texture image-based navigation method and device, and storage medium
CN113537208B (zh) 一种基于语义orb-slam技术的视觉定位方法及系统
Shenoi et al. Jrmot: A real-time 3d multi-object tracker and a new large-scale dataset
US8798357B2 (en) Image-based localization
Toft et al. Semantic match consistency for long-term visual localization
Himstedt et al. Large scale place recognition in 2D LIDAR scans using geometrical landmark relations
Sun et al. A dataset for benchmarking image-based localization
CN111145214A (zh) 目标跟踪方法、装置、终端设备及介质
CN112116657A (zh) 基于表检索的同时定位与建图方法和装置
Lim et al. Real-time monocular image-based 6-DoF localization
CN111814752B (zh) 室内定位实现方法、服务器、智能移动设备、存储介质
CN114088099B (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
WO2019185170A1 (en) Electronic device, robotic system and method for localizing a robotic system
Spera et al. EgoCart: A benchmark dataset for large-scale indoor image-based localization in retail stores
Shi et al. Lidar-based place recognition for autonomous driving: A survey
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
Li et al. An improved graph-based visual localization system for indoor mobile robot using newly designed markers
CN116592897A (zh) 基于位姿不确定性的改进orb-slam2定位方法
Zhang et al. Reidentification-based automated matching for 3D localization of workers in construction sites
Fritz et al. Urban object recognition from informative local features
Farazi et al. Real-time visual tracking and identification for a team of homogeneous humanoid robots
CN117146795A (zh) 视觉激光双重校验的回环检测方法、系统、设备及介质
Russo et al. A ros implementation of the mono-slam algorithm
Sun et al. Convolutional neural network-based coarse initial position estimation of a monocular camera in large-scale 3D light detection and ranging maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant