Nothing Special   »   [go: up one dir, main page]

CN113763466A - 一种回环检测方法、装置、电子设备和存储介质 - Google Patents

一种回环检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113763466A
CN113763466A CN202011079676.6A CN202011079676A CN113763466A CN 113763466 A CN113763466 A CN 113763466A CN 202011079676 A CN202011079676 A CN 202011079676A CN 113763466 A CN113763466 A CN 113763466A
Authority
CN
China
Prior art keywords
image frame
historical
target
loop
dimensional code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011079676.6A
Other languages
English (en)
Other versions
CN113763466B (zh
Inventor
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202011079676.6A priority Critical patent/CN113763466B/zh
Publication of CN113763466A publication Critical patent/CN113763466A/zh
Application granted granted Critical
Publication of CN113763466B publication Critical patent/CN113763466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1452—Methods for optical code recognition including a method step for retrieval of the optical code detecting bar code edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种回环检测方法、装置、电子设备和存储介质，该方法包括：获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；检测拍摄的当前图像帧中是否存在二维码；若当前图像帧中存在目标二维码，则从历史图像帧中确定出存在目标二维码的历史回环图像帧。通过本发明实施例的技术方案，可以解决现有方式中因环境光照条件差而导致检测不准确的问题，从而提高回环检测的鲁棒性和准确性，进而有效地消除累积误差。

Description

一种回环检测方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种回环检测方法、装置、电子设备和存储介质。
背景技术
在计算机视觉研究领域中，通常利用相机拍摄的图像帧序列对相机位姿进行估计。SLAM(Simultaneous localization and mapping，即时定位与建图)是一种常用技术，它通过追踪相机的位姿，构建相机的3D轨迹，并对相机所处拍摄环境进行建图。SLAM的应用场景广泛，比如机器人导航、自动驾驶、增强现实等。
在基于SLAM的定位与建图过程中，由于相机位姿估计通常是一个递推的过程，即由上一图像帧位姿解算当前图像帧位姿，从而会使得误差一帧一帧地传递下去，即累积误差越来越大，进而导致估计出的位姿与实际位姿存在很大偏差，使得构建的环境地图也会出现错位和重影的情况。针对于此，可以利用回环检测与全局优化的方式来消除定位与建图过程中的累积误差。
目前，通常是基于词袋模型进行回环检测，也就是提取每个图像帧中的特征信息，通过对比特征信息的方式从历史图像帧中确定出用于回环的历史回环图像帧，以便后续基于历史回环图像帧进行全局优化。
然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
基于词袋模型的回环检测方式中，当环境中的光照条件较差时，会导致提取出的纹理特征信息稀疏，从而会降低回环检测的准确性，进而无法有效地消除累积误差。
发明内容
本发明实施例提供了一种回环检测方法、装置、电子设备和存储介质，以解决现有方式中因环境光照条件差而导致检测不准确的问题，从而提高回环检测的鲁棒性和准确性，进而有效地消除累积误差。
第一方面，本发明实施例提供了一种回环检测方法，包括：
获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；
检测拍摄的所述当前图像帧中是否存在二维码；
若所述当前图像帧中存在目标二维码，则从所述历史图像帧中确定出存在所述目标二维码的历史回环图像帧。
第二方面，本发明实施例还提供了一种回环检测装置，包括：
图像帧获取模块，用于获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；
当前图像帧检测模块，用于检测拍摄的所述当前图像帧中是否存在二维码；
历史回环图像帧确定模块，用于若所述当前图像帧中存在目标二维码，则从所述历史图像帧中确定出存在所述目标二维码的历史回环图像帧。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的回环检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的回环检测方法。
上述发明中的实施例具有如下优点或有益效果：
通过在相机拍摄环境中预先放置多个不同的二维码，使得相机拍摄的图像帧中可以存在二维码，以便利用不同的二维码区分不同相机位姿下拍摄的图像帧，从而可以利用二维码进行回环检测。若检测到拍摄的当前视频帧中存在目标二维码，则从拍摄的历史图像帧中确定出存在目标二维码的历史回环图像帧，从而可以将与当前图像帧中存在同一目标二维码的历史图像帧作为用于回环的历史回环图像帧，并且二维码是黑白形式的，对比度更高，在环境光照条件较差时也可以准确地检测出二维码，从而不易受到环境光照变化的影响，提高了回环检测的鲁棒性和准确性，进而有效地消除累积误差。
附图说明
图1是本发明实施例一提供的一种回环检测方法的流程图；
图2是本发明实施例二提供的一种回环检测方法的流程图；
图3是本发明实施例三提供的一种回环检测装置的结构示意图；
图4是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种回环检测方法的流程图，本实施例可适用于对当前图像帧进行回环检测的情况，尤其是可以用于在视觉定位过程中进行回环检测，以便基于检测出的历史回环图像帧进行全局位姿优化的场景。该方法可以由回环检测装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中。如图1所示，该方法具体包括以下步骤：
S110、获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码。
其中，当前图像帧可以是指当前时刻相机拍摄的图像帧。历史图像帧可以是指在当前时刻之前相机所拍摄的图像帧。相机拍摄环境可以是指待构建的环境地图。二维码可以是用某种特定的几何图形按照一定规律在平面上分布的、黑白相间的、记录数字符号信息的图形。二维码是黑白形式的，从而对比度更高，在环境光照条件较差时也可以准确地检测出二维码，所以可以更加鲁棒地应对环境光照变化，提高回环检测的鲁棒性和准确性。每个二维码对应一个二维码标识，以便区分不同的二维码。每个二维码可以放置到相机可拍摄到的不同位置上，以使相机拍摄的图像帧中可以存在二维码。相邻两个二维码的放置间隔可以基于相机位姿变化速度进行设置，以避免相邻两张图像帧中均拍摄到同一二维码的情况。例如，可以将多个不同的二维码以几十米的间隔放置在相机拍摄环境的地面上。
需要说明的是，由于相机是运动的，使得每个拍摄时刻下的相机位姿，即每个图像帧对应的相机位姿也会实时发生改变，从而在历史图像帧中也可能会存在与当前图像帧对应的相机位姿相近的历史回环图像帧，所以需要对历史图像帧中进行回环检测，以便建立当前图像帧与历史回环图像帧之间的位姿约束关系，从而可以基于历史回环图像帧位姿解算出当前图像帧位姿，相比于基于上一图像帧位姿解算出当前图像帧位姿而言，可以有效地消除累加误差。
具体地，针对放置有多个不同二维码的相机拍摄环境中，获取相机拍摄的当前图像帧和历史图像帧。相机拍摄的每个图像帧中可能拍摄到环境中放置的二维码，也可能没有拍摄到环境中放置的二维码。本实施例中可以针对相机拍摄的每个图像帧进行回环检测，即基于当前时刻拍摄的当前图像帧执行步骤S110-S130的操作，从而实时进行回环检测，以便实时优化相机位姿。
S120、检测拍摄的当前图像帧中是否存在二维码。
具体地，可以通过apriltag二维码算法检测当前图像帧中是否存在二维码。例如，根据梯度检测当前图像帧中的各种边缘，并对边缘进行检测，剔除非直线边缘，并在直线边缘进行邻接边缘查找，确定形成闭环的四边形图像，通过对四边形图像进行编码和解码，确定出四边形图像对应的二维码标识。若可以确定出四边形图像对应的二维码标识，则表明当前图像帧中存在二维码。若不存在四边形图像或者无法确定出四边形图像对应的二维码标识，则表明当前图像帧中不存在二维码，即拍摄当前图像帧时并没有拍摄到放置的二维码。
需要说明的是，若当前图像帧中不存在二维码，则表明历史图像帧中并不会存在与该当前图像帧位姿相似的历史回环图像帧，无需对该当前图像帧进行回环检测，此时可以返回步骤S110，以便对下一图像帧进行回环检测。
S130、若当前图像帧中存在目标二维码，则从历史图像帧中确定出存在目标二维码的历史回环图像帧。
其中，目标二维码可以是指当前图像帧中存在的，可以用于表征当前图像帧对应的相机位姿的二维码。历史回环图像帧可以是指与当前图像帧对应的相机位姿相近的历史图像帧，以便可以建立当前图像帧与历史回环图像帧之间的位姿约束关系。若两个图像帧中存在相同的二维码，则表明这两个图像帧对应的相机位姿相似，即相机位姿变化较小，从而可以基于第一个图像帧位姿解算出第二个图像帧位姿。若两个图像帧中存在不同的二维码，则表明这两个图像帧对应的相机位姿差距较大，即相机位姿变化较大，此时基于第一个图像帧位姿解算出第二个图像帧位姿，即无法建立这两个图像帧之间的位姿约束关系。
具体地，若检测到当前图像帧中存在二维码，即目标二维码，则可以检测每个历史图像帧中是否存在该目标二维码，并将存在该目标二维码的历史图像帧确定为历史回环图像帧，从而可以利用二维码更加准确地进行回环检测，获得与当前图像帧对应的相机位姿相似的历史回环图像帧，以便后续建立当前图像帧与历史回环图像帧之间的位姿约束关系进行全局位姿优化，有效消除累积误差。
本实施例的技术方案，通过在相机拍摄环境中预先放置多个不同的二维码，使得相机拍摄的图像帧中可以存在二维码，以便利用不同的二维码区分不同相机位姿下拍摄的图像帧，从而可以利用二维码进行回环检测。若检测到拍摄的当前视频帧中存在目标二维码，则从拍摄的历史图像帧中确定出存在目标二维码的历史回环图像帧，从而可以将与当前图像帧中存在同一目标二维码的历史图像帧作为用于回环的历史回环图像帧，并且二维码是黑白形式的，对比度更高，在环境光照条件较差时也可以准确地检测出二维码，从而不易受到环境光照变化的影响，提高了回环检测的鲁棒性和准确性，进而有效地消除累积误差。
在上述技术方案的基础上，在S120之后还可以包括：若检测到当前图像帧中存在至少两个二维码，则获取每个二维码在当前图像帧中的图像区域；将图像区域最大的二维码确定为目标二维码。
具体地，相机拍摄的当前图像帧中可以不存在二维码，也可以存在一个二维码，还可以存在多个二维码。当检测到当前图像帧中存在至少两个二维码时，需要从至少两个二维码中确定出用于作为回环检测基准的一个目标二维码，此时可以获取每个二维码在当前图像帧中所占的图像区域，并对比图像区域的大小，将图像区域最大的二维码作为目标二维码，即可以将图像区域面积最大的二维码作为目标二维码，从而可以将距离相机最近的二维码作为目标二维码，以便进一步提高回环检测的准确性，进而提高位姿优化效果。
在上述技术方案的基础上，S130中的“从历史图像帧中确定出存在目标二维码的历史回环图像帧”可以包括：基于二维码与历史图像帧之间的对应关系和目标二维码，确定存在目标二维码的候选历史图像帧；若仅存在一个候选历史图像帧，则将该候选历史图像帧确定为历史回环图像帧；若存在至少两个候选历史图像帧，则基于目标二维码在每个候选历史图像帧中的图像区域，从各候选历史图像帧中确定历史回环图像帧。
其中，二维码与历史图像帧之间的对应关系可以用于表征每个历史图像帧中所存在的二维码，其可以基于二维码标识与历史图像帧标识建立该对应关系。
具体地，在针对每个图像帧进行回环检测过程中，可以将实时检测出的每个图像帧中存在的目标二维码进行存储，从而建立二维码与历史图像帧之间的对应关系。基于该对应关系和当前图像帧中存在的目标二维码，可以从所有历史图像帧中确定出该目标二维码对应的各个历史图像帧，即存在该目标二维码的各个候选历史图像帧。若仅存在一个候选历史图像帧，则可以直接将该候选历史图像帧作为历史回环图像帧。若存在至少两个候选历史图像帧，则可以获取目标二维码在每个候选历史图像帧中的图像区域，并对比图像区域的大小，将图像区域最大的候选历史图像帧作为历史回环图像帧，即可以将图像区域面积最大的候选历史图像帧作为历史回环图像帧，从而可以将目标二维码距离相机最近时所拍摄的候选历史图像帧作为历史回环图像帧，即可以获得回环约束效果最佳的历史回环图像帧，进一步提高位姿优化效果，有效地消除累积误差。
示例性地，基于二维码与历史图像帧之间的对应关系和目标二维码，确定存在目标二维码的候选历史图像帧，可以包括：确定当前图像帧对应的图像帧回环范围，并从历史图像帧中确定处于图像帧回环范围内的待选历史图像帧；基于二维码与历史图像帧之间的对应关系和目标二维码，从待选历史图像帧中确定存在目标二维码的候选历史图像帧。
其中，当前图像帧对应的图像帧回环范围是指可以与当前图像帧进行回环约束的历史图像帧范围，即历史图像帧的回环检测范围。例如，可以通过时间约束或者距离约束的方式设置图像帧回环范围，比如，可以将与当前图像帧拍摄时间间隔在20秒以上的历史图像帧作为历史图像帧范围，或者将与当前图像帧间隔20帧以上的历史图像帧作为历史图像帧范围。
具体地，可以基于当前图像帧的拍摄时刻或者拍摄帧序号确定当前图像帧对应的图像帧回环范围，并将位于图像帧回环范围内的各个历史图像帧作为待选历史图像帧，以便在待选历史图像帧中确定出存在目标二维码的候选历史图像帧，从而可以避免在当前图像帧附近的历史图像帧中进行回环检测，以使检测出的历史回环图像帧可以为拍摄时刻更早的历史图像帧，进一步提高回环约束效果，更加有效地消除累积误差。
实施例二
图2为本发明实施例二提供的一种回环检测方法的流程图，本实施例在上述各实施例的基础上，在确定出当前图像帧对应的历史回环图像帧之后，对利用历史回环图像帧进行全局位姿优化的过程进行了详细描述。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图2，本实施例提供的回环检测方法具体包括以下步骤：
S210、获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码。
S220、检测拍摄的当前图像帧中是否存在二维码。
S230、若当前图像帧中存在目标二维码，则从历史图像帧中确定出存在目标二维码的历史回环图像帧。
S240、确定当前图像帧与历史回环图像帧之间的回环相对位姿。
其中，回环相对位姿可以是指当前图像帧与历史回环图像帧之间的相对位姿。本实施例可以基于目标二维码分别与当前图像帧和历史回环图像帧之间的位置关系，确定出当前图像帧与历史回环图像帧之间的回环相对位姿。
示例性地，S240可以包括：基于目标二维码对应的实际角点间隔距离，确定目标二维码与当前图像帧之间的第一相对位姿，以及目标二维码与目标历史图像帧之间的第二相对位姿；根据第一相对位姿和第二相对位姿，确定当前图像帧与历史回环图像帧之间的回环相对位姿。
其中，实际角点间隔距离可以是指目标二维码中相邻两个角点之间的实际距离。本实施例中的实际角点间隔距离是已知且固定的，从而可以提供位姿估计尺度信息。
具体地，可以通过apriltag二维码算法，基于目标二维码对应的实际角点间隔距离，确定出目标二维码与当前图像帧之间的第一相对位姿
Figure BDA0002717880370000101
以及目标二维码与目标历史图像帧之间的第二相对位姿
Figure BDA0002717880370000102
通过将第一相对位姿和第二相对位姿进行相乘，获得当前图像帧与历史回环图像帧之间的回环相对位姿
Figure BDA0002717880370000103
即
Figure BDA0002717880370000104
从而建立出回环约束关系。
示例性地，基于目标二维码对应的实际角点间隔距离，确定目标二维码与当前图像帧之间的第一相对位姿，包括：提取当前图像帧中的目标二维码的四个角点信息；基于四个角点信息和目标二维码对应的实际角点间隔距离，构建单应性矩阵；通过求解单应性矩阵，确定目标二维码与当前图像帧之间的第一相对位姿。
具体地，由于目标二维码处于平面上，从而可以基于目标二维码的四个角点信息和实际角点间隔距离，构建出单应性矩阵，并通过求解该单应性矩阵的方式，分解出旋转矩阵和平移向量，即目标二维码与当前图像帧之间的第一相对位姿。同理，通过上述方式也可以确定出目标二维码与目标历史图像帧之间的第二相对位姿。本实施例由于可以基于实际角点间隔距离进行位姿估计，从而可以引入实际的尺度信息，进一步提高了位姿估计的准确性和精度。
S250、获取当前图像帧与历史回环图像帧之间的相邻两个图像帧对应的初始相对位姿。
其中，SLAM系统通常由前端视觉里程计(Visual Odometry，VO)和后端优化构成，视觉里程计是用于估算相邻图像帧之间相机的运动以及局部地图。后端优化是用于对估算的运动以及回环检测的信息进行优化，获得全局一致的轨迹和地图。本实施例中的初始相对位姿可以是利用视觉里程计获得的相邻两张图像帧之间的初始相对位姿。当前图像帧与历史回环图像帧之间的相邻两个图像帧对应的初始相对位姿可以包括：上一图像帧与当前图像帧之间的初始相对位姿、相邻两个中间图像帧之间的初始相对位姿和历史回环图像帧与下一图像帧之间的初始相对位姿。其中，中间图像帧可以是指位于当前图像帧与历史回环图像帧之间的图像帧。
具体地，本实施例可以针对每个拍摄的图像帧，基于预设相机位姿估计方式，确定出每个图像帧与上一图像帧之间的初始相对位姿。示例性地，在获得相机拍摄的当前图像帧时，可以针对当前图像帧同时进行当前图像帧的回环检测操作以及利用视觉里程计估算当前图像帧与上一图像帧之间的初始相对位姿的操作。在全局优化时，可以从预先获得的每组相邻两个图像帧对应的初始相对位姿中筛选出当前图像帧与历史回环图像帧之间的相邻两个图像帧对应的初始相对位姿。
其中，预设相机位姿估计方式可以包括直接法和特征点法。其中，直接法具体是：先在一张图像帧中提取高梯度的像素点，然后设置一个初始相机位姿，根据该初始相机位姿在相邻两张图像帧之间构建前一步提取的像素点的光度误差的损失函数，通过非线性优化的方式求解并确定位姿的最优解。直接法可以省去计算特征点和描述子的时间，可以应用于一些特征缺失的应用场合中。特征点法是通过分别提取相邻两个图像帧中的特征点并计算描述子，然后通过这两张图像帧之间的特征匹配求解出这两张图像帧之间的初始相对位姿。特征点法具体可以通过如下步骤确定当前图像帧与上一图像帧之间的初始相对位姿：从分别提取当前图像帧和上一图像帧中N个特征点，并计算每个特征点的描述子。将当前图像帧的特征点与上一图像帧的特征点利用描述子进行特征匹配，获得N个特征匹配对。基于N个特征匹配对，可以构建N个对级约束方程。可以通过奇异值分解或者最小二乘化对N个对级约束方程进行求解，获得从当前图像帧变换到上一图像帧的旋转矩阵和平移向量，即当前图像帧与上一图像帧之间的初始相对位姿。其中，每个特征匹配对对应的对极约束方程可以为：
p1＝K(RK-1p2+t)
其中，p1是上一图像帧中的特征点的像素坐标，p2是当前图像帧中的特征点的像素坐标；K为已知的相机内参；R为当前图像帧变换到上一图像帧的旋转矩阵；t为当前图像帧变换到上一图像帧的平移向量。
特征点法由于没有基于灰度不变的假设，从而对于相机过曝光或快速运动具有较强的容忍性，不易追踪丢失和失败，鲁棒性强。本实施例可以利用特征点法来确定相邻两个图像帧之间的初始相对位姿。
S260、根据回环相对位姿和各初始相对位姿，对当前图像帧与历史回环图像帧之间的每个图像帧对应的相机位姿进行优化，确定每个图像帧对应的目标相机位姿。
其中，图像帧对应的相机位姿可以是指图像帧对应的拍摄时刻下的相机位姿。相机位姿可以利用相机的旋转矩阵和平移向量进行表征。目标相机位姿可以是指优化后获得的最终相机位姿。本实施例中的目标相机位姿可以是指在世界坐标系下的相机位姿。例如，每个图像帧对应的目标相机位姿可以是指每个图像帧相对于首次拍摄的第一个图像帧的相机位姿。
具体地，通过根据当前图像帧与历史回环图像帧之间的回环相对位姿以及当前图像帧与历史回环图像帧之间的各个相邻两个图像帧对应的初始相对位姿，可以对当前图像帧与历史回环图像帧之间的所有图像帧对应的相机位姿进行全局优化，获得优化后的每个图像帧对应的目标相机位姿，从而可以有效地消除累积误差，提升位姿优化效果，获得更加准确地相机位姿。
示例性地，S260可以包括：根据回环相对位姿和各初始相对位姿，建立包含当前图像帧与历史回环图像帧之间的每个图像帧对应的相机位姿的目标函数；基于最小二乘化方式，对目标函数进行最小化，获得每个图像帧对应的目标相机位姿。
其中，目标函数可以是指待优化的损失函数，通过对目标函数进行最小化，获得优化后的目标相机位姿。最小二乘优化方式可以是但不限于高斯-牛顿法、列文伯格-马夸尔特法。示例性地，目标函数可以为：
Figure BDA0002717880370000131
其中，c表示当前图像帧；h表示历史回环图像帧；i表示当前图像帧与历史回环图像帧之间的任一图像帧；
Figure BDA0002717880370000132
表示第i+1个图像帧与第i个图像帧之间的初始相对位姿；
Figure BDA0002717880370000133
表示在世界坐标系下第i个图像帧对应的相机位姿；
Figure BDA0002717880370000134
表示在世界坐标系下第i+1个图像帧对应的相机位姿；
Figure BDA0002717880370000135
表示当前图像帧与历史回环图像帧之间的回环相对位姿；
Figure BDA0002717880370000136
表示在世界坐标系下历史回环图像帧对应的相机位姿；
Figure BDA0002717880370000137
表示在世界坐标系下当前图像帧对应的相机位姿。具体地，该目标函数中的第i个图像帧对应的相机位姿
Figure BDA0002717880370000138
第i+1个图像帧对应的相机位姿
Figure BDA0002717880370000141
历史回环图像帧对应的相机位姿
Figure BDA0002717880370000142
以及当前图像帧对应的相机位姿
Figure BDA0002717880370000143
为待优化的参数。
具体地，通过利用最小二乘优化方式，可以对目标函数进行最小二乘优化，从而获得每个图像帧对应的目标相机位姿的最优估计。
本实施例的技术方案，通过根据当前图像帧与历史回环图像帧之间的回环相对位姿以及当前图像帧与历史回环图像帧之间的各个相邻两个图像帧对应的初始相对位姿，对当前图像帧与历史回环图像帧之间的所有图像帧对应的相机位姿进行全局位姿优化，从而可以有效地消除累积误差，提升位姿优化效果，获得更加准确地相机位姿。
以下是本发明实施例提供的回环检测装置的实施例，该装置与上述各实施例的回环检测方法属于同一个发明构思，在回环检测装置的实施例中未详尽描述的细节内容，可以参考上述回环检测方法的实施例。
实施例三
图3为本发明实施例三提供的一种回环检测装置的结构示意图，本实施例可适用于对当前图像帧进行回环检测的情况，该装置具体包括：图像帧获取模块310、当前图像帧检测模块320和历史回环图像帧确定模块330；
其中，图像帧获取模块310，用于获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；当前图像帧检测模块320，用于检测拍摄的当前图像帧中是否存在二维码；历史回环图像帧确定模块330，用于若当前图像帧中存在目标二维码，则从历史图像帧中确定出存在目标二维码的历史回环图像帧。
本实施例的技术方案，通过在相机拍摄环境中预先放置多个不同的二维码，使得相机拍摄的图像帧中可以存在二维码，以便利用不同的二维码区分不同相机位姿下拍摄的图像帧，从而可以利用二维码进行回环检测。若检测到拍摄的当前视频帧中存在目标二维码，则从拍摄的历史图像帧中确定出存在目标二维码的历史回环图像帧，从而可以将与当前图像帧中存在同一目标二维码的历史图像帧作为用于回环的历史回环图像帧，并且二维码是黑白形式的，对比度更高，在环境光照条件较差时也可以准确地检测出二维码，从而不易受到环境光照变化的影响，提高了回环检测的鲁棒性和准确性，进而有效地消除累积误差。
可选地，历史回环图像帧确定模块330，包括：
候选历史图像帧确定子模块，用于基于二维码与历史图像帧之间的对应关系和目标二维码，确定存在目标二维码的候选历史图像帧；
历史回环图像帧确定子模块，用于若仅存在一个候选历史图像帧，则将该候选历史图像帧确定为历史回环图像帧；若存在至少两个候选历史图像帧，则基于目标二维码在每个候选历史图像帧中的图像区域，从各候选历史图像帧中确定历史回环图像帧。
可选地，候选历史图像帧确定子模块，具体用于：确定当前图像帧对应的图像帧回环范围，并从历史图像帧中确定处于图像帧回环范围内的待选历史图像帧；基于二维码与历史图像帧之间的对应关系和目标二维码，从待选历史图像帧中确定存在目标二维码的候选历史图像帧。
可选地，该装置还包括：
目标二维码确定模块，用于在检测拍摄的当前图像帧中是否存在二维码之后，若检测到当前图像帧中存在至少两个二维码，则获取每个二维码在当前图像帧中的图像区域；将图像区域最大的二维码确定为目标二维码。
可选地，该装置还包括：
回环相对位姿确定模块，用于在从历史图像帧中确定出存在目标二维码的历史回环图像帧之后，确定当前图像帧与历史回环图像帧之间的回环相对位姿；
初始相对位姿获取模块，用于获取当前图像帧与历史回环图像帧之间的相邻两个图像帧对应的初始相对位姿；
相机位姿优化模块，用于根据回环相对位姿和各初始相对位姿，对当前图像帧与历史回环图像帧之间的每个图像帧对应的相机位姿进行优化，确定每个图像帧对应的目标相机位姿。
可选地，回环相对位姿确定模块，包括：
相对位姿确定子模块，用于基于目标二维码对应的实际角点间隔距离，确定目标二维码与当前图像帧之间的第一相对位姿，以及目标二维码与目标历史图像帧之间的第二相对位姿；
回环相对位姿确定子模块，用于根据第一相对位姿和第二相对位姿，确定当前图像帧与历史回环图像帧之间的回环相对位姿。
可选地，相对位姿确定子模块，具体用于：
提取当前图像帧中的目标二维码的四个角点信息；基于四个角点信息和目标二维码对应的实际角点间隔距离，构建单应性矩阵；通过求解单应性矩阵，确定目标二维码与当前图像帧之间的第一相对位姿。
可选地，相机位姿优化模块，具体用于：
根据回环相对位姿和各初始相对位姿，建立包含当前图像帧与历史回环图像帧之间的每个图像帧对应的相机位姿的目标函数；基于最小二乘化方式，对目标函数进行最小化，获得每个图像帧对应的目标相机位姿。
可选地，目标函数为：
Figure BDA0002717880370000171
其中，c表示当前图像帧；h表示历史回环图像帧；i表示当前图像帧与历史回环图像帧之间的任一图像帧；
Figure BDA0002717880370000172
表示第i+1个图像帧与第i个图像帧之间的初始相对位姿；
Figure BDA0002717880370000173
表示在世界坐标系下第i个图像帧对应的相机位姿；
Figure BDA0002717880370000174
表示在世界坐标系下第i+1个图像帧对应的相机位姿；
Figure BDA0002717880370000175
表示当前图像帧与历史回环图像帧之间的回环相对位姿；
Figure BDA0002717880370000176
表示在世界坐标系下历史回环图像帧对应的相机位姿；
Figure BDA0002717880370000177
表示在世界坐标系下当前图像帧对应的相机位姿。
本发明实施例所提供的回环检测装置可执行本发明任意实施例所提供的回环检测方法，具备执行回环检测方法相应的功能模块和有益效果。
值得注意的是，上述回环检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图4显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种回环检测方法步骤，该方法包括：
获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；
检测拍摄的当前图像帧中是否存在二维码；
若当前图像帧中存在目标二维码，则从历史图像帧中确定出存在目标二维码的历史回环图像帧。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的回环检测方法的技术方案。
实施例五
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的回环检测方法步骤，该方法包括：
获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；
检测拍摄的当前图像帧中是否存在二维码；
若当前图像帧中存在目标二维码，则从历史图像帧中确定出存在目标二维码的历史回环图像帧。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种回环检测方法，其特征在于，包括：
获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；
检测拍摄的所述当前图像帧中是否存在二维码；
若所述当前图像帧中存在目标二维码，则从所述历史图像帧中确定出存在所述目标二维码的历史回环图像帧。
2.根据权利要求1所述的方法，其特征在于，从所述历史图像帧中确定出存在所述目标二维码的历史回环图像帧，包括：
基于二维码与历史图像帧之间的对应关系和所述目标二维码，确定存在所述目标二维码的候选历史图像帧；
若仅存在一个所述候选历史图像帧，则将该候选历史图像帧确定为历史回环图像帧；
若存在至少两个所述候选历史图像帧，则基于所述目标二维码在每个所述候选历史图像帧中的图像区域，从各所述候选历史图像帧中确定历史回环图像帧。
3.根据权利要求2所述的方法，其特征在于，基于二维码与历史图像帧之间的对应关系和所述目标二维码，确定存在所述目标二维码的候选历史图像帧，包括：
确定所述当前图像帧对应的图像帧回环范围，并从所述历史图像帧中确定处于所述图像帧回环范围内的待选历史图像帧；
基于二维码与历史图像帧之间的对应关系和所述目标二维码，从所述待选历史图像帧中确定存在所述目标二维码的候选历史图像帧。
4.根据权利要求1所述的方法，其特征在于，在检测拍摄的所述当前图像帧中是否存在二维码之后，还包括：
若检测到所述当前图像帧中存在至少两个二维码，则获取每个二维码在所述当前图像帧中的图像区域；
将所述图像区域最大的二维码确定为目标二维码。
5.根据权利要求1-4任一所述的方法，其特征在于，在从所述历史图像帧中确定出存在所述目标二维码的历史回环图像帧之后，还包括：
确定所述当前图像帧与所述历史回环图像帧之间的回环相对位姿；
获取所述当前图像帧与所述历史回环图像帧之间的相邻两个图像帧对应的初始相对位姿；
根据所述回环相对位姿和各所述初始相对位姿，对所述当前图像帧与所述历史回环图像帧之间的每个图像帧对应的相机位姿进行优化，确定每个图像帧对应的目标相机位姿。
6.根据权利要求5所述的方法，其特征在于，确定所述当前图像帧与所述历史回环图像帧之间的回环相对位姿，包括：
基于所述目标二维码对应的实际角点间隔距离，确定所述目标二维码与所述当前图像帧之间的第一相对位姿，以及所述目标二维码与所述目标历史图像帧之间的第二相对位姿；
根据所述第一相对位姿和所述第二相对位姿，确定所述当前图像帧与所述历史回环图像帧之间的回环相对位姿。
7.根据权利要求6所述的方法，其特征在于，基于所述目标二维码对应的实际角点间隔距离，确定所述目标二维码与所述当前图像帧之间的第一相对位姿，包括：
提取所述当前图像帧中的所述目标二维码的四个角点信息；
基于所述四个角点信息和所述目标二维码对应的实际角点间隔距离，构建单应性矩阵；
通过求解所述单应性矩阵，确定所述目标二维码与所述当前图像帧之间的第一相对位姿。
8.根据权利要求5所述的方法，其特征在于，根据所述回环相对位姿和各所述初始相对位姿，对所述当前图像帧与所述历史回环图像帧之间的每个图像帧对应的相机位姿进行优化，确定每个图像帧对应的目标相机位姿，包括：
根据所述回环相对位姿和各所述初始相对位姿，建立包含所述当前图像帧与所述历史回环图像帧之间的每个图像帧对应的相机位姿的目标函数；
基于最小二乘化方式，对所述目标函数进行最小化，获得每个图像帧对应的目标相机位姿。
9.根据权利要求8所述的方法，其特征在于，所述目标函数为：
Figure FDA0002717880360000031
其中，c表示所述当前图像帧；h表示所述历史回环图像帧；i表示所述当前图像帧与所述历史回环图像帧之间的任一图像帧；
Figure FDA0002717880360000032
表示第i+1个图像帧与第i个图像帧之间的初始相对位姿；
Figure FDA0002717880360000033
表示在世界坐标系下第i个图像帧对应的相机位姿；
Figure FDA0002717880360000034
表示在世界坐标系下第i+1个图像帧对应的相机位姿；
Figure FDA0002717880360000035
表示所述当前图像帧与所述历史回环图像帧之间的回环相对位姿；
Figure FDA0002717880360000036
表示在世界坐标系下所述历史回环图像帧对应的相机位姿；
Figure FDA0002717880360000037
表示在世界坐标系下所述当前图像帧对应的相机位姿。
10.一种回环检测装置，其特征在于，包括：
图像帧获取模块，用于获取相机拍摄的当前图像帧和历史图像帧，其中，相机拍摄环境中预先放置多个不同的二维码；
当前图像帧检测模块，用于检测拍摄的所述当前图像帧中是否存在二维码；
历史回环图像帧确定模块，用于若所述当前图像帧中存在目标二维码，则从所述历史图像帧中确定出存在所述目标二维码的历史回环图像帧。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的回环检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的回环检测方法。
CN202011079676.6A 2020-10-10 2020-10-10 一种回环检测方法、装置、电子设备和存储介质 Active CN113763466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011079676.6A CN113763466B (zh) 2020-10-10 2020-10-10 一种回环检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011079676.6A CN113763466B (zh) 2020-10-10 2020-10-10 一种回环检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113763466A true CN113763466A (zh) 2021-12-07
CN113763466B CN113763466B (zh) 2024-06-14

Family

ID=78785813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011079676.6A Active CN113763466B (zh) 2020-10-10 2020-10-10 一种回环检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113763466B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964236A (zh) * 2022-05-25 2022-08-30 重庆长安汽车股份有限公司 一种针对地下停车场环境的建图与车辆定位系统及方法
CN115982399A (zh) * 2023-03-16 2023-04-18 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品
CN116358533A (zh) * 2023-05-31 2023-06-30 小米汽车科技有限公司 回环检测数据的处理方法、装置、存储介质以及车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142227A1 (ja) * 2006-06-07 2007-12-13 Nec Corporation 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム
WO2014114118A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
CN109556596A (zh) * 2018-10-19 2019-04-02 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
US20200116498A1 (en) * 2018-10-16 2020-04-16 Ubtech Robotics Corp Visual assisted distance-based slam method and mobile robot using the same
CN111598149A (zh) * 2020-05-09 2020-08-28 鹏城实验室 一种基于注意力机制的回环检测方法
CN111696118A (zh) * 2020-05-25 2020-09-22 东南大学 动态场景下基于语义分割与图像修复的视觉回环检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142227A1 (ja) * 2006-06-07 2007-12-13 Nec Corporation 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム
WO2014114118A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
US20200116498A1 (en) * 2018-10-16 2020-04-16 Ubtech Robotics Corp Visual assisted distance-based slam method and mobile robot using the same
CN109556596A (zh) * 2018-10-19 2019-04-02 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
CN111598149A (zh) * 2020-05-09 2020-08-28 鹏城实验室 一种基于注意力机制的回环检测方法
CN111696118A (zh) * 2020-05-25 2020-09-22 东南大学 动态场景下基于语义分割与图像修复的视觉回环检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114964236A (zh) * 2022-05-25 2022-08-30 重庆长安汽车股份有限公司 一种针对地下停车场环境的建图与车辆定位系统及方法
CN115982399A (zh) * 2023-03-16 2023-04-18 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品
CN116358533A (zh) * 2023-05-31 2023-06-30 小米汽车科技有限公司 回环检测数据的处理方法、装置、存储介质以及车辆
CN116358533B (zh) * 2023-05-31 2023-08-29 小米汽车科技有限公司 回环检测数据的处理方法、装置、存储介质以及车辆

Also Published As

Publication number Publication date
CN113763466B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN109242913B (zh) 采集器相对参数的标定方法、装置、设备和介质
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN111445526B (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
EP3028252B1 (en) Rolling sequential bundle adjustment
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
US7554575B2 (en) Fast imaging system calibration
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
KR102169309B1 (ko) 정보 처리장치 및 그 제어방법
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN109934873B (zh) 标注图像获取方法、装置及设备
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
CN111951328A (zh) 一种物体位置检测方法、装置、设备和存储介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN112215036B (zh) 跨镜追踪方法、装置、设备及存储介质
JP2014102805A (ja) 情報処理装置、情報処理方法及びプログラム
CN117253022A (zh) 一种对象识别方法、装置及查验设备
US20220405954A1 (en) Systems and methods for determining environment dimensions based on environment pose
CN112262411B (zh) 图像关联方法、系统和装置
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant