CN112950710A - 位姿确定方法、装置、电子设备和计算机可读存储介质 - Google Patents
位姿确定方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112950710A CN112950710A CN202110209686.5A CN202110209686A CN112950710A CN 112950710 A CN112950710 A CN 112950710A CN 202110209686 A CN202110209686 A CN 202110209686A CN 112950710 A CN112950710 A CN 112950710A
- Authority
- CN
- China
- Prior art keywords
- image
- positioning data
- processed
- real
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提出一种位姿确定方法、装置、电子设备和计算机可读存储介质，涉及图像技术领域。其中，上述位姿确定方法包括在针对待处理图像的视觉追踪失败的情况下，获取待处理图像的第一定位数据以及历史图像对应的第二定位数据，其中，第一定位数据为与待处理图像同步采集到的定位数据；根据第一定位数据和第二定位数据从历史图像中选取参考图像。利用采集位置快速寻找能够与待处理图像匹配成功的参考图像，从而计算出待处理图像的位姿信息，提高了处理效率。
Description
技术领域
本发明涉及图像技术领域，具体而言，涉及一种位姿确定方法、装置、电子设备和计算机可读存储介质。
背景技术
即时定位与地图构建(simultaneous localization and mapping，SLAM)技术的出现，使无人设备(无人机、机器人等)能够在未知环境中实现自主导航，也进一步推动无人设备的发展。
目前单目视觉SLAM使用广泛，其通过对采集到的每一帧图像进行跟踪，然后进行位姿确定和地图的更新。然而，一旦出现追踪失败，则需要在地图中使用词袋的方式进行重定位。显然，采用词袋的方式存在返航的问题，直接影响SLAM任务的完成效率。
发明内容
有鉴于此，本发明的目的在于提供一种位姿确定方法、装置、电子设备和计算机可读存储介质。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明提供一种位姿确定方法，所述位姿确定方法包括：
在针对待处理图像的视觉追踪失败的情况下，获取所述待处理图像的第一定位数据以及历史图像对应的第二定位数据；
根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像；
根据所述参考图像及所述待处理图像，结合实时地图，计算所述待处理图像对应的位姿信息。
在可选的实施方式中，所述根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像的步骤包括：
获取与创建实时地图所用的历史图像同步采集到的第二定位数据；
若一帧所述历史图像的第二定位数据与所述第一定位数据之间的距离小于预设距离，则将所述历史图像确定为所述参考图像。
在可选的实施方式中，所述根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像的步骤包括：
获取与创建实时地图所用的历史图像同步采集到的第二定位数据；
根据与所述历史图像同步采集到的第二定位数据，分别从多个方向获取与所述待处理图像对应的第一定位数据之间距离最近的所述历史图像，以作为所述参考图像。
在可选的实施方式中，在根据所述参考图像及所述待处理图像未计算出所述位姿信息的情况下，所述位姿确定方法还包括：
根据所述待处理图像与新采集到的图像数据，创建新的实时地图并获取所述待处理图像对应的所述位姿信息；
获取所述新的实时地图所对应的相似变换关系；其中，所述相似变换关系用于将视觉坐标系下的位置数据转换到世界坐标系中；
利用每一所述实时地图对应的所述相似变换关系，将所有的所述实时地图转换到世界坐标系下，以得到实际地图数据。
在可选的实施方式中，在将所有的所述实时地图转换到世界坐标系下之后，所述位姿确定方法还包括：
判断不同的所述实时地图之间是否存在重叠；
若具有存在重叠的第一地图和第二地图，则对所述第一地图和第二地图之间的重叠部分进行融合，以得到所述实际地图数据。
在可选的实施方式中，所述判断不同的所述实时地图之间是否存在重叠的步骤包括：
在世界坐标系下，依次检验不同的两块所述实时地图之间是否存在具有相同世界坐标的区域；
若存在具有相同世界坐标的区域，则判定两块所述实时地图之间存在重叠。
在可选的实施方式中，在根据所述参考图像及所述待处理图像计算出所述位姿信息的情况下，所述位姿确定方法还包括：
根据所述参考图像及所述待处理图像生成局部增量地图；
根据局部增量地图更新所述实时地图。
第二方面，本发明提供一种位姿确定装置，所述位姿确定装置包括：
第一获取模块，用于在针对待处理图像的视觉追踪失败的情况下，获取所述待处理图像的第一定位数据以及历史图像对应的第二定位数据，其中，所述第一定位数据为与所述待处理图像同步采集到的定位数据；
选择模块，用于根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像；
计算模块，用于根据所述参考图像及所述待处理图像，结合实时地图，计算所述待处理图像对应的位姿信息。
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的位姿确定方法。
在可选的实施方式中，所述电子设备包括无人设备，所述无人设备为具备自主定位功能的航测无人机，所述航测无人机在采集到待处理图像的同时采集对应的第一定位数据，并基于所述第一定位数据执行所述位姿确定方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的位姿确定方法。
与现有技术相比，本发明实施例提供的位姿确定方法通过在针对待处理图像的视觉追踪失败的情况下，根据待处理图像的第一定位数据和历史图像的第二定位数据，从创建实时地图所用的历史图像中获取参考图像，根据所述参考图像及所述待处理图像，结合所述实时地图，计算所述待处理图像对应的位姿信息。利用图像采集位置之间的距离，选择出重叠率达到要求的参考图像，以便能够匹配上并完成追踪，快速解决位姿跟踪丢失的问题，同时无需返航重新寻找可进行追踪的位置点，避免重复工作，提高作业效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的示意图。
图2示出了本发明实施例提供的位姿确定方法的步骤流程图之一。
图3示出了本发明实施例提供的按照作业路线采集图像数据并进行位姿计算的场景之一。
图4示出了本发明实施例提供的按照作业路线采集图像数据并进行位姿计算的场景之二。
图5为一种确定参考图像的示例图。
图6为另一种确定参考图像的示例图。
图7示出了本发明实施例提供的位姿确定方法的步骤流程图之二。
图8为图7中的步骤S202的子步骤流程图。
图9示出了本发明实施例提供的位姿确定方法的步骤流程图之三。
图10示出了本发明实施例提供的位姿确定装置的示意图。
图标：100-电子设备；101-存储器；102-通信接口；103-处理器；104-总线；400-位姿确定装置；401-第一获取模块；402-选择模块；403-计算模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
无人设备利用其能够有效减少人力成本的优势，被广泛应用于各个领域。比如，应用于家用领域的扫地机器人、应用于农业领域的无人机、无人车等。然而，无人设备实现无人作业的前提是自主位姿确定和导航。特别是，在陌生的环境中实现自主位姿确定和导航对于无人设备而言非常重要。
相关技术中在陌生环境中实现自主位姿确定和导航主要采用SLAM技术，也即实时获取视频流，对视频中的每一帧图像进行跟踪，追踪过程中，可选取出采集的前一帧图像为关键帧，再基于关键帧进行位姿的确定和地图的更新。理论上每采集到一帧图像即可通过上述方式完成对应位姿追踪，但是，如果某一帧图像与采集到的相邻上一帧图像匹配失败，则会出现对应的位姿追踪失败，那这一帧图像就计算不出来位姿。
面对针对图像的跟踪丢失的问题，相关技术中采用在地图中使用词袋的方式进行重定位，直到重定位成功。重定位时，相机必须要到之前去过的地方进行拍摄图像才能重定位成功，然后继续接着重定位成功的那一帧图像进行跟踪。显然，在丢失的那一刻到重定位成功之间的图像帧的位姿是没有的，而且返航也会带来不少不需要且重复的工作量。
为了解决上述问题，本发明实施例听了一种位姿确定方法、装置、电子设备和计算机可读存储介质。
请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。
本发明实施例所提供的位姿确定方法及装置可以应用于上述电子设备100。在一些实施例中，上述电子设备100可以是与无人设备通信的设备，用于接收无人设备回传的图像执行上述位姿确定方法。比如，个人电脑(personal computer，PC)、服务器、分布式部署的计算机。可以理解的是，电子设备100也不限于物理设备，还可以是物理设备上布局的虚拟机、基于云平台上构建的虚拟机等能提供与所述服务器或者虚拟机有相同功能的计算机。
在一些实施例中，上述电子设备100还可以是无人设备本身，如此，电子设备100采集到图像后便可基于此执行上述位姿确定方法。比如，无人设备为具有图像采集模块的航测无人机。上述图像采集模块用于采集待估图像帧，并根据待估图像帧和对应的地图数据执行上述位姿确定方法。此外，上述无人设备还具备自主定位功能，实现上述自主定位功能的定位技术可以基于全球定位系统(Global Positioning System,GPS)、全球导航卫星系统(Global Navigation Satellite System,GLONASS)，罗盘导航系统(COMPASS)、伽利略定位系统、准天顶卫星系统(Quasi-Zenith SatelliteSystem,QZSS)、无线保真(WirelessFidelity,WiFi)定位技术、北斗卫星导航定位系统、高精度的实时动态(Real-timekinematic，RTK)技术等，或其任意组合。一个或多个上述定位系统可以在本申请中互换使用。为了方面描述，本发明实施例中，主要以无人设备采用RTK技术进行定位数据采集为例进行描述。
上述电子设备100的操作系统可以是，但不限于，Windows系统、Linux系统等。上述电子设备100包括存储器101、通信接口102、处理器103和总线104，所述存储器101、通信接口102和处理器103通过总线104连接，处理器103用于执行存储器101中存储的可执行模块，例如计算机程序。其中，存储器101可能包含高速随机存取存储器101(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器101(non-volatile memory)，例如至少一个磁盘存储器101。通过至少一个通信接口102(可以是有线或者无线)实现该电子设备100与外部设备之间的通信连接。
总线104可以是ISA总线、PCI总线或EISA总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器101用于存储程序，例如图7所示的位姿确定装置400。该位姿确定装置400包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器103在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的位姿确定方法。
处理器103可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参考图2，图2示出了本发明实施例提供的一种位姿确定方法。如图2所示，上述位姿确定方法可以包括以下步骤：
步骤S101，在针对待处理图像的视觉追踪失败的情况下，获取所述待处理图像的第一定位数据以及历史图像对应的第二定位数据。
一方面，上述待处理图像是无人设备采集到的图像数据中的一帧。另一方面，上述待处理图像也是出现视觉追踪失败的图像。
上述视觉追踪失败可以理解为某一帧图像数据与相邻上一帧图像数据之间匹配失败，进而导致无法计算出该图像数据(也即，待处理图像)对应的位姿信息的情况。
上述第一定位数据表征采集到待处理图像时无人设备自身的位置。
在SLAM过程中，确定出采集图像数据所对应的位姿信息后，还会基于该图像数据创建或更新无人设备视觉坐标系下的实时地图。换句话说，实时地图为根据已确定出位姿信息的图像数据构建得到，因此，在一些实施例中，上述历史图像可以是无人设备采集到的图像数据中已确定出位姿信息的图像。
当然，本质上待处理图像和历史图像是无人设备按照同一作业路径进行图像采集的过程中先后采集到的图像。上述第二定位数据表征采集到历史图像时无人设备自身的位置。步骤S103，根据参考图像及待处理图像，结合实时地图，计算待处理图像对应的位姿信息。
在一些实施例中，利用重叠率越高的图像数据之间具有共视，且越容易匹配成功的特点，通过获取待处理图像与参考图像之间的匹配点，确定出待处理图像与实时地图之间匹配点，进而计算出该待处理图像的位姿信息。
下面对本发明实施例的实现细节进行描述：
在一些实施例中，无人设备可以是按照预先规划的作业路径进行图像采集。虽然高频率的图像采集能够一定程度上减少视觉追踪丢失的可能，但是高频率的图像采集意味着大量的图像追踪和实时地图重建，对系统资源要求较高，且所需处理性能也高，处理时耗也比较长。
在本发明实施例中，可以采用离散拍摄图像的方式进行图像采集，以减少SLAM过程中图像数据的处理量。当然，上述离散拍摄的拍摄频率也是具有一定要求的。比如确保相邻两帧图像数据之间的重叠率不低于预设值。当然，不同航拍高度下，需要使相邻两帧图像数据达到同样的重叠率，所需的采集频率是不同的。于此，可以按照航拍高度及相邻两帧被采集到的图像所需达到的重叠率，确定无人设备的图像离散采集频率。
在一些实施例中，无人设备按照预先规划的作业路径进行图像采集后，基于所采集到的图像数据进行即时定位与地图构建。具体而言，可以分为以下两种场景：
第一种场景下，无人设备可以在沿着预规划的作业路径移动的过程中进行离散的图像数据采集。在完整针对整个作业路径的图像数据采集后，再按照采集的先后顺序依次追踪采集到每一帧图像数据时无人设备的位姿信息。以图3为示例，在按照作业路径驾驶的过程中，依次进行图像数据的采集，在完成所有图像数据采集后，依次对每一帧图像数据进行追踪。
第二种场景下，无人设备也是在沿着预规划的作业路径移动的过程中进行离散的图像数据采集。同时，每采集到一帧图像数据，便基于该图像数据进行无人设备的位姿估计及地图更新，比如，图4中所示。
无论是在以上何种场景下，实现本发明实施例所提供的位姿确定方法的原理都一样，为了方便描述后续主要以图4为例展开描述。
如前所述，为了降低图像数据的处理量，本发明实施例中可以采用离散的图像采集方式，而针对离散采集的图像数据进行即时定位与地图构建处理的过程中，出现视觉追踪失败的可能性也提高。一旦出现视觉追踪失败，则可以采用以下两种方式实现上述步骤S101。
上述步骤S101可以是：获取与创建实时地图所用的历史图像同步采集到的第二定位数据，以及与待处理图像同步采集到的第一定位数据。
可理解地，无人设备进行图像采集的同时还可以利用RTK技术确定无人设备采集该图像数据时在真实空间中的位置坐标，也即，定位数据。为了方便描述，将与采集待处理图像同步采集到的定位数据称为第一定位数据。将与历史图像同步采集到的定位数据称为第二定位数据。
一种情况下，可以是采集定位数据的频率高于采集图像数据的频率。比如，利用GPS传感器进行定位数据的采集。该情况下，需要对采集到的定位数据和图像数据做时间上的对其操作(比如，vins-fusion)，以确保每一帧图像数据均能够对应着同一采集时间采集到定位数据。
另一种情况下，还可以是每采集一帧图像数据的同时联动采集一个定位数据，从硬件层面上做到图像数据与定位数据在采集时间上的一致。比如，利用RTK技术进行定位数据的采集。
在一些实施例中，可以根据待处理图像的采集时间点，从已采集的定位数据中匹配出具有相同采集时间点的定位数据，以作为第一定位数据。简单地说，无人设备采集图像数据的同时，也同步进行采集RTK数据(定位数据)，在硬件的层面上做到采集数据时间上的一致性，在进行RTK数据与图像数据进行融合时无需进行时间上的对齐操作(vins-fusion)。
如前所述，上述历史图像均为已确定出位姿，并已用于构建实时地图的图像。比如，图4中除图像帧a以外的其他图像，或者图3中采集时间点位于图像帧a之前的图像。
同理，在一些实施例中，可以根据每一帧历史图像所对应的采集时间点，从已采集的定位数据中匹配出具有相同采集时间点的定位数据，以作为第二定位数据。
在一些实施例中，上述步骤S102可以采用多种方式实现，下面主要以下面几种进行介绍：
步骤S102的第一种实现方式：获取每一帧历史图像所对应的第二定位数据与上述第一定位数据之间的距离。若一第二定位数据与第一定位数据之间的距离小于预设距离，则将该第二定位数据所对应的历史图像确定为参考图像。
上述预设距离可以是根据图像之间成功匹配所需达到的重叠率及航拍高度确定。可理解地，同样航拍高度下，不同图像数据所对应的采集位置点之间的距离越远，对应的重叠率越低。故，可以通过预先的测试，确定出不同航拍高度下，采集位置点之间的距离与所采集到的图像数据之间重叠率的对应关系。如此，在确定出无人设备的航拍高度后，结合图像之间能够实现成功匹配所需的重叠率，即可得到对应的预设距离。
比如，航拍高度为20米的情况下，采集位置点之间的距离为1米时，所采集到的两帧图像数据之间的重叠率为80％，采集位置点之间的距离为2米时，所采集到的两帧图像数据之间的重叠率为70％，采集位置点之间的距离为3米时，所采集到的两帧图像数据之间的重叠率为60％。如果不同图像之间的重叠率至少达到70％才能够成功进行匹配，那么可以将预设距离确定为2米。
示例性地，在图4的基础上如图5所示，可以以待处理图像(也即，图像帧a)的第一定位数据为中心，确定一个半径为预设距离的目标空间范围。将对应的第二定位数据属于目标空间范围的历史数据(图像帧b、c、d)确定为参考图像。
上述步骤S101的第二种实现方式可以是：根据与历史图像同步采集到的第二定位数据，分别从多个方向获取与待处理图像对应的第一定位数据之间距离最近的历史图像，以作为参考图像。
以图6为例，上述多个方向可以是但不限于是前方(作业设备移动方向)、后方(作业设备移动反方向)、左方(与作业设备移动方向垂直的左侧)、右方(与作业设备移动方向垂直的右侧)、左前方(前方和左方之间的方向)、左后方(后方和左方之间的方向)、右前方(前方和右方之间的方向)及右后方(后方和右方之间的方向)等。实际应用中，上述多个方向的实际类型可以由用户设定。
在一些实施例中，可以分别获取采集位置点位于待处理图像的各个方向上的历史图像。从每个方向上的历史图像中再确定出与待处理图像对应的第一定位数据之间距离最近的历史图像，以作为参考图像。比如，图6中，将图像帧b、c、d和e确定为参考图像。
当然，在一些特别的实施例中，上述步骤S102还可以是从所有历史图像的第二定位数据中获取与第一定位数据之间距离最近的目标定位数据，将目标定位数据所对应的历史图像作为参考图像。
在一些实施例中，上述步骤S103可以包括以下步骤：
S103-1，通过针对待处理图像和参考图像的特征提取和匹配分析，确定出待处理图像与参考图像之间的匹配特征点对。
上述匹配特征点对包括一个提取自待处理图像的第一特征点和一个提取自参考图像的第二特征点。上述匹配特征点对所对应的两个特征点之间匹配度超过设定要求。
在一些实施例中，可以采用这种SIFT算法，实现在图像数据(待处理图像和参考图像)中进行特征点的提取。
S103-2，从实时地图中获取与匹配特征点对中的第二特征点匹配的目标地图点。
S103-3，根据多组匹配特征点对中的第一特征点和对应的目标地图点，计算待处理图像所对应的位姿信息。
在一些实施例中，可以根据多组匹配特征点中第一特征点和对应的目标地图点，计算初始位姿。比如，可以利用Perspective-n-Points(比如，P3P)进行初始位姿求解。需要说明的是，P3P是一种由3D-2D的位姿求解方式，即基于已知匹配的3D点(地图点)和图像2D点(特征点)进行位姿求解。然后，然后运用BA计算最小化重投影误差，并利用最小重投影误差，来优化相机的位姿，得到待处理图像所对应的位姿信息。
在一些实施例中，在根据参考图像及待处理图像计算出位姿信息的情况下，上述位姿确定方法还可以包括：
根据参考图像及待处理图像生成局部增量地图。根据局部增量地图更新实时地图。
示例性地，上述生成局部增量地图的方式可以是：首先，从参考图像和待处理图像之间的匹配特征点对中确定出目标特征点对。上述目标特征点对中的第二特征点与地图数据中已有的地图点均不匹配。换句话说，上述目标特征点对中的第一特征点与地图数据中的地图点均不匹配。其次，根据目标特征点对，创建局部增量地图。在一些实施例中，可以采用三角测量的方式基于上述目标特征点对生成新的地图点，如此得到局部增量地图。
当然，依然存在根据参考图像及待处理图像依然无法计算出位姿信息的可能。如果根据确定出的参考图像与待处理图像依然不能计算出待处理图像数据所对应的位姿信息，那么可以采用如图7所示的下述步骤：
步骤S201，根据待处理图像与新采集到的图像数据，创建新的实时地图并获取待处理图像对应的位姿信息。
上述新采集到的图像数据可以是还未确定出位姿信息且采集时间点位于待处理图像之后的图像。上述步骤S201相当于以待处理图像为第一帧图像，与后采集到的图像数据创建另一个实时地图(或称为子地图)，以便进行位姿的确定。在待处理图像之后采集到的图像数据若没有出现视觉追踪失败的情况，都采用新创建的实时地图进行位姿的确定和地图的更新。
此后，不再继续对原实时地图进行更新，原实时地图作为一个独立的子地图进行存储。
步骤S202，获取新的实时地图所对应的相似变换关系。
上述相似变换关系用于将视觉坐标系下的位置数据转换到世界坐标系中。
在一些实施例中，可以通过建立本地坐标系，以得到视觉坐标系下和世界坐标系之间的转换。
如图8所示，上述步骤S202可以包括以下子步骤：
子步骤S202-1，获取用于建立新的实时地图的第一帧图像数据所对应的定位数据。
在本发明实施例中，上述构建新的实时地图的第一帧图像数据可以是待处理图像。
子步骤S202-2，将第一帧图像数据所对应的定位数据作为原地，建立本地坐标系。
也即，可以是将第一定位数据作为原点，创建一个能够与世界坐标系进行转换的本地坐标系，采集时间点在待处理图像之后的图像数据所对应的定位数据均可投影到本地坐标系中。需要说明的是，本地坐标系下每帧图像数据所对应的坐标位置与该本地坐标系的原点的距离等于世界坐标系下该图像数据与待处理图像所对应的定位数据之间的距离。
子步骤S202-3，根据本地坐标系及新采集到的图像数据，拟合相似变换关系。
上述相似变换关系包括本地坐标系与世界坐标系之间的转换映射关系、视觉坐标系与本地坐标系之间的相似变换矩阵。
在一些实施例中，上述转换映射关系可根据本地坐标系原点所对应的定位数据确定出来。
在一些实施例中，上述相似变换矩阵可以通过以下方式确定：将新采集到的图像数据的定位数据转换到本地坐标系下，记作tRTK。依次根据确定出新采集到的图像数据的位姿信息获取采集到该帧图像数据时相机中心在视觉坐标系下的坐标，记为tvis。tvis与其对应的tRTK之间存在一个相似变换矩阵，记为Tv_g，由于噪声的存在，变换之间存在一定的误差r：
r＝tvis-Tv_g*tRTK；
通过构建如下的优化方程，可以计算出两个坐标系之间的相似变换矩阵Tv_g：
进行求解Tv_g。其中，n代表用于重建新的实时地图的图像数据的总帧数(包括待处理图像和新采集到的图像数据中用于重建新的实时地图的图像数据的总数)。m代表图像数据的序列号，不同的m取值代表创建实时地图所用的不同图像数据。同时，rm代表创建新的实时地图所使用的第m号图像数据所对应的误差r。
上述本地坐标系以创建实时地图的第一帧图像数据所对应的定位数据为起点建立。显然，不同实时地图所对应的本地坐标系是不同的，如此，不难推断出不同实时地图所对应的相似变换关系也会有所差异。当然，计算不同实时地图所对应的相似变换关系的原理都相同，在此不再赘述。
步骤S203，利用每一实时地图对应的相似变换关系，将所有的实时地图转换到世界坐标系下，以得到实际地图数据。
在存在多块实时地图的情况下，可以依次使用每块实时地图所对应的相似变换关系，将该实时地图中地图点映射到世界坐标系下，将世界坐标系下的多个实时地图进行组合，以得到实际地图数据。
在一些实施例中，可以先利用实时地图对应的相似变换关系中的相似变换矩阵，将实时地图中每一个地图点从视觉坐标系投影至对应的本地坐标系。然后，利用相似变换关系中转换映射关系，将本地坐标系中的地图点再转换到世界坐标系下，以得到世界坐标系下的实时地图。
此外，世界坐标系下的不同实时地图之间存在具有重叠的可能，故，在将所有的实时地图转换到世界坐标系下之后，如图9所示，上述位姿确定方法还包括：
步骤S301，判断不同的实时地图在世界坐标下是否存在重叠。
在一些实施例中，在世界坐标系下，依次检验不同的两块实时地图之间是否存在具有相同世界坐标的区域。若存在具有相同世界坐标的区域，则判定两块实时地图之间存在重叠。
在另一些实施例中，可以对不同的两块实时地图的边缘区域进行地图点匹配，如果匹配出超过指定数量的地图点，那么判断两块实时地图之间存在重叠。
步骤S302，若具有存在重叠的第一地图和第二地图，则对第一地图和第二地图之间的重叠部分进行融合，以得到实际地图数据。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种位姿确定装置400的实现方式，可选地，该位姿确定装置400可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图10，图10为本发明实施例提供的一种位姿确定装置400的功能模块图。需要说明的是，本实施例所提供的位姿确定装置400，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该位姿确定装置400包括：第一获取模块401、选择模块402及计算模块403。
第一获取模块401，用于在针对待处理图像的视觉追踪失败的情况下，获取所述待处理图像的第一定位数据以及历史图像对应的第二定位数据，其中，所述第一定位数据为与所述待处理图像同步采集到的定位数据。
在一些实施例中，上述步骤S101可以由第一获取模块401执行。
选择模块402，用于根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像。
在一些实施例中，上述步骤S102可以由选择模块402执行。
计算模块403，用于根据所述参考图像及所述待处理图像，结合所述实时地图，计算所述待处理图像对应的位姿信息。
在一些实施例中，上述步骤S102可以由计算模块403执行。
在一些实施例中，上述位姿确定装置400还包括：
创建模块，用于根据所述待处理图像与新采集到的图像数据，创建新的实时地图并获取所述待处理图像对应的所述位姿信息。
在一些实施例中，上述步骤S201可以由创建模块执行。
第二获取模块，用于获取所述新的实时地图所对应的相似变换关系；所述相似变换关系用于将视觉坐标系下的位置数据转换到世界坐标系中。
在一些实施例中，上述步骤S202可以由第二获取模块执行。
映射模块，用于利用每一所述实时地图对应的所述相似变换关系，将所有的所述实时地图转换到世界坐标系下，以得到实际地图数据。
在一些实施例中，上述步骤S203可以由映射模块执行。
在一些实施例中，所述位姿确定装置400还包括：
创建模块，用于根据所述参考图像及所述待处理图像生成局部增量地图。
更新模块，用于根据局部增量地图更新所述实时地图。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器101中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器103执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器101中。
综上所述，本发明实施例提供了一种位姿确定方法、装置、电子设备和计算机可读存储介质。其中，上述位姿确定方法包括在针对待处理图像的视觉追踪失败的情况下，根据所述待处理图像的第一定位数据，从创建实时地图所用的历史图像中获取与所述待处理图像之间重叠率超过预设值的参考图像；其中，所述第一定位数据为与所述待处理图像同步采集到的定位数据；根据所述参考图像及所述待处理图像，结合所述实时地图，计算所述待处理图像对应的位姿信息。在出现追踪失败的情况下，无需返航，利用采集位置快速寻找能够匹配成功的参考图像，进行重新计算待处理图像的位姿信息，提高了处理效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种位姿确定方法，其特征在于，所述位姿确定方法包括：
在针对待处理图像的视觉追踪失败的情况下，获取所述待处理图像的第一定位数据以及历史图像对应的第二定位数据；
根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像；
根据所述参考图像及所述待处理图像，结合实时地图，计算所述待处理图像对应的位姿信息。
2.根据权利要求1所述的位姿确定方法，其特征在于，所述根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像的步骤包括：
获取与创建实时地图所用的历史图像同步采集到的第二定位数据；
若一帧所述历史图像的第二定位数据与所述第一定位数据之间的距离小于预设距离，则将所述历史图像确定为所述参考图像。
3.根据权利要求1所述的位姿确定方法，其特征在于，所述根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像的步骤包括：
获取与创建实时地图所用的历史图像同步采集到的第二定位数据；
根据与所述历史图像同步采集到的第二定位数据，分别从多个方向获取与所述待处理图像对应的第一定位数据之间距离最近的所述历史图像，以作为所述参考图像。
4.根据权利要求1所述的位姿确定方法，其特征在于，在根据所述参考图像及所述待处理图像未计算出所述位姿信息的情况下，所述位姿确定方法还包括：
根据所述待处理图像与新采集到的图像数据，创建新的实时地图并获取所述待处理图像对应的所述位姿信息；
获取所述新的实时地图所对应的相似变换关系；其中，所述相似变换关系用于将视觉坐标系下的位置数据转换到世界坐标系中；
利用每一所述实时地图对应的所述相似变换关系，将所有的所述实时地图转换到世界坐标系下，以得到实际地图数据。
5.根据权利要求4所述的位姿确定方法，其特征在于，在将所有的所述实时地图转换到世界坐标系下之后，所述位姿确定方法还包括：
判断不同的所述实时地图之间是否存在重叠；
若具有存在重叠的第一地图和第二地图，则对所述第一地图和第二地图之间的重叠部分进行融合，以得到所述实际地图数据。
6.根据权利要求5所述的位姿确定方法，其特征在于，所述判断不同的所述实时地图之间是否存在重叠的步骤包括：
在世界坐标系下，依次检验不同的两块所述实时地图之间是否存在具有相同世界坐标的区域；
若存在具有相同世界坐标的区域，则判定两块所述实时地图之间存在重叠。
7.根据权利要求1所述的位姿确定方法，其特征在于，在根据所述参考图像及所述待处理图像计算出所述位姿信息的情况下，所述位姿确定方法还包括：
根据所述参考图像及所述待处理图像生成局部增量地图；
根据局部增量地图更新所述实时地图。
8.一种位姿确定装置，其特征在于，所述位姿确定装置包括：
第一获取模块，用于在针对待处理图像的视觉追踪失败的情况下，获取所述待处理图像的第一定位数据以及历史图像对应的第二定位数据，其中，所述第一定位数据为与所述待处理图像同步采集到的定位数据；
选择模块，用于根据所述第一定位数据和所述第二定位数据从所述历史图像中选取参考图像；
计算模块，用于根据所述参考图像及所述待处理图像，结合实时地图，计算所述待处理图像对应的位姿信息。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-7任一所述的位姿确定方法。
10.根据权利要求9所述的电子设备，其特征在于，所述电子设备包括无人设备，所述无人设备为具备自主定位功能的航测无人机，所述航测无人机在采集到待处理图像的同时采集对应的第一定位数据，并基于所述第一定位数据执行所述位姿确定方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的位姿确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110209686.5A CN112950710A (zh) | 2021-02-24 | 2021-02-24 | 位姿确定方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110209686.5A CN112950710A (zh) | 2021-02-24 | 2021-02-24 | 位姿确定方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112950710A true CN112950710A (zh) | 2021-06-11 |
Family
ID=76246064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110209686.5A Pending CN112950710A (zh) | 2021-02-24 | 2021-02-24 | 位姿确定方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950710A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113690162A (zh) * | 2021-08-09 | 2021-11-23 | 深圳市华星光电半导体显示技术有限公司 | 一种对位标记的抓取方法及基板的对位方法 |
| CN113837246A (zh) * | 2021-09-06 | 2021-12-24 | 广州极飞科技股份有限公司 | 图像的匹配方法及其匹配装置、无人设备 |
| CN114088103A (zh) * | 2022-01-19 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN114944015A (zh) * | 2022-06-20 | 2022-08-26 | 商汤国际私人有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170278231A1 (en) * | 2016-03-25 | 2017-09-28 | Samsung Electronics Co., Ltd. | Device for and method of determining a pose of a camera |
| CN109141393A (zh) * | 2018-07-02 | 2019-01-04 | 北京百度网讯科技有限公司 | 重定位方法、设备及存储介质 |
| CN110533722A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于视觉词典的机器人快速重定位方法及系统 |
| CN111780763A (zh) * | 2020-06-30 | 2020-10-16 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN112106113A (zh) * | 2019-09-16 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 三维重建中图像的位姿信息确定方法和装置 |
| CN112197764A (zh) * | 2020-12-07 | 2021-01-08 | 广州极飞科技有限公司 | 实时位姿确定方法、装置及电子设备 |
-
2021
- 2021-02-24 CN CN202110209686.5A patent/CN112950710A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170278231A1 (en) * | 2016-03-25 | 2017-09-28 | Samsung Electronics Co., Ltd. | Device for and method of determining a pose of a camera |
| CN109141393A (zh) * | 2018-07-02 | 2019-01-04 | 北京百度网讯科技有限公司 | 重定位方法、设备及存储介质 |
| CN110533722A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于视觉词典的机器人快速重定位方法及系统 |
| CN112106113A (zh) * | 2019-09-16 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 三维重建中图像的位姿信息确定方法和装置 |
| CN111780763A (zh) * | 2020-06-30 | 2020-10-16 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN112197764A (zh) * | 2020-12-07 | 2021-01-08 | 广州极飞科技有限公司 | 实时位姿确定方法、装置及电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113690162A (zh) * | 2021-08-09 | 2021-11-23 | 深圳市华星光电半导体显示技术有限公司 | 一种对位标记的抓取方法及基板的对位方法 |
| CN113837246A (zh) * | 2021-09-06 | 2021-12-24 | 广州极飞科技股份有限公司 | 图像的匹配方法及其匹配装置、无人设备 |
| CN114088103A (zh) * | 2022-01-19 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN114944015A (zh) * | 2022-06-20 | 2022-08-26 | 商汤国际私人有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
| US11313684B2 (en) | Collaborative navigation and mapping | |
| CN112950710A (zh) | 位姿确定方法、装置、电子设备和计算机可读存储介质 | |
| US9709404B2 (en) | Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation | |
| WO2019127445A1 (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| CN109461208B (zh) | 三维地图处理方法、装置、介质和计算设备 | |
| CN112197764B (zh) | 实时位姿确定方法、装置及电子设备 | |
| JP2020067439A (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
| CN107527382B (zh) | 数据处理方法以及装置 | |
| JP2013187862A (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| CN112556685B (zh) | 导航路线的显示方法、装置和存储介质及电子设备 | |
| CN111768489B (zh) | 一种室内导航地图构建方法和系统 | |
| CN112284400B (zh) | 车辆的定位方法、装置、电子设备及计算机可读存储介质 | |
| KR20190001086A (ko) | 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| Zhao et al. | RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap | |
| Luo et al. | Fast terrain mapping from low altitude digital imagery | |
| Li-Chee-Ming et al. | UAV navigation system using line-based sensor pose estimation | |
| CN112150550B (zh) | 一种融合定位方法及装置 | |
| Andersson et al. | Simultaneous localization and mapping for vehicles using ORB-SLAM2 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| CN117315015A (zh) | 机器人位姿确定方法、装置、介质及电子设备 | |
| CN115638788A (zh) | 语义矢量地图的构建方法、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210611 |
|
| RJ01 | Rejection of invention patent application after publication |