CN113227713A - 生成用于定位的环境模型的方法和系统 - Google Patents
生成用于定位的环境模型的方法和系统 Download PDFInfo
- Publication number
- CN113227713A CN113227713A CN201880100214.2A CN201880100214A CN113227713A CN 113227713 A CN113227713 A CN 113227713A CN 201880100214 A CN201880100214 A CN 201880100214A CN 113227713 A CN113227713 A CN 113227713A
- Authority
- CN
- China
- Prior art keywords
- model
- environment
- mobile entity
- generated
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004807 localization Effects 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 230000007613 environmental effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2024—Style variation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
一种生成用于定位的环境模型的方法,包括从移动实体(10)生成扫描环境的3D模型,所述3D模型被解释为点云。执行将所述3D模型的所述点云分割成所述点云的多个分割部分,以及通过分析所述点云的所述分割部分中的每个来由所述点云对3D对象进行建模。将所述扫描环境的生成的3D模型与所述环境的现有的3D模型进行匹配。通过将所述环境的现有的3D模型与所述扫描环境的生成的3D模型进行配比来生成是所述环境的改进的3D模型的表示的数据库。
Description
技术领域
本公开内容涉及一种生成用于定位的环境模型的方法。本公开内容还涉及一种生成用于定位移动实体(mobile entity)的环境模型的移动实体。此外,本公开内容涉及一种生成用于定位移动实体的环境模型的系统。
背景技术
先进的驾驶系统和自主驾驶汽车需要关于道路和车辆可以在其上行驶的其它区域的高精度地图。自动驾驶汽车需要的以高准确度确定车辆在道路上的位置不能够通过常规导航系统(诸如卫星导航系统,例如GPS、Galileo、GLONASS)或其他已知的定位技术(比如三角测量等)来实现。然而,特别地,当自动驾驶车辆在具有多个车道的道路上移动时,期望的是准确地确定该车辆在所述车道中的一个上的位置。
关于高精度导航,必须访问数字地图,在该数字地图中与自主驾驶车辆的安全驾驶相关的对象被捕获。用自动驾驶车辆的测试和模拟表明,需要对车辆的环境和道路规格的非常详细的了解。
然而,道路的环境的常规数字地图——其现今与车辆移动的GNSS追踪结合使用——可能足以支持驾驶员控制的车辆的导航,但是它们对于自动驾驶车辆不是足够详细的。使用专门的扫描车辆扫描道路提供多得多的细节,但是极其复杂、耗时并且昂贵。
期望的是提供一种生成用于定位的环境模型的方法,该方法使得能够以高精度创建自动驾驶移动实体的环境的精确模型,该模型包含道路信息和位于自动驾驶移动实体的环境中的驾驶相关对象的其他信息。另外的期望是提供一种生成用于定位移动实体的环境模型的移动实体以及一种生成用于定位移动实体的环境模型的系统。
发明内容
在本权利要求1中限定了一种生成用于定位的环境模型的方法的一实施方案。
根据一实施方案,所述生成用于定位的环境模型的方法包括从移动实体生成扫描环境的3D模型的步骤,所述移动实体是例如自动驾驶汽车。所述3D模型被解释为是所述移动实体的所述扫描环境的表示的点云。在下一步骤中,执行将所述3D模型的所述点云分割成所述点云的多个分割部分。在随后的步骤中,通过分析所述点云的所述分割部分中的每个来由所述点云对3D对象进行建模。
在随后的步骤中,执行3D模型匹配。将所述扫描环境的生成的3D模型与所述环境的现有的3D模型进行匹配。在所述方法的下一步骤中,通过将所述环境的现有的3D模型与所述扫描环境的生成的3D模型进行配比(align)来生成是所述环境的改进的3D模型的表示的数据库。
所述方法可以可选地包括生成示出移动实体例如自主控制的车辆正在行驶的路径的轨迹的步骤。通过评估由移动实体的摄像机系统捕获的图像或通过评估从车辆的其他传感器获得的数据来在移动实体侧执行所述轨迹的生成。为此目的,可以使用多种技术,例如VO(Vison Odometry,视觉里程计)技术或SLAM(Simultaneous Localization andMapping,即时定位与地图构建)技术。
用以将扫描环境描绘为3D模型的点云可以被生成为密集的或半密集的点云。提供扫描环境的表示作为移动实体的环境的3D模型的点云生成可以基于在所述轨迹的生成步骤期间获得的输入数据。根据另一可能的实施方案,所述点云可以是直接由安装在移动实体中的摄像机系统的原始图像或由其他传感器数据创建的。
在点云分割步骤期间,生成的点云将被分割成小片段(piece),即被分割成分割部分,基于在移动实体的环境中检测到的对象在空间中的物理分布,所述分割部分与该对象相关联。
在对于来自所述点云的分割部分中的每个进行点云3D建模的步骤期间,将创建检测到的对象的相应的3D模型。可以用形状、大小、定向、空间中的位置等来对检测到的3D对象进行建模。其他属性,诸如对象类型、颜色、纹理等,也可以被添加到从扫描环境的3D模型的点云提取的对象。为此目的,可以使用一些传统的2D对象识别算法。添加到检测到的对象的所有属性可以提供用以识别3D对象中的每个的附加信息。
在3D模型匹配的步骤期间,可以使用扫描环境的生成的3D模型来与环境的现有的3D模型进行比较。可以在移动实体/车辆侧或在远程服务器侧执行匹配过程。环境的已经现有的3D模型可以被解释为点云,并且可以存储在远程服务器的移动实体的存储单元中。
对于某一环境,例如道路的一段,通过多个移动实体生成的环境的多个3D模型可以被匹配。然而,这些模型中的一些可能被错误地匹配。可以使用诸如RANSAC(RandomSample Consensus,随机样本一致性)的离群值移除方法以提高3D模型匹配过程的鲁棒性。
结果,扫描环境的新生成的3D模型和环境的现有的3D模型的每个匹配对将提供附加信息。环境的匹配的3D模型的物理位置或环境中的对象的物理位置在理论上应完全相同,从而为系统添加一些约束。通过这些新的约束,3D模型的两个数据库之间的系统误差可以被大大降低。这也有助于将环境/场景的3D模型的两个非同步化的数据库进行配比以及将它们合并在一起。
所述方法允许扫描环境的多个3D模型可以被比较和配比,以及然后可以被合并在一起。通过将各个模型合并和配比在一起,可以生成场景的全局3D模型/地图。
以此方式生成的地标/3D模型的数目可以比通过一些传统的对象检测和识别算法生成的地标/3D模型的数目高得多,因为新的用于生成环境模型的方法不要求必需识别对象。对环境的3D模型的密集的/半密集的点云的评估允许容易地和直接地提取对象的一些几何信息,诸如对象的位置、大小、高度、形状、定向等。
此外,所提出的用于生成环境模型的方法所使用的基于点云的对象匹配对视角不敏感,因此所述方法可以被用来配比具有大视角差异(甚至方向逆转)的对象。所提出的方法可以独立地工作或作为对一些其他方法(诸如基于特征点的配比)的良好补充而工作。
所提出的生成用于定位的环境模型可以用在自主车辆导航、自主车辆定位的领域中,以及用于众包数据库生成和用于配比、合并和优化众包数据库。为了定位移动实体,在移动实体/车辆侧,可以使用环境的3D模型的密集的或半密集的点云在环境中搜索地标。将找到的地标与存储在是环境的先前生成的3D模型的表示的数据库中的地标进行匹配。配比数据可以是从在道路的相对侧上行驶的多个移动实体/车辆收集的。来自在其他困难场景中行驶的多个移动实体/车辆的数据的配比可以被改进。
权利要求11中限定了一种生成用于定位移动实体的环境模型的移动实体,例如自动驾驶车辆。
根据一可能的实施方案,所述生成用于定位移动实体的环境模型的移动实体包括:环境传感器单元,用以扫描所述移动实体的环境;以及存储单元,用以存储所述移动实体的扫描环境的生成的3D模型。所述移动实体还包括处理器单元,用以执行指令,当与所述存储单元协作由所述处理器单元执行所述指令时,所述指令执行如上文所描述的生成用于定位移动实体的环境模型的方法的处理步骤。
权利要求12中限定了一种生成用于定位移动实体的环境模型的系统。
根据一可能的实施方案,所述系统包括用于生成移动实体的扫描环境的3D模型的移动实体,其中所述3D模型被解释为点云。所述系统还包括远程服务器,所述远程服务器包括处理器单元和存储单元以存储所述移动实体的环境的现有的3D模型。所述处理器单元被实施用以执行指令,当与所述存储单元协作由所述远程服务器的所述处理器单元执行所述指令时,所述指令执行上文所描述的生成用于定位移动实体的环境模型的方法的处理步骤。所述处理步骤至少包括将生成的3D模型与环境的现有的3D模型进行匹配以及生成环境的改进的3D模型的数据库。
在下面的详细描述中阐明了附加特征和优点。应理解,前述的一般描述和下面的详细描述都仅仅是示例性的,并且意在提供用于理解权利要求的本质和特征的概述或框架。
附图说明
附图被包括以提供进一步理解,并且被并入说明书中并且构成说明书的一部分。这样,从结合附图进行的以下详细描述将更充分地理解本公开内容,在附图中:
图1例示了一种生成用于定位的环境模型的方法的示例性简化流程图;以及
图2示出了一种生成用于定位移动实体的环境模型的系统的示例性简化块图。
具体实施方式
在下面参考图1解释了一种生成用于定位的环境模型的方法,该方法可以被用来例如生成自主驾驶移动实体/车辆的环境模型,该模型可以被用于定位该移动实体/车辆,图1例示了该方法的不同步骤。
车辆沿着路径行驶并且沿着行驶路径收集包含有关车辆的环境的信息的数据。所收集的数据可以与已经存在于车辆中的关于车辆的环境的信息/数据进行配比。此信息可以存储在车辆的内部存储单元中的数据库的形式提供。通过将在沿着路径行驶时捕获的数据与先前存储的数据进行配比和匹配,可以创建新的复合数据集。特别地,由行驶车辆的传感器系统当前扫描的环境的3D模型与相同环境的先前创建的3D模型进行匹配和配比,以产生表示环境并且特别地表示车辆的行驶路线的环境中的驾驶相关对象的新的数据库。
图2示出了移动实体10和远程服务器20以及它们各自的部件,所述部件可以被用来执行生成用于定位移动实体的环境模型的方法。在对该方法的步骤的以下描述中描述了系统的不同部件。
图1中所示出的步骤S1是可选的并且与在移动实体(例如自动驾驶车辆)移动期间生成该移动实体的轨迹有关。在轨迹生成步骤S1期间,将确定在一个场景中移动的移动实体/车辆的路径/轨迹。为此目的,移动实体/车辆10的环境传感器11收集关于该移动实体/车辆行驶所沿的路径的环境的信息。为了获得该轨迹,可以通过VO(视觉里程计)技术或SLAM(即时定位与地图构建)技术来评估由移动实体的环境传感器捕获的数据。
环境传感器11可以包括摄像机系统,比如CCD摄像机,该摄像机系统可以适合于捕获可见图像和/或红外图像。该摄像机系统可以包括简单的单目摄像机或替代地立体摄像机,该立体摄像机可以具有彼此远离安装的两个成像传感器。另一些传感器,比如至少一个雷达传感器或至少一个激光传感器或至少一个RF信道传感器或至少一个红外传感器,可以被用于扫描和检测移动实体10的环境以及用于生成移动实体10移动所沿的轨迹。
根据一可能的实施方案,轨迹生成步骤S1可以包括移动实体所使用的交通车道的确定。此外,轨迹的生成可以包括生成移动实体的速度或加速度中的至少一个的分布图(profile)。可以在步骤S1中在三个空间方向上确定移动实体10的速度/加速度。此外,可以在步骤S1中确定定义道路的特定特性的重要参数,例如,宽度、方向、曲率、每个方向上的车道的数目、车道的宽度或道路的表面结构。
借助于被配置为3D点云的3D模型在步骤S2中对由沿着路径/轨迹行驶的移动实体/车辆10扫描的环境进行建模。该3D模型是由在沿着轨迹行驶期间移动实体的整个扫描环境生成的。环境中的驾驶相关对象被描述在生成的3D模型中作为点云的部分。
3D点云可以被生成为具有不同程度的密度。因此,可以在步骤S2中生成密集的或半密集的点云作为扫描环境的表示。扫描环境的3D模型的点云可以存储在移动实体10的存储单元12中。
在步骤S3中评估在步骤S2中生成的3D模型/点云。在评估3D模型中包括的生成的点云期间,该点云被分割成片段/部分,该分割基于所述片段/部分在空间中的物理分布。评估算法可以确定点云中的哪些点属于某一对象,例如场景中的树、信号灯、其他车辆等。根据一可能的实施方案,可以通过使用神经网络的算法(例如人工智能算法)来执行对环境的3D模型的完整点云的评估。
在步骤S4中,可以通过分析点云的分割部分中的每个来对在扫描环境的生成的3D模型的点云中识别的3D对象进行建模/提取。对扫描环境的3D模型中的对象的建模/提取从生成的3D点云直接完成。结果,对于扫描环境的3D模型的点云的每个分割部分,可以创建与捕获的情景中的对象的形状、大小、定向和/或位置有关的信息。
在步骤S5中,除了扫描环境的3D模型的提取的对象的形状、大小、定向和/或定位之外,诸如对象类型、颜色、纹理等的其他属性可以被添加到生成的3D模型中的提取的对象中的每个。使表征扫描环境的生成的3D模型中的3D对象的相应的属性与提取的/建模的对象中的每个相关联。
在步骤S6中,将扫描环境的生成的3D模型与环境的现有的3D模型进行匹配。
移动实体的环境的现有的3D模型的数据库/数据集可以存储在移动实体10的存储单元12中。在由移动实体10执行步骤S6的3D模型匹配的情况下,匹配可以由移动实体10的处理器单元13执行。
根据另一可能的实施方案,可以将存储在移动实体10的存储单元12中的是扫描环境的生成的3D模型的表示的数据库/数据集从移动实体10转发到远程服务器20,以执行在移动实体10中生成的扫描环境的3D模型与可能存储在远程服务器20的存储单元22中的环境的现有的3D模型进行匹配。在移动实体10中生成的并且是移动实体的扫描环境的表示的描述3D模型的数据库/数据集,可以由移动实体10的通信系统14转发到远程服务器20。模型匹配由远程服务器20的处理器单元21执行。
在方法步骤S7中,可以移除是3D模型匹配的可能结果的离群值。根据该方法的一实施方案,在将生成的3D模型与现有的模型进行匹配之后,依赖于检测到的在生成的3D模型与已经现有的3D模型之间的一致性,可以移除扫描环境的完整的生成的3D模型以防止进一步处理。
根据另一可能的实施方案,在将生成的3D模型与已经现有的3D模型进行匹配之后,依赖于检测到的在生成的3D模型与现有的3D模型之间的一致性,可以移除扫描环境的生成的3D模型的建模的/提取的对象中的至少一个以防止进一步处理。
特别地,当生成的3D模型相对于移动实体的环境的现有的3D模型包含大量差异时,环境的最新的生成的3D模型或最新的生成的3D模型中的建模的/提取的对象可以被拒绝以防止进一步处理。
在方法步骤S8中,可以通过将环境的现有的3D模型和扫描环境的生成的3D模型进行配比来生成是移动实体的环境的改进的3D模型的表示的数据库。为此目的,将扫描环境的当前生成的3D模型与环境的先前生成的并且现在已经现有的3D模型进行比较。可以通过评估从先前沿着与移动实体/车辆10相同的轨迹行驶的其他移动实体/车辆捕获的环境的3D模型来生成现有的3D模型。
在方法步骤S8中,将相同环境的当前生成的3D模型和已经现有的3D模型复合(compose),以生成是移动实体的环境的改进的3D模型的表示的改进的数据库。可以在移动实体10中或在远程服务器20中执行相同环境的各3D模型的复合。
如果在远程服务器20中复合环境的改进的3D模型,描述3D模型的数据库/数据集可以从远程服务器20传输到移动实体10。在移动实体10中当前生成的扫描环境的3D模型和环境的已经现有的3D模型的组合产生具有高准确度和精确对象定位信息的数据集。
移动实体10可以将从远程服务器20接收的环境的3D模型与通过移动实体扫描环境所生成的3D模型进行比较。移动实体10可以通过将从远程服务器20接收的环境的3D模型与扫描环境的生成的3D模型进行匹配和配比来确定它的位置。根据另一实施方案,移动实体10的位置可以通过远程服务器通过将由移动实体10生成的环境的3D模型与在服务器侧可用的环境的3D模型进行匹配和配比来确定。
参考符号列表
10 移动实体
11 环境传感器
12 存储单元
13 处理器单元
14 通信单元
20 远程服务器
21 处理器单元
22 存储单元。
Claims (12)
1.一种生成用于定位的环境模型的方法,包括:
-从移动实体生成扫描环境的3D模型,所述3D模型被解释为点云,
-执行将所述扫描环境的所述3D模型的所述点云分割成所述点云的多个分割部分,
-通过分析所述点云的所述分割部分中的每个来由所述点云对3D对象进行建模,
-将所述扫描环境的生成的3D模型与所述环境的现有的3D模型进行匹配,
-通过将所述环境的现有的3D模型与所述扫描环境的生成的3D模型进行配比来生成是所述环境的改进的3D模型的表示的数据库。
2.根据权利要求1所述的方法,包括:
在生成所述扫描环境的所述3D模型之前,在所述移动实体移动期间生成所述移动实体的轨迹。
3.根据权利要求2所述的方法,
其中借助于所述移动实体的摄像机系统生成所述轨迹。
4.根据权利要求2或3所述的方法,
在三个空间方向上生成所述移动实体的速度或加速度中的至少一个的分布图。
5.根据权利要求1至4中任一项所述的方法,包括:
在将所述生成的3D模型与现有的模型进行匹配之后,依赖于检测到的在所述生成的3D模型与所述现有的模型之间的一致性,移除所述生成的3D模型或移除所述生成的3D模型的建模的对象中的至少一个。
6.根据权利要求1至5中任一项所述的方法,
其中生成密集的或半密集的点云作为所述扫描环境的表示。
7.根据权利要求1至6中任一项所述的方法,
其中使用在所述扫描环境中相应的形状、大小、定向和位置对3D对象进行建模。
8.根据权利要求1至7中任一项所述的方法,
其中使表征所述3D对象的相应的属性与建模的3D对象中的每个相关联。
9.根据权利要求1至8中任一项所述的方法,
其中是所述扫描环境的所述生成的3D模型的表示的数据库被从所述移动实体(10)转发到远程服务器(20),以执行所述生成的3D模型与所述环境的所述现有的3D模型的匹配。
10.根据权利要求1至9中任一项所述的方法,
通过将所述环境的所述现有的3D模型与所述扫描环境的所述生成的3D模型进行比较,来提取待被添加到所述环境的所述改进的3D模型的所述数据库的附加信息。
11.一种生成用于定位移动实体的环境模型的移动实体,包括:
-环境传感器单元(11),用以扫描所述移动实体(10)的环境,
-存储单元(12),用以存储所述移动实体(10)的扫描环境的生成的3D模型,
-处理器单元(13),用以执行指令,当与所述存储单元(12)协作由所述处理器单元(13)执行所述指令时,所述指令执行根据权利要求1至10之一所述的生成用于定位移动实体(10)的环境模型的方法的处理步骤。
12.一种生成用于定位移动实体的环境模型的系统,包括:
-移动实体(10),用于生成所述移动实体的扫描环境的3D模型,所述3D模型被解释为点云,
-远程服务器(20),包括处理器单元(21)和存储单元(22)以存储所述移动实体(10)的所述环境的现有的3D模型,
-其中所述处理器单元(21)被实施用以执行指令,当与所述存储单元(22)协作由所述处理器单元(21)执行所述指令时,所述指令执行根据权利要求1至10之一所述的生成用于定位移动实体的环境模型的方法的处理步骤,所述处理步骤至少包括将所述生成的3D模型与所述环境的所述现有的3D模型进行匹配以及生成所述环境的所述改进的3D模型的所述数据库。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/120904 WO2020118623A1 (en) | 2018-12-13 | 2018-12-13 | Method and system for generating an environment model for positioning |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113227713A true CN113227713A (zh) | 2021-08-06 |
Family
ID=71075827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880100214.2A Pending CN113227713A (zh) | 2018-12-13 | 2018-12-13 | 生成用于定位的环境模型的方法和系统 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210304518A1 (zh) |
EP (1) | EP3894788A4 (zh) |
JP (1) | JP2022513828A (zh) |
KR (1) | KR20210098534A (zh) |
CN (1) | CN113227713A (zh) |
CA (1) | CA3122868A1 (zh) |
WO (1) | WO2020118623A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022042146A (ja) * | 2020-09-02 | 2022-03-14 | 株式会社トプコン | データ処理装置、データ処理方法およびデータ処理用プログラム |
CN112180923A (zh) * | 2020-09-23 | 2021-01-05 | 深圳裹动智驾科技有限公司 | 自动驾驶方法、智能控制设备及自动驾驶车辆 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103370669A (zh) * | 2011-02-16 | 2013-10-23 | 西门子公司 | 用于无人驾驶的机动的车辆自主的定位的方法 |
US20140233010A1 (en) * | 2011-09-30 | 2014-08-21 | The Chancellor Masters And Scholars Of The University Of Oxford | Localising transportable apparatus |
US20150268058A1 (en) * | 2014-03-18 | 2015-09-24 | Sri International | Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics |
CN105184852A (zh) * | 2015-08-04 | 2015-12-23 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
CN105917067A (zh) * | 2014-01-14 | 2016-08-31 | 山特维克矿山工程机械有限公司 | 采矿车辆以及初始化采矿工作任务的方法 |
CN106022381A (zh) * | 2016-05-25 | 2016-10-12 | 厦门大学 | 基于车载激光扫描点云的路灯杆自动提取技术 |
CN106407947A (zh) * | 2016-09-29 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的目标物体识别方法和装置 |
CN106462970A (zh) * | 2014-05-30 | 2017-02-22 | 牛津大学科技创新有限公司 | 车辆定位 |
CN106529394A (zh) * | 2016-09-19 | 2017-03-22 | 广东工业大学 | 一种室内场景物体同时识别与建模方法 |
CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
CN107850453A (zh) * | 2015-08-11 | 2018-03-27 | 大陆汽车有限责任公司 | 匹配道路数据对象以生成和更新精确道路数据库的系统和方法 |
CN107850672A (zh) * | 2015-08-11 | 2018-03-27 | 大陆汽车有限责任公司 | 用于精确车辆定位的系统和方法 |
WO2018060313A1 (en) * | 2016-09-28 | 2018-04-05 | Tomtom Global Content B.V. | Methods and systems for generating and using localisation reference data |
CN107918753A (zh) * | 2016-10-10 | 2018-04-17 | 腾讯科技(深圳)有限公司 | 点云数据处理方法及装置 |
CN108225341A (zh) * | 2016-12-14 | 2018-06-29 | 乐视汽车(北京)有限公司 | 车辆定位方法 |
CN108287345A (zh) * | 2017-11-10 | 2018-07-17 | 广东康云多维视觉智能科技有限公司 | 基于点云数据的空间扫描方法及系统 |
CN108387238A (zh) * | 2017-02-02 | 2018-08-10 | 罗伯特·博世有限公司 | 用于在数字地图中定位更高度自动化的车辆的方法 |
CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
CN108475062A (zh) * | 2016-02-05 | 2018-08-31 | 三星电子株式会社 | 车辆和基于地图识别车辆的位置的方法 |
WO2018218149A1 (en) * | 2017-05-26 | 2018-11-29 | Google Llc | Data fusion system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955920B (zh) * | 2014-04-14 | 2017-04-12 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
CN107161141B (zh) * | 2017-03-08 | 2023-05-23 | 深圳市速腾聚创科技有限公司 | 无人驾驶汽车系统及汽车 |
CN106951847B (zh) * | 2017-03-13 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
-
2018
- 2018-12-13 WO PCT/CN2018/120904 patent/WO2020118623A1/en unknown
- 2018-12-13 JP JP2021533710A patent/JP2022513828A/ja active Pending
- 2018-12-13 KR KR1020217021835A patent/KR20210098534A/ko unknown
- 2018-12-13 EP EP18943333.7A patent/EP3894788A4/en active Pending
- 2018-12-13 CN CN201880100214.2A patent/CN113227713A/zh active Pending
- 2018-12-13 CA CA3122868A patent/CA3122868A1/en not_active Abandoned
-
2021
- 2021-06-10 US US17/344,387 patent/US20210304518A1/en active Pending
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103370669A (zh) * | 2011-02-16 | 2013-10-23 | 西门子公司 | 用于无人驾驶的机动的车辆自主的定位的方法 |
US20140233010A1 (en) * | 2011-09-30 | 2014-08-21 | The Chancellor Masters And Scholars Of The University Of Oxford | Localising transportable apparatus |
CN105917067A (zh) * | 2014-01-14 | 2016-08-31 | 山特维克矿山工程机械有限公司 | 采矿车辆以及初始化采矿工作任务的方法 |
US20150268058A1 (en) * | 2014-03-18 | 2015-09-24 | Sri International | Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics |
CN106462970A (zh) * | 2014-05-30 | 2017-02-22 | 牛津大学科技创新有限公司 | 车辆定位 |
CN105184852A (zh) * | 2015-08-04 | 2015-12-23 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
CN107850453A (zh) * | 2015-08-11 | 2018-03-27 | 大陆汽车有限责任公司 | 匹配道路数据对象以生成和更新精确道路数据库的系统和方法 |
CN107850672A (zh) * | 2015-08-11 | 2018-03-27 | 大陆汽车有限责任公司 | 用于精确车辆定位的系统和方法 |
CN108475062A (zh) * | 2016-02-05 | 2018-08-31 | 三星电子株式会社 | 车辆和基于地图识别车辆的位置的方法 |
CN106022381A (zh) * | 2016-05-25 | 2016-10-12 | 厦门大学 | 基于车载激光扫描点云的路灯杆自动提取技术 |
CN106529394A (zh) * | 2016-09-19 | 2017-03-22 | 广东工业大学 | 一种室内场景物体同时识别与建模方法 |
WO2018060313A1 (en) * | 2016-09-28 | 2018-04-05 | Tomtom Global Content B.V. | Methods and systems for generating and using localisation reference data |
CN106407947A (zh) * | 2016-09-29 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的目标物体识别方法和装置 |
CN107918753A (zh) * | 2016-10-10 | 2018-04-17 | 腾讯科技(深圳)有限公司 | 点云数据处理方法及装置 |
CN108225341A (zh) * | 2016-12-14 | 2018-06-29 | 乐视汽车(北京)有限公司 | 车辆定位方法 |
CN108387238A (zh) * | 2017-02-02 | 2018-08-10 | 罗伯特·博世有限公司 | 用于在数字地图中定位更高度自动化的车辆的方法 |
WO2018218149A1 (en) * | 2017-05-26 | 2018-11-29 | Google Llc | Data fusion system |
CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
CN108287345A (zh) * | 2017-11-10 | 2018-07-17 | 广东康云多维视觉智能科技有限公司 | 基于点云数据的空间扫描方法及系统 |
CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
Non-Patent Citations (3)
Title |
---|
BENCE GÁLAI等: "Change Detection in Urban Streets by a Real Time Lidar Scanner and MLS Reference Data", 《INTERNATIONAL CONFERENCE IMAGE ANALYSIS AND RECOGNITION》, 2 June 2017 (2017-06-02), pages 210, XP047417521, DOI: 10.1007/978-3-319-59876-5_24 * |
WEI SONG等: "Classifying 3D objects in LiDAR point clouds with a back-propagation neural network", 《HUMAN-CENTRIC COMPUTING AND INFORMATION SCIENCES》, 12 October 2018 (2018-10-12), pages 1 - 12, XP021261488, DOI: 10.1186/s13673-018-0152-7 * |
ZHIZHONG KANG等: "Voxel-Based Extraction and Classification of 3-D Pole-Like Objects From Mobile LiDAR Point Cloud Data", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, 30 September 2018 (2018-09-30), pages 4287 - 4298 * |
Also Published As
Publication number | Publication date |
---|---|
EP3894788A1 (en) | 2021-10-20 |
EP3894788A4 (en) | 2022-10-05 |
US20210304518A1 (en) | 2021-09-30 |
KR20210098534A (ko) | 2021-08-10 |
WO2020118623A1 (en) | 2020-06-18 |
JP2022513828A (ja) | 2022-02-09 |
CA3122868A1 (en) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765487B (zh) | 重建三维场景的方法、装置、设备和计算机可读存储介质 | |
Pannen et al. | How to keep HD maps for automated driving up to date | |
Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
JP6595182B2 (ja) | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 | |
Lenac et al. | Fast planar surface 3D SLAM using LIDAR | |
CN110412635A (zh) | 一种环境信标支持下的gnss/sins/视觉紧组合方法 | |
JP2015004814A (ja) | レーン地図生成装置及びプログラム | |
Pannen et al. | Hd map change detection with a boosted particle filter | |
CN103377476A (zh) | 使用三维地理弧的多模型数据的图像配准 | |
US20220398856A1 (en) | Method for reconstruction of a feature in an environmental scene of a road | |
Dawood et al. | Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera | |
Zhu et al. | Fusing GNSS/INS/vision with a priori feature map for high-precision and continuous navigation | |
Zhou et al. | Lane information extraction for high definition maps using crowdsourced data | |
US20210304518A1 (en) | Method and system for generating an environment model for positioning | |
Lucks et al. | Improving trajectory estimation using 3D city models and kinematic point clouds | |
CN115344655A (zh) | 地物要素的变化发现方法、装置及存储介质 | |
CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 | |
Das et al. | Pose-graph based crowdsourced mapping framework | |
CN112907659B (zh) | 移动设备定位系统、方法及设备 | |
Elfring et al. | Vehicle localization using a traffic sign map | |
Rangan et al. | Improved localization using visual features and maps for Autonomous Cars | |
CN115468576A (zh) | 一种基于多模态数据融合的自动驾驶定位方法及系统 | |
Wang et al. | Extracting road surface from mobile laser scanning point clouds in large scale urban environment | |
Meis et al. | A new method for robust far-distance road course estimation in advanced driver assistance systems | |
Zhuy et al. | On the Ecosystem of High-Definition (HD) Maps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |