CN115638788A - 语义矢量地图的构建方法、计算机设备及存储介质 - Google Patents
语义矢量地图的构建方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115638788A CN115638788A CN202211660619.6A CN202211660619A CN115638788A CN 115638788 A CN115638788 A CN 115638788A CN 202211660619 A CN202211660619 A CN 202211660619A CN 115638788 A CN115638788 A CN 115638788A
- Authority
- CN
- China
- Prior art keywords
- map
- semantic vector
- sensor
- model
- vector information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 514
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 230000008447 perception Effects 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims description 101
- 238000007689 inspection Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 27
- 238000002372 labelling Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Instructional Devices (AREA)
Abstract
本发明涉及自动驾驶技术领域,具体提供一种语义矢量地图的构建方法、计算机设备及存储介质,旨在解决提高语义矢量地图的建图效率并降低建图成本的问题。为此目的,本发明提供的方法包括根据车辆上传感器采集到的传感器数据帧建立点云地图;通过第一、第二语义矢量感知模型分别对传感器数据帧和点云地图进行地图要素的语义矢量感知,以获取第一、第二语义矢量信息;基于点云地图并根据第一和/或第二语义矢量信息,建立语义矢量地图。通过上述方法,可以通过语义矢量感知模型自动地获取地图要素的语义矢量信息,并根据点云地图与获取到的语义矢量信息自动地建立好语义矢量地图,从而可以在保证建图质量的前提下降低建图成本并提高建图效率。
Description
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种语义矢量地图的构建方法、计算机设备及存储介质。
背景技术
在利用相机或激光雷达等设备采集到数据建立得到点云地图之后,需要对点云地图上的车道线和车位等要素进行矢量化标注并生成要素之间的拓扑信息,才能够得到语义矢量地图。而为了提高矢量化标注和拓扑信息生成的准确性,目前常规的语义矢量地图构建方法主要是由人工在点云地图上以矢量的方式手动标注各个要素并手动生成要素之间的拓扑信息。由于这种方法严重依赖人工建图,因而会带来较大的人工建图成本,同时也会影响语义矢量地图的构建效率。
相应地,本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决如何提高语义矢量地图的建图效率并降低建图成本的技术问题的语义矢量地图的构建方法、计算机设备及存储介质。
在第一方面,提供一种语义矢量地图的构建方法,所述方法包括:
根据车辆上传感器采集到的传感器数据帧,建立点云地图;
通过第一语义矢量感知模型对所述传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息;
通过第二语义矢量感知模型对所述点云地图进行地图要素的语义矢量感知,以获取地图要素的第二语义矢量信息;
基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图。
在上述语义矢量地图的构建方法的一个技术方案中,“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤具体包括:
基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,生成符合预设地图母库规格的地图母库数据;
获取待建立的语义矢量地图的地图产品规格;
将所述地图母库数据转换成符合所述地图产品规格的地图产品数据;
根据所述地图产品数据,建立语义矢量地图。
在上述语义矢量地图的构建方法的一个技术方案中,在“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤之后,所述方法还包括:
对所述语义矢量地图进行质检,以获取质检合格的语义矢量地图。
在上述语义矢量地图的构建方法的一个技术方案中,在“对所述语义矢量地图进行质检,以获取质检合格的语义矢量地图”的步骤之后,所述方法还包括:
根据质检合格的语义矢量地图,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据;
采用所述模型训练数据,分别对所述第一语义矢量感知模型与所述第二语义矢量感知模型进行模型训练,以优化所述第一语义矢量感知模型与所述第二语义矢量感知模型。
在上述语义矢量地图的构建方法的一个技术方案中,“根据质检合格的语义矢量地图,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据”的步骤具体包括:
根据质检合格的语义矢量地图,生成符合预设地图母库规格的地图母库训练数据;
根据所述地图母库训练数据,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据。
在上述语义矢量地图的构建方法的一个技术方案中,所述地图母库训练数据的数据坐标系是全局坐标系,“根据所述地图母库训练数据,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据”的步骤具体包括通过下列方式获取所述第一语义矢量感知模型的模型训练数据:
将所述地图母库训练数据由所述全局坐标系转换至所述传感器的传感器坐标系,以获取在传感器坐标系的地图母库训练数据;
根据在传感器坐标系的地图母库训练数据,获取所述第一语义矢量感知模型的模型训练数据。
在上述语义矢量地图的构建方法的一个技术方案中,“将所述地图母库训练数据由所述全局坐标系转换至所述传感器的传感器坐标系,以获取在传感器坐标系的地图母库训练数据”的步骤包括:
获取每个地图母库训练数据各自对应的传感器数据帧的采集时刻;
获取车辆在每个传感器数据帧的采集时刻的位姿,所述位姿是车辆由车体坐标系向全局坐标系转换的位姿;
根据所述位姿,分别将每个地图母库训练数据由全局坐标系转换至车体坐标系,再由车体坐标系转换至传感器坐标系。
在上述语义矢量地图的构建方法的一个技术方案中,“获取车辆在每个传感器数据帧的采集时刻的位姿”的步骤具体包括:
根据车辆在每个IMU数据采集时刻的位姿,形成车辆的稠密轨迹;
根据所述车辆的稠密轨迹,分别获取车辆在每个传感器数据帧的采集时刻的位姿。
在上述语义矢量地图的构建方法的一个技术方案中,“通过第一语义矢量感知模型对所述传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息”的步骤具体包括:
通过第一语义矢量感知模型,对所述传感器采集到的每个传感器数据帧分别进行地图要素的语义矢量感知,以获取每个传感器数据帧各自对应的地图要素的语义矢量信息;
对每个传感器数据帧各自对应的地图要素的语义矢量信息进行融合,以获取所述地图要素的第一语义矢量信息。
在上述语义矢量地图的构建方法的一个技术方案中,“通过第一语义矢量感知模型对所述传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息”的步骤还包括:
获取每个传感器各自对应的第一语义矢量感知模型;
通过每个传感器各自对应的第一语义矢量感知模型,分别对每个传感器采集到的传感器数据帧进行地图要素的语义矢量感知,以获取每个传感器各自对应的地图要素的第一语义矢量信息;
对每个传感器各自对应的地图要素的第一语义矢量信息进行融合,得到最终的第一语义矢量信息。
在上述语义矢量地图的构建方法的一个技术方案中,“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤具体包括:
对所述第一语义矢量信息与所述第二语义矢量信息进行融合,以获取地图要素的第三语义矢量信息;
根据所述点云地图与所述第三语义矢量信息,建立语义矢量地图。
在上述语义矢量地图的构建方法的一个技术方案中,“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤还包括:
基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立初始的语义矢量地图;
获取采用人工标注方式对所述点云地图进行地图要素语义矢量标注,得到的人工标注地图;
根据所述初始的语义矢量地图和/或所述人工标注地图,建立最终的语义矢量地图。
在上述语义矢量地图的构建方法的一个技术方案中,“根据所述初始的语义矢量地图和/或所述人工标注地图,建立最终的语义矢量地图”的步骤具体包括:
若当前建图模式是自动模式,则根据所述初始的语义矢量地图,建立最终的语义矢量地图;
若当前建图模式是人工模式,则根据所述人工标注地图,建立最终的语义矢量地图;
若当前建图模式是混合模式,则根据所述初始的语义矢量地图与所述人工标注地图,建立最终的语义矢量地图。
在第二方面,提供一种计算机设备,该计算机设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述语义矢量地图的构建方法的技术方案中任一项技术方案所述的语义矢量地图的构建方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述语义矢量地图的构建方法的技术方案中任一项技术方案所述的语义矢量地图的构建方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明提供的语义矢量地图的构建的技术方案中,可以根据车辆上传感器采集到的传感器数据帧建立点云地图;通过第一语义矢量感知模型对传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息;通过第二语义矢量感知模型对点云地图进行地图要素的语义矢量感知,以获取地图要素的第二语义矢量信息;最后基于点云地图并根据第一语义矢量信息和/或第二语义矢量信息,建立语义矢量地图。通过上述实施方式,可以通过语义矢量感知模型自动地获取地图要素的语义矢量信息,进而根据点云地图与获取到的语义矢量信息就可以自动地建立好语义矢量地图,克服了现有技术严重依赖人工建图,从而导致建图成本较高且建图效率较低的问题。
进一步,在实施本发明的技术方案中,还可以根据质检合格的语义矢量地图,分别获取第一语义矢量感知模型与第二语义矢量感知模型的模型训练数据;进而可以采用模型训练数据,分别对第一语义矢量感知模型与第二语义矢量感知模型进行模型训练,以优化第一语义矢量感知模型与第二语义矢量感知模型。根据质检合格的语义矢量地图获取模型训练数据并对语义矢量感知模型进行模型训练,可以提高模型的感知能力,进一步提高自动化建图的准确性。此外,复用已经建立好的语义矢量地图获取模型训练数据,不需要占用额外的人工资源,可以降低模型训练数据的获取成本。
进一步,在实施本发明的技术方案中,除了可以基于点云地图并根据第一语义矢量信息和/或第二语义矢量信息,建立初始的语义矢量地图以外,还可以获取采用人工标注方式对点云地图进行地图要素语义矢量标注得到的人工标注地图,进而根据初始的语义矢量地图和/或人工标注地图,建立最终的语义矢量地图。进一步,还可以设定语义矢量地图的建图模式,建图模式可以包括自动模式、人工模式和混合模式。若当前建图模式是自动模式,则可以根据初始的语义矢量地图,建立最终的语义矢量地图;若当前建图模式是人工模式,则可以根据人工标注地图,建立最终的语义矢量地图;若当前建图模式是混合模式,则可以根据初始的语义矢量地图与人工标注地图,建立最终的语义矢量地图。
通过上述实施方式,可以根据实际的建图需要灵活地设定建图模式,进而采用不同的建图模式建立语义矢量地图。例如,根据语义矢量感知模型的感知能力大小,可以逐步地采用人工模式、混合模式和自动模式建立语义矢量地图。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的语义矢量地图的构建方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的点云地图建立方法的主要流程示意图;
图3是根据本发明的一个实施例的因子图的主要结构示意图;
图4是根据本发明的一个实施例的获取第一语义矢量信息的方法的主要步骤流程示意图;
图5是根据本发明的另一个实施例的获取第一语义矢量信息的方法的主要步骤流程示意图;
图6是根据本发明的一个实施例的基于点云地图并根据语义矢量信息建立语义矢量地图的方法的主要步骤流程示意图;
图7根据本发明的另一个实施例的基于点云地图并根据语义矢量信息建立语义矢量地图的方法的主要步骤流程示意图;
图8是根据本发明的一个实施例的对语义矢量感知模型进行优化的方法的主要步骤流程示意图;
图9是根据本发明的一个实施例的对地图母库训练数据进行坐标系转换的示意图;
图10是根据本发明的一个实施例的语义矢量地图的构建装置的主要结构框图示意图;
图11是根据本发明的一个实施例的计算机设备的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。
下面对语义矢量地图的构建方法的实施例进行说明。
参阅附图1,图1是根据本发明的一个实施例的语义矢量地图的构建方法的主要步骤流程示意图。如图1所示,本发明实施例中的语义矢量地图的构建方法主要包括下列步骤S101至步骤S104。
步骤S101:根据车辆上传感器采集到的传感器数据帧,建立点云地图。
传感器包括但不限于图像采集装置和激光雷达,传感器数据帧包括但不限于图像采集装置采集得到的图像帧,激光雷达采集到的点云帧。点云地图是指利用图像帧或点云帧获取到的三维点云数据,建立而成的三维地图,该地图的地图坐标系可以是全局坐标系。
下面结合附图2对建立点云地图的方法进行简单说明,其中,图2中的传感器1和传感器2可以是不同视场角的激光雷达。
在获取到传感器1和传感器2采集到的传感器数据帧之后,根据每个传感器数据帧的位姿,选取关键帧,然后根据关键帧和IMU/GNSS数据构建因子图。在构建好因子图之后,可以基于这个因子图对每个关键帧的位姿进行优化,即求解关键帧位姿并得到关键帧位姿。在得到关键帧位姿之后,可以根据每个关键帧的位姿分别将每个关键帧拼接起来(点云地图拼接),得到点云地图。此外,还可以去除属于动态物体的传感器数据,和/或去除属于地面上预设的不感兴趣区域内的物体的传感器数据,将去除这些传感器数据之后的点云地图作为最终的点云地图。
关键帧是指相比于之前的一个传感器数据帧而言,位姿变化量大于预设阈值的传感器数据帧。本领域技术人员可以根据实际需求灵活设置预设阈值的具体数值,本发明实施例对此不进行具体限定。位姿变化量大于预设阈值是指位置变化量和姿态变化量中的至少一个大于对应的预设阈值。
在本发明实施例中可以采用自动驾驶技术领域中常规的因子图构建方法,根据关键帧和IMU(Inertial Measurement Unit)/GNSS(Global Navigation Satellite System)数据构建因子图。例如,参阅附图3,因子图可以包括N个因子节点、IMU预积分约束项、帧间匹配约束项、回环检测约束项和绝对位姿约束项(图3未示出),每个关键帧与每个因子节点一一对应。IMU预积分约束项是指利用IMU预积分得到的位姿,对相邻两个关键帧之间的实际相对位姿进行约束;帧间匹配约束项是指利用相邻两个关键帧之间的最优相对位姿,对相邻两个关键帧之间的实际相对位姿进行约束。回环检测约束项是指利用能够形成回环关系的两个关键帧之间的最优相对位姿,对这两个关键帧之间的实际相对位姿进行约束;绝对位姿约束项是指利用GNSS得到的绝对位姿对关键帧的实际位姿进行约束。如图3所示,关键帧2和关键帧N能够形成回环关系,因此关键帧2和关键帧N之间设置有回环检测约束项。需要说明的是,在本发明实施例中可以采用自动驾驶技术领域中常规的因子图约束项的构建方法,构建上述各个约束项。此外,也可以采用自动驾驶技术领域中常规的基于因子图进行位姿优化的方法,根据上述因子图对每个关键帧的位姿进行优化,本发明实施例不进行具体限定。
步骤S102:通过第一语义矢量感知模型对传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息。
第一语义矢量感知模型是一个预先训练好的,能够从传感器数据帧上感知地图要素语义矢量信息的模型,其中,语义矢量信息包括地图要素的语义信息(比如车道线)和矢量信息(比如位置和方向)。在得到该模型之后,将传感器数据帧输入到这个模型,这个模型就可以输出地图要素的第一语义矢量信息。
地图要素包括但不限于车道线、车位等要素。
步骤S103:通过第二语义矢量感知模型对点云地图进行地图要素的语义矢量感知,以获取地图要素的第二语义矢量信息。
与第一语义矢量感知模型类似,第二语义矢量感知模型也是一个预先训练好的,能够从点云地图上感知地图要素语义矢量信息的模型。在得到该模型之后,将点云地图输入到这个模型,这个模型就可以输出地图要素的第二语义矢量信息。
步骤S104:基于点云地图并根据第一语义矢量信息和/或第二语义矢量信息,建立语义矢量地图。
在得到每个地图要素的语义矢量信息(第一语义矢量信息和/或第二语义矢量信息)之后,可以在点云地图上标注好每个地图要素的语义矢量信息,从而得到语义矢量地图。具体地,当只获取了第一语义矢量信息时可以根据第一语义矢量信息在点云地图上标注地图要素的语义矢量信息;当只获取了第二语义矢量信息时可以根据第二语义矢量信息在点云地图上标注地图要素的语义矢量信息;当同时获取了第一语义矢量信息和第二语义矢量信息时可以对第一语义矢量信息与第二语义矢量信息进行融合,以获取地图要素的第三语义矢量信息,然后根据点云地图与第三语义矢量信息,建立语义矢量地图,即根据第三语义矢量信息在点云地图上标注地图要素的语义矢量信息。在一些实施方式中,在对第一语义矢量信息与第二语义矢量信息进行融合时,可以预先设定好传感器和点云地图的置信度,然后根据传感器和点云地图的置信度对第一语义矢量信息与第二语义矢量信息进行融合,得到第三语义矢量信息。本领域技术人员可以根据实际需求灵活地设定传感器和点云地图的置信度的大小,例如可以根据传感器和点云地图存在的误差高低,来设定置信度的大小,本发明对此不进行具体限定。此外,在本发明实施例中可以采用常规的利用置信度进行数据融合的方法对第一语义矢量信息与第二语义矢量信息进行融合,例如针对同一个地图要素,若第一语义矢量信息与第二语义矢量信息不一致,则以置信度较高的一个语义矢量信息为准,作为第三语义矢量信息,本发明实施例同样对此不进行具体限定。
基于上述步骤S101至步骤S104所述的方法,可以利用语义矢量感知模型,自动地获取地图要素的语义矢量信息,进而根据点云地图与语义矢量信息自动地建立好语义矢量地图,减小了对人工建图的依赖程度,从而可以降低语义矢量地图的建图成本并提高建图效率。
下面对上述步骤S102和步骤S104作进一步说明。
一、对步骤S102进行说明。
在建立点云地图时通常是将多个传感器数据帧拼接在一起形成点云地图,不同传感器数据帧包含的地图要素可能不同,进而导致不同传感器数据帧包含的语义矢量信息可能不同。此外,即使包含相同的地图要素,但地图要素的矢量信息也可能不同。为了准确地从传感器数据帧上感知得到地图要素的第一语义矢量信息,在一些实施方式中可以通过图4所示的步骤S1021至步骤S1022,来获取地图要素的第一语义矢量信息。
步骤S1021:通过第一语义矢量感知模型,对传感器采集到的每个传感器数据帧分别进行地图要素的语义矢量感知,以获取每个传感器数据帧各自对应的地图要素的语义矢量信息。
具体地,将每个传感器数据帧分别输入至第一语义矢量感知模型,通过该模型分别得到每个传感器数据帧包含的语义矢量信息。
步骤S1022:对每个传感器数据帧各自对应的地图要素的语义矢量信息进行融合,以获取地图要素的第一语义矢量信息。也就是说,第一语义矢量信息是多个传感器数据帧的语义矢量信息的集合。
具体地,由于每个传感器数据帧可能会包含多种不同的地图要素,因此,在对不同传感器数据帧的语义矢量信息进行融合时,可以获取不同传感器数据帧上属于同一个地图要素的语义矢量信息,然后对属于同一个地图要素的语义矢量信息进行融合,形成这个地图要素的第一语义矢量信息。
在对语义矢量信息进行融合时可以直接将多个传感器数据帧的语义矢量信息组合在一起形成第一语义矢量信息,还可以先通过因子图优化或卡尔曼(Kalman Filtering)滤波等方式对每个传感器数据帧的语义矢量信息进行优化,得到较为准确的语义矢量信息,然后再将这些语义矢量信息组合在一起形成第一语义矢量信息。
下面对因子图优化和卡尔曼滤波的方法进行简单说明。
1、因子图优化
在本发明实施例中可以根据传感器数据帧建立因子图,因子图上的因子节点分别与每个传感器数据帧一一对应,因子图上还设定有约束项,通过约束项对相邻两个传感器数据帧的语义矢量信息进行约束,或者对形成回环关系的两个传感器数据帧的语义矢量信息进行约束等等。本领域技术人员可以根据实际需求灵活设置约束项的具体内容,本发明实施例对此不进行具体限定。此外,在本发明实施例中可以采用自动驾驶技术领域中常规的基于因子图进行数据优化的方法,基于上述因子图对每个传感器数据帧的语义矢量信息进行优化,本发明实施例同样对此不进行具体限定。
2、卡尔曼滤波
在本发明实施例中可以基于卡尔曼滤波理论建立语义矢量信息估计模型,将通过第一语义矢量感知模型得到的每个传感器数据帧的语义矢量信息作为观测量,基于上述语义矢量信息估计模型并根据该观测量,估计得到最优的语义矢量信息。本领域技术人员可以采用自动驾驶技术领域中常规的卡尔曼滤波方法,建立语义矢量信息估计模型以及基于上述语义矢量信息估计模型并根据观测量,估计得到最优的语义矢量信息,本发明实施例对此不进行具体限定。
基于上述步骤S1021至步骤S1022,可以获取到准确的第一语义矢量信息,从而有利于建立得到准确的语义矢量地图。
进一步,在实际应用中可能会利用多个传感器采集到的传感器数据帧建立语义矢量地图,比如利用两个视场角不同的激光雷达采集到的点云帧,建立语义矢量地图。在一些实施方式中可以预先训练好一个能够适用于多个传感器的第一语义矢量感知模型,通过这个第一语义矢量感知模型,分别对每个传感器采集到的传感器数据帧进行地图要素的语义矢量感知。由于要适用多个不同的传感器,为了保证对多个传感器的整体感知能力,可能会牺牲对一部分传感器的感知能力。对此,在另一些实施方式中,为了保证对每个传感器的感知能力,可以对每个传感器分别设定一个的第一语义矢量感知模型,然后根据每个传感器各自对应的第一语义矢量感知模型,分别对每个传感器采集到的传感器数据帧进行感知。
具体而言,参阅附图5,在本实施方式中可以通过下列步骤S201至步骤S203,来获取地图要素的第一语义矢量信息。
步骤S201:获取每个传感器各自对应的第一语义矢量感知模型。在获取第一语义矢量信息之前,先为每个传感器分别训练好一个用于语义矢量信息感知的模型,在需要获取第一语义矢量信息时分别调用每个传感器各自对应的第一语义矢量感知模型。
步骤S202:通过每个传感器各自对应的第一语义矢量感知模型,分别对每个传感器采集到的传感器数据帧进行地图要素的语义矢量感知,以获取每个传感器各自对应的地图要素的第一语义矢量信息。
针对每个传感器,都可以采用前述步骤S1021至步骤S1022的方法,获取地图要素的第一语义矢量信息。
步骤S203:对每个传感器各自对应的地图要素的第一语义矢量信息进行融合,得到最终的第一语义矢量信息。
在对不同传感器的第一语义矢量信息进行融合时,可以预先设定好每个传感器的置信度,然后根据每个传感器的置信度分别对每个传感器的第一语义矢量信息进行融合,得到最终的第一语义矢量信息。
本领域技术人员可以根据实际需求灵活地设定每个传感器的置信度的大小,例如可以根据传感器存在的误差高低,来设定置信度的大小,本发明对此不进行具体限定。此外,在本发明实施例中可以采用常规的利用置信度进行数据融合的方法对不同传感器的第一语义矢量信息进行融合,例如针对同一个地图要素,若不同传感器的第一语义矢量信息不一致,则以置信度较高的一个语义矢量信息为准,作为最终的第一语义矢量信息,本发明实施例同样对此不进行具体限定。
基于上述步骤S201至步骤S203所述的方法,可以在利用多个传感器采集到的传感器数据帧建立语义矢量地图的情况下,准确得到地图要素的第一语义矢量信息,从而有利于建立得到准确的语义矢量地图。
二、对步骤S104进行说明。
在实际应用中根据不同的建图需求,即使是针对同一个区域,也可能需要建立符合不同地图产品规格的语义矢量地图。为了便于建立不同地图产品规格的语义矢量地图,在一些实施方式中可以通过图6所示的下列步骤S1041至步骤S1044,建立语义矢量地图。
步骤S1041:基于点云地图并根据第一语义矢量信息和/或第二语义矢量信息,生成符合预设地图母库规格的地图母库数据。
步骤S1042:获取待建立的语义矢量地图的地图产品规格。
步骤S1043:将地图母库数据转换成符合地图产品规格的地图产品数据。
步骤S1044:根据地图产品数据,建立语义矢量地图。
预设地图母库规格是针对不同传感器识别的特性,对物理世界的基本描述方式;地图产品规格是根据建图项目或地图产品需求方的设计要求,对物理世界的特定描述方式。根据建图项目或地图产品需求方的设计要求,对地图母库数据进行规格调整,可以得到地图产品数据。
基于上述步骤S1041至步骤S1044所述的方法,可以生成不受建图项目或地图产品需求方的设计要求限制的地图母库数据,在需要建立某个地图产品规格的语义矢量地图时只需要对地图母库数据进行规格调整就可以得到符合地图产品规格的地图产品数据,从而快速建立得到符合这个地图产品规格的语义矢量地图。
在本发明实施例中除了可以通过前述方法实施例所述的方法,自动地感知语义矢量地图并自动地建立语义矢量地图,还可以不同程度地结合人工手段建立语义矢量地图。具体而言,参阅附图7,在上述步骤S104的一些实施方式中可以通过下列步骤S301至步骤S303,建立语义矢量地图。
步骤S301:基于点云地图并根据第一语义矢量信息和/或第二语义矢量信息,建立初始的语义矢量地图。也就是说,将通过前述方法实施例所述的方法,自动建立的语义矢量地图作为初始的语义矢量地图。
步骤S302:获取采用人工标注方式对点云地图进行地图要素语义矢量标注,得到的人工标注地图。
步骤S303:根据初始的语义矢量地图和/或人工标注地图,建立最终的语义矢量地图。
具体地,根据不同的建图需求,可以选择仅根据初始的语义矢量地图或人工标注地图,建立最终的语义矢量地图,也可以选择同时根据初始的语义矢量地图和人工标注地图,建立最终的语义矢量地图。
进一步,为了便于确定采用哪种方式建立最终的语义矢量地图,可以设定自动模式、人工模式和混合模式共三种建图模式。若当前建图模式是自动模式,则根据初始的语义矢量地图,建立最终的语义矢量地图;若当前建图模式是人工模式,则根据人工标注地图,建立最终的语义矢量地图;若当前建图模式是混合模式,则根据初始的语义矢量地图与人工标注地图,建立最终的语义矢量地图。本领域技术人员可以根据实际需求灵活选择任一种建图模式。在一些优选实施方式中,可以根据第一、第二语义矢量感知模型的感知能力的高低,来选择建图模式。具体地,当模型的感知能力较低时可以采用人工模式建图;当模型的感知能力有一定提升,但还未达到满足自动模式的能力要求时可以采用混合模式建图;当模型的感知能力进一步提升并满足自动模式的能力要求时可以选择自动模式建图。进一步,为了精细化调节人工建图的参与程度,在确定需要采用混合模式的情况下,还可以根据模型的感知能力的高低,再次将混合模式划分成人工协作模式和人工兜底模式。当模型的感知能力较低时采用人工协作模式,在此模式下,针对大部分的地图要素,可以采用自动模式建立得到初始的语义矢量地图,针对小部分的地图要素,可以采用人工模式建立得到人工标注地图,然后根据初始的语义矢量地图与人工标注地图得到最终的语义矢量地图;当模型的感知能力较高时采用人工兜底模式,在此模式下,针对绝大多数的地图要素,可以采用自动模式建立得到初始的语义矢量地图,针对剩余的极少数的地图要素,可以采用人工模式建立得到人工标注地图,然后根据初始的语义矢量地图与人工标注地图得到最终的语义矢量地图。
以上是对步骤S104的说明。
在根据本发明提供的语义矢量地图的构建方法的实施例中,在通过上述方法建立得到语义矢量地图之后,为了避免语义矢量地图出现错误,提高地图的准确性,还可以对这个语义矢量地图进行质检,以获取质检合格的语义矢量地图,保证地图的质量。
与前述方法实施例中选择建图模式类似的是,在本发明实施例中也可以根据第一、第二语义矢量感知模型的感知能力的高低,选择不同的质检方式对语义矢量地图进行质检。具体地,当模型的感知能力较低时可以采用人工手动质检的方式分别对语义矢量地图上每个地图要素的语义矢量信息进行质检;当模型的感知能力有一定提升,但还未达到满足前述建图模式中自动模式的能力要求时对于大部分的地图要素,可以采用人工与语义矢量感知模型进行交叉检验;对于剩余的小部分地图要素,可以采用人工质检;当模型的感知能力进一步提升并满足上述自动模式的能力要求时由于地图的准确性已经很高了,因此,可以通过人工对地图要素进行抽样质检。
进一步,为了提高第一、第二语义矢量感知模型的感知能力,在本发明提供的语义矢量地图的构建方法的实施例中,还可以根据质检合格的语义矢量地图获取模型训练数据,根据这些模型训练数据对语义矢量感知模型进行模型训练,以优化模型。通过这种方式,可以在利用第一、第二语义矢量感知模型建立不同语义矢量地图的过程中,逐步地提高模型的感知能力,最终达到满足前述建图模式中自动模式的能力要求。
具体而言,参阅附图8,在通过前述步骤S101至步骤S104建立好语义矢量地图并对其进行质检,得到质检合格的语义矢量地图之后,可以通过下列步骤S106至步骤S107,优化第一、第二语义矢量感知模型。
步骤S106:根据质检合格的语义矢量地图,分别获取第一语义矢量感知模型与第二语义矢量感知模型的模型训练数据。
具体地,语义矢量地图是由点云地图得到的,而点云地图是由多个传感器数据帧拼接得到的。因此,可以将语义矢量地图上的传感器数据帧作为训练样本,将传感器数据帧包含的语义矢量信息作为样本标签,将训练样本及其样本标注作为模型训练数据。
步骤S107:采用模型训练数据,分别对第一语义矢量感知模型与第二语义矢量感知模型进行模型训练,以优化第一语义矢量感知模型与第二语义矢量感知模型。
在本发明实施例中可以采用机器学习技术领域中常规的模型训练方法对第一、第二语义矢量感知模型进行模型训练,本发明实施例对此不进行具体限定。例如,以第一语义矢量感知模型为例,可以将模型训练数据输入至第一语义矢量感知模型,通过前向传播计算模型的损失值,根据损失值计算模型参数的参数梯度,根据参数梯度反向传播更新模型参数,直至第一语义矢量感知模型满足收敛条件后停止训练。
基于上述步骤S106至步骤S107,可以不断地提高第一、第二语义矢量感知模型的感知能力,进一步提高语义矢量地图的建图准确性。同时,复用已经建立好的语义矢量地图获取模型训练数据,不需要占用额外的人工资源,因而可以降低模型训练数据的获取成本。
下面对上述步骤S106作进一步说明。
根据前述方法实施例中的步骤S104可知,语义矢量地图的地图产品规格是根据建图项目或地图产品需求方的设计要求,对物理世界的特定描述方式,其无法适用于具有不同识别特性的传感器。因此,在根据质检合格的语义矢量地图获取第一、第二语义矢量感知模型的模型训练数据时,可以先根据质检合格的语义矢量地图,生成符合预设地图母库规格的地图母库训练数据,然后再根据地图母库训练数据,分别获取第一、第二语义矢量感知模型的模型训练数据。由于预设地图母库规格是针对不同传感器识别的特性,对物理世界的基本描述方式,因此,地图母库训练数据能够适用于具有不同识别特性的传感器。
下面分别对获取第一、第二语义矢量感知模型的模型训练数据的方法,作进一步说明。
1、获取第一语义矢量感知模型的模型训练数据的方法
在本发明实施例中地图母库训练数据的数据坐标系是全局坐标系。由于传感器采集到的传感器数据帧的坐标系是传感器坐标系,与地图母库训练数据的数据坐标系不一致,因此,需要将地图母库训练数据由全局坐标系转换至传感器的传感器坐标系,以获取在传感器坐标系的地图母库训练数据,然后再根据在传感器坐标系的地图母库训练数据,获取第一语义矢量感知模型的模型训练数据。
在本发明提供的一个优选的实施方式中,可以利用车辆的位姿(车辆由车体坐标系向全局坐标系转换的位姿),将地图母库训练数据转换至传感器坐标系,获取在传感器坐标系的地图母库训练数据。具体地,在本实施方式中可以通过下列步骤11至步骤13,获取在传感器坐标系的地图母库训练数据。
步骤11:获取每个地图母库训练数据各自对应的传感器数据帧的采集时刻。具体地,可以根据每个传感器数据帧的时间戳,获取采集时刻。
步骤12:获取车辆在每个传感器数据帧的采集时刻的位姿,位姿是车辆由车体坐标系向全局坐标系转换的位姿。
在实际应用中可能会利用多个传感器采集到的传感器数据帧建立语义矢量地图,比如利用两个视场角不同的激光雷达采集到的点云帧,建立语义矢量地图。由于不同传感器的数据帧采集频率可能不同,为了确保可以得到车辆在每个传感器数据帧的采集时刻的位姿,可以根据车辆在每个IMU数据采集时刻的位姿,形成车辆的稠密轨迹,然后根据车辆的稠密轨迹,分别获取车辆在每个传感器数据帧的采集时刻的位姿。
再次参阅附图2,在根据传感器数据帧建立点云地图的过程中,可以利用IMU获取车辆的稠密轨迹。具体而言,在得到关键帧位姿之后,可以根据关键帧的时间戳得到关键帧的采集时刻,进而得到每个关键帧采集时刻的关键帧位姿。进一步,还可以根据IMU的数据采集频率分别获取IMU的每个数据采集时刻,即IMU采集时刻。然后,基于IMU采集时刻并根据关键帧采集时刻及其对应的关键帧位姿,进行时间插值计算,得到每个IMU采集时刻的位姿计算结果,将这个位姿计算结果作为车辆在IMU采集时刻的位姿。最后,根据车辆在多个IMU采集时刻的位姿,形成车辆的稠密轨迹。
步骤13:根据上述位姿,分别将每个地图母库训练数据由全局坐标系转换至车体坐标系,再由车体坐标系转换至传感器坐标系。
在将地图母库训练数据转换至车体坐标系之后,可以得到在车体坐标系的地图母库训练数据。然后,根据车体坐标系向传感器坐标系转换的位姿,再次将在车体坐标系的地图母库训练数据转换至传感器坐标系,就可以得到在传感器坐标系的地图母库训练数据。
参阅附图9,图9示例性示出了一个实施方式中将地图母库训练数据由全局坐标系
转换至传感器的传感器坐标系的转换过程,其中,表示全局坐标系,表示车体坐标系,
表示以传感器为原点的笛卡尔坐标系,表示传感器坐标系,是在全局坐标系的一个地图
母库训练数据,这个地图母库训练数据的坐标在全局坐标系的坐标是。假设,地图母库
训练数据对应的传感器数据帧的采集时刻是,在时刻车辆的位姿是,车体坐标系
向以传感器为原点的笛卡尔坐标系转换的位姿是,传感器的姿态模型是。
如图9所示,在得到地图母库训练数据在全局坐标系的坐标之后,首先将由
全局坐标系转换至车体坐标系(坐标系原点是,X轴和Y轴分别是和),再将由车
体坐标系转换至以传感器为原点的笛卡尔坐标系(坐标原点是,X轴和Y轴分别是和),最后将由笛卡尔坐标系转换至传感器坐标系。其中,表示位置,表示角度。上述
过程可以表示为。
2、获取第二语义矢量感知模型的模型训练数据的方法
在本发明实施例中地图母库训练数据的数据坐标系是全局坐标系,由于点云地图的地图坐标系也是全局坐标系,因此,不需要对地图母库训练数据进行坐标系转换,根据地图母库训练数据可以直接得到第二语义矢量感知模型的模型训练数据。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种语义矢量地图的构建装置。
参阅附图10,图10是根据本发明的一个实施例的语义矢量地图的构建装置的主要结构框图。如图10所示,本发明实施例中的语义矢量地图的构建装置主要包括几何建图模块、感知模块、融合矢量建图模块、规格转换模块、自动化建图模块、人工建图模块、地图质检模块和时空反投影模块。在一些实施例中,几何建图模块、感知模块、融合矢量建图模块、规格转换模块、自动化建图模块、人工建图模块、地图质检模块和时空反投影模块中的一个或多个可以合并在一起成为一个模块。
几何建图模块可以被配置成根据车辆上传感器采集到的传感器数据帧,建立点云地图,以及根据车辆在每个IMU数据采集时刻的位姿,形成车辆的稠密轨迹;感知模块可以被配置成通过第一语义矢量感知模型对传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息,以及通过第二语义矢量感知模型对点云地图进行地图要素的语义矢量感知,以获取地图要素的第二语义矢量信息;融合矢量建图模块可以被配置成基于点云地图并根据第一语义矢量信息和/或第二语义矢量信息,建立语义矢量地图。规格转换模块可以被配置成在基于点云地图并根据第一语义矢量信息和/或第二语义矢量信息,生成符合预设地图母库规格的地图母库数据之后,将地图母库数据转换成符合地图产品规格的地图产品数据,以及在根据质检合格的语义矢量地图得到符合地图产品规格的地图产品训练数据之后,将地图产品训练数据转换成符合预设地图母库规格的地图母库训练数据。自动化建图模块可以被配置成根据地图产品数据,建立语义矢量地图。人工建图模块可以被配置成采用人工标注方式对点云地图进行地图要素语义矢量标注并获取采用人工标注方式得到的人工标注地图;地图质检模块被配置成对语义矢量地图进行质检,以获取质检合格的语义矢量地图;时空反投影模块被配置成将地图母库训练数据由全局坐标系转换至传感器的传感器坐标系,以获取在传感器坐标系的地图母库训练数据。
在通过上述装置交付地图产品的同时,不需要额外地占用人工作业资源,就可以持续地生成第一、第二语义矢量感知模型的模型训练数据,而第一、第二语义矢量感知模型的感知能力提升,可以进一步提升人工建图模块的生成效率,使得单位时间内交付的地图产品和得到的模型训练数据不断增加,进而使得整个装置从依赖人工建图到高度自动化的快速演进。
上述语义矢量地图的构建装置以用于执行图1至9所示的语义矢量地图的构建方法实施例,两者的技术原理、所解决的技术问题及产生的技术效果相似,本技术领域技术人员可以清楚地了解到,为了描述的方便和简洁,语义矢量地图的构建装置的具体工作过程及有关说明,可以参考语义矢量地图的构建方法的实施例所描述的内容,此处不再赘述。
进一步,本发明还提供了一种计算机设备。
参阅附图11,图11是根据本发明的一个计算机设备实施例的主要结构示意图。如图11所示,本发明实施例中的计算机设备主要包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的语义矢量地图的构建方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的语义矢量地图的构建方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的语义矢量地图的构建方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的语义矢量地图的构建方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的语义矢量地图的构建方法,即每个处理器分别执行上述方法实施例的语义矢量地图的构建方法的不同步骤,来共同实现上述方法实施例的语义矢量地图的构建方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。
在根据本发明的一个计算机可读存储介质的实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的语义矢量地图的构建方法的程序,该程序可以由处理器加载并运行以实现上述语义矢量地图的构建方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此,已经结合附图所示的一个实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (15)
1.一种语义矢量地图的构建方法,其特征在于,所述方法包括:
根据车辆上传感器采集到的传感器数据帧,建立点云地图;
通过第一语义矢量感知模型对所述传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息;
通过第二语义矢量感知模型对所述点云地图进行地图要素的语义矢量感知,以获取地图要素的第二语义矢量信息;
基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图。
2.根据权利要求1所述的语义矢量地图的构建方法,其特征在于,“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤具体包括:
基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,生成符合预设地图母库规格的地图母库数据;
获取待建立的语义矢量地图的地图产品规格;
将所述地图母库数据转换成符合所述地图产品规格的地图产品数据;
根据所述地图产品数据,建立语义矢量地图。
3.根据权利要求1所述的语义矢量地图的构建方法,其特征在于,在“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤之后,所述方法还包括:
对所述语义矢量地图进行质检,以获取质检合格的语义矢量地图。
4.根据权利要求3所述的语义矢量地图的构建方法,其特征在于,在“对所述语义矢量地图进行质检,以获取质检合格的语义矢量地图”的步骤之后,所述方法还包括:
根据质检合格的语义矢量地图,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据;
采用所述模型训练数据,分别对所述第一语义矢量感知模型与所述第二语义矢量感知模型进行模型训练,以优化所述第一语义矢量感知模型与所述第二语义矢量感知模型。
5.根据权利要求4所述的语义矢量地图的构建方法,其特征在于,“根据质检合格的语义矢量地图,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据”的步骤具体包括:
根据质检合格的语义矢量地图,生成符合预设地图母库规格的地图母库训练数据;
根据所述地图母库训练数据,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据。
6.根据权利要求5所述的语义矢量地图的构建方法,其特征在于,所述地图母库训练数据的数据坐标系是全局坐标系,“根据所述地图母库训练数据,分别获取所述第一语义矢量感知模型与所述第二语义矢量感知模型的模型训练数据”的步骤具体包括通过下列方式获取所述第一语义矢量感知模型的模型训练数据:
将所述地图母库训练数据由所述全局坐标系转换至所述传感器的传感器坐标系,以获取在传感器坐标系的地图母库训练数据;
根据在传感器坐标系的地图母库训练数据,获取所述第一语义矢量感知模型的模型训练数据。
7.根据权利要求6所述的语义矢量地图的构建方法,其特征在于,“将所述地图母库训练数据由所述全局坐标系转换至所述传感器的传感器坐标系,以获取在传感器坐标系的地图母库训练数据”的步骤包括:
获取每个地图母库训练数据各自对应的传感器数据帧的采集时刻;
获取车辆在每个传感器数据帧的采集时刻的位姿,所述位姿是车辆由车体坐标系向全局坐标系转换的位姿;
根据所述位姿,分别将每个地图母库训练数据由全局坐标系转换至车体坐标系,再由车体坐标系转换至传感器坐标系。
8.根据权利要求7所述的语义矢量地图的构建方法,其特征在于,“获取车辆在每个传感器数据帧的采集时刻的位姿”的步骤具体包括:
根据车辆在每个IMU数据采集时刻的位姿,形成车辆的稠密轨迹;
根据所述车辆的稠密轨迹,分别获取车辆在每个传感器数据帧的采集时刻的位姿。
9.根据权利要求1所述的语义矢量地图的构建方法,其特征在于,“通过第一语义矢量感知模型对所述传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息”的步骤具体包括:
通过第一语义矢量感知模型,对所述传感器采集到的每个传感器数据帧分别进行地图要素的语义矢量感知,以获取每个传感器数据帧各自对应的地图要素的语义矢量信息;
对每个传感器数据帧各自对应的地图要素的语义矢量信息进行融合,以获取所述地图要素的第一语义矢量信息。
10.根据权利要求1所述的语义矢量地图的构建方法,其特征在于,“通过第一语义矢量感知模型对所述传感器数据帧进行地图要素的语义矢量感知,以获取地图要素的第一语义矢量信息”的步骤还包括:
获取每个传感器各自对应的第一语义矢量感知模型;
通过每个传感器各自对应的第一语义矢量感知模型,分别对每个传感器采集到的传感器数据帧进行地图要素的语义矢量感知,以获取每个传感器各自对应的地图要素的第一语义矢量信息;
对每个传感器各自对应的地图要素的第一语义矢量信息进行融合,得到最终的第一语义矢量信息。
11.根据权利要求1所述的语义矢量地图的构建方法,其特征在于,“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤具体包括:
对所述第一语义矢量信息与所述第二语义矢量信息进行融合,以获取地图要素的第三语义矢量信息;
根据所述点云地图与所述第三语义矢量信息,建立语义矢量地图。
12.根据权利要求1所述的语义矢量地图的构建方法,其特征在于,“基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立语义矢量地图”的步骤还包括:
基于所述点云地图并根据所述第一语义矢量信息和/或所述第二语义矢量信息,建立初始的语义矢量地图;
获取采用人工标注方式对所述点云地图进行地图要素语义矢量标注,得到的人工标注地图;
根据所述初始的语义矢量地图和/或所述人工标注地图,建立最终的语义矢量地图。
13.根据权利要求12所述的语义矢量地图的构建方法,其特征在于,“根据所述初始的语义矢量地图和/或所述人工标注地图,建立最终的语义矢量地图”的步骤具体包括:
若当前建图模式是自动模式,则根据所述初始的语义矢量地图,建立最终的语义矢量地图;
若当前建图模式是人工模式,则根据所述人工标注地图,建立最终的语义矢量地图;
若当前建图模式是混合模式,则根据所述初始的语义矢量地图与所述人工标注地图,建立最终的语义矢量地图。
14.一种计算机设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至13中任一项所述的语义矢量地图的构建方法。
15.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至13中任一项所述的语义矢量地图的构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211660619.6A CN115638788B (zh) | 2022-12-23 | 2022-12-23 | 语义矢量地图的构建方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211660619.6A CN115638788B (zh) | 2022-12-23 | 2022-12-23 | 语义矢量地图的构建方法、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115638788A true CN115638788A (zh) | 2023-01-24 |
CN115638788B CN115638788B (zh) | 2023-03-21 |
Family
ID=84949818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211660619.6A Active CN115638788B (zh) | 2022-12-23 | 2022-12-23 | 语义矢量地图的构建方法、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115638788B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763064A (zh) * | 2023-11-01 | 2024-03-26 | 武汉中海庭数据技术有限公司 | 地图更新方法、系统、设备及存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410301A (zh) * | 2018-10-16 | 2019-03-01 | 张亮 | 面向无人驾驶汽车的高精度语义地图制作方法 |
CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
US20200141750A1 (en) * | 2018-11-05 | 2020-05-07 | Robert Bosch Gmbh | System and Method for Automated Semantic Map Generation |
CN111125283A (zh) * | 2019-12-23 | 2020-05-08 | 苏州智加科技有限公司 | 电子地图构建方法、装置、计算机设备和存储介质 |
WO2020119684A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种3d导航语义地图更新方法、装置及设备 |
CN111780771A (zh) * | 2020-05-12 | 2020-10-16 | 驭势科技(北京)有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
CN112068555A (zh) * | 2020-08-27 | 2020-12-11 | 江南大学 | 一种基于语义slam方法的语音控制型移动机器人 |
US20210191397A1 (en) * | 2019-12-24 | 2021-06-24 | Industrial Technology Research Institute | Autonomous vehicle semantic map establishment system and establishment method |
CN113128608A (zh) * | 2021-02-26 | 2021-07-16 | 山东大学 | 一种基于5g和图嵌入优化的tsvm模型自优化与预测方法、设备及存储介质 |
CN113537208A (zh) * | 2021-05-18 | 2021-10-22 | 杭州电子科技大学 | 一种基于语义orb-slam技术的视觉定位方法及系统 |
CN115164918A (zh) * | 2022-09-06 | 2022-10-11 | 联友智连科技有限公司 | 语义点云地图构建方法、装置及电子设备 |
CN115421158A (zh) * | 2022-11-07 | 2022-12-02 | 中国人民解放军国防科技大学 | 自监督学习的固态激光雷达三维语义建图方法与装置 |
US11527085B1 (en) * | 2021-12-16 | 2022-12-13 | Motional Ad Llc | Multi-modal segmentation network for enhanced semantic labeling in mapping |
CN115496792A (zh) * | 2022-09-22 | 2022-12-20 | 北京航空航天大学杭州创新研究院 | 基于人在环优化的点云语义slam的方法、系统及装置 |
-
2022
- 2022-12-23 CN CN202211660619.6A patent/CN115638788B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410301A (zh) * | 2018-10-16 | 2019-03-01 | 张亮 | 面向无人驾驶汽车的高精度语义地图制作方法 |
US20200141750A1 (en) * | 2018-11-05 | 2020-05-07 | Robert Bosch Gmbh | System and Method for Automated Semantic Map Generation |
WO2020119684A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种3d导航语义地图更新方法、装置及设备 |
CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
CN111125283A (zh) * | 2019-12-23 | 2020-05-08 | 苏州智加科技有限公司 | 电子地图构建方法、装置、计算机设备和存储介质 |
US20210191397A1 (en) * | 2019-12-24 | 2021-06-24 | Industrial Technology Research Institute | Autonomous vehicle semantic map establishment system and establishment method |
CN111780771A (zh) * | 2020-05-12 | 2020-10-16 | 驭势科技(北京)有限公司 | 一种定位方法、装置、电子设备及计算机可读存储介质 |
CN112068555A (zh) * | 2020-08-27 | 2020-12-11 | 江南大学 | 一种基于语义slam方法的语音控制型移动机器人 |
CN113128608A (zh) * | 2021-02-26 | 2021-07-16 | 山东大学 | 一种基于5g和图嵌入优化的tsvm模型自优化与预测方法、设备及存储介质 |
CN113537208A (zh) * | 2021-05-18 | 2021-10-22 | 杭州电子科技大学 | 一种基于语义orb-slam技术的视觉定位方法及系统 |
US11527085B1 (en) * | 2021-12-16 | 2022-12-13 | Motional Ad Llc | Multi-modal segmentation network for enhanced semantic labeling in mapping |
CN115164918A (zh) * | 2022-09-06 | 2022-10-11 | 联友智连科技有限公司 | 语义点云地图构建方法、装置及电子设备 |
CN115496792A (zh) * | 2022-09-22 | 2022-12-20 | 北京航空航天大学杭州创新研究院 | 基于人在环优化的点云语义slam的方法、系统及装置 |
CN115421158A (zh) * | 2022-11-07 | 2022-12-02 | 中国人民解放军国防科技大学 | 自监督学习的固态激光雷达三维语义建图方法与装置 |
Non-Patent Citations (2)
Title |
---|
LI WANG 等: "Object-Aware Hybrid Map for Indoor Robot Visual Semantic Navigation" * |
宋鑫 等: "集成RGB-D语义分割网络的室内语义地图构建" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763064A (zh) * | 2023-11-01 | 2024-03-26 | 武汉中海庭数据技术有限公司 | 地图更新方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115638788B (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
CN112419494B (zh) | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 | |
CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
Lin et al. | Autonomous aerial navigation using monocular visual‐inertial fusion | |
Sola et al. | Fusing monocular information in multicamera SLAM | |
CN111340867A (zh) | 图像帧的深度估计方法、装置、电子设备及存储介质 | |
CN115471534A (zh) | 基于双目视觉和imu的水下场景三维重建方法及设备 | |
JP2016149132A (ja) | 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法 | |
CN109084785A (zh) | 多车辆协同定位与地图构建方法、装置、设备及存储介质 | |
KR101869605B1 (ko) | 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법 | |
CN107527382B (zh) | 数据处理方法以及装置 | |
JP2023002757A (ja) | 高精度地図作成方法、装置及び電子機器 | |
CN118314300B (zh) | 工程测量精准定位与三维建模方法及系统 | |
CN116255992A (zh) | 一种同时定位与建图的方法和装置 | |
CN115661299B (zh) | 车道线地图的构建方法、计算机设备及存储介质 | |
CN113763504B (zh) | 地图更新方法、系统、车载终端、服务器及存储介质 | |
CN112950710A (zh) | 位姿确定方法、装置、电子设备和计算机可读存储介质 | |
US20170108338A1 (en) | Method for geolocating a carrier based on its environment | |
CN115638788B (zh) | 语义矢量地图的构建方法、计算机设备及存储介质 | |
CN113706633B (zh) | 一种目标对象的三维信息确定方法和装置 | |
CN115131404A (zh) | 基于运动估计深度的单目3d检测方法 | |
Zhu et al. | Triangulation of well-defined points as a constraint for reliable image matching | |
CN115014324A (zh) | 定位方法、装置、介质、设备及车辆 | |
KR100782152B1 (ko) | 3차원 수치지도를 제작하기 위하여 항공사진 db로부터건물의 3차원 데이터를 획득하는 방법 | |
CN115222799B (zh) | 图像重力方向的获取方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |