CN116783108A - 用于自动驾驶车辆驾驶和地图生成中的自动车道冲突估计的系统和方法 - Google Patents
用于自动驾驶车辆驾驶和地图生成中的自动车道冲突估计的系统和方法 Download PDFInfo
- Publication number
- CN116783108A CN116783108A CN202280010097.7A CN202280010097A CN116783108A CN 116783108 A CN116783108 A CN 116783108A CN 202280010097 A CN202280010097 A CN 202280010097A CN 116783108 A CN116783108 A CN 116783108A
- Authority
- CN
- China
- Prior art keywords
- lane
- segment
- lane segment
- segments
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000010287 polarization Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/10—Number of lanes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
用于自动车道冲突估计的系统、方法和自动驾驶车辆可以获得与包括道路的地理位置的地图相关联的地图数据,基于地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型来处理相对车道几何形状和与重叠车道段对相关联的交通信号或标志的类型,以生成在交通信号或标志的给定状态下第一车道段是否让行于第二车道段的预测;以及使用预测来进行以下中的至少一个:生成包括与预测相关联的车道段的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
Description
相关申请的交叉引用
本申请要求于2021年3月31日提交的美国专利申请第17/219081号的优先权,其全部公开内容作为整体通过引用合并于此。
背景技术
领域
本公开总体上涉及自动驾驶车辆地图,并且在一些非限制性实施例或方面中,涉及自动车道冲突估计。
技术考虑
为了表示公路的更高级别属性,自动驾驶车辆可以使用向量地图(例如,包含被分段成车道段的车道的低分辨率的向量化地图等)。车道段可以具有属性,诸如车道段是否位于学校地带、和/或交叉路口等。对于交叉路口内的车道段,可能存在复杂的映射(mapping)(例如,冲突映射等),该映射指示在给定的交通灯和停止标志条件下,哪个(哪些)车道段让行于哪个(哪些)其他车道段。
发明内容
因此,提供了用于自动驾驶车辆驾驶和地图生成中的车道冲突估计的改进的系统、方法、产品、装置和/或设备。所估计的车道冲突可以用于生成和/或更新地图,该地图用来控制自动驾驶车辆和/或促进自动驾驶车辆的至少一个自动驾驶操作,诸如控制自动驾驶车辆在道路上的行驶。
根据一些非限制性实施例或方面,提供了一种方法,包括:获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及使用所述预测来进行以下中的至少一个:生成包括与所述预测相关联的重叠车道段对的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
根据一些非限制性实施例或方面,提供了一种系统,包括:一个或多个处理器,所述一个或多个处理器被编程和/或配置为:获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及使用所述预测来进行以下中的至少一个:生成包括与所述预测相关联的重叠车道段对的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
根据一些非限制性实施例或方面,提供了一种自动驾驶车辆,包括一个或多个传感器和计算设备。所述一个或多个传感器可以被配置为确定与所述自动驾驶车辆周围的环境相关联的传感器数据。所述计算设备可以被编程和/或配置为:获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;基于所述传感器数据和所述地图数据,确定所述交通信号或标志的类型的变化;基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的变化的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及基于所述预测来控制所述自动驾驶车辆的至少一个自动驾驶操作。
在以下编号的条款中阐述了进一步的实施例或方面:
条款1.一种计算机实现的方法,包括:获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及使用所述预测来进行以下中的至少一个:生成包括与所述预测相关联的重叠车道段对的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
条款2.根据条款1所述的计算机实现的方法,其中,所述第一车道段是否让行于所述第二车道段的预测包括以下各项中的一个:所述第一行车道段让行于所二车道段并且所述第二道线段不让行于第一行车道段的预测,所述第一车道段不让行于所述第二车道段并且所述第二车道段让行于所述第一车道段的预测,以及所述第一车道段和所述第二车道段彼此让行的预测。
条款3.根据条款1或2所述的计算机实现的方法,其中,所述第一车道段和所述第二车道段中的每个与所述地图数据中的开始位置和结束位置相关联,并且其中,确定所述第一车道段与所述第二车道段之间的相对车道几何形状包括:确定所述第一车道段的开始位置和所述第二车道段的开始位置之间的第一相对角度;以及确定所述第一车道段的开始位置和所述第二车道段的结束位置之间的第二相对角度。
条款4.根据条款1-3中任一项所述的计算机实现的方法,其中,所述机器学习模型进一步处理以下属性中的至少一个,以生成所述第一车道段是否让行于所述第二车道段的预测:所述第一车道段的车道类型,所述第二车道段的车道类型,所述第一车道段的曲率,所述第二车道段的曲率,所述第一车道段和所述第二车道段之间的重叠百分比,或其任意组合。
条款5.根据条款1-4中任一项所述的计算机实现的方法,其中,所述交通信号或标志的类型包括以下各项中的至少一个:转弯箭头信号,非转弯箭头信号,停止标志,或其任意组合。
条款6.一种系统,包括:一个或多个处理器,所述一个或多个处理器被编程和/或配置为:获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及使用所述预测来进行以下中的至少一个:生成包括与所述预测相关联的重叠车道段对的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
条款7.根据条款6所述的系统,其中,所述第一车道段是否让行于所述第二车道段的预测包括以下各项中的一个:所述第一行车道段让行于所二车道段并且所述第二道线段不让行于第一行车道段的预测,所述第一车道段不让行于所述第二车道段并且所述第二车道段让行于所述第一车道段的预测,以及所述第一车道段和所述第二车道段彼此让行的预测。
条款8.根据条款6和7中任一项所述的系统,其中,所述第一车道段和所述第二车道段中的每个与所述地图数据中的开始位置和结束位置相关联,并且其中,所述一个或多个处理器被编程和/或配置为通过以下方式来确定所述第一车道段和所述第二车道段之间的相对车道几何形状:确定所述第一车道段的开始位置和所述第二车道段的开始位置之间的第一相对角度;以及确定所述第一车道段的开始位置和所述第二车道段的结束位置之间的第二相对角度。
条款9.根据条款6-8中任一项所述的系统,其中,所述机器学习模型进一步处理以下属性中的至少一个,以生成所述第一车道段是否让行于所述第二车道段的预测:所述第一车道段的车道类型,所述第二车道段的车道类型,所述第一车道段的曲率,所述第二车道段的曲率,所述第一车道段和所述第二车道段之间的重叠百分比,或其任意组合。
条款10.根据条款6-9中任一项所述的系统,其中,所述交通信号或标志的类型包括以下各项中的至少一个:转弯箭头信号,非转弯箭头信号,停车标志,或其任意组合。
条款11.一种自动驾驶车辆,包括:一个或多个传感器,所述一个或多个传感器被配置为确定与所述自动驾驶车辆周围的环境相关联的传感器数据;计算设备,所述计算设备被编程和/或配置为:获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;基于所述传感器数据和所述地图数据,确定所述交通信号或标志的类型的变化;基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的变化的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及基于所述预测来控制所述自动驾驶车辆的至少一个自动驾驶操作。
条款12.根据条款11所述的自动驾驶车辆,其中,所述第一车道段是否让行于所述第二车道段的预测包括以下各项中的一个:所述第一行车道段让行于所二车道段并且所述第二道线段不让行于第一行车道段的预测,所述第一车道段不让行于所述第二车道段并且所述第二车道段让行于所述第一车道段的预测,以及所述第一车道段和所述第二车道段彼此让行的预测。
条款13.根据条款11和12中任一项所述的自动驾驶车辆,其中,所述第一车道段和所述第二车道段中的每个与所述地图数据中的开始位置和结束位置相关联,并且其中,所述计算机设备被编程和/或配置为通过以下方式来确定所述第一车道段和第二车道段之间的相对车道几何形状:确定所述第一车道段的开始位置和所述第二车道段的开始位置之间的第一相对角度;以及确定所述第一车道段的开始位置和所述第二车道段的结束位置之间的第二相对角度。
条款14.根据条款11-13中任一项所述的自动驾驶车辆,其中,所述机器学习模型进一步处理以下属性中的至少一个,以生成所述第一车道段是否让行于所述第二车道段的预测:所述第一车道段的车道类型,所述第二车道段的车道类型,所述第一车道段的曲率,所述第二车道段的曲率,所述第一车道段和所述第二车道段之间的重叠百分比,或其任意组合。
条款15.根据条款11-14中任一项所述的自动驾驶车辆,其中,所述交通信号或标志的类型包括以下各项中的至少一个:转弯箭头信号,非转弯箭头信号,停止标志,或其任意组合。
条款16.根据条款11-15中任一项所述的自动驾驶车辆,其中,所述计算设备被编程和/或配置为通过以下方式来控制所述自动驾驶车辆的所述至少一个自动驾驶操作:控制所述车辆来进行以下中的一个:在所述第一车道段中的路线上继续行进,以及让行于所述第二车道段中的另一车辆。
附图说明
以下参考在附图中所示的示例性实施例,更详细地说明附加优点和细节,在附图中:
图1是可以实现本文中所述的系统、方法、产品、装置和/或设备的环境的非限制性实施例或方面的图;
图2是用于车辆的说明性架构的图;
图3是用于LiDAR系统的说明性架构的图;
图4是说明性计算设备的图;
图5是用于车道冲突估计的处理的非限制性实施例或方面的流程图;
图6是用于车道冲突估计的处理的非限制性实施例或方面的流程图;和
图7A-图7B是示出重叠车道对之间的相对车道几何形状的示例的图。
具体实施方式
应当理解,本公开可以假设各种替选的变化和步骤序列,除非明确地相反规定。还应当理解,附图中所示的并且在以下说明书中所描述的特定设备和处理仅仅是示例性的和非限制性的实施例或方面。因此,与本文中公开的实施例或方面有关的特定尺寸和其他物理特性不应被认为是限制性的。
除非明确地如此描述,否则本文中使用的任何方面、组件、元件、结构、动作、步骤、功能、和/或指令等都不应被解释为关键或必要的。此外,如本文中所使用的,冠词“一个(a)”和“一(an)”旨在包括一个或多个项目,并且可以与“一个或多个”和“至少一个”互换地使用。此外,如本文中所使用的,术语“集合”旨在包括一个或多个项目(例如,相关项目、不相关项目、和/或相关项目和不相关项目的组合等),并且可以与“一个或多个”或“至少一个”互换地使用。如果旨在仅一个项目,则使用术语“一个(one)”或类似语言。此外,如本文中所使用的,术语“具有(has)”、“有(have)”、“具有(having)”等旨在是开放式的术语。此外,除非另外明确地说明,否则短语“基于”旨在意味着“至少部分地基于”。
如本文中所使用的,术语“通信(communication)”可以指的是数据(例如,信息、信号、消息、指令、和/或命令等)的接收(reception)、收到(receipt)、传输、传送、和/或提供等。对于一个单元(例如,设备、系统、设备或系统的组件、和/或其组合等)与另一个单元通信,意味着这一个单元能够直接或间接地从另一个单元接收信息和/或向另一个单元发送信息。这可以指的是本质上是有线和/或无线的直接或间接连接(例如,直接通信连接、和/或间接通信连接等)。此外,两个单元可以彼此通信,即使所传送的信息可以在第一单元和第二单元之间被修改、处理、中继和/或路由。例如,即使第一单元被动地接收信息并且不主动地向第二单元发送信息,第一单元也可以与第二单元通信。作为另一示例,如果至少一个中间单元处理从第一单元接收到的信息并且将处理后的信息发送到第二单元,则第一单元可以与第二单元通信。
将明显的是,本文中描述的系统和/或方法可以以不同形式的硬件、软件、或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不是对实现方式的限制。因此,本文中在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为,应当理解,软件和硬件可以被设计为基于本文中的描述来实现系统和/或方法。
本文中结合阈值描述了一些非限制性实施例或方面。如本文中所使用的,满足阈值可以指的是值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、等于阈值等。
术语“车辆”指的是能够承载一个或多个人类乘客和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自动驾驶车辆、飞行器、空中无人机等。“自动驾驶车辆”是指具有处理器、编程指令和传动系部件的车辆,该传动系部件可由处理器控制而无需人类操作员。自动驾驶车辆可以是完全自动驾驶的,因为对于大多数或所有驾驶条件和功能,它不需要人类操作员,或者它可以是半自动驾驶的,因为在某些条件下或者对于某些操作,可能需要人类操作员,或者人类操作员可以超越车辆的自动驾驶系统并且可以控制车辆。
如本文中所使用的,术语“计算设备”可以指的是被配置为处理数据的一个或多个电子设备。在一些示例中,计算设备可以包括用于接收、处理和输出数据的需要组件,诸如处理器、显示器、存储器、输入设备、和/或网络接口等。计算设备可以是移动设备。作为示例,移动设备可以包括蜂窝电话(例如,智能电话或标准蜂窝电话)、便携式计算机、可穿戴设备(例如,手表、眼镜、镜片、和/或衣服等)、PDA和/或其他类似设备。计算设备也可以是台式计算机或其他形式的非移动计算机。
如本文中所使用的,术语“服务器”和/或“处理器”可以指的是或包括一个或多个计算设备,这一个或多个计算设备由网络环境(诸如因特网)中的多方来操作或促进多方的通信和处理,尽管应当理解,可以通过一个或多个公共或专用网络环境来促进通信,并且各种其他布置是可能的。另外,在网络环境中直接或间接通信的多个计算设备(例如,服务器、POS设备、移动设备等)可以构成“系统”。如本文中所使用的,对“服务器”或“处理器”的引用可以指的是被记载为执行先前步骤或功能的先前记载的服务器和/或处理器、不同的服务器和/或处理器、和/或服务器和/或处理器的组合。例如,如说明书和权利要求中所使用的,被记载为执行第一步骤或功能的第一服务器和/或第一处理器可以指的是被记载为执行第二步骤或功能的相同或不同的服务器和/或处理器。
如本文中所使用的,术语“用户界面”或“图形用户界面”可以指的是所生成的显示,诸如一个或多个图形用户界面(GUI),其中用户可以直接或间接地(例如,通过键盘、鼠标、触摸屏等)与这一个或多个图形用户界面(GUI)进行交互。
现有的冲突映射可能是艰巨的处理,该处理使用人工审查来详尽地查看在所有可能的交通信号状态下交叉路口内的所有重叠车道的车道和车道对的长列表。如果两个车道重叠,则可以在每个可能的交通信号状态下人工确定哪个车道让行于哪个车道,或者确定车道之间是否存在相互让行关系。对于由交通灯控制的相对简单的四向交叉路口,这样的确定可能导致手动确定数十个冲突,并且将其与重叠车道相关联地存储在地图中。
以此方式,现有的冲突映射涉及在既容易出错又费力的处理中人工评估多个冲突和信号状态。冲突类型的错误选择可能导致其他车辆被自动驾驶车辆错误地预测为不会让行于自动驾驶车辆,由此导致自动驾驶车辆停车或陷入困境,或者当这些其他车辆拥有路权时,错误地认为必须让行于自动驾驶车辆,从而当自动驾驶车辆以错误的方式行驶时(例如,没有路权等),潜在地导致不安全的行为。
本公开的非限制性实施例或方面提供了系统和方法,该系统和方法获得与包括道路的地理位置的地图相关联的地图数据,道路包括多个车道段,多个车道段包括在道路中彼此重叠的车道段对,该车道段对与交通信号或标志相关联,并且地图数据与交通信号或标志的类型相关联;基于地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理相对车道几何形状和交通信号或标志的类型,以生成在交通信号或标志的给定状态下第一车道段是否让行于第二车道段的预测;以及使用预测来进行以下中的至少一个:生成包括与预测相关联的车道段的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
以此方式,本公开的非限制性实施例或方面提供了自动冲突映射,其中用于自动驾驶车辆的地图可以更快地并且以更小的误差来更新,由此实现更安全并且更高效的自动驾驶车辆操作。
此外,现有的自动驾驶车辆可能没有如下机制,该机制用于确定从由自动驾驶车辆使用的地图生成以来交叉路口的冲突映射已经改变,和/或用于更新地图和/或针对改变的交叉路口实时地生成新的冲突映射。
本公开的非限制性实施例或方面提供了自动驾驶车辆,该自动驾驶车辆包括:一个或多个传感器,一个或多个传感器被配置为确定与自动驾驶车辆周围的环境相关联的传感器数据;计算设备,计算设备被编程和/或配置为:获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,多个车道段包括在道路中彼此重叠的车道段对,其中,该车道段对与交通信号或标志相关联,并且其中,地图数据与交通信号或标志的类型相关联;基于传感器数据和地图数据,确定交通信号或标志的类型的变化;基于地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;利用机器学习模型处理相对车道几何形状和交通信号或标志的变化的类型,以生成在交通信号或标志的给定状态下第一车道段是否让行于第二车道段的预测;以及基于预测来控制自动驾驶车辆的至少一个自动驾驶操作。
以此方式,本公开的非限制性实施例或方面提供了自动驾驶车辆,该自动驾驶车辆能够确定从由自动驾驶车辆使用的地图生成以来交叉路口的冲突映射已经改变,实时地确定新的或更新的冲突映射,以及基于更精确地表示交叉路口的新的或更新的冲突映射来控制自动驾驶车辆,由此实现更安全并且更高效的自动驾驶车辆操作。
现在参考图1,图1是可以实现本文中描述的系统、方法、产品、装置和/或设备的示例环境100的示意图。如图1中所示,环境100可以包括自动驾驶车辆102、地图系统104和/或通信网络106。
自动驾驶车辆102可以包括一个或多个设备,这一个或多个设备能够经由通信网络106从地图系统104接收信息和/或数据,和/或经由通信网络106将信息和/或数据传送到地图系统104。例如,自动驾驶车辆102可以包括计算设备,诸如服务器、一组服务器和/或其他类似设备。
地图系统104可以包括一个或多个设备,这一个或多个设备能够经由通信网络106从自动驾驶车辆102接收信息和/或数据,和/或经由通信网络106将信息和/或数据传送到自动驾驶车辆102。例如,地图系统104可以包括计算设备,诸如服务器、一组服务器和/或其他类似设备。
通信网络106可以包括一个或多个有线和/或无线网络。例如,通信网络106可以包括蜂窝网络(例如,长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如,公共交换电话网络(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、和/或云计算网络等、和/或这些或其他类型的网络的组合。
图1中所示的设备和系统的数量和布置被提供作为示例。与图1中所示的设备和/或系统相比,可以存在额外的设备和/或系统、更少的设备和/或系统、不同的设备和/或系统、或者不同布置的设备和/或系统。此外,图1中所示的两个或多个设备和/或系统可以被实现在单个设备和/或系统内,或者图1中所示的单个设备和/或系统可以被实现为多个分布式设备和/或系统。例如,自动驾驶车辆102可以合并地图系统104的功能,使得自动驾驶车辆102可以在不与地图系统104通信的情况下操作。附加地或替选地,环境100的一组设备和/或系统(例如,一个或多个设备或系统)可以执行被描述为由环境100的另一组设备或系统执行的一个或多个功能。
现在参考图2,图2是用于车辆的说明性系统架构200的图。自动车辆102可以包括与图2中所示的系统架构200相同或相似的系统架构。
如图2中所示,系统架构200可以包括发动机或电动机202以及用于测量车辆的各种参数的各种传感器204-218。在具有燃料动力发动机的燃气动力或混合动力车辆中,传感器可以包括例如发动机温度传感器204、电池电压传感器206、发动机每分钟转数(“RPM”)传感器208和/或节气门位置传感器210。在电动或混合动力车辆中,车辆可以具有电动机,并且可以具有传感器,诸如电池监测传感器212(例如,用于测量电池的电流、电压和/或温度)、电动机电流传感器214、电动机电压传感器216和/或电动机位置传感器218(诸如解析器(resolver)和编码器)。
系统架构200可以包括操作参数传感器,其可以是两种类型的车辆所共有的,并且可以包括例如:位置传感器236,诸如加速度计、陀螺仪和/或惯性测量单元;速度传感器238;和/或里程计传感器240。系统架构200可以包括时钟242,系统200使用该时钟242在操作期间确定车辆时间。时钟242可以被编码到车辆车载计算设备220中,它可以是单独的设备,或者多个时钟可以是可用的。
系统架构200可以包括各种传感器,这些传感器进行操作以收集有关车辆操作和/或行驶的环境的信息。这些传感器可以包括例如:定位传感器260(例如,全球定位系统(“GPS”)设备);对象检测传感器,诸如一个或多个相机262;LiDAR传感器系统264;和/或雷达和/或声纳系统266。传感器可以包括环境传感器268,诸如降水传感器和/或环境温度传感器。对象检测传感器可以使得系统架构200能够检测在任何方向上处于车辆的给定距离范围内的对象,并且环境传感器268可以收集有关车辆的操作和/或行驶的区域内的环境条件的数据。
在系统架构200的操作期间,将信息从系统架构200中的传感器传送到车载计算设备220。车载计算设备220分析由传感器捕获的数据,并且基于分析结果可选地控制车辆的操作。例如,车载计算设备220可以:经由制动控制器222来控制制动;经由转向控制器224来控制方向;经由节气门控制器226(例如,在燃气动力车辆中)或电动机速度控制器228(例如,电流水平控制器)(例如,在电动车辆中)来控制速度和加速度;控制差速齿轮控制器230(例如,在具有变速器的车辆中);和/或控制其他控制器(例如,辅助设备控制器254)。
可以将地理位置信息从定位传感器260传送到车载计算设备220,车载计算设备220可以访问包括与位置信息相对应的地图数据的环境地图,以确定环境的已知固定特征,诸如街道、建筑物、停止标志和/或停止/行进信号。将来自相机262的捕获图像和/或从诸如LiDAR 264之类的传感器捕获的对象检测信息从这些传感器传送到车载计算设备220。对象检测信息和/或捕获图像被车载计算设备220处理,以检测在车辆附近的对象。用于基于传感器数据和/或捕获图像进行对象检测的任何已知或将要已知的技术都可以在本文档中公开的实施例中使用。
现在参考图3,图3是说明性LiDAR系统300的图。图2的LiDAR系统264可以与LiDAR系统300相同或基本上相似。
如图3中所示,LiDAR系统300可以包括壳体306,壳体306可以围绕中心轴线(诸如轮毂或轴316)可旋转360°。壳体306可以包括由对光透明的材料制成的发射器/接收器孔径312。尽管在图2中示出了单个孔径,但是本公开的非限制性实施例或方面在这方面不受限制。在其他情况下,可以提供用于发射和/或接收光的多个孔径。无论哪种方式,当壳体306围绕内部组件旋转时,LiDAR系统300都可以通过一个或多个孔径312发射光,并且接收朝向一个或多个孔径312反射回来的光。在替选情况下,壳体306的外壳(shell)可以是固定圆顶(dome),至少部分地由对光透明的材料制成,其中在壳体306内部具有可旋转组件。
在旋转外壳或固定圆顶内部是光发射器系统304,该光发射器系统304被配置为并且被定位为经由一个或多个激光发射器芯片或其他发光器件、通过壳体306的孔径312或者通过透明圆顶来生成并且发射光脉冲。发射器系统304可以包括任意数量的各个发射器(例如,8个发射器、64个发射器、128个发射器等)。发射器可以发射基本上相同强度或不同强度的光。由光发射器系统304发射的各个光束可以具有在整个阵列上不相同的明确定义的偏振状态。作为示例,一些光束可以具有垂直偏振,并且其他光束可以具有水平偏振。LiDAR系统300可以包括光检测器308,该光检测器308包含被定位为并且被配置为接收反射回到系统中的光的光电检测器或光电检测器阵列。发射器系统304和光检测器308可以与旋转外壳一起旋转,或者发射器系统304和光检测器308可以在壳体306的固定圆顶内部旋转。一个或多个光学元件结构310可以被定位在发光单元304和/或光检测器308的前面,以用作聚焦并且引导穿过光学元件结构310的光的一个或多个透镜和/或波片。
一个或多个光学元件结构310可以被定位在反射镜的前面,以聚焦并且引导穿过光学元件结构310的光。如以下在本文中所描述的,LiDAR系统300可以包括光学元件结构310,该光学元件结构310被定位在反射镜的前面并且连接到LiDAR系统300的旋转元件,使得光学元件结构310与反射镜一起旋转。替选地或附加地,光学元件结构310可以包括多个这样的结构(例如,透镜、波片等)。在一些非限制性实施例或方面中,多个光学元件结构310可以以阵列形式布置在壳体306的外壳部分上或与壳体306的外壳部分集成。
在一些非限制性实施例或方面中,每个光学元件结构310可以包括分束器,该分束器将系统接收到的光与系统生成的光分离。分束器可以包括例如四分之一波波片或半波波片,以执行分离并且确保接收到的光被引导到接收器单元而不是发射器系统(这可以在没有这样的波片的情况下发生,因为发射的光和接收到的光应该表现出相同或相似的偏振)。
LiDAR系统300可以包括为发光单元304、电动机316和电子部件供电的电源单元318。LiDAR系统300可以包括具有诸如处理器322和包含编程指令的非瞬态计算机可读存储器320之类的元件的分析器314,编程指令被配置为使得系统能够接收由光检测器单元收集的数据,分析该数据以测量所接收到的光的特性,并且生成信息,所连接的系统可以使用该信息来做出关于在从中收集数据的环境中操作的决定。分析器314可以如图所示地与LiDAR系统300集成,或者分析器314中的一些或全部可以在LiDAR系统300外部,并且经由有线和/或无线通信网络或链路通信地连接到LiDAR系统300。
现在参考图4,图4是用于计算设备400的说明性架构的图。计算设备400可以对应于自动驾驶车辆102的一个或多个设备(例如,自动驾驶车辆102的系统的一个或多个设备)(例如,系统架构200的一个或多个设备等)和/或地图系统104的一个或多个设备。在一些非限制性实施例或方面中,自动驾驶车辆102的一个或多个设备(例如,自动驾驶车辆102的系统的一个或多个设备)(例如,系统架构200的一个或多个设备等)和/或地图系统104的一个或多个设备可以包括至少一个计算设备400和/或计算设备400的至少一个组件。
图4中所示的组件的数量和布置被提供作为示例。在一些非限制性实施例或方面中,与图4中所示的组件相比,计算设备400可以包括额外的组件、更少的组件、不同的组件或不同布置的组件。附加地或替选地,计算设备400的一组组件(例如,一个或多个组件)可以执行被描述为由设备400的另一组组件执行的一个或多个功能。
如图4中所示,计算设备400包括用户接口402、中央处理单元(“CPU”)406、系统总线410、通过系统总线410连接到计算设备400的其他部分并且可由计算设备400的其他部分访问的存储器412、系统接口460以及连接到系统总线410的硬件实体414。用户接口402可以包括输入设备和输出设备,它们促进用于控制计算设备400的操作的用户-软件交互。输入设备可以包括但不限于物理和/或触摸键盘450。输入设备可以经由有线和/或无线连接(例如蓝牙连接)连接到计算设备400。输出设备可以包括但不限于扬声器452、显示器454和/或发光二极管456。系统接口460被配置为促进与外部设备(例如,网络节点,诸如接入点等)进行有线和/或无线通信。
硬件实体414中的至少一些可以执行涉及访问和使用存储器412的动作,存储器412可以是随机存取存储器(“RAM”)、盘驱动器、闪存、紧凑盘只读存储器(“CD-ROM”)和/或能够存储指令和数据的其他硬件设备。硬件实体414可以包括盘驱动单元416,该盘驱动单元包括计算机可读存储介质418,在该计算机可读存储介质418上存储被配置为实现本文中所描述的方法、过程或功能中的一个或多个的一组或多组指令420(例如,软件代码)。指令420、应用424和/或参数426也可以在由计算设备400执行和/或使用期间完全或至少部分地驻留在存储器412和/或CPU 406内。存储器412和CPU 406可以包括机器可读介质。如这里所使用的术语“机器可读介质”可以是指存储一组或多组指令420的单个介质或多个介质(例如,集中式或分布式数据库,和/或相关联的高速缓存和服务器)。如这里所使用的术语“机器可读介质”可以是指能够存储、编码或携带一组指令420以供计算设备400执行并且使得计算设备400执行本公开的方法中的任何一个或多个方法的任何介质。
现在参考图5,图5是用于自动车道冲突估计的处理500的非限制性实施例或方面的流程图。在一些非限制性实施例或方面中,处理500的一个或多个步骤可以由地图系统104(例如,地图系统104的一个或多个设备等)来执行(例如,完全地、部分地等)。在一些非限制性实施例或方面中,处理500的一个或多个步骤可以由与地图系统104分离或包括地图系统104的另一设备或一组设备(诸如自动驾驶车辆102(例如,系统架构200等))来执行(例如,完全地、部分地等)。
如图5中所示,在步骤502处,处理500包括获得地图数据。例如,地图系统104可以获得与包括道路的地理位置的地图相关联的地图数据。作为示例,道路可以包括多个车道段,多个车道段可以包括在道路中彼此重叠的车道段对,该车道段对可以与交通信号或标志(例如,交通灯、停止灯、停止标志等)相关联,和/或地图数据可以与交通信号或标志的类型相关联(例如,包括一个或多个转弯箭头灯泡的交通信号、包括一个或多个非转弯箭头灯泡的交通信号、交通信号的灯泡的配置或布置、停止标志、让行标志、红灯时禁止右转标志等)。
在一些非限制性实施例或方面中,公路是指允许车辆(例如,自动驾驶车辆102等)行驶的两个地方之间的铺砌或以其他方式改进的路径。附加地或替选地,公路包括道路和靠近(例如,邻近、接近、紧邻、接触等)道路的人行道。在一些非限制性实施例或方面中,道路包括车辆要在其上行驶的公路的一部分,并且不受物理屏障或分隔的限制,使得车辆能够横向行驶。附加地或替选地,道路包括一个或多个车道,诸如行驶车道(例如,车辆在其上行驶的车道、交通车道等)、停车车道(例如,车辆在其中停车的车道)、自行车车道(例如,自行车在其中行驶的车道)和/或转弯车道(例如,车辆从其转弯的车道)等。在一些非限制性实施例或方面中,道路连接到另一道路,例如道路的车道连接到道路的另一车道和/或道路的车道连接到另一道路的车道。
在一些非限制性实施方案或方面中,道路与定义道路(例如,与之相关联的元数据)的一个或多个属性的地图数据相关联(例如,地理位置中的道路的属性、道路的段的属性、道路的车道的属性、道路的车道段的属性、道路和/或车道的边缘的属性、道路和/或行车道的驾驶路径的属性等)。例如,道路可以包括一个或多个车道,包括形成一个或多个车道的一个或多个车道段。作为示例,第一车道段的开始位置可以对应于在道路中的车道中的第一车道段之后的第二车道段的结束位置。
在一些非限制性实施例或方面中,车道段(和/或车道、道路、道路段等)的属性包括:车道段的车道边缘(例如,车道段的车道边缘的位置,位置与车道段的行道边缘的距离,位置是否在车道段的车道边缘内的指示等),车道段与另一车道段的交叉、连接、重叠或连接,车道段与另一车道段的距离(例如,车道段的结束到另一车道段的结束的距离等),车道段的曲率,车道段的车道类型(例如,道路的行驶车道、道路的停车车道、道路的转弯车道等),车道段中的行驶方向,车道段的中心线(例如,道路的至少一个车道中的中心线路径的指示,用于在驾驶路径上的操作(例如,跟随、行驶、穿越、路由等)期间控制自动驾驶车辆102),车道段的驾驶路径(例如,自动驾驶车辆102可以在道路中穿越的一个或多个轨迹,以及道路中的至少一个特征的位置与驾驶路径的横向距离的指示,等等),靠近车道段和/或在车道段内的一个或多个对象(例如,车辆、植被、行人、结构、建筑物、标志、灯柱、标牌、交通信号、交通标志、自行车、铁路轨道、危险对象等)(例如,靠近公路的公路边缘和/或在公路的公路边缘内的对象),交通信号或标志的类型(例如,灯泡颜色、转弯箭头灯泡、非转弯箭头灯泡、停止标志、让行标志、红灯时禁止右转标志等)等。
如图5中所示,在步骤504处,处理500包括确定车道段之间的相对车道几何形状。例如,地图系统104可以基于地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状。作为示例,相对车道几何形状可以包括以下中的至少一个:第一车道段和第二车道段中的位置之间的一个或多个角度,第一车道段和第二车道段中的位置之间的一个或多个距离,第一车道段和第二车道段之间的重叠之内的一个或多个区域,第一车道段和第二车道段之间的重叠之外的一个或多个区域,或其任意组合。
在一些非限制性实施例或方面中,第一车道段和第二车道段中的每个可以与地图数据中的开始位置和结束位置相关联,以及确定第一车道段和第二车道段之间的相对车道几何形状可以包括:确定第一车道段的开始位置和第二车道段的开始位置之间(例如,第一车道段的中心线的开始位置和第二车道段的中心线的开始位置之间等)的第一相对角度;以及确定第一车道段的开始位置和第二车道段的结束位置之间(例如,第一车道段的中心线的开始位置和第二车道段的中心线的结束位置之间等)的第二相对角度。例如,图7A和图7B示出了对于两个不同示例重叠车道对,第一车道段702a、702b的开始位置和第二车道段704a、704b的开始位置之间的第一相对角度α以及第一车道段702a、702b的开始位置和第二车道段704a、704b的结束位置之间的第二相对角度β的示例700和750。如图7A和图7B中所示,角度α和β可以分别相对于穿过并且平行于第一车道(例如,候选车道等)的开始而延伸的射线以及从第一车道的开始位置延伸到第二车道(例如,冲突车道等)的开始位置和结束位置的相应射线来定义。
如图5中所示,在步骤506处,处理500包括生成让行预测。例如,地图系统104可以利用机器学习模型处理相对车道几何形状和交通信号或标志的类型,以生成在交通信号或标志的给定状态(例如,点亮的灯泡或激活的指示器的颜色、类型或位置,存在的标志等)下第一车道段是否让行于第二车道段的预测。作为示例,交通信号或标志的状态可以是动态的,诸如交通信号的一个或多个灯泡的一个或多个状态(例如,点亮、不点亮、闪烁等)。作为示例,交通信号或标志的状态可以是静态的,诸如印刷的标志(例如,停止标志等)。
在一些非限制性实施例或方面中,地图系统104可以使用机器学习技术来生成模型(例如,估计器、分类器、预测模型、检测器模型等),该机器学习技术包括例如有监督和/或无监督技术,诸如决策树(例如,梯度增强决策树、随机森林等)、逻辑回归,人工神经网络(例如,卷积神经网络等)、贝叶斯统计、学习自动机、隐马尔可夫建模、线性分类器、二次分类器、和/或关联规则学习等。机器学习模型可以被训练为响应于包括地图数据(例如,交通信号或标志的类型等)、重叠车道对之间的相对几何形状、和/或交通信号或标志的给定状态的输入而提供输出,该输出包括重叠车道段对的分类,该分类指示在交通信号或标志的给定状态下(例如,在交通信号或标志的期望状态下,在交通信号或标志的当前状态下,在交通信号或标志的未来状态下,在交通信号或标志的所有可能状态下,等等),第一车道段是否让行于第二车道段。在这样的示例中,第一车道段是否让行于第二车道段的预测或分类可以包括以下之一:第一车道段让行于第二行车道段并且第二车道段不让行于第一车道段的预测,第一车道段不让行于第二车道段并且第二车道段让行于第一车道段的预测,以及第一行车道段和第二环道段彼此让行的预测。在一些非限制性实施例或方面中,分类可以包括与在交通信号或标志的给定状态下的重叠车道对的类别预测相关联的概率分数。例如,让行预测可以包括在交通信号或标志的给定状态下第一车道段让行于第二车道段的概率。作为示例,让行预测可以包括以下中的至少一个:第一车道段让行于第二车道段并且第二车道段不让行于第一车道段的概率,第一车道段不让行于第二车队段并且第二车道段让行于第一车道段的概率,第一车道段和第二车道段彼此让行的概率,或其任意组合。
在一些非限制性实施例或方面中,地图系统104可以基于与一个或多个地理位置相关联的地图数据(例如,训练数据等)来生成模型。在一些实现方式中,该模型被设计为接收地图数据(例如,交通信号或标志的类型等)、重叠车道对之间的相对几何形状和/或交通信号或指示的给定状态作为输入,以及提供在交通信号或标志的给定状态下关于第一车道段是否让行于第二车道段的预测(例如,概率、二进制输出、是-否输出、分数、预测分数、分类等)作为输出。在一些非限制性实施例中,地图系统104存储模型(例如,存储模型以供以后使用)。在一些非限制性实施例或方面中,该模型可以被设计为自动确定交通信号或标志的所有可能状态,并且生成在交通信号或标志的每个可能状态下的预测。在一些非限制性实施例或方面中,该模型可以被设计为接收交通信号或标志的期望或给定状态作为输入,并且生成在交通信号或标志的给定状态下的预测。在一些非限制性实施例或方面中,地图系统104可以将该模型存储在数据结构(例如,数据库、链表、树等)中。在一些非限制性实施例中,数据结构位于地图系统104之内或位于地图系统104外部(例如,远离于地图系统104)(例如,在自动驾驶车辆102之内等)。
在一些非限制性实施例或方面中,机器学习模型可以进一步处理(例如,接收作为输入等)以下属性中的至少一个,以生成第一车道段是否让行于第二车道段的预测:第一车道段的车道类型,第二车道段的车道类型,第一车道段的曲率,第二车道段的曲率,第一车道段和第二车道段之间的重叠百分比,或其任意组合。
如图5中所示,在步骤508处,处理500包括使用让行预测来促进自动驾驶操作和/或生成地图。例如,地图系统104可以使用该预测来进行以下中的至少一个:生成包括与预测相关联的重叠车道段对的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
在一些非限制性实施例或方面中,地图系统104可以基于第一车道段是否让行于第二车道段的预测或分类来生成新地图和/或更新现有地图。例如,地图可以包括具有冲突映射的重叠车道段对,该冲突映射指示在与重叠车道对相关联的一个或多个交通信号或标志的一个或多个状态下与第一车道和/或第二车道相关联的让行条件。地图可以被显示在GUI上,诸如填充在自动驾驶车辆102的显示器454上的GUI。除了其他特征之外,地图还可以包括用于通过处理500生成的重叠车道对的冲突映射的符号(notation)和/或元数据,诸如指示第一车道和/或车道段让行于重叠的第二车道和/或车道段或者指示第二车道和/或车道段让行于重叠的第一车道和/或车道段的符号。例如,可以在地图上以在视觉上与非让行车道或车道段不同的方式来表示让行车道和/或车道段(例如,使用与非让行车道/车道段不同的颜色来表示让行车道/车道段)。
在一些非限制性实施例或方面中,地图系统104可以使用第一车道段是否让行于第二车道段的预测或分类来优先考虑对包括自动标记的冲突映射的地图的人工审查。例如,如果机器学习分类器输出与车道对的让行预测分数相关联的不确定概率(例如,一个车道相对于另一个车道的让行预测包括未能满足阈值概率的概率,诸如未能落入阈值距离0.1或1.0之内,等等),则分类中可能存在更大的不确定性,并且分类器不正确的可能性更高,由此使得机器分类的用于车道的让行约束或冲突映射具有更高优先级以进行人工审查。作为示例,地图系统104可以使用与车道冲突相关联的概率分数来对人类审查的车道冲突进行排序,并且优先考虑更复杂的情况以供人类映射团队进行审查。
在一些非限制性实施例或方面中,自动驾驶车辆102(例如,系统架构200等)可以基于第一车道段是否让行于第二车道段的预测或分类来控制自动驾驶车辆102的至少一个自动驾驶操作。例如,自动驾驶车辆102(例如,系统架构200等)可以基于第一车道段是否让行于第二车道段的预测或分类和/或基于包括该预测或分类的地图来确定是在路线上继续行进还是让行于另一车辆。作为示例,在第一车道中的路线上行驶的自动驾驶车辆102(例如,系统架构200等)可以基于在交通信号或标志的当前状态下第一车道段是否让行于第二车道段的预测或分类来确定是在该路线上继续行进还是让行于在第二车道中的另一车辆。在一些非限制性实施例或方面中,如果由自动驾驶车辆102(例如,系统架构200等)执行的机器学习分类器输出与车道对的让行预测分数相关联的不确定概率(例如,一个车道相对于另一个车道的让行预测包括未能满足阈值概率的概率,诸如未能落入阈值距离0.0或1.0之内等),使得自动驾驶车辆102(例如,系统架构200等)不确定另一个车道是否让行于该车道,则自动驾驶车辆102(例如,系统架构200等)可以通过让行于另一个车道中的任何参与者(例如,其他车辆等)、或者通过呼叫远程引导以请求帮助和/或由人类操作员控制自动驾驶车辆102来自动确定采取更保守的动作。
在一些非限制性实施例或方面中,地图系统104可以针对一个或多个地图中的多个车道段中的每个重叠车道段对执行步骤504-508。以此方式,包括车道和车道对的大量列表的地图的冲突映射可以更有效,并且更不容易出错,由此使得能够提高自动驾驶车辆操作的安全性。
现在参考图6,图6是用于自动车道冲突估计的处理600的非限制性实施例或方面的流程图。在一些非限制性实施例或方面中,处理600的一个或多个步骤可以由自动驾驶车辆102(例如,系统架构200等)来执行(例如,完全地、部分地等)。在一些非限制性实施例或方面中,处理600的一个或多个步骤可以由与自动驾驶车辆102(例如,系统架构200等)分离或包括自动驾驶车辆102(例如,系统架构200等)的另一设备或一组设备(诸如地图系统104(例如,地图系统104的一个或多个设备等))来执行(例如,完全地、部分地等)。
如图6中所示,在步骤602处,处理600包括获得地图数据。例如,自动驾驶车辆102(例如,系统架构200等)可以获得与包括道路的地理位置的地图相关联的地图数据。作为示例,道路可以包括多个车道段,多个车道段可以包括在道路中彼此重叠的车道段对,该车道段对可以与交通信号或标志相关联,和/或地图数据可以与交通信号或标志的类型相关联。在一些非限制性实施例或方面中,地图数据可以包括与重叠车道段对相关联的预定冲突映射。
如图6中所示,在步骤604处,处理600包括确定传感器数据。例如,自动驾驶车辆102(例如,LiDAR系统300、相机262等)可以确定与自动驾驶车辆102周围的环境相关联的传感器数据。作为示例,传感器数据可以包括描述在自动驾驶车辆102的周围环境内的对象的位置和/或状态的数据。在一些非限制性实施例或方面中,传感器数据可以包括检测到的交通信号或标志、检测到的通信信号或标志的类型、和/或检测到的电信号或标志的当前状态。
如图6中所示,在步骤606处,处理600包括确定交通信号或标志的类型的变化。例如,自动驾驶车辆102(例如,系统架构200等)可以基于传感器数据和地图数据来确定交通信号和标志的类型的变化。作为示例,自动驾驶车辆102(例如,系统架构200等)可以将与自动驾驶车辆102周围的当前环境相关联的传感器数据和与该环境的地图相关联的地图数据进行比较,以确定从地图中包括的环境起的环境的变化,诸如变化的交通信号或标志(例如,在该位置处的地图中未包括的新交通信号或标志、在该位置处的地图中包括的缺失的交通信号或标志、与在该位置处的地图中包括的交通信号或标志不同的交通信号或标志等)。
如图6中所示,在步骤608处,处理600包括确定车道段之间的相对车道几何形状。例如,自动驾驶车辆102(例如,系统架构200等)可以基于地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状。作为示例,响应于确定交通信号或标志的变化,自动驾驶车辆102(例如,系统架构200等)可以确定与变化的交通信号或标志相关联的车道段对的相对车道几何形状。
图6的步骤608中的相对车道几何形状的确定可以与图5的步骤504相同或基本上相似,并且因此,为了简洁起见,省略了对其的进一步讨论。
如图6中所示,在步骤610处,处理600包括生成让行预测。例如,自动驾驶车辆102(例如,系统架构200等)可以利用机器学习模型来处理相对车道几何形状和交通信号或标志的类型(例如,交通信号或信号的变化的类型等),以生成在交通信号或标志的给定状态(例如,当前状态、未来状态等)下第一车道段是否让行于第二车道段的预测。
图6的步骤610中的让行预测的生成可以与图5的步骤506相同或基本上相似,并且因此,为了简洁起见,省略了对其的进一步讨论。
如图6中所示,在步骤612处,处理600包括基于让行预测来控制自动驾驶车辆。例如,自动驾驶车辆102(例如,系统架构200等)可以基于预测来控制自动驾驶车辆102的至少一个自动驾驶操作。作为示例,在第一车道中的路线上行驶的自动驾驶车辆102(例如,系统架构200等)可以基于在交通信号或标志的当前状态下第一车道段是否让行于第二车道段的预测或分类来确定是在路线上继续行进还是让行于第二车道中的另一车辆。以此方式,自动驾驶车辆102可以生成并且使用经更新的并且更精确的冲突映射,以避免依赖于地图数据中的过时的预定冲突映射来控制自动驾驶操作。
尽管为了说明和描述的目的已经详细描述了实施例或方面,但是应当理解,这样的细节仅用于该目的,并且实施例或方面不限于所公开的实施例或方面,而是相反,旨在涵盖在所附权利要求的精神和范围内的修改和等效布置。例如,应当理解,本公开想到,在可能的范围内,任何实施例或方面的一个或多个特征可以与任何其他实施例或方案的一个或多个特征组合。实际上,这些特征中的任何一个都可以以权利要求中未具体记载和/或说明书中未公开的方式进行组合。尽管下面列出的每个从属权利要求可以直接从属于仅一个权利要求,但是可能实现方式的公开包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。
Claims (16)
1.一种计算机实现的方法,包括:
获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;
基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;
利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及
使用所述预测来进行以下中的至少一个:生成包括与所述预测相关联的重叠车道段对的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
2.根据权利要求1所述的计算机实现的方法,其中,所述第一车道段是否让行于所述第二车道段的预测包括以下各项中的一个:所述第一行车道段让行于所二车道段并且所述第二道线段不让行于第一行车道段的预测,所述第一车道段不让行于所述第二车道段并且所述第二车道段让行于所述第一车道段的预测,以及所述第一车道段和所述第二车道段彼此让行的预测。
3.根据权利要求1所述的计算机实现的方法,其中,所述第一车道段和所述第二车道段中的每个与所述地图数据中的开始位置和结束位置相关联,并且其中,确定所述第一车道段与所述第二车道段之间的相对车道几何形状包括:
确定所述第一车道段的开始位置和所述第二车道段的开始位置之间的第一相对角度;以及
确定所述第一车道段的开始位置和所述第二车道段的结束位置之间的第二相对角度。
4.根据权利要求1所述的计算机实现的方法,其中,所述机器学习模型进一步处理以下属性中的至少一个,以生成所述第一车道段是否让行于所述第二车道段的预测:所述第一车道段的车道类型,所述第二车道段的车道类型,所述第一车道段的曲率,所述第二车道段的曲率,所述第一车道段和所述第二车道段之间的重叠百分比,或其任意组合。
5.根据权利要求1所述的计算机实现的方法,其中,所述交通信号或标志的类型包括以下各项中的至少一个:转弯箭头信号,非转弯箭头信号,停止标志,或其任意组合。
6.一种系统,包括:
一个或多个处理器,所述一个或多个处理器被编程和/或配置为:
获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;
基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;
利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及
使用所述预测来进行以下中的至少一个:生成包括与所述预测相关联的重叠车道段对的地图,促进自动驾驶车辆的至少一个自动驾驶操作,或其任意组合。
7.根据权利要求6所述的系统,其中,所述第一车道段是否让行于所述第二车道段的预测包括以下各项中的一个:所述第一行车道段让行于所二车道段并且所述第二道线段不让行于第一行车道段的预测,所述第一车道段不让行于所述第二车道段并且所述第二车道段让行于所述第一车道段的预测,以及所述第一车道段和所述第二车道段彼此让行的预测。
8.根据权利要求6所述的系统,其中,所述第一车道段和所述第二车道段中的每个与所述地图数据中的开始位置和结束位置相关联,并且其中,所述一个或多个处理器被编程和/或配置为通过以下方式来确定所述第一车道段和所述第二车道段之间的相对车道几何形状:
确定所述第一车道段的开始位置和所述第二车道段的开始位置之间的第一相对角度;以及
确定所述第一车道段的开始位置和所述第二车道段的结束位置之间的第二相对角度。
9.根据权利要求6所述的系统,其中,所述机器学习模型进一步处理以下属性中的至少一个,以生成所述第一车道段是否让行于所述第二车道段的预测:所述第一车道段的车道类型,所述第二车道段的车道类型,所述第一车道段的曲率,所述第二车道段的曲率,所述第一车道段和所述第二车道段之间的重叠百分比,或其任意组合。
10.根据权利要求6所述的系统,其中,所述交通信号或标志的类型包括以下各项中的至少一个:转弯箭头信号,非转弯箭头信号,停车标志,或其任意组合。
11.一种自动驾驶车辆,包括:
一个或多个传感器,所述一个或多个传感器被配置为确定与所述自动驾驶车辆周围的环境相关联的传感器数据;
计算设备,所述计算设备被编程和/或配置为:
获得与包括道路的地理位置的地图相关联的地图数据,其中,道路包括多个车道段,其中,所述多个车道段包括在道路中彼此重叠的车道段对,其中,重叠车道段对与交通信号或标志相关联,并且其中,所述地图数据与所述交通信号或标志的类型相关联;
基于所述传感器数据和所述地图数据,确定所述交通信号或标志的类型的变化;
基于所述地图数据来确定重叠车道段对中的第一车道段和第二车道段之间的相对车道几何形状;
利用机器学习模型处理所述相对车道几何形状和所述交通信号或标志的变化的类型,以生成在所述交通信号或标志的给定状态下所述第一车道段是否让行于所述第二车道段的预测;以及
基于所述预测来控制所述自动驾驶车辆的至少一个自动驾驶操作。
12.根据权利要求11所述的自动驾驶车辆,其中,所述第一车道段是否让行于所述第二车道段的预测包括以下各项中的一个:所述第一行车道段让行于所二车道段并且所述第二道线段不让行于第一行车道段的预测,所述第一车道段不让行于所述第二车道段并且所述第二车道段让行于所述第一车道段的预测,以及所述第一车道段和所述第二车道段彼此让行的预测。
13.根据权利要求11所述的自动驾驶车辆,其中,所述第一车道段和所述第二车道段中的每个与所述地图数据中的开始位置和结束位置相关联,并且其中,所述计算机设备被编程和/或配置为通过以下方式来确定所述第一车道段和第二车道段之间的相对车道几何形状:
确定所述第一车道段的开始位置和所述第二车道段的开始位置之间的第一相对角度;以及
确定所述第一车道段的开始位置和所述第二车道段的结束位置之间的第二相对角度。
14.根据权利要求11所述的自动驾驶车辆,其中,所述机器学习模型进一步处理以下属性中的至少一个,以生成所述第一车道段是否让行于所述第二车道段的预测:所述第一车道段的车道类型,所述第二车道段的车道类型,所述第一车道段的曲率,所述第二车道段的曲率,所述第一车道段和所述第二车道段之间的重叠百分比,或其任意组合。
15.根据权利要求11所述的自动驾驶车辆,其中,所述交通信号或标志的类型包括以下各项中的至少一个:转弯箭头信号,非转弯箭头信号,停止标志,或其任意组合。
16.根据权利要求11所述的自动驾驶车辆,其中,所述计算设备被编程和/或配置为通过以下方式来控制所述自动驾驶车辆的所述至少一个自动驾驶操作:控制所述车辆来进行以下中的一个:在所述第一车道段中的路线上继续行进,以及让行于所述第二车道段中的另一车辆。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/219,081 | 2021-03-31 | ||
US17/219,081 US11965749B2 (en) | 2021-03-31 | 2021-03-31 | System and method for automated lane conflict estimation in autonomous vehicle driving and map generation |
PCT/US2022/022467 WO2022212451A1 (en) | 2021-03-31 | 2022-03-30 | System and method for automated lane conflict estimation in autonomous vehicle driving and map generation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116783108A true CN116783108A (zh) | 2023-09-19 |
Family
ID=83448974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280010097.7A Pending CN116783108A (zh) | 2021-03-31 | 2022-03-30 | 用于自动驾驶车辆驾驶和地图生成中的自动车道冲突估计的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11965749B2 (zh) |
EP (1) | EP4313714A1 (zh) |
CN (1) | CN116783108A (zh) |
WO (1) | WO2022212451A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230358558A1 (en) * | 2022-05-03 | 2023-11-09 | Here Global B.V. | Method, apparatus, and system for determining a lane marking confusion index based on lane confusion event detections |
CN115962787B (zh) * | 2023-03-16 | 2023-06-06 | 安徽蔚来智驾科技有限公司 | 地图更新、自动驾驶控制方法、设备、介质及车辆 |
CN117093663B (zh) * | 2023-10-20 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 电子地图的数据处理方法和相关装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9534910B2 (en) * | 2014-12-09 | 2017-01-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Autonomous vehicle detection of and response to yield scenarios |
EP3497405B1 (en) | 2016-08-09 | 2022-06-15 | Nauto, Inc. | System and method for precision localization and mapping |
US10042362B2 (en) * | 2016-11-18 | 2018-08-07 | Waymo Llc | Dynamic routing for autonomous vehicles |
WO2018126228A1 (en) | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Sign and lane creation for high definition maps used for autonomous vehicles |
US20180288320A1 (en) | 2017-04-03 | 2018-10-04 | Uber Technologies, Inc. | Camera Fields of View for Object Detection |
US11120688B2 (en) * | 2018-06-29 | 2021-09-14 | Nissan North America, Inc. | Orientation-adjust actions for autonomous vehicle operational management |
KR102570066B1 (ko) | 2018-08-31 | 2023-08-23 | 현대오토에버 주식회사 | 도로 합류 지점에서 차량의 주행 우선순위를 제어하는 장치 및 방법 |
WO2020243484A1 (en) * | 2019-05-29 | 2020-12-03 | Mobileye Vision Technologies Ltd. | Systems and methods for vehicle navigation |
US11347231B2 (en) | 2019-08-07 | 2022-05-31 | Waymo Llc | Object localization for autonomous driving by visual tracking and image reprojection |
US11548512B2 (en) * | 2019-08-23 | 2023-01-10 | Zoox, Inc. | Yield behavior modeling and prediction |
JP2023533225A (ja) * | 2020-07-01 | 2023-08-02 | メイ モビリティー,インコーポレイテッド | 自律走行車ポリシーを動的にキュレーションする方法及びシステム |
DE102020215545A1 (de) * | 2020-12-09 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Ansteuerung eines Fahrzeugs |
-
2021
- 2021-03-31 US US17/219,081 patent/US11965749B2/en active Active
-
2022
- 2022-03-30 EP EP22782068.5A patent/EP4313714A1/en active Pending
- 2022-03-30 WO PCT/US2022/022467 patent/WO2022212451A1/en active Application Filing
- 2022-03-30 CN CN202280010097.7A patent/CN116783108A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022212451A1 (en) | 2022-10-06 |
US20220316907A1 (en) | 2022-10-06 |
US11965749B2 (en) | 2024-04-23 |
EP4313714A1 (en) | 2024-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12112535B2 (en) | Systems and methods for effecting map layer updates based on collected sensor data | |
US10635117B2 (en) | Traffic navigation for a lead vehicle and associated following vehicles | |
US11872929B2 (en) | Collaborative vehicle headlight directing | |
US11965749B2 (en) | System and method for automated lane conflict estimation in autonomous vehicle driving and map generation | |
US10730531B1 (en) | Machine-learning based vehicle motion control system | |
US11562556B1 (en) | Prediction error scenario mining for machine learning models | |
US20230168095A1 (en) | Route providing device and route providing method therefor | |
JP2022041923A (ja) | 接続されたデータ分析プラットフォームを用いた車両経路指定 | |
US11577732B2 (en) | Methods and systems for tracking a mover's lane over time | |
US20220402521A1 (en) | Autonomous path generation with path optimization | |
US11820397B2 (en) | Localization with diverse dataset for autonomous vehicles | |
EP4160146A1 (en) | Quadtree based data structure for storing information relating to an environment of an autonomous vehicle and methods of use thereof | |
CN114945958B (zh) | 协作式交通工具前灯引导 | |
WO2022165498A1 (en) | Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle | |
CN116323359B (zh) | 低置信度对象检测条件下的运载工具操作的注释和绘制成图 | |
CN116783105A (zh) | 自主车辆的车载反馈系统 | |
CN116466697A (zh) | 用于运载工具的方法、系统以及存储介质 | |
US20230360375A1 (en) | Prediction error scenario mining for machine learning models | |
EP4273733A1 (en) | Increasing autonomous vehicle log data usefulness via perturbation | |
CN117261936A (zh) | 用于测试自主车辆意图的原型车道 | |
CN117141463A (zh) | 识别并行泊车车辆的意图和预测的系统、方法和计算机程序产品 | |
US11952014B2 (en) | Behavior predictions for active emergency vehicles | |
CN117716312A (zh) | 用于解决自主车辆的雷达系统的层次模糊性的方法、系统和计算机程序产品 | |
US20220065647A1 (en) | Autonomous vehicle planned route prediction | |
US11904886B1 (en) | Modifying autonomous vehicle behavior prediction based on behavior prediction errors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |