CN115552200A - 用于生成重要性占据栅格地图的方法和系统 - Google Patents

Abstract

本发明公开了一种用于为车辆生成重要性占据栅格地图(occupancy grid map，OGM)的系统和方法。所述方法包括：接收三维(three‑dimension，3D)点云；接收二进制地图，其中，所述二进制地图与所述车辆的一组GPS坐标相关联；接收表示所述车辆的规划路径的信息；根据所述3D点云、所述二进制地图和所述车辆的规划路径，使用地图生成模块生成重要性OGM。

Description

用于生成重要性占据栅格地图的方法和系统

技术领域

本发明涉及使用点云为车辆生成地图。具体地，本发明涉及使用从车辆上的一个或多个传感器生成的点云生成重要性占据栅格地图(occupancy grid map，OGM)。

背景技术

自动驾驶车辆可以使用不同的传感器(例如光探测和测距(Light Detection andRanging，LiDAR)传感器和摄像头传感器)来感测其周围环境，并且可以使用感知模块来处理从不同传感器接收到的原始传感器数据，以执行目标检测、分类、回归和分割，从而检测和识别感兴趣目标(例如行人或其它汽车)。

从传感器收集而来的信息作为传感器数据由各种传感器提供给自动驾驶车辆的规划系统，而规划系统使用传感器数据进行自动驾驶车辆的路径规划和导航。为了在任何环境中高效地规划路径并安全地导航自动驾驶车辆，了解环境中任何目标(静态目标和动态目标)的位置信息非常重要。从各种传感器数据中生成的占据栅格地图(Occupancy GridMap，OGM)通常用于表示自动驾驶车辆周围的环境。

单个OGM可以表示特定时间点的环境。自动驾驶车辆行驶所在的环境通常是动态的、非结构化的。应对这种环境的一种方法是每次从车辆的传感器接收到传感器数据时都更新当前OGM，然后相应地更新规划路径。

通常处理从车辆上的一个或多个传感器(例如来自LiDAR单元等3D范围传感器)收集的三维(three-dimension，3D)点云生成，以在识别道路上的各种动态目标时生成一个或多个OGM。然而，连续处理3D点云数据以准确检测、跟踪和分割动态目标需要大量计算资源；而且现有方法还倾向于处理感兴趣目标的整个点云域，导致目标检测相对缓慢。

需要一种改进的技术方案，能够高效地处理原始点云数据，以检测道路上的动态目标，从而在动态环境中使用比传统所需的更少计算资源来导航自动驾驶车辆。

发明内容

根据本发明的一方面，提供了一种用于为车辆生成重要性占据栅格地图(occupancy grid map，OGM)的方法。所述方法包括：接收3D点云；从所述车辆的全球定位系统(Global Positioning System，GPS)单元接收二进制地图，其中，所述二进制地图与GPS位置相关联；从所述车辆的路径规划模块接收表示所述车辆的规划路径的路径命令信息；根据所述3D点云、所述二进制地图和所述表示所述车辆的规划路径的路径命令信息，地图生成模块生成重要性OGM。这种重要性OGM可以用于过滤目标检测区域，并且减少目标检测、分割和跟踪组件的计算量。通过考虑所述车辆的规划路径，所述方法可以从所述3D点云和所述二进制地图中提取与所述车辆的当前路线最相关的区域。因此，上述方法用于将大部分数据处理限制在可能与车辆的规划轨迹冲突的区域内，而且只关注这些区域中的目标检测，从而提高运行时的计算效率。

简化的二进制地图可以用于增强目标检测、分割或跟踪机器学习过程，进而在实时或近实时地生成用于运行时的目标识别的重要性OGM时节省计算资源。与高清(high-definition，HD)地图相比，二进制地图可以包括较少信息，并且只包括关键道路数据，例如车道的几何形状和车道边界。二进制地图还可以包括车道组。

根据上述方面，所述重要性OGM包括基于所述车辆的规划路径的一个或多个感兴趣区域，所述一个或多个感兴趣区域分别由目标掩膜表示，所述目标掩膜表示所述车辆在所述车辆的规划路径上可能存在碰撞。

根据任一上述方面，所述方法还包括：将所述重要性OGM提供给所述车辆的路径规划模块，以根据所述重要性OGM中的所述一个或多个感兴趣区域为所述车辆生成新的规划路径。

根据任一上述方面，所述重要性OGM包括根据所述车辆的规划路径确定的道路掩膜，所述道路掩膜的宽度与所述车辆的角速度或车速相关。

根据任一上述方面，所述方法还包括：根据所述接收到的3D点云，生成输入占据栅格地图(occupancy grid map，OGM)；通过组合所述二进制地图和所述输入OGM，生成二进制OGM；根据所述二进制OGM，使用地图特征提取器神经网络生成表示一个或多个感兴趣区域的一组地图特征向量。

根据任一上述方面，所述方法还包括：使用路径特征提取器神经网络生成表示车辆轨迹的一组路径特征向量，其中，所述一组地图特征向量和所述一组路径特征向量具有相同的维度；将所述一组地图特征向量和所述一组路径特征向量合并，得到一组合并特征向量。

根据任一上述方面，所述方法包括：根据所述合并特征向量，使用递归神经网络生成一组预测特征，其中，所述预测特征表示所述一个或多个感兴趣区域和所述车辆轨迹。

根据任一上述方面，所述方法包括：使用解码器神经网络从所述预测特征中生成所述重要性OGM

根据任一上述方面，表示所述规划路径的规划路径信息包括所述车辆的角速度和车速。

根据上述方面中的至少一些方面，根据以下至少一个内容生成所述输入OGM：包围所述3D点云中一组点的栅格或多边形的高度值、所述3D点云中一列或多列点的平均高度值、所述3D点云中一个或多个点各自的强度值、基于所述3D点云中一个或多个点的一个或多个高度值的取值范围、所述3D点云中一个或多个点的点密度值。

根据另一方面，提供了一种用于训练地图生成模块以根据3D点云、二进制地图和表示车辆的规划路径的路径命令信息生成重要性OGM的方法。所述地图生成模块包括多个神经网络，这些神经网络使用监督学习算法一起训练，以学习所述多个神经网络各自的参数(例如权重)。一种示例性神经网络是递归神经网络，例如长短期记忆(long short-termmemory，LSTM)网络。所述多个神经网络在所述地图生成模块的训练过程中，根据地面真值OGM为3D点云中的一个或多个目标生成重要性道路掩膜，其中，所述地面真值OGM先前已经根据包括先前得到的点云、二进制地图和路径命令信息的历史数据生成。部分根据3D点云中的一个或多个目标是否在车辆的规划路径中足够靠近车辆，为这些目标生成重要性道路掩膜。使用这种方法，3D点云可以智能高效地裁剪，以使用更少的计算资源在更短的时间内保留最重要的目标进行进一步处理。

根据另一方面，提供了一种用于为车辆生成重要性占据栅格地图(occupancygrid map，OGM)的处理系统。所述处理系统包括：处理单元；耦合到所述处理单元的存储器，其中，所述存储器存储机器可执行指令，当所述机器可执行指令由所述处理单元执行时，使得所述处理系统执行以下操作：接收3D点云；从所述车辆的GPS单元接收二进制地图，其中，所述二进制地图与一组GPS坐标相关联；从所述车辆的路径规划模块接收表示所述车辆的规划路径的信息；根据所述3D点云、所述二进制地图和所述表示所述车辆的规划路径的信息，地图生成模块生成重要性OGM。

根据另一方面，提供了一种处理器实现的方法，用于训练地图生成模块以根据点云、二进制地图和路径命令信息生成重要性占据栅格地图(occupancy grid map，OGM)。所述处理器实现的方法包括：接收n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}内的一组标记训练数据，其中，所述一组标记训练数据包括与所述n个连续时间中的每个时间ti对应的标记训练数据，每个标记训练数据包括3D点云、二进制地图、表示车辆的规划路径的路径命令信息以及地面真值重要性OGM。所述处理器实现的方法还包括：对于所述n个连续时间中的每个时间ti，其中，i＝{–n,–n+1,...,2,1,0}，将与时间ti对应的标记训练数据提供给所述地图生成模块，以通过以下方式训练所述地图生成模块：根据所述与时间ti对应的标记训练数据中包括的3D点云，生成输入占据栅格地图(occupancy grid map，OGM)；通过组合所述与时间ti对应的标记训练数据中包括的二进制地图和所述输入OGM，生成二进制OGM；使用地图特征提取器神经网络生成与时间ti相关联的表示一个或多个感兴趣区域的一组地图特征向量；根据所述与时间ti对应的标记训练数据中包括的表示车辆的规划路径的路径命令信息，使用所述路径特征提取器神经网络生成与时间ti相关联的一组路径特征向量，其中，所述一组路径特征向量表示车辆轨迹，所述一组地图特征向量和所述一组路径特征向量具有相同的维度；将所述与时间ti相关联的一组地图特征向量和所述与时间ti相关联的一组路径特征向量合并，得到与时间ti相关联的一组合并特征向量；根据所述与时间ti相关联的合并特征向量，使用递归神经网络生成与时间ti相关联的一组预测特征，其中，所述预测特征表示所述一个或多个感兴趣区域和所述车辆轨迹；使用解码器神经网络从所述与时间ti相关联的预测特征中生成与ti相关联的重要性OGM；根据所述与时间ti对应的标记训练数据中包括的地面真值OGM和所述与ti相关联的重要性OGM，计算误差信号；将所述误差信号反向传播到所述地图特征提取器神经网络、所述路径特征提取器神经网络、所述递归神经网络和所述解码器神经网络，以调整所述地图特征提取器神经网络、所述路径特征提取器神经网络、所述递归神经网络和所述解码器神经网络的参数。

根据上述方面，所述表示规划路径的路径命令信息包括所述车辆的角速度和车速。

根据任一上述方面，生成所述输入OGM还根据所述与时间ti对应的标记训练数据中包括的路径命令信息，所述路径命令信息包括以下至少一个信息：表示包围与时间ti相关联的3D点云中一组点的栅格或多边形的高度值的信息、表示与时间ti相关联的3D点云中一列或多列点的平均高度值的信息、表示与时间ti相关联的3D点云中一个或多个点各自的强度值的信息、基于与时间ti相关联的3D点云中一个或多个点的一个或多个高度值的取值范围的信息、表示与时间ti相关联的3D点云中一个或多个点的点密度值的信息。

根据又一方面，提供了一种处理器实现的方法，用于生成地面真值重要性占据栅格地图(occupancy grid map，OGM)。所述处理器实现的方法包括：接收多个3D点云，其中，所述多个3D点云分别与一组连续时间中的相应时间相关联，所述多个3D点云都包括一个或多个目标；处理所述多个3D点云，得到所述一个或多个目标各自的唯一目标ID和目标类型；接收车辆的多个GPS位置，其中，所述多个GPS坐标分别在所述一组连续时间中的相应时间处生成；接收多个二进制地图，其中，所述多个二进制地图分别与所述一组连续时间中的相应时间相关联并基于所述车辆在所述相应时间处的GPS坐标；对于所述一组连续时间中的每个相应时间，根据与所述相应时间相关联的3D点云生成目标地图，其中，所述目标地图包括所述一个或多个目标各自的表示；对于所述一个或多个目标中的每个目标，根据与所述一组连续时间中的每个时间相关联的目标地图，在所述一组连续时间中的所有时间内为所述目标生成与所述唯一目标ID相关联的轨迹地图，其中，所述轨迹地图包括所述目标在所述一组连续时间中的所有时间内的每个实例，所述目标的每个实例根据所述目标在所述一组连续时间中的相应时间处的GPS位置生成；根据所述目标的所述轨迹地图，为所述一个或多个目标分别确定轨迹路径；根据所述一个或多个目标的所述轨迹路径，为所述车辆生成相关目标列表；对于所述一组连续时间中的每个相应时间，为所述车辆生成包括所述车辆的轨迹路径的轨迹地图，其中，所述车辆的轨迹路径根据与所述相应时间相关联的所述二进制地图和与所述相应时间相关联的所述车辆的GPS位置确定，所述车辆的轨迹路径使用道路掩膜表示；对于所述一组连续时间中的每个相应时间，根据与所述相应时间相关联的所述车辆的轨迹路径和所述相关目标列表中的每个目标的轨迹路径，生成地面真值重要性OGM，其中，所述地面真值重要性OGM包括：表示与所述相应时间相关联的所述车辆的轨迹路径的道路掩膜、所述相关目标列表中的每个目标的目标掩膜，以及所述车辆的轨迹路径中的所述车辆与所述相关目标列表中的每个目标的每个目标掩膜之间的距离。

根据上述方面，所述相关目标列表包括所述一个或多个目标中的至少一个目标，所述至少一个目标在所述一组连续时间内与所述车辆具有最小欧几里德距离，所述最小欧几里德距离大于预定阈值。

根据任一上述方面，用于表示所述车辆的轨迹路径的所述道路掩膜具有根据以下一个或多个内容确定的宽度：所述轨迹路径的道路类型、所述车辆的速度和所述车辆的类型。

根据任一上述方面，所述相关目标列表中的每个目标的目标掩膜具有根据所述目标的运动学信息确定的形状、大小、半径、宽度或长度。

附图说明

现在将通过示例参考示出本申请示例性实施例的附图，在附图中：

图1是示例性自动驾驶车辆中的一些组件的框图；

图2是车辆上的感知模块内的示例性地图生成模块的框图；

图3是使用监督学习算法训练图2的地图生成模块以学习图2的地图生成模块中的多个神经网络的权重的框图；

图4是经训练的地图生成模块在推理中为了生成重要性占据栅格地图(occupancygrid map，OGM)而进行的操作的框图；

图5示出了从一系列先前观察到的3D点云中生成的一系列示例性目标地图；

图6示出了根据图5中的一系列目标地图生成的多个示例性轨迹地图；

图7是使用一系列目标地图和轨迹地图生成的示例性地面真值重要性OGM的示意图；

图8是地图生成模块在推理中执行的用于生成重要性占据栅格地图(OccupancyGrid Map，OGM)的示例性方法的流程图；

图9A和图9B是使用监督学习算法训练图2的地图生成模块以学习图2的地图生成模块中的多个神经网络的权重的示例性方法的流程图。

图10A示出了分成小块来生成一个或多个2D输入OGM的示例性3D点云；

图10B示出了示例性二进制掩膜和一组示例性多层输入OGM。

不同的附图中使用了相似的附图标记来表示相似的组件。

具体实施方式

本发明以附图作为参考，在所述附图中示出了实施例。然而，可以使用许多不同的实施例，因此不应将描述解释为限于本文中阐述的实施例。相反，提供这些实施例是为了使得本发明透彻和完整。本发明中的相似数字指代相似元件，在替代实施例中，加撇符号用于表示相似元件、操作或步骤。所示系统和设备的功能元件的单独框或所示分离不一定需要这些功能的物理分离，因为这些元件之间的通信可以在没有任何这种物理分离的情况下通过消息传递、功能调用、共享内存空间等方式发生。因此，尽管为了便于解释，本文分开示出了功能，但是这些功能不需要在物理或逻辑上分离的平台中实现。不同的设备可以具有不同的设计，使得尽管一些设备在固定功能硬件中实现一些功能，但其它设备可以在可编程处理器中实现这些功能，该处理器具有从机器可读介质获得的代码。

为了方便起见，本发明描述了用于自动驾驶车辆定位的方法和系统的示例性实施例。自动驾驶车辆可以是任何类型的车辆，例如机动车(例如汽车、卡车、公共汽车)、小船或大船、潜艇、飞机、仓储设备、建筑设备、拖拉机或其它农场设备。本发明的教导不限于车辆或任何特定类型的车辆，而是可以应用于其它真实或虚拟目标以及非载客车辆和载客车辆。本发明的教导也可以在非车载移动机器人中实施，包括但不限于智能吸尘器、探测器(rover)、割草机、无人机(unmanned aerial vehicle，UAV)和其它目标。即使本文中描述的车辆控制系统已经有助于半自动或全自动驾驶，但也可以用于非自动驾驶模式下的车辆。

图1示出了本发明一个示例性实施例提供的自动驾驶车辆100中的选定组件。车辆100可以包括连接到传感器或传感器系统110的车辆控制系统115、驱动控制系统150和机械系统190。车辆100还包括各种结构元件，例如车架、门、面板、座椅、窗户、镜子等，这些结构元件在本领域中是已知的，但为了避免混淆本发明的教导，这些结构元件已经从本发明中删掉。传感器110在车辆100中的不同位置上挂载到车辆100中的结构元件。

车辆控制系统115包括经由通信总线(未示出)耦合到车辆100中的多个内部组件的处理器102。处理器102耦合到随机存取存储器(Random Access Memory，RAM)122、只读存储器(Read Only Memory，ROM)124、诸如闪存可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)(闪存)之类的持久(非易失性)存储器126、用于与无线网络交换射频信号的一个或多个无线收发器130、用于从卫星网络接收卫星信号的卫星接收器132、实时时钟134。车辆控制系统115还耦合到车辆100中的其它组件，包括传感器110、触摸屏136、一个或多个扬声器138、一个或多个麦克风140、驱动控制系统150和机械系统190。

一个或多个无线收发器130可以包括一个或多个蜂窝(RF)收发器，用于使用不同的无线数据通信协议和标准与多个不同的无线接入网络(例如蜂窝网络)进行通信。车辆控制系统115可以在其地理覆盖区域内与无线WAN(例如蜂窝网络)的多个固定基站收发台中的任一个基站收发台进行通信。一个或多个无线收发器130可以通过无线WAN发送和接收信号。一个或多个无线收发器130可以包括支持多个射频频段的多频段蜂窝收发器。

一个或多个无线收发器130还可以包括无线局域网(wireless local areanetwork，WLAN)收发器，用于经由WLAN接入点(access point，AP)与WLAN(未示出)进行通信。WLAN可以包括符合IEEE 802.11x标准(有时称为

)或其它通信协议的Wi-Fi无线网络。

一个或多个无线收发器130还可以包括短程无线收发器，例如

收发器，用于与移动计算设备(例如智能手机或平板电脑)进行通信。一个或多个无线收发器130还可以包括其它短程无线收发器，包括但不限于近场通信(Near field communication，NFC)、IEEE802.15.3a(也称为超宽带(Ultra Wideband，UWB))、Z-Wave、ZigBee、ANT/ANT+或红外线(例如国际红外数据协会(Infrared Data Association，IrDA)通信)。

实时时钟134可以包括提供准确实时信息(例如Atmel公司提供的信息)的晶体振荡器。

触摸屏136包括彩色液晶显示器(liquid crystal display，LCD)、发光二极管(light-emitting diode，LED)显示器或有源矩阵有机发光二极管(active-matrixorganic light-emitting diode，AMOLED)显示器等显示器，具有连接到电子控制器的触敏输入面或覆盖层。车辆100中还可以提供耦合到处理器102的其它输入设备(未示出)，包括按钮、开关和拨号盘。

车辆控制系统115还包括一个或多个扬声器138、一个或多个麦克风140和一个或多个数据端口142，例如串行数据端口(例如通用串行总线(Universal Serial Bus，USB)数据端口)。该系统还可以包括其它传感器，例如轮胎胎压感测器(tire pressure sensor，TPS)、门触开关、光传感器、接近传感器等。

驱动控制系统150用于控制车辆100的运动。驱动控制系统150包括转向单元152、制动单元154和油门(或加速)单元156，都可以实现为驱动控制系统150内的软件模块或控制块。当处于全自动或半自动驾驶模式时，转向单元152、制动单元154和油门单元156处理从存储在车辆控制系统115的存储器126中的路径规划系统174接收的路径信息，并且生成控制信号来控制车辆100的转向、制动和油门，以在规划路径上行驶。驱动控制系统150可以包括用于控制车辆100的其它方面(包括控制转向信号灯和刹车灯等)的其它组件。

机械系统190从驱动控制系统150接收控制信号，以操作车辆100中的机械组件。机械系统190影响车辆100的物理操作。机械系统190包括发动机192、变速箱194和车轮196。发动机192可以是汽油动力发动机、电池动力发动机、混合发动机、电动发动机等。其它组件可以包括在机械系统190中，包括例如转向信号灯、刹车灯、风扇和窗户。

图形用户界面(graphical user interface，GUI)可以由处理器102呈现和显示在触摸屏136上。用户可以使用触摸屏和可选的其它输入设备(例如按钮、拨号盘)与GUI交互，以显示相关信息，例如导航信息、驾驶信息、停车信息、媒体播放器信息、气候控制信息等。GUI可以包括一系列可遍历的特定内容菜单。

车辆控制系统115中的存储器126上存储有处理器102执行的操作系统软件160。除了GUI之外，存储器126上还存储有多个软件模块，统称为自动驾驶系统(autonomousdriving system，ADS)162，其中，自动驾驶系统162中的每个模块是包括处理器102可执行的机器可读指令的软件。自动驾驶系统162中的模块包括车辆定位模块164、停车辅助模块166、自主泊车模块168、用于半自动驾驶的辅助驾驶模块170、路径规划模块174、感知模块176和其它模块178。包括映射模块、导航模块、气候控制模块、媒体播放器模块、电话模块和消息传递模块等其它模块178也存储在存储器126中。在一些实施例中，感知模块176(也可以称为感知模块)在由处理器102执行时，用于执行本文中描述的方法的操作。

虽然停车辅助模块166、自主泊车模块168、用于半自动驾驶的辅助驾驶模块170、自动驾驶模块172、路径规划模块174或感知模块176示为单独模块，但在其它实施例中，它们可以与一个或多个其它软件模块组合使用。

存储器126还存储各种数据180。数据180可以包括一个或多个传感器110感测到的传感器数据182，包括用户偏好、设置和可选的个人媒体文件(例如音乐、视频、路线等)的用户数据184以及包括经由无线收发器130下载的数据的下载缓存186。例如，存储器126可以存储从摄像头112接收的图像数据、从LiDAR扫描系统114接收的LiDAR数据(例如表示三维点云d的三维数据)、从SAR单元116接收的SAR数据、来自车轮里程测量单元117和/或惯性测量单元(inertial measurement unit，IMU)118的里程测量数据、来自全球定位系统(global positioning system，GPS)119的位置数据和来自其它传感器120的数据。从车轮里程测量单元117接收的里程测量数据包括表示车辆100旋转的旋转数据和表示车辆100平移的平移数据。从IMU 118接收的里程测量数据包括车辆100的三轴角速度和车辆100的三轴加速度。

在一些实施例中，处理器102从安装在车辆100上的LiDAR单元114接收传感器数据，并且根据从LiDAR单元114接收的传感器数据生成3D点云。在一些实施例中，感知模块176可以实现为软件系统，作为自动驾驶系统160的软件栈(“ADS软件栈”)的一部分。感知模块176可以从处理器102接收2D图像和3D点云，并且将2D图像或3D点云中检测到的目标输出给ADS软件栈的其它软件系统，例如路径规划模块174。

LiDAR单元114可以在宽视图(例如360°视图)中捕获关于车辆100的信息。LiDAR单元114捕获关于环境的三维(three-dimension，3D)信息，并且在3D坐标系中生成一组数据点。3D数据点统称为3D点云。

应当理解，3D点云可以根据来自任何3D距离传感器(例如LiDAR单元114)、雷达单元或立体摄像头的感测数据生成。

使用各种感测单元112、114、116、117、118、119，传感器系统110可以收集关于车辆100的本地外部环境(例如周围的任何障碍物)的信息以及较大范围的邻近地区的信息(例如，LiDAR单元114可以从车辆100周围半径达100米或以上的区域收集信息)。传感器系统110还可以(例如使用GPS单元119)收集关于车辆100相对于参考坐标系的位置和方位的信息。传感器系统110还可以收集关于车辆100本身的信息。在这种情况下，可以认为车辆100本身是感测环境的一部分。例如，传感器系统110可以从感测单元(例如加速度计、速度计、里程表和/或惯性测量单元)收集信息，以确定车辆100的状态，例如车辆100的线速度、角速度、加速度和轮胎抓地力。这些感测单元可以是传感器系统110的一部分，也可以不是传感器系统110的一部分。传感器系统110可以重复(例如定期)实时地从其感测单元接收信息。传感器系统110还可以实时或近实时地将传感器数据提供给车辆100中的其它组件。

传感器系统110经由处理器102与感知模块176进行通信，以将包括3D点云在内的传感器数据提供给感知模块176。感知模块176已经实现为用于检测和识别外部环境中的目标，例如用于检测和识别行人或另一汽车。感知模块176可以使用任何合适的模块(例如使用机器学习过程)在3D点云上执行目标检测、分类、回归和分割，以检测和识别目标。本示例中的感知模块176包括使用一个或多个神经网络生成重要性OGM的模块。这一个或多个神经网络使用弱监督机器学习技术进行训练，如下详述。

感知模块176中的模块可以使用软件实现。这些软件可以包括任意数量的独立或互连模块。例如，感知模块176可以使用专用图像处理器实现，或者可以使用车辆100中的车辆控制器(未示出)的一个或多个通用处理器实现。感知模块176可以重复(例如定期)从传感器系统110接收传感器数据，并且执行目标检测、分类、回归和分割，以实时或近实时地检测和识别目标。感知模块176的输出可以包括，例如在2D和/或3D坐标系中检测到的目标的识别结果，包括目标类别、目标边界框、目标分割片段(例如目标掩膜)、目标位置和目标边界。

来自传感器系统110的传感器数据和来自感知模块176的输出可以提供给路径规划模块174。路径规划模块174执行车辆100的路径规划。路径规划模块174的输出是路径命令信号S，可以提供给驱动控制系统150。路径命令信号S也可以提供给车辆控制系统115中的其它模块。

下载缓存186可以周期性地(例如在预定时间之后)删除。系统软件、软件模块、特定设备应用或其部分可以临时加载到易失性存储器中，例如加载到用于存储运行时数据变量和其它类型的数据或信息的RAM 122中。车辆控制系统115接收的数据也可以存储在RAM122中。虽然针对各种类型存储器描述了特定功能，但这只是一个示例，还可以为不同类型的存储器分配不同的功能。

车辆控制系统115包括卫星接收器132，其可以使用卫星接收器从卫星网络中的多个卫星接收的信号来确定其位置。卫星网络通常包括多个卫星，这些卫星是至少一个全球导航卫星系统(Global Navigation Satellite System，GNSS)的一部分。至少一个GNSS提供全球覆盖范围内的自主地理空间定位。例如，卫星网络可以是一群GNSS卫星。示例性GNSS包括美国NAVSTAR全球定位系统(Global Positioning System，GPS)或俄罗斯全球轨道导航卫星系统(Global Navigation Satellite System，GLONASS)。其它已经部署或正在开发的卫星导航系统包括欧盟的伽利略定位系统、中国的北斗导航卫星系统(BeiDouNavigation Satellite System，BDS)、印度区域卫星导航系统和日本卫星导航系统。

车辆100可以包括未示出的其它组件，包括用户接口系统和无线通信系统(例如包括天线)等。这些其它组件还可以将输入提供给上述系统和/或从上述系统接收输出。车辆100可以与外部系统(例如外部地图数据库)进行通信。车辆100还可以与能够在自动、半自动或非自动车辆之间进行通信的车载网等网络进行通信。

最近，自动驾驶车辆中的计算机视觉方法倾向于使用高清(high-definition，HD)地图来增加点云数据，以实现目标识别并帮助轨迹规划，但处理这些HD地图需要大量计算，尤其是使用这种数据丰富的地图作为一个或多个神经网络的输入的时候。此外，使用深度学习处理点云和HD地图的现有方法通常侧重于输出目标及其在道路上的预期路线。另外，用于自动驾驶的现有深度学习技术方案往往没有考虑到车辆的规划轨迹，因此，即使环境中不必要的区域不太可能影响车辆的轨迹，也要经常检查这些区域。本发明中提出的技术方案训练和实现一个或多个神经网络，以避免不重要的区域，并将算法集中在地图中在某一时间点上可能与车辆的规划轨迹交互的部分上。

最后，现有方法使用的高度详细的HD地图并不总是可用的，往往是使用大量的时间和资源得到的。例如，HD地图包括诸如停车标志、红绿灯、出口车道、转弯车道等详细信息，这些详细信息可以作为多层数据或多通道输入馈送到机器学习算法中。涉及大量的数据咀嚼，因此需要大量计算。本发明中提出的技术方案使用简化的二进制地图而不是HD地图来增强机器学习过程，进而在实时或近实时地生成用于运行时的动态目标识别的重要性占据栅格地图(occupancy grid map，OGM)时节省计算资源。

图2是车辆100上的感知模块176内的示例性地图生成模块350的框图。

LiDAR单元114通过将多个激光束扫过车辆100的周围环境，对车辆100所在环境执行3D扫描，并且根据3D扫描生成3D点云251。3D点云251也可以称为3D数据，是多个数据点的集合。3D点云中的每个数据点可以由3D坐标系中的感测目标的一组3D坐标(例如以米为单位的x、y和z值)表示。通常情况下，3D点云中的每个数据点可以表示为包括x、y和z坐标值的向量，可选地表示为其它值(例如反射光强度或检测时间等其它信息)。

3D点云对应于特定时间点，在整个本发明中可以包括时间戳。也就是说，3D点云可以与时间帧相关联。多个3D点云可以分别与一组连续时间帧中的相应一个时间帧相关联。3D点云中的数据点可以不规则地间隔，具体取决于外部环境。在一些实施例中，除了3D坐标之外，3D点云中的每个数据点还可以包括其它信息，例如反射光强度或检测时间。在一些实施例中，3D点云可以进行预处理以产生其它点云信息，这些信息可以包括但不限于：表示包围3D点云中一组数据点的栅格或多边形的高度值的点云信息、表示3D点云中一列或多列点的平均高度值的点云信息、表示3D点云中一个或多个数据点各自的强度值的点云信息、表示基于3D点云中一个或多个数据点的一个或多个高度值的取值范围的点云信息、表示3D点云中一个或多个数据点的点密度值的点云信息。上文提到的每个其它点云信息可以是用于生成最终重要性OGM的输入OGM的一部分(例如通道)，如下详述。

车辆驱动控制系统115根据车辆100的GPS位置实时或近实时地获取二进制地图252。车辆驱动控制系统115从车辆100的GPS单元119接收车辆的GPS位置，包括一组GPS坐标(例如经纬度坐标)。与HD地图相比，二进制地图252包括较少信息，并且只包括关键道路数据，例如车道的几何形状和车道边界。二进制地图252还可以包括车道组。例如，典型的HD地图通常包括高密度数据，包括：高密度地图数据、交叉口信息、道路边界、信号灯和道路标识(例如红绿灯、交通标志)、静态目标(例如树木、建筑物)的点云、元数据(例如名称、车道数、路线)。简化的二进制地图252可以包括刚好表示每个单独单元格(可以是像素或像素组)是否属于道路的足够信息。如果单独单元格是道路的一部分，则该单元格可以包括值1，否则包括值0。在一些情况下，二进制地图可以包括其它数据，例如交叉口或车道数。

如上所述，与HD地图相比，二进制地图252通常包括较少信息，并且只包括关键道路数据，例如车道的几何形状和车道边界。二进制地图252还可以包括车道组。在一些示例性实施例中，二进制地图252可以简单地呈现为包括多个单元的栅格地图，其中，每个单元具有对应的二进制值(0或1)：0表示不属于车道的区域，1表示车道的一部分。每个单元都可以包括一个或多个像素。在其它实施例中，二进制地图252可以包括诸如道路标识、交叉口和车道组之类的其它信息。在一些实施例中，车辆控制系统115根据车辆100的GPS位置，通过将包括车辆100的GPS位置的查询发送给数据库以检索二进制地图252，获取二进制地图252。该数据库实时或近实时地存储在车辆100的存储器中或远程服务器上。包括世界不同区域的二进制地图的数据库接收包括车辆100的GPS位置的查询，检索与GPS位置相关联的二进制地图，并且将检索到的二进制地图发送给车辆控制系统115。在一些实施例中，二进制地图可以根据基于GPS位置的对应HD地图，使用由HD地图表示的丰富空间和结构信息推导出。在一些实施例中，考虑到车辆100的规划路径，二进制地图可以通过预处理步骤从对应的HD地图中推导出，因此只需要从HD地图中获取与车辆100的规划路径有关的信息。在一些实施例中，二进制地图252也可以从基于GPS位置的空中地图中生成或者从可以实时访问的在线应用编程接口(application programming interface，API)下载，而不是从HD地图中推导出。

感知模块176可以从车辆控制系统115中的路径规划模块174接收表示车辆100的规划路径的信息。表示车辆100的规划路径的路径命令信息253包括车辆100的规划角速度ω和规划车速v中的一个或多个。车辆100的规划角速度ω包括表示规划转弯(如果存在)的信息，例如车辆100的规划转弯的方向和幅度。车辆100的规划角速度ω可以由向量表示。在一些实施例中，路径命令信息253包括等同于车辆100的ω/v(角速度/车速)的值。在一些实施例中，路径命令信息253可以包括其它信息，例如车辆100的规划路径的旋转角度。路径命令信息253与感知模块176生成或检索路径命令信息253时的时间帧相关联。

地图生成模块350接收3D点云251、二进制地图252和路径命令信息253，并且生成重要性占据栅格地图(occupancy grid map，OGM)Mi 260，如下详述。地图生成模块350包括地图特征提取器神经网络(neural network，NN)351、路径特征提取器NN 353、递归神经网络355和解码器网络357。神经网络351、353、355、357使用一组标记训练数据进行预训练和优化，其中，每个标记训练数据对应于一系列连续时间帧中的一个时间帧。生成的重要性OGM Mi 260包括基于车辆100的规划路径的一个或多个感兴趣区域，其中，一个或多个感兴趣区域分别由目标掩膜表示，该目标掩膜表示车辆100在车辆100的规划路径上可能存在碰撞。然后，可以将生成的重要性OGM Mi 260发送给路径规划模块174，从而为车辆100生成新的规划路径，其中，新的规划路径将与重要性OGM Mi 260中识别到的感兴趣区域的碰撞风险降至最低。

在一些实施例中，可以将新的规划路径发送给驱动控制系统150以控制车辆100的操作。机械系统190从驱动控制系统150接收控制信号，以操作车辆100中的机械组件，从而使车辆100在新的规划路径上行驶。

图4是经训练的地图生成模块350在推理中进行的操作的框图。经训练的地图生成模块350用于根据当前3D点云351、当前二进制地图252和从路径规划系统174接收的当前路径命令信息253生成重要性OGM 260，如下详述。为了实现本发明的目的，当前3D点云是在LiDAR单元114对车辆100的周围环境执行扫描时从LiDAR单元114接收的3D点云。当前二进制地图252是使用包括车辆100的GPS位置的查询得到的二进制地图。车辆100的GPS位置是在从LiDAR单元114接收3D点云时得到的。当前路径命令信息253是在从LiDAR单元114接收3D点云时，根据车辆100的当前GPS位置从车辆100中的路径规划模块获取的路径命令信息。如图4所示，子模块360接收当前3D点云251，并且根据当前3D点云251生成输入OGM ML 254。子模块360预处理当前3D点云251以生成路径规划信息，包括：表示包围3D点云中一组数据点的栅格或多边形的高度值的信息、表示3D点云中一列或多列数据点的平均高度值的信息、表示3D点云中一个或多个数据点各自的强度值的信息、表示基于3D点云中一个或多个数据点的一个或多个高度值的取值范围的信息、表示3D点云中一个或多个数据点的点密度值的信息。路径规划信息253中包括的上述信息分别存储在输入OGM ML 254的相应通道中。

现在参考图10A，示出了地图生成模块350的子模块360将示例性3D点云351分成块1050a、1050b。3D点云351分成多个单独的块1050a、1050b，以便生成图10B所示的一个或多个单独的输入OGM 1200a、1200b、1200c。每个单独的块1050a、1050b都具有相应的强度值和相应的高度值1100。单独的块1050a、1050b可以具有体素形状。具有相同高度值1100的一组单独的块可以组合成一层块1400a、1400b。因此，每层块1400a、1400b都具有根据层内每个单独的块1400a、1400b的高度值生成的对应层高度值(例如，层内的所有块1400a、1400b的高度值100的平均值)。每层块1400a、1400b都具有宽度Wc 1020和长度Lc1030。一层块1400a、1400b也可以称为一层3D点云251，每层的宽度Wc 1020或长度Lc 1030可以称为3D点云251的宽度Wc 1020或长度Lc 1030。

图10B示出了包括单独的输入OGM 1200a、1200b、1200c的一组示例性多层OGM，这些单独的输入OGM可以统一构成由图4所示的子模块360生成的输入OGM ML 254。每个单独的OGM 1200a、1200b、1200c具有宽度Wi 1210和长度Li 1230。宽度Wi 1210与3D点云351的Wc 1020相同，长度Li 1230与3D点云351的长度Lc 1030相同。3D点云351的单层1400a、1400b可以用于生成单独的2D输入OGM 1200a、1200b、1200c。因此，具有多层1400a、1400b的3D点云351可以用于生成多个2D输入OGM 1200a、1200b、1200c，每个2D输入OGM可以用于构成输入OGM ML 254的相应部分。2D输入OGM 1200a、1200b、1200c中的每个单独单元格根据3D点云351的对应层1400a、1400b中的相应单独块生成，单独单元格可以具有单元格宽度和单元格长度，其中，单元格宽度与对应层中的对应块的宽度相同，单元格长度与对应层中的对应块的长度相同。

再次参考图4，第二子模块363接收输入OGM ML 254和二进制地图252，并且组合二进制地图252和输入OGM ML 254以生成提供给地图特征提取器NN 351的二进制OGM MB257。在一些实施例中，第二子模块363通过将二进制地图252和输入OGM ML 254合并作为其它层或其它通道，生成二进制OGM MB 257。如图10B所示，二进制掩膜252具有宽度Wb 1520和长度Lb 1530，其中，宽度Wb 1520与单独的2D输入OGM 1200a、1200b、1200c的宽度Wi 1210相同，长度Lb 1530与单独的2D输入OGM 1200a、1200b、1200c的长度Li 1230相同。

地图特征提取器NN 351包括学习参数(例如权重)。地图特征提取器NN 351的参数是在地图生成模块350的训练过程中使用监督机器学习算法学习到的，如下详述。包括学习参数的地图特征提取器NN 351在下文中称为经训练的地图特征提取器NN 351。经训练的地图特征提取器NN 351接收二进制OGM MB 257作为输入，生成表示二进制OGM MB 257中一个或多个感兴趣区域的一组地图特征向量310，并且输出这一组地图特征向量310。一个或多个感兴趣区域可以包括车辆100和道路上的其他目标可能发生碰撞所在的区域。

路径特征提取器NN 353包括学习参数(例如权重)。路径特征提取器NN 353的参数是在地图生成模块350的训练过程中使用监督机器学习算法学习到的，如下详述。包括学习参数的路径特征提取器NN 353在下文中称为经训练的路径特征提取器NN 353。经训练的路径特征提取器NN 353接收至少包括车辆100的角速度的路径命令信息253，根据路径命令信息253生成表示车辆轨迹的一组路径特征向量312，并且输出这一组路径特征向量312。在一些实施例中，路径命令信息253包括等同于车辆100的ω/v(角速度/车速)的值。这一组地图特征向量310和这一组路径特征向量312具有相同的维度。角速度表示车辆预期路径的方向，如果为车辆100规划了转弯动作，则角速度表示所述转弯动作的幅度或程度。

然后，合并子模块365将一组地图特征向量310和一组路径特征向量312合并，得到一组合并特征向量313。这一组合并特征向量313作为输入发送给递归神经网络(recurrentneural network，RNN)355。RRN 355包括学习参数(例如权重)。RNN 355的参数是在地图生成模块350的训练过程中使用监督机器学习算法学习到的，如下详述。包括学习参数的RNN355在下文中称为经训练的RNN 355。经训练的RNN 355接收合并特征向量313，根据合并特征向量313预测特征315，并且输出预测特征315。预测特征315是一组向量，包括表示来自一组地图特征向量310的一个或多个感兴趣区域和来自一组路径特征向量312的车辆轨迹的信息。经训练的RRN 355可以是长短期记忆(Long-Short Term Memory，LSTM)神经网络或门控递归单元(Gated Recurrent Unit，GRU)神经网络。

解码器NN 357也包括学习参数。解码器NN 357的参数是在地图生成模块350的训练过程中使用监督机器学习算法学习到的，如下详述。包括学习参数的解码器NN 357在下文中称为经训练的解码器网络357。经训练的解码器NN 357接收预测特征315，将预测特征315转换为重要性OGM Mi 260，并且输出OGM Mi 260。OGM Mi 260可以用于过滤目标检测空间，并且用于减少ADS 162中的感知系统176的目标检测、分割和跟踪模块(未示出)的计算量。

图7中的重要性OGM Mi 260(以下简称“Mi 260”)示出了车辆100沿轨迹路径行驶，其中，轨迹路径由道路掩膜710、道路边界705和各种动态目标表示，各种动态目标包括第一车辆730、第一行人740、第二行人750、第二车辆760、第三行人770和第三车辆780。Mi 260包括基于自车100的规划路径的一个或多个感兴趣区域，其中，一个或多个感兴趣区域分别由相应的目标掩膜720a、720b、720c、720d表示。目标掩膜用于表示车辆100在车辆100的规划路径上可能存在碰撞。在一些实施例中，感兴趣区域位于动态目标周围，该动态目标与车辆100在任一时间点(即，在任一时间帧)上沿其行驶路径具有最小欧几里德距离，例如第一车辆730与车辆100具有最小欧几里德距离790a，第一行人740与车辆100具有最小欧几里德距离790b，第二行人750与车辆100具有最小欧几里德距离790c，第二车辆760与车辆100具有最小欧几里德距离790d。最小欧几里德距离通常是指两点或两条线之间的最短直线距离。最小欧几里德距离通常需要小于一定的距离阈值，然后神经网络才将动态目标视为足够重要(即足够靠近自车的行驶路径以至于影响其规划路径)。距离阈值本身的值已经由神经网络在其训练过程中学习和设置，并且可以取决于许多因素，包括：动态目标的角度和/或线速度、自车的角度和/或线速度、自车的规划路径、动态目标的类型、自车的车辆类型、邻近区域和任何其它合适的因素。在适当情况下，距离阈值也可以由ADS 162的管理员手动设置。

每个感兴趣区域由目标掩膜表示，例如第一车辆730对应的目标掩膜720a、第一行人740对应的目标掩膜720b、第二行人750对应的目标掩膜720c和第二车辆760对应的目标掩膜720d。目标掩膜720a、720b、720c、720d可以具有预定的2D形状，例如体素形状、椭圆形、正方形、圆形、长方形、八边形、六边形或三角形。在一些实施例中，每个目标都可以具有根据动态目标的类型确定的形状。例如，行人目标可以具有椭圆形的目标掩膜；汽车目标可以具有长方形的目标掩膜。在一些实施例中，道路掩膜的大小(例如宽度)可以与关于道路掩膜内的动态目标和/或车辆100的一个或多个运动学信息相关或由其确定。例如，目标掩膜的直径或宽度可以根据车辆100的角速度或车速和/或与目标掩膜相关联的动态目标的线速度确定。

相反，第三行人770和第三车辆780沿着车辆100的行驶路径与车辆100相距足够远，以至于神经网络不认为它们“重要”或“相关”，因此与感兴趣区域或目标掩膜不关联。换句话说，行人770和车辆780与自车100在道路掩膜710表示的路径上都具有大于上述距离阈值的最小欧几里德距离。在一些实施例中，任何不具有目标掩膜的动态目标都可以排除在重要性OGM Mi 260之外，因为它们不太可能影响车辆100的规划路径。

图3是使用监督学习算法训练地图生成模块350以学习地图特征提取器NN 351、路径特征提取器NN 353、RNN 355和解码器NN 357的参数(例如权重)的框图。使用一组标记训练数据355(以下称为标记训练数据集355)来训练地图生成模块350。标记训练数据集355包括n个连续时间内的标记训练数据450，其中，t–n是最早时间，t0是最近时间。标记训练数据集355中的每个标记训练数据450具有对应于给定时间ti的时间戳{t–n,t–n+1,t–n+2,...,t2,t1,t0}。具有给定时间戳ti的标记训练数据450包括对应于给定时间ti的3D点云251、二进制地图252、路径命令信息253和地面真值重要性OGM 455(也称为地面真值OGM)。3D点云251是在给定时间ti处观察到的点云251，二进制地图252是根据车辆100在给定时间ti处的GPS位置获取的二进制地图，路径命令信息253包括表示车辆100在给定时间ti处的规划路径的信息。给定时间ti的地面真值OGM 455是使用n个连续时间{t–n,t–n+1,t–n+2,t2,t1,t0}中的n个先前时间内的3D点云、二进制地图和路径命令信息生成的，如下详述。在生成给定时间ti的地面真值OGM 455之后，通过将给定时间ti的生成的地面真值OGM 455与给定时间ti的点云251、二进制地图252和路径命令信息253相关联，生成给定时间ti的标记训练数据450。然后，将标记训练数据450添加到标记训练数据集355中。在生成n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的每个时间ti的地面真值OGM 455之后，将n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}的标记训练数据集355存储在存储器中以用于训练地图生成模块350，如下详述。

再次参考图3，现在将描述使用标记训练数据集355训练地图生成模块350。对于每个时间ti，其中，i＝{–n,–n+1,...,2,1,0}，第一子模块360用于根据3D点云251生成输入OGM ML254。第一子模块360预处理3D点云251以确定：包围3D点云251中一组数据点的栅格或多边形的高度值、3D点云251中一列或多列数据点的平均高度值、3D点云251中一个或多个数据点各自的强度值、基于3D点云251中一个或多个数据点的一个或多个高度值的取值范围，或者3D点云251中一个或多个数据点的点密度值。上述内容可以分别存储在输入OGMML 254的相应通道中。

第二子模块363接收二进制地图252和第一子模块360提供的OGM ML 254，并且组合二进制地图252和输入OGM ML 254以生成二进制OGM MB 257。将二进制OGM MB 257提供给地图特征提取器NN 351。在一些实施例中，第二子模块363通过将二进制地图252附加到输入OGM ML 254作为其它通道，生成二进制OGM MB 257。

地图特征提取器NN 351接收二进制OGM MB 257作为输入，根据二进制OGM MB 257生成一组地图特征向量FVi(其中，i＝{–n,–n+1,–n+2,...,2,1,0}，并且输出这一组地图特征向量FVi，其中，每个向量FVi 310表示基于3D点云251的一个或多个感兴趣区域。生成连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的每个时间ti的每个向量FVi 310。一个或多个感兴趣区域可以包括车辆100和道路上的其他目标可能发生碰撞所在的区域。

路径特征提取器NN 353接收至少包括车辆的角速度的路径命令信息253，根据路径命令信息253生成一组路径特征向量FV'i(其中，i＝{–n,–n+1,–n+2,...,2,1,0})，并且输出这一组路径特征向量FV'i，其中，每个向量FV'i 312表示车辆轨迹。生成连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的每个时间ti的每个向量FV'i 312。这一组地图特征向量FVi 310和这一组路径特征向量FV'i 312具有相同的维度。角速度表示车辆100预期路径的方向，如果为车辆规划了转弯动作，则角速度表示所述转弯动作的幅度或程度。在一些实施例中，路径命令信息253由等同于车辆100的ω/v(角速度/车速)的值表示。

合并子模块365在时间帧ti处合并一组地图特征向量FVi 310和一组路径特征向量FV'i312，得到一组合并特征向量313。然后，将这一组合并特征向量313提供给递归神经网络(recurrent neural network，RNN)355。RNN 355接收合并特征向量313，根据合并特征向量313在时间ti处预测特征315，并且输出预测特征315。预测特征315是一组向量，包括表示一组地图特征向量FVi 310中的一个或多个感兴趣区域和一组路径特征向量FV'i 312中的车辆轨迹的信息。如上所述，RNN 355可以是长短期记忆(Long-Short Term Memory，LSTM)神经网络或门控递归单元(Gated Recurrent Unit，GRU)神经网络。

解码器神经网络357接收预测特征315，在时间帧ti处将预测特征315转换为重要性OGM Mi 260，并且输出重要性OGM Mi 260。然后，损失计算子模块370将重要性OGM Mi260与具有时间戳ti的标记训练数据450中的地面真值OGM 455进行比较。损失计算子模块370根据重要性OGM Mi 260和地面真值OGM Mi 455计算误差380。然后，将误差反向传播到神经网络351、353、355、357中的每个神经网络，以更新网络的权重。

在一些实施例中，当对应于每个时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}的标记训练数据455完成处理时，停止训练地图生成模块350。在一些实施例中，当误差380达到小于阈值的值时，停止训练地图生成模块350，这表示生成的重要性OGM Mi 260足够接近标记训练数据455中包括的地面真值重要性OGM 455。

在使用标记训练数据集455训练地图生成模块350之后，神经网络351、353、355、357都具有学习参数(即权重)。神经网络351、353、355、357都具有学习参数(即权重)的地图生成模块350在本文中称为经训练的地图生成模块350。经训练的地图生成模块350也可以称为机器学习的地图生成模块350。地图生成模块350的训练也在下文结合图9A和9B描述，可以通过计算系统(未示出)在场外(即不在车辆100上)执行；在训练之后，包括经训练的NN351、353、355、和357(即，都包括学习参数的NN 351、353、355、357)的地图生成模块350可以部署到车辆100中(即存储在车辆控制系统115的存储器126中)，并且在推理过程中进行操作，如上文结合图4所述。可以使用多组标记训练数据355(例如标记训练数据集355)重复训练地图生成模块350。

在一些实施例中，地图生成模块350可以使用包括标记训练数据450的标记训练数据集来预训练以学习NN 351、353、355、357的参数，然后才使用包括生成的地面真值OGM455的标记训练数据集355来训练。地图生成模块350可以使用根据从现有数据库中获取的数据成的标记训练数据集355来训练，这些现有数据库存储关于一个或多个车辆的历史行驶记录的各种信息。例如，动态目标和关联的3D点云的顺序标记数据集可以从现有数据库中获取，例如来自KITTI视觉基准套件的目标跟踪框的KITTI^TM数据集，并且进行处理以生成要包括在标记训练数据集355中的标记训练数据450。

现在参考图5至图7，示出了生成地面真值OGM 455和标记训练数据集455的方法。图5至图7中所示的方法由处理系统(未示出)离线执行。在图5中，示出了基于在连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}内捕获的3D点云251的一系列示例性目标地图500a、500b、500c、500d。如上所述，一组标记训练数据355用于训练感知系统176的地图生成模块350。任一给定时间ti处的标记训练数据450包括给定时间ti的根据下文描述的方法生成的地面真值OGM 455。标记训练数据集355包括对应于连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}的标记训练数据450，可以用于训练地图生成模块350中的NN 351、353、355、357，以优化NN 351、353、355、357各自的参数(例如权重)。

为了根据给定时间ti的点云251、二进制地图252和路径命令信息253生成给定时间ti 457的地面真值OGM 455，需要首先定义重要性标准。重要性标准用于确定动态或静态目标是否应该包括在地面真值OGM 455中。地面真值OGM 455用作对应于给定时间ti的标记训练数据450的标签。例如，重要性标准决定目标轨迹是否以及何时相对于自车的行驶路径是重要的。在一些实施例中，最小欧几里德距离可以用于确定自车和目标之间的潜在碰撞。最小欧几里德距离通常需要小于一定的距离阈值，然后才确定目标足够重要(即足够靠近自车的行驶路径以至于影响其规划路径)。距离阈值的值可以取决于许多因素，包括：目标的角速度和/或线速度、自车的角速度ω和/或线速度v、自车的规划路径、目标的类型、自车的车辆类型、邻近区域和任何其它合适的因素。距离阈值可以针对每个目标类型手动设置，可选地针对自车的每个车辆类型进一步调整。例如，如果目标类型是具有平均步行速度的行人，则距离阈值可以设置为5米。又如，如果目标类型是在与自车的行驶路径平行的路径上以50KM/h的速度行驶的SUV，则距离阈值可以设置为20米。

处理系统(未示出)根据对应于时间ti的标记训练数据450中包括的3D点云251、二进制地图252和路径命令信息253，生成时间ti的地面真值OGM 455。3D点云251可以包括一个或多个目标，每个目标具有唯一目标ID和目标类型。处理3D点云251以根据每个目标ID确定每个目标在每个时间帧处的GPS位置。目标可以是静态的，也可以是动态的。二进制地图252可以使用二进制值1或0表示地图252上的像素或栅格是属于道路(“1”)还是不属于道路(“0”)。二进制地图252与在给定时间ti处记录的自车的GPS位置相关联。二进制地图252可以使用包括自车在给定时间ti处的GPS位置的查询从存储二进制地图的现有数据库中检索。

接下来，处理系统(未示出)根据与相应时间ti相关联的3D点云251，生成一组n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的每个相应时间ti的目标地图500a、500b、500c、500d。如图5所示，给定时间ti处的目标地图500a、500b、500c、500d包括基于相应目标在给定时间ti处的GPS位置的每个目标在ti处的表示。在图5中，为了便于说明和区分不同目标类型，圆形510a、510b、510c、510d用于表示每个目标地图500a、500b、500c、500d上的行人；正方形520a、520b、520c、520d用于表示每个目标地图500a、500b、500c、500d上的轿车；三角形530a、530b、530c、530d用于表示每个目标地图500a、500b、500c、500d上的SUV。其它形状可以用于表示目标。在时间t＝–3处，目标地图500a示出了不同位置上的行人510a、轿车520a和SUV 530a。在时间t＝–2处，与目标地图500a相比，目标地图500b示出了行人510b在同一位置上，轿车520b朝东(右)行驶，SUV 530b朝北(向上)行驶。在时间t＝–1处，目标地图500c示出了行人510c仍然没有移动，轿车520c再朝东行驶，SUV 530c再朝北行驶。在时间t＝0处，目标地图500d示出了行人510d仍然保持不动，轿车520d仍然再朝东行驶，SUV 530d仍然再朝北行驶。

现在参考图6，对于每个目标，处理系统(未示出)这时可以为与唯一目标ID相关联的每个目标510、520、530在所有时间{t3,t2,t1,t0}内生成轨迹地图610、620、630。每个轨迹图610、620、630示出了以单独目标510、520、530在连续时间{t3,t2,t1,t0}内的每个目标地图500a、500b、500c、500d上的特定GPS位置为基础的轨迹路径640a、640b、640c。每个轨迹图610、620、630包括以相应目标510、520、530在t3到t0中的每个时间帧ti处的GPS位置为基础的实例。例如，轨迹地图610包括行人目标510(目标ID 001)。行人目标510在t3到t0的所有时间帧内是静止的。因此，轨迹路径640a可以是轨迹地图610上的目标510的固定点。轨迹地图620在轨迹路径640b上包括轿车目标520(目标ID 003)的四个实例520a、520b、520c、520d，轿车目标520从t3到t0都是朝东行驶。轨迹地图630在轨迹路径640c上包括SUV目标530(目标ID 005)的四个实例530a、530b、530c、530d，SUV目标530从t3到t0朝北行驶。

然后，处理系统(未示出)根据自车在每个时间{t3,t2,t1,t0}处记录的一组GPS位置确定自车的行驶路径。可以使用相同时间的一个或多个二进制映射252进一步处理行驶路径。例如，在任一给定时间ti处，如果以及当二进制地图252可用时，可以使用给定时间ti的对应应二进制地图252中的道路边界或车道组信息来增加自车的行驶路径。自车的行驶路径和二进制地图252可以进行处理以生成如图7所示的道路掩膜710，道路掩膜710通常表示自车在道路边界内的行驶路径。

根据每个轨迹地图610、620、630中的轨迹路径640a、640b、640c，处理系统(未示出)根据自车的行驶路径确定重要或相关目标列表。可以根据一组规则确定目标是相关的，这些规则可以是预定的。例如，如果在时间{t3,t2,t1,t0}处沿目标520的行驶路径640b的任一点上，目标520和自车100之间的最小欧几里德距离560b小于一定阈值，则可以说目标520是相关的。也就是说，目标520的行驶路径560b上的任一点和自车100的行驶路径上的任一点从t＝–3到t＝0的最短欧几里德(“直线”)距离是最小欧几里德距离。对于每个目标510、520、530，如果与自车100的最小欧几里德距离560a、560b、560c小于设定阈值，则认为目标520、530与计算训练地图455的目的相关。阈值可以根据许多因素设置，例如：目标的动力学信息(例如角速度和线速度)、自车的动力学信息、道路类型(例如高速公路或市区路)、道路构造(例如是否有交叉口)、关于交通事故的历史数据、目标的类型(例如行人或车辆)、道路的车速限制和自车的类型(例如轿车或卡车)。例如，如果目标类型是行人且行人目标以每秒1米的速度行走，则阈值可以设置为5米。又如，如果目标类型是轿车且以30km/hr的车速行驶，则阈值可以设置为20米。

接下来，处理系统(未示出)根据与相应时间ti相关联的自车的轨迹路径和相关目标列表中的每个目标520、530的轨迹路径640b、640c，生成一组n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的每个时间ti的地面真值重要性OGM 455(还称为地面真值OGM455)。地面真值OGM 455如图7所示，包括：道路掩膜710表示与相应时间ti相关联的自车100的轨迹路径，相关目标列表中的每个目标730、740、750、760的目标掩膜720a、720b、720c、720d，以及自车100和每个目标掩膜720a、720b、720c、720d之间的距离790a、790b、790c、790d。在一些实施例中，用于表示车辆的轨迹路径的道路掩膜710具有根据多个因素中的一个或多个因素确定的宽度，例如：自车100在时间帧ti处的动力学信息(例如角速度或线速度)、道路类型(例如高速公路或市区路)、道路构造(例如交叉口、单车道或多车道)、自车100的类型(例如轿车或卡车)，等等。

在一些实施例中，相关目标730、740、750、760对应的目标掩膜720a、720b、720c、720d具有根据一个或多个因素确定的形状、大小、半径、宽度或长度，一个或多个因素包括目标的目标类型、目标在时间ti处的运动学信息、目标前进的方向，等等。例如，图7示出了所有目标的目标掩膜为椭圆形。在其它实施例中，行人目标可以由圆形的道路掩膜表示，而轿车目标可以由正方形的道路掩膜表示。

一旦生成了给定时间ti的地面真值OGM 455，地面真值OGM就可以存储在数据库中。然后，可以生成对应于n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的每个时间的标记训练数据450，包括每个时间ti的点云251、二进制地图252、路径命令信息253和生成的地面真值OGM。然后，存储n个连续时间内的标记训练数据455，用于如上所述训练地图生成模块350。

现在参考图8，示出了经训练的地图生成模块350在推理中执行的用于生成重要性OGM Mi 260的示例性方法800的流程图。方法800可以在由车辆控制系统115中的处理器102等执行的软件中实现。考虑到本发明，软件的编码完全在本领域普通技术人员的范围内。方法800包括的过程可以比示出和描述的过程多或少，而且可以按照不同的顺序执行。软件包括车辆控制系统中的处理器102可执行的用于执行方法800的计算机可读代码或指令。

在810中，车辆控制系统115从车辆100的LiDAR单元114(或诸如雷达单元或立体摄像头之类的不同传感器)接收当前时间ti的3D点云251。

在820中，地图生成模块350的子模块360接收当前时间ti的二进制地图252，其中，二进制地图252与从车辆100中的GPS单元119接收的GPS位置相关联。

在830中，具有学习参数(例如权重)的路径特征提取器NN 351从车辆100中的路径规划模块174接收表示车辆100在当前时间ti处的规划路径的路径命令信息253。

在840中，地图生成模块350根据3D点云251、二进制地图252和路径命令信息253生成当前时间ti的重要性OGM 260，如上文结合图4所述。

在850中，将当前时间ti的重要性OGM Mi 260提供给路径规划系统174，路径规划系统174根据重要性OGM Mi 260中的一个或多个感兴趣区域为车辆100生成新的规划路径。

参考图9A和图9B，示出了使用监督学习算法训练地图生成模块350以学习地图生成模块350中的多个神经网络351、353、355、357的参数(例如权重)的示例性方法的流程图。

在910中，地图生成模块350接收n个连续时间帧的多组输入标记训练数据355，其中，一组标记训练数据355中的每个标记训练数据450与n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的相应时间ti相关联。每个标记训练数据450包括：3D点云251、二进制地图252、表示车辆的规划路径的路径命令信息253和期望(即地面真值)重要性OGM 455。在930中，对于n个连续时间中的每个时间ti，其中，i＝{–n,–n+1,...,2,1,0}，地图生成模块350通过步骤9310至9390以如下所述的迭代方式生成与时间帧ti相关联的重要性OGM Mi260。

在9310中，地图生成模块350的子模块360接收对应于时间ti的标记训练数据355的3D点云351，并且根据时间ti的3D点云251生成输入占据栅格地图(occupancy grid map，OGM)ML 254。在9320中，地图生成模块350的第二子模块363通过组合对应于时间ti的二进制地图252和生成的时间ti的输入OGM ML 254，生成时间ti的二进制OGM MB 257。在9330中，地图特征提取器NN 351接收时间ti的二进制OGM MB 257，生成一组地图特征向量FVi，其中，i＝{–n,–n+1,–n+2,...,2,1,0}，并且输出这一组地图特征向量FVi。每个地图特征向量FVi 310表示基于3D点云251的一个或多个感兴趣区域。

在9340中，路径特征提取器NN 353接收与时间帧ti对应的标记训练数据355的路径命令信息253，并且生成一组路径特征向量FV'i 312。这一组路径特征向量FV'i 312表示车辆轨迹，一组地图特征向量FVi 310和一组路径特征向量FV'i 312具有相同的维度。

在9350中，地图生成模块350的合并子模块365将一组地图特征向量FVi 310和一组路径特征向量FV'i 312合并，得到一组合并特征向量313。

在9360中，地图生成模块350的RNN 351根据合并特征向量313生成一组预测特征315，其中，预测特征315表示一个或多个感兴趣区域和车辆轨迹。

在9370中，解码器NN 357接收一组预测特征315，根据预测特征315生成时间ti的重要性OGM Mi 260，并且输出时间ti的重要性OGM Mi 260。在9380中，损失计算子模块370根据与时间ti对应的标记训练数据450中的地面真值OGM 455和解码器NN 357输出的时间ti的重要性OGM Mi 260，计算误差380。

在9390中，地图生成模块350将误差380反向传播到地图特征提取器NN 351、路径特征提取器NN353、递归NN 355和解码器NN 357。

在9395中，地图生成模块350根据误差380调整(即更新或修改)NN351、353、355、357各自的一个或多个参数(例如权重)，以便优化地图生成模块350的NN 351、353、355、357。然后，地图生成模块350在步骤9310再次开始下一个时间帧ti+1，并继续在n个连续时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}中的每个时间ti处执行相同的步骤9310至9395。在一些实施例中，当所有时间{t–n,t–n+1,t–n+2,...,t2,t1,t0}的标记训练数据450(即标记训练数据集355中的所有标记训练数据450)完成处理时，停止训练地图生成模块350。在一些实施例中，当误差380具有小于阈值的值时，停止训练地图生成模块350，这表示生成的重要性OGM Mi 260足够接近地面真值OGM 455。

尽管本发明通过按照一定的顺序执行的步骤描述方法和过程，但是可以适当地省略或改变方法和过程中的一个或多个步骤。在适当情况下，一个或多个步骤可以按所描述的顺序以外的顺序执行。

尽管本发明在方法方面至少部分地进行了描述，但本领域普通技术人员将理解，本发明也针对用于执行所述方法的至少一些方面和特征的各种组件，无论是通过硬件组件、软件还是其任意组合。相应地，本发明的技术方案可以通过软件产品的形式体现。合适的软件产品可以存储在预先记录的存储设备或其它类似的非易失性或非瞬时性计算机可读介质中，包括DVD、CD-ROM、USB闪存盘、可移动硬盘或其它存储介质等。软件产品包括有形地存储在其上的指令，所述指令使得处理设备(例如，个人计算机、服务器或网络设备)能够执行本文中公开的方法的示例。

在不脱离权利要求书的主题的前提下，本发明可以通过其它特定形式实施。所描述的示例性实施例在各方面都仅仅是说明性的而非限制性的。可以组合从一个或多个上述实施例中选择的特征，以创建非显式描述的可选实施例，在本发明的范围内可以理解适合于此类组合的特征。

还公开了所公开范围内的所有值和子范围。而且，尽管本文公开和示出的系统、设备和过程可以包括特定数量的元件/组件，但是所述系统、设备和组件还可以被修改为包括更多或更少的这类元件/组件。例如，尽管所公开的任何元件/组件可以作为单数引用，但是本文公开的实施例可以被修改为包括多个的这类元件/组件。本文中描述的主题旨在涵盖和包括技术上的所有适当变化。

Claims (20)

1.一种用于为车辆生成重要性占据栅格地图(occupancy grid map，OGM)的方法，其特征在于，所述方法包括：

接收3D点云；

从所述车辆的全球定位系统(Global Positioning System，GPS)单元接收二进制地图，其中，所述二进制地图与GPS位置相关联；

从所述车辆的路径规划模块接收表示所述车辆的规划路径的路径命令信息；

根据所述3D点云、所述二进制地图和所述表示所述车辆的规划路径的路径命令信息，生成重要性OGM。

2.根据权利要求1所述的方法，其特征在于，

所述重要性OGM包括基于所述车辆的规划路径的一个或多个感兴趣区域，所述一个或多个感兴趣区域分别由目标掩膜表示，所述目标掩膜表示所述车辆在所述车辆的规划路径上可能存在碰撞。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：将所述重要性OGM提供给所述车辆的路径规划模块，以根据所述重要性OGM中的所述一个或多个感兴趣区域为所述车辆生成新的规划路径。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述重要性OGM包括根据所述车辆的规划路径确定的道路掩膜，所述道路掩膜的宽度与所述车辆的角速度或车速相关。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

根据所述接收到的3D点云，生成输入占据栅格地图(occupancy grid map，OGM)；

通过组合所述二进制地图和所述输入OGM，生成二进制OGM；

根据所述二进制OGM，使用地图特征提取器神经网络生成表示一个或多个感兴趣区域的一组地图特征向量。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

使用路径特征提取器神经网络生成表示车辆轨迹的一组路径特征向量，其中，所述一组地图特征向量和所述一组路径特征向量具有相同的维度；

将所述一组地图特征向量和所述一组路径特征向量合并，得到一组合并特征向量。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述合并特征向量，使用递归神经网络生成一组预测特征，其中，所述预测特征表示所述一个或多个感兴趣区域和所述车辆轨迹。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：使用解码器神经网络从所述预测特征中生成所述重要性OGM。

9.根据权利要求1至8中任一项所述的方法，其特征在于，表示所述规划路径的规划路径信息包括所述车辆的角速度和车速。

10.根据权利要求5所述的方法，其特征在于，根据以下至少一个内容生成所述输入OGM：包围所述3D点云中一组点的栅格或多边形的高度值、所述3D点云中一列或多列点的平均高度值、所述3D点云中一个或多个点各自的强度值、基于所述3D点云中一个或多个点的一个或多个高度值的取值范围、所述3D点云中一个或多个点的点密度值。

11.一种用于训练地图生成模块以根据点云、二进制地图和路径命令信息生成重要性占据栅格地图(occupancy grid map，OGM)的方法，其特征在于，所述处理器实现的方法包括：

接收n个连续时间{t_–n,t_–n+1,t_–n+2,...,t_2,t₁,t₀}内的一组标记训练数据，其中，所述一组标记训练数据包括与所述n个连续时间中的每个时间t_i对应的标记训练数据，每个标记训练数据包括3D点云、二进制地图、表示车辆的规划路径的路径命令信息以及地面真值重要性OGM；

对于所述n个连续时间中的每个时间t_i，其中，i＝{–n,–n+1,...,2,1,0}，将与时间t_i对应的标记训练数据提供给所述地图生成模块，以通过以下方式训练所述地图生成模块：

根据所述与时间t_i对应的标记训练数据中包括的3D点云，生成输入占据栅格地图(occupancy grid map，OGM)；

通过组合所述与时间t_i对应的标记训练数据中包括的二进制地图和所述输入OGM，生成二进制OGM；

使用地图特征提取器神经网络生成与时间t_i相关联的表示一个或多个感兴趣区域的一组地图特征向量；

根据所述与时间t_i对应的标记训练数据中包括的表示车辆的规划路径的路径命令信息，使用所述路径特征提取器神经网络生成与时间t_i相关联的一组路径特征向量，其中，所述一组路径特征向量表示车辆轨迹，所述一组地图特征向量和所述一组路径特征向量具有相同的维度；

将所述与时间t_i相关联的一组地图特征向量和所述与时间t_i相关联的一组路径特征向量合并，得到与时间t_i相关联的一组合并特征向量；

根据所述与时间t_i相关联的合并特征向量，使用递归神经网络生成与时间t_i相关联的一组预测特征，其中，所述预测特征表示所述一个或多个感兴趣区域和所述车辆轨迹；

使用解码器神经网络从所述与时间t_i相关联的预测特征中生成与t_i相关联的重要性OGM；

根据所述与时间t_i对应的标记训练数据中包括的地面真值OGM和所述与t_i相关联的重要性OGM，计算误差信号；

将所述误差信号反向传播到所述地图特征提取器神经网络、所述路径特征提取器神经网络、所述递归神经网络和所述解码器神经网络，以调整所述地图特征提取器神经网络、所述路径特征提取器神经网络、所述递归神经网络和所述解码器神经网络的参数。

12.根据权利要求11所述的方法，其特征在于，所述表示规划路径的路径命令信息包括所述车辆的角速度和车速。

13.根据权利要求11或12所述的方法，其特征在于，生成所述输入OGM还根据所述与时间t_i对应的标记训练数据中包括的路径命令信息，所述路径命令信息包括以下至少一个信息：表示包围与时间t_i相关联的3D点云中一组点的栅格或多边形的高度值的信息、表示与时间t_i相关联的3D点云中一列或多列点的平均高度值的信息、表示与时间t_i相关联的3D点云中一个或多个点各自的强度值的信息、基于与时间t_i相关联的3D点云中一个或多个点的一个或多个高度值的取值范围的信息、表示与时间t_i相关联的3D点云中一个或多个点的点密度值的信息。

14.一种用于生成地面真值重要性占据栅格地图(occupancy grid map，OGM)的方法，其特征在于，所述处理器实现的方法包括：

接收多个3D点云，其中，所述多个3D点云分别与一组连续时间中的相应时间相关联，所述多个3D点云都包括一个或多个目标；

处理所述多个3D点云，得到所述一个或多个目标各自的唯一目标ID和目标类型；

接收车辆的多个GPS位置，其中，所述多个GPS坐标分别在所述一组连续时间中的相应时间处生成；

接收多个二进制地图，其中，所述多个二进制地图分别与所述一组连续时间中的相应时间相关联并基于所述车辆在所述相应时间处的GPS坐标；

对于所述一组连续时间中的每个相应时间，根据与所述相应时间相关联的3D点云生成目标地图，其中，所述目标地图包括所述一个或多个目标各自的表示；

对于所述一个或多个目标中的每个目标，根据与所述一组连续时间中的每个时间相关联的目标地图，在所述一组连续时间中的所有时间内为所述目标生成与所述唯一目标ID相关联的轨迹地图，其中，所述轨迹地图包括所述目标在所述一组连续时间中的所有时间内的每个实例，所述目标的每个实例根据所述目标在所述一组连续时间中的相应时间处的GPS位置生成；

根据所述目标的所述轨迹地图，为所述一个或多个目标分别确定轨迹路径；

根据所述一个或多个目标的所述轨迹路径，为所述车辆生成相关目标列表；

对于所述一组连续时间中的每个相应时间，为所述车辆生成包括所述车辆的轨迹路径的轨迹地图，其中，所述车辆的轨迹路径根据与所述相应时间相关联的所述二进制地图和与所述相应时间相关联的所述车辆的GPS位置确定，所述车辆的轨迹路径使用道路掩膜表示；

对于所述一组连续时间中的每个相应时间，根据与所述相应时间相关联的所述车辆的轨迹路径和所述相关目标列表中的每个目标的轨迹路径，生成地面真值重要性OGM，其中，所述地面真值重要性OGM包括：表示与所述相应时间相关联的所述车辆的轨迹路径的道路掩膜、所述相关目标列表中的每个目标的目标掩膜，以及所述车辆的轨迹路径中的所述车辆与所述相关目标列表中的每个目标的每个目标掩膜之间的距离。

15.根据权利要求14所述的方法，其特征在于，所述相关目标列表包括所述一个或多个目标中的至少一个目标，所述至少一个目标在所述一组连续时间内与所述车辆具有最小欧几里德距离，所述最小欧几里德距离小于预定阈值。

16.根据权利要求14或15所述的方法，其特征在于，用于表示所述车辆的轨迹路径的所述道路掩膜具有根据以下一个或多个内容确定的宽度：所述轨迹路径的道路类型、所述车辆的速度和所述车辆的类型。

17.根据权利要求14至16中任一项所述的方法，其特征在于，所述相关目标列表中的每个目标的目标掩膜具有根据所述目标的运动学信息确定的形状、大小、半径、宽度或长度。

18.一种车辆控制系统，其特征在于，所述车辆控制系统包括：

处理器；

存储指令的存储器，其中，当所述指令由所述处理器执行时，使得所述处理器执行根据权利要求1至17中任一项所述的方法。

19.一种包括指令的计算机可读介质，其特征在于，当所述指令由处理器执行时，使得所述处理器执行根据权利要求1至17中任一项所述的方法。

20.一种包括指令的计算机程序，其特征在于，当所述指令由处理器执行时，使得所述处理器执行根据权利要求1至17中任一项所述的方法。

Images