CN112578406A - 一种车辆环境信息感知方法及装置 - Google Patents

Abstract

本申请提供一种车辆环境信息感知方法及装置，涉及自动驾驶技术领域。其中，车辆环境信息感知方法包括：获取多帧点云数据，每帧点云数据基于车辆中的不同激光雷达获取；融合多帧点云数据，得到融合点云数据；获取港口地图信息，港口地图信息中包含有不可通行区域和堆场区域的位置信息；根据港口地图信息将融合点云数据中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据；识别去背景点云数据中的障碍物，感知车辆环境信息。能够减少车辆在基于点云数据进行障碍物识别时的数据处理量，进而提高车辆对障碍物的识别速度，进而提高车辆感知系统对环境感知的实时性。

Description

一种车辆环境信息感知方法及装置

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种车辆环境信息感知方法及装置。

背景技术

在港口环境中，车辆的人工驾驶逐渐被自动驾驶所替代。具体来说，通过在车辆上安装的激光雷达获取车辆周围的点云数据，然后车辆中的环境感知系统获取点云数据，并对点云数据进行处理，进而获得车辆周围的环境信息。车辆中的控制系统获取该环境信息，并基于该环境信息对车辆进行自动控制。

为了使控制系统能够获得准确的环境信息，现有技术中，虽然单个激光雷达能够进行360°扫描，但是单个激光雷达输出的点云数据相对稀疏，环境感知系统基于较为稀疏的点云数据是无法准确地对环境进行感知。例如：环境感知系统基于稀疏的点云数据是无法将距离较远的障碍物的形态完整地体现出来，进而导致无法准确地感知车辆周围的障碍物。因此，需要同时使用多个激光雷达。具体来说，多个激光雷达获取多个点云数据，环境感知系统将多个激光雷达获取的多个点云数据进行融合，然后进行障碍物识别，感知车辆周围的环境信息。这样，控制系统就能够获得更为准确的环境信息，进而更加准确地对车辆进行自动控制。

但是，多个激光雷达获取的多个点云数据，即原始点云数据，其数据量庞大。环境感知系统在处理原始点云数据时，需要耗费较多的时间，会降低环境系统的实时性，进而导致车辆控制系统获取环境信息有延迟，降低了自动驾驶的安全性。

发明内容

本申请实施例的目的是提供一种车辆环境信息感知方法及装置，使得车辆环境感知系统能够实时对车辆的环境信息进行感知，进而提高车辆自动驾驶的安全性。

为解决上述技术问题，本申请实施例提供如下技术方案：

本申请第一方面提供一种车辆环境信息感知方法，包括：获取多帧点云数据，每帧点云数据基于车辆中的不同激光雷达获取；融合所述多帧点云数据，得到融合点云数据；获取港口地图信息，所述港口地图信息中包含有不可通行区域和堆场区域的位置信息；根据所述港口地图信息将所述融合点云数据中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据；识别所述去背景点云数据中的障碍物，感知车辆环境信息。

本申请第二方面提供一种车辆环境信息感知装置，包括：第一获取模块，用于获取多帧点云数据，每帧点云数据基于车辆中的不同激光雷达获取；融合模块，用于融合所述多帧点云数据，得到融合点云数据；第二获取模块，用于获取港口地图信息，所述港口地图信息中包含有不可通行区域和堆场区域的位置信息；去背景模块，用于根据所述港口地图信息将所述融合点云数据中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据；感知模块，用于识别所述去背景点云数据中的障碍物，感知车辆环境信息。

本申请第三方面提供一种电子设备，包括：至少一个处理器；以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行第一方面中的方法。

本申请第四方面提供一种计算机可读存储介质，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中的方法。

相较于现有技术，本申请第一方面提供的车辆环境信息感知方法，在获取到港口地图信息后，根据港口地图信息将融合点云数据中不可通行区域和堆场区域的点云数据作为背景去除，进而对去除背景后的去背景点云数据进行障碍物识别。由于港口中的车辆一般都是按照预设路径行驶的，车辆对静态障碍物进行识别的必要性不如对动态障碍物进行识别重要，因此，在车辆基于点云数据进行障碍物识别时，可以先将点云数据中属于静态障碍物的点云作为背景去除，能够减少车辆在基于点云数据进行障碍物识别时的数据处理量，进而提高车辆对障碍物的识别速度，进而提高车辆感知系统对环境感知的实时性。并且，在减少点云数据量的同时，并没有降低动态障碍物的点云的稀疏性，因此，本申请实施例提供的车辆环境信息感知方法，在提高车辆环境信息感知实时性的同时，还不会降低车辆环境信息感知的精准度。

本申请第二方面提供的车辆环境信息感知装置、第三方面提供的电子设备、第四方面提供的计算机可读存储介质，与第一方面提供的车辆环境信息感知方法具有相同或相似的有益效果。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，相同或对应的标号表示相同或对应的部分，其中：

图1示意性地示出了车辆环境信息感知方法的流程图一；

图2示意性地示出了多个激光雷达在车辆上安装的位置；

图3示意性地示出了车辆环境信息感知方法的流程图二；

图4示意性地示出了顶原始点云数据（cloud_top）；

图5示意性地示出了左原始点云数据（cloud_left）；

图6示意性地示出了右原始点云数据（cloud_right）；

图7示意性地示出了顶原始点云数据（cloud_top）滤除地面以及去噪后的点云数据；

图8示意性地示出了左原始点云数据（cloud_left）滤除地面以及去噪后的点云数据；

图9示意性地示出了右原始点云数据（cloud_right）滤除地面以及去噪后的点云数据；

图10示意性地示出了融合点云数据（cloud_map）；

图11示意性地示出了融合点云数据（cloud_map）中不可通行区域的点云数据；

图12示意性地示出了输出的感知结果；

图13示意性地示出了车辆环境信息感知装置的结构图；

图14示意性地示出了电子设备的结构图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

在现有的港口自动驾驶场景下，为了使得集装箱卡车能够更加精准地感知其周围的环境，集装箱卡车需要通过其上安装的多个传感器获取多帧点云数据，进而基于这多帧点云数据对其周围的环境进行感知。然而，点云数据量的庞大会降低集装箱卡车对其周围环境的感知速度，而如果减少获取的点云数据的数据量，又会降低集装箱卡车对其周围环境感知的准确性。针对这一技术问题，申请人经过研究发现，港口环境具有一定的特殊性。相比于城市中普通道路的运输场景，港口的集装箱运输场景较为简单。在港口场景内，一般仅存在有集装箱卡车、特殊作业车辆、安全巡逻车、行人、集装箱堆放区内的集装箱、大型机械停放区内的大型机械等障碍物，障碍物类别单一。而这些障碍物可以分为动态障碍物和静态障碍物。在进行障碍物检测时，如果同时对这些障碍物进行检测，会降低检测的实时性。由于静态障碍物的位置是固定不变的，对此，可以将多帧点云数据中的静态障碍物作为背景并删除，仅对多帧点云数据中的动态障碍物进行检测，能够提高车辆中环境感知系统的实时性。这样，在提高车辆环境感知系统实时性的同时，还无需提升车辆环境感知系统的硬件配置，节省环境感知的成本。

本申请实施例提供了一种车辆环境信息感知方法，图1示意性地示出了车辆环境信息感知方法的流程图一，在图1中，该方法可以包括：

S101：获取多帧点云数据。

其中，每帧点云数据基于车辆中的不同激光雷达获取。

图2示意性地示出了多个激光雷达在车辆上安装的位置，在图2中，车辆20上共安装有3个激光雷达，分别是：安装在车头正面左侧的左激光雷达（VLP-32C）201、安装在车头正面右侧的右激光雷达（VLP-32C）202和安装在车头顶部的顶激光雷达（VLP-16）203。

通过安装在车辆上的三个激光雷达能够获取到车辆周围100米以内的三维点云数据。每个激光雷达的每个激光点通过计算转换可以得到时间戳、三维坐标、反射强度、线束、纵向方位角、横向方位角和距离信息。通过三个激光雷达能够获得三帧原始点云数据，即通过安装在车辆左侧的激光雷达能够获得一帧左原始点云数据（cloud_left），通过安装在车辆右侧的激光雷达能够获得一帧右原始点云数据（cloud_right），通过安装在车辆顶部的激光雷达能够获得一帧顶原始点云数据（cloud_top）。

接下来，对左原始点云数据（cloud_left）、右原始点云数据（cloud_right）、顶原始点云数据（cloud_top）进行坐标系转换，转换到地图坐标系下，就得到了多帧点云数据。进而结合港口中各区域的实际位置，将多帧点云数据中属于静态障碍物的点云删除。这样，实际进行障碍物识别的点云数据量就会减小，提高环境感知的实时性。并且，还不会损失环境感知的精准性。

在实际应用中，上述车辆可以是在港口中进行自动驾驶的集装箱卡车。当然，也可以是港口中行驶的其它车辆。例如：特殊作业车辆、安全巡逻车等。对于上述车辆的具体类型，此处不做具体限定，只要是在港口中行驶的车辆即可。

S102：融合多帧点云数据，得到融合点云数据。

由于基于单个激光雷达的单帧点云数据较为稀疏，不利于对车辆周围的环境进行精准感知，故将基于多个激光雷达的多帧点云数据进行融合。进而基于融合点云数据进行环境感知，能够提高环境感知的精准性。而对多帧点云数据进行融合，可以采用现有的数据融合方式，故此处不再赘述。

S103：获取港口地图信息。

其中，港口地图信息中包含有不可通行区域和堆场区域的位置信息。

由于港口地图能够全面地展示港口的实际场景，例如：在港口地图中，显示有可通行区域、不可通行区域、岸桥区、堆场区等。故获取港口地图信息，就能够确定港口中各区域的实际位置，进而能够将融合点云数据中属于静态区域的点云删除，减少点云的数据量。

S104：根据港口地图信息将融合点云数据中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据。

具体来说，融合点云数据对应着港口中的某一块区域。对照着港口地图信息，能够确定融合点云数据中都存在有哪些区域，进而将融合点云数据中不可通行区域和堆场区域的点云数据作为背景（cloud_map_background），并去除，就得到了去除背景后的去背景点云数据。

S105：识别去背景点云数据中的障碍物，感知车辆环境信息。

在基于点云数据进行障碍物识别时，由于已经将点云数据中不可移动的静态障碍物作为背景，进行了点云删除，故剩下的点云数据的数据量就会变小。在进行障碍物识别时，就能够加快数据处理速度，进而提高环境感知速度。并且，实际需要进行障碍物识别的动态障碍物的点云数据仍然可以较为密集。在提高环境感知的实时性的同时，还不会降低环境感知的精准性。而对点云数据进行障碍物识别，可以采用现有的障碍物识别方式，故此处不再赘述。

由上述内容可知，本申请实施例提供的车辆环境信息感知方法，在获取到港口地图信息后，根据港口地图信息将融合点云数据中不可通行区域和堆场区域的点云数据作为背景去除，进而对去除背景后的去背景点云数据进行障碍物识别。由于港口中的车辆一般都是按照预设路径行驶的，车辆对静态障碍物进行识别的必要性不如对动态障碍物进行识别重要，因此，在车辆基于点云数据进行障碍物识别时，可以先将点云数据中属于静态障碍物的点云作为背景去除，能够减少车辆在基于点云数据进行障碍物识别时的数据处理量，进而提高车辆对障碍物的识别速度，进而提高车辆感知系统对环境感知的实时性。并且，在减少点云数据量的同时，并没有降低动态障碍物的点云的稀疏性，因此，本申请实施例提供的车辆环境信息感知方法，在提高车辆环境信息感知实时性的同时，还不会降低车辆环境信息感知的精准度。

进一步地，作为对图1所示方法的细化和扩展，本申请实施例还提供了一种车辆环境信息感知方法。图3示意性地示出了车辆环境信息感知方法的流程图二，在图3中，该方法可以包括：

S301：获取原始点云数据。

从安装在车辆车头正面左侧的左激光雷达中获取左原始点云数据（cloud_left），从安装在车辆车头正面右侧的右激光雷达中获取右原始点云数据（cloud_right），从安装在车辆顶部的顶激光雷达中获取顶原始点云数据（cloud_top）。左原始点云数据、右原始点云数据和顶原始点云数据构成了原始点云数据。

图4示意性地示出了顶原始点云数据（cloud_top），图4所示的为车顶16线激光雷达的原始点云数据。

图5示意性地示出了左原始点云数据（cloud_left），图5所示的为车左侧32线激光雷达的原始点云数据。

图6示意性地示出了右原始点云数据（cloud_right），图6所示的为车右侧32线激光雷达的原始点云数据。

S302：将原始点云数据从激光雷达坐标系转换至车体坐标系。

分别对左原始点云数据（cloud_left）、右原始点云数据（cloud_right）、顶原始点云数据（cloud_top）进行如下操作：

S3021：基于预先标定的激光雷达坐标系与车体坐标系之间的变换矩阵，在Z轴方向上，将左原始点云数据（cloud_left）、右原始点云数据（cloud_right）、顶原始点云数据（cloud_top）从激光雷达坐标系变换至车体坐标系，得到Z轴左车点云数据、Z轴右车点云数据和Z轴顶车点云数据。

具体为：

其中， 为车体坐标系下的三维点坐标，为激光雷达坐标系下的三维点坐标，T为平移矩阵，R为旋转矩阵。其中，，。其中，

为激光雷达坐标系相对于车体坐标系在

方向上的偏移量，

为激光雷达坐标系相对于车体坐标系的偏航角、俯仰角和滚转角。

这里需要说明的是，

与

为预先标定的激光雷达坐标系与车体坐标系之间的变换参数，进而构成了激光雷达坐标系与车体坐标系之间的变换矩阵。不同车辆的

以及

的具体数值所有差异，故需要选择当前车辆的或者与当前车辆相似的车辆的

以及

。

这里还需说明的是，由于后续需要构建深度图，而如果此时也进行X轴和Y轴的平移变换，会导致构建的深度图不准确，进而影响环境感知的准确性。故此时只进行Z轴的平移变换，待深度图构建完成后，再进行X轴和Y轴的平移变换，能够确保环境感知的准确性。

在得到Z轴左车点云数据、Z轴右车点云数据和Z轴顶车点云数据后。仅保留地面上方4米以内的点云作为感知候选点，滤除其余无效点云。同时，取出距离地面上方0.5米、车辆前后左右各30米范围内的点云作为拟合地面候选点。

S3022：对感知候选点进行去噪。

具体来说，先对拟合地面候选点进行下采样（即，体素网格化滤波），以降低点云密度并保持点云的形态特征。然后采用平面拟合算法（Random Sample Consensus，RANSAC）进行地面拟合，以对感知候选点进行校正。

接着，根据每一个激光点的线束、纵向方位角和横向方位角基于感知候选点构建深度图。该深度图的大小为32×1800。32是指32根线束，1800是指激光雷达扫描一圈，每个线束会产生1800个激光点（分辨率是0.2度）。深度图的像素值就是激光点在点云中的索引。构建深度图的目的是为了提高数据计算效率。在深度图中采用线扫描法滤除地面点云。再采用欧式距离滤除深度图中的噪声点，得到障碍检测候选点。

图7示意性地示出了顶原始点云数据（cloud_top）滤除地面以及去噪后的点云数据。图8示意性地示出了左原始点云数据（cloud_left）滤除地面以及去噪后的点云数据。图9示意性地示出了右原始点云数据（cloud_right）滤除地面以及去噪后的点云数据。

S3023：基于预先标定的激光雷达坐标系与车体坐标系之间的变换矩阵，在X轴和Y轴方向上，将障碍检测候选点从激光雷达坐标系变换至车体坐标系，得到左车点云数据（cloud_left_car）、右车点云数据（cloud_right_car）和顶车点云数据（cloud_top_car）。

S303：将原始点云数据从车体坐标系转换至地图坐标系。

分别对左车点云数据（cloud_left_car）、右车点云数据（cloud_right_car）和顶车点云数据（cloud_top_car）进行如下操作：

S3031：获取车辆的定位参数。

其中，定位参数从车辆的定位模块中获取。定位参数可以包括：时间戳、空间六自由度信息（沿X轴的平移、沿Y轴的平移、沿Z轴的平移、沿X轴的转动、沿Y轴的转动、沿Z轴的转动）。通过对定位参数进行计算，可以得到车体坐标系与地图坐标系之间的变换矩阵。

其中，变换矩阵包括旋转矩阵和平移矩阵。旋转矩阵为

，平移矩阵为

。其中，

为车体坐标系相对于地图坐标系的偏航角，

为车体坐标系相对于地图坐标系在

方向的偏移量。

S3032：在定位参数中确定与左车点云数据（cloud_left_car）和右车点云数据（cloud_right_car）的时间戳间隔最近的时间戳对应的目标变换矩阵。

在车辆的定位模块中，不同的时间对应的空间六自由度信息会有所不同，进而使得不同时间戳对应有不同的从车体坐标系变换至地图坐标系的变换矩阵。在将左车点云数据（cloud_left_car）和右车点云数据（cloud_right_car）从车体坐标系变换至地图坐标系时，为了确保坐标变换的准确性，需要在定位参数中寻找出与左车点云数据（cloud_left_car）和右车点云数据（cloud_right_car）的时间戳间隔最近的时间戳对应的目标变换矩阵，以进行从车体坐标系至地图坐标系的转换。

S3033：基于目标变换矩阵将左车点云数据（cloud_left_car）和右车点云数据（cloud_right_car）从车体坐标系变换至地图坐标系。

具体为：

其中， 为地图坐标系下的三维点坐标，为车体坐标系下的三维点坐标，R为旋转矩阵，

，T为平移矩阵，

，

为车体坐标系相对于地图坐标系的偏航角，

为车体坐标系相对于地图坐标系在

方向的偏移量。

此时，得到的两帧点云数据为左点云数据（cloud_left_map）和右点云数据（cloud_right_map）。

S304：融合多帧点云数据。

在将原始点云数据从激光雷达坐标系转换至地图坐标系后，得到了左点云数据（cloud_left_map）和右点云数据（cloud_right_map）这两帧点云数据。在这里，就是将左点云数据（cloud_left_map）和右点云数据（cloud_right_map）进行融合，构成融合点云数据（cloud_map）。此时，车体坐标系下的从车顶的激光雷达中获取的顶点云数据（cloud_top_car）在此不进行融合。

图10示意性地示出了融合点云数据（cloud_map）。

S305：获取港口地图信息。

步骤S305与步骤S103相同，此处不再赘述。

S306：根据港口地图信息将融合点云数据（cloud_map）中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据（cloud_map_background）。

图11示意性地示出了融合点云数据（cloud_map）中不可通行区域的点云数据。

S307：去除去背景云数据（cloud_map_background）中车辆的后挂，得到去后挂点云数据（cloud_map_filtered）。

具体来说，S307可以包括：

S3071：通过顶点云数据（cloud_top_car）检测出车辆的后挂。

这里的后挂包括车辆自身的空挂和带有集装箱的后挂。

此时，通过顶点云数据（cloud_top_car）还能够检测出车辆的后挂与车头之间的夹角。该夹角能够输入至车辆的可视化界面，供自车模型使用。并且，该夹角还能够输入至车辆的规划控制模块，供规划控制模块在对车辆进行控制时使用。

S3072：去除去背景云数据（cloud_map_background）中车辆的后挂，得到去后挂点云数据（cloud_map_filtered）。

由于车辆顶部的16线激光雷达的点云比较稀疏，加入到融合点云数据中不仅不会改善障碍物的检测精度，还会增加障碍物检测的耗时，降低障碍物的检测效率，因此，无需将顶点云数据进行融合，进行障碍物检测。但是，可以通过顶点云数据确定出车辆自身的车挂，进而将融合点云数据中车辆自身的后挂去除，减少融合点云的数据量，提高障碍物检测速度。

S308：采用分层聚类的方式识别去后挂点云数据（cloud_map_filtered）中的障碍物。

不同的障碍物在点云数据中的位置有其自身的特点。例如：集装箱卡车较高，一般高于1.9米。空挂、轿车、行人在点云数据中的位置较低。故可以从点云数据中提取出不同高度的点云，分别进行各类障碍物的聚类识别。

具体来说，S308可以包括：

S3081：从去后挂点云数据（cloud_map_filtered）中提取第一点云数据。

其中，第一点云数据的底部与去后挂点云数据（cloud_map_filtered）底部的距离为第一阈值，第一点云数据的顶部与去后挂点云数据（cloud_map_filtered）底部的距离为第二阈值，第二阈值与第一阈值的差值小于去后挂点云数据（cloud_map_filtered）的总高度。

S3082：对第一点云数据进行第一障碍物检测，绘制出第一障碍物对应的俯视二维矩形包络框。

S3083：基于第一障碍物对应的俯视二维矩形包络框对去后挂点云数据（cloud_map_filtered）进行垂直方向的点云吸收。

S3084：从去后挂点云数据（cloud_map_filtered）中垂直吸收的点云中找出垂直方向的最大值，计算出第一障碍物的高度，并绘制出第一障碍物对应的三维矩形包络框。

S3085：基于第一障碍物对应的三维矩形包络框去除去后挂点云数据（cloud_map_filtered）中第一障碍物的点云数据，得到第一去障碍点云数据。

此时，可以将第一障碍物的点云数据添加到障碍物列表中。

S3086：从第一去障碍点云数据中提取第二点云数据。

其中，第二点云数据的底部与第一去障碍点云数据底部的距离为第三阈值，第二点云数据的顶部与第一去障碍点云数据顶部的距离为第四阈值，第四阈值与第三阈值的差值小于去后挂点云数据（cloud_map_filtered）的总高度。

S3087：对第二点云数据进行第二障碍物检测，绘制出第二障碍物对应的俯视二维矩形包络框。

S3088：基于第二障碍物对应的俯视二维矩形包络框对第一去障碍点云数据进行垂直方向的点云吸收。

S3089：从第一去障碍点云数据中垂直吸收的点云中找出垂直方向的最大值，计算出第二障碍物的高度，并绘制出第二障碍物对应的三维矩形包络框。

这里需要说明的是，去后挂点云数据（cloud_map_filtered）中存在多少种动态障碍物，就需要进行多少层聚类检测。在实际应用中，港口车辆获取的点云数据中的动态障碍物一般为集装箱卡车（带有集装箱的后挂和空挂）、轿车和行人。一般的，就进行四次检测。具体如下：

S308a：进行挂车车头和带有集装箱的后挂的检测。

具体来说，取出去后挂点云数据（cloud_map_filtered）中高度高于1.9米的点云进行挂车车头检测和带有集装箱的后挂检测，并绘制出对应的俯视二维矩形包络框，通过俯视二维矩形包络框对去后挂点云数据（cloud_map_filtered）进行垂直方向的吸收，对吸收后的点云进行遍历找到垂直方向的最大值，计算出车头的高度和带有集装箱的后挂高度，并绘制出对应的三维矩形包络框，并将其添加到障碍物列表中。

去除去后挂点云数据（cloud_map_filtered）中对挂车车头检测和带有集装箱的后挂检测所吸收的点云，保留剩余的点云为去集卡点云数据（cloud_map_remove_trunk）。

S308b：进行空挂的检测。

具体来说，取出去集卡点云数据（cloud_map_remove_trunk）中高度在0.8-1.9米之间的点云进行空挂检测，并绘制出对应的俯视二维矩形包络框，通过俯视二维矩形包络框对去集卡点云数据（cloud_map_remove_trunk）进行垂直方向的吸收，对吸收后的点云进行遍历找到垂直方向的最大值，计算出空挂的高度，并绘制出对应的三维矩形包络框，并将其添加到障碍物列表中。

去除去集卡点云数据（cloud_map_remove_trunk）中对空挂检测所吸收的点云，保留剩余的点云为去空挂点云数据（cloud_map_remove_trailer）。

S308c：进行轿车的检测。

具体来说，取出去空挂点云数据（cloud_map_remove_trailer）中高度在0.3-3.0米之间的点云进行轿车检测，并绘制出对应的俯视二维矩形包络框，通过俯视二维矩形包络框对去空挂点云数据（cloud_map_remove_trailer）进行垂直方向的吸收，对吸收后的点云进行遍历找到垂直方向的最大值，计算出轿车的高度，并绘制出对应的三维矩形包络框，并将其添加到障碍物列表中。

去除去空挂点云数据（cloud_map_remove_trailer）中对轿车检测所吸收的点云，保留剩余的点云为去轿车点云数据（cloud_map_remove_car）。

S308d：进行行人的检测。

具体来说，取出去轿车点云数据（cloud_map_remove_car）中高度在0.3-2.0米之间的点云进行行人检测，并绘制出对应的俯视二维包络框，通过俯视二维包络框对去轿车点云数据（cloud_map_remove_car）进行垂直方向的吸收，对吸收后的点云进行遍历找到垂直方向的最大值，计算出行人的高度，并绘制出对应的三维包络框，并将其添加到障碍物列表中。

去除去轿车点云数据（cloud_map_remove_car）中对行人检测所吸收的点云，将剩余的点云加入到背景点云数据（cloud_map_background）中。

S309：感知车辆环境信息。

具体来说，在获得障碍物列表后，可以对障碍物列表中的障碍物进行跟踪，估计出每一个障碍物的运动速度和方向。而对于进行障碍物跟踪的具体方式，可以采用现有技术，此处不再赘述。

S310：将感知的车辆环境信息输出至车辆的规划控制模块。

车辆的规划控制模块在接收到感知的车辆环境信息后，就能够基于车辆所处的环境对车辆的行驶进行自动控制。并且，还可以将障碍物列表中障碍物的点云和背景点云作为感知输出。

图12示意性地示出了输出的感知结果，由图12可知，车辆规划控制模块等根据输出的感知结果，能够确定当前车辆周围的环境，进而实现对当前车辆的控制。

基于同一发明构思，作为对上述方法的实现，本申请实施例还提供了一种车辆环境信息感知装置。图13示意性地示出了车辆环境信息感知装置的结构图，参见图13所示，该装置可以包括：

第一获取模块1301，用于获取多帧点云数据，每帧点云数据基于车辆中的不同激光雷达获取；

融合模块1302，用于融合所述多帧点云数据，得到融合点云数据；

第二获取模块1303，用于获取港口地图信息，所述港口地图信息中包含有不可通行区域和堆场区域的位置信息；

去背景模块1304，用于根据所述港口地图信息将所述融合点云数据中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据；

感知模块1305，用于识别所述去背景点云数据中的障碍物，感知车辆环境信息。

基于前述实施例，所述多帧点云数据包括：左点云数据、右点云数据和顶点云数据；所述左点云数据基于安装在所述车辆正面左侧的左激光雷达获取，所述右点云数据基于安装在所述车辆正面右侧的右激光雷达获取，所述顶点云数据基于安装在所述车辆顶部的顶激光雷达获取；

所述融合模块，用于融合所述左点云数据和所述右点云数据；

所述感知模块，用于从所述顶点云数据中检测出所述车辆的后挂；去除所述去背景云数据中所述车辆的后挂，得到去后挂点云数据；识别所述去后挂点云数据中的障碍物。

基于前述实施例，所述第一获取模块，用于从所述左激光雷达中获取左原始点云数据，从所述右激光雷达中获取右原始点云数据，从所述顶激光雷达中获取顶原始点云数据；将所述左原始点云数据、所述右原始点云数据和所述顶原始点云数据在Z轴方向上从激光雷达坐标系变换至车体坐标系，得到Z轴左车点云数据、Z轴右车点云数据和Z轴顶车点云数据；对所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据进行去噪；将去噪后的所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据在X轴和Y轴方向上从激光雷达坐标系变换至车体坐标系，得到左车点云数据、右车点云数据和顶车点云数据；将所述左车点云数据、所述右车点云数据和所述顶车点云数据从车体坐标系变换至地图坐标系，得到左点云数据、右点云数据和顶点云数据。

基于前述实施例，所述第一获取模块，用于从所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据中提取出地面上方第一预设距离的点云，作为感知候选点；从所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据中提取出地面上方第二预设距离的点云，作为拟合地面候选点，所述第二预设距离小于所述第一预设距离；对所述拟合地面候选点进行下采样、采用平面拟合算法进行地面点云拟合；根据所述左激光雷达、所述右激光雷达和所述顶激光雷达中每一个激光点的线束、纵向方位角和横向方位角对所述感知候选点构建深度图；采用线扫描法滤除所述深度图中的所述地面点云；根据欧式距离去除滤除地面点云后的所述深度图中的噪声点。

基于前述实施例，所述第一获取模块，用于从所述车辆的定位模块中获取变换矩阵及其对应的时间戳，不同时间戳对应的变换矩阵不同，所述变换矩阵是基于车体坐标系相对于地图坐标系的偏航角以及在X、Y方向上的偏移量构建的；在所述定位模块的时间戳中确定与所述左车点云数据的时间戳以及与所述右车点云数据的时间戳最近的时间戳对应的目标变换矩阵；基于所述目标变换矩阵将所述左车点云数据和所述右车点云数据从车体坐标系变换至地图坐标系。

基于前述实施例，所述感知模块，用于从所述去背景点云数据中提取第一点云数据，所述第一点云数据的底部与所述去背景点云数据底部的距离为第一阈值，所述第一点云数据的顶部与所述去背景点云数据底部的距离为第二阈值，所述第二阈值与所述第一阈值的差值小于所述去背景点云数据的总高度；对所述第一点云数据进行第一障碍物检测，绘制出所述第一障碍物对应的俯视二维矩形包络框；基于所述第一障碍物对应的俯视二维矩形包络框对所述去背景点云数据进行垂直方向的点云吸收；从所述去背景点云数据中垂直吸收的点云中找出垂直方向的最大值，计算出所述第一障碍物的高度，并绘制出所述第一障碍物对应的三维矩形包络框。

基于前述实施例，所述感知模块，用于基于所述第一障碍物对应的三维矩形包络框去除所述去背景点云数据中所述第一障碍物的点云数据，得到第一去障碍点云数据；从所述第一去障碍点云数据中提取第二点云数据，所述第二点云数据的底部与所述第一去障碍点云数据底部的距离为第三阈值，所述第二点云数据的顶部与所述第一去障碍点云数据顶部的距离为第四阈值，所述第四阈值与所述第三阈值的差值小于所述去背景点云数据的总高度；对所述第二点云数据进行第二障碍物检测，绘制出所述第二障碍物对应的俯视二维矩形包络框；基于所述第二障碍物对应的俯视二维矩形包络框对所述第一去障碍点云数据进行垂直方向的点云吸收；从所述第一去障碍点云数据中垂直吸收的点云中找出垂直方向的最大值，计算出所述第二障碍物的高度，并绘制出所述第二障碍物对应的三维矩形包络框。

基于前述实施例，所述第一阈值为1.9米，所述第二阈值为4米，所述第一障碍物为挂车车头和带有集装箱的后挂；

所述第三阈值为0.8米，所述第四阈值为1.9米，所述第一障碍物为空挂；或者，所述第三阈值为0.3米，所述第四阈值为3米，所述第一障碍物为轿车；或者，所述第三阈值为0.3米，所述第四阈值为2米，所述第一障碍物为行人；其中，进行空挂、轿车、行人检测是依次进行的。

基于前述实施例，所述感知模块，用于对所述障碍物进行跟踪，估计出所述障碍物的运动速度和方向。

这里需要指出的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

基于同一发明构思，本申请实施例还提供了一种电子设备。图14示意性地示出了电子设备的结构图，参见图14所示，该电子设备可以包括：至少一个处理器1401；以及与处理器1401连接的至少一个存储器1402、总线1403；其中，处理器1401、存储器1402通过总线1403完成相互间的通信；处理器1401用于调用存储器1402中的程序指令，以执行上述一个或多个实施例中的方法。

这里需要指出的是，以上电子设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请电子设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的方法。

这里需要指出的是，以上计算机可读存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车辆环境信息感知方法，其特征在于，包括：

获取多帧点云数据，每帧点云数据基于车辆中的不同激光雷达获取；

融合所述多帧点云数据，得到融合点云数据；

获取港口地图信息，所述港口地图信息中包含有不可通行区域和堆场区域的位置信息；

根据所述港口地图信息将所述融合点云数据中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据；

识别所述去背景点云数据中的障碍物，感知车辆环境信息。

2.根据权利要求1所述方法，其特征在于，所述多帧点云数据包括：左点云数据、右点云数据和顶点云数据；所述左点云数据基于安装在所述车辆正面左侧的左激光雷达获取，所述右点云数据基于安装在所述车辆正面右侧的右激光雷达获取，所述顶点云数据基于安装在所述车辆顶部的顶激光雷达获取；

所述融合所述多帧点云数据，包括：

融合所述左点云数据和所述右点云数据；

所述识别所述去背景点云数据中的障碍物，包括：

从所述顶点云数据中检测出所述车辆的后挂；

去除所述去背景云数据中所述车辆的后挂，得到去后挂点云数据；

识别所述去后挂点云数据中的障碍物。

3.根据权利要求2所述方法，其特征在于，所述获取多帧点云数据，包括：

从所述左激光雷达中获取左原始点云数据，从所述右激光雷达中获取右原始点云数据，从所述顶激光雷达中获取顶原始点云数据；

将所述左原始点云数据、所述右原始点云数据和所述顶原始点云数据在Z轴方向上从激光雷达坐标系变换至车体坐标系，得到Z轴左车点云数据、Z轴右车点云数据和Z轴顶车点云数据；

对所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据进行去噪；

将去噪后的所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据在X轴和Y轴方向上从激光雷达坐标系变换至车体坐标系，得到左车点云数据、右车点云数据和顶车点云数据；

将所述左车点云数据、所述右车点云数据和所述顶车点云数据从车体坐标系变换至地图坐标系，得到左点云数据、右点云数据和顶点云数据。

4.根据权利要求3所述方法，其特征在于，所述对所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据进行去噪，包括：

从所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据中提取出地面上方第一预设距离的点云，作为感知候选点；

从所述Z轴左车点云数据、所述Z轴右车点云数据和所述Z轴顶车点云数据中提取出地面上方第二预设距离的点云，作为拟合地面候选点，所述第二预设距离小于所述第一预设距离；

对所述拟合地面候选点进行下采样、采用平面拟合算法进行地面点云拟合；

根据所述左激光雷达、所述右激光雷达和所述顶激光雷达中每一个激光点的线束、纵向方位角和横向方位角对所述感知候选点构建深度图；

采用线扫描法滤除所述深度图中的所述地面点云；

根据欧式距离去除滤除地面点云后的所述深度图中的噪声点。

5.根据权利要求3所述方法，其特征在于，所述将所述左车点云数据、所述右车点云数据和所述顶车点云数据从车体坐标系变换至地图坐标系，包括：

从所述车辆的定位模块中获取变换矩阵及其对应的时间戳，不同时间戳对应的变换矩阵不同，所述变换矩阵是基于车体坐标系相对于地图坐标系的偏航角以及在X、Y方向上的偏移量构建的；

在所述定位模块的时间戳中确定与所述左车点云数据的时间戳以及与所述右车点云数据的时间戳最近的时间戳对应的目标变换矩阵；

基于所述目标变换矩阵将所述左车点云数据和所述右车点云数据从车体坐标系变换至地图坐标系。

6.根据权利要求1所述方法，其特征在于，所述识别所述去背景点云数据中的障碍物，包括：

从所述去背景点云数据中提取第一点云数据，所述第一点云数据的底部与所述去背景点云数据底部的距离为第一阈值，所述第一点云数据的顶部与所述去背景点云数据底部的距离为第二阈值，所述第二阈值与所述第一阈值的差值小于所述去背景点云数据的总高度；

对所述第一点云数据进行第一障碍物检测，绘制出所述第一障碍物对应的俯视二维矩形包络框；

基于所述第一障碍物对应的俯视二维矩形包络框对所述去背景点云数据进行垂直方向的点云吸收；

从所述去背景点云数据中垂直吸收的点云中找出垂直方向的最大值，计算出所述第一障碍物的高度，并绘制出所述第一障碍物对应的三维矩形包络框。

7.根据权利要求6所述方法，其特征在于，在绘制出所述第一障碍物对应的三维矩形包络框之后，所述方法还包括：

基于所述第一障碍物对应的三维矩形包络框去除所述去背景点云数据中所述第一障碍物的点云数据，得到第一去障碍点云数据；

从所述第一去障碍点云数据中提取第二点云数据，所述第二点云数据的底部与所述第一去障碍点云数据底部的距离为第三阈值，所述第二点云数据的顶部与所述第一去障碍点云数据顶部的距离为第四阈值，所述第四阈值与所述第三阈值的差值小于所述去背景点云数据的总高度；

对所述第二点云数据进行第二障碍物检测，绘制出所述第二障碍物对应的俯视二维矩形包络框；

基于所述第二障碍物对应的俯视二维矩形包络框对所述第一去障碍点云数据进行垂直方向的点云吸收；

从所述第一去障碍点云数据中垂直吸收的点云中找出垂直方向的最大值，计算出所述第二障碍物的高度，并绘制出所述第二障碍物对应的三维矩形包络框。

8.根据权利要求7所述方法，其特征在于，所述第一阈值为1.9米，所述第二阈值为4米，所述第一障碍物为挂车车头和带有集装箱的后挂；

所述第三阈值为0.8米，所述第四阈值为1.9米，所述第一障碍物为空挂；或者，所述第三阈值为0.3米，所述第四阈值为3米，所述第一障碍物为轿车；或者，所述第三阈值为0.3米，所述第四阈值为2米，所述第一障碍物为行人；其中，进行空挂、轿车、行人检测是依次进行的。

9.根据权利要求1所述方法，其特征在于，所述感知车辆环境信息，包括：

对所述障碍物进行跟踪，估计出所述障碍物的运动速度和方向。

10.一种车辆环境信息感知装置，其特征在于，包括：

第一获取模块，用于获取多帧点云数据，每帧点云数据基于车辆中的不同激光雷达获取；

融合模块，用于融合所述多帧点云数据，得到融合点云数据；

第二获取模块，用于获取港口地图信息，所述港口地图信息中包含有不可通行区域和堆场区域的位置信息；

去背景模块，用于根据所述港口地图信息将所述融合点云数据中不可通行区域和堆场区域的点云数据去除，得到去背景点云数据；

感知模块，用于识别所述去背景点云数据中的障碍物，感知车辆环境信息。

Images