CN113986504A - 一种点云数据的处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种点云数据的处理方法、装置、电子设备及存储介质，其中，该方法包括：获取待处理的点云数据；利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。本公开将点云数据的处理任务划分成了多个子任务，针对不同的子任务的特性可以调度不同的处理资源进行数据处理，这将显著的提高点云数据的处理效率，提升在各个应用领域的适应性。

Description

一种点云数据的处理方法、装置、电子设备及存储介质

技术领域

本公开涉及点云数据处理技术领域，具体而言，涉及一种点云数据的处理方法、装置、电子设备及存储介质。

背景技术

随着激光雷达技术的不断发展，应用激光雷达进行点云数据的采集广泛应用于各个领域，如目标感知、三维(3-Dimensional，3D)目标检测、3D目标重建、自动驾驶等。

以目标感知为例，由于激光雷达所产生的点云数据量大，且实时更新，若直接对采集的点云数据进行处理，将导致处理效果不佳，进一步使得目标感知的实时性较差。

发明内容

本公开实施例至少提供一种点云数据的处理方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种点云数据的处理方法，包括：

获取待处理的点云数据；

利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；

其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对所述点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。

采用上述点云数据的处理方法，其在获取到待处理的点云数据的情况下，可以利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行至少一次任务阶段的数据处理，得到处理结果。本公开将点云数据的处理任务划分成了多个子任务，针对不同的子任务的特性可以调度不同的处理资源进行数据处理，这将显著的提高点云数据的处理效率，提升在各个应用领域的适应性。

在一种可能的实施方式中，在所述子任务包括第一个任务阶段对应的点云栅格化任务的情况下，所述利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果，包括：

利用为所述第一个任务阶段预先分配的硬件资源或者软件资源，对所述点云数据进行栅格化处理，得到各个栅格对应的点云数据。

这里，可以对点云数据进行栅格化处理，以便于实现对同一个栅格内的点云点的数据的统一分析。

在一种可能的实施方式中，在所述子任务还包括第二个任务阶段对应的栅格特征提取任务的情况下，所述利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果，包括：

利用为所述第二个任务阶段预先分配的硬件资源，对得到的所述各个栅格对应的点云数据进行特征提取，确定每个栅格的点云特征信息。

这里，可以对栅格化后的点云数据进行栅格特征提取，通过以栅格为单位，对每个栅格对应的点云数据进行整体点云特征提取，提高了点云特征提取的效率。

在一种可能的实施方式中，为所述第二个任务阶段预先分配的硬件资源包括第一硬件加速器；在得到各个栅格对应的点云数据之后，所述方法还包括：

按照点云点之间的位置顺序，将所述各个栅格对应的点云数据顺序存储到存储介质中；

所述利用为所述第二个任务阶段预先分配的硬件资源，对得到的所述各个栅格对应的点云数据进行特征提取，确定每个栅格的点云特征信息，包括：

利用所述第一硬件加速器，按照栅格之间的位置顺序，从所述存储介质存储的各个栅格对应的点云数据中顺序读取每个点云点的数据，并基于读取的各个点云点的数据，确定每个栅格的点云特征信息。

这里，在以栅格为单位顺序存储各个点云点的数据在存储介质的情况下，在针对各个栅格进行特征提取之前，可以先从存储介质中依次读取每个栅格对应的点云数据，进而确定与每个栅格对应的点云特征信息，在提升了数据读取的效率的前提下，确保了点云特征提取的效率。

在一种可能的实施方式中，所述基于读取的各个点云点的数据，确定每个栅格的点云特征信息，包括：

基于读取的各个点云点的数据，确定所述栅格中各个点云点的点云特征信息；

基于所述栅格包括的各个点云点的点云特征信息，确定所述栅格的点云数据对应的编码特征信息，并将所述编码特征信息作为所述栅格的点云特征信息；其中，所述编码特征信息的特征维度数大于所述点云特征信息的维度数。

这里，为了实现栅格特征提取，首先可以基于点云点的坐标信息对多个点云点中每个点云点进行特征增强并得到特征增强后的编码特征信息，相当于对一个栅格内多个点云点的特征进行了融合。

在一种可能的实施方式中，在所述子任务还包括第三个任务阶段对应的目标检测任务、且为所述第三个任务阶段预先分配的处理资源包括第二硬件加速器的情况下，在确定每个栅格的点云特征信息之后，所述方法还包括：

将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测，得到目标检测结果。

这里，考虑到栅格对应的点云特征信息呈现了相关目标对象的空间分布情况，因而，可以将栅格特征提取过程所提取到的点云特征信息作为目标检测网络的输入信息，进行目标对象信息的检测，在点云特征提取的速度较快的前提下，目标检测的效率也得以提升。

在一种可能的实施方式中，所述目标检测网络包括卷积核大小不同的多个卷积层，所述将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测，包括：

将所述栅格的点云特征信息输入至所述目标检测网络包括的多个卷积层，得到每个卷积层输出的卷积特征信息；

基于多个所述卷积层输出的卷积特征信息，确定所述目标检测结果。

在一种可能的实施方式中，所述将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测，包括：

将同一特征维度下的各个栅格的点云特征信息作为一组输入信息，将不同特征维度分别对应的不同组输入信息并行输入至所述目标检测网络中进行目标检测。

为了更好的提取出目标对象信息，在将点云特征信息输入至目标检测网络之前，可以在特征维度上对栅格的点云特征信息进行分解，分解后的点云特征信息能够呈现不同特征维度对目标对象检测结果的影响，提升了检测准确度。

在一种可能的实施方式中，在所述待处理的点云数据包括多个分片的点云数据的情况下，在对所述点云数据进行栅格化处理之前，所述方法还包括：

针对每个分片的点云数据，基于预设重叠范围从该分片之前的一个分片的点云数据中提取重叠点云数据，并基于所述重叠点云数据对该分片的点云数据进行更新，得到该分片的更新后点云数据；

所述对所述点云数据进行栅格化处理，包括：

对多个分片的更新后点云数据并行执行栅格化处理。

这里，通过对分片之间的重叠点云数据进行特殊处理，可以优化在边界处针对点云数据的处理效果。

在一种可能的实施方式中，在所述子任务还包括第四个任务阶段对应的目标跟踪任务的情况下，所述方法还包括：

在基于多个分片的点云数据执行完所述目标检测任务的情况下，将所述多个分片的点云数据对应的目标检测结果进行整合，得到所述待处理的点云数据对应的整合检测结果；

基于所述待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息。

这里，目标跟踪任务可以是基于单帧或多帧点云数据实现的，对于由多个分片所构成的待处理的点云数据而言，这里可以先进行各个分片对应的目标检测结果的整合，再进行目标跟踪，以确保实现完整目标对象的跟踪。

在一种可能的实施方式中，在基于所述待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息之前，所述方法还包括：

针对每个分片的点云数据，从该分片的点云数据对应的目标检测结果中提取该分片的点云数据中的重叠点云数据对应的子检测结果；

基于所述子检测结果，对所述整合检测结果进行更新；

基于所述待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息，包括：

基于更新后的整合检测结果，确定目标对象的跟踪轨迹信息。

这里，针对前一环节添加的重叠点云数据，在进行目标跟踪之前，需要进行相应检测结果的更新，以确保后续进行目标跟踪的准确性。

第二方面，本公开实施例还提供了一种点云数据的处理装置，包括：

获取模块，用于获取待处理的点云数据；

处理模块，用于利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；

其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对所述点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的点云数据的处理方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的点云数据的处理方法的步骤。

关于上述点云数据的处理装置、电子设备、及计算机可读存储介质的效果描述参见上述点云数据的处理方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种点云数据的处理方法的流程图；

图2示出了本公开实施例所提供的点云数据的处理方法中，栅格化过程的具体示例图；

图3(a)示出了本公开实施例所提供的点云数据的处理方法中，特征编码前的具体示例图；

图3(b)示出了本公开实施例所提供的点云数据的处理方法中，特征编码后的具体示例图；

图4示出了本公开实施例所提供的一种点云数据的处理方法的应用示意图；

图5示出了本公开实施例所提供的一种点云数据的处理装置的示意图；

图6示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，由于激光雷达所产生的点云数据量大，且实时更新，这使得既要高效处理又要易部署是很难的。一方面，相关加速方法应该具备较高的性价比和能效，且易于部署，以便推广落地；另一方面，提高实时性、易部署的同时，基于点云数据的预测精度也应维持在合理的水平；最后，为了满足通用性和灵活性，其实现方法需要兼容后续模型和点云特征的迭代更新。

基于上述研究，本公开提供了一种基于流水线方式进行点云数据处理的方案，以提高数据处理效率，提升在各个应用领域的适应性。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种点云数据的处理方法进行详细介绍，本公开实施例所提供的点云数据的处理方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该点云数据的处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的点云数据的处理方法的流程图，方法包括步骤S101～S102，其中：

S101：获取待处理的点云数据；

S102：利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。

为了便于理解本公开实施例提供的点云数据的处理方法，接下来首先对该方法的应用场景进行简单说明。上述点云数据的处理方法主要可以应用于目标检测、三维目标重建领域，还可以应用于其它任何需要进行点云数据处理的相关领域中，这里不做具体的限制。考虑到目标检测场景的广泛应用，接下来多以目标检测为例进行说明。

考虑到相关技术中由于激光雷达所产生的点云数据量大，且实时更新，若直接对采集的点云数据进行处理，将导致处理效果不佳。为了解决上述问题，本公开实施例提供了一种流水线处理方式进行点云数据处理的方法，以提升处理效率。

其中，本公开实施例中待处理的点云数据可以是利用雷达设备采集得到的。这里的雷达设备可以采用旋转式扫描激光雷达，还可以采用其他雷达设备，对此不做具体的限制。以旋转式扫描激光雷达为例，该激光雷达在水平方向旋转扫描时可以获取周边环境内有关的三维点云数据。

在进行旋转扫描的过程中，激光雷达可以采用多线扫描方式，即发射使用多个激光管顺序发射，结构为多个激光管纵向排列，即在水平方向旋转扫描的过程中，进行垂直方向的多层扫描。每个激光管之间有一定的夹角，垂直发射视场可以在30°～40°，这样，在激光雷达设备每旋转一个扫描角度可以获取多个激光管发射激光所返回的一个数据包，将各个扫描角度获取的数据包进行拼接即可得到一帧点云数据(对应旋转一周扫描360°)，在激光雷达扫描一周后，即可以扫描得到一帧点云数据。

本公开实施例可以将扫描得到的多帧点云数据进行集合，作为待处理的点云数据，例如，可以将预设时长(如3分钟)内针对预设应用场景(如道路交通场景)所采集的多帧点云数据作为待处理的点云数据。

在实际应用中，上述待处理的点云数据，还可以是由多个分片的点云数据构成的一帧点云数据，例如，可以是两个半帧所对应的分片构成，也可以是由四个四分之一帧所对应的分片构成，还可以由其它分片构成。除此之外，这里的待处理的点云数据还可以是其它分片构成方式得到的，这里可以基于不同类型的雷达设备来确定，在此不做具体的限制。

针对待处理的点云数据而言，这里可以对点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果。其中，针对每个任务阶段预先分配有对应的处理资源，在执行对应任务阶段所对应的子任务的情况下，可以利用所分配的处理资源进行对应任务阶段的数据处理。

可知的是，本公开实施例在对点云数据处理的过程中，可以将处理任务划分为多个子任务，并通过各个子任务对应的任务阶段之间的解耦操作实现对应任务阶段的数据处理，便于利用异构计算资源进行软硬件分割和协同设计，解决加速的灵活性和通用性问题，方便部署。

本公开实施例中，有关需要对点云数据执行的处理任务可以是基于不同的应用场景来确定的，不同的应用场景所对应的处理任务可以划分的子任务可以相同也可以不同，在此不做具体的限制。

在进行处理任务划分的过程中，可以确定的是子任务之间的处理顺序，这样，在执行对应子任务的过程中，可以基于该子任务所处任务阶段预先分配的处理资源进行相应的数据处理，以得到对应子任务的处理结果。以目标检测任务为例，这里所划分得到的多个子任务可以依次是点云栅格化任务、栅格特征提取任务、目标检测任务。以三维点云重建任务为例，这里所划分得到的多个子任务可以依次是点云栅格化任务、栅格特征提取任务、三维重建任务。

本公开实施例中，上一个任务阶段的输出可以作为下一个任务阶段的输入，以此类推，直至可以得到整个处理任务所对应的处理结果。这里，通过将各个任务阶段利用异构计算资源进行流水线处理，可以解决在小算力芯片上的加速瓶颈，降低处理耗时，提高处理帧率，实现性能和实时性的均衡。

在处理任务包括第一个任务阶段对应的点云栅格化任务的情况下，这里，可以利用为第一个任务阶段预先分配的硬件资源或者软件资源，对点云数据进行栅格化处理，得到各个栅格对应的点云数据。

本公开实施例中的点云栅格化过程，即是对点云数据进行栅格化处理的过程。考虑到在实际的应用中，由雷达设备所采集的原始点云数据量通常较大，通常会被存储至片外存储器，例如双倍速率同步动态随机存储器(Double Data Rate Synchronous DynamicRandom Access Memory，DDR SDRAM)中的DDR3\DDR4上，而从处理效率层面出发，本公开实施例所提供的点云数据的处理方法中的点云栅格化可以是依赖于片上存储器的存储，因而，在进行栅格化处理的过程中，首先可以是按照第一存储介质(对应片外存储器)的读取机制读取点云数据所对应的多个点云点，而后可以针对每个点云点确定其所映射的栅格，这样，可以按照栅格信息将点云点写入到第二存储介质(对应片上存储器)对应的存储地址上。

需要说明的是，在将各个点云点写入存储介质的过程中，可以先对落入一个栅格内的各个点云点进行坐标排序，例如，按照横向坐标值由小到大的顺序对各个点云点进行排序，从而可以根据排序结果进行顺序写入。

其中，上述写入点云点的数据的过程中涉及到对存储介质的乱序访问。这主要是考虑到在读取到一个点云点的数据之后，首先需要确定该点云点所属的栅格，这里，在将上述点云点写入栅格所对应存储介质之前，可以针对该点云点所属的栅格对应存储的其它点云点进行乱序访问，在经过排序操作之后，即可以将排序后的各个点云点顺序写入存储介质，从而便于后续栅格特征提取阶段对栅格内数据的顺序读取，。

本公开实施例中，一个点云点的初始特征可以是其坐标信息，该坐标信息可以包括横向坐标值、纵向坐标值、高度坐标值以及深度坐标值，可以使用{X,Y,Z,I}对应表示上述坐标值(如图2所示的点云点P1的示例所示)，可知的是，一个点云点的初始特征的特征维度是4维。例如，在确定一个栅格内共计16个点云点的情况下，可以将排序后的16个点云点{P1,P2……，P16}顺序写入一个栅格所在的存储地址，如图2所示，其它栅格所写入的点云点的个数等信息未做具体示例。

在执行完第一个任务阶段对应的点云栅格化任务的情况下，这里可以利用为第二个任务阶段预先分配的硬件资源，对得到的各个栅格对应的点云数据进行特征提取。本公开实施例中，栅格特征提取过程可以是利用第一硬件加速器对栅格对应的点云数据集进行特征提取的过程。

在进行栅格特征提取的过程中，可以是针对栅格内的点云数据进行统一分析的过程。在具体应用中，可以先读取每个栅格对应的点云数据，而后对该栅格内的点云数据中的每个点云点进行特征增强，特征增强前点云点的特征维度小于特征增强后点云点的特征维度，也即凸显了栅格内各个点云点的特征信息，最后可以基于增强后的各个点云点的特征信息实现栅格对应的点云数据的特征编码，从而实现了栅格的特征提取。

在实际应用中，针对一个栅格内的点云数据，可以首先确定该栅格内每个点云点对应的卷积特征信息。这里，以一个栅格内的点云数据包括16个点云点，每个点云点增强后的增强特征信息的维度为9为例，可以针对16个点云点分别进行卷积运算，如可以采用1x1卷积进行卷积运算，从而得到各个点云点对应的卷积特征信息。

将16个卷积特征信息进行求和运算，即可得到与栅格对应的卷积特征信息，这时，可以利用激活函数对点云数据进行处理，从而得到对应的编码特征信息，例如可以编码为32维度(对应第二特征维度)的编码特征信息。

如图3(a)～3(b)为针对栅格化后的32个栅格内的一个栅格进行特征编码的具体示例图。如图3(a)所示，三个轴向分别指示的是栅格数量，如W＝32所示，栅格内点云点的数量，如H＝16所示，每个点云点增强后的增强特征信息(如点云点P1的增强特征信息所示)的维度，如C＝9所示，这样，在按照上述特征编码方式实现编码之后，可以确定三个轴向分别指示的W＝32，H＝1，C＝32，即实现了一个栅格中的点云数据所包括的各个点云点特征的融合，对应编码特征信息，如图3(b)所示。

在具体应用中，可以采用线性整流函数(Rectified Linear Unit,ReLU)这一激活函数进行编码处理，该函数可以将指示卷积特征值小于等于零的点云数据对应编码为0，将指示卷积特征值大于零的点云数据对应编码为1，所得到的编码特征信息在1的位置可以对应有目标对象，在0的位置则可以对应的是背景，从而便于实现后续的目标检测。

需要说明的是，基于在点云栅格化任务过程中，有关点云点的顺序写入操作，在进行栅格特征提取之前，可以顺序读取写入的有关点云点的数据。

这里，可以分别为上述点云栅格化处理操作和栅格特征提取操作设置对应的接口，这里，可以在第一硬件加速器上设置点云栅格化操作和栅格特征提取操作之间的接口，利用这一接口实现对存储介质中存储的栅格化后的点云数据的顺序访问。

其中，上述存储介质可以是片上存储器，还可以是片外存储器，在片上缓存无法满足访问需求的情况下，可以采用片外存储器，在片上缓存资源充足的芯片上可以直接采用片上存储器，而无需读写片外存储器，从而降低时延，提高访问实时性。

本公开实施例中，在按照上述方法确定出每个栅格对应的点云特征信息之后，即可以将该点云特征信息作为目标检测网络的输入信息实现目标对象信息的检测。

其中，基于不同的应用场景，所确定的目标对象也不同。例如，针对自动驾驶而言，上述目标对象可以是自动驾驶汽车前方的人物，还可以是汽车前方的车辆，本公开实施例对此不做具体的限制。

本公开实施例中，上述有关目标检测网络可以是在第二硬件加速器上训练得到的。第二硬件加速器可以是定制的硬件加速器，用于适配于目标检测网络的训练和应用。

其中，在训练目标检测网络的过程中，可以训练的是点云数据样本以及针对点云数据样本的目标对象标注结果之间的对应关系，也即，可以将点云数据样本的点云特征作为待训练的目标检测网络的输入数据，将针对点云数据样本的目标对象标注结果作为待训练的目标检测网络的输出结果的监督数据对目标检测网络进行多轮训练，即可以得到训练好的目标检测网络。这样，在执行完第二个任务阶段对应的栅格特征提取任务的情况下，可以通过调用部署了训练好的目标检测网络的第二硬件加速器快速的实现有关目标第三个任务阶段对应的目标检测任务。

为了便于能够检测出不同尺寸的目标对象，这里，可以通过目标检测网络包括的多个卷积层进行不同卷积参数的卷积运算，以通过多个卷积层输出的卷积特征信息，确定目标检测结果，目标检测结果的准确性更高。

本公开实施例中，为了适配目标检测网络的数据接收方式，还可以进行特征拆解。这里，可以将各个栅格在同一特征维度下的点云特征信息作为一组输入信息，将同一特征维度下的各个栅格的点云特征信息作为一组输入信息，将不同特征维度分别对应的不同组输入信息并行输入至训练好的目标检测网络中，从目标场景中确定目标对象信息。这里，由于不同特征维度一定程度上可以表征目标对象的一些相关信息，通过特征拆解，还可以在确保可以适配目标检测网络的前提下，进一步提升检测的精度。

例如，在确定栅格的点云特征信息的维度为32维的情况下，可以将统一特征维度下的各个栅格的点云特征信息作为一组输入信息，不同特征维度将对应不同组的输入信息，共计对应32组输入信息，将这32组输入信息输入到目标检测网络中即可以实现目标对象信息的确定。

考虑到待处理的点云数据可以是包括多个分片的点云数据，例如，可以是两个半帧的点云数据，还可以是其它分片形式的点云数据。为了进一步提升点云数据处理效率，这里可以先在分片之间增加拼接操作，而后通过并行执行多个分片的点云数据来执行栅格化处理等过程。

其中，上述拼接操作可以针对每个分片的点云数据，基于预设重叠范围从该分片之前的一个分片的点云数据中提取重叠点云数据，并基于重叠点云数据对该分片的点云数据进行更新，得到该分片的更新后点云数据。

以半帧分片为例，如图4所示，可以在下半帧相邻边界处填补上半帧的一部分点云数据，并在两个半帧的点云数据处理过程中，复用点云栅格化任务、栅格特征提取任务、目标检测任务这四个阶段的流水线处理流程，从而提高整个处理任务的吞吐率，提高处理帧率。

在基于多个分片的点云数据执行完目标检测任务的情况下，可以将多个分片的点云数据对应的目标检测结果进行整合，得到待处理的点云数据对应的整合检测结果，然后基于待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息。

这里，可以将多个分片的点云数据对应的目标检测结果进行整合，以确定待处理的点云数据对应的整合检测结果。这里仍以半帧分片为例，在上半帧点云数据检测出目标对象的一部分，下半帧点云数据检测出同一目标对象的另一部分的情况下，可以得到整合检测结果对应的是整个目标对象的相关信息。如图4所示，对一帧点云数据的处理任务中包括了第四个任务阶段对应的目标跟踪任务。

考虑到在进行各个分片的栅格化处理的过程中进行了有关点云数据的拼接操作，为了进一步确保跟踪结果的准确性，在确定目标对象的跟踪轨迹之前，这里可以针对每个分片的点云数据，从该分片的点云数据对应的目标检测结果中提取该分片的点云数据中的重叠点云数据对应的子检测结果，对应的是图4中的目标检测和分类之后的后处理阶段。

这样，在基于子检测结果对整合检测结果进行更新的情况下，可以确定出更为准确的跟踪轨迹信息。由于跟踪轨迹信息可以很好的描述目标对象的行为轨迹，通过行为轨迹分析可以实现对目标对象的有效管理，例如，在目标对象做出一些异常行为的情况下，可以及时的基于跟踪轨迹找到目标对象，以避免异常行为对当下环境带来的不良影响。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与点云数据的处理方法对应的点云数据的处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述点云数据的处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图5所示，为本公开实施例提供的一种点云数据的处理装置的示意图，装置包括：获取模块501、处理模块502；其中，

获取模块501，用于获取待处理的点云数据；

处理模块502，用于利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；

其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。

采用上述点云数据的处理装置，其在获取到待处理的点云数据的情况下，可以利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行至少一次任务阶段的数据处理，得到处理结果。本公开将点云数据的处理任务划分成了多个子任务，针对不同的子任务的特性可以调度不同的处理资源进行数据处理，这将显著的提高点云数据的处理效率，提升在各个应用领域的适应性。

在一种可能的实施方式中，在子任务包括第一个任务阶段对应的点云栅格化任务的情况下，处理模块502，用于按照以下步骤利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果：

利用为第一个任务阶段预先分配的硬件资源或者软件资源，对点云数据进行栅格化处理，得到各个栅格对应的点云数据。

在一种可能的实施方式中，在子任务还包括第二个任务阶段对应的栅格特征提取任务的情况下，处理模块502，用于按照以下步骤利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果：

利用为第二个任务阶段预先分配的硬件资源，对得到的各个栅格对应的点云数据进行特征提取，确定每个栅格的点云特征信息。

在一种可能的实施方式中，为第二个任务阶段预先分配的硬件资源包括第一硬件加速器；处理模块502，用于按照以下步骤确定每个栅格的点云特征信息：

在得到各个栅格对应的点云数据之后，按照点云点之间的位置顺序，将各个栅格对应的点云数据顺序存储到存储介质中；

利用第一硬件加速器，按照栅格之间的位置顺序，从存储介质存储的各个栅格对应的点云数据中顺序读取每个点云点的数据，并基于读取的各个点云点的数据，确定每个栅格的点云特征信息。

在一种可能的实施方式中，处理模块502，用于按照以下步骤基于读取的各个点云点的数据，确定每个栅格的点云特征信息：

基于读取的各个点云点的数据，确定栅格中各个点云点的点云特征信息；

基于栅格包括的各个点云点的点云特征信息，确定栅格的点云数据对应的编码特征信息，并将编码特征信息作为栅格的点云特征信息；其中，编码特征信息的特征维度数大于点云特征信息的维度数。

在一种可能的实施方式中，在子任务还包括第三个任务阶段对应的目标检测任务、且为第三个任务阶段预先分配的处理资源包括第二硬件加速器的情况下，处理模块502，还用于：

在确定每个栅格的点云特征信息之后，将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测，得到目标检测结果。

在一种可能的实施方式中，目标检测网络包括卷积核大小不同的多个卷积层，处理模块502，用于按照以下步骤将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测：

将栅格的点云特征信息输入至目标检测网络包括的多个卷积层，得到每个卷积层输出的卷积特征信息；

基于多个卷积层输出的卷积特征信息，确定目标检测结果。

在一种可能的实施方式中，处理模块502，用于按照以下步骤将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测：

将同一特征维度下的各个栅格的点云特征信息作为一组输入信息，将不同特征维度分别对应的不同组输入信息并行输入至目标检测网络中进行目标检测。

在一种可能的实施方式中，在待处理的点云数据包括多个分片的点云数据的情况下，处理模块502，用于按照以下步骤对点云数据进行栅格化处理：

在对点云数据进行栅格化处理之前，针对每个分片的点云数据，基于预设重叠范围从该分片之前的一个分片的点云数据中提取重叠点云数据，并基于重叠点云数据对该分片的点云数据进行更新，得到该分片的更新后点云数据；

对多个分片的更新后点云数据并行执行栅格化处理。

在一种可能的实施方式中，在子任务还包括第四个任务阶段对应的目标跟踪任务的情况下，处理模块502，还用于：

在基于多个分片的点云数据执行完目标检测任务的情况下，将多个分片的点云数据对应的目标检测结果进行整合，得到待处理的点云数据对应的整合检测结果；

基于待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息。

在一种可能的实施方式中，处理模块502，用于按照以下步骤确定目标对象的跟踪轨迹信息：

在基于待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息之前，针对每个分片的点云数据，从该分片的点云数据对应的目标检测结果中提取该分片的点云数据中的重叠点云数据对应的子检测结果；

基于子检测结果，对整合检测结果进行更新；

基于更新后的整合检测结果，确定目标对象的跟踪轨迹信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图6所示，为本公开实施例提供的电子设备结构示意图，包括：处理器601、存储器602、和总线603。存储器602存储有处理器601可执行的机器可读指令(比如，图5中的装置中获取模块501、处理模块502对应的执行指令等)，当电子设备运行时，处理器601与存储器602之间通过总线603通信，机器可读指令被处理器601执行时执行如下处理：

获取待处理的点云数据；

利用为每个任务阶段预先分配的处理资源，对点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；

其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的点云数据的处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的点云数据的处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种点云数据的处理方法，其特征在于，包括：

获取待处理的点云数据；

利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；

其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对所述点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。

2.根据权利要求1所述的处理方法，其特征在于，在所述子任务包括第一个任务阶段对应的点云栅格化任务的情况下，所述利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果，包括：

利用为所述第一个任务阶段预先分配的硬件资源或者软件资源，对所述点云数据进行栅格化处理，得到各个栅格对应的点云数据。

3.根据权利要求2所述的处理方法，其特征在于，在所述子任务还包括第二个任务阶段对应的栅格特征提取任务的情况下，所述利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果，包括：

利用为所述第二个任务阶段预先分配的硬件资源，对得到的所述各个栅格对应的点云数据进行特征提取，确定每个栅格的点云特征信息。

4.根据权利要求3所述的处理方法，其特征在于，为所述第二个任务阶段预先分配的硬件资源包括第一硬件加速器；在得到各个栅格对应的点云数据之后，所述方法还包括：

按照点云点之间的位置顺序，将所述各个栅格对应的点云数据顺序存储到存储介质中；

所述利用为所述第二个任务阶段预先分配的硬件资源，对得到的所述各个栅格对应的点云数据进行特征提取，确定每个栅格的点云特征信息，包括：

利用所述第一硬件加速器，按照栅格之间的位置顺序，从所述存储介质存储的各个栅格对应的点云数据中顺序读取每个点云点的数据，并基于读取的各个点云点的数据，确定每个栅格的点云特征信息。

5.根据权利要求4所述的处理方法，其特征在于，所述基于读取的各个点云点的数据，确定每个栅格的点云特征信息，包括：

基于读取的各个点云点的数据，确定所述栅格中各个点云点的点云特征信息；

基于所述栅格包括的各个点云点的点云特征信息，确定所述栅格的点云数据对应的编码特征信息，并将所述编码特征信息作为所述栅格的点云特征信息；其中，所述编码特征信息的特征维度数大于所述点云特征信息的维度数。

6.根据权利要求3-5任一所述的处理方法，其特征在于，在所述子任务还包括第三个任务阶段对应的目标检测任务、且为所述第三个任务阶段预先分配的处理资源包括第二硬件加速器的情况下，在确定每个栅格的点云特征信息之后，所述方法还包括：

将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测，得到目标检测结果。

7.根据权利要求6所述的处理方法，其特征在于，所述目标检测网络包括卷积核大小不同的多个卷积层，所述将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测，包括：

将所述栅格的点云特征信息输入至所述目标检测网络包括的多个卷积层，得到每个卷积层输出的卷积特征信息；

基于多个所述卷积层输出的卷积特征信息，确定所述目标检测结果。

8.根据权利要求6所述的处理方法，其特征在于，所述将确定的各个栅格的点云特征信息输入至所述第二硬件加速器上部署的目标检测网络中进行目标检测，包括：

将同一特征维度下的各个栅格的点云特征信息作为一组输入信息，将不同特征维度分别对应的不同组输入信息并行输入至所述目标检测网络中进行目标检测。

9.根据权利要求6-8任一所述的处理方法，其特征在于，在所述待处理的点云数据包括多个分片的点云数据的情况下，在对所述点云数据进行栅格化处理之前，所述方法还包括：

针对每个分片的点云数据，基于预设重叠范围从该分片之前的一个分片的点云数据中提取重叠点云数据，并基于所述重叠点云数据对该分片的点云数据进行更新，得到该分片的更新后点云数据；

所述对所述点云数据进行栅格化处理，包括：

对多个分片的更新后点云数据并行执行栅格化处理。

10.根据权利要求9所述的处理方法，其特征在于，在所述子任务还包括第四个任务阶段对应的目标跟踪任务的情况下，所述方法还包括：

在基于多个分片的点云数据执行完所述目标检测任务的情况下，将所述多个分片的点云数据对应的目标检测结果进行整合，得到所述待处理的点云数据对应的整合检测结果；

基于所述待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息。

11.根据权利要求10所述的处理方法，其特征在于，在基于所述待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息之前，所述方法还包括：

针对每个分片的点云数据，从该分片的点云数据对应的目标检测结果中提取该分片的点云数据中的重叠点云数据对应的子检测结果；

基于所述子检测结果，对所述整合检测结果进行更新；

基于所述待处理的点云数据对应的整合检测结果，确定目标对象的跟踪轨迹信息，包括：

基于更新后的整合检测结果，确定目标对象的跟踪轨迹信息。

12.一种点云数据的处理装置，其特征在于，包括：

获取模块，用于获取待处理的点云数据；

处理模块，用于利用为每个任务阶段预先分配的处理资源，对所述点云数据按照预设的子任务处理顺序进行多个任务阶段的数据处理，得到处理结果；

其中，每个任务阶段是对该任务阶段所对应的子任务的执行过程，该任务阶段所对应的子任务为对所述点云数据执行的处理任务预先进行划分得到的多个子任务中的一个子任务。

13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的点云数据的处理方法的步骤。

14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的点云数据的处理方法的步骤。

Images