CN111598022A - 一种三维目标检测系统及方法 - Google Patents

Abstract

本发明实施例公开一种三维目标检测系统及方法，系统包括：第一学习处理单元获得待检测点云数据对应的点云柱及对应的位置索引；获得各点云柱中各点云数据对应的局部特征信息；利用预设数据组合方式及点云柱中目标点云数据对应的局部特征信息，确定待检测点云数据对应的特征信息块；基于特征提取层及特征信息块，确定点云数据初始特征信息；数据处理单元基于每一点云柱对应的位置索引，排列点云数据初始特征信息中每一点云柱对应的初始特征信息，得到待检测点云数据对应的目标特征信息；第二学习处理单元基于特征检测层及待检测点云数据对应的目标特征信息，确定待检测点云数据中各三维目标对应的检测信息，以实现三维目标检测速度的提高。

Description

一种三维目标检测系统及方法

技术领域

本发明涉及目标检测技术领域，具体而言，涉及一种三维目标检测系统及方法。

背景技术

基于点云数据的三维目标检测算法一般是基于深度学习算法来实现对点云数据中三维目标的检测。目前，基于点云数据的三维目标检测算法大多部署于CPU(CentralProcessing Unit，中央处理器)或者GPU(Graphics Processing Unit，图形处理器)硬件平台。

考虑到DPU(Deep Learning Processing Unit，深度学习处理单元)的数据处理方式，相对于CPU与GPU来说，DPU的数据处理速度相对较快并且功耗低。鉴于此，为了检测速度的提高与功耗的降低，基于点云数据的三维目标检测算法更适合部署于DPU上。

那么，如何提供一种基于DPU的三维目标检测方法成为亟待解决的问题。

发明内容

本发明提供了一种三维目标检测系统及方法，以实现三维目标检测速度的提高。具体的技术方案如下：

第一方面，本发明实施例提供了一种三维目标检测系统，所述系统包括第一学习处理单元、数据处理单元和第二学习处理单元；

所述第一学习处理单元，被配置为对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱及每一点云柱对应的位置索引；获得每一点云柱中每一点云数据对应的局部特征信息；利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块；基于预先建立的三维目标检测模型的特征提取层以及所述待检测点云数据对应的特征信息块，确定点云数据初始特征信息；将所述点云数据初始特征信息以及每一点云柱对应的位置索引发送至所述数据处理单元；

所述数据处理单元，被配置为基于每一点云柱对应的位置索引以及所述点云数据初始特征信息，得到所述待检测点云数据对应的目标特征信息，并发送至所述第二学习处理单元；

所述第二学习处理单元，被配置为基于预先建立的三维目标检测模型的特征检测层以及所述待检测点云数据对应的目标特征信息，确定所述待检测点云数据中各三维目标对应的点云数据的检测信息，其中，所述预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。

可选的，所述第一学习处理单元在利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块的过程中，被具体配置为

针对每一点云柱，对该点云柱中的目标点云数据对应的局部特征信息，按第一组合方式进行组合，得到该点云柱对应的中间局部特征信息，其中，所述第一组合方式为：指示将每一目标点云数据对应的局部特征信息按柱状方向进行排列，且所有目标点云数据对应的局部特征信息按垂直于所述柱状方向的第一方向进行排列的组合方式；

将所有点云柱对应的中间局部特征信息按第二预设组合方式进行组合，得到所述待检测点云数据对应的特征信息块，其中，所述第二预设组合方式为：指示每一点云柱对应的中间局部特征信息按垂直于所述柱状方向，且垂直于所述第一方向的第二方向进行排列的组合方式。

可选的，所述局部特征信息包括：所对应点云数据与其所在点云柱的几何中心的相对偏移信息，及该点云数据的竖轴坐标值和反射率。

可选的，所述特征提取层的特征输出通道数目为32，相应的，所述特征检测层的特征输入通道数目为32；

所述特征提取层设置的卷积核为所述第一学习处理单元所支持的二维卷积核；所述特征提取层设置的池化函数为所述第一学习处理单元所支持的二维池化函数。

可选的，所述特征提取层设置的激活函数为具有截断功能的激活函数。

可选的，所述第一学习处理单元在对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引的过程中，被具体配置为

从俯瞰点云数据的角度，对所获得的待检测点云数据进行划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引。

第二方面，本发明实施例提供了一种三维目标检测方法，应用于三维目标检测系统的第一学习处理单元，所述三维目标检测系统还包括：数据处理单元和第二学习处理单元，所述方法包括：

第一学习处理单元对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱及每一点云柱对应的位置索引；

获得每一点云柱中每一点云数据对应的局部特征信息；

利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块；

基于预先建立的三维目标检测模型的特征提取层以及所述待检测点云数据对应的特征信息块，确定点云数据初始特征信息；

将所述点云数据初始特征信息以及每一点云柱对应的位置索引发送至所述数据处理单元；以使所述数据处理单元基于每一点云柱对应的位置索引以及所述点云数据初始特征信息，得到所述待检测点云数据对应的目标特征信息，并发送至所述第二学习处理单元；以使所述第二学习处理单元基于预先建立的三维目标检测模型的特征检测层以及所述待检测点云数据对应的目标特征信息，确定所述待检测点云数据中各三维目标对应的点云数据的检测信息，其中，所述预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。

可选的，所述利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块的步骤，包括：

针对每一点云柱，对该点云柱中的目标点云数据对应的局部特征信息，按第一组合方式进行组合，得到该点云柱对应的中间局部特征信息，其中，所述第一组合方式为：指示将每一目标点云数据对应的局部特征信息按柱状方向进行排列，且所有目标点云数据对应的局部特征信息按垂直于所述柱状方向的第一方向进行排列的组合方式；

将所有点云柱对应的中间局部特征信息按第二预设组合方式进行组合，得到所述待检测点云数据对应的特征信息块，其中，所述第二预设组合方式为：指示每一点云柱对应的中间局部特征信息按垂直于所述柱状方向，且垂直于所述第一方向的第二方向进行排列的组合方式。

可选的，所述局部特征信息包括：所对应点云数据与其所在点云柱的几何中心的相对偏移信息，及该点云数据的竖轴坐标值和反射率。

可选的，所述特征提取层的特征输出通道数目为32，相应的，所述特征检测层的特征输入通道数目为32；

所述特征提取层设置的卷积核为所述第一学习处理单元所支持的二维卷积核；所述特征提取层设置的池化函数为所述第一学习处理单元所支持的二维池化函数。

可选的，所述特征提取层设置的激活函数为具有截断功能的激活函数。

可选的，所述对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引的步骤，包括：

从俯瞰点云数据的角度，对所获得的待检测点云数据进行划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引。

由上述内容可知，本发明实施例提供的一种三维目标检测系统及方法，系统包括第一学习处理单元、数据处理单元和第二学习处理单元；第一学习处理单元，被配置为对所获得的待检测点云数据进行柱状划分，得到待检测点云数据对应的多个点云柱及每一点云柱对应的位置索引；获得每一点云柱中每一点云数据对应的局部特征信息；利用预设数据组合方式对点云柱中目标点云数据对应的局部特征信息进行组合，确定待检测点云数据对应的特征信息块；基于预先建立的三维目标检测模型的特征提取层以及待检测点云数据对应的特征信息块，确定点云数据初始特征信息；将点云数据初始特征信息以及每一点云柱对应的位置索引发送至数据处理单元；数据处理单元，被配置为基于每一点云柱对应的位置索引以及点云数据初始特征信息，得到待检测点云数据对应的目标特征信息，并发送至第二学习处理单元；第二学习处理单元，被配置为基于预先建立的三维目标检测模型的特征检测层以及待检测点云数据对应的目标特征信息，确定待检测点云数据中各三维目标对应的点云数据的检测信息，其中，预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。

应用本发明实施例，在第一学习处理单元、数据处理单元以及第二学习处理单元上部署预先建立的三维目标检测模型的特征提取层以及特征检测层，第一学习处理单元利用预设数据组合方式，将点云柱中目标点云数据对应的局部特征信息调整成第一学习处理单元所部署的特征提取层可处理的数据形式，得到待检测点云数据对应的特征信息块，进而基于预先建立的三维目标检测模型的特征提取层，对特征信息块进行特征提取，得到点云数据初始特征信息；数据处理单元基于每一点云柱对应的位置索引以及点云数据初始特征信息中各目标点云柱对应的初始特征信息，散射得到各个点云柱对应的初始特征信息，并重新排列各个点云柱对应的初始特征信息，得到按各点云柱原始的排列顺序进行排列的目标特征信息，进而，第二学习处理单元基于特征检测层及目标特征信息，得到待检测点云数据中各三维目标对应的点云数据的检测信息，实现三维目标的检测，并且第一学习处理单元和第二学习处理单元利用其数据处理方式，可实现对三维目标的快速检测，提高三维目标的检测速度。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、在第一学习处理单元、数据处理单元以及第二学习处理单元上部署预先建立的三维目标检测模型的特征提取层以及特征检测层，第一学习处理单元利用预设数据组合方式，将点云柱中目标点云数据对应的局部特征信息调整成第一学习处理单元所部署的特征提取层可处理的数据形式，得到待检测点云数据对应的特征信息块，进而基于预先建立的三维目标检测模型的特征提取层，对特征信息块进行特征提取，得到点云数据初始特征信息；数据处理单元基于每一点云柱对应的位置索引以及点云数据初始特征信息中各目标点云柱对应的初始特征信息，散射得到各个点云柱对应的初始特征信息，并重新排列各个点云柱对应的初始特征信息，得到按各点云柱原始的排列顺序进行排列的目标特征信息，进而，第二学习处理单元基于特征检测层及目标特征信息，得到待检测点云数据中各三维目标对应的点云数据的检测信息，实现三维目标的检测，并且第一学习处理单元和第二学习处理单元利用其数据处理方式，可实现对三维目标的快速检测，提高三维目标的检测速度。

2、为了保证数据的有序性，首先针对每一点云柱内的目标点云数据对应的局部特征信息，按第一组合方式，将该点云柱中的各目标点云数据对应的局部特征信息，按柱状方向进行排列，并将该点云柱中所有目标点云数据对应的按柱状方向排列的局部特征信息，按垂直于柱状方向的第一方向进行排列，得到该点云柱对应的中间局部特征信息；进而，按第二组合方式，将所有点云柱对应的中间局部特征信息，按垂直于柱状方向，且垂直于第一方向的第二方向进行排列，得到待检测点云数据对应的特征信息块，以便为后续的利用所部署的特征提取层进行特征提取做准备。

3、进行三维目标检测的输入为每一点云柱中每一点云数据对应的局部特征信息，即点云数据所在点云柱的几何中心坐标，及该点云数据的竖轴坐标值和反射率，以在减少计算量，提高检测速度的同时在一定程度上降低对后续的检测结果精度的损失。

4、将特征提取层的特征输出通道数目设置为32，且特征检测层的特征输入通道数目设置为32，以降低计算量提高检测速度，并且为了保证预先建立的三维目标检测模型的特征提取层在第一分散单元中的正常运行，其设置的卷积核为第一学习处理单元所支持的二维卷积核；并且，特征提取层设置的池化函数为第一学习处理单元所支持的二维池化函数。为了降低目标检测过程中特征量化损失，提高检测性能，特征提取层设置的激活函数为具有截断功能的激活函数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的三维目标检测系统的一种结构示意图；

图2为待检测点云数据对应的特征信息块的一种结构示例图；

图3为本发明实施例提供的三维目标检测流程的一种数据流向示意图；

图4为本发明实施例提供的三维目标检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种三维目标检测系统及方法，以实现三维目标检测速度的提高。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的三维目标检测系统的一种结构示意图。该三维目标检测系统包括第一学习处理单元110、数据处理单元120和第二学习处理单元130；

第一学习处理单元110，被配置为对所获得的待检测点云数据进行柱状划分，得到待检测点云数据对应的多个点云柱及每一点云柱对应的位置索引；获得每一点云柱中每一点云数据对应的局部特征信息；利用预设数据组合方式对点云柱中目标点云数据对应的局部特征信息进行组合，确定待检测点云数据对应的特征信息块；基于预先建立的三维目标检测模型的特征提取层以及待检测点云数据对应的特征信息块，确定点云数据初始特征信息；将点云数据初始特征信息以及每一点云柱对应的位置索引发送至数据处理单元120；

数据处理单元120，被配置为基于每一点云柱对应的位置索引以及点云数据初始特征信息，得到待检测点云数据对应的目标特征信息，并发送至第二学习处理单元130；

第二学习处理单元130，被配置为基于预先建立的三维目标检测模型的特征检测层以及待检测点云数据对应的目标特征信息，确定待检测点云数据中各三维目标对应的点云数据的检测信息。

其中，预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。

本发明实施例中，该三维目标检测系统中的第一学习处理单元110和第二学习处理单元130可以通过部署于FPGA(Field Programmable Gate Array，现场可编程门阵列)上的DPU(Deep Learning Processing Unit，深度学习处理单元)实现，以提高三维目标检测的检测速度。上述数据处理单元可以通过ARM(Advanced RISC Machines)处理器实现。

一种实现中，第一学习处理单元110可以首先获得待检测的点云数据，作为待检测点云数据。进而，对该待检测点云数据进行柱状划分，得到待检测点云数据对应的多个点云数据集合，将划分所得到的每一点云数据集合作为一个点云柱，以得到待检测点云数据对应的多个点云柱。

第一学习处理单元110根据划分结果，记录每一点云柱对应的位置索引，每一点云柱对应的位置索引可以唯一确定出该点云柱在待检测点云数据中的位置。针对每一点云柱，获得该点云柱中每一点云数据对应的局部特征信息。每一点云数据对应的局部特征信息为：表征点云柱中每一点云数据的局部特征的信息。

为了保证第一学习处理单元110可以基于其所部署于的预先建立的三维目标检测模型的特征提取层，对待检测点云数据中三维目标对应的点云数据的检测，第一学习处理单元110利用预设数据组合方式对点云柱中目标点云数据对应的局部特征信息进行组合，确定出待检测点云数据对应的符合第一学习处理单元110所部署的特征提取层可处理的数据格式的特征信息块。其中，特征信息块中包括每一点云柱中的目标点云数据对应的局部特征信息。该预设数据组合方式包括指示每一点云柱中各点云数据的排列组合方式和指示各点云柱的排列组合方式。

第一学习处理单元110基于预先建立的三维目标检测模型的特征提取层，对待检测点云数据对应的特征信息块进行特征提取，提取得到待检测点云数据对应的点云数据初始特征信息，其中，点云数据初始特征信息包括：按预设数据组合方式指示的组合方式组合得到的各点云柱对应的点云数据初始特征信息。第一学习处理单元110将点云数据初始特征信息以及每一点云柱对应的位置索引发送至数据处理单元120。

一种情况中，该待检测点云数据可以是通过激光雷达采集的点云数据。

在一种实现方式中，上述进行柱状划分可以指：与点云数据所在空间直角坐标系的竖轴的方向平行的方向上划分待检测点云数据。在所划分的点云柱的数据较多，即划分较密集的情况下，同一点云柱中不同点云数据之间的横轴坐标值和纵轴坐标值相差不大，且同一点云柱中不同点云数据与其所在点云柱的聚类中心的相对偏移信息，大多数均为0。考虑到在提高三维目标检测速度的同时，降低检测精度的损失。鉴于此，本发明实施例中，该局部特征信息包括：所对应点云数据与其所在点云柱的几何中心的相对偏移信息，及该点云数据的竖轴坐标值和反射率。舍弃了点云数据的全局特征横轴坐标值和纵轴坐标值，并舍弃了点云数据与其所在点云柱的聚类中心的相对偏移信息。其中，点云柱的几何中心通过几何中心对应的中心横轴坐标值和中心纵轴坐标值标识。

上述局部特征信息包括的该点云数据的竖轴坐标值、所舍弃的该点云数据的横轴坐标值和纵轴坐标值以及该点云数据的反射率为：激光雷达输出的信息。上述局部特征信息包括的所对应点云数据与其所在点云柱的几何中心的相对偏移信息为：利用预设相对偏移计算方式、该点云数据的竖轴坐标值、横轴坐标值和纵轴坐标值，以及所对应点云数据所在点云柱的几何中心的坐标值，计算所得的信息。

在一种实现方式中，预先建立的三维目标检测模型的特征提取层可以包括卷积层、批量标准化层、激活层以及池化层。通过特征提取层所包括的卷积层、批量标准化层、激活层以及池化层，实现对待检测点云数据对应的特征信息块的特征提取。其中，特征提取层包括的卷积层、批量标准化层和激活层可以以block的形式存在。

在本发明的一种实现方式中，第一学习处理单元110在对所获得的待检测点云数据进行柱状划分，得到待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引的过程中，被具体配置为

从俯瞰点云数据的角度，对所获得的待检测点云数据进行划分，得到待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引。其中，该俯瞰点云数据的角度即为与点云数据所在空间直角坐标系的竖轴的方向平行的方向。

数据处理单元120获得每一点云柱对应的位置索引以及点云数据初始特征信息之后，基于每一点云柱对应的位置索引以及点云数据初始特征信息中目标点云柱对应的初始特征信息，散射并重新排列各个点云柱对应的初始特征信息，得到按待检测点云数据对应的各点云柱的最初的排列方式排列的待检测点云数据对应的目标特征信息。并发送至第二学习处理单元130。

其中，该散射并重新排列各个点云柱对应的初始特征信息，得到按待检测点云数据对应的各点云柱的最初的排列方式，排列的待检测点云数据对应的目标特征信息的过程，可以参见相关技术中神经网络模型中特征散射过程，在此不再赘述。

第二学习处理单元130基于其所部署的预先建立的三维目标检测模型的特征检测层，以及待检测点云数据对应的目标特征信息，实现对待检测点云数据中各三维目标对应的点云数据的检测和回归，得到待检测点云数据中各三维目标对应的点云数据的检测信息。一种情况中，该检测信息可以包括所对应三维目标对应的点云数据的类别信息和位置信息。其中，位置信息可以表征所对应三维目标对应的点云数据在待检测点云数据中的位置。

其中，第二学习处理单元130通过预先建立的三维目标检测模型的特征检测层包括的卷积层、批量标准化层以及激活层，实现对待检测点云数据对应的目标特征信息的深度特征提取，得到不同尺寸的目标特征信息对应的深度特征信息。其中，待检测点云数据对应的目标特征信息以特征图的形式存在，相应的，目标特征信息对应的深度特征信息以特征图的形式存在。其中，特征检测层包括的卷积层、批量标准化层以及激活层可以以block的形式存在。

一种情况，所得到的包含目标特征信息对应的深度特征信息的特征图包括：分别为包括目标特征信息的第一特征图的尺寸的1/2的第二特征图，为第一特征图的尺寸的1/4的第三特征图，和第一特征图的尺寸的1/8的第四特征图。

后续的，第二学习处理单元130通过特征检测层的不同步长的反卷积Deconv层，将不同尺寸的第二特征图、第三特征图和第四特征图，还原至于第一特征图的尺寸的1/2的尺寸。并利用concat函数拼接还原后的第二特征图、第三特征图和第四特征图，得到拼接特征图；利用SSD(Single Shot MultiBox Detector)算法以及拼接图像，实现对待检测点云数据中各三维目标对应的点云数据的检测和回归，得到待检测点云数据中各三维目标对应的点云数据的检测信息。

其中，第一学习处理单元与第二学习处理单元可以为同一物理单元也可以为不同物理单元。

应用本发明实施例，在第一学习处理单元、数据处理单元以及第二学习处理单元上部署预先建立的三维目标检测模型的特征提取层以及特征检测层，第一学习处理单元利用预设数据组合方式，将点云柱中目标点云数据对应的局部特征信息调整成第一学习处理单元所部署的特征提取层可处理的数据形式，得到待检测点云数据对应的特征信息块，进而基于预先建立的三维目标检测模型的特征提取层，对特征信息块进行特征提取，得到点云数据初始特征信息；数据处理单元基于每一点云柱对应的位置索引以及点云数据初始特征信息中各目标点云柱对应的初始特征信息，散射得到各个点云柱对应的初始特征信息，并重新排列各个点云柱对应的初始特征信息，得到按各点云柱原始的排列顺序进行排列的目标特征信息，进而，第二学习处理单元基于特征检测层及目标特征信息，得到待检测点云数据中各三维目标对应的点云数据的检测信息，实现三维目标的检测，并且第一学习处理单元和第二学习处理单元利用其数据处理方式，可实现对三维目标的快速检测，提高三维目标的检测速度。

在本发明的另一实施例中，第一学习处理单元110在利用预设数据组合方式对点云柱中目标点云数据对应的局部特征信息进行组合，确定待检测点云数据对应的特征信息块的过程中，被具体配置为针对每一点云柱，对该点云柱中的目标点云数据对应的局部特征信息，按第一组合方式进行组合，得到该点云柱对应的中间局部特征信息；其中，第一组合方式为：指示将每一目标点云数据对应的局部特征信息按柱状方向进行排列，且所有目标点云数据对应的局部特征信息按垂直于柱状方向的第一方向进行排列的组合方式。

将所有点云柱对应的中间局部特征信息按第二预设组合方式进行组合，得到待检测点云数据对应的特征信息块；其中，第二预设组合方式为：指示每一点云柱对应的中间局部特征信息按垂直于柱状方向，且垂直于第一方向的第二方向进行排列的组合方式。

本实现方式中，为了保证点云数据对应的局部特征的有序性。第一学习处理单元110可以针对每一点云柱，对该点云柱中的目标点云数据对应的局部特征信息，按第一组合方式进行组合，将每一目标点云数据对应的局部特征信息按柱状方向进行排列，并将按柱状方向进行排列的所有目标点云数据所对应的局部特征信息，按垂直于柱状方向的第一方向进行排列，得到该点云柱对应的中间局部特征信息。并将所有点云柱对应的中间局部特征信息按第二预设组合方式进行组合，即每一点云柱对应的中间局部特征信息按垂直于柱状方向，且垂直于第一方向的第二方向进行排列组合，得到待检测点云数据对应的特征信息块。

其中，柱状方向可以为与待检测点云数据所在空间直角坐标系的竖轴方向平行的方向。一种情况，上述垂直于柱状方向的第一方向可以为：与待检测点云数据所在空间直角坐标系的横轴方向平行的方向。上述垂直于柱状方向，且垂直于第一方向的第二方向可以为：与待检测点云数据所在空间直角坐标系的纵轴方向平行的方向。

每一点云柱中的点云数据的数量可能多可能少，为了保证后续检测流程的可行性，预设数据组合方式中可以包括每一点云柱中进行组合的点云数据的第一数量；第一学习处理单元110可以首先针对每一点云柱，基于该点云柱中的点云数据，确定第一数量个该点云柱对应的目标点云数据。其中，对于点云数据的数量多于第一数量的点云柱，从点云柱包括的点云数据中随机筛选第一数量个点云数据，作为该点云柱的目标点云数据；对于点云数据的数量少于第一数量的点云柱，可以通过预设数值作为用于补充的点云数据对应的局部特征信息，以补齐该点云柱的目标点云数据。该第一数量的具体数值可以根据用户的需求进行设置。

举例而言，若第一数量为32，点云柱A包括的点云数据为30，少于32，则点云柱A的目标点云数据可以包括该点云柱中的30个点云数据，以及两个用于补充的点云数据，该两个用于补充的点云数据对应的局部特征信息均用预设数值表示，例如，用“0”表示。

在一种实现中，所得到的待检测点云数据对应的多个点云柱可以为8000个，且，每一点云数据对应的局部特征信息包括所对应点云数据与其所在点云柱的几何中心的相对偏移信息，及该点云数据的竖轴坐标值和反射率，其中，点云柱的几何中心通过几何中心对应的中心横轴坐标值和中心纵轴坐标值标识，即每一点云数据对应的局部特征信息包括4个维度的局部特征信息。为了在一定程度上减少数据冗余，提高检测速度，可以设置上述第一数量为32。其中，所得到的待检测点云数据对应的多个点云柱的具体数量可以根据用户需要进行设置。

如图2所示，可以首先针对每一点云柱，将该点云柱中每一目标点云数据对应的4个维度的局部特征信息按柱状方向排列，即得到(1,1，C)的数据形状的局部特征信息，C表示局部特征信息的维度数，如图2中所示的C表示的方向；进而，对该点云柱中多个目标点云数据对应的4个维度的局部特征信息，按垂直于柱状方向的第一方向进行排列，如图2中所示的W表示的方向，得到点云柱对应的为(1，W，C)的数据形状的中间局部特征信息；将所有点云柱对应的中间局部特征信息，按垂直于柱状方向，且垂直于第一方向的第二方向进行排列，如图2中所示的H表示的方向，得到为(H，W，C)的数据形状的待检测点云数据对应的特征信息块。

如图2中，待检测点云数据对应的特征信息块包括C层即4层数据，每层包括目标点云数据对应的一个维度的局部特征信息；每层包括H列数据，每层中的每列包括一个点云柱中所有目标点云数据对应的该层所对应维度的局部特征信息；每层包括W行数据，每层中的每行包括各点云柱中的一个目标点云数据对应的该层所对应维度的局部特征信息。

在组合点云柱中目标点云数据对应的局部特征信息的同时，对应基于各点云柱对应的中间局部特征信息在待检测点云数据对应的特征信息块中的排列位置，相应记录各点云柱对应的位置索引的排列位置，生成一个为(H)的数据形状的位置索引排列顺序。后续的，利用特征提取层包括的卷积层、批量标准化层和激活层，对为(H，W，C)的数据形状的待检测点云数据对应的特征信息块进行特征提取，得到(H，W，C1)形状的特征图，进而，利用特征提取层包括的核为(1，W)的池化层对(H，W，C1)形状的特征图中的特征进行筛选，得到(H，C1)形状的特征图，即点云数据初始特征信息。其中，C1为特征提取层中预先设置的所需提取的特征的维度数量。

为了提高三维目标检测速度，降低检测计算量，在本发明的另一实施例中，特征提取层的特征输出通道数目为32，相应的，特征检测层的特征输入通道数目为32。其中，特征提取层的特征输出通道可以根据用户需求进行设置。

为了保证预先建立的三维目标检测模型的特征提取层在第一分散单元中的正常运行，在本发明的另一实施例中，特征提取层设置的卷积核为第一学习处理单元110所支持的二维卷积核，例如为尺寸为1*1的conv2d卷积核；特征提取层设置的池化函数为第一学习处理单元110所支持的二维池化函数，例如为尺寸为1*W的maxpool_2d函数。

为了降低计算复杂度，提高检测效率，在本发明的另一实施例中，特征提取层设置的激活函数为具有截断功能的激活函数。一种情况中，激活函数的上下限阈值可以根据用户需求进行设置。一种情况，该激活函数可以为relu6激活函数，该relu6激活函数的上下限为[0,6]，即对于目标点云数据对应的局部特征信息中特征值小于0的值，置为0；目标点云数据对应的局部特征信息中特征值大于6的值置为6，其余保持不变。利用relu6的强制截断功能，减弱了噪声点对预先建立的三维目标检测模型的模型量化时产生的影响，实现改善预先建立的三维目标检测模型的模型量化时由于噪声点产生的检测精度的损失。

可以理解的是，包括部署于第一学习处理单元的特征提取层和部署于第二学习处理单元的特征检测层的预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。该预先建立的三维目标检测模型可以为基于深度学习算法的神经网络模型。

本发明的另一实施例，还可以包括训练得到该预先建立的三维目标检测模型的过程；

第一学习处理单元可以预先部署有初始的三维目标检测模型的特征提取层，且第二学习处理单元预先部署有初始的三维目标检测模型的特征检测层。第一学习处理单元可以获得多个用于训练初始的三维目标检测模型的样本点云数据，以及每一样本点云数据对应的标定信息，其中，标定信息包括所对应样本点云数据中各三维目标对应的点云数据对应的标定检测信息，如：标定类别信息和标定位置信息。

第一学习处理单元针对每一样本点云数据执行如下步骤01-03，以得到每一样本点云数据对应的特征信息块。01：对该样本点云数据进行柱状划分，得到样本点云数据对应的多个样本点云柱及每一点云柱对应的位置索引。02：获得每一样本点云柱中每一样本点云数据对应的局部特征信息。03：利用预设数据组合方式对样本点云柱中目标样本点云数据对应的局部特征信息进行组合，确定样本点云数据对应的特征信息块。

第一学习处理单元基于初始的三维目标检测模型的特征提取层，对样本点云数据对应的特征信息块进行特征提取，得到样本点云数据对应的样本点云数据初始特征信息；将样本点云数据对应的样本点云数据初始特征信息以及样本点云数据的点云柱对应的位置索引发送至数据处理单元。

数据处理单元基于样本点云数据中每一样本点云柱对应的位置索引，排列样本点云数据初始特征信息中每一样本点云柱对应的初始特征信息，得到样本点云数据对应的目标特征信息，并发送至第二学习处理单元。

第二学习处理单元基于初始的三维目标检测模型的特征检测层以及样本点云数据对应的目标特征信息，确定样本点云数据中各三维目标对应的点云数据的预测检测信息；

利用样本点云数据中各三维目标对应的点云数据的预测检测信息以及样本点云数据对应的标定信息中的标定检测信息，调整初始的三维目标检测模型的特征提取层和特征检测层的模型参数，直至初始的三维目标检测模型达到预设收敛条件，得到预先建立的三维目标检测模型。

其中，预设收敛条件可以包括但不限于：基于调整模型参数后所得的三维目标检测模型对验证集中的每一验证点云数据中各三维目标对应的点云数据进行检测，所得到的验证集中的每一验证点云数据对应的预测检测信息，与该验证集中的每一验证点云数据对应的标定检测信息一致的占比，超过预设比例阈值；或者，可以为：基于调整模型参数后所得的三维目标检测模型对验证集中的每一验证点云数据中各三维目标对应的点云数据进行检测，所得到的验证集中的每一验证点云数据对应的预测检测信息，与该验证集中的每一验证点云数据对应的标定检测信息一致的结果数量，超过预设数量阈值；或者，可以为：迭代调整初始的三维目标检测模型的特征提取层和特征检测层的模型参数的次数超过预设次数等。

下面以一具体数据处理流程，对本发明实施例所提供的三维目标检测流程进行说明：如图3所示。

第一学习处理单元获得待检测点云数据B，该待检测点云数据为激光雷达采集得到的点云数据；以俯瞰点云数据的角度，对待检测点云数据B进行柱状划分，得到待检测点云数据B对应的多个点云柱及每一点云柱对应的位置索引；利用预设数据组合方式对点云柱中目标点云数据对应的局部特征信息进行组合，确定待检测点云数据B对应的特征信息块，如图3中所示的“组合数据(H，W，C)”，并同时获得基于特征信息块中待检测点云数据B的各点云柱的排列顺序排列的点云柱对应的位置索引，如图3中所示的“pillar index(H)”，基于预先建立的三维目标检测模型的特征提取层，对待检测点云数据对应的特征信息块进行特征提取，确定点云数据初始特征信息，如图3中所示的“特征数据(H,C1)”；将点云数据初始特征信息以及基于特征信息块中待检测点云数据B的各点云柱的排列顺序排列的点云柱对应的位置索引，发送至数据处理单元。

数据处理单元基于每一点云柱对应的位置索引以及点云数据初始特征信息中各目标点云柱对应的初始特征信息，散射得到各个点云柱对应的初始特征信息，并重新排列各个点云柱对应的初始特征信息，得到按各点云柱原始的排列顺序进行排列的目标特征信息，如图3中所示的“Pseudo image”，并发送至第二学习处理单元。

第二学习处理单元基于预先建立的三维目标检测模型的特征检测层Backbone层及目标特征信息，得到待检测点云数据中各三维目标对应的点云数据的检测信息。即首先得到上述所提到的拼接特征图，如图3中所示的“out features”，进而通过信息结算过程，即通过SSD算法以及拼接特征图，得到待检测点云数据中各三维目标对应的点云数据的检测信息。

相应于上述系统实施例，本发明实施例还提供了一种三维目标检测方法，应用于三维目标检测系统的第一学习处理单元，所述三维目标检测系统还包括：数据处理单元和第二学习处理单元，如图4所示，该方法可以包括如下步骤：

S401：第一学习处理单元对所获得的待检测点云数据进行柱状划分，得到待检测点云数据对应的多个点云柱及每一点云柱对应的位置索引；

S402：获得每一点云柱中每一点云数据对应的局部特征信息；

S403：利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定待检测点云数据对应的特征信息块；

S404：基于预先建立的三维目标检测模型的特征提取层以及待检测点云数据对应的特征信息块，确定点云数据初始特征信息；

S405：将点云数据初始特征信息以及每一点云柱对应的位置索引发送至数据处理单元；以使数据处理单元基于每一点云柱对应的位置索引以及点云数据初始特征信息，得到待检测点云数据对应的目标特征信息，并发送至第二学习处理单元；以使第二学习处理单元基于预先建立的三维目标检测模型的特征检测层以及待检测点云数据对应的目标特征信息，确定待检测点云数据中各三维目标对应的点云数据的检测信息。

其中，预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。

应用本发明实施例，在第一学习处理单元、数据处理单元以及第二学习处理单元上部署预先建立的三维目标检测模型的特征提取层以及特征检测层，第一学习处理单元利用预设数据组合方式，将点云柱中目标点云数据对应的局部特征信息调整成第一学习处理单元所部署的特征提取层可处理的数据形式，得到待检测点云数据对应的特征信息块，进而基于预先建立的三维目标检测模型的特征提取层，对特征信息块进行特征提取，得到点云数据初始特征信息；数据处理单元基于每一点云柱对应的位置索引以及点云数据初始特征信息中各目标点云柱对应的初始特征信息，散射得到各个点云柱对应的初始特征信息，并重新排列各个点云柱对应的初始特征信息，得到按各点云柱原始的排列顺序进行排列的目标特征信息，进而，第二学习处理单元基于特征检测层及目标特征信息，得到待检测点云数据中各三维目标对应的点云数据的检测信息，实现三维目标的检测，并且第一学习处理单元和第二学习处理单元利用其数据处理方式，可实现对三维目标的快速检测，提高三维目标的检测速度。

在本发明的另一实施例中，所述利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块的步骤，包括：

针对每一点云柱，对该点云柱中的目标点云数据对应的局部特征信息，按第一组合方式进行组合，得到该点云柱对应的中间局部特征信息，其中，所述第一组合方式为：指示将每一目标点云数据对应的局部特征信息按柱状方向进行排列，且所有目标点云数据对应的局部特征信息按垂直于所述柱状方向的第一方向进行排列的组合方式；

将所有点云柱对应的中间局部特征信息按第二预设组合方式进行组合，得到所述待检测点云数据对应的特征信息块，其中，所述第二预设组合方式为：指示每一点云柱对应的中间局部特征信息按垂直于所述柱状方向，且垂直于所述第一方向的第二方向进行排列的组合方式。

在本发明的另一实施例中，所述局部特征信息包括：所对应点云数据与其所在点云柱的几何中心的相对偏移信息，及该点云数据的竖轴坐标值和反射率。

在本发明的另一实施例中，所述特征提取层的特征输出通道数目为32，相应的，所述特征检测层的特征输入通道数目为32；

所述特征提取层设置的卷积核为所述第一学习处理单元所支持的二维卷积核；所述特征提取层设置的池化函数为所述第一学习处理单元所支持的二维池化函数。

在本发明的另一实施例中，所述特征提取层设置的激活函数为具有截断功能的激活函数。

在本发明的另一实施例中，所述对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引的步骤，包括：

从俯瞰点云数据的角度，对所获得的待检测点云数据进行划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引。

上述方法实施例与系统实施例相对应，与该系统实施例具有同样的技术效果，具体说明参见系统实施例。方法实施例是基于系统实施例得到的，具体的说明可以参见系统实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种三维目标检测系统，其特征在于，所述系统包括第一学习处理单元、数据处理单元和第二学习处理单元；

所述第一学习处理单元，被配置为对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱及每一点云柱对应的位置索引；获得每一点云柱中每一点云数据对应的局部特征信息；利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块；基于预先建立的三维目标检测模型的特征提取层以及所述待检测点云数据对应的特征信息块，确定点云数据初始特征信息；将所述点云数据初始特征信息以及每一点云柱对应的位置索引发送至所述数据处理单元；

所述数据处理单元，被配置为基于每一点云柱对应的位置索引以及所述点云数据初始特征信息，得到所述待检测点云数据对应的目标特征信息，并发送至所述第二学习处理单元；

所述第二学习处理单元，被配置为基于预先建立的三维目标检测模型的特征检测层以及所述待检测点云数据对应的目标特征信息，确定所述待检测点云数据中各三维目标对应的点云数据的检测信息，其中，所述预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。

2.如权利要求1所述的系统，其特征在于，所述第一学习处理单元在利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块的过程中，被具体配置为

针对每一点云柱，对该点云柱中的目标点云数据对应的局部特征信息，按第一组合方式进行组合，得到该点云柱对应的中间局部特征信息，其中，所述第一组合方式为：指示将每一目标点云数据对应的局部特征信息按柱状方向进行排列，且所有目标点云数据对应的局部特征信息按垂直于所述柱状方向的第一方向进行排列的组合方式；

将所有点云柱对应的中间局部特征信息按第二预设组合方式进行组合，得到所述待检测点云数据对应的特征信息块，其中，所述第二预设组合方式为：指示每一点云柱对应的中间局部特征信息按垂直于所述柱状方向，且垂直于所述第一方向的第二方向进行排列的组合方式。

3.如权利要求1所述的系统，其特征在于，所述局部特征信息包括：所对应点云数据与其所在点云柱的几何中心的相对偏移信息，及该点云数据的竖轴坐标值和反射率。

4.如权利要求1所述的系统，其特征在于，所述特征提取层的特征输出通道数目为32，相应的，所述特征检测层的特征输入通道数目为32；

所述特征提取层设置的卷积核为所述第一学习处理单元所支持的二维卷积核；所述特征提取层设置的池化函数为所述第一学习处理单元所支持的二维池化函数。

5.如权利要求1-4任一项所述的系统，其特征在于，所述特征提取层设置的激活函数为具有截断功能的激活函数。

6.如权利要求1-5任一项所述的系统，其特征在于，所述第一学习处理单元在对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引的过程中，被具体配置为

从俯瞰点云数据的角度，对所获得的待检测点云数据进行划分，得到所述待检测点云数据对应的多个点云柱以及每一点云柱对应的位置索引。

7.一种三维目标检测方法，其特征在于，应用于三维目标检测系统的第一学习处理单元，所述三维目标检测系统还包括：数据处理单元和第二学习处理单元，所述方法包括：

第一学习处理单元对所获得的待检测点云数据进行柱状划分，得到所述待检测点云数据对应的多个点云柱及每一点云柱对应的位置索引；

获得每一点云柱中每一点云数据对应的局部特征信息；

利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块；

基于预先建立的三维目标检测模型的特征提取层以及所述待检测点云数据对应的特征信息块，确定点云数据初始特征信息；

将所述点云数据初始特征信息以及每一点云柱对应的位置索引发送至所述数据处理单元；以使所述数据处理单元基于每一点云柱对应的位置索引以及所述点云数据初始特征信息，得到所述待检测点云数据对应的目标特征信息，并发送至所述第二学习处理单元；以使所述第二学习处理单元基于预先建立的三维目标检测模型的特征检测层以及所述待检测点云数据对应的目标特征信息，确定所述待检测点云数据中各三维目标对应的点云数据的检测信息，其中，所述预先建立的三维目标检测模型为：基于标注有各三维目标对应的标定信息的样本点云数据对应的特征信息块训练所得的模型。

8.如权利要求7所述的方法，其特征在于，所述利用预设数据组合方式对所述点云柱中目标点云数据对应的局部特征信息进行组合，确定所述待检测点云数据对应的特征信息块的步骤，包括：

针对每一点云柱，对该点云柱中的目标点云数据对应的局部特征信息，按第一组合方式进行组合，得到该点云柱对应的中间局部特征信息，其中，所述第一组合方式为：指示将每一目标点云数据对应的局部特征信息按柱状方向进行排列，且所有目标点云数据对应的局部特征信息按垂直于所述柱状方向的第一方向进行排列的组合方式；

将所有点云柱对应的中间局部特征信息按第二预设组合方式进行组合，得到所述待检测点云数据对应的特征信息块，其中，所述第二预设组合方式为：指示每一点云柱对应的中间局部特征信息按垂直于所述柱状方向，且垂直于所述第一方向的第二方向进行排列的组合方式。

9.如权利要求7所述的方法，其特征在于，所述局部特征信息包括：所对应点云数据与其所在点云柱的几何中心的相对偏移信息，及该点云数据的竖轴坐标值和反射率。

10.如权利要求7-9任一项所述的方法，其特征在于，所述特征提取层的特征输出通道数目为32，相应的，所述特征检测层的特征输入通道数目为32；

所述特征提取层设置的卷积核为所述第一学习处理单元所支持的二维卷积核；所述特征提取层设置的池化函数为所述第一学习处理单元所支持的二维池化函数。

Images