CN116189172B - 一种3d目标检测方法、设备、存储介质和芯片 - Google Patents

Abstract

本发明属于3D目标检测技术领域，提供一种3D目标检测方法、设备、存储介质和芯片，其在点云体柱编码特征提取中，将输入点云划分为不规则的多尺度的点云块，解决由于遮挡导致被遮挡物体没有明确的边界，从而影响回归框尺度精确的问题；为了同时对点云块进行特征提取，通过共享特征提取模块，对点云的特征提取进行聚合得到点云块的局部特征，着重考虑点云之间的几何结构关系，使局部的语义信息更加鲜明。为了更好地提升网络特征提取的质量，在知识蒸馏框架中增加一个蒸馏损失，设置蒸馏损失中置信度监督标签为软标签，由于软标签相比硬标签携带了更多的信息熵，通过蒸馏损失的额外回归目标，以帮助网络模型收敛到更好的优化点，提高网络的泛化能力。

Description

一种3D目标检测方法、设备、存储介质和芯片

技术领域

本发明属于3D目标检测技术领域，尤其涉及一种融合pointpillars和T-S训练模型的3D目标检测方法、设备、存储介质和芯片。

背景技术

常见的3D目标检测模型主要有两类：以点云为输入的神经网络模型和以图像为输入的神经网络模型。这两类模型都有着各自的优缺点：1)点云自带准距离(深度)信息，基于点云的3D目标检测模型能对较近距离的目标输出较高的检测精度；但点云具有稀疏性特点，因此基于点云的3D目标检测模型对远距离目标的检测准确度较差；2)图像上视野信息分布均匀、信息密度大，基于图像的3D目标检测模型无论对近处还是远处的目标都能输出较高的识别精度；但图像不具备深度信息，需要通过模型对其进行深度估计，而深度估计有会造成较大的检测误差，因此基于图像的3D目标检测模型输出的目标识别框(boundingbox，bbox)的定位准确度总是不够。现有的在点云体柱编码特征提取中，将体柱内所有的点通过MLP提取特征，然后将所提取的特征聚合到一起，虽然能快速地提取点云的特征，但这种设计忽略了体柱内点云之间的结构关系。

现有公告号CN115690708A的发明名称为基于跨模态知识蒸馏训练三维目标检测模型的方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取教师模型、学生模型、学生模型损失函数；将一个训练成熟的基于点云的3D目标检测模型作为教师模型(Teacher Model)，将一个基于图像的3D目标检测模型作为学生模型(Student Model)，利用知识蒸馏(Knowledge Distillation)机制将教师模型的点云BEV特征向学生模型蒸馏、对学生模型进行训练，帮助学生模型能从图像数据中学习到同点云数据类似的深度特征，可以帮助图像3D目标检测模型减少深度估计误差，达到提高图像3D目标检测模型检测准确度的目的。该技术方案使用了图像和点云两种数据，教师网络和学生网络的数据源分别为图像和点云不同，且知识蒸馏主要是进行特征蒸馏。该技术方案在点云体柱编码特征提取中，未考虑到点云之间的几何结构关系。

发明内容

本发明的目的在于提供一种融合pointpillars和T-S训练模型的3D目标检测方法、设备、存储介质和芯片，能解决由于遮挡导致被遮挡物体没有明确的边界，从而影响回归框尺度精确的问题，以及目标特征提取阶段存在几何结构信息丢失的问题，能提高3D目标检测精度的同时保持检测的实时性和稳定性。

本发明一种融合pointpillars和T-S训练模型的3D目标检测方法，基于pointpillar的框架，通过前端的共享特征提取模块提取点云的几何数据特征，通过后端的T-S知识蒸馏提高检测头对目标的检测精度，包括如下步骤：

步骤10、点云体柱编码特征提取，具体包括如下步骤：

步骤11、在PointPillars网络中，设置最多P个非空的体柱，同时每个体柱中最多包含N个数量的点云，如果点云数大于N就采样至N个，如果小于N就填充为0；

步骤12、在划分完体柱后，对体柱内部的点云进行点云块的划分，将输入点云划分为不规则的多尺度的点云块；

步骤13，设计一个共享特征提取模块，对每个点云块的内部进行特征提取，然后聚合所有点云块的特征信息，得到点云块的局部特征，该共享特征提取模块是对原pointpillars网络中点云特征提取模块的改进；

将体柱内所有经过共享特征模块提取的特征维度为64的点云块的局部特征进行特征拼接，生成（N,64＊Q）的特征张量，其中Q是一个体柱内点云块数量，再接上（64＊Q，64）维度的深度MLP结构进行特征降维，对体柱内所有点云依次进行线性层、BatchNorm层和ReLU激活函数处理，最后通过最大池化MaxPooling操作，将子点集特征嵌入到1＊C张量中作为体柱的特征输出，C是张量的维度；

步骤20、使用知识蒸馏对3D目标检测网络模型进行优化训练，将改进后的PointPillars网络作为学生网络模型，原版PointPillars网络作为教师网络模型，教师网络模型和学生网络模型的输出端分别连接有分类预测模块，将教师网络模型和学生网络模型的分类预测模型的输出，分别同时通过SoftMax函数进行处理，设置监督标签为软标签，该软标签的值是（0，1），再与学生网络模型的分类预测模块的输出做蒸馏损失，将KL散度函数作为蒸馏损失函数，优化学生网络模型；

将同一帧经过步骤10数据处理所提取的点云体柱编码特征，同时输入到教师网络模型和学生网络模型中，教师网络模型先经过预训练，并冻结了可学习参数；将教师网络模型和学生网络模型的分类预测模型的输出，分别同时通过SoftMax函数进行处理，设置监督标签为软标签，再将两者的输出做蒸馏损失，设置KL散度函数为蒸馏损失函数，通过蒸馏损失函数进行概率拟合。

所述步骤12中将输入点云划分为不规则的多尺度的点云块，具体为：

对体柱内部的点云，先根据最远点采样FPS选出S个点云作为点云块的中心点，再根据每个点云块的中心点，采用K邻近算法KNN分别为每个中心点选择K个最近邻点，从而得到不规则的多尺度的点云块。

所述共享特征提取模块将每个点云块的点云集合输入到（K,64）的深度MLP结构中，对点云块内部的点云进行特征提取，特征维度升维到64；将提取后的点云特征通道分别拼接和做平均池化，用拼接后的特征通道减去平均池化后的特征通道，再通过哈达玛积让可学习参数与特征通道相乘，最终把点云块的局部点特征转化为正态分布的局部特征，同时保留了原始的几何信息，此时点云的特征维度保持不变。

一种3D目标检测设备，所述设备包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行上述任一项所述的融合pointpillars和T-S训练模型的3D目标检测方法。

一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述任一项所述的融合pointpillars和T-S训练模型的3D目标检测方法。

一种运行指令的3D目标检测芯片，该芯片用于执行上述任一项所述的融合pointpillars和T-S训练模型的3D目标检测方法。

由于本发明在点云体柱编码特征提取中，着重考虑了点云之间的几何结构关系，对体柱内的点云首先进行了最远点采样(FPS)和K最邻近算法(KNN)，将输入点云划分为不规则的多尺度的点云块(patch)，解决由于遮挡导致被遮挡物体没有明确的边界，从而影响回归框尺度精确的问题；为了同时对点云块进行特征提取，设计了共享特征提取模块，先对点云块内的点云做特征提取，再对提取后的点云块做特征聚合得到点云块的局部特征。这样增加了体柱内点云间的几何结构关系，使局部的语义信息更加鲜明。

本发明基于pointpillar的框架，效率能够保证，可以实时处理，通过前端的共享特征提取模块能更好地提取点云的几何数据特征，而后端的T-S知识蒸馏能提高检测头对目标的检测精度。

为了更好地提升网络特征提取的质量，本发明在知识蒸馏框架中增加一个蒸馏损失，设置蒸馏损失中置信度监督标签为软标签，由于软标签相比硬标签携带了更多的信息熵，通过蒸馏损失的额外回归目标，以帮助网络模型收敛到更好的优化点，提高网络的泛化能力。

附图说明

图1为本发明体柱内部划分点云块的示意图；

图2为本发明体柱内点云特征提取流程图；

图3为本发明中知识蒸馏网络模型框架示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种融合pointpillars和T-S训练模型的3D目标检测方法，基于pointpillar的框架，通过前端的共享特征提取模块提取点云的几何数据特征，通过后端的T-S知识蒸馏提高检测头对目标的检测精度，具体包括如下步骤：

步骤10、点云体柱编码特征提取，具体包括如下步骤：

步骤11、在PointPillars网络中，考虑计算复杂度，设置最多P个非空的体柱，同时每个体柱中最多包含N个数量的点云，如果点云数大于N就采样至N个，如果小于N就填充为0；

步骤12、在划分完体柱后，对体柱内部的点云进行点云块的划分，将输入点云划分为不规则的多尺度的点云块(patch)；

对体柱内部的点云，先根据最远点采样FPS选出S个点云作为点云块的中心点，再根据每个点云块的中心点，采用K邻近算法KNN分别为每个中心点选择K个最近邻点，从而得到不规则的多尺度的点云块，如图1所示；

步骤13，设计一个图2方框内所示的共享特征提取模块，对每个点云块的内部进行特征提取，然后聚合所有点云块的特征信息，得到点云块的局部特征，该共享特征提取模块是对原pointpillars网络中点云特征提取模块的改进；

所述共享特征提取模块将每个点云块的点云集合输入到（K,64）的深度MLP结构中，对点云块内部的点云进行特征提取，特征维度升维到64；将提取后的点云特征通道分别拼接和做平均池化，用拼接后的特征通道减去平均池化后的特征通道，再通过哈达玛积让可学习参数与特征通道相乘，最终把点云块的局部点特征转化为正态分布的局部特征，同时保留了原始的几何信息，此时点云的特征维度保持不变；

由于局部区域几何结构稀疏、不规则，使用简单的深度MLP结构会降低精度和稳定性，使模型的鲁棒性降低，本发明的共享特征提取模块是对原pointpillars网络中点云特征提取模块的改进；

将体柱内所有经过共享特征模块提取的点云块的局部特征进行特征拼接，生成（N,64＊ Q）的特征张量，其中Q是一个体柱内点云块数量，再接上（64＊Q，64）维度的深度MLP结构进行特征降维，对体柱内所有点云依次进行线性层、BatchNorm层和ReLU激活函数处理，最后通过最大池化MaxPooling操作，将子点集特征嵌入到1＊C张量中作为体柱的特征输出，C是张量的维度；

步骤20、如图3所示，使用知识蒸馏对3D目标检测网络模型进行优化训练，将改进后的PointPillars网络作为学生网络模型，原版PointPillars网络作为教师网络模型，教师网络模型和学生网络模型的输出端分别连接有分类预测模块，将教师网络模型和学生网络模型的分类预测模型的输出，分别同时通过SoftMax函数进行处理，设置监督标签为软标签（软标签的值是（0，1），而硬标签的值是[0,1]），再与学生网络模型的分类预测模块的输出做蒸馏损失，将KL散度函数作为蒸馏损失函数，优化学生网络模型；

将同一帧经过步骤10数据处理所提取的点云体柱编码特征，同时输入到教师网络模型和学生网络模型中，教师网络模型先经过预训练，并冻结了可学习参数；将教师网络模型和学生网络模型的分类预测模型的输出，分别同时通过SoftMax函数进行处理，设置监督标签为软标签，再将两者的输出做蒸馏损失，设置KL散度函数为蒸馏损失函数，通过蒸馏损失函数进行概率拟合。

本发明可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

实施例二

本发明实施例二提供一种3D目标检测设备，该设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例一方法的终端设备或服务器。

该设备可以包括：处理器(例如CPU)、存储器、数据采集装置；处理器连接并控制数据采集装置。存储器中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。

上述存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

实施例三

需要说明的是，本发明实施例三还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中一提供的方法和处理步骤。

实施例四

本发明实施例四还提供一种运行指令的3D目标检测芯片，该芯片用于执行实施例中一提供的方法和处理步骤。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种融合pointpillars和T-S训练模型的3D目标检测方法，其特征在于：基于pointpillar的框架，通过前端的共享特征提取模块提取点云的几何数据特征，通过后端的T-S知识蒸馏提高检测头对目标的检测精度，包括如下步骤：

步骤10、点云体柱编码特征提取,具体采用如下步骤：

步骤11、在PointPillars网络中，设置最多P个非空的体柱，同时每个体柱中最多包含N个数量的点云，如果点云数大于N就采样至N个，如果小于N就填充为0；

步骤12、在划分完体柱后，对体柱内部的点云进行点云块的划分，将输入点云划分为不规则的多尺度的点云块，具体为：

对体柱内部的点云，先根据最远点采样FPS选出S个点云作为点云块的中心点，再根据每个点云块的中心点，采用K邻近算法KNN分别为每个中心点选择K个最近邻点，从而得到不规则的多尺度的点云块；

步骤13，设计一个共享特征提取模块，对每个点云块的内部进行特征提取，然后聚合所有点云块的特征信息，得到点云块的局部特征；将体柱内所有经过共享特征模块提取的特征维度为64的点云块的局部特征进行特征拼接，生成(N,64＊Q)的特征张量，其中Q是一个体柱内点云块数量，再接上(64＊Q，64)维度的深度MLP结构进行特征降维，对体柱内所有点云依次进行线性层、BatchNorm层和ReLU激活函数处理，最后通过最大池化MaxPooling操作，将子点集特征嵌入到1＊C张量中作为体柱的特征输出，C是张量的维度；

该共享特征提取模块是对原pointpillars网络中点云特征提取模块的改进；所述共享特征提取模块将每个点云块的点云集合输入到(K,64)的深度MLP结构中，对点云块内部的点云进行特征提取，特征维度升维到64；将提取后的点云特征通道分别拼接和做平均池化，用拼接后的特征通道减去平均池化后的特征通道，再通过哈达玛积让可学习参数与特征通道相乘，最终把点云块的局部点特征转化为正态分布的局部特征，同时保留了原始的几何信息，此时点云的特征维度保持不变；

步骤20、使用知识蒸馏对3D目标检测网络模型进行优化训练，将改进后的PointPillars网络作为学生网络模型，原版PointPillars网络作为教师网络模型，教师网络模型和学生网络模型的输出端分别连接有分类预测模块，将教师网络模型和学生网络模型的分类预测模型的输出，分别同时通过SoftMax函数进行处理，设置监督标签为软标签，该软标签的值是(0，1)，再与学生网络模型的分类预测模块的输出做蒸馏损失，将KL散度函数作为蒸馏损失函数，优化学生网络模型；

将同一帧经过步骤10数据处理所提取的点云体柱编码特征，同时输入到教师网络模型和学生网络模型中，教师网络模型先经过预训练，并冻结了可学习参数；将教师网络模型和学生网络模型的分类预测模型的输出，分别同时通过SoftMax函数进行处理，设置监督标签为软标签，再将两者的输出做蒸馏损失，设置KL散度函数为蒸馏损失函数，通过蒸馏损失函数进行概率拟合。

2.一种3D目标检测设备，其特征在于，所述设备包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行权利要求1所述的融合pointpillars和T-S训练模型的3D目标检测方法。

3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1所述的融合pointpillars和T-S训练模型的3D目标检测方法。

4.一种运行指令的3D目标检测芯片，该芯片用于执行权利要求1所述的融合pointpillars和T-S训练模型的3D目标检测方法。