Nothing Special   »   [go: up one dir, main page]

CN112990010B - 点云数据处理方法、装置、计算机设备和存储介质 - Google Patents

点云数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112990010B
CN112990010B CN202110274439.3A CN202110274439A CN112990010B CN 112990010 B CN112990010 B CN 112990010B CN 202110274439 A CN202110274439 A CN 202110274439A CN 112990010 B CN112990010 B CN 112990010B
Authority
CN
China
Prior art keywords
point cloud
layer
convolution
distance
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110274439.3A
Other languages
English (en)
Other versions
CN112990010A (zh
Inventor
黄惠
黄鹏頔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110274439.3A priority Critical patent/CN112990010B/zh
Priority to PCT/CN2021/082250 priority patent/WO2022193335A1/zh
Publication of CN112990010A publication Critical patent/CN112990010A/zh
Priority to US17/735,888 priority patent/US11875424B2/en
Application granted granted Critical
Publication of CN112990010B publication Critical patent/CN112990010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种点云数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取点云数据，并对所述点云数据中的各数据点构建对应的邻域点云；计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征；所述编码器和解码器是深度学习网络中的两个部分；通过所述解码器对所述高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对所述点云数据进行语义分类。采用本方法能够提高语义分类的准确性。

Description

点云数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机图形学技术领域，特别是涉及一种点云数据处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机图形学的发展，出现了点云数据语义分类技术，点云数据语义分类技术通过对点云数据中数据点进行特征提取，并根据所提取的特征对点云数据进行语义分类。传统方法中，对点云数据进行规则下采样，在更低分辨率上实现点云数据的规则化，然后再对规则化的点云数据进行特征提取和语义分类。但是，传统方法会导致点云数据更加稀疏，从而语义分类的准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高识别精度的点云数据处理方法、装置、计算机设备和存储介质。
一种点云数据处理方法，所述方法包括：
获取点云数据，并对所述点云数据中的各数据点构建对应的邻域点云；
计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；
通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征；所述编码器和解码器是深度学习网络中的两个部分；
通过所述解码器对所述高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对所述点云数据进行语义分类。
在一个实施例中，所述编码器中豪斯多夫卷积层的层数量不少于两个；所述通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征包括：
在进行卷积计算的过程中，针对首层豪斯多夫卷积层，将所述邻域点云作为输入特征与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；
针对非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若所述当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将所述末层豪斯多夫卷积层的输出特征作为所述高维点云特征。
在一个实施例中，所述对所述点云数据中的各数据点构建对应的邻域点云包括：
从所述点云数据的数据点中选取查询点；
在所述点云数据的数据点中，提取与所述查询点的距离小于查询半径的目标数据点；
根据所述目标数据点构建所述查询点对应的邻域点云。
在一个实施例中，所述豪斯多夫距离包括第一最短距离与第二最短距离；所述计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵包括：
分别计算所述邻域点云中每个数据点与所述核点云间的第一最短距离，并由各所述第一最短距离组成第一最短距离集合；
分别计算所述核点云中每个数据点与所述邻域点云间的第二最短距离，并由各所述第二最短距离组成第二最短距离集合；
根据所述第一最短距离集合以及所述第二最短距离集合计算得到所述距离矩阵。
在一个实施例中，所述计算所述邻域点云和预构建的核点云之间的豪斯多夫距离之前，所述方法还包括：
创建球形区域，并在所述球形区域内构建三维参数模型；
通过最远点算法对所述三维参数模型进行采样，构建出所述核点云。
在一个实施例中，所述计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵之后，所述方法还包括：
计算所述距离矩阵的非零元素与查询半径的比值；
根据所述比值计算得到归一化的距离矩阵；
所述通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算包括：
通过编码器中的豪斯多夫卷积层对所述邻域点云、所述归一化的距离矩阵和网络权重矩阵进行卷积计算。
在一个实施例中，所述编码器中的豪斯多夫卷积层包括多核豪斯多夫卷积子层，所述多核豪斯多夫卷积子层中的每个子层对应不同的所述距离矩阵；所述通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征包括：
通过所述多核豪斯多夫卷积子层中的各子层对所述邻域点云、网络权重矩阵和各所述子层对应的距离矩阵进行卷积计算，得到各所述子层的点云特征；
将各所述子层的点云特征进行融合，得到高维点云特征。
一种点云数据处理装置，所述装置包括：
获取模块，用于获取点云数据，并对所述点云数据中的各数据点构建对应的邻域点云；
距离计算模块，用于计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；
卷积计算模块，用于通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征；所述编码器和解码器是深度学习网络中的两个部分；
特征降维模块，用于通过所述解码器对所述高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对所述点云数据进行语义分类。
在一个实施例中，所述编码器中豪斯多夫卷积层的层数量不少于两个；所述卷积计算模块，还用于：
在进行卷积计算的过程中，针对首层豪斯多夫卷积层，将所述邻域点云作为输入特征与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；
针对非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若所述当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将所述末层豪斯多夫卷积层的输出特征作为所述高维点云特征。
在一个实施例中，所述获取模块，还用于：
从所述点云数据的数据点中选取查询点；
在所述点云数据的数据点中，提取与所述查询点的距离小于查询半径的目标数据点；
根据所述目标数据点构建所述查询点对应的邻域点云。
在一个实施例中，所述豪斯多夫距离包括第一最短距离与第二最短距离；所述距离计算模块，还用于：
分别计算所述邻域点云中每个数据点与所述核点云间的第一最短距离，并由各所述第一最短距离组成第一最短距离集合；
分别计算所述核点云中每个数据点与所述邻域点云间的第二最短距离，并由各所述第二最短距离组成第二最短距离集合；
根据所述第一最短距离集合以及所述第二最短距离集合计算得到所述距离矩阵。
在一个实施例中，所述装置还包括：
创建模块，用于创建球形区域，并在所述球形区域内构建三维参数模型；
采样模块，用于通过最远点算法对所述三维参数模型进行采样，构建出所述核点云。
在一个实施例中，所述装置还包括：
比值计算模块，用于计算所述距离矩阵的非零元素与查询半径的比值；
获得模块，用于根据所述比值计算得到归一化的距离矩阵；
所述卷积计算模块，还用于：
通过编码器中的豪斯多夫卷积层对所述邻域点云、所述归一化的距离矩阵和网络权重矩阵进行卷积计算。
在一个实施例中，所述编码器中的豪斯多夫卷积层包括多核豪斯多夫卷积子层，所述多核豪斯多夫卷积子层中的每个子层对应不同的所述距离矩阵；所述卷积计算模块，还用于：
通过所述多核豪斯多夫卷积子层中的各子层对所述邻域点云、网络权重矩阵和各所述子层对应的距离矩阵进行卷积计算，得到各所述子层的点云特征；
将各所述子层的点云特征进行融合，得到高维点云特征。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述点云数据处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述点云数据处理方法的步骤。
上述实施例中，计算机设备获取点云数据，并对点云数据中的各数据点构建对应的邻域点云，然后计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵。计算机设备通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征，并通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。计算机设备通过计算豪斯多夫距离得到距离矩阵，并将距离矩阵和邻域点云进行卷积计算，然后再用网络权重矩阵对卷积计算的结果进行加权，得到最终的高维点云特征，从而实现对点云数据的特征提取，所提取的高维点云特征具有较高的精度，所以，计算机设备在所得到的高维点云特征的基础上进行的语义分类的结果具有较高的准确性。
附图说明
图1为一个实施例中点云数据处理方法的应用环境图；
图2为一个实施例中点云数据处理方法的流程示意图；
图3a为一个实施例中邻域点云示意图；
图3b为一个实施例中邻域点云与核点云1卷积示意图；
图3c为一个实施例中邻域点云与核点云2卷积示意图；
图4为一个实施例中卷积计算的流程示意图；
图5为一个实施例中构建邻域点云方法的流程示意图；
图6为一个实施例中构建核点云方法的流程示意图；
图7为一个实施例中核点云的示意图；
图8为一个实施例中多核豪斯多夫卷积方法的原理示意图；
图9a为一个实施例中S3DIS数据集的场景标签真值示意图；
图9b为一个实施例中深度学习神经网络对S3DIS数据集进行语义分类的结果示意图；
图9c为一个实施例中SemanticKITTI数据集的场景标签真值示意图；
图9d为一个实施例中深度学习神经网络对SemanticKITTI数据集进行语义分类的结果示意图；
图10为一个实施例中点云数据处理装置的结构框图；
图11为另一个实施例中点云数据处理装置的结构框图；
图12为一个实施例中计算机设备的内部结构图；
图13为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请提供的点云数据处理方法，可以应用于如图1所示的应用环境中。其中，计算机设备102通过网络与点云采集设备104进行通信，从点云采集设备104获取点云数据，并对点云数据中的各数据点构建对应的邻域点云，然后计算机设备102计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵，并通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征。最后，计算机设备102通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。其中，计算机设备102可以是终端，也可以是服务器，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。点云采集设备104可以是任意的能够采集到点云数据的设备，例如可以是激光雷达、三维激光扫描仪、RGBD深度相机等。
在一个实施例中，如图2所示，提供了一种点云数据处理方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S202，计算机设备获取点云数据，并对点云数据中的各数据点构建对应的邻域点云。
其中，点云数据是点云采集设备通过对空间中物体进行扫描所获取的数据。点云数据中包括多个数据点，每个数据点包括该数据点的位置坐标，以及该数据点的特征。数据点的特征包括颜色特征、强度特征、激光回波次数等，颜色特征例如可以是颜色RGB值。在一个实施例中，点云数据是三维点云数据，特别的，可以是三维单帧点云数据。三维单帧点云数据比较稀疏，数据线之间间隔较大。在一个实施例中，点云数据可以是无人驾驶汽车上的激光雷达对道路环境中的物体进行扫描所获取的数据。在另一个实施例中，点云数据可以是人工智能机器人上的深度相机对空间环境中物体进行扫描所获取的数据。
其中，某个数据点对应的邻域点云是以该数据点为中心的区域内的数据点组成的点云。例如，如图3a所示，邻域点云是由以数据点p0为圆心，距离圆心的距离小于半径的圆形区域内的数据点构成的。邻域点云中数据点包括数据点的x、y、z坐标以及数据点的特征。
S204，计算机设备计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵。
其中，核点云是具有确定的几何形状的点云。例如，核点云可以具有基本的几何形状，包括点状、线状、面状和三维几何体形状。核点云可以具有归一化的大小尺寸，例如，核点云的半径为1。计算机设备可以通过对基本几何形状的模型进行抽样得到核点云。例如，计算机设备对直线模型进行抽样，从中抽取特定个数的数据点，由抽取出的数据点构建出核点云，直线模型例如可以是表示直线的函数。计算机设备还可以对面模型进行抽样，通过抽取出的数据点构建出核点云。如图3b、图3c所示，实心点为邻域点云，空心点为核点云，图3b与图3c分别是邻域点云与核点云1以及核点云2的三维豪斯多夫卷积示意图。
其中，豪斯多夫距离是度量空间中紧子集间的距离，用于计算两个点云之间的相似度。距离矩阵是由邻域点云中数据点与核点云中数据点间的距离组成的矩阵，表示了核点云与邻域点云间的相似性。例如，距离矩阵为M，mi,j∈M，mi,j表示邻域点云中的第i个数据点与核点云中的第j个数据点间的距离，当mi,j不是邻域点云中的第i个数据点至核点云的最短距离，也不是核点云中的第j个数据点至邻域点云的最短距离时，将mi,j置为0。
S206，计算机设备通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征；编码器和解码器是深度学习网络中的两个部分。
其中，网络权重矩阵是对邻域点云和距离矩阵的卷积结果进行加权的矩阵。豪斯多夫卷积层是通过豪斯多夫卷积算法进行卷积计算的卷基层。豪斯多夫卷积算法通过距离矩阵和网络权重矩阵对输入的数据点的特征进行卷积计算。计算机设备用距离矩阵和邻域点云进行卷积，相当于用距离矩阵对邻域点云的特征进行加权，加权后再通过网络权重矩阵再次进行加权，可以提取出更抽象的高维点云特征。
其中，编码器中可以包括多个豪斯多夫卷积层，每个豪斯多夫卷积层将提取出的特征输入下一豪斯多夫卷积层进行特征提取，从而通过多个豪斯多夫卷积层提取出高维语义特征。在一个实施例中，编码器中的每个豪斯多夫卷积层包括多个豪斯多夫卷积模块，每个豪斯多夫卷积模块具有不同的查询尺度，也即每个豪斯多夫卷积模块在进行卷积计算时，邻域点云的查询半径不同，从而可以进行多尺度的深度特征提取和抽象。解码器的处理过程与编码器相反，解码器对高维语义特征进行降维，并将降维后的特征输入分类器中进行语义分类。
S208，计算机设备通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。
其中，特征降维是降低特征的数据量大小。在一个实施例中，在编码器中，每个豪斯多夫卷积层可以包括两个豪斯多夫卷积模块，经过第一个豪斯多夫卷积模块的卷积后，输出特征的大小保持不变，仍为cin，而经过第二个豪斯多夫卷积模块的卷积后，输出为2*cin，解码器将2*cin大小的特征降为cin。
其中，语义分类是对点云数据中每个数据点添加语义标签，以通过添加的语义标签将数据点划分为不同的语义类别。例如，点云数据是无人车上的激光雷达采集的空间环境的点云数据，空间环境中有人、车量和房屋等。计算机设备对该点云数据进行语义分类可以是对点云数据中表示人的数据点添加红色标签，对点云数据中表示车辆的数据点添加蓝色标签，对点云数据中表示房屋的数据点添加绿色标签。
上述实施例中，计算机设备获取点云数据，并对点云数据中的各数据点构建对应的邻域点云，然后计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵。计算机设备通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征，并通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。计算机设备通过计算豪斯多夫距离得到距离矩阵，并将距离矩阵和邻域点云进行卷积计算，然后再用网络权重矩阵对卷积计算的结果进行加权，得到最终的高维点云特征，从而实现对点云数据的特征提取，所提取的高维点云特征具有较高的精度，所以，计算机设备在所得到的高维点云特征的基础上进行的语义分类的结果具有较高的准确性。
在一个实施例中，将点云数据P输入豪斯多夫卷积层，点云数据中包括每个数据点的x、y、z坐标，以及每个数据点携带的特征，特征包括颜色、强度、激光回波次数等。点云数据P构成的数据矩阵的大小为np×(3+craw)，其中，np为P中数据点的个数，craw为数据点的特征维度，例如，每个数据点携带了三种特征，则特征维度为3。假设点云数据中数据点pi的邻域点云为Q，Q中数据点的个数为nq，Q构成的数据矩阵的大小为nq×(3+craw)。Q中各数据点的特征构成的特征矩阵为Cin。针对邻域点云Q预先构建的核点云为G，根据邻域点云Q和核点云G计算得到的距离矩阵为Mmin，网络权重矩阵为W，则计算机设备通过公式(1)计算得到数据点pi的特征。
其中，Mmin的大小为ng×nq，Cout为计算得到的数据点pi的特征。W为(3+craw)×cout大小矩阵。Mmin*Cin*W卷积后得到矩阵，计算机设备通过max函数获取矩阵中元素的最大值，作为所提取的数据点pi的特征。在一个实施例中，计算机设备可以将公式(1)中的max函数替换为min函数或者sum函数。
在一个实施例中，如图4所示，计算机设备在进行卷积计算时，首先根据核点云与邻域点云计算出距离矩阵，然后对距离矩阵进行归一化。然后使邻域点云对应的特征矩阵与归一化后的距离矩阵进行卷积，并将卷积的结果与网络权重矩阵再次进行卷积，得到加权距离矩阵。计算机设备将加权距离矩阵与其它卷积层输出的加权距离矩阵进行特征合并，得到输出特征。
在一个实施例中，编码器中豪斯多夫卷积层的层数量不少于两个；计算机设备通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征包括：在进行卷积计算的过程中，针对首层豪斯多夫卷积层，将邻域点云作为输入特征与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；针对非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将末层豪斯多夫卷积层的输出特征作为高维点云特征。
计算机设备将每个数据点的邻域点云中数据点的特征构成输入的特征矩阵输入首层豪斯多夫卷积层，提取出第一层特征。然后将第一层特征输入第二层豪斯多夫卷积层，提取出第二层特征，直到最后一层豪斯多夫卷积层，将最后一层豪斯多夫卷积层的输出特征作为高维点云特征。在一个实施例中，每一层豪斯多夫卷积层对应的查询半径不同，所以，对于每一层的豪斯多夫卷积层，重新计算每个数据点对应的邻域点云。在一个实施例中，豪斯多夫卷积层对应的查询半径随着层数的增加而加倍。在一个实施例中，编码器包括五层豪斯多夫卷积层。
计算机设备通过多层豪斯多夫卷积层逐层对点云数据中数据点进行特征提取，每一层在上一层的基础上提取更高维的语义特征，以提取出更抽象的高维语义特征，提高了语义分类的准确性。并且，对于查询半径不同的豪斯多夫卷积层，对应的邻域点云也不相同，也即相当于编码器中的不同豪斯多夫卷积层具有不同的感受野，所提取出的特征利用了不同的三维空间中的上下文语义信息。所以，最终所提取的高维点云特征融合了不同大小的邻域点云的特征，更加准确。
在一个实施例中，如图5所示，计算机设备对点云数据中的各数据点构建对应的邻域点云包括如下步骤：
S502，计算机设备从点云数据的数据点中选取查询点。
S504，计算机设备在点云数据的数据点中，提取与查询点的距离小于查询半径的目标数据点。
S506，计算机设备根据目标数据点构建查询点对应的邻域点云。
计算机设备分别将点云数据中的每个数据点作为查询点，通过查询半径R构建该查询点的邻域点云。例如，查询点为p0，计算机设备以p0为圆心，查询点云数据中，距离p0在查询半径范围内的目标数据点，并根据目标数据点构建出p0对应的邻域点云Q，Q＝{pi|‖pi-p0‖<R}。
在一个实施例中，计算机设备也可以以查询点p0为中心，构建除圆形外的其它形状区域，并提取点云数据在该形状区域内的数据点，构建出查询点的邻域点云。
计算机设备构建点云数据中每个数据点的邻域点云，所构建的邻域点云相当于二维图像中像素的感受野，所以，计算机设备可以通过各数据点的邻域点云的特征卷积计算出各数据点的特征，对数据点进行特征提取。
在一个实施例中，豪斯多夫距离包括第一最短距离与第二最短距离；计算机设备计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵包括：分别计算邻域点云中每个数据点与核点云间的第一最短距离，并由各第一最短距离组成第一最短距离集合；分别计算核点云中每个数据点与邻域点云间的第二最短距离，并由各第二最短距离组成第二最短距离集合；根据第一最短距离集合以及第二最短距离集合计算得到距离矩阵。
假设邻域点云为Q，核点云为G，Q中每个点qi(qi∈Q)到核点云G的第一最短距离为：其中g是核点云中的数据点。对于核点云G中的每个数据点gi(gi∈G)到邻域点云Q的第二最短距离为：/> 计算机设备根据获取的第一最短距离和第二最短距离分别构建第一最短距离集合与第二最短距离集合。第一最短距离集合SQG为：/> 第二最短距离集合为：/>
计算机设备根据第一最短距离集合与第二最短距离集合计算出的距离矩阵Mmin为其中，i和j均大于等于1的正整数，分别为G和Q中数据点的下标索引。由于SQG包含了邻域点云Q中每个数据点到G的最短距离值，而SGQ包含了核点云G中每个数据点到Q的最近距离值，从而豪斯多夫距离从邻域点云和核点云双向的角度对相互间的距离进行度量。由于Mmin中只保留了从属于SQG和SGQ的数值，其余数值置零，所以Mmin保留了点云数据比对过程中有价值的信息，消除了冗余数据的影响，有效避免了噪声的干扰。
在一个实施例中，计算机设备计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵之后，方法还包括：计算距离矩阵的非零元素与查询半径的比值；根据比值计算得到归一化的距离矩阵；通过编码器中的豪斯多夫卷积层对邻域点云、归一化的距离矩阵和网络权重矩阵进行卷积计算。
其中，距离矩阵为Mmin，查询半径为R，距离矩阵中的非零元素与查询半径的比值为Mmin(i，j)/R，计算机设备通过1-Mmin(i，j)/R将距离矩阵归一化在(0，1)区间。
在一个实施例中，如图6所示，计算机设备计算所述邻域点云和预构建的核点云之间的豪斯多夫距离之前，还包括如下步骤：
S602，计算机设备创建球形区域，并在所述球形区域内构建三维参数模型。
S604，计算机设备通过最远点算法对所述三维参数模型进行采样，构建出所述核点云。
其中，三维参数模型是表示几何形状的模型。例如可以是表示几何形状的函数。几何形状可以是点、线、面、体等几何形状，例如，线为直线，面为平面，体为球体。所以，三维参数模型可以是表示点、线、面、体的函数。这些几何形状可以很好的嵌入三维邻域空间，并且保持形状上的对称性，并且球体还满足旋转不变性。其中，三维参数模型不限于是表示点、线、面、体的模型，也可以是表示其它几何形状的模型。
计算机设备可以预先设置通过最远点算法采样的样本个数，并根据从三维参数模型中采样所得的样本点构建出核点云。例如，如图7所示，从左至右分别是点、线、面、体形状的核点云。计算机设备所构建的核点云的大小为归一化尺度，在进行卷积计算时可以随着查询半径的变化而变化，与查询半保持一致。
在一个实施例中，编码器中的豪斯多夫卷积层包括多核豪斯多夫卷积子层，多核豪斯多夫卷积子层中的每个子层对应不同的距离矩阵；通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征包括：通过多核豪斯多夫卷积子层中的各子层对邻域点云、网络权重矩阵和各子层对应的距离矩阵进行卷积计算，得到各子层的点云特征；将各子层的点云特征进行融合，得到高维点云特征。
其中，编码器中的豪斯多夫卷积层包括多个多核豪斯多夫卷积子层，每个多核豪斯多夫卷积子层对应于不同的核点云，也即该卷积层根据邻域点云和核点云计算得到的距离矩阵不相同。各个多核豪斯多夫卷积子层计算得到对应的点云特征后，编码器对各子层的点云特征进行融合，得到高维点云特征。其中，对点云特征进行融合可以是对点云特征进行相加或者加权相加，或者在对点云特征进行处理后进行融合，处理的过程可以是线性或者非线性处理。
在一个实施例中，如图8所示，豪斯多夫卷积层包括nk个多核豪斯多夫卷积子层，多核豪斯多夫卷积子层进行卷积计算后得到对应的卷积响应向量Cout，计算机设备根据公式首先通过激活函数RELU对各卷积响应向量进行处理，然后对处理后的卷积向量进行累加，得到累加和向量，再根据激活函数对累加和向量进行处理，得到融合的特征/>其中，激活函数RELU可以是非线性函数，通过激活函数对卷积响应向量进行处理，可以增加单个卷积响应向量的非线性成分。计算机设备通过非线性激活函数对/>进行处理，以对累加的RELU(Cout)进行非线性映射，从而构建出融合的特征。
在一个实施例中，计算机设备对多核豪斯多夫卷积子层输出的卷积响应向量进行拼接，通过拼接对卷积响应向量进行融合。在另一个实施例中，计算机设备通过多层感知器将多个多核豪斯多夫卷积子层输出的卷积响应向量映射为一维数据，以实现对卷积响应向量的融合。
由于实时稀疏点云数据缺少几何信息，计算机设备通过豪斯多夫距离计算得到距离矩阵，可以通过显式几何比较的方法，提取邻域点云与核点云之间的相似度，为稀疏点云数据带来几何信息的补充，增加了三维点云卷积方法的可解释性。豪斯多夫距离采用了双向度量的方式，分别从邻域点云以及核点云的角度进行点云的相似度比对，并最后综合两者的比对结果，得到距离矩阵。
在一个实施例中，点云数据分别为S3DIS数据集和SemanticKITTI数据集，深度学习神经网络中包括五层豪斯多夫卷积层，每层的查询半径为上一层的两倍。如图9a所示为S3DIS数据集的场景标签真值(ground truth)，图9b所示为通过深度学习神经网络得到的对S3DIS数据集进行语义分类的结果。如图9c所示为SemanticKITTI数据集的场景标签真值(ground truth)，图9d所示为通过深度学习神经网络得到的对SemanticKITTI数据集进行语义分类的结果。其中，具有相同语义的目标用统一的颜色表示，相同语义目标在两幅图片中应具有相同颜色。从图9a至9d可以看出，深度学习神经网络可以较好地区分场景中的主要语义目标，并保持主要语义目标的分割完整性和精确性。此外，深度学习神经网络对于稀疏数据或稠密数据都较为有效。深度学习神经网络可以根据物体的几何形状将语义目标进行完整的语义分类，充分显示了深度学习神经网络的学习能力。
在一个实施例中，点云数据为S3DIS数据集，计算机设备采用序列1-4，6作为训练集，序列5作为测试集，采用三维球形核点云作为单核豪斯多夫卷积的核点云，采用mIOU(mean of Intersection Over Union)作为衡量深度学习神经网络语义分类结果准确度的指标，在深度学习神经网络的豪斯多夫卷积层为单核豪斯多夫卷积层时，语义分类结果的mIOU为66.7％。在深度学习神经网络的豪斯多夫卷积层为多核豪斯多夫卷积层时，语义分类结果的mIOU为68.2％。
在一个实施例中，点云数据为SemanticKITTI数据集，计算机设备采用序列0-7，9-10作为训练集，序列8作为测试集，在深度学习神经网络的豪斯多夫卷积层为单核豪斯多夫卷积层时，语义分类结果的mIOU为59.6％。在深度学习神经网络的豪斯多夫卷积层为多核豪斯多夫卷积层时，语义分类结果的mIOU为60.3％。由于SemanticKITTI数据集是对户外场景进行扫描形成的数据集，所以深度学习神经网络的语义分类结果证明包括豪斯多夫卷积的深度学习神经网络对于户外单帧点云数据的分类有效。
应该理解的是，虽然图2、5-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种点云数据处理装置，包括：获取模块、距离计算模块、卷积计算模块和特征降维模块，其中：
获取模块1002，用于获取点云数据，并对点云数据中的各数据点构建对应的邻域点云；
距离计算模块1004，用于计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；
卷积计算模块1006，用于通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征；编码器和解码器是深度学习网络中的两个部分；
特征降维模块1008，用于通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。
上述实施例中，计算机设备获取点云数据，并对点云数据中的各数据点构建对应的邻域点云，然后计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵。计算机设备通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征，并通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。计算机设备通过计算豪斯多夫距离得到距离矩阵，并将距离矩阵和邻域点云进行卷积计算，然后再用网络权重矩阵对卷积计算的结果进行加权，得到最终的高维点云特征，从而实现对点云数据的特征提取，所提取的高维点云特征具有较高的精度，所以，计算机设备在所得到的高维点云特征的基础上进行的语义分类的结果具有较高的准确性。
在一个实施例中，编码器中豪斯多夫卷积层的层数量不少于两个；卷积计算模块1006，还用于：
在进行卷积计算的过程中，针对首层豪斯多夫卷积层，将邻域点云作为输入特征与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；
针对非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将末层豪斯多夫卷积层的输出特征作为高维点云特征。
在一个实施例中，获取模块1002，还用于：
从点云数据的数据点中选取查询点；
在点云数据的数据点中，提取与查询点的距离小于查询半径的目标数据点；
根据目标数据点构建查询点对应的邻域点云。
在一个实施例中，豪斯多夫距离包括第一最短距离与第二最短距离；距离计算模块1004，还用于：
分别计算邻域点云中每个数据点与核点云间的第一最短距离，并由各第一最短距离组成第一最短距离集合；
分别计算核点云中每个数据点与邻域点云间的第二最短距离，并由各第二最短距离组成第二最短距离集合；
根据第一最短距离集合以及第二最短距离集合计算得到距离矩阵。
在一个实施例中，如图11所示，装置还包括：
创建模块1010，用于创建球形区域，并在球形区域内构建三维参数模型；
采样模块1012，用于通过最远点算法对三维参数模型进行采样，构建出核点云。
在一个实施例中，装置还包括：
比值计算模块1014，用于计算距离矩阵的非零元素与查询半径的比值；
获得模块1016，用于根据比值计算得到归一化的距离矩阵；
卷积计算模块1006，还用于：
通过编码器中的豪斯多夫卷积层对邻域点云、归一化的距离矩阵和网络权重矩阵进行卷积计算。
在一个实施例中，编码器中的豪斯多夫卷积层包括多核豪斯多夫卷积子层，多核豪斯多夫卷积子层中的每个子层对应不同的距离矩阵；卷积计算模块1006，还用于：
通过多核豪斯多夫卷积子层中的各子层对邻域点云、网络权重矩阵和各子层对应的距离矩阵进行卷积计算，得到各子层的点云特征；
将各子层的点云特征进行融合，得到高维点云特征。
关于点云数据处理装置的具体限定可以参见上文中对于点云数据处理方法的限定，在此不再赘述。上述点云数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储点云数据处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云数据处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种点云数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12、13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取点云数据，并对点云数据中的各数据点构建对应的邻域点云；计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征；编码器和解码器是深度学习网络中的两个部分；通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。
在一个实施例中，编码器中豪斯多夫卷积层的层数量不少于两个；处理器执行计算机程序时还实现以下步骤：在进行卷积计算的过程中，针对首层豪斯多夫卷积层，将邻域点云作为输入特征与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；针对非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将末层豪斯多夫卷积层的输出特征作为高维点云特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从点云数据的数据点中选取查询点；在点云数据的数据点中，提取与查询点的距离小于查询半径的目标数据点；根据目标数据点构建查询点对应的邻域点云。
在一个实施例中，豪斯多夫距离包括第一最短距离与第二最短距离；处理器执行计算机程序时还实现以下步骤：分别计算邻域点云中每个数据点与核点云间的第一最短距离，并由各第一最短距离组成第一最短距离集合；分别计算核点云中每个数据点与邻域点云间的第二最短距离，并由各第二最短距离组成第二最短距离集合；根据第一最短距离集合以及第二最短距离集合计算得到距离矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：创建球形区域，并在球形区域内构建三维参数模型；通过最远点算法对三维参数模型进行采样，构建出核点云。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算距离矩阵的非零元素与查询半径的比值；根据比值计算得到归一化的距离矩阵；通过编码器中的豪斯多夫卷积层对邻域点云、归一化的距离矩阵和网络权重矩阵进行卷积计算。
在一个实施例中，编码器中的豪斯多夫卷积层包括多核豪斯多夫卷积子层，多核豪斯多夫卷积子层中的每个子层对应不同的距离矩阵；处理器执行计算机程序时还实现以下步骤：通过多核豪斯多夫卷积子层中的各子层对邻域点云、网络权重矩阵和各子层对应的距离矩阵进行卷积计算，得到各子层的点云特征；将各子层的点云特征进行融合，得到高维点云特征。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取点云数据，并对点云数据中的各数据点构建对应的邻域点云；计算邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；通过编码器中的豪斯多夫卷积层对邻域点云、距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征；编码器和解码器是深度学习网络中的两个部分；通过解码器对高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对点云数据进行语义分类。
在一个实施例中，编码器中豪斯多夫卷积层的层数量不少于两个；计算机程序被处理器执行时还实现以下步骤：在进行卷积计算的过程中，针对首层豪斯多夫卷积层，将邻域点云作为输入特征与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；针对非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将末层豪斯多夫卷积层的输出特征作为高维点云特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从点云数据的数据点中选取查询点；在点云数据的数据点中，提取与查询点的距离小于查询半径的目标数据点；根据目标数据点构建查询点对应的邻域点云。
在一个实施例中，豪斯多夫距离包括第一最短距离与第二最短距离；计算机程序被处理器执行时还实现以下步骤：分别计算邻域点云中每个数据点与核点云间的第一最短距离，并由各第一最短距离组成第一最短距离集合；分别计算核点云中每个数据点与邻域点云间的第二最短距离，并由各第二最短距离组成第二最短距离集合；根据第一最短距离集合以及第二最短距离集合计算得到距离矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：创建球形区域，并在球形区域内构建三维参数模型；通过最远点算法对三维参数模型进行采样，构建出核点云。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算距离矩阵的非零元素与查询半径的比值；根据比值计算得到归一化的距离矩阵；通过编码器中的豪斯多夫卷积层对邻域点云、归一化的距离矩阵和网络权重矩阵进行卷积计算。
在一个实施例中，编码器中的豪斯多夫卷积层包括多核豪斯多夫卷积子层，多核豪斯多夫卷积子层中的每个子层对应不同的距离矩阵；计算机程序被处理器执行时还实现以下步骤：通过多核豪斯多夫卷积子层中的各子层对邻域点云、网络权重矩阵和各子层对应的距离矩阵进行卷积计算，得到各子层的点云特征；将各子层的点云特征进行融合，得到高维点云特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种点云数据处理方法，其特征在于，所述方法包括：
获取点云数据，并对所述点云数据中的各数据点构建对应的邻域点云；
计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；
在进行卷积计算的过程中，针对编码器中的首层豪斯多夫卷积层，将所述邻域点云作为输入特征与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；
针对所述编码器中的非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若所述当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将所述末层豪斯多夫卷积层的输出特征作为高维点云特征；所述编码器和解码器是深度学习网络中的两个部分；
通过所述解码器对所述高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对所述点云数据进行语义分类。
2.根据权利要求1所述的方法，其特征在于，所述对所述点云数据中的各数据点构建对应的邻域点云包括：
从所述点云数据的数据点中选取查询点；
在所述点云数据的数据点中，提取与所述查询点的距离小于查询半径的目标数据点；
根据所述目标数据点构建所述查询点对应的邻域点云。
3.根据权利要求1所述的方法，其特征在于，所述豪斯多夫距离包括第一最短距离与第二最短距离；所述计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵包括：
分别计算所述邻域点云中每个数据点与所述核点云间的第一最短距离，并由各所述第一最短距离组成第一最短距离集合；
分别计算所述核点云中每个数据点与所述邻域点云间的第二最短距离，并由各所述第二最短距离组成第二最短距离集合；
根据所述第一最短距离集合以及所述第二最短距离集合计算得到所述距离矩阵。
4.根据权利要求1所述的方法，其特征在于，所述计算所述邻域点云和预构建的核点云之间的豪斯多夫距离之前，所述方法还包括：
创建球形区域，并在所述球形区域内构建三维参数模型；
通过最远点算法对所述三维参数模型进行采样，构建出所述核点云。
5.根据权利要求1所述的方法，其特征在于，所述计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵之后，所述方法还包括：
计算所述距离矩阵的非零元素与查询半径的比值；
根据所述比值计算得到归一化的距离矩阵；
所述通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算包括：
通过编码器中的豪斯多夫卷积层对所述邻域点云、所述归一化的距离矩阵和网络权重矩阵进行卷积计算。
6.根据权利要求1所述的方法，其特征在于，所述编码器中的豪斯多夫卷积层包括多核豪斯多夫卷积子层，所述多核豪斯多夫卷积子层中的每个子层对应不同的所述距离矩阵；所述通过编码器中的豪斯多夫卷积层对所述邻域点云、所述距离矩阵和网络权重矩阵进行卷积计算，得到高维点云特征包括：
通过所述多核豪斯多夫卷积子层中的各子层对所述邻域点云、网络权重矩阵和各所述子层对应的距离矩阵进行卷积计算，得到各所述子层的点云特征；
将各所述子层的点云特征进行融合，得到高维点云特征。
7.一种点云数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取点云数据，并对所述点云数据中的各数据点构建对应的邻域点云；
距离计算模块，用于计算所述邻域点云和预构建的核点云之间的豪斯多夫距离，得到距离矩阵；
卷积计算模块，用于在进行卷积计算的过程中，针对编码器中的首层豪斯多夫卷积层，将所述邻域点云作为输入特征与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；针对所述编码器中的非首层豪斯多夫卷积层，将当前非首层豪斯多夫卷积层的上一层豪斯多夫卷积层的输出特征作为本层输入特征，与所述距离矩阵和网络权重矩阵进行卷积计算，得到输出特征；若所述当前非首层豪斯多夫卷积层为末层豪斯多夫卷积层时，将所述末层豪斯多夫卷积层的输出特征作为高维点云特征；所述编码器和解码器是深度学习网络中的两个部分；
特征降维模块，用于通过所述解码器对所述高维点云特征进行特征降维，以使分类器根据降维所得的目标点云特征对所述点云数据进行语义分类。
8.根据权利要求7所述的装置，其特征在于，所述获取模块，还用于从所述点云数据的数据点中选取查询点；在所述点云数据的数据点中，提取与所述查询点的距离小于查询半径的目标数据点；根据所述目标数据点构建所述查询点对应的邻域点云。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202110274439.3A 2021-03-15 2021-03-15 点云数据处理方法、装置、计算机设备和存储介质 Active CN112990010B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110274439.3A CN112990010B (zh) 2021-03-15 2021-03-15 点云数据处理方法、装置、计算机设备和存储介质
PCT/CN2021/082250 WO2022193335A1 (zh) 2021-03-15 2021-03-23 点云数据处理方法、装置、计算机设备和存储介质
US17/735,888 US11875424B2 (en) 2021-03-15 2022-05-03 Point cloud data processing method and device, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110274439.3A CN112990010B (zh) 2021-03-15 2021-03-15 点云数据处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112990010A CN112990010A (zh) 2021-06-18
CN112990010B true CN112990010B (zh) 2023-08-18

Family

ID=76335482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274439.3A Active CN112990010B (zh) 2021-03-15 2021-03-15 点云数据处理方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN112990010B (zh)
WO (1) WO2022193335A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537390B (zh) * 2021-08-06 2023-10-10 国网新源水电有限公司富春江水力发电厂 一种基于图卷积网络的动态点云位置预测方法
CN114359089B (zh) * 2021-12-29 2022-09-27 江苏苏彩信息技术有限公司 一种基于点云滤波网络的三维点云数据去噪方法
CN114048845B (zh) * 2022-01-14 2022-06-03 深圳大学 点云修复方法、装置、计算机设备和存储介质
CN114596447B (zh) * 2022-02-17 2024-08-13 成都飞机工业（集团）有限责任公司 一种点云下采样方法、装置、设备及存储介质
CN114972695B (zh) * 2022-05-20 2024-03-15 北京大学深圳研究生院 一种点云生成方法、装置、电子设备及存储介质
CN116188891B (zh) * 2022-12-19 2024-09-24 中国人民解放军国防科技大学 一种基于三维点云的图像生成方法和系统
CN116416586B (zh) * 2022-12-19 2024-04-02 香港中文大学（深圳） 基于rgb点云的地图元素感知方法、终端及存储介质
CN117808703B (zh) * 2024-02-29 2024-05-10 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法
CN118466178B (zh) * 2024-07-11 2024-09-24 长沙韶光芯材科技有限公司 一种异型玻璃基板涂胶机优化控制方法及系统
CN118505910B (zh) * 2024-07-18 2024-10-01 中国人民解放军陆军工程大学 基于点云、物联网的地下空间数字孪生体逆向构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN112101278A (zh) * 2020-09-25 2020-12-18 湖南盛鼎科技发展有限责任公司 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN112435343A (zh) * 2020-11-24 2021-03-02 杭州唯实科技有限公司 点云数据处理方法和装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118564B (zh) * 2018-08-01 2023-09-19 山东佳音信息科技有限公司 一种基于融合体素的三维点云标记方法和装置
CN109859256B (zh) * 2019-03-13 2023-03-31 大连理工大学 一种基于自动对应点匹配的三维点云配准方法
EP3767521A1 (en) * 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
CN111028327B (zh) * 2019-12-10 2023-05-02 深圳先进技术研究院 一种三维点云的处理方法、装置及设备
CN112215231B (zh) * 2020-09-29 2024-03-08 浙江工业大学 一种结合空间深度卷积和残差结构的大尺度点云语义分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN112101278A (zh) * 2020-09-25 2020-12-18 湖南盛鼎科技发展有限责任公司 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN112435343A (zh) * 2020-11-24 2021-03-02 杭州唯实科技有限公司 点云数据处理方法和装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112990010A (zh) 2021-06-18
WO2022193335A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
US11875424B2 (en) Point cloud data processing method and device, computer device, and storage medium
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN113362382A (zh) 三维重建方法和三维重建装置
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113159232A (zh) 一种三维目标分类、分割方法
Wang et al. A novel GCN-based point cloud classification model robust to pose variances
CN115170746B (zh) 一种基于深度学习的多视图三维重建方法、系统及设备
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
EP4053734A1 (en) Hand gesture estimation method and apparatus, device, and computer storage medium
CN110704652A (zh) 基于多重注意力机制的车辆图像细粒度检索方法及装置
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN111310821A (zh) 多视图特征融合方法、系统、计算机设备及存储介质
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN110503643A (zh) 一种基于多尺度快速场景检索的目标检测方法和装置
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116740668A (zh) 三维目标检测方法、装置、计算机设备和存储介质
CN113496260B (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
CN112668421B (zh) 一种基于注意力机制的无人机高光谱农作物快速分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant