Nothing Special   »   [go: up one dir, main page]

CN111612891B - 模型生成方法、点云数据处理方法、装置、设备及介质 - Google Patents

模型生成方法、点云数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111612891B
CN111612891B CN202010443095.XA CN202010443095A CN111612891B CN 111612891 B CN111612891 B CN 111612891B CN 202010443095 A CN202010443095 A CN 202010443095A CN 111612891 B CN111612891 B CN 111612891B
Authority
CN
China
Prior art keywords
point cloud
cloud data
quality
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010443095.XA
Other languages
English (en)
Other versions
CN111612891A (zh
Inventor
李艳丽
孙晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202010443095.XA priority Critical patent/CN111612891B/zh
Publication of CN111612891A publication Critical patent/CN111612891A/zh
Application granted granted Critical
Publication of CN111612891B publication Critical patent/CN111612891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种模型生成方法、点云数据处理方法、装置、设备及介质。该模型生成方法包括：获取第一点云数据和第二点云数据，将第一点云数据和第二点云数据作为一组第一训练样本，其中，第一点云数据的质量高于第二点云数据的质量；基于多组第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络；基于初始评测模型，生成质量评测模型。本发明实施例的技术方案，基于原始孪生网络模型生成的质量评测模型，解决了点云数据的质量难以精准确定的问题，达到了客观评测出点云数据的质量评测结果的效果。

Description

模型生成方法、点云数据处理方法、装置、设备及介质
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种模型生成方法、点云数据处理方法、装置、设备及介质。
背景技术
随着虚拟仿真、增强现实、机器人、自动驾驶等行业的推进和发展，针对点云数据的计算和应用越来越重要。一般而言，点云数据由一系列三维场景点组成，其可通过激光雷达扫描、虚构场景抽稀、多视图重建等手段获取。激光雷达扫描手段经由激光雷达设备向场景中投影激光束，通过反向计算激光束的角度和距离推算点云坐标；虚构场景抽稀手段通过虚拟仿真软件构建虚拟环境，然后对虚拟环境进行采样点抽稀以获取点云集合；多视图重建手段经由相机拍摄多幅场景图像，根据多视图摄影几何理论获取三维场景点的三维坐标。
点云数据的获取手段复杂多样，受到操作者和技术的局限性，在各种手段下获取的点云数据的质量往往参差不齐。质量不佳的点云数据会对某些应用的后续开发造成较大影响，例如，虚拟仿真中的街景点云分布不均导致仿真效果不逼真、三维打印出的舞者点云位姿不够优美导致多次采集等等。
在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：现有技术主要是通过肉眼对采集到的点云数据的质量进行评测，这一评测方式的主观性较强，点云质量的确定精度不佳，其难以引导点云数据的生产过程。
发明内容
本发明实施例提供了一种模型生成方法、点云数据处理方法、装置、设备及介质，解决了点云数据的质量难以精准确定的问题。
第一方面，本发明实施例提供了一种模型生成方法，可以包括：
获取第一点云数据和第二点云数据，将第一点云数据和第二点云数据作为一组第一训练样本，其中，第一点云数据的质量高于第二点云数据的质量；
基于多组第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络；
基于初始评测模型，生成质量评测模型。
可选的，基于初始评测模型，生成质量评测模型，可以包括：
获取已标注点云数据和已标注点云数据的质量标注结果，将已标注点云数据和质量标注结果作为一组第二训练样本；
基于多组第二训练样本对初始评测模型中初始训练完成的任一预设卷积神经网络进行训练，生成质量评测模型。
可选的，预设卷积神经网络包括数据划分模块、低层特征提取模块、数据级联模块和高层特征提取模块；预设卷积神经网络通过如下步骤评测出第一点云数据的质量评测结果：
经由数据划分模块将第一点云数据划分为位置通道子数据和色彩通道子数据，再经由低层特征提取模块对位置通道子数据和色彩通道子数据分别进行低层特征提取；经由数据级联模块对两个低层特征提取结果进行级联，再经由高层特征提取模块对级联结果进行高层特征提取，并根据高层特征提取结果得到质量评测结果。
可选的，原始孪生网络模型还包括损失计算模块，若第一点云数据的质量评测结果高于第二点云数据的质量评测结果，则损失计算模块的输出结果为0，否则，损失计算模块的输出结果为正数。
可选的，质量标注结果是根据预设评测因素预先标注的，预设评测因素可包括数据完整度、目标拖尾度、色彩自然丰富度、数据分布稠密度和投影栅格度中的至少一个。
可选的，第二点云数据通过如下步骤预先生成：
获取第一点云数据和预设点云修调策略，其中，预设点云修调策略根据预设评测因素预先生成；
基于预设点云修调策略修调第一点云数据，根据修调结果生成第二点云数据。
可选的，基于预设点云修调策略修调第一点云数据，包括：
对第一点云数据中的待删切区域进行数据删切处理；和/或，
对第一点云数据中的待抽稀区域进行数据抽稀处理；和/或，
对第一点云数据中的待调整区域进行颜色调整处理；和/或，
对第一点云数据中的待添加区域进行噪声添加处理。
可选的，预设卷积神经网络可以包括PointNet、PointNet++、PointCNN、3DmFV或是GeoNet。
第二方面，本发明实施例提供了一种点云数据处理方法，可以包括：
基于预设获取策略获取待处理点云数据，以及按照本发明任意实施例所提供的模型生成方法生成的质量评测模型；
将待处理点云数据输入至质量评测模型中，根据质量评测模型的输出结果，确定出待处理点云数据的质量评测结果；
根据质量评测结果从各预设获取策略中筛选出目标获取策略，从各待处理点云数据中筛选出基于目标获取策略获取到的目标点云数据，并对目标点云数据进行处理。
第三方面，本发明实施例还提供了一种模型生成装置，该装置可以包括：
第一获取模块，用于基于预设获取策略获取第一点云数据和第二点云数据，将第一点云数据和第二点云数据作为一组第一训练样本，其中，第一点云数据的质量高于第二点云数据的质量；
第一生成模块，用于基于多组第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络；
第二生成模块，用于基于初始评测模型，生成质量评测模型。
第四方面，本发明实施例还提供了一种点云数据处理装置，该装置可包括：
第二获取模块，用于基于预设获取策略获取待处理点云数据，以及按照本发明任意实施例所提供的模型生成方法生成的质量评测模型；
点云质量确定模块，用于将待处理点云数据输入至质量评测模型中，根据质量评测模型的输出结果，确定出待处理点云数据的质量评测结果；
点云数据处理模块，用于根据质量评测结果从各预设获取策略中筛选出目标获取策略，从各待处理点云数据中筛选出基于目标获取策略获取到的目标点云数据，并对目标点云数据进行处理。
第五方面，本发明实施例还提供了一种设备，该设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的模型生成方法或是点云数据处理方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的模型生成方法或是点云数据处理方法。
本发明实施例的技术方案，通过获取第一点云数据和第二点云数据，二者是在质量方面具有排序关系的点云匹配对，其可作为一组第一训练样本；基于多组第一训练样本对原始孪生网络模型进行训练，该原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络，根据训练结果生成初始评测模型，该初始评测模型可以评测出点云匹配对中两个点云数据的质量相对高低；进而，基于初始评测模型，生成用于评测点云数据的质量的质量评测模型。上述技术方案，基于原始孪生网络模型生成的质量评测模型，解决了点云数据的质量难以精准确定的问题，达到了客观评测出点云数据的质量评测结果的效果。
附图说明
图1是本发明实施例一中的一种模型生成方法的流程图；
图2是本发明实施例一中的原始孪生网络模型的示意图；
图3是本发明实施例二中的一种模型生成方法的流程图；
图4a是本发明实施例二中的预设卷积神经网络的第一示意图；
图4b是本发明实施例二中的预设卷积神经网络的第二示意图；
图4c是本发明实施例二中的原始孪生网络模型的示意图；
图5是本发明实施例三中的一种点云数据处理方法的流程图；
图6是本发明实施例四中的一种模型生成装置的结构框图；
图7是本发明实施例五中的一种点云数据处理装置的结构框图；
图8是本发明实施例六中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中提供的一种模型生成方法的流程图。本实施例可适用于生成用于评测出点云数据的质量的质量评测模型的情况。该方法可以由本发明实施例提供的模型生成装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种用户终端或服务器上。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、获取第一点云数据和第二点云数据，将第一点云数据和第二点云数据作为一组第一训练样本，第一点云数据的质量高于第二点云数据的质量。
其中，第一点云数据的质量高于第二点云数据的质量，第一点云数据可以认为是高质量点云数据，第二点云数据可以认为是低质量点云数据，高质量和低质量是相对而言的。两个点云数据可以是同一场景下的点云数据，也可以是不同场景下的点云数据，在此未做具体限定。另外，两个点云数据的获取方式也有很多种，例如，在同一场景下，从两个角度分别捕获两个点云数据，根据这两个点云数据的质量，将质量相对较高的点云数据作为第一点云数据，且将质量相对较低的点云数据作为第二点云数据；再例如，先捕获一个质量比较高的点云数据，将其作为第一点云数据，然后对其进行修调以生成质量有所降低的第二点云数据；等等，在此未做具体限定。一个第一点云数据和一个第二点云数据可以认为是一个在质量方面具有排序关系的点云匹配对，该点云匹配对可以作为一组第一训练样本。
S120、基于多组第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络。
其中，原始孪生网络模型是未经训练的孪生网络模型，其适用于具有排序关系的应用场景中，考虑到第一训练样本中的第一点云数据和第二点云数据是在质量方面具有排序关系的点云匹配对，因此，可以基于多组第一训练样本对原始孪生网络模型进行训练，根据训练结果生成的初始评测模型，可以评测出第一训练样本中两个点云数据的质量的相对高低。
需要说明的是，点云数据是非均匀结点，一套点云数据中任意两个相邻点云数据间的距离并非是固定值，这是因为有些位置的点云数据较为稀疏，而有些位置的点云数据较为稠密。点云数据的非均匀性意味着采用规整卷积神经网络无法对其进行层层计算，需要特殊设置的非均匀的卷积神经网络方能对点云数据进行处理。因此，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络，该预设卷积神经网络即为非均匀的卷积神经网络，其可以是PointNet、PointNet++、PointCNN、3DmFV或是GeoNet，也可以是其余的可以对点云数据进行处理的卷积神经网络；该质量评测结果可以通过多种形式表现，如评分、等级、文字等等，在此未做具体限定。在模型训练过程中，一个预设卷积神经网络的输入数据是第一点云数据，且输出数据是第一点云数据的质量评测结果，另一个预设卷积神经网络的输入数据是第二点云数据，且输出数据是第二点云数据的质量评测结果，两个预设卷积神经网络共享网络参数和权重。
在此基础上，可选的，原始孪生网络模型还可以包括损失计算模块，两个预设卷积神经网络的输出数据都可以馈送到该损失计算模块中，根据损失计算模块的输出结果调整两个预设卷积神经网络的网络参数。结合本发明实施例的应用场景，若第一点云数据的质量评测结果高于第二点云数据的质量评测结果，则损失计算模块的输出结果为0，这说明两个预设卷积神经网络的评测结果正确；否则，损失计算模块的输出结果为正数，这说明两个预设卷积神经网络的评测结果错误，模型有待优化，最终的输出结果是越小越好。示例性的，如图2所示，原始孪生网络模型包括两个预设卷积神经网络(Sister Network#1和Sister Network#2)、以及与两个预设卷积神经网络分别连接的损失计算模块(Contrastive Loss)。
S130、基于初始评测模型，生成质量评测模型。
其中，基于初始评测模型生成质量评测模型的实现方式有多种，例如，考虑到初始评测模型中初始训练完成的任一预设卷积神经网络能够评测出点云数据的质量，因此，可以将初始训练完成的任一预设卷积神经网络直接作为质量评测模型；再例如，考虑到第一训练样本并未包括质量标注结果，这使得初始训练完成的任一预设卷积神经网络的输出结果虽然可以体现出点云数据的质量的高与低，但是其输出的质量评测结果的表现方式与期望方式可能存在差异，如针对某第一点云数据和某第二点云数据，初始训练完成的任一预设卷积神经网络评测出的二者的质量评测结果分别是50分和30分，而期望的质量评测结果分别是80分和20分，由此，为解决这一问题，可对初始训练完成的任一预设卷积神经网络进行微调训练，并根据微调训练结果生成质量评测模型；等等，在此未做具体限定。
需要说明的是，基于原始孪生网络模型的训练结果，直接或是间接生成质量评测模型的好处在于，在对原始孪生网络模型进行训练时，第一训练样本是在质量上具有排序关系的点云数据匹配对，其未涉及到已标注点云数据的质量标注结果，由于质量标注结果是人为标注的主观性较强的质量，这使得第一训练样本的主观性较弱，由此训练生成的质量评测模型的客观性较强。进一步，正如上文所述，为使质量评测结果的表现方式与期望方式尽可能一致，后续可以基于人为标注的质量标注结果对初始训练完成的任一预设卷积神经网络进行微调训练。考虑到初始评测模型可以对两个点云数据的质量进行排序，分辨出哪个点云数据的质量相对较高，而哪个点云数据的质量相对较低，由此，针对初始评测模型中初始训练完成的任一预设卷积神经网络，只需要少量的质量标注结果即可对其进行微调训练以生成质量评测模型，该质量评测模型是已训练完成的预设卷积神经网络，其输出的质量评测结果的表现形式与期望形式较为一致，这种迁移学习方法尽可能降低了人为的主观性对训练结果的影响。
本发明实施例的技术方案，通过获取第一点云数据和第二点云数据，二者是在质量方面具有排序关系的点云匹配对，其可作为一组第一训练样本；基于多组第一训练样本对原始孪生网络模型进行训练，该原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络，根据训练结果生成初始评测模型，该初始评测模型可以评测出点云匹配对中两个点云数据的质量相对高低；进而，基于初始评测模型，生成用于评测点云数据的质量的质量评测模型。上述技术方案，基于原始孪生网络模型生成的质量评测模型，解决了点云数据的质量难以精准确定的问题，达到了客观评测出点云数据的质量评测结果的效果。
一种可选的技术方案，考虑到有些点云数据是彩色点云数据，该彩色点云数据同时具有坐标属性(如X/Y/Z)和色彩属性(如R/G/B)，由此，预设卷积神经网络可以包括数据划分模块、低层特征提取模块、数据级联模块和高层特征提取模块；相应的，以第一点云数据为例，预设卷积神经网络可以通过如下步骤评测出其质量评测结果：经由数据划分模块将第一点云数据划分为位置通道子数据和色彩通道子数据，再经由低层特征提取模块对位置通道子数据和色彩通道子数据分别进行低层特征提取；经由数据级联模块对两个低层特征提取结果进行级联，再经由高层特征提取模块对级联结果进行高层特征提取，并根据高层特征提取结果得到质量评测结果。
需要说明的是，低层特征往往是泛化的、易于表达的特征，如纹理、颜色、边缘、棱角等等；高层特征往往是复杂的、难以说明的特征，如金色的头发、瓢虫的翅膀、缤纷的花儿等等。低层特征提取模块是更靠近输入层的特征提取模块，其能够提取到低层特征，而高层特征提取模块是更靠近输出层的特征提取模块，其能够提取到高层特征，最后使用全连接层分析最深处的高层特征可得到质量评测结果。另外，上述技术方案仅是以第一点云数据为例，第二点云数据的处理过程类似，在此不再赘述。
实施例二
图3是本发明实施例二中提供的一种模型生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，基于初始评测模型，生成质量评测模型，具体可以包括：获取已标注点云数据和已标注点云数据的质量标注结果，将已标注点云数据和质量标注结果作为一组第二训练样本；基于多组第二训练样本对初始评测模型中初始训练完成的任一预设卷积神经网络进行训练，生成质量评测模型。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。参见图3，本实施例的方法具体可以包括如下步骤：
S210、获取第一点云数据和第二点云数据，将第一点云数据和第二点云数据作为一组第一训练样本，第一点云数据的质量高于第二点云数据的质量。
S220、基于多组第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络。
S230、获取已标注点云数据和已标注点云数据的质量标注结果，将已标注点云数据和质量标注结果作为一组第二训练样本。
其中，已标注点云数据是质量已知的点云数据，其质量可以通过质量标注结果来表示，该质量标注结果可以是评分(如70分、80分)、等级(如A、B、C、D)、文字(如优、良、中、差)等等，在此未做具体限定。将已标注点云数据和质量标注结果作为一组第二训练样本。
S240、基于多组第二训练样本对初始评测模型中初始训练完成的任一预设卷积神经网络进行训练，生成质量评测模型。
其中，考虑到第一训练样本并未包括质量标注结果，由此，初始评测模型中初始训练完成的任一预设卷积神经网络的输出结果虽然可以体现出点云数据的质量的高与低，但是其评测出的点云数据的质量的表示方式与期望方式可能存在差异，如针对某第一点云数据和某第二点云数据，初始训练完成的任一预设卷积神经网络评测出的二者的质量评测结果分别是50分和30分，而期望的质量评测结果分别是80分和20分，为解决这一问题，可基于第二训练样本对初始训练完成的任一预设卷积神经网络进行训练，并根据训练结果生成质量评测模型。特别的，考虑到初始评测模型可以对两个点云数据的质量进行排序，分辨出哪个点云数据的质量相对较高，而哪个点云数据的质量相对较低，由此，针对初始评测模型中初始训练完成的任一分支，只需要少量的第二训练样本即可完成训练，这种迁移学习方法尽可能降低了人为的主观性对训练结果的影响。
本发明实施例的技术方案，通过将已标注点云数据和质量标注结果作为一组第二训练样本，基于少量的第二训练样本对初始评测模型中初始训练完成的任一预设卷积神经网络进行训练，由此生成的质量评测模型可以输出较为客观且与期望方式较为相似的质量评测结果。
为了更好地理解上述步骤的具体实现过程，下面结合具体示例，对本实施例的模型生成方法进行示例性的说明。示例性的，以预设卷积神经网络是PointNet为例，若点云数据是黑白点云数据，则PointNet的网络结构是如图4a所示的网络结构，其输入数据3通道(X/Y/Z)的点云数据；若点云数据是彩色点云数据，则PointNet的网络结构是如图4b所示的网络结构，其是对图4a所示的网络结构进行改进后得到的，在图4a所示的网络结构中增加了数据划分模块(Split)和数据级联模块(Concat)。
在此以图4b所示的网络结构为例进行介绍：实线框为数据流且虚线框为网络层，n为点云数据的个数，输入数据(nx6)为6通道(X/Y/Z/R/G/B)的点云数据。先将6通道的点云数据划分为位置通道子数据(X/Y/Z)和色彩通道子数据(R/G/B)两组属性的子数据，对两组子数据独立进行低层特征提取，然后将低层特征提取结果级联到一起再提取高层特征，根据高层特征提取结果可以得到点云数据的质量的评分；中间的(nx3)、(nx64)、(nx1024)和(1x1024)分别为3、64、1024和1024通道的数据层；输出数据(1x2)为点云数据的质量属于高质量(标识为1)的概率和低质量(标识为0)的概率，两个概率之和为1且维度为2，例如输出数据是[0.8,0.2]，这意味着点云数据属于高质量的概率为0.8，且属于低质量的概率为0.2。
在此基础上，基于如图4b所示的网络结构可以构建出如图4c所示的原始孪生网络模型，将这样的原始孪生网络模型称为Siamese-PointNet。如图4c所示，基于已排序的点云匹配对(点云数据nx6和点云数据mx6)反向传递训练Siamese-PointNet。不失一般性，定义点云数据nx6为第二点云数据x1且点云数据mx6为第一点云数据x2，两个点云数据经过如图4b所示的网络结构后，各自的质量的评分各为f(x1,θ)和f(x2,θ)，其中θ是网络参数，此时，损失计算模块中的损失函数定义为L(x1,x2,θ)＝max(0,f(x1,θ)-f(x2,θ)+ε)，其中ε为差距属性，其是预先设置的数值较小的正数。由此，若f(x1,θ)大于等于f(x2,θ)，这与实际情况正相反，L(x1,x2,θ)为正数，θ有待优化；若f(x1,θ)小于f(x2,θ)，这与实际情况相一致，L(x1,x2,θ)为0。当θ优化完成后，基于已标注点云数据和已标注点云数据的质量标注结果，对Siamese-PointNet中初始训练完成的任一分支进行微调训练，生成已训练完成的质量评测模型。
一种可选的技术方案，质量标注结果可以根据预设评测因素预先标注，该预设评测因素可以包括数据完整度、目标拖尾度、色彩自然丰富度、数据分布稠密度和投影栅格度中的至少一个。其中，数据完整度的含义是，点云数据在采集过程可能出现仅扫描部分区域的情况，这从视觉上会影响全局观看效果，由此，针对一个独立物体，根据所采集的点云数据是否覆盖该物体的全部区域计算数据完整度；针对一个独立场景，根据所采集的点云数据是否覆盖该场景中任一物体的全部区域计算数据完整度。目标拖尾度的含义是，点云数据的采集过程具有时序性，其对动态物体的采集过程可能会出现拖尾现象，这些拖尾在点云数据中属于噪声区域，由此，针对一个独立场景，根据该场景中的动态物体是否产生拖尾计算目标拖尾度。色彩自然丰富度的含义是，彩色点云数据的配色方案在很大程度上会影响点云数据的视觉美观性，由此，针对彩色点云数据，根据点云数据的配色方案是否丰富多彩和/或自然和谐计算色彩自然丰富度，这可避免出现昏暗嘈杂、单调阴冷的配色方案。数据分布稠密度的含义是，场景中各物体的构造复杂度存在差异，例如树木细节比较丰富，而建筑物结构比较单一，因此，采集到的点云数据的密度分布应尽可能符合场景构造，针对一个独立场景，根据场景中点云数据分布是否在细节丰富区域比较稠密且在细节单一区域比较稀疏来计算数据分布稠密度。投影栅格度的含义是，将点云数据进行栅格投影可获取投影栅格图，该投影栅格图的质量评测结果为点云栅格图的度，栅格投影方式可以是固定投影，如自下而上投影，也可以是最佳投影，如先从各个角度获取投影栅格图，再选取质量评测结果最佳的投影栅格图，等等，在此未做具体限定。在此基础上，质量标注结果可以根据各预设评测因素综合确定，例如，以质量标注结果是质量评分为例，S＝∑i∈Nλisi，∑i∈Nλi＝1，其中，S是点云数据的综合的质量评分，si是基于某预设评测因素对点云数据进行评测时的质量评分，λi是si的加权，N是预设评测因素的总数量。
在上述技术方案的基础上，进一步的，第二点云数据可以通过如下步骤预先生成：获取第一点云数据和预设点云修调策略，其中，预设点云修调策略根据预设评测因素预先生成；基于预设点云修调策略修调第一点云数据，根据修调结果生成第二点云数据。示例性的，为了破坏第一点云数据的数据完整度，可以对其中的待删切区域进行数据删切处理，该待删切区域可以是随机选取的边缘区域，也可以是对第一点云数据进行语义解析后得到的第一点云数据的某一部件区域，如树木的树干区域。示例性的，为了破坏第一点云数据的数据分布稠密度，可以对其中的待抽稀区域进行数据抽稀处理，如对随机选取的待抽稀区域进行下采样，再如对语义解析后得到的某一部件区域，如树木的树冠区域进行下采样。示例性的，为了破坏第一点云数据的配色方案，可以对其中的待调整区域进行颜色调整处理，如对随机选取的一些点云数据的颜色进行整体加/减几个亮度值，如对语义解析后得到的某一部件区域，如树木的树冠区域的颜色进行整体加/减几个亮度值。再示例性的，为了破坏第一点云数据的干净度，可以对其中的待添加区域进行噪声添加处理，如在随机选取的点云数据额外添加一些点云数据，如对语义解析后的某一部件进行噪声添加，再如将一段动态拖尾点云数据添加到场景中，等等。
实施例三
图5是本发明实施例三中提供的一种点云数据处理方法的流程图。本实施例可适用于根据质量评测结果对待处理点云数据进行处理的情况。该方法可以由本发明实施例提供的点云数据处理装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种用户终端或服务器上。
参见图5，本实施例的方法具体可以包括如下步骤：
S310、基于预设获取策略获取待处理点云数据，以及按照本发明任意实施例所提供的模型生成方法生成的质量评测模型。
其中，预设获取策略是预先设置的点云数据的获取策略，具体而言，其可以是点云数据的采集策略，如基于激光雷达扫描方式、虚构场景抽稀方式或是多视图重建方式采集点云数据，再如基于某预设角度采集点云数据，等等；还可以是点云数据的后处理策略，如对点云数据中的待处理区域进行数据删切处理、数据抽稀处理、颜色调整处理、噪声添加处理等等；也可以是其余的点云数据的获取策略，在此未做具体限定。待处理点云数据是基于预设获取策略获取到的待处理的点云数据，质量评测模型是按照上述任意实施例所提供的模型生成方法生成的、可用于评测出待处理点云数据的质量的卷积神经网络模型。
S320、将待处理点云数据输入至质量评测模型中，根据质量评测模型的输出结果，确定出待处理点云数据的质量评测结果。
其中，将待处理点云数据输入至质量评测模型中，根据质量评测模型的输出结果，可以确定出待处理点云数据的质量评测结果，基于该质量评测结果可以对待处理点云数据进行相应处理。
S330、根据质量评测结果从各预设获取策略中筛选出目标获取策略，从各待处理点云数据中筛选出基于目标获取策略获取到的目标点云数据，并对目标点云数据进行处理。
其中，考虑到同一预设获取策略在不同的应用场景下获取到的待处理点云数据的质量可能存在差异性，如基于激光雷达扫描方式获取到的户外场景下的待处理点云数据的质量可能相对较高，而基于激光雷达扫描方式获取到的室内场景下的待处理点云数据的质量可能相对较低。另外，基于不同预设获取策略在同一应用场景下获取到的待处理点云数据的质量也可能存在差异性，如基于不同预设角度采集到的待处理点云数据的质量有高有低，基于不同后处理策略处理后得到的待处理点云数据的质量亦有高有点。
因此，在获取到多个待处理点云数据的质量评测结果后，可以对各个质量评测结果进行综合判断，以便从该多个待处理点云数据对应的各预设获取策略中筛选出目标获取策略，基于该目标获取策略获取到的目标点云数据可以是质量普遍偏高的后续可以继续应用的待处理点云数据，也可以是质量普遍偏低的后续无法继续应用的待处理数据，等等，在此未做具体限定。进一步，可以对目标点云数据进行相应处理，如保留处理、过滤处理、替换处理等等，由此提高了具有较高质量的点云数据的获取效率。
本发明实施例的技术方案，通过将已获取的待处理点云数据输入至已训练完成的质量评测模型中，根据质量评测模型的输出结果，可以确定出待处理点云数据的质量评测结果；进而，以预设获取策略为媒介，根据各质量评测结果从各待处理点云数据中筛选出目标点云数据，并对该目标点云数据进行相应处理。上述技术方案，可以客观评测出待处理点云数据的质量评测结果，并且提高了具有较高质量的点云数据的获取效率。
实施例四
图6为本发明实施例四提供的模型生成装置的结构框图，该装置用于执行上述任意实施例所提供的模型生成方法。该装置与上述各实施例的模型生成方法属于同一个发明构思，在模型生成装置的实施例中未详尽描述的细节内容，可以参考上述模型生成方法的实施例。参见图6，该装置具体可包括：第一获取模块410、第一生成模块420和第二生成模块430。
其中，第一获取模块410，用于获取第一点云数据和第二点云数据，将第一点云数据和第二点云数据作为一组第一训练样本，其中，第一点云数据的质量高于第二点云数据的质量；
第一生成模块420，用于基于多组第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络；
第二生成模块430，用于基于初始评测模型，生成质量评测模型。
可选的，第二生成模块430，具体可以包括：
第一获取单元，用于获取已标注点云数据和已标注点云数据的质量标注结果，将已标注点云数据和质量标注结果作为一组第二训练样本；
第二生成单元，用于基于多组第二训练样本对初始评测模型中初始训练完成的任一预设卷积神经网络进行训练，生成质量评测模型。
可选的，预设卷积神经网络包括数据划分模块、低层特征提取模块、数据级联模块和高层特征提取模块；
针对第一点云数据，第一生成模块420具体可以包括：
数据划分单元，用于经由数据划分模块将第一点云数据划分为位置通道子数据和色彩通道子数据，再经由低层特征提取模块对位置通道子数据和色彩通道子数据分别进行低层特征提取；
数据级联单元，用于经由数据级联模块对两个低层特征提取结果进行级联，再经由高层特征提取模块对级联结果进行高层特征提取，并根据高层特征提取结果得到质量评测结果。
可选的，原始孪生网络模型还包括损失计算模块，若第一点云数据的质量评测结果高于第二点云数据的质量评测结果，则损失计算模块的输出结果为0，否则，损失计算模块的输出结果为正数。
可选的，质量标注结果是根据预设评测因素预先标注的，预设评测因素包括数据完整度、目标拖尾度、色彩自然丰富度、数据分布稠密度和投影栅格度中的至少一个。
可选的，上述模型生成装置，还可以包括：
第三获取模块，用于获取第一点云数据和预设点云修调策略，其中，预设点云修调策略根据预设评测因素预先生成；
第二点云数据生成模块，用于基于预设点云修调策略修调第一点云数据，根据修调结果生成第二点云数据。
可选的，第二点云数据生成模块，具体可以用于：
对第一点云数据中的待删切区域进行数据删切处理；和/或，
对第一点云数据中的待抽稀区域进行数据抽稀处理；和/或，
对第一点云数据中的待调整区域进行颜色调整处理；和/或，
对第一点云数据中的待添加区域进行噪声添加处理。
可选的，预设卷积神经网络可以包括PointNet、PointNet++、PointCNN、3DmFV或是GeoNet。
本发明实施例四提供的模型生成装置，通过第一获取模块获取第一点云数据和第二点云数据，二者是在质量方面具有排序关系的点云匹配对，其可作为一组第一训练样本；第一生成模块基于多组第一训练样本对原始孪生网络模型进行训练，该原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络，根据训练结果生成初始评测模型，该初始评测模型可以评测出点云匹配对中两个点云数据的质量相对高低；进而，第二生成模块基于初始评测模型，生成用于评测点云数据的质量的质量评测模型。上述装置，基于原始孪生网络模型生成的质量评测模型，解决了点云数据的质量难以精准确定的问题，达到了客观评测出点云数据的质量评测结果的效果。
本发明实施例所提供的模型生成装置可执行本发明任意实施例所提供的模型生成方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述模型生成装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
图7为本发明实施例五提供的点云数据处理装置的结构框图，该装置用于执行上述任意实施例所提供的点云数据处理方法。该装置与上述各实施例的点云数据处理方法属于同一个发明构思，在点云数据处理装置的实施例中未详尽描述的细节内容，可以参考上述点云数据处理方法的实施例。参见图7，该装置具体可以包括：第二获取模块510、点云质量确定模块520和点云数据处理模块530。
其中，第二获取模块510，用于基于预设获取策略获取待处理点云数据，以及按照本发明任意实施例所提供的模型生成方法生成的质量评测模型；
点云质量确定模块520，用于将待处理点云数据输入至质量评测模型中，根据质量评测模型的输出结果，确定出待处理点云数据的质量评测结果；
点云数据处理模块530，用于根据质量评测结果从各预设获取策略中筛选出目标获取策略，从各待处理点云数据中筛选出基于目标获取策略获取到的目标点云数据，并对目标点云数据进行处理。
本发明实施例五提供的点云数据处理装置，通过第二获取模块和点云质量确定模块相互配合，将已获取的待处理点云数据输入至已训练完成的质量评测模型中，根据质量评测模型的输出结果，可以确定出待处理点云数据的质量评测结果；点云数据处理模块，以预设获取策略为媒介，根据各质量评测结果从各待处理点云数据中筛选出目标点云数据，并对该目标点云数据进行相应处理。上述装置，可以客观评测出待处理点云数据的质量评测结果，并且提高了具有较高质量的点云数据的获取效率。
本发明实施例所提供的点云数据处理装置可执行本发明任意实施例所提供的点云数据处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述点云数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例六
图8为本发明实施例六提供的一种设备的结构示意图，如图8所示，该设备包括存储器610、处理器620、输入装置630和输出装置640。设备中的处理器620的数量可以是一个或多个，图8中以一个处理器620为例；设备中的存储器610、处理器620、输入装置630和输出装置640可以通过总线或其它方式连接，图8中以通过总线650连接为例。
存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的模型生成方法对应的程序指令/模块(例如，模型生成装置中的第一获取模块410、第一生成模块420和第二生成模块430)，或是，如本发明实施例中的点云数据处理方法对应的程序指令/模块(例如，点云数据处理装置中的第二获取模块510、点云质量确定模块520和点云数据处理模块530)。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的模型生成方法或是点云数据处理方法。
存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例七
本发明实施例七提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种模型生成方法，该方法包括：
获取第一点云数据和第二点云数据，将第一点云数据和第二点云数据作为一组第一训练样本，其中，第一点云数据的质量高于第二点云数据的质量；
基于多组第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，原始孪生网络模型包括两个用于评测出第一训练样本的质量评测结果的预设卷积神经网络；
基于初始评测模型，生成质量评测模型。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的模型生成方法中的相关操作。
实施例八
本发明实施例八提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种点云数据处理方法，该方法包括：
基于预设获取策略获取待处理点云数据，以及按照本发明任意实施例所提供的模型生成方法生成的质量评测模型；
将待处理点云数据输入至质量评测模型中，根据质量评测模型的输出结果，确定出待处理点云数据的质量评测结果；
根据质量评测结果从各预设获取策略中筛选出目标获取策略，从各待处理点云数据中筛选出基于目标获取策略获取到的目标点云数据，并对目标点云数据进行处理。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种模型生成方法，其特征在于，包括：
获取第一点云数据和第二点云数据，并将所述第一点云数据和所述第二点云数据作为一组第一训练样本，其中，所述第一点云数据的质量高于所述第二点云数据的质量；
基于多组所述第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，所述原始孪生网络模型包括两个用于评测出所述第一训练样本的质量评测结果的预设卷积神经网络；
基于所述初始评测模型，生成质量评测模型；
其中，所述基于所述初始评测模型，生成质量评测模型，包括：
获取已标注点云数据和所述已标注点云数据的质量标注结果，将所述已标注点云数据和所述质量标注结果作为一组第二训练样本；
基于多组所述第二训练样本对所述初始评测模型中初始训练完成的任一所述预设卷积神经网络进行训练，生成质量评测模型。
2.根据权利要求1所述的方法，其特征在于，所述预设卷积神经网络包括数据划分模块、低层特征提取模块、数据级联模块和高层特征提取模块；所述预设卷积神经网络通过如下步骤评测所述第一点云数据的所述质量评测结果：
经由所述数据划分模块将所述第一点云数据划分为位置通道子数据和色彩通道子数据，再经由所述低层特征提取模块对所述位置通道子数据和所述色彩通道子数据分别进行低层特征提取；
经由所述数据级联模块对两个低层特征提取结果进行级联，再经由所述高层特征提取模块对级联结果进行高层特征提取，并根据高层特征提取结果得到所述质量评测结果。
3.根据权利要求1所述的方法，其特征在于，所述原始孪生网络模型还包括损失计算模块，若所述第一点云数据的所述质量评测结果高于所述第二点云数据的所述质量评测结果，则所述损失计算模块的输出结果为0，否则，所述损失计算模块的输出结果为正数。
4.根据权利要求1所述的方法，其特征在于，所述质量标注结果是根据预设评测因素预先标注的，所述预设评测因素包括数据完整度、目标拖尾度、色彩自然丰富度、数据分布稠密度和投影栅格度中的至少一个。
5.根据权利要求4所述的方法，其特征在于，所述第二点云数据通过如下步骤预先生成：
获取所述第一点云数据和预设点云修调策略，其中，所述预设点云修调策略根据所述预设评测因素预先生成；
基于所述预设点云修调策略修调所述第一点云数据，根据修调结果生成所述第二点云数据。
6.根据权利要求5所述的方法，其特征在于，所述基于所述预设点云修调策略修调所述第一点云数据，包括：
对所述第一点云数据中的待删切区域进行数据删切处理；和/或，
对所述第一点云数据中的待抽稀区域进行数据抽稀处理；和/或，
对所述第一点云数据中的待调整区域进行颜色调整处理；和/或，
对所述第一点云数据中的待添加区域进行噪声添加处理。
7.根据权利要求1所述的方法，其特征在于，所述预设卷积神经网络包括PointNet、PointNet++、PointCNN、3DmFV或是GeoNet。
8.一种点云数据处理方法，其特征在于，包括：
基于预设获取策略获取待处理点云数据，以及按照权利要求1-7中任一项的模型生成方法生成的质量评测模型；
将所述待处理点云数据输入至所述质量评测模型中，根据所述质量评测模型的输出结果，确定出所述待处理点云数据的质量评测结果；
根据所述质量评测结果从各所述预设获取策略中筛选出目标获取策略，从各所述待处理点云数据中筛选出基于所述目标获取策略获取到的目标点云数据，并对所述目标点云数据进行处理。
9.一种模型生成装置，其特征在于，包括：
第一获取模块，用于获取第一点云数据和第二点云数据，将所述第一点云数据和所述第二点云数据作为一组第一训练样本，其中，所述第一点云数据的质量高于所述第二点云数据的质量；
第一生成模块，用于基于多组所述第一训练样本对原始孪生网络模型进行训练，生成初始评测模型，其中，所述原始孪生网络模型包括两个用于评测出所述第一训练样本的质量评测结果的预设卷积神经网络；
第二生成模块，用于基于所述初始评测模型，生成质量评测模型；
其中，所述第二生成模块，包括：
第一获取单元，用于获取已标注点云数据和所述已标注点云数据的质量标注结果，将所述已标注点云数据和所述质量标注结果作为一组第二训练样本；
第二生成单元，用于基于多组所述第二训练样本对所述初始评测模型中初始训练完成的任一所述预设卷积神经网络进行训练，生成质量评测模型。
10.一种点云数据处理装置，其特征在于，包括：
第二获取模块，用于基于预设获取策略获取待处理点云数据，以及按照权利要求1-7中任一项的模型生成方法生成的质量评测模型；
点云质量确定模块，用于将所述待处理点云数据输入至所述质量评测模型中，根据所述质量评测模型的输出结果，确定出所述待处理点云数据的质量评测结果；
点云数据处理模块，用于根据所述质量评测结果从各所述预设获取策略中筛选出目标获取策略，从各所述待处理点云数据中筛选出基于所述目标获取策略获取到的目标点云数据，并对所述目标点云数据进行处理。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的模型生成方法，或是如权利要求8中所述的点云数据处理方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的模型生成方法，或是如权利要求8中所述的点云数据处理方法。
CN202010443095.XA 2020-05-22 2020-05-22 模型生成方法、点云数据处理方法、装置、设备及介质 Active CN111612891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010443095.XA CN111612891B (zh) 2020-05-22 2020-05-22 模型生成方法、点云数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443095.XA CN111612891B (zh) 2020-05-22 2020-05-22 模型生成方法、点云数据处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111612891A CN111612891A (zh) 2020-09-01
CN111612891B true CN111612891B (zh) 2023-08-08

Family

ID=72202219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443095.XA Active CN111612891B (zh) 2020-05-22 2020-05-22 模型生成方法、点云数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111612891B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784129A (zh) * 2020-06-10 2021-12-10 Oppo广东移动通信有限公司 点云质量评估方法、编码器、解码器及存储介质
CN112183224B (zh) * 2020-09-07 2024-08-02 北京达佳互联信息技术有限公司 用于图像识别的模型训练方法、图像识别方法和装置
CN112435331A (zh) * 2020-12-07 2021-03-02 上海眼控科技股份有限公司 模型训练方法、点云生成方法、装置、设备及存储介质
AU2021204525B1 (en) * 2021-03-30 2022-07-14 Sensetime International Pte. Ltd. Generating point cloud completion network and processing point cloud data
CN114820465B (zh) * 2022-04-06 2024-04-26 合众新能源汽车股份有限公司 点云检测模型训练方法、装置、电子设备及存储介质
CN115797573B (zh) * 2023-02-09 2023-04-28 四川省公路规划勘察设计研究院有限公司 一种衡量点云孪生几何准确度的方法、装置和介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492098A (zh) * 2017-08-17 2017-12-19 广东工业大学 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
RU2641447C1 (ru) * 2016-12-27 2018-01-17 Общество с ограниченной ответственностью "ВижнЛабс" Способ обучения глубоких нейронных сетей на основе распределений попарных мер схожести
CN108399609A (zh) * 2018-03-06 2018-08-14 北京因时机器人科技有限公司 一种三维点云数据的修补方法、装置和机器人
CN108876831A (zh) * 2018-06-08 2018-11-23 西北工业大学 一种基于深度学习的建筑物三维点云配准方法
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
GB201908008D0 (en) * 2019-06-05 2019-07-17 Sony Interactive Entertainment Inc Digital model repair system and method
CN110163248A (zh) * 2019-04-09 2019-08-23 文远知行有限公司 模型评估的可视化方法、装置、计算机设备和存储介质
WO2019182811A1 (en) * 2018-03-20 2019-09-26 Pcms Holdings, Inc. System and method for dynamically adjusting level of details of point clouds
CN110346808A (zh) * 2019-07-15 2019-10-18 上海点积实业有限公司 一种激光雷达的点云数据处理方法和系统
CN110363863A (zh) * 2019-07-15 2019-10-22 上海点积实业有限公司 一种神经网络的输入数据生成方法和系统
CN110379020A (zh) * 2018-07-04 2019-10-25 北京京东尚科信息技术有限公司 一种基于生成对抗网络的激光点云上色方法和装置
CN110428490A (zh) * 2018-04-28 2019-11-08 北京京东尚科信息技术有限公司 构建模型的方法和装置
EP3591616A1 (en) * 2018-07-03 2020-01-08 Promaton Holding B.V. Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2641447C1 (ru) * 2016-12-27 2018-01-17 Общество с ограниченной ответственностью "ВижнЛабс" Способ обучения глубоких нейронных сетей на основе распределений попарных мер схожести
CN107492098A (zh) * 2017-08-17 2017-12-19 广东工业大学 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
CN108399609A (zh) * 2018-03-06 2018-08-14 北京因时机器人科技有限公司 一种三维点云数据的修补方法、装置和机器人
WO2019182811A1 (en) * 2018-03-20 2019-09-26 Pcms Holdings, Inc. System and method for dynamically adjusting level of details of point clouds
CN110428490A (zh) * 2018-04-28 2019-11-08 北京京东尚科信息技术有限公司 构建模型的方法和装置
CN108876831A (zh) * 2018-06-08 2018-11-23 西北工业大学 一种基于深度学习的建筑物三维点云配准方法
EP3591616A1 (en) * 2018-07-03 2020-01-08 Promaton Holding B.V. Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
CN110379020A (zh) * 2018-07-04 2019-10-25 北京京东尚科信息技术有限公司 一种基于生成对抗网络的激光点云上色方法和装置
CN110163248A (zh) * 2019-04-09 2019-08-23 文远知行有限公司 模型评估的可视化方法、装置、计算机设备和存储介质
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
GB201908008D0 (en) * 2019-06-05 2019-07-17 Sony Interactive Entertainment Inc Digital model repair system and method
CN110363863A (zh) * 2019-07-15 2019-10-22 上海点积实业有限公司 一种神经网络的输入数据生成方法和系统
CN110346808A (zh) * 2019-07-15 2019-10-18 上海点积实业有限公司 一种激光雷达的点云数据处理方法和系统

Also Published As

Publication number Publication date
CN111612891A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111612891B (zh) 模型生成方法、点云数据处理方法、装置、设备及介质
Yang et al. Towards perceptual image dehazing by physics-based disentanglement and adversarial training
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN112801057B (zh) 图像处理方法、装置、计算机设备和存储介质
CN107562805B (zh) 一种以图搜图的方法及装置
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
US11068746B2 (en) Image realism predictor
CN112712546A (zh) 一种基于孪生神经网络的目标跟踪方法
CN109712095B (zh) 一种快速边缘保留的人脸美化方法
CN109190631A (zh) 图片的目标对象标注方法及装置
CN109472193A (zh) 人脸检测方法及装置
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
CN112529789B (zh) 一种城市可见光遥感图像阴影去除的弱监督方法
CN108960412A (zh) 图像识别方法、装置及计算机可读存储介质
CN117252988A (zh) 图像数据的处理方法、设备及计算机可读存储介质
CN114187201A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN111091493A (zh) 图像翻译模型训练方法、图像翻译方法及装置和电子设备
CN113361466A (zh) 一种基于多模态交叉指导学习的多光谱目标检测方法
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN116189281B (zh) 基于时空自适应融合的端到端人体行为分类方法及系统
US11734389B2 (en) Method for generating human-computer interactive abstract image
Qu et al. Umle: Unsupervised multi-discriminator network for low light enhancement
KR102254198B1 (ko) 다중 초점 이미지 융합 방법
CN109741315A (zh) 一种基于深度强化学习的无参考图像质量客观评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant