CN117197401A - 针对点云构建的测试方法、装置、电子设备及存储介质 - Google Patents
针对点云构建的测试方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117197401A CN117197401A CN202210618839.6A CN202210618839A CN117197401A CN 117197401 A CN117197401 A CN 117197401A CN 202210618839 A CN202210618839 A CN 202210618839A CN 117197401 A CN117197401 A CN 117197401A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- dense
- target equipment
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 98
- 238000010998 test method Methods 0.000 title claims description 14
- 238000012360 testing method Methods 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000011056 performance test Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 92
- 230000003190 augmentative effect Effects 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种针对点云构建的测试方法、装置、电子设备及存储介质,该测试方法包括:响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
Description
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种针对点云构建的测试方法、装置、电子设备及存储介质。
背景技术
随着移动设备比如手机、平板等的快速发展,在移动设备上增加增强现实(Augmented Reality,AR)应用越发普遍。比如可以在移动设备上集成AR系统,以实现AR效果展示。
一般的,移动设备上集成的AR系统,需要对现实场景进行三维建模,比如构建现实场景中任一对象的稠密点云,以便利用构建的稠密点云进行后续的AR效果展示。故AR系统对稠密点云构建的效率和精度,对AR效果展示的展示效果存在较大影响。因此,提出一种针对点云构建的测试方法尤为重要。
发明内容
有鉴于此,本公开至少提供一种针对点云构建的测试方法、装置、电子设备及存储介质。
第一方面,本公开提供了一种针对点云构建的测试方法,包括:
响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;
基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;
基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
上述方法中,通过获取稠密点云对应的点云数据,以及目标设备构建稠密点云时的处理速率信息,并根据点云数据和当前场景对应的基准点云的基准点云数据,确定目标设备构建的稠密点云对应的点云位置误差,以便利用点云位置误差和预设的性能测试指标,测试目标设备的稠密点云构建功能的精度是否满足要求;以及可以基于处理速率信息和性能测试指标,测试目标设备的稠密点云构建功能的效率是否满足要求;进而可以较准确的确定针对目标设备的点云构建功能的测试结果,实现对目标设备的点云构建功能的测试,提高了测试的精准度。
一种可能的实施方式中,所述处理速率信息包括每秒处理的关键帧数;所述基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果,包括:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,且所述处理速率信息指示所述每秒处理的关键帧数大于所述性能测试指标指示的每秒关键帧数阈值的情况下,确定针对所述目标设备的点云构建功能的测试结果为测试通过。
通过将点云位置误差与位置误差阈值进行比对,将每秒处理的关键帧数与每秒关键帧数阈值进行对比,在点云位置误差小于位置误差阈值时,确定目标设备的点云构建功能的精准度满足要求,且在每秒处理的关键帧数大于每秒关键帧数阈值时,确定目标设备的点云构建功能的实时性(或效率)满足要求,在精度和实时性均满足要求时,确定针对目标设备的点云构建功能的测试结果为测试通过,实现对目标设备的点云构建功能的精准测试。
一种可能的实施方式中,所述处理速率信息包括每个关键帧的平均耗时;
所述基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果,包括:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,和所述处理速率信息指示的所述每个关键帧的平均耗时小于所述性能测试指标指示的耗时阈值的情况下,确定所述目标设备对应的点云构建功能的测试结果为测试通过。
通过将点云位置误差与位置误差阈值进行比对,将每个关键帧的平均耗时与耗时阈值进行对比,在点云位置误差小于位置误差阈值时,确定目标设备的点云构建功能的精准度满足要求,且在每个关键帧的平均耗时小于耗时阈值时,确定目标设备的点云构建功能的实时性(或效率)满足要求,在精度和实时性均满足要求时,确定针对目标设备的点云构建功能的测试结果为测试通过,实现对目标设备的点云构建功能的精准测试。
一种可能的实施方式中,所述每个关键帧的平均耗时为根据以下步骤确定的:
获取目标设备基于实时采集的视频流数据中多个关键帧构建稠密点云的执行时长;所述视频流数据对应的视频时长大于或等于预设时长;
基于所述多个关键帧对应的所述执行时长、和所述多个关键帧的数量,确定所述每个关键帧的平均耗时。
为了较准确的对目标设备的点云构建功能的实时性进行检测,可以设置预设时长,并确保视频流数据对应的视频时长大于或等于预设时长。同时,基于多个关键帧对应的执行时长和多个关键帧的数量,确定每个关键帧的平均耗时,能够为后续确定目标设备的点云构建功能的测试结果提供数据支持。
一种可能的实施方式中,所述基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差,包括:
基于所述点云数据和所述基准点云数据,确定所述稠密点云与所述基准点云之间的相似变换矩阵;
基于所述相似变换矩阵,对所述点云数据中各个顶点的坐标信息进行变换,得到转换后的点云数据;其中,所述转换后的点云数据包括各个顶点对应的变换后的坐标信息;
基于所述转换后的点云数据和所述基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差。
本公开实施方式中,通过确定稠密点云与基准点云之间的相似变换矩阵,并利用相似变换矩阵,对点云数据中各个顶点的坐标信息进行变换,得到转换后的点云数据;再基于转换后的点云数据和基准点云数据,较准确的确定目标设备构建的稠密点云对应的点云位置误差,以便后续能够利用确定的点云位置误差,较准确的测试目标设备的点云构建功能的精准度。
一种可能的实施方式中,根据下述步骤构建所述当前场景对应的基准点云的基准点云数据:
获取采集装置预先采集的所述当前场景的视频流数据、以及所述采集装置采集所述视频流数据时的惯性测量单元IMU数据;
利用模型重建平台,对所述视频流数据和所述IMU数据进行处理,生成所述当前场景对应的基准点云的虚拟点云数据;
基于模型重建平台与现实场景之间的比例尺信息、和所述虚拟点云数据,生成所述基准点云的基准点云数据。
上述方法中,利用模型重建平台,对视频流数据和IMU数据进行处理,生成当前场景对应的基准点云的虚拟点云数据,该虚拟点云数据能够精准的表征当前场景的场景结构。再基于模型重建平台与现实场景之间的比例尺信息和虚拟点云数据,较精准的生成基准点云的基准点云数据。在保证了当前场景的场景结构的基础上,确保基准点云数据指示的尺寸与当前场景的真实尺寸一致,基准点云数据的精度较高。
一种可能的实施方式中,所述目标设备在移动过程中实时构建当前场景对应的稠密点云,包括:
在所述目标设备按照设置的移动路线进行移动的过程中,获取所述目标设备实时采集的当前场景对应的视频流数据、和所述目标设备对应的惯性测量单元IMU数据;
基于所述视频流数据和所述IMU数据,利用所述目标设备上集成的三维重建模块,实时构建所述当前场景对应的所述稠密点云。
这里,通过基于视频流数据和IMU数据,利用目标设备上集成的三维重建模块,实时构建当前场景对应的稠密点云,为后续确定目标设备对应的点云构建功能的测试结果提供数据支持。
一种可能的实施方式中,在确定针对所述目标设备的点云构建功能的测试结果之后,所述方法还包括:
响应于所述测试结果为测试通过,利用所述目标设备对任一场景进行稠密点云重建,得到所述任一场景对应的稠密点云。
这里,在目标设备的测试结果为测试通过时,确定该目标设备具备点云构建功能、且该功能的性能较佳,进而可以利用目标设备对任一场景进行稠密点云重建,得到任一场景对应的较精准的稠密点云。
一种可能的实施方式中,得到所述任一场景对应的稠密点云之后,还包括:
利用所述目标设备在所述任一场景的稠密点云上叠加虚拟模型,得到所述任一场景对应的增强现实数据,并控制所述目标设备展示所述增强现实数据。
上述方法中,在得到任一场景对应的稠密点云之后,可以利用目标设备在任一场景的稠密点云上叠加虚拟模型,得到任一场景对应的增强现实数据,并控制目标设备展示增强现实数据,实现了AR效果展示。
以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。
第二方面,本公开提供了一种针对点云构建的测试装置,包括:
获取模块,用于响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;
第一确定模块,用于基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;
第二确定模块,用于基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
一种可能的实施方式中,所述处理速率信息包括每秒处理的关键帧数;所述第二确定模块,在基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果时,用于:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,且所述处理速率信息指示所述每秒处理的关键帧数大于所述性能测试指标指示的每秒关键帧数阈值的情况下,确定针对所述目标设备的点云构建功能的测试结果为测试通过。
一种可能的实施方式中,所述处理速率信息包括每个关键帧的平均耗时;所述第二确定模块,在基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果时,用于:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,和所述处理速率信息指示的所述每个关键帧的平均耗时小于所述性能测试指标指示的耗时阈值的情况下,确定所述目标设备对应的点云构建功能的测试结果为测试通过。
一种可能的实施方式中,所述获取模块,用于根据以下步骤确定每个关键帧的平均耗时:
获取目标设备基于实时采集的视频流数据中多个关键帧构建稠密点云的执行时长;所述视频流数据对应的视频时长大于或等于预设时长;
基于所述多个关键帧对应的所述执行时长、和所述多个关键帧的数量,确定所述每个关键帧的平均耗时。
一种可能的实施方式中,所述第一确定模块,在基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差时,用于:
基于所述点云数据和所述基准点云数据,确定所述稠密点云与所述基准点云之间的相似变换矩阵;
基于所述相似变换矩阵,对所述点云数据中各个顶点的坐标信息进行变换,得到转换后的点云数据;其中,所述转换后的点云数据包括各个顶点对应的变换后的坐标信息;
基于所述转换后的点云数据和所述基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差。
一种可能的实施方式中,所述第一确定模块,用于根据下述步骤构建所述当前场景对应的基准点云的基准点云数据:
获取采集装置预先采集的所述当前场景的视频流数据、以及所述采集装置采集所述视频流数据时的惯性测量单元IMU数据;
利用模型重建平台,对所述视频流数据和所述IMU数据进行处理,生成所述当前场景对应的基准点云的虚拟点云数据;
基于模型重建平台与现实场景之间的比例尺信息、和所述虚拟点云数据,生成所述基准点云的基准点云数据。
一种可能的实施方式中,所述获取模块,用于根据下述步骤在所述目标设备移动过程中实时构建当前场景对应的稠密点云:
在所述目标设备按照设置的移动路线进行移动的过程中,获取所述目标设备实时采集的当前场景对应的视频流数据、和所述目标设备对应的惯性测量单元IMU数据;
基于所述视频流数据和所述IMU数据,利用所述目标设备上集成的三维重建模块,实时构建所述当前场景对应的所述稠密点云。
一种可能的实施方式中,在确定针对所述目标设备的点云构建功能的测试结果之后,所述装置还包括:应用模块,用于:
响应于所述测试结果为测试通过,利用所述目标设备对任一场景进行稠密点云重建,得到所述任一场景对应的稠密点云。
一种可能的实施方式中,所述应用模块,在得到所述任一场景对应的稠密点云之后,还用于:
利用所述目标设备在所述任一场景的稠密点云上叠加虚拟模型,得到所述任一场景对应的增强现实数据,并控制所述目标设备展示所述增强现实数据。
第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的针对点云构建的测试方法的步骤。
第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的针对点云构建的测试方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种针对点云构建的测试方法的流程示意图;
图2示出了本公开实施例所提供的一种针对点云构建的测试装置的架构示意图;
图3示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
移动设备上集成的增强现实(Augmented Reality,AR)系统,需要对现实场景进行三维建模,比如构建现实场景中任一对象的稠密点云,以便利用构建的稠密点云进行后续的AR效果展示。故AR系统对稠密点云构建的效率和精度,对AR效果展示的展示效果存在较大影响。基于此,本公开实施例提供了一种针对点云构建的测试方法、装置、电子设备及存储介质,通过该测试方法可以对移动设备上具有的点云构建功能、构建性能进行测试,比如测试该移动设备是否具有点云构建功能、移动设备的点云构建的效率和精准度是否满足要求等。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种针对点云构建的测试方法进行详细介绍。本公开实施例所提供的针对点云构建的测试方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、可穿戴设备等;服务器比如可以包括本地服务器、云端服务器等。在一些可能的实现方式中,该针对点云构建的测试方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例所提供的针对点云构建的测试方法的流程示意图,该方法包括S101-S103,其中:
S101,响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;
S102,基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;
S103,基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
上述方法中,通过获取稠密点云对应的点云数据,以及目标设备构建稠密点云时的处理速率信息,并根据点云数据和当前场景对应的基准点云的基准点云数据,确定目标设备构建的稠密点云对应的点云位置误差,以便利用点云位置误差和预设的性能测试指标,测试目标设备的稠密点云构建功能的精度是否满足要求;以及可以基于处理速率信息和性能测试指标,测试目标设备的稠密点云构建功能的效率是否满足要求;进而可以较准确的确定针对目标设备的点云构建功能的测试结果,实现对目标设备的点云构建功能的测试,提高了测试的精准度。
下述对S101-S103进行具体说明。
针对S101:
目标设备可以为具有稠密点云重建功能的任一设备,比如目标设备可以为手机、平板、AR眼镜、电脑等设备。在目标设备的稠密点云重建功能开启后,目标设备在移动过程中可以实时构建当前场景对应的稠密点云,比如构建当前场景中任一对象对应的稠密点云。其中,稠密点云可以包括多个点云点。
一种可选实施方式中,目标设备在移动过程中实时构建当前场景对应的稠密点云,包括:
在所述目标设备按照设置的移动路线进行移动的过程中,获取所述目标设备实时采集的当前场景对应的视频流数据、和所述目标设备对应的惯性测量单元(InertialMeasurement Unit,IMU)数据;基于所述视频流数据和所述IMU数据,利用所述目标设备上集成的三维重建模块,实时构建所述当前场景对应的所述稠密点云。
这里,通过基于视频流数据和IMU数据,利用目标设备上集成的三维重建模块,实时构建当前场景对应的稠密点云,为后续确定目标设备对应的点云构建功能的测试结果提供数据支持。
具体实施时,可以在现实场景中规划目标设备的移动路线。比如移动路线可以覆盖现实场景的可行走区域,即将现实场景的任一位置作为起始位置,从起始位置开始沿着可行走区域返回至该起始位置,构成一个闭环路线,将该闭环路线作为设置的移动路线;或者,也可以设置起始位置和终点位置,从起始位置开始沿着可行走区域到达终点位置,构成一个单程路线,将该单程路线作为设置的移动路线。其中,移动路线可以根据实际情况进行设置,此处仅为示例性说明。
一般的,为了较准确地对目标设备的稠密点云构建性能进行测试,获取到的当前场景的视频流数据的视频时长要大于或等于预设时长。因此,在移动速度确定后,可以根据移动速度和预设时长,确定长度阈值,并保障移动路线的路线长度大于确定的长度阈值。
在确定了移动路线之后,可以控制目标设备按照设置的移动路线进行移动。并在目标设备按照设置的移动路线进行移动的过程中,获取目标设备实时采集的当前场景对应的视频流数据、和目标设备对应的IMU数据。
目标设备上集成有三维重建模块,其中,三维重建模块对应有三维重建算法,该三维重建算法可以为任一能够实现三维模型构建的算法。比如三维重建算法可以包括同步定位与重建(Simultaneous Localization and Mapping,SLAM)。进而,可以将视频流数据和IMU数据输入给目标设备的三维重建模块,利用三维重建模块对应的三维重建算法,实时构建当前场景对应的稠密点云,得到稠密点云对应的点云数据。
在三维重建算法可以包含SLAM时,SLAM可以根据视频流数据中的每个视频帧进行点云重建,得到当前场景对应的稠密点云。同时,SLAM可以确定视频流数据中的关键视频帧(简称关键帧),进而可以统计三维重建模块构建多个关键视频帧对应的稠密点云的总耗时、视频流数据中关键视频帧的总数量、各单位时长(比如每秒)内构建的关键视频帧的数量等。
响应于目标设备构建了当前场景对应的稠密点云,执行主体可以从目标设备的存储器中,获取稠密点云对应的点云数据,其中,点云数据可以包括稠密点云上各个点云点(即顶点)的点云信息,该点云信息包括顶点坐标信息;该顶点坐标信息可以为在世界坐标系中的坐标值。点云信息还可以包括:顶点颜色信息、顶点法向信息等。
以及目标设备还可以获取构建稠密点云时的处理速率信息。比如该处理速率信息可以包括每秒处理的关键帧数、每个关键帧的平均耗时等。示例性的,可以在目标设备的日志中记载三维重建模块重建视频流数据中多个关键视频帧时的总耗时、关键视频帧的总数量、每秒处理的关键视频帧的数量等。再可以将每秒处理的关键视频帧的数量,确定为每秒处理的关键帧数,比如,若每秒处理的关键视频帧的数量为6个,则确定处理速率信息包括:每秒处理6个关键帧。
每个关键帧的平均耗时为根据以下步骤确定的:获取目标设备基于实时采集的视频流数据中多个关键帧构建稠密点云的执行时长;所述视频流数据对应的视频时长大于或等于预设时长;基于多个关键帧对应的所述执行时长、和多个关键帧的数量,确定每个关键帧的平均耗时。
实施时,目标设备的日志中可以存储基于视频流数据中多个关键帧构建稠密点云的执行时长。在获取到多个关键帧对应的执行时长之后,将多个关键帧对应的执行时长与多个关键帧的数量求商,得到每个关键帧的平均耗时。比如,若10个关键帧的执行时长为1000毫秒,则每个关键帧的平均耗时为1000毫秒除以10,即100毫秒。
为了较准确的对目标设备的点云构建功能的实时性进行检测,可以设置预设时长,并确保视频流数据对应的视频时长大于或等于预设时长。同时,基于多个关键帧对应的执行时长和多个关键帧的数量,确定每个关键帧的平均耗时,能够为后续确定目标设备的点云构建功能的测试结果提供数据支持。
针对S102:
这里可以预先构建当前场景对应的基准点云,获取该基准点云的基准点云数据,其中基准点云数据包括基准点云包括的多个顶点(点云点)的坐标信息。比如,可以预先录制当前场景对应的历史视频数据,基于该历史视频数据,利用准确度较高的三维重建算法,构建基准点云。
一种可选实施方式中,根据下述步骤构建当前场景对应的基准点云的基准点云数据:获取采集装置预先采集的所述当前场景的视频流数据、以及所述采集装置采集所述视频流数据时的惯性测量单元IMU数据;利用模型重建平台,对所述视频流数据和所述IMU数据进行处理,生成所述当前场景对应的基准点云的虚拟点云数据;基于模型重建平台与现实场景之间的比例尺信息、和所述虚拟点云数据,生成所述基准点云的基准点云数据。
采集装置可以为任一具有摄像功能的装置,比如,手机、摄像头等。利用采集装置按照移动路线采集当前场景的视频流数据、以及采集装置采集该视频流数据时的IMU数据。将当前场景的视频流数据和IMU数据传输给模型重建平台,模型重建平台对视频流数据和IMU数据进行处理,生成当前场景对应的基准点云、和该基准点云的虚拟点云数据。比如模型重建平台可以包括colmap。
由于模型重建平台能够精准的得到当前场景的结构信息,但是无法确定当前场景在真实世界的尺寸。故可以先对当前场景进行测距,比如可以确定当前场景中任意两个位置之间的真实距离;再根据任意两个位置在点云结构上的虚拟距离和真实距离,确定模型重建平台与现实场景之间的比例尺信息。再根据比例尺信息和虚拟点云数据,生成基准点云的基准点云数据。比如,可以按照比例尺信息,对基准点云的尺寸进行调整,得到调整后的点云数据,将该调整后的点云数据作为基准点云数据。
上述方法中,利用模型重建平台,对视频流数据和IMU数据进行处理,生成当前场景对应的基准点云的虚拟点云数据,该虚拟点云数据能够精准的表征当前场景的场景结构。再基于模型重建平台与现实场景之间的比例尺信息和虚拟点云数据,较精准的生成基准点云的基准点云数据。在保证了当前场景的场景结构的基础上,确保基准点云数据指示的尺寸与当前场景的真实尺寸一致,基准点云数据的精度较高。
进而可以基于点云数据和当前场景对应的基准点云的基准点云数据,确定目标设备构建的稠密点云对应的点云位置误差。
一种可选实施方式中,所述基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差,包括:基于所述点云数据和所述基准点云数据,确定所述稠密点云与所述基准点云之间的相似变换矩阵;基于所述相似变换矩阵,对所述点云数据中各个顶点的坐标信息进行变换,得到转换后的点云数据;其中,所述转换后的点云数据包括各个顶点对应的变换后的坐标信息;基于所述转换后的点云数据和所述基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差。
实施时,可以基于点云数据和基准点云数据,确定稠密点云与基准点云之间的相似变换矩阵。比如可以将重建的稠密点云的顶点坐标与基准点云的顶点坐标通过相似变换进行对齐,得到相似变换矩阵,使得变换后稠密点云的顶点到基准点云表面最近距离的平方和最小。
比如,可以根据下述公式确定相似变化矩阵S*:
其中,为稠密点云的第i个顶点(点云点)的坐标的齐次形式/> 为顶点/>在基准点云表面最近距离的顶点坐标/> 为顶点/>的法向。
实施时,可以使用CloudCompare中的"注册对齐"功能确定稠密点云与基准点云之间的相似变换矩阵。其中,CloudCompare是一个三维点云编辑和处理软件。
再可以基于相似变换矩阵,对点云数据中各个顶点的坐标信息进行变换,得到各个顶点对应的变换后的坐标信息、和转换后的点云数据。并基于转换后的点云数据和基准点云数据,确定目标设备构建的稠密点云对应的点云位置误差。
比如根据下述公司确定点云位置误差:
其中,为转换后的稠密点云的第i个顶点(点云点)的坐标的齐次形式。
实施时,可以使用CloudCompare中的"距离测量"功能确定点云位置误差(即重建的稠密点云的平均误差)。
本公开实施方式中,通过确定稠密点云与基准点云之间的相似变换矩阵,并利用相似变换矩阵,对点云数据中各个顶点的坐标信息进行变换,得到转换后的点云数据;再基于转换后的点云数据和基准点云数据,较准确的确定目标设备构建的稠密点云对应的点云位置误差,以便后续能够利用确定的点云位置误差,较准确的测试目标设备的点云构建功能的精准度。
针对S103:
实施时,将点云位置误差、处理速率信息分别与性能测试指标进行对比,确定针对目标设备的点云构建功能的测试结果。该测试结果包括测试通过、测试不通过。比如,若点云位置误差大于或等于性能测试指标指示的位置误差阈值时,确定测试结果为测试不通过。
其中,性能测试指标中包括每个测试数据对应的阈值。比如,性能测试指标中可以包括位置误差阈值(点云位置误差对应的阈值)、每秒关键帧数阈值(每秒处理的关键帧数对应的阈值)、耗时阈值(每个关键帧的平均耗时对应的阈值)等。
一种可选实施方式中,所述处理速率信息包括每秒处理的关键帧数;所述基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果,包括:在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,且所述处理速率信息指示所述每秒处理的关键帧数大于所述性能测试指标指示的每秒关键帧数阈值的情况下,确定针对所述目标设备的点云构建功能的测试结果为测试通过。
在处理速率信息包括每秒处理的关键帧数时,性能测试指标中包括每秒关键帧数阈值。将点云位置误差与位置误差阈值进行比对,以及将每秒处理的关键帧数与每秒关键帧数阈值进行比对;在点云位置误差小于性能测试指标指示的位置误差阈值,且处理速率信息指示每秒处理的关键帧数、大于性能测试指标指示的每秒关键帧数阈值的情况下,确定针对目标设备的点云构建功能的测试结果为测试通过。
实施时,位置误差阈值可以为3cm/m、每秒关键帧数阈值可以为6个关键帧。即目标设备的稠密点云重建功能应该满足以下两个条件:稠密点云的扩展处理速率不低于每秒6个关键帧、以及稠密点云对应的点云位置误差不超过3cm/m。
在点云位置误差大于或等于性能测试指标指示的位置误差阈值,和/或处理速率信息指示每秒处理的关键帧数小于或等于性能测试指标指示的每秒关键帧数阈值的情况下,确定针对目标设备的点云构建功能的测试结果为测试不通过。
在测试中,通过在目标设备上执行稠密点云的重建过程,来测试该目标设备的稠密点云重建功能环境,并确认该功能是否可用;比如若目标设备能够实时得到当前场景的稠密点云,则确定该功能可用;若目标设备不能实时得到当前场景的稠密点云,则确定该功能不可用。在确定该功能可用的情况下,若目标设备对应的测试结果为测试通过,则该目标设备的稠密点云重建功能满足实时增量扩展的要求;若目标设备对应的测试结果为测试不通过,则该目标设备的稠密点云重建功能不满足实时增量扩展的要求。
通过将点云位置误差与位置误差阈值进行比对,将每秒处理的关键帧数与每秒关键帧数阈值进行对比,在点云位置误差小于位置误差阈值时,确定目标设备的点云构建功能的精准度满足要求,且在每秒处理的关键帧数大于每秒关键帧数阈值时,确定目标设备的点云构建功能的实时性(或效率)满足要求,在精度和实时性均满足要求时,确定针对目标设备的点云构建功能的测试结果为测试通过,实现对目标设备的点云构建功能的精准测试。
另一种可选实施方式中,所述处理速率信息包括每个关键帧的平均耗时;所述基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果,包括:在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,和所述处理速率信息指示的所述每个关键帧的平均耗时小于所述性能测试指标指示的耗时阈值的情况下,确定所述目标设备对应的点云构建功能的测试结果为测试通过。
在处理速率信息包括每个关键帧的平均耗时时,性能测试指标中包括耗时阈值。将点云位置误差与位置误差阈值进行比对,以及将每个关键帧的平均与耗时阈值进行比对;在点云位置误差小于性能测试指标指示的位置误差阈值,且每个关键帧的平均耗时小于耗时阈值的情况下,确定针对目标设备的点云构建功能的测试结果为测试通过。
在点云位置误差大于或等于性能测试指标指示的位置误差阈值,和/或每个关键帧的平均耗时大于或等于耗时阈值的情况下,确定针对目标设备的点云构建功能的测试结果为测试不通过。
通过将点云位置误差与位置误差阈值进行比对,将每个关键帧的平均耗时与耗时阈值进行对比,在点云位置误差小于位置误差阈值时,确定目标设备的点云构建功能的精准度满足要求,且在每个关键帧的平均耗时小于耗时阈值时,确定目标设备的点云构建功能的实时性(或效率)满足要求,在精度和实时性均满足要求时,确定针对目标设备的点云构建功能的测试结果为测试通过,实现对目标设备的点云构建功能的精准测试。
具体实施时,可以对移动设备的点云构建功能进行测试。在测试中,通过在移动设备上执行稠密点云重建来测试该功能环境,并确认该功能是否可用;且重建的稠密点云应该是实时增量扩展的。
可以根据以下方法测试稠密点云重建的性能:
a)、将由三维扫描仪扫描得到的场景的精确三维模型作为真值;
b)、在移动设备上对场景进行稠密点云重建,并评估重建的稠密点云与真值之间的几何误差;
c)、在移动设备的日志中记录稠密点云重建算法的单帧执行时间;通过不少于5min的执行时间统计出每帧平均重建时间。其中,统计的每帧平均重建时间可以指每个关键帧的平均重建时间。
进而,移动设备增强现实系统稠密点云重建应满足以下要求:
a、稠密点云扩展处理时间不大于166ms/keyframe(166毫秒/关键帧);
b、稠密点云位置误差不超过3cm/m。
对于包含有非平面的复杂结构,移动设备增强现实系统应当满足以下要求:
a、重建场景中的3D稠密点云,每一个点云包含位置信息、法向以及颜色;
b、在移动设备移动时,随着可视化的场景区域的延展,实时扩展稠密3D点云以及更新3D点云的位置。
一种可选实施方式中,在确定针对所述目标设备的点云构建功能的测试结果之后,所述方法还包括:响应于所述测试结果为测试通过,利用所述目标设备对任一场景进行稠密点云重建,得到所述任一场景对应的稠密点云。
响应于测试结果为测试通过,利用该目标设备对任一场景进行稠密点云重建,得到任一场景对应的稠密点云。其中,任一场景为需要进行密集点云构建的现实场景。在得到任一场景对应的稠密点云之后,还可以在目标设备上展示构建的稠密点云。
这里,在目标设备的测试结果为测试通过时,确定该目标设备具备点云构建功能、且该功能的性能较佳,进而可以利用目标设备对任一场景进行稠密点云重建,得到任一场景对应的较精准的稠密点云。
一种可选实施方式中,得到所述任一场景对应的稠密点云之后,还包括:利用所述目标设备在所述任一场景的稠密点云上叠加虚拟模型,得到所述任一场景对应的增强现实数据,并控制所述目标设备展示所述增强现实数据。
实施时,在得到任一场景对应的稠密点云之后,还可以利用目标设备在任一场景的稠密点云上叠加虚拟模型,得到任一场景对应的增强现实数据。其中该增强现实数据可以为具有AR效果的展示数据。比如该虚拟模型可以为预先构建的任一AR模型,该虚拟模型可以为动物虚拟模型、动漫人物虚拟模型、神话人物虚拟模型、建筑物虚拟模型、植物虚拟模型等。
上述方法中,在得到任一场景对应的稠密点云之后,可以利用目标设备在任一场景的稠密点云上叠加虚拟模型,得到任一场景对应的增强现实数据,并控制目标设备展示增强现实数据,实现了AR效果展示。
本公开中,详细阐述了稠密点云的构建及测试过程。在另一些场景中,移动设备上集成的AR系统还可以对现实场景中的目标对象进行网格重建。网格重建的具体实施过程及测试过程在下文中进行详细阐述。
目标设备在移动过程中实时构建当前场景对应的稠密网格时,可以生成当前场景对应的稠密网格数据,其中,该稠密网格数据可以包括:多个三角形网格分别对应的网格数据,每个网格数据可以包括三角形网格上每个顶点的位置信息、法线信息、颜色信息等。
具体实施时,可以对移动设备的稠密网格重建功能进行测试。对于包含非平面复杂结构的场景,移动设备上的增强现实系统应满足以下要求:1、重构场景的稠密三维三角形网格,三角形网格内每个顶点包含位置、法线方向和颜色信息;2、随着移动设备移动时可见场景区域的扩展,扩展密集的3D网格并实时更新顶点位置和网格拓扑。
在测试中,稠密网格重构的性能按照以下方法进行测试:
a)、将3D扫描仪扫描的场景的准确3D模型作为真值三维模型;
b)、在移动设备上对场景进行稠密网格重建,并评估重建的稠密网格与真值三维模型之间的几何精度误差;
c)、在日志中记录稠密网格重构算法的单帧执行时间,通过不少于5min的执行时间统计出稠密网格重建的平均重构时间。
进而,移动设备上增强现实系统的稠密网格重建应满足以下要求:
a、稠密网格扩展的处理时间不大于166毫秒/关键帧;
b、稠密网格重建的几何误差不超过3cm/m。
通过对移动设备的稠密网格重建功能进行测试,比如对稠密网格重建的扩展速率和几何误差进行测试,根据该测试结果,确定移动设备的稠密网格重建功能是否满足要求,实现了对移动设备的稠密网格重建任务的较精准测试。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思,本公开实施例还提供了一种针对点云构建的测试装置,参见图2所示,为本公开实施例提供的针对点云构建的测试装置的架构示意图,包括获取模块201、第一确定模块202、第二确定模块203,具体的:
获取模块201,用于响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;
第一确定模块202,用于基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;
第二确定模块203,用于基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
一种可能的实施方式中,所述处理速率信息包括每秒处理的关键帧数;所述第二确定模块203,在基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果时,用于:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,且所述处理速率信息指示所述每秒处理的关键帧数大于所述性能测试指标指示的每秒关键帧数阈值的情况下,确定针对所述目标设备的点云构建功能的测试结果为测试通过。
一种可能的实施方式中,所述处理速率信息包括每个关键帧的平均耗时;所述第二确定模块203,在基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果时,用于:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,和所述处理速率信息指示的所述每个关键帧的平均耗时小于所述性能测试指标指示的耗时阈值的情况下,确定所述目标设备对应的点云构建功能的测试结果为测试通过。
一种可能的实施方式中,所述获取模块201,用于根据以下步骤确定每个关键帧的平均耗时:
获取目标设备基于实时采集的视频流数据中多个关键帧构建稠密点云的执行时长;所述视频流数据对应的视频时长大于或等于预设时长;
基于所述多个关键帧对应的所述执行时长、和所述多个关键帧的数量,确定所述每个关键帧的平均耗时。
一种可能的实施方式中,所述第一确定模块202,在基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差时,用于:
基于所述点云数据和所述基准点云数据,确定所述稠密点云与所述基准点云之间的相似变换矩阵;
基于所述相似变换矩阵,对所述点云数据中各个顶点的坐标信息进行变换,得到转换后的点云数据;其中,所述转换后的点云数据包括各个顶点对应的变换后的坐标信息;
基于所述转换后的点云数据和所述基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差。
一种可能的实施方式中,所述第一确定模块202,用于根据下述步骤构建所述当前场景对应的基准点云的基准点云数据:
获取采集装置预先采集的所述当前场景的视频流数据、以及所述采集装置采集所述视频流数据时的惯性测量单元IMU数据;
利用模型重建平台,对所述视频流数据和所述IMU数据进行处理,生成所述当前场景对应的基准点云的虚拟点云数据;
基于模型重建平台与现实场景之间的比例尺信息、和所述虚拟点云数据,生成所述基准点云的基准点云数据。
一种可能的实施方式中,所述获取模块201,用于根据下述步骤在所述目标设备移动过程中实时构建当前场景对应的稠密点云:
在所述目标设备按照设置的移动路线进行移动的过程中,获取所述目标设备实时采集的当前场景对应的视频流数据、和所述目标设备对应的惯性测量单元IMU数据;
基于所述视频流数据和所述IMU数据,利用所述目标设备上集成的三维重建模块,实时构建所述当前场景对应的所述稠密点云。
一种可能的实施方式中,在确定针对所述目标设备的点云构建功能的测试结果之后,所述装置还包括:应用模块204,用于:
响应于所述测试结果为测试通过,利用所述目标设备对任一场景进行稠密点云重建,得到所述任一场景对应的稠密点云。
一种可能的实施方式中,所述应用模块204,在得到所述任一场景对应的稠密点云之后,还用于:
利用所述目标设备在所述任一场景的稠密点云上叠加虚拟模型,得到所述任一场景对应的增强现实数据,并控制所述目标设备展示所述增强现实数据。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图3所示,为本公开实施例提供的电子设备的结构示意图,包括处理器301、存储器302、和总线303。其中,存储器302用于存储执行指令,包括内存3021和外部存储器3022;这里的内存3021也称内存储器,用于暂时存放处理器301中的运算数据,以及与硬盘等外部存储器3022交换的数据,处理器301通过内存3021与外部存储器3022进行数据交换,当电子设备300运行时,处理器301与存储器302之间通过总线303通信,使得处理器301在执行以下指令:
响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;
基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;
基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
其中,处理器301的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的针对点云构建的测试方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的针对点云构建的测试方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种针对点云构建的测试方法,其特征在于,包括:
响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;
基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;
基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
2.根据权利要求1所述的方法,其特征在于,所述处理速率信息包括每秒处理的关键帧数;
所述基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果,包括:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,且所述处理速率信息指示所述每秒处理的关键帧数大于所述性能测试指标指示的每秒关键帧数阈值的情况下,确定针对所述目标设备的点云构建功能的测试结果为测试通过。
3.根据权利要求1所述的方法,其特征在于,所述处理速率信息包括每个关键帧的平均耗时;
所述基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果,包括:
在所述点云位置误差小于所述性能测试指标指示的位置误差阈值,和所述处理速率信息指示的所述每个关键帧的平均耗时小于所述性能测试指标指示的耗时阈值的情况下,确定所述目标设备对应的点云构建功能的测试结果为测试通过。
4.根据权利要求3所述的方法,其特征在于,所述每个关键帧的平均耗时为根据以下步骤确定的:
获取目标设备基于实时采集的视频流数据中多个关键帧构建稠密点云的执行时长;所述视频流数据对应的视频时长大于或等于预设时长;
基于所述多个关键帧对应的所述执行时长、和所述多个关键帧的数量,确定所述每个关键帧的平均耗时。
5.根据权利要求1-4任一所述的方法,其特征在于,所述基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差,包括:
基于所述点云数据和所述基准点云数据,确定所述稠密点云与所述基准点云之间的相似变换矩阵;
基于所述相似变换矩阵,对所述点云数据中各个顶点的坐标信息进行变换,得到转换后的点云数据;其中,所述转换后的点云数据包括各个顶点对应的变换后的坐标信息;
基于所述转换后的点云数据和所述基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差。
6.根据权利要求1-5任一所述的方法,其特征在于,根据下述步骤构建所述当前场景对应的基准点云的基准点云数据:
获取采集装置预先采集的所述当前场景的视频流数据、以及所述采集装置采集所述视频流数据时的惯性测量单元IMU数据;
利用模型重建平台,对所述视频流数据和所述IMU数据进行处理,生成所述当前场景对应的基准点云的虚拟点云数据;
基于模型重建平台与现实场景之间的比例尺信息、和所述虚拟点云数据,生成所述基准点云的基准点云数据。
7.根据权利要求1-6任一所述的方法,其特征在于,所述目标设备在移动过程中实时构建当前场景对应的稠密点云,包括:
在所述目标设备按照设置的移动路线进行移动的过程中,获取所述目标设备实时采集的当前场景对应的视频流数据、和所述目标设备对应的惯性测量单元IMU数据;
基于所述视频流数据和所述IMU数据,利用所述目标设备上集成的三维重建模块,实时构建所述当前场景对应的所述稠密点云。
8.根据权利要求1-7任一所述的方法,其特征在于,在所述确定针对所述目标设备的点云构建功能的测试结果之后,所述方法还包括:
响应于所述测试结果为测试通过,利用所述目标设备对任一场景进行稠密点云重建,得到所述任一场景对应的稠密点云。
9.根据权利要求8所述的方法,其特征在于,所述得到所述任一场景对应的稠密点云之后,还包括:
利用所述目标设备在所述任一场景的稠密点云上叠加虚拟模型,得到所述任一场景对应的增强现实数据,并控制所述目标设备展示所述增强现实数据。
10.一种针对点云构建的测试装置,其特征在于,包括:
获取模块,用于响应于目标设备在移动过程中实时构建当前场景对应的稠密点云,获取所述稠密点云对应的点云数据,以及所述目标设备构建所述稠密点云时的处理速率信息;
第一确定模块,用于基于所述点云数据和所述当前场景对应的基准点云的基准点云数据,确定所述目标设备构建的所述稠密点云对应的点云位置误差;
第二确定模块,用于基于所述点云位置误差、所述处理速率信息和预设的性能测试指标,确定针对所述目标设备的点云构建功能的测试结果。
11.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的针对点云构建的测试方法的步骤。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任一所述的针对点云构建的测试方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210618839.6A CN117197401A (zh) | 2022-06-01 | 2022-06-01 | 针对点云构建的测试方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210618839.6A CN117197401A (zh) | 2022-06-01 | 2022-06-01 | 针对点云构建的测试方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117197401A true CN117197401A (zh) | 2023-12-08 |
Family
ID=88991197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210618839.6A Pending CN117197401A (zh) | 2022-06-01 | 2022-06-01 | 针对点云构建的测试方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117197401A (zh) |
-
2022
- 2022-06-01 CN CN202210618839.6A patent/CN117197401A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
US11003956B2 (en) | System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression | |
KR101135186B1 (ko) | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
EP3798801A1 (en) | Image processing method and apparatus, storage medium, and computer device | |
CN113012282B (zh) | 三维人体重建方法、装置、设备及存储介质 | |
EP3326156B1 (en) | Consistent tessellation via topology-aware surface tracking | |
US11315313B2 (en) | Methods, devices and computer program products for generating 3D models | |
US20200334842A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
EP3114647A2 (en) | Method and system for 3d capture based on structure from motion with simplified pose detection | |
CN110956695B (zh) | 信息处理装置、信息处理方法和存储介质 | |
CN113870401B (zh) | 表情生成方法、装置、设备、介质和计算机程序产品 | |
KR101851303B1 (ko) | 3차원 공간 재구성 장치 및 방법 | |
CN113657357B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110648363A (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
US12106514B2 (en) | Efficient localization based on multiple feature types | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
CN110310325B (zh) | 一种虚拟测量方法、电子设备及计算机可读存储介质 | |
CN111179408B (zh) | 三维建模的方法及设备 | |
CN114529648A (zh) | 模型展示方法、设备、装置、电子设备及存储介质 | |
CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
CN114529647A (zh) | 对象渲染方法、设备、装置、电子设备及存储介质 | |
CN113610702A (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN117197401A (zh) | 针对点云构建的测试方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |