CN113178017A

CN113178017A - Ar数据展示方法、装置、电子设备及存储介质

Info

Publication number: CN113178017A
Application number: CN202110467820.1A
Authority: CN
Inventors: 张建博; 李宇飞
Original assignee: Shenzhen TetrasAI Technology Co Ltd
Current assignee: Shenzhen TetrasAI Technology Co Ltd
Priority date: 2021-04-28
Filing date: 2021-04-28
Publication date: 2021-07-27

Abstract

本公开提供了一种增强现实AR数据展示方法、装置、电子设备及存储介质，该方法包括：获取AR设备拍摄的现实场景图像；基于所述现实场景图像，确定出所述现实场景图像中至少一个真实物体对应的图像深度信息；以及，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据；基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据；通过AR设备展示包含所述AR特效数据的AR场景图像。

Description

AR数据展示方法、装置、电子设备及存储介质

技术领域

本公开涉及增强现实AR技术领域，具体而言，涉及一种AR数据展示方法、装置、电子设备及存储介质。

背景技术

随着智能设备的快速发展，增强现实(Augmented Reality，AR)技术也被广泛应用于工作场景、娱乐场景中。其中，AR技术是一种将虚拟信息与真实世界进行融合的技术。

一般的，AR技术可以将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，实现在AR设备上将虚拟对象融入现实世界并进行互动的效果。在AR设备上展示包括虚拟对象的AR场景时，如何使得虚拟对象的展示效果更真实尤为重要。

发明内容

有鉴于此，本公开至少提供一种增强现实AR数据展示方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种增强现实AR数据展示方法，包括：

获取AR设备拍摄的现实场景图像；

基于所述现实场景图像，确定出所述现实场景图像中至少一个真实物体对应的图像深度信息；以及，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据；

基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据；

通过AR设备展示包含所述AR特效数据的AR场景图像。

采用上述方法，通过确定现实场景图像中真实物体的图像深度信息，以及目标虚拟对象的位姿数据，基于真实物体的图像深度信息和目标虚拟对象的位姿数据，生成目标虚拟对象对应的AR特效数据，由于参考了物体的深度信息，可以确定真实物体与虚拟对象之间的相对深度位置，从而使得生成的AR特效数据中目标虚拟对象的展示效果更真实。

一种可能的实施方式中，所述基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据，包括：响应于基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡的情况下，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据。

一种可能的实施方式中，所述方法还包括：

响应于在基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标真实物体被目标虚拟对象遮挡的情况下，生成所述目标真实物体被所述目标虚拟对象遮挡的AR特效数据。

上述实施方式中，通过基于位姿数据和真实物体的图像深度信息，可以确定真实物体与目标虚拟对象之间的遮挡关系，比如，目标虚拟对象被目标真实物体遮挡，和/或，目标真实物体被目标虚拟对象遮挡，进而可以生成目标虚拟对象被目标真实物体遮挡的AR特效数据，或目标真实物体被目标虚拟对象遮挡的AR特效数据，提高了目标虚拟对象的展示效果。

一种可能的实施方式中，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据，包括：

基于所述现实场景图像和预先构建的三维场景地图，确定所述AR设备的位姿数据；

基于所述AR设备的位姿数据，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据。

上述实施方式下，通过现实场景图像和三维场景地图，可以较准确的确定AR设备的位姿数据；进而基于AR设备的位姿数据，可以较准确的确定目标虚拟对象在现实场景图像对应的坐标系下的位姿数据，确定了位于同一坐标系下的位姿数据和图像深度信息，为后续生成AR特效数据提供数据支持。

一种可能的实施方式中，所述基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡，包括：

基于所述目标虚拟对象的所述位姿数据，确定所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息；

根据所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息，以及所述至少一个真实物体对应的图像深度信息和图像位置范围，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡。

上述实施方式中，基于确定的目标虚拟对象在AR场景图像中的图像位置范围和目标深度信息，以及至少一个真实物体对应的图像深度信息和图像位置范围，可以确定在待展示的AR场景图像中，是否存在目标虚拟对象被目标真实物体遮挡，为后续生成AR特效数据提供数据支持。

一种可能的实施方式中，根据所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息，以及所述至少一个真实物体对应的图像深度信息和图像位置范围，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡，包括：

确定所述至少一个真实物体中，与所述目标虚拟对象的图像位置范围存在重叠的目标真实物体的图像深度信息；

在所述目标真实物体的图像深度信息指示的深度值小于所述目标虚拟对象的目标深度信息指示的深度值的情况下，确定所述目标虚拟对象被所述目标真实物体遮挡。

上述实施方式下，可以通过深度值判断目标虚拟对象与真实物体之间在三维的AR场景图像中的前后方向上的相对位置关系，再结合两者在平面方向上是否存在重叠，即可以确定目标虚拟对象是否被目标真实物体遮挡。

一种可能的实施方式中，所述生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据，包括：

根据所述目标真实物体与所述目标虚拟对象在所述AR场景图像中的重叠的图像位置范围，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据。

一种可能的实施方式中，所述根据所述目标真实物体与所述目标虚拟对象在所述AR场景图像中重叠的图像位置范围，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据，包括：

将所述目标虚拟对象在待展示的AR场景图像中的像素信息中，与所述重叠的图像位置范围对应的像素信息删除，生成被遮挡的目标虚拟对象的像素信息；

基于所述被遮挡的目标虚拟对象的像素信息，以及所述目标虚拟对象的所述位姿数据，生成所述AR特效数据。

上述实施方式中，通过将目标虚拟对象在待展示的AR场景图像中的像素信息中，被遮挡的图像位姿范围内的像素信息删除，生成被遮挡的目标虚拟对象的像素信息；进而基于被遮挡的目标虚拟对象的像素信息，以及目标虚拟对象的位姿数据，生成AR特效数据，以便通过AR设备展示包含AR特效数据的AR场景图像时，可以在AR设备上呈现目标虚拟对象被目标真实物体遮挡的遮挡效果。

以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

第二方面，本公开提供了一种增强现实AR数据展示装置，包括：

获取模块，用于获取AR设备拍摄的现实场景图像；

确定模块，用于基于所述现实场景图像，确定出所述现实场景图像中至少一个真实物体对应的图像深度信息；以及，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据；

生成模块，用于基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据；

展示模块，用于通过AR设备展示包含所述AR特效数据的AR场景图像。

一种可能的实施方式中，所述生成模块，在基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据时，用于：

响应于基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡的情况下，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据。

一种可能的实施方式中，所述生成模块，还用于：

一种可能的实施方式中，所述确定模块，在基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据时，用于：

一种可能的实施方式中，所述生成模块，在基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡时，用于：

一种可能的实施方式中，所述生成模块，在根据所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息，以及所述至少一个真实物体对应的图像深度信息和图像位置范围，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡时，用于：

一种可能的实施方式中，所述生成模块，在生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据时，用于：

一种可能的实施方式中，所述生成模块，在根据所述目标真实物体与所述目标虚拟对象在所述AR场景图像中重叠的图像位置范围，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据时，用于：

基于所述被遮挡的目标虚拟对象的像素信息，以及所述目标虚拟对象的位姿数据，生成所述AR特效数据。

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的增强现实AR数据展示方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的增强现实AR数据展示方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种增强现实AR数据展示方法的流程示意图；

图2示出了本公开实施例所提供的一种增强现实AR数据展示方法中，AR设备的界面示例图；

图3示出了本公开实施例所提供的一种增强现实AR数据展示装置的架构示意图；

图4示出了本公开实施例所提供的一种电子设备400的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

一般的，增强现实(Augmented Reality，AR)技术可以将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，实现在AR设备上把虚拟对象融入现实世界并进行互动的效果。因此，在AR设备上展示包括虚拟对象的AR场景时，如何使得虚拟对象的展示效果更真实尤为重要。

为了使得虚拟对象的展示效果更真实，本公开实施例提供了一种增强现实AR数据展示方法，通过确定现实场景图像中至少一个真实物体对应的图像深度信息，以及目标虚拟对象对应的位姿数据；并基于至少一个真实物体对应的图像深度信息和位姿数据，生成目标虚拟对象对应的AR特效数据，由于参考了物体的深度信息，可以确定真实物体与虚拟对象之间的相对深度位置，从而使得生成的AR特效数据中目标虚拟对象的展示效果更真实。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种增强现实AR数据展示方法进行详细介绍，该方法可以应用于AR设备中，或应用于本地或云端的服务器中。

参见图1所示，为本公开实施例所提供的一种增强现实AR数据展示方法的流程示意图，包括S101-S104，其中：

S101，获取AR设备拍摄的现实场景图像。

S102，基于所述现实场景图像，确定出所述现实场景图像中至少一个真实物体对应的图像深度信息；以及，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据。

S103，基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据。

S104，通过AR设备展示包含所述AR特效数据的AR场景图像。

针对S101：

AR设备为能够支持AR功能的智能设备，示例性说明，AR设备包括但不限于：手机、平板电脑、AR眼镜等能够呈现增强现实效果的电子设备。

这里，AR设备上设置的摄像设备可以拍摄一帧现实场景图像，或者，可以打开AR设备上设置的摄像设备，摄像设备实时的连续拍摄多帧现实场景图像。在执行主体为AR设备时，AR设备可以从本地获取现实场景图像；在执行主体为服务器时，服务器可以从AR设备上获取现实场景图像。

针对S102：

示例性的，AR设备上的摄像设备可以为设置有飞行时间(Time of Flight，TOF)深感摄像头的设备，在获取现实场景图像的同时，可以获取现实场景图像中每个像素点对应的深度信息。

这里，可以基于现实场景图像，确定现实场景图像中每个真实物体对应的图像深度信息。具体的，可以根据获取的现实场景图像中每个像素点的深度信息，确定现实场景图像中每个真实物体对应的图像深度信息。

在得到现实场景图像之后，还可以根据现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在现实场景图像对应的坐标系下的位姿数据。位姿数据中包括目标虚拟对象在现实场景图像对应的坐标系下的位置数据和朝向数据，以使得生成的位姿数据与图像深度信息对应同一坐标系。其中，AR场景图像为包括现实场景图像和目标虚拟对象的图像。

在具体实施时，在执行主体为服务器时，服务器可以根据获取的现实场景图像、和预先构建的三维场景地图，确定目标虚拟对象在现实场景图像对应的坐标系下的位姿数据。在执行主体为AR设备时，AR设备可以从服务器中获取预先构建的三维场景地图，再基于现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在现实场景图像对应的坐标系下的位姿数据。

一种可选实施方式中，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在现实场景图像对应的坐标系下的位姿数据，可以包括：

一、基于所述现实场景图像和预先构建的三维场景地图，确定所述AR设备的位姿数据。

二、基于所述AR设备的位姿数据，确定目标虚拟对象在现实场景图像对应的坐标系下的位姿数据。

这里，可以先将现实场景图像和预先构建的三维场景地图进行匹配，确定AR设备位姿数据。具体的，可以提取现实场景图像中包括的至少一个特征点的特征信息，将现实场景图像中包括的至少一个特征点的特征信息和预先构建的三维场景地图进行匹配，确定AR设备的位姿数据。

在具体实施，基于现实场景图像和预先构建的三维场景地图，可以确定AR设备在真实世界坐标系中的中间位姿数据，该真实世界坐标系为有AR设备开始工作时的地点为原点、以设置的方向为坐标轴构建的坐标系。再可以将该AR设备的中间位姿数据转换至虚拟世界坐标系下，生成了AR设备的位姿数据，该虚拟世界坐标系为以三维场景中的固定地点为原点、已设置的方向为坐标轴，构建的坐标系，其中原点位置和坐标轴方向可以根据实际需要进行设置。其中，可以通过坐标转换矩阵，将该AR设备的中间位姿数据转换至虚拟世界坐标系下。

再可以基于AR设备的位姿数据，确定目标虚拟对象在现实场景图像对应的坐标系下的位姿数据。其中，目标虚拟对象可以为提前设置在三维场景地图中的、可以展示在现实场景图像中的虚拟对象。

具体实施的，可以基于AR设备在虚拟世界坐标系下的位姿数据，确定与该位姿数据匹配的目标虚拟对象在虚拟世界坐标系下的位姿数据，在可以基于目标虚拟对象在虚拟世界坐标系下的位姿数据，转换至相机坐标系下，生成目标虚拟对象在现实场景图像对应的坐标系下的位姿数据。

可以根据下述步骤构建三维场景地图：获取该场景对应的视频，从视频中采样得到多帧场景样本，利用神经网络算法从多帧场景样本中提取得到多个样本特征点信息；再可以基于提取得到的多个样本特征点信息，构建三维场景地图。并可以在构建的三维场景地图中设置多个虚拟对象，以及每个虚拟对象在该三维场景地图中的位姿数据。其中，不同场景位置处可以设置不同的虚拟对象，设置的虚拟对象可以为虚拟动物、虚拟建筑物、虚拟人物等，比如，虚拟对象可以为虚拟宇宙飞船、虚拟太空舱、虚拟恐龙、虚拟皇帝等；以及同一虚拟对象在不同的场景位置处可以对应展示不同的形态，比如，可以在第一位置处可以展示停止的虚拟宇宙飞船，在第二位置处可以展示飞行的虚拟宇宙飞船。

示例性的，还可以通过结合同步定位与建图(simultaneous localization andmapping，slam)技术实时的跟踪确定AR设备的位姿数据。比如，可以每间隔10秒或AR设备每移动10米，则获取一帧现实场景图像，基于该现实场景图像和预先构建的三维场景地图，确定AR设备的位姿数据；在前一帧现实场景图像确定位姿数据之后，在当前帧现实场景图像确定位姿数据之前，可以通过slam技术实时的确定AR设备的位姿数据。

针对S103以及S104：

一种可能的实施方式中，在S103中，基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据，可以包括：

S1031，响应于基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡的情况下，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据。

S1032，响应于在基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标真实物体被目标虚拟对象遮挡的情况下，生成所述目标真实物体被所述目标虚拟对象遮挡的AR特效数据。

示例性的，可以先根据目标虚拟对象的位姿数据，判断现实场景图像的至少一个真实物体中，与该目标虚拟对象之间存在遮挡关系的真实物体；再根据存在遮挡关系的真实物体的图像深度信息、和目标虚拟对象的位姿数据，确定遮挡关系，该遮挡关系包括真实物体遮挡目标虚拟对象、和目标虚拟对象遮挡真实物体。若存在遮挡关系的真实物体与目标虚拟对象之间，存在真实物体遮挡目标虚拟对象的情况，则将遮挡目标虚拟对象的真实物体确定为目标真实物体，进而生成目标虚拟对象被目标真实物体遮挡的AR特效数据。若存在目标虚拟对象遮挡目标真实物体的情况，则生成目标真实物体被目标虚拟对象遮挡的AR特效数据。

一种可选实施方式中，基于所述目标虚拟对象的位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡，包括：

步骤一、基于所述目标虚拟对象的位姿数据，确定所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息。

步骤二、根据所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息，以及所述至少一个真实物体对应的图像深度信息和图像位置范围，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡。

在步骤一中，可以根据目标虚拟对象的位姿数据，确定目标虚拟对象在AR场景图像中的图像位置范围，即确定目标虚拟对象在AR场景中所处的位置区域。其中，真实物体对应的图像深度可以根据现实场景图像中真实物体对应的图像深度信息进行确定，真实物体对应的图像位置范围可以利用图像分割网络对现实场景图像进行识别得到。

示例性的，在目标虚拟对象的位姿数据为相机坐标系下的位姿数据时，可以将目标虚拟对象的位姿数据中指示的深度信息，确定为目标深度信息；进而可以根据目标虚拟对象的位姿数据中指示的目标深度，确定该目标虚拟对象在AR场景图像中的展示面积；在根据目标虚拟对象的位姿数据，确定目标虚拟对象在AR场景图像中的图像位置范围。

在步骤二中，根据所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息，以及所述至少一个真实物体对应的图像深度信息和图像位置范围，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡，包括：

A1，确定所述至少一个真实物体中，与所述目标虚拟对象的图像位置范围存在重叠的目标真实物体的图像深度信息。

A2，在所述目标真实物体的图像深度信息指示的深度值小于所述目标虚拟对象的目标深度信息指示的深度值的情况下，确定所述目标虚拟对象被所述目标真实物体遮挡。

这里，可以根据目标虚拟对象的图像位置范围，确定至少一个真实物体中，与该图像位置范围重叠的目标真实物体的图像深度信息；其中，确定的目标真实物体的数量可以为一个或多个。

再根据目标真实物体的图像深度信息指示的深度值、以及目标虚拟对象的位姿数据中指示的深度值，判断目标虚拟对象与目标真实物体之间的遮挡关系。若目标真实物体的图像深度信息指示的深度值小于目标虚拟对象的目标深度信息指示的深度值，则确定目标虚拟对象被目标真实物体遮挡；若目标真实物体的图像深度信息指示的深度值大于或等于目标虚拟对象的目标深度信息指示的深度值，则确定目标真实物体被目标虚拟对象遮挡。

在确定的目标真实物体的数量为多个时，可以针对每个目标真实物体，确定该目标真实物体与目标虚拟对象之间的遮挡关系；以便后续可以基于每个目标真实物体与目标虚拟对象之间的遮挡关系，生成目标虚拟对象被目标真实物体遮挡的AR特效数据。

一种可选实施方式中，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据，包括：根据所述目标真实物体与所述目标虚拟对象在所述AR场景图像中的重叠的图像位置范围，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据。

在确定目标虚拟对象被目标真实物体遮挡时，可以先根据目标真实物体在AR场景图像中的图像位置范围、和目标虚拟对象在AR场景图像中的图像位置范围，确定目标真实物体与目标虚拟对象在AR场景图像中的重叠的图像位置范围；再根据目标真实物体与目标虚拟对象在AR场景图像中的重叠的图像位置范围，生成目标虚拟对象被所述目标真实物体遮挡的AR特效数据。

在确定其他真实物体被目标虚拟对象遮挡时，可以先根据其他真实物体在AR场景图像中的图像位置范围、和目标虚拟对象在AR场景图像中的图像位置范围，确定其他真实物体与目标虚拟对象在AR场景图像中的重叠的图像位置范围；再根据其他真实物体与目标虚拟对象在AR场景图像中的重叠的图像位置范围，生成其他真实物体被目标虚拟对象遮挡的AR特效数据。

若AR场景图像中既存在目标虚拟对象被目标真实物体遮挡的情况，也存在其他真实物体被目标虚拟对象遮挡的情况，则可以确定目标虚拟对象与目标真实物体之间的重叠的第一图像位置范围、以及目标虚拟对象与其他真实物体之间的重叠的第二图像位置范围，基于第一图像位置范围和第二图像位置范围，生成AR特效数据，其中，生成的AR特效数据中既包括目标虚拟对象被目标真实物体遮挡的特效，也包括其他真实物体被目标虚拟对象遮挡的特效。

其中，根据所述目标真实物体与所述目标虚拟对象在所述AR场景图像中重叠的图像位置范围，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据，包括：

B1，将所述目标虚拟对象在待展示的AR场景图像中的像素信息中，与所述重叠的图像位置范围对应的像素信息删除，生成被遮挡的目标虚拟对象的像素信息。

B2，基于所述被遮挡的目标虚拟对象的像素信息，以及所述目标虚拟对象的所述位姿数据，生成所述AR特效数据。

这里，确定目标虚拟对象在待展示的AR场景图像的像素信息中，与重叠的图像位置范围对应的像素信息；将与重叠的图像位置范围对应的像素信息删除，生成被遮挡的目标虚拟对象的像素信息。进而基于被遮挡的目标虚拟对象的像素信息、以及目标虚拟对象的位姿数据，生成AR特效数据，并在AR设备上展示包含AR特效数据的AR场景图像。

在确定其他真实物体被目标虚拟对象遮挡时，根据其他真实物体与目标虚拟对象在AR场景图像中的重叠的图像位置范围，生成其他真实物体被目标虚拟对象遮挡的AR特效数据的过程可以为：确定目标虚拟对象上，与其他真实物体重叠的图像位置范围内的目标像素信息，再可以将待展示的AR场景图像中，其他真实物体与目标虚拟对象的重叠的图像位置范围上的像素信息，替换为确定的目标像素信息，生成AR特效数据，并在AR设备上展示包含AR特效数据的AR场景图像。

在具体实施时，若目标虚拟对象对应的展示数据为动画数据时，则AR设备可以拍摄连续的多帧现实场景图像，基于每一帧现实场景图像，确定每一帧现实场景图像中至少一个真实物体对应的图像深度信息；以及针对每一帧现实场景图像，确定目标虚拟对象在待展示的每一帧AR场景图像中的位姿数据，其中，目标虚拟对象在待展示的相邻帧AR场景图像中的位姿数据为连续的位姿数据。

进而，基于目标虚拟对象的位姿数据，以及至少一个真实物体对应的图像深度信息，确定目标虚拟对象与真实物体之间的遮挡关系，基于目标虚拟对象与真实物体之间的遮挡关系，生产多帧AR特效数据，其中，该AR特效数据包括目标虚拟对象被目标真实物体遮挡和/或，其他真实物体被目标虚拟对象遮挡。最后，通过AR设备展示包含对应AR特效数据的每一帧AR场景图像，实现了将目标虚拟对象动态的展示在AR设备上。

参见图2所示的一种增强现实AR数据展示方法中，AR设备的界面示例图，该图中包括目标虚拟对象21和目标真实物体22，其中，目标虚拟对象和目标真实物体之间的遮挡关系为：目标虚拟对象21被目标真实物体22遮挡。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种增强现实AR数据展示装置，参见图3所示，为本公开实施例提供的一种增强现实AR数据展示装置的架构示意图，包括获取模块301、确定模块302、生成模块303、展示模块304，具体的：

获取模块301，用于获取AR设备拍摄的现实场景图像；

确定模块302，用于基于所述现实场景图像，确定出所述现实场景图像中至少一个真实物体对应的图像深度信息；以及，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据；

生成模块303，用于基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据；

展示模块304，用于通过AR设备展示包含所述AR特效数据的AR场景图像。

一种可能的实施方式中，所述生成模块303，在基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据时，用于：

一种可能的实施方式中，所述生成模块303，还用于：

一种可能的实施方式中，所述确定模块302，在基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据时，用于：

一种可能的实施方式中，所述生成模块303，在基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡时，用于：

一种可能的实施方式中，所述生成模块303，在根据所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息，以及所述至少一个真实物体对应的图像深度信息和图像位置范围，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡时，用于：

一种可能的实施方式中，所述生成模块303，在生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据时，用于：

一种可能的实施方式中，所述生成模块303，在根据所述目标真实物体与所述目标虚拟对象在所述AR场景图像中重叠的图像位置范围，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据时，用于：

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：

获取AR设备拍摄的现实场景图像；

通过AR设备展示包含所述AR特效数据的AR场景图像。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实AR数据展示方法的步骤。

本公开实施例所提供的增强现实AR数据展示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实AR数据展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims

1.一种增强现实AR数据展示方法，其特征在于，包括：

获取AR设备拍摄的现实场景图像；

通过AR设备展示包含所述AR特效数据的AR场景图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，生成所述目标虚拟对象对应的AR特效数据，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，基于所述现实场景图像和预先构建的三维场景地图，确定目标虚拟对象在所述现实场景图像对应的坐标系下的位姿数据，包括：

5.根据权利要求2～4任一所述的方法，其特征在于，所述基于所述目标虚拟对象的所述位姿数据，以及所述至少一个真实物体对应的图像深度信息，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡，包括：

6.根据权利要求5所述的方法，其特征在于，根据所述目标虚拟对象在所述AR场景图像中的图像位置范围和目标深度信息，以及所述至少一个真实物体对应的图像深度信息和图像位置范围，确定在待展示的AR场景图像中，存在目标虚拟对象被目标真实物体遮挡，包括：

7.根据权利要求2所述的方法，其特征在于，所述生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据，包括：

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标真实物体与所述目标虚拟对象在所述AR场景图像中的重叠的图像位置范围，生成所述目标虚拟对象被所述目标真实物体遮挡的AR特效数据，包括：

9.一种增强现实AR数据展示装置，其特征在于，包括：

获取模块，用于获取AR设备拍摄的现实场景图像；

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的增强现实AR数据展示方法的步骤。

11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的增强现实AR数据展示方法的步骤。