CN110716645A - 一种增强现实数据呈现方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种增强现实数据呈现方法、装置、电子设备及存储介质，该方法包括：获取现实场景数据；识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据；基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。

Description

一种增强现实数据呈现方法、装置、电子设备及存储介质

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种增强现实数据呈现方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术，通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。对AR设备呈现的增强现实场景的效果的优化以及与用户的交互性的提升，愈发重要。

发明内容

有鉴于此，本公开至少提供一种增强现实数据呈现的方案。

第一方面，本公开提供了一种增强现实数据呈现方法，包括：

获取现实场景数据；

识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据；

基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。

通过上述方法，可以基于识别出的现实场景数据中的不同的目标实体对象的属性信息，确定出虚拟对象的特效数据，并在AR设备中展示融入到现实场景的虚拟对象的特效数据，可以使得虚拟对象的展示与现实场景数据中目标实体数据的属性信息相匹配，提升了增强现实场景的展示效果。

在一种可能的实施方式中，所述现实场景数据包括现实场景图像；

在识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据之前，还包括：

检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；

在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。

通过上述实施方式，可以基于AR设备的位姿数据，确定与该位姿数据所匹配的现实场景下的关注目标，也即目标实体对象，进而展示与该目标实体对象的属性匹配的虚拟对象特效状态，从而虚拟对象的特效数据更好地融入现实场景。

在一种可能的实施方式中，上述方法还包括：

识别拍摄到的参考实体对象姿态；

获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。

其中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。

这里，通过获取参考实体对象的面部表情和/或肢体动作，可以对增强现实数据中虚拟对象的特效数据进行动态更新，进而可以使得呈现出的增强现实场景展示出参考实体对象与虚拟对象之间的交互效果，使得呈现效果更真实。

在一种可能的实施方式中，所述识别拍摄到的参考实体对象姿态，包括：

检测所述AR设备在现实场景中的位置信息与所述虚拟对象在现实场景中对应的位置信息之间的距离；

在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。

由于现实场景中存在一些实体对象会有一些姿态的展现，但是这些实体对象可能并不是在与虚拟对象互动，采用上述实施方式，可以减少不必要的识别处理及姿态更新处理，节省处理资源。

在一种可能的实施方式中，所述识别拍摄到的参考实体对象姿态，包括：

基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。

在一种可能的实施方式中，所述方法还包括：

响应作用于所述AR设备的触发操作；

获取与所述触发操作匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。

其中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入、改变所述AR设备的位姿中至少一种。

通过这种实施方式，丰富了虚拟对象的展示效果，可以为增强现实AR设备提供更多的交互方法，提升了增强现实场景中的交互能力。

在一种可能的实施方式中，所述方法还包括：

响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；

利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；

在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。

在一种可能的实施方式中，

所述确定与所述属性信息匹配的虚拟对象的特效数据，包括：

获取所述AR设备在现实场景的位姿数据；

基于所述AR设备在现实场景的位姿数据、和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。

上述三维场景模型可以表征现实场景，基于三维场景模型所构建的虚拟对象的位姿数据可以较好的融入现实场景，从该虚拟对象在三维场景模型中的位姿数据中，确定出与AR设备的位姿数据相匹配的虚拟对象的特效数据，从而使得虚拟对象的特效数据的展示更加贴合现实场景。

第二方面，本公开提供了一种增强现实数据呈现装置，包括：

获取模块，包括获取现实场景数据，并将所述现实场景数据传输至所述识别模块；

识别模块，用于识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据，并将所述虚拟对象的特效数据传输至展示模块；

展示模块，用于基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。

一种可能的实施方式中，所述现实场景数据包括现实场景图像；

所述识别模块，在识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据之前，还用于

检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；

在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。

一种可能的实施方式中，所述展示模块，还用于：

识别拍摄到的参考实体对象姿态；

获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。

一种可能的实施方式中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。

一种可能的实施方式中，所述识别模块，在识别拍摄到的参考实体对象姿态时，用于：

检测所述AR设备在现实场景中的位置信息与所述虚拟对象在所述现实场景中对应的位置信息之间的距离；

在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。

一种可能的实施方式中，所述识别模块，在识别拍摄到的参考实体对象姿态时，用于：

基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。

一种可能的实施方式中，所述展示模块，还用于：

响应作用于所述AR设备的触发操作；

获取与所述触发操作匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。

一种可能的实施方式中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入、改变所述AR设备的位姿中至少一种。

一种可能的实施方式中，所述装置还包括导航模块，所述导航模块用于：

响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；

利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；

在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。

一种可能的实施方式中，

所述识别模块，在确定与所述属性信息匹配的虚拟对象的特效数据时，用于：

获取所述AR设备在现实场景的位姿数据；

基于所述AR设备在现实场景的位姿数据、和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的增强现实数据呈现方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的增强现实数据呈现方法的步骤。

关于上述增强现实数据呈现装置、电子设备、及计算机可读存储介质的效果描述参见上述增强现实数据呈现方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种增强现实数据呈现方法的流程示意图；

图2示出了本公开实施例所提供的一种可能的获取现实场景图像的示意图；

图3示出了本公开实施例所提供的一种可能的在现实场景中叠加虚拟物体的图像之后的图像；

图4示出了本公开实施例所提供的一种可能的虚拟物体的属性信息展示的示意图；

图5a示出了本公开实施例所提供的在未识别到参考实体对象的姿态之前，虚拟物体的特效数据也即虚拟物体呈现的状态示意图；

图5b示出了本公开实施例所提供的在未识别到参考实体对象的姿态之后，虚拟物体的特效数据也即虚拟物体呈现的状态示意图

图6示出了本公开实施例所提供的一种在AR设备中展示包括导航路线的指示数据的增强现实图像的示意图；

图7示出了本公开实施例所提供的一种增强现实数据呈现的架构示意图；

图8示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开可适用于支持AR技术的电子设备(如手机、平板电脑、AR眼镜等AR设备)或服务器，或者其组合，在本公开应用于服务器的情况下，该服务器可以与其他具有通信功能且具有摄像功能的电子设备连接，其连接方式可以是有线连接或无线连接，无线连接例如可以为蓝牙连接、无线宽带(Wireless Fidelity，WIFI)连接等。

AR设备中呈现增强现实场景，可以理解为在AR设备中展示融入到现实场景的虚拟对象，可以是直接将虚拟对象的呈现画面渲染出来，使之与现实场景融合，比如呈现一套虚拟的茶具，使之显示效果是放置在现实场景中的真实桌面上，也可以是将虚拟对象的呈现特效与现实场景图像融合后，展示融合后的显示画面；具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术，比如，一般地，由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景图像)，因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式；对于手机、平板电脑等移动终端设备，由于在移动终端设备中展示的是对现实场景成像后的画面，因此可以采用将现实场景图像与虚拟对象的呈现特效进行融合处理的方式，来展示增强现实效果。

虚拟对象在现实场景中的融入程度很大程度上影响着虚拟对象的展示效果。基于现实场景中目标实体对象的属性不同，来展示与之匹配的虚拟对象，可以使得虚拟对象的展示更加符合现实场景的需求，融入性更好，进而提升增强现实场景的展示效果。

下面对本公开实施例所涉及的一种增强现实数据呈现方法进行详细介绍。

参见图1所示，为本公开实施例所提供的一种增强现实数据呈现方法的流程示意图，包括以下几个步骤：

S101、获取现实场景数据。

S102、识别现实场景数据中目标实体对象的属性信息，确定与属性信息匹配的虚拟对象的特效数据。

S103、基于虚拟对象的特效数据，在增强现实AR设备中展示包括虚拟对象的特效数据的增强现实数据。

通过上述方法，可以基于识别出的现实场景数据中的目标实体对象的相关属性信息，比如对象类型(比如属于商品柜)、对象状态(比如商品柜中剩余物品的信息)、对象名称(比如建筑物名称)等，确定出需要展示的虚拟对象的特效数据，比如商品柜中商品图样、剩余物品的描述内容、大厦名称等，进而在AR设备中展示包含虚拟对象的特效数据的增强现实数据，以满足当前现实场景需求，丰富展示效果。

以下对上述步骤分别进行说明。

在上述S101中，现实场景数据可以包括但不限于以下至少一种：现实场景图像、现实场景声音等。

这里需要说明的是，在现实场景数据中包含现实场景图像的情况下，获取现实场景图像，可以识别其中目标实体对象的属性信息，以便于确定匹配的虚拟对象的特效数据，该现实场景图像可以用于后续增强现实数据的生成，也可以不用于后续增强现实数据的生成，如前面所述，可以直接将虚拟对象的呈现画面渲染出来，使之与现实场景融合，也可以将该现实场景图像与虚拟对象的特效数据融合后渲染出来。

上述不同类型的现实场景数据所包含的目标实体对象的类型不同，比如，在现实场景数据包括现实场景图像的情况下，现实场景数据中的实体对象可以包括建筑物、摆放的物品等；现实场景数据中的实体对象还可以包括声音特效，气味特效等。

在现实场景数据包括现实场景图像的情况下，获取现实场景图像的方式例如为通过AR设备内置摄像头(如前置摄像头)获取，或者，通过现实场景中部署的独立于AR设备之外的摄像头来获取，或者，还可以通过其它设备传输给AR设备的用户图像数据的方式来获取。本申请并不限定现实场景图像的获取方式。

在上述S102中，目标实体对象的属性信息例如可以是目标实体对象的类别、目标实体对象的尺寸、或者目标实体对象的名称等。

在一种可能的实施方式中，识别现实场景数据中目标实体对象的属性信息，可以采用的方式包括：将包含目标实体对象的现实场景图像输入到预先训练好的识别模型中，经过识别模型对现实场景图像进行处理，输出得到该目标实体对象的属性信息。

在另外一种可能的实施方式中，识别现实场景数据中目标实体对象的属性信息，还可以采用这样的方式：在不同的实体对象上设置不同的辅助标识，例如可以在实体对象上添加不同的二维码，可以扫描设置在目标实体对象上的二维码，从而获得目标实体对象的属性信息。

在上述S102中，现实场景图像中可能包括一个或多个实体对象，当包括多个实体对象时，可以对这多个实体对象都作为目标实体对象进行属性信息的识别；为了节省处理资源，减少不必要的识别处理，以及精准识别用户观看需求，也可以先基于AR设备的位姿数据，筛选出符合匹配条件的目标实体对象，再进行属性信息的识别；位姿数据可以包括AR设备在现实场景中的位置信息和/或拍摄角度。基于AR设备的位姿数据来筛选目标实体对象的过程可以分为以下几种情况：

情况1、位姿数据包括位置信息。

在这种情况下，可以计算现实场景图像中展示的每一个实体对象在现实场景中的位置和AR设备在现实场景中的位置之间的距离，当计算的距离小于预设距离的情况下，确定该实体对象为目标实体对象。

示例性的，如图2所示，图2为一种可能的获取现实场景图像的示意图，图中A点位置为AR设备在现实场景中的位置信息，B、C、D分别为AR设备要拍摄的现实场景图像中的实体对象在现实场景中的位置信息，若B与A之间的距离小于预设距离，则将A确定为目标实体对象。

在另外一种可能的实施方式中，还可以在计算现实场景图像中展示的每一个实体对象在现实场景中的位置和AR设备在现实场景中的位置信息之间的距离之后，将对应的计算出的距离最近的实体对象确定为目标实体对象。

情况2、位姿数据包括拍摄角度。

在位姿数据包括拍摄角度的情况下，可以先确定每一个实体对象对应的预设拍摄角度，针对每一个实体对象，判断AR设备的拍摄角度与该实体对象对应的预设拍摄角度是否有重叠，若有重叠，则将该实体对象确定为目标实体对象。

示例性的，在同一面墙的不同高度位置处可以设置有不同的画像，实体对象可以为不同高度的画像，每一幅画像可以有预设的拍摄角度，例如画像A的预设拍摄角度为30°～60°，若AR设备的拍摄角度为40°，将画像A确定为目标实体对象。

实际应用中，若有多个实体对象的预设拍摄角度与AR设备的拍摄角度有重叠，可以将这多个实体对象作为目标实体对象，也可以将对应的重叠角度最大的实体对象确定为目标实体对象。

情况3、位姿数据包括位置信息和拍摄角度。

在位姿数据同时包括位置信息和拍摄角度的情况下，可以先从各个实体对象中筛选出距离AR设备的位置在预设距离范围内的待确认实体对象，然后将待确认体对象中，对应的预设拍摄角度与AR设备的拍摄角度有重叠的实体对象确定为目标实体对象。

延续上例，在同一面墙的不同高度位置处设置的不同的画像距离AR设备的位置是相同的，待确认实体对象为墙上的画像，则可以基于不同画像的预设拍摄角度筛选目标实体对象。

在识别出目标实体对象的属性信息后，可以在虚拟对象特效数据库中，确定与该属性信息匹配的虚拟对象的特效数据。示例性的，若目标实体对象的属性信息为饮料柜，则虚拟对象的特效数据可以包括饮料图像，还可以包括饮料图像的描述信息，例如饮料名称等；若目标实体对象的属性信息为书柜，则虚拟对象的特效数据可以为书籍图像，还可以包括书籍图像的描述信息，例如书籍名称、作者等。

本公开实施例中，可以对现实场景中的实体对象有选择性地进行虚拟对象的特效数据的配置，比如，对于有的实体对象不配置相关虚拟对象的特效数据，在这种情况下，对于有的目标实体对象，识别出该目标实体对象的属性信息后，其对应的虚拟对象的特效数据可以为空。

上述描述内容中，确定出的与目标实体对象的属性信息匹配的虚拟对象的特效数据，可以是从虚拟对象特效数据库中存储的该虚拟对象的位姿数据中，确定出来的匹配该AR设备的位姿数据的虚拟对象特效数据。在一种可能的实施方式中，可以基于AR设备在现实场景的位姿数据、虚拟对象在用于表征现实场景的三维场景模型中的位姿数据(可以认为是存储在虚拟对象特效数据库中的)，确定出虚拟对象的特效数据。

这里，为了便于虚拟对象的特效数据的开发，可以采用三维场景模型来描述现实场景，并基于该三维场景模型来开发虚拟对象的特效数据，这样，可以使得虚拟对象的特效数据更加融入现实场景。在这种情况下，可以基于AR设备在现实场景的位姿数据(包括位置信息和/或拍摄角度)，以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定虚拟对象的特效数据。

本申请的一些实施例中，为了方便进行虚拟对象特效数据的渲染，还原虚拟对象在三维场景模型下的展示特效，可以将包含了虚拟对象的展示特效和三维场景模型的展示画面中的三维场景模型进行透明处理，这样，在后续渲染阶段，可以将包含了虚拟对象的展示特效和透明化处理后的三维场景模型的展示画面渲染出来，并使得现实场景与三维场景模型对应，如此，便可以在现实世界中得到虚拟对象在三维场景模型下的展示特效。

在上述内容中，在虚拟对象为静态的情况下，虚拟对象在三维场景模型中的位姿数据可以包括虚拟对象在三维场景模型中的位置信息(比如地理位置坐标信息)和/或对应的姿态信息(虚拟对象的展示姿态)；在虚拟对象为动态的情况下，虚拟对象在三维场景模型中的位姿数据可以包括多组位置信息(比如地理位置坐标信息)和/或对应的姿态信息(虚拟对象的展示姿态)。

具体实施中，当AR设备在现实场景的位姿数据确定后，可以在虚拟对象在三维场景模型中的位姿数据中，确定出与AR设备的位姿数据相匹配的虚拟对象的特效数据，比如在虚拟对象在构建的大厦模型场景下的特效数据中，确定出与AR设备当前所在位置和拍摄角度所匹配的虚拟对象的位置和姿态等。

在上述S101之后，在S102对现实场景图像中各个实体对象都进行属性信息识别之前，或者基于AR设备的位姿数据筛选符合匹配条件的目标实体对象，并对目标实体对象进行属性信息识别之前，可以先确定出现实场景图像中能够独立分割出来的实体对象。在一种可能的实施方式中，确定现实场景图像中的各个实体对象，可以采用这样的过程：将现实场景图像进行图像分割，然后识别进行图像分割之后的每一部分分割图像所对应的实体对象。图像分割也即将图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标。

在上述S103中，在AR设备中展示包括虚拟对象的特效数据的增强现实数据，可以根据AR设备的类型的不同，以及虚拟对象的特效数据的类型的不同，将每种特效数据分别进行展示，或者，将多种特效数据相结合展示。

(1)、在虚拟对象包括声音的情况下，展示包括虚拟对象的特效数据的增强现实数据可以是在拍摄现实场景的电子设备中播放与目标实体对象的属性信息对应的声音。

例如，目标实体对象的属性信息可以为某一尺寸的咖啡机，当在现实场景数据中检测到该尺寸的咖啡机时，可以确定与该属性信息匹配的虚拟对象的特效数据为某段咖啡介绍的录音，则可以在AR设备中播放该段录音。

(2)、在虚拟对象包括气味的情况下，可以是在识别出现实场景数据中目标实体对象的属性信息之后，确定与属性信息匹配的气味的类型、以及释放气味的时间长度，并将确定出的气味的类型、以及释放气味的时间长度发送到第三方控制气味释放的设备中，并指示第三方控制气味释放的设备以该时间长度释放对应类型的气味。

(3)、在虚拟对象包括虚拟物体的呈现画面的情况下，该呈现画面可以是静态的也可以是动态的，增强现实数据可以包括增强现实图像。基于AR设备类型的不同，增强现实图像可以对应有不同的呈现方法。

一种可能的呈现方法，可以应用在AR眼镜上，具体可以基于预先设置的虚拟物体在现实场景中的位置信息，在AR眼镜的镜片中展示虚拟物体在用户透过展示有虚拟物体的AR眼镜的镜片观看现实场景的情况下，可以在虚拟物体在现实场景中对应的位置处观看到虚拟物体。

另外一种可能的呈现方法，可以应用在手机、平板等电子设备上，在展示包括虚拟对象的特效数据的增强现实数据的情况下，在AR设备基于现实场景生成现实场景图像之后，在AR设备上展示的增强现实数据可以是在现实场景图像中叠加虚拟物体的图像之后的图像。

示例性的，采用上述呈现方式可以呈现出的增强现实图像可以如图3所示，叠加的虚拟物体的图像与现实场景中的实体对象之间会存在有遮挡关系，具体将在下面展开介绍，在此暂不展开说明。

在另外一示例中，在呈现包含有虚拟物体的增强现实图像的过程中，还可以展示虚拟物体的属性信息，这里，虚拟物体和属性信息都属于虚拟对象的特效数据。如图4所示，目标实体对象为一个透明门的冰箱，虚拟物体为冰箱内的饮料(冰箱内有何种饮料为预先设置好的)，虚拟对象的属性信息为饮料的生产日期、保质期、能量值、净含量等；在目标实体对象为书柜的情况下，虚拟物体可以为书柜上摆放的书籍，虚拟对象的属性信息为书籍的作者、出版社、出版日期等。

为了增强现实体验，展示的AR场景中，可以增加虚拟对象与现实场景的交互效果。比如，可以响应拍摄到的参考实体对象姿态，来展示与该参考实体对象姿态匹配的虚拟对象的特效数据。

具体的，可以识别拍摄到的参考实体对象的姿态，然后获取与参考实体对象的姿态匹配的虚拟对象的特效数据，再将AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，其中，第一目标增强现实数据包括与参考实体对象姿态匹配的虚拟对象的特效数据。

这里，参考实体对象是指在现实场景中能够给出参考的姿态的任何实体对象，比如可以是正在操作AR设备的用户、现实场景中的人物或者动物或者机器人等等。

其中，在一种可能的情况下，参考实体对象的姿态可以包括面部表情和肢体动作中至少一种。识别参考对象的姿态，可以基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到现实场景图像中展示的参考实体对象姿态。

具体的，可以将获取的现实场景图像输入到预先训练的神经网络模型中，神经网络模型可以输出在获取的现实场景图像中识别到的姿态，并将识别到的姿态，确定为参考实体对象姿态。

训练神经网络的训练样本可以是带有姿态标签的样本图像，例如姿态标签可以是面部表情标签(例如面部表情可以是微笑、大笑、哭、疑问等)和/或肢体动作标签(例如肢体动作可以是拍照、握手、打招呼等)，基于神经网络模型可以得到每一个样本图像的预测姿态，基于样本图像的预测姿态和姿态标签，可以对神经网络进行训练，具体的训练过程将不再展开介绍。

将AR设备当前展示的增强现实数据更新为第一目标增强现实数据，可以是将增强现实数据中的虚拟对象的特效数据进行更新，使得AR设备当前展示的虚拟对象呈现新的展示状态。

示例性的，在一种场景下，参考实体对象为现实场景中与操作AR设备的用户配合的另一用户，在未识别到参考实体对象的姿态之前，虚拟物体的特效数据也即虚拟物体呈现的状态可以如图5a所示，当检测到现实场景图像中参考实体对象的姿态之后，虚拟对象的呈现状态可以如图5b所示，在图5b中呈现的为虚拟物在识别到拍照姿势之后呈现的状态。

在另一种场景下，参考实体对象可以为操作AR设备的用户，也即操作AR设备的用户可以基于当前展示的AR场景，对其中的虚拟对象做出相关手势，此时可以识别AR设备用户的手势，执行对应的操作。示例性的，延续图4所示的例子，通过识别现实场景中饮料旁边的两个箭头是否被点击，从而确定是否更改当前显示的饮料及其属性信息；或者通过识别在现实场景中饮料是否被点击，来确定饮料是否被购买。当识别到饮料被点击之后，可以在AR设备中呈现对应的支付界面，并在检测到支付成功后，生成订单信息，将该订单信息发送到对应的商家服务器，从而实现基于虚拟物体对实体物体的购买。

在又一种可能的实施方式中，还可以响应作用于AR设备的触发操作，然后获取与触发操作匹配的虚拟对象的特效数据，并将AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，第二目标增强现实数据包括与触发操作匹配的虚拟对象的特效数据。

其中，触发操作可以包括在AR设备屏幕上的操作(如点击、双击、长按、滑动等)、声音输入、改变AR设备的位姿(如改变AR设备的位置或者改变AR设备的拍摄角度等)中的至少一种。

示例性的，延续图4所示的例子，在通过AR设备展示饮料的属性信息的情况下，除了可以检测增强现实场景中饮料旁边的两个虚拟按钮是否被点击之外，还可以确定在AR设备的屏幕上两个虚拟按钮对应的位置是否有触发操作，其触发操作对应的效果与在现实场景中检测到的手势操作是对应的。例如在AR设备的屏幕上饮料旁边的箭头的点击操作与在现实场景中基于手势触发饮料旁边的箭头所匹配的虚拟对象的特效数据可以相同的。

具体实施中，在AR设备中展示包括虚拟对象的特效数据的增强现实数据时，在现实场景数据包括现实场景图像，虚拟对象包括虚拟物体的情况下，还可以增加现实场景图像中各实体对象与虚拟物体之间的遮挡关系的判断。具体的，可以基于各实体对象的位姿信息、虚拟物体的位姿信息、以及AR设备的位姿信息，确定各实体对象与虚拟对象之间的遮挡关系。

本公开实施例还可以增加导航效果的呈现。

具体地，响应导航请求，获取AR设备在现实场景的当前位置信息和虚拟对象在现实场景中对应的位置信息，然后利用当前位置信息和虚拟对象在现实场景中对应的位置信息生成导航路线，导航路线中的途经点包括虚拟对象在现实场景中的位置，或者包括虚拟对象在现实场景中所在的位置区域，并可以基于AR设备展示包括导航路线的指示数据的增强现实数据。

其中，AR设备可以在本地执行生成导航路线的过程，也可以将导航请求发送给服务器，由服务器来执行，并将导航路线发送给AR设备。

本公开实施例增加导航效果，可以在用户有导航需求时，基于导航需求，生成添加了虚拟对象位置作为途径地的导航路线。一种可能的实施方式中，可以检测是否接收到目的地信息，目的地可以为现实场景中的任一地点，也可以为虚拟对象在现实场景中所在的位置区域，当检测到的目的地信息对应的地点处于虚拟对象在现实场景中所在的位置区域的范围内时，可以直接基于AR设备当前的位置信息以及目的地信息，确定到达该虚拟对象的最短的行驶路线；在目的地为现实场景中的地点的情况下，可以生成以该目的地作为导航终点，且途径虚拟对象在现实场景中所在的位置区域的最短路线，也即引导用户途径部署有虚拟对象展示位置区域，提高用户在行程中的行路体验和行路趣味性。

除此之外，在并未接收到目的地信息的情况下，也可以主动推送虚拟对象的相关介绍信息，当检测到用户点击虚拟对象的展示触发按钮之后，确定到达虚拟对象所在位置的导航路线，并在AR设备上进行展示。

示例性的，在AR设备中展示包括导航路线的指示数据的增强现实图像，可以如图6所示，增强现实图像中除了包括虚拟物体之外，还可以包括指示符号(如地上的箭头)，通过展示指示符号，可以指引用户到达对应位置。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例提供了一种增强现实数据呈现装置，参见图7所示，为本公开实施例所提供的一种增强现实数据呈现装置的架构示意图，包括获取模块701、识别模块702、展示模块703、以及导航模块704，具体的：

获取模块701，包括获取现实场景数据，并将所述现实场景数据传输至所述识别模块702；

识别模块702，用于识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据，并将所述虚拟对象的特效数据传输至展示模块703；

展示模块703，用于基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。

一种可选的实施方式中，所述现实场景数据包括现实场景图像；

所述识别模块702，在识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据之前，还用于

检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；

在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。

一种可选的实施方式中，所述展示模块703，还用于：

识别拍摄到的参考实体对象姿态；

获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。

一种可选的实施方式中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。

一种可选的实施方式中，所述识别模块702，在识别拍摄到的参考实体对象姿态时，用于：

检测所述AR设备在现实场景中的位置信息与所述虚拟对象在所述现实场景中对应的位置信息之间的距离；

在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。

一种可选的实施方式中，所述识别模块702，在识别拍摄到的参考实体对象姿态时，用于：

基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。

一种可选的实施方式中，所述展示模块703，还用于：

响应作用于所述AR设备的触发操作；

获取与所述触发操作匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。

一种可选的实施方式中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入、改变所述AR设备的位姿中至少一种。

一种可选的实施方式中，所述装置还包括导航模块704，所述导航模块704用于：

响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；

利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；

在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。

一种可选的实施方式中，所述识别模块702，在确定与所述属性信息匹配的虚拟对象的特效数据时，用于：

获取所述AR设备在现实场景的位姿数据；

基于所述AR设备在现实场景的位姿数据、和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：

获取现实场景数据；

识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据；

基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。

其中，处理器801执行的具体处理过程可参照上述方法实施例或者装置实施例中的描述，这里不再展开说明。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实数据呈现方法的步骤。

本公开实施例所提供的增强现实数据呈现方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实数据呈现方法的步骤，具体可参见上述方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种增强现实数据呈现方法，其特征在于，包括：

获取现实场景数据；

识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据；

基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。

2.根据权利要求1所述的方法，其特征在于，所述现实场景数据包括现实场景图像；

在识别所述现实场景数据中目标实体对象的属性信息之前，还包括：

检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；

在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

识别拍摄到的参考实体对象姿态；

获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。

4.根据权利要求3所述的方法，其特征在于，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。

5.根据权利要求3或4所述的方法，其特征在于，所述识别拍摄到的参考实体对象姿态，包括：

检测所述AR设备在现实场景中的位置信息与所述虚拟对象在所述现实场景中对应的位置信息之间的距离；

在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。

6.根据权利要求3至5任一所述的方法，其特征在于，所述识别拍摄到的参考实体对象姿态，包括：

基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。

7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：

响应作用于所述AR设备的触发操作；

获取与所述触发操作匹配的虚拟对象的特效数据；

将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。

8.一种增强现实数据呈现装置，其特征在于，包括：

获取模块，包括获取现实场景数据，并将所述现实场景数据传输至所述识别模块；

识别模块，用于识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据，并将所述虚拟对象的特效数据传输至展示模块；

展示模块，用于基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的增强现实数据呈现方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的增强现实数据呈现方法的步骤。

Images