CN114697302B - 用于分发虚拟视觉内容的方法 - Google Patents

Abstract

本公开的实施例提供了一种用于分发虚拟视觉内容的方法，包括：向多个边缘设备发送将要在用户设备中进行交互的虚拟视觉内容中的第一内容部分；从多个边缘设备中选择至少一个边缘设备；以及向所选择的至少一个边缘设备发送虚拟视觉内容中的第二内容部分，第二内容部分在交互中具有高于第一内容部分的变化率。根据本公开的实施例，可以预先将虚拟视觉内容的一部分分发到经选择的边缘设备，而不需要将这些虚拟视觉内容分发到所有边缘设备，从而可以节省网络负担、降低带宽需求以及提高分发效率。

Description

用于分发虚拟视觉内容的方法

技术领域

本公开的实施例涉及虚拟现实和增强现实(VR/AR)技术领域，更具体地，涉及用于分发虚拟视觉内容的方法、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

虚拟视觉内容的呈现能够给人们带来丰富生动的体验。例如，虚拟现实能够为人们提供沉浸式的虚拟环境体验，而增强现实能够将虚拟信息与真实世界融合，使人们得到对真实世界的增强的体验。随着科技的发展，虚拟视觉内容呈现技术被应用在各种不同行业中。

虚拟视觉内容呈现技术是计算密集型的，其要求强大的处理能力和足够的存储空间。一些传统的解决方案将虚拟视觉内容分发到在远离用于观看虚拟视觉内容的用户设备的、计算能力强大的设备处进行处理。然而，这样的解决方案容易导致用户与虚拟视觉内容交互中的延迟增加。与此不同，为了降低延迟，另一些传统的解决方案尽可能地将虚拟视觉内容呈现技术中的处理分发到观看虚拟视觉内容的用户设备上。然而，这样的解决方案要求高性能的用户设备，不仅会使用户的内容观看设备变得昂贵且尺寸过大，还会由于负载过重而导致用户设备过热并且缩短寿命。

因此，分发虚拟视觉内容是虚拟现实和增强现实技术领域中的一项重要挑战。

发明内容

本公开提供了一种智能分发虚拟视觉内容的解决方案，能够高效和精确地将虚拟视觉内容的不同部分分发到各种类型的计算设备，提高了用户体验和性能。

根据本公开的第一方面，提供了一种用于分发虚拟视觉内容的方法，包括：向多个边缘设备发送将要在用户设备中进行交互的虚拟视觉内容中的第一内容部分；从多个边缘设备中选择至少一个边缘设备；以及向所选择的至少一个边缘设备发送虚拟视觉内容中的第二内容部分，第二内容部分在所述交互中具有高于所述第一内容部分的变化率。

根据本公开的第二方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时，使得电子设备执行动作，该动作包括：向多个边缘设备发送将要在用户设备中进行交互的虚拟视觉内容中的第一内容部分；从多个边缘设备中选择至少一个边缘设备；以及向所选择的至少一个边缘设备发送虚拟视觉内容中的第二内容部分，第二内容部分在交互中具有高于第一内容部分的变化率。

根据本公开的第三方面，提供了一种非瞬态计算机存储介质，包括机器可执行指令，该机器可执行指令在由设备执行时使所述设备执行如上述第一方面所述的方法。

根据本公开的第四方面，提供了一种计算机程序产品，包括机器可执行指令，该机器可执行指令在由设备执行时使所述设备执行如上述第一方面所述的方法。

以此方式，可以预先将虚拟视觉内容的一部分分发到经选择的边缘设备，而不需要将这些虚拟视觉内容分发到所有边缘设备，从而可以节省网络负担、降低带宽需求以及提高分发效率。

应当理解，发明内容部分并非旨在标识本公开的实施例的关键或重要特征，亦非旨在用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

通过参照附图的以下详细描述，本公开实施例的上述和其他目的、特征和优点将变得更容易理解。在附图中，将以示例以及非限制性的方式对本公开的多个实施例进行说明，其中：

图1示出了本公开的实施例的示例视觉内容管理系统的框图；

图2A示出了根据本公开的实施例的将背景减法或运动检测方法应用于虚拟视觉内容的结果的示意图。

图2B示出了根据本公开的实施例的将基于机器学习的对象检测方法应用于虚拟视觉内容的结果的示意图。

图3示出了适用于本公开的实施例的示例性虚拟视觉内容的示意图。

图4示出了根据本公开的实施例的示例视觉内容分发系统的示意框图。

图5示出了根据本公开的实施例的用于分发虚拟视觉内容的前景层的过程的示意框图。

图6示出了根据本公开的实施例的用于预测最近相邻边缘设备的方法的示意图。

图7示出了根据本公开的实施例的用于分发虚拟视觉内容的方法的示意流程图。

图8可以用来实施本公开的实施例的设备的示意性框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参照附图中所示的各种示例性实施例对本公开的构思进行说明。应当理解，这些实施例的描述仅仅为了使得本领域的技术人员能够更好地理解并进一步实现本公开，而并不旨在以任何方式限制本公开的范围。应当注意的是，在可行情况下可以在图中使用类似或相同的附图标记，并且类似或相同的附图标记可以表示类似或相同的元素。本领域的技术人员将理解，从下面的描述中，本文中所说明的结构和/或方法的替代实施例可以被采用而不脱离所描述的本公开的原理和构思。

在本公开的语境中，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”；术语“基于”可以被理解为“至少部分地基于”；术语“一个实施例”可以被理解为“至少一个实施例”；术语“另一实施例”可以被理解为“至少一个其它实施例”。其他可能出现但在此处未提及的术语，除非明确说明，否则不应以与本公开的实施例所基于的构思相悖的方式做出解释或限定。

虚拟视觉内容的呈现能够给人们带来丰富生动的体验。例如，虚拟现实能够为人们提供沉浸式的虚拟环境体验，增强现实能够将虚拟信息与真实世界融合，使人们得到对真实世界的增强的体验。随着科技的发展，虚拟视觉内容呈现技术被应用在各种不同行业中。

虚拟视觉内容呈现技术是计算密集型的，其要求强大的处理能力和足够的存储空间。一些传统的解决方案使虚拟视觉内容呈现技术中的处理在远离用户的内容观看设备的、计算能力强大的云端设备处进行。然而，这样的解决方案容易导致用户与虚拟视觉内容交互中的延迟增加。由于人类对于虚拟视觉内容的延迟非常敏感，过大的延迟会使得观看虚拟视觉内容的用户产生定向障碍并感到恶心，因此，虚拟视觉内容呈现技术必须满足较高的延迟需求。一般而言，可接受的延迟在5毫秒内。一旦延迟要求没有被满足，用户就会感到不适，这极大地降低了用户满意度。

为了降低延迟，另一些传统的解决方案尽可能地将虚拟视觉内容呈现技术中的处理集成在用于观看虚拟视觉内容的内容观看设备上。内容观看设备诸如AR/VR头戴式耳机、AR眼镜等。然而，由于虚拟视觉内容呈现技术是计算密集型的，将虚拟视觉内容呈现技术集成在内容观看设备上不仅会使内容观看设备变得昂贵且尺寸过大，还会由于负载过重而导致内容观看设备过热并且缩短寿命。

在5G时代，移动边缘计算(MEC)是一项关键性特点。多个移动边缘设备可以一起工作来实现信息分发和支持本地化计算。5G网络中的边缘设备给网络性能和用户体验带来了巨大的益处。边缘设备为它们自身的地理区域服务，比云端设备更靠近移动设备，因而通信延时更短，但是具有比移动设备更高的性能。因此，支持AR/VR所需的虚拟视觉内容可以被分发到用户设备、边缘设备和云端进行处理和存储，从而可以生产轻量化、低成本的用户设备，同时减少从云端到用户设备的延迟。

在本申请人提出的申请号为202011056325.3、题为“管理虚拟视觉内容的方法、设备和计算机程序”的中国专利申请中描述了一种管理虚拟视觉内容的解决方案，这里通过引用将其整体并入本文。

本公开的实施例提出了一种用于分发虚拟视觉内容的方法，包括：向多个边缘设备发送将要在用户设备中进行交互的虚拟视觉内容中的第一内容部分；从多个边缘设备中选择至少一个边缘设备；以及向所选择的至少一个边缘设备发送虚拟视觉内容中的第二内容部分，第二内容部分在交互中具有高于第一内容部分的变化率。该解决方案可以预先将虚拟视觉内容的一部分分发到经选择的边缘设备，而不需要将这些虚拟视觉内容分发到所有边缘设备，从而可以节省网络负担、降低带宽需求以及提高分发效率。

以下参考附图来说明本公开的基本原理和实现方式。应当理解，给出的示例性实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开的实施例，而并非以任何方式限制本公开的范围。

图1示出了本公开的实施例的示例视觉内容管理系统100的框图。如图1所示，视觉内容管理系统100包括视觉内容管理设备110以及计算设备120-1至120-3(统称为计算设备120)。

如图1所示，视觉内容管理设备110可以从待与用户进行交互的虚拟视觉内容130中确定多个内容部分140-1至140-3(统称为内容部分140)，多个内容部分140-1至140-3在该交互中具有不同的变化频率。视觉内容管理设备110可以将多个内容部分140-1至140-3分别传输到与用户具有不同接近度的多个计算设备120-1至120-3。

视觉内容管理设备110可以例如是计算机、虚拟机、服务器、云计算设备等。多个计算设备120可以是与用户具有不同接近度的设备。在本文中，“接近度”可以指空间距离上的接近程度，也可以指传输虚拟视觉内容的速度。与用户具有不同的接近度意味着用户与虚拟视觉内容进行交互所需的延迟不同。附加地，多个计算设备120可以是具有不同处理能力的设备。例如，在一些实施例中，计算设备120可以是AR/VR内容观看设备。AR/VR内容观看设备可以是智能电话、智能平板、智能可穿戴设备、独立的AR/VR头戴式耳机、独立的AR眼镜等。附加地或备选地，在一些实施例中，计算设备120可以是边缘设备，其也可以被称为边缘服务器、边缘节点、移动边缘计算设备等。附加地或备选地，在一些实施例中，计算设备120可以是云计算设备。视觉内容管理设备110与计算设备120之间可以通过网络相互连接。网络可以是互联网、内联网等。本公开在此方面不受限制。

应当理解，仅出于示例性的目的描述视觉内容管理系统100的结构，而不暗示对于本公开的范围的任何限制。例如，本公开的实施例还可以被应用到与视觉内容管理系统100不同的系统中。应当理解，上述各设备、虚拟视觉内容、内容部分的具体数目仅出于说明性目的给出，而不暗示对本公开范围的任何限制。

虚拟视觉内容130包括在交互中具有不同的变化频率的内容部分140。在一些实施例中，虚拟视觉内容130可以包括在与用户的交互中几乎不变化的内容部分。这些内容部分是不变的或者以很低的频率变化，在本公开中可以被称为背景层。例如，在虚拟视觉内容130是室内家居的场景中，背景层可以包括诸如室内的地板、墙壁、室外的景色等的背景对象。在一些实施例中，虚拟视觉内容130可以包括在与用户的交互中适度变化的内容部分，在本公开中可以被称为前景层。例如，前景层可以包括诸如移动的人、变化的光线等的前景对象。附加地或备选地，在一些实施例中，虚拟视觉内容130可以包括在与用户的交互中频繁变化的内容部分，在本公开中可以被称为交互层。例如，交互层可以包括诸如按钮、门、选择面板或开关等交互组件的交互对象，用户可以与这些交互组件进行交互以改变所呈现的虚拟视觉内容。

视觉内容管理设备110可以通过各种计算机视觉、机器学习等方法从虚拟视觉内容130中确定具有不同变化频率的多个内容部分140。在一些实施例中，视觉内容管理设备110可以从虚拟视觉内容130中确定静态内容部分(例如，背景层)和动态内容部分，动态内容部分的变化频率高于静态内容部分的变化频率。附加地，在一些实施例中，视觉内容管理设备110还可以从动态内容部分中确定第一动态内容部分(例如，前景层)和第二动态内容部分(例如，交互层)，第二动态内容部分的变化频率高于第一动态内容部分的变化频率。关于从虚拟视觉内容130中确定多个内容部分140的细节，将在下文参考图2A、图2B和图3来详细描述。

在一些实施例中，视觉内容管理设备110可以将背景减法应用于虚拟视觉内容130，从而从虚拟视觉内容130中确定第一内容部分和第二内容部分，第二内容部分的变化频率高于第一内容部分的变化频率。背景减法是一种经典的计算机视觉方法，用以将背景对象与前景对象分离。背景减法诸如基于高斯混合模型的背景减法等。任何目前已知或者将来开发的背景减法方法均可用于本公开的实施例，本公开的范围不限于此。在本公开的实施例中，背景对象可以对应于第一内容部分，前景对象可以对应于第二内容部分。在从虚拟视觉内容130中确定第一内容部分和第二内容部分之后，视觉内容管理设备110可以将第一内容部分和第二内容部分分别确定为静态内容部分和动态内容部分。

备选地或附加地，在一些实施例中，视觉内容管理设备110可以将运动检测方法应用于虚拟视觉内容130，从而从虚拟视觉内容130中确定第一内容部分和第二内容部分，第二内容部分的变化频率高于第一内容部分的变化频率。例如，视觉内容管理设备110可以使用基于光流的运动检测方法来检测虚拟视觉内容130中的移动对象。任何目前已知或者将来开发的运动检测方法均可用于本公开的实施例，本公开的范围不限于此。

下面参考图2A来描述背景减法或运动检测方法的结果。图2A示出了根据本公开的实施例的将背景减法或运动检测方法应用于虚拟视觉内容的结果的示意图210。如图2A所示，将背景减法或运动检测方法应用于虚拟视觉内容212会得到经处理的虚拟视觉内容214。在经处理的虚拟视觉内容214中，黑色区域指示背景对象区域，白色区域指示前景对象区域。在这种情况下，视觉内容管理设备110可以将与黑色区域相对应的内容部分确定为静态内容部分，将与白色区域相对应的内容部分确定为动态内容部分。

备选地或附加地，在一些实施例中，视觉内容管理设备110可以将基于机器学习的对象检测应用于虚拟视觉内容130，从而从虚拟视觉内容130中确定第一内容部分和第二内容部分，第二内容部分的变化频率高于第一内容部分的变化频率。例如，视觉内容管理设备110可以将经训练的机器学习模型或深度学习模型应用于包括前景对象和背景对象的输入图像，以从输入图像中检测出前景对象。任何目前已知或者将来开发的基于机器学习的对象检测方法均可用于本公开的实施例，本公开的范围不限于此。

下面参考图2B来描述对象检测方法的结果。图2B示出了根据本公开的实施例的将基于机器学习的对象检测方法应用于虚拟视觉内容的结果的示意图220。如图2B所示，将基于机器学习的对象检测方法应用于虚拟视觉内容422会得到不同类别的前景对象224、226和228。前景对象224属于车辆类别，前景对象226-1至226-4属于人物类别，前景对象228属于斑马线类别。在这种情况下，视觉内容管理设备110可以将前景对象224、226和228确定为动态内容部分，将虚拟视觉内容222中的其余内容部分确定为静态内容部分。

另外，视觉内容管理设备110可以将上文描述的从虚拟视觉内容130中确定静态内容部分和动态内容部分的方法再次应用于动态内容部分，从而从动态内容部分中确定第一动态内容部分和第二动态内容部分。进一步划分动态内容部分能够使得动态内容部分被进一步细化为具有不同变化频率的内容部分，从而将动态内容部分也传输到不同的设备处来处理，进一步降低与用户交互的延迟，并进一步降低用于观看虚拟视觉内容的用户设备的负载。

例如，视觉内容管理设备110可以对动态内容部分进行关于变化频率的统计，然后将所统计的变化频率较低的内容部分确定为第一动态内容部分，将所统计的变化频率较高的内容部分确定为第二动态内容部分。备选地或附加地，视觉内容管理设备110还可以利用用户观看历史视觉内容时所佩戴的AR/VR设备的传感器来获取用户的运动信息，然后根据该运动信息来确定用户的视觉聚焦区域。视觉内容管理设备110可以将动态内容部分中与视觉聚焦区域相对应的内容部分确定为第二动态内容部分。备选地或附加地，视觉内容管理设备110可以根据预配置的标签来确定第一动态内容部分和第二动态内容部分，预配置的标签是根据专家经验的手动标记。

应当理解，仅出于示例性的目的示出了一些计算机视觉、机器学习方法，而不暗示对于本公开的范围的任何限制。例如，还可以采用其他的计算机视觉、机器学习方法从虚拟视觉内容中确定多个内容部分。本公开在这些方面不受限制。

在上述示例性实施例中，通过从虚拟视觉内容中确定静态内容部分和动态内容部分，并且从动态内容部分中确定第一动态内容部分和第二动态内容部分，虚拟视觉内容能够被划分成具有不同变化频率的内容部分，使得由与用户具有不同接近度的多个计算设备管理不同内容部分成为可能。换言之，通过上述参照图1、图2A和2B的描述，虚拟视觉内容可以被划分为背景层、前景层和交互层。

图3示出了适用于本公开的实施例的示例性虚拟视觉内容的示意图300。图3示出的是用于室内家居设计的虚拟视觉内容。人们可以利用内容观看设备在空房间中行走，然后将不同的家具、饰品或其他物品放入房间，以查看虚拟效果来评估不同的家居设计。

在本公开的实施例中，视觉内容管理设备110可以从虚拟视觉内容中确定静态内容部分，例如，墙壁、门、窗户等房间的结构。如框312和314所示。这些内容部分不会变化、或者仅变化一次(例如，墙纸的颜色改变)、或者变化频率很低(例如，照明条件或室外天气条件缓慢地变化)。这些静态内容部分可以被传输到云计算设备，以使这些静态内容部分由云计算设备来处理和绘制。

视觉内容管理设备110还可以从虚拟视觉内容中确定动态内容部分，也就是前景对象，例如椅子、桌子等家具。如框322、324和326所示。这些前景对象可以被放置在不同的位置。这些前景对象可以被传输给比云计算设备更接近用户的边缘设备，以由边缘设备来处理和绘制这些前景对象在环境中的形状和外观，以减少延迟。

视觉内容管理设备110还可以从虚拟视觉内容中确定与用户交互最频繁的用户接口选择区域。如框330所示。这样的用户接口可以被传输给用户设备，以使用户设备直接处理接收到的用户输入，以实现更快的响应。

图4示出了根据本公开的实施例的示例视觉内容分发系统400的示意框图。示例视觉内容分发系统400包括云计算设备410、边缘内容分发管理器420、边缘设备430-1至430-4(统称为边缘设备430)、用户设备440-1至440-4(统称为用户设备440)。如上所述，云计算设备410可以是具有强大计算能力和存储容量的集中或分布式的计算机集群，能够存储大量虚拟视觉内容和快速完成对虚拟视觉内容的处理，但是其地理上或通信路由上远离能够在其上呈现虚拟视觉内容并与能够与用户进行交互的用户设备。在一些实施例中，云计算设备410可以运行与虚拟现实/增强现实相关联的应用程序(图中未示出)，例如在虚拟机上。云计算设备410的应用程序可以生成、处理和存储虚拟视觉内容，以便分发到用户设备440。例如，参照图1的描述，云计算设备410上可以运行视觉内容管理设备110，以便根据变化频率将虚拟视觉内容划分为背景层、前景层和交互层。

边缘内容分发管理器420可以运行在云端，例如，如图4所示，可以被部署为与云计算设备410分离。备选地，边缘内容分发管理器420还可以集成到云计算设备410之中。边缘内容分发管理器420用于控制虚拟视觉内容云计算设备410到边缘设备430，再到用户设备440的分发。如上参照图1至3所述，根据变化频率，虚拟视觉内容可以被分为背景层、前景层和交互层。根据本公开的实施例，边缘内容分发管理器420可以不仅可以基于虚拟视觉内容的类型来管理虚拟视觉内容的分发，进一步地，还可以根据与具体用户设备有关的信息来管理虚拟视觉内容的分发，下文将详细描述。

边缘设备430-1至430-4在本文中也可以被称为边缘计算设备、边缘节点、边缘服务器、移动边缘计算设备等。边缘设备430可以例如部署在无线接入网(RAN)侧，位于单个或多个基站处，从而接近用户设备以提供与用户设备440之间的低延时，同时为用户设备440提供高性能计算和存储服务。根据本发明的实施例，虚拟视觉内容的背景层、前景层和交互层在云计算设备410处被生成之后，可以被预先分发到与特定用户设备440相关联边缘设备430。当用户设备需要呈现虚拟视觉内容并与其交互时，虚拟视觉内容可以进一步发送到用户设备440，从而降低了边缘设备430和云计算设备410之间的核心网络在高峰期的负担。需要注意的是，尽管虚拟视觉内容将完全在用户设备440上被呈现和交互，但是虚拟视觉内容的背景层、前景层和交互层可以在不同的计算设备处被处理。处理可以包括渲染，例如，根据虚拟视觉内容中的对象的模型(例如，参照图3描述的墙壁、门、窗户、桌子、椅子等)的属性(例如，空间位置、颜色、结构、纹理、材质)以及相关联的光照条件来生成效果图。

在一些实施例中，边缘内容分发管理器420可以将背景层分发到云计算设备410来处理，并且在云计算设备410的处理完成后可以将经处理的背景层分发到一定区域内的边缘设备430-1至430-4。如上所述，背景层可以是不变或随时间变化很慢的数据，并且背景层在不同用户设备之间没有差别或差别很小。因此，边缘内容分发管理器420可以预先，例如，在用户设备440没有上线的情况下，将经处理的背景层分发到所有边缘设备430-1至430-4。换言之，背景层的处理和分发均可以是线下完成并被提前缓存到边缘设备430。这样，当用户设备440上线时，可以直接向对应的边缘设备430(例如，与用户设备所连接到基站部署在一起的边缘设备)，而不必在上线后向延时较大的云计算设备410请求经处理的背景层，从而减小了通信拥塞和延时，改善用户体验。

边缘内容分发管理器420还可以将前景层和交互层分别分发到边缘设备430和用户设备440。与背景层不同，被分发到边缘设备430的前景层和被分发到用户设备440的前景层和交互层可以是未经过处理的。换言之，可以由边缘设备430处理前景层，然后，经处理的前景层被发送到用户设备440以用于呈现和交互。虚拟视觉内容中的交互层可以经由边缘设备430被发送到用户设备440，由用户设备440自身在本地处理。由此，可以在用户设备上呈现完整的虚拟视觉内容，包括由云计算设备410处理的背景层、由边缘设备430处理的前景层以及由用户设备440自身处理的交互层。

如图4所示，为了节省边缘设备430处的存储资源并减少云计算设备410与边缘设备430之间的核心网流量负担，前景层可以仅被发送到用户活跃区450内的边缘设备430-3和430-4。用户活跃区是指预测的用户设备440当前所在或在未来一段时间内可能移动到的区域。应理解，用户活跃区内的边缘设备的数量(例如，图4中的两个边缘设备)小于全体边缘设备的数量。因此，通过将虚拟视觉内容的前景层仅发送到用户活跃区450内的边缘设备430-3和430-4，使得虚拟视觉内容被有效和精确分发，可以节省边缘设备430处的存储资源并减少核心网上不必要的网络流量负担。以下参照图5详细描述分发前景层的过程。

应当理解，仅出于示例性的目的描述示例视觉内容分发系统400的结构，而不暗示对于本公开的范围的任何限制。例如，本公开的实施例还可以被应用到与示例视觉内容分发系统400不同的系统中。应当理解，上述各边缘设备和用户设备具体数目、用户活跃区内的用户设备的数目、以及边缘设备与用户设备之间的连接关系仅出于说明性目的给出，而不暗示对本公开范围的任何限制。

图5示出了根据本公开的实施例的用于分发虚拟视觉内容的前景层的过程的示意框图。根据本公开的实施例，分发虚拟视觉内容的前景层的过程可以在用户设备在线上的情况下实施。可以基于与用户设备有关的信息来预测用户活跃区和对应的边缘设备，进而动态地将虚拟视觉内容的前景层分发到所预测的边缘设备。

如图5所示，由前景层分发管理器510来实施预测用于分发前景层的边缘设备。前景层分发管理器510可以被部署在参照图4描述的边缘内容分发管理器420中，例如作为其子例程。根据本公开的实施例，可以通过与用户设备个体有关的基于预定日程表的预测520-1、基于用户行为的预测520-2以及基于最近相邻边缘设备的预测520-3这三种方式来预测用于分发前景层的边缘设备。

预定日程表可以被存储在用户设备(诸如VR/AR的内容观看设备)或者与该用户设备相关联并连接到网络的其他设备(诸如智能手机、平板电脑或笔记本电脑)上。预定日程表可以包括与用户的活动相关联的时间和地点。当用户设备上线，例如启动用户设备或启动用户设备上的VR/AR应用时，可以访问用户设备中的预定日程表。在这种情况下，用户设备可以向VR/AR应用的服务端发送日程表中的活动的地点。然后，前景层分发管理器510可以基于活动地点来查找附近的边缘设备，作为预测的被分发前景层的边缘设备530。在一些实施例中，地点可以由文本格式的地名来标识，或者可以由包括经度和纬度的地理位置来标识。在地点是文本格式的情况下，前景层分发管理器510可以借助地图信息来解析到其经度和纬度的地理位置，然后从所有边缘设备中查找到该地点附近的边缘设备。然后，向这些边缘设备传输虚拟视觉内容的前景层。

在一些实施例中，还可以基于预定日程表520-1中的活动地点的属性来预测虚拟视觉内容。例如，如果活动地点是剧院，则可以预测虚拟视觉内容可能是虚拟剧场，如果活动地点是足球场，则可以预测虚拟视觉内容可能是虚拟球场，等等。相应地，可以向这些地点附近的边缘设备预先传输这些虚拟视觉内容中的前景层。

根据本公开的实施例，前景层分发管理器510还可以实施基于用户行为的预测520-2。基于用户行为的预测520-2可以包括但不限于，基于用户设备的历史位置，预测用户设备在未来一段时间内所处的可能地点。例如，可以收集用户设备在过去的一段时间内(例如，前一天、前三天、前一周、前一个月等)在一天中的不同时间所在的位置。例如，如果用户设备在过去的一周每天上午10点都出现在某一个写字楼，则可以预测用户将在同样时间出现在该写字楼的可能性较大。类似地，前景层分发管理器510可以使用该地点来查找该地点附近的边缘设备，作为预测的用于边缘设备，用于向其传输虚拟视觉内容的前景层。备选地或附加地，可以使用机器学习模型来预测用户的行为。例如，可以将用户历史行为(例如，包括日期、一天中的时间、星期几、所在地点，是否使用VR/AR应用等信息)作为训练数据输入到机器学习模型。然后可以使用经训练的模型来预测用户行为。应当理解，预测的结果可以是未来一段时间、至少一个地点及其相应的概率，这表示用户在未来一段时间内所处的可能地点，以及在该可能地点的概率。然后，前景层分发管理器510可以例如使用概率最大的一个或多个地点来查找该地点附近的边缘设备，作为预测的边缘设备，用于向其传输虚拟视觉内容的前景层。

类似地，用户历史行为还可以包括用户所使用过的特定VR/AR应用。例如，如果使用的VR/AR应用是虚拟剧场，则可以向作为预测结果的边缘设备传输与虚拟剧场有关的虚拟视觉内容的前景层；如果使用的VR/AR应用可能是虚拟足球游戏，则可以向作为预测结果的边缘设备传输与虚拟足球游戏有关的虚拟视觉内容的前景层，等等。

根据本公开的实施例，前景层分发管理器510还可以实施最近相邻边缘设备的预测520-3。以下参照图6详细描述。

图6示出了根据本公开的实施例的用于预测最近相邻边缘设备的方法的示意图。图6中，实心圆圈表示用户设备440当前使用中的边缘设备，空心圆圈表示与当前使用中的边缘设备最近相邻的其他边缘设备。这里，最近相邻的边缘设备的含义可以是与使用中的边缘设备的物理距离在阈值以内(包括但不限于100米、200米、500米、1公里等)的其他边缘设备。备选地或附加地，最接近的边缘设备的含义也可以是与使用中的边缘设备的其他度量(例如通信延时)在阈值以内。根据本公开的实施例，在可以云计算设备410处存储与每个边缘设备相关联的其他边缘设备的列表，从而更快地确定最近相邻的边缘设备。

如图6所示，当用户设备(例如，图4的用户设备440-3、440-4)位于位置1处时，用户设备连接到边缘设备a(例如，边缘设备430-3和430-4)，即，边缘设备a是使用中的边缘设备。这时，在边缘设备a上存储有用户设备当前正在使用的虚拟视觉内容，至少包括虚线视觉内容的前景层和背景层(因为交互层可以在用户设备上处理、存储和交互)。根据本公开的实施例，前景层分发管理器510可以确定边缘设备a的最近邻居是边缘设备b和c，并触发边缘设备b和c向云计算设备(例如，图4的数据中心/云计算设备410)请求用户设备的虚拟视觉内容的前景层。响应于此，边缘设备b和c可以从云计算设备接收相应的前景层内容。备选地或附加地，前景层分发管理器510还可以触发边缘设备b和c向边缘设备a请求虚拟视觉内容的前景层。通过这种方式，将前景层内容从使用中的边缘设备a复制到最近相邻边缘设备b和c，从而边缘设备b和c上的预先存储了最新的前景层。

然后，用户设备移动到位置2，在位置2处，用户设备远离了原来使用的边缘设备a，因此使用中的边缘设备变为边缘设备b。由于边缘设备b已经预先存储了虚拟视觉内容的前景层，用户设备不必再次向云计算设备请求该数据，从而消除或缓解移动中的用户设备因为切换边缘设备所导致的卡顿。类似地，当用户设备在位置2并使用边缘设备b时，前景层分发管理器510可以确定边缘设备b的最近邻居是边缘设备a、c、d和e。因此，边缘设备d和e可以被触发来请求虚拟视觉内容的前景层，而边缘设备a和c已经存储了该前景层内容，所以不必执行该操作。

接下来，用户设备移动到位置3，在位置3处，用户设备远离了原来使用的边缘设备b，因此使用中的边缘设备变为边缘设备d。由于边缘设备d已经预先存储了虚拟视觉内容的前景层，用户设备不必再次向云计算设备请求该数据，从而消除或缓解移动中的用户设备因为切换边缘设备所导致的卡顿。当用户设备在位置3并使用边缘设备d时，前景层分发管理器510可以确定边缘设备d的最近邻居是边缘设备b和e。边缘设备b和e已经存储了该前景层内容，因此这时没有新的边缘设备需要请求用户设备的虚拟视觉内容。

在一些实施例中，存储在边缘设备中的虚拟视觉内容可以具有生命周期。例如，当用户设备下线后经过一段时间，当用户设备不再使用该边缘设备后经过一段时间，或者当该虚拟视觉内容在该边缘设备上存在的时间超过预设时间时，可以从边缘设备中清除该虚拟视觉内容，从而保障边缘设备的存储资源的有效使用。

通过以上描述的三种预测边缘设备的方式，可以在使用高峰期，不必将虚拟视觉内容都发送到所有边缘设备，从而可以节省核心网络负担和提高分发效率。

图7示出了根据本公开的实施例的用于分发虚拟视觉内容的方法的示意流程图。方法700可以例如由部署在云端的数据中心/云计算设备410来实施。方法700包括在步骤710，向多个边缘设备发送将要在用户设备中进行交互的虚拟视觉内容中的第一内容部分。方法700还包括在步骤720，从多个边缘设备中选择至少一个边缘设备。方法700还包括，在步骤730，向所选择的所述至少一个边缘设备发送虚拟视觉内容中的第二内容部分，第二内容部分在交互中具有高于第一内容部分的变化率。第一内容部分可以是虚拟视觉内容中不变或变化得很慢的背景层，其经过处理之后被分发到多个边缘设备。第二内容部分可以是虚拟视觉内容中适度变化的前景层，其可以被分发到从多个边缘设备中选择的至少一个边缘设备来处理，并且在经过处理之后被分发到用户设备。

根据方法700，可以预先将虚拟视觉内容的一部分分发到经选择的边缘设备，而不需要将这些虚拟视觉内容分发到所有边缘设备，从而可以节省网络负担、降低带宽需求以及提高分发效率。

在一些实施例中，向多个边缘设备发送第一内容部分可以包括，在用户设备离线的状态下，向所述多个边缘设备发送第一内容部分。如上所述，诸如背景层的第一内容部分的变化频率较低，并且在不同用户设备之间没有差别或差别很小。因此，通过在用户设备离线的状态下将第一内容部分分发到边缘设备，用户设备可以直接就近从边缘设备获取第一内容部分，从而可以减少用户设备的使用高峰期间的核心网流量负担。

在一些实施例中，选择至少一个边缘设备可以包括：确定用户设备的日程表中指示的活动的地点；从多个边缘设备中选择位于该地点附近的至少一个边缘设备。由此，可以基于用户设备的日程表的信息来预测用户设备可能将使用的边缘设备，从而更有效和精确地分发虚拟视觉内容。

在一些实施例中，选择至少一个边缘设备可以包括：基于用户设备的历史位置，预测用户设备在未来一段时间内所处的可能地点；以及从所述多个边缘设备中选择在处于所述可能地点附近的至少一个边缘设备。由此，可以基于历史用户行为来预测用户设备可能将使用的边缘设备，从而更有效和精确地分发虚拟视觉内容。

在一些实施例中，选择至少一个边缘设备可以包括：从多个边缘设备中，选择用户设备正在使用的边缘设备的至少一个相邻边缘设备。由此，可以基于用户设备的当前位置来预测用户设备可能将使用的边缘设备，从而更有效和精确地分发虚拟视觉内容。

在一些实施例中，向用户设备发送虚拟视觉内容中的第三内容部分，第三内容部分在所述交互中具有高于第二内容部分的变化率。由此，高变化频率的虚拟视觉内容可以被分发到用户设备本地来处理，以满足低延时要求和提高用户体验。

进一步地，在一些实施例中，第三内容部分是虚拟视觉内容中的交互组件。用户在使用VR/AR应用时，需要频繁使用交互组件与改变虚拟视觉内容的呈现，因而交互组件交互频率比其他内容都高。将其分发到用户设备进行处理可以满足低延时要求和提高用户体验。

在一些实施例中，第一内容部分包括虚拟视觉内容中的背景部分，第二内容部分包括虚拟视觉内容中的前景部分。如上所述，第一内容部分可以是虚拟视觉内容中不变或变化得很慢的背景层，其经过处理之后被分发到多个边缘设备。第二内容部分可以是虚拟视觉内容中适度变化的前景层，其可以被分发到从多个边缘设备中选择的至少一个边缘设备来处理，并且在经过处理之后被分发到用户设备。通过将变化频率不同的虚拟视觉内容分发到与用户设备接近度不同的计算设备，有利于减少网络负担和降低延时，从而提高用户体验。

图8示出了可以用来实施本公开的实施例的设备800的示意性框图。设备800可以被用于实施以上参考附图所描述的云计算设备、边缘设备以及在其上运行的示例视觉管理系统100和示例视觉分发系统400等。如图所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个方法或过程可由处理单元801执行。例如，在一些实施例中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到RAM 803并由CPU 801执行时，可以执行上文描述的方法或过程中的一个或多个步骤或动作。

在一些实施例中，以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种用于分发虚拟视觉内容的方法，包括：

由与云计算设备相关联的内容分发管理器确定虚拟视觉内容中的多个内容部分，所述多个内容部分具有不同的变化率；

从所述内容分发管理器向多个边缘设备发送将要在用户设备中进行交互的、所述虚拟视觉内容的所述多个内容部分中的第一内容部分；

从所述多个边缘设备中选择至少一个边缘设备；以及

从所述内容分发管理器向所选择的所述至少一个边缘设备发送所述虚拟视觉内容的所述多个内容部分中的第二内容部分，所述第二内容部分在所述交互中具有高于所述第一内容部分的变化率，

其中所述方法还包括：

将所述多个边缘设备分成在指定的用户活跃区外的第一组边缘设备和在所述指定的用户活跃区之内的第二组边缘设备，所述第一组边缘设备不同于所述第二组边缘设备，所述第一组边缘设备和所述第二组边缘设备中的每个边缘设备被指派为接收所述虚拟视觉内容中具有不同变化率的所述多个内容部分中的至少一个，其中所述第一组边缘设备和所述第二组边缘设备中的不同组的不同边缘设备被指派为接收所述多个内容部分中的不同内容部分；

其中，所述内容分发管理器将所述第一内容部分、并且不将所述第二内容部分发送到在所述指定的用户活跃区之外的所述第一组边缘设备中的至少第一边缘设备；以及

其中，所述内容分发管理器将所述第一内容部分和所述第二内容部分两者发送到在所述指定的用户活跃区内的所述第二组边缘设备中的至少第二边缘设备。

2.如权利要求1所述的方法，其中向所述多个边缘设备发送所述第一内容部分包括：

在所述用户设备离线的状态下，向所述多个边缘设备发送所述第一内容部分。

3.如权利要求1所述的方法，其中选择所述至少一个边缘设备包括：

确定所述用户设备的日程表中指示的活动的地点；以及

从所述多个边缘设备中选择位于所述地点附近的至少一个边缘设备。

4.如权利要求1所述的方法，其中选择所述至少一个边缘设备包括：

基于所述用户设备的历史位置，预测所述用户设备在未来一段时间内所处的可能地点；以及

从所述多个边缘设备中选择在处于所述可能地点附近的至少一个边缘设备。

5.如权利要求1所述的方法，其中选择所述至少一个边缘设备包括：

从所述多个边缘设备中选择所述用户设备正在使用的边缘设备的至少一个相邻边缘设备。

6.如权利要求1所述的方法，还包括：

向所述用户设备发送所述虚拟视觉内容的所述多个内容部分中的第三内容部分，所述第三内容部分在所述交互中具有高于所述第二内容部分的变化率。

7.如权利要求6所述的方法，其中所述第三内容部分是虚拟视觉内容中的交互组件。

8.如权利要求1-7任一项所述的方法，其中所述第一内容部分包括所述虚拟视觉内容中的背景部分，所述第二内容部分包括所述虚拟视觉内容中的前景部分。

9.一种电子设备，包括：

至少一个处理单元；

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述电子设备执行动作，所述动作包括：

由与云计算设备相关联的内容分发管理器确定虚拟视觉内容中的多个内容部分，所述多个内容部分具有不同的变化率；

从所述内容分发管理器向多个边缘设备发送将要在用户设备中进行交互的、所述虚拟视觉内容的所述多个内容部分中的第一内容部分；

从所述多个边缘设备中选择至少一个边缘设备；以及

从所述内容分发管理器向所选择的所述至少一个边缘设备发送所述虚拟视觉内容的所述多个内容部分中的第二内容部分，所述第二内容部分在所述交互中具有高于所述第一内容部分的变化率，

其中所述动作还包括：

将所述多个边缘设备分成在指定的用户活跃区外的第一组边缘设备和在所述指定的用户活跃区之内的第二组边缘设备，所述第一组边缘设备不同于所述第二组边缘设备，所述第一组边缘设备和所述第二组边缘设备中的每个边缘设备被指派为接收所述虚拟视觉内容中具有不同变化率的所述多个内容部分中的至少一个，其中所述第一组边缘设备和所述第二组边缘设备中的不同组的不同边缘设备被指派为接收所述多个内容部分中的不同内容部分；

其中，所述内容分发管理器将所述第一内容部分、并且不将所述第二内容部分发送到在所述指定的用户活跃区之外的所述第一组边缘设备中的至少第一边缘设备；以及

其中，所述内容分发管理器将所述第一内容部分和所述第二内容部分两者发送到在所述指定的用户活跃区内的所述第二组边缘设备中的至少第二边缘设备。

10.如权利要求9所述的电子设备，其中向所述多个边缘设备发送所述第一内容部分包括：

在所述用户设备离线的状态下，向所述多个边缘设备发送所述第一内容部分。

11.如权利要求9所述的电子设备，其中选择所述至少一个边缘设备包括：

确定所述用户设备的日程表中指示的活动的地点；

从所述多个边缘设备中选择位于所述地点附近的至少一个边缘设备。

12.如权利要求9所述的电子设备，其中选择所述至少一个边缘设备包括：

基于所述用户设备的历史位置，预测所述用户设备在未来一段时间内所处的可能地点；以及

从所述多个边缘设备中选择在处于所述可能地点附近的至少一个边缘设备。

13.如权利要求9所述的电子设备，其中选择所述至少一个边缘设备包括：

从所述多个边缘设备中选择所述用户设备正在使用的边缘设备的至少一个相邻边缘设备。

14.如权利要求9所述的电子设备，所述动作还包括：

向所述用户设备发送所述虚拟视觉内容的所述多个内容部分中的第三内容部分，所述第三内容部分在所述交互中具有高于所述第二内容部分的变化率。

15.如权利要求14所述的电子设备，其中所述第三内容部分是虚拟视觉内容中的交互组件。

16.如权利要求9-15任一项所述的电子设备，其中所述第一内容部分包括所述虚拟视觉内容中的背景部分，所述第二内容部分包括所述虚拟视觉内容中的前景部分。

17.一种非瞬态计算机存储介质，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行如权利要求1至8中的任一项所述的方法。

18.一种计算机程序产品，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行如权利要求1至8中的任一项所述的方法。