CN112740280A - 计算高效的模型选择 - Google Patents

Abstract

在各种具体实施中，设备勘测场景并在场景内呈现合成现实(SR)环境，SR环境包括随时间演变(例如，改变位置或年龄)的一个或多个资产。在各个时标对此类SR环境建模可能是计算密集型的，特别是当在较大时标上对SR环境建模时。因此，在各种具体实施中，当以不同时标呈现SR环境时，使用不同的模型来确定SR环境的环境状态。

Description

计算高效的模型选择

技术领域

本公开整体涉及生成合成现实(SR)环境，并且具体地讲，涉及用于以计算高效的方式为SR环境确定环境状态的系统、方法和设备。

背景技术

物理布景是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物理布景(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理布景相互作用和/或感知物理布景，诸如通过触摸、视觉、嗅觉、听觉和味觉。

相比之下，合成现实(SR)布景是指经由电子系统个体能够感知并且/或者个体能够与其交互的完全或部分由计算机创建的布景。在SR中，监测个体移动的子集，并且响应于此，以符合一个或多个物理定律的方式使SR布景中的一个或多个虚拟对象的一个或多个属性变化。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理布景中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR布景中一个或多个虚拟对象的一个或多个属性的修改。

个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉布景和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉布景为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理布景的声音。在一些SR布景中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。

SR的一个示例是虚拟现实(VR)。VR布景是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟布景。VR布景包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的布景内模拟个体动作的子集和/或通过对个体或其在计算机创建的布景内的存在的模拟，来与VR布景中的虚拟对象进行交互和/或感知VR布景中的虚拟对象。

SR的另一个示例是混合现实(MR)。MR布景是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景。在现实谱系上，混合现实布景介于一端的VR布景和另一端的完全物理布景之间并且不包括这些布景。

在一些MR布景中，计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外，用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

混合现实的一个示例是增强现实(AR)。AR布景是指至少一个虚拟对象叠加在物理布景或其表示之上的模拟布景。例如，电子系统可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理布景的图像或视频，这些图像或视频是物理布景的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用系统经由物理布景的图像或视频间接地查看物理布景，并且观察叠加在物理布景之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理布景的图像，并且使用那些图像在不透明显示器上呈现AR布景时，所显示的图像被称为视频透传。另选地，用于显示AR布景的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理布景。该系统可在透明或半透明显示器上显示虚拟对象，使得个体使用该系统观察叠加在物理布景之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理布景中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该系统观察叠加在物理布景之上的虚拟对象。

增强现实布景也可指其中物理布景的表示被计算机创建的感官信息改变的模拟布景。例如，物理布景的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理布景的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。

混合现实的另一个示例是增强虚拟(AV)。AV布景是指计算机创建布景或虚拟布景并入来自物理布景的至少一个感官输入的模拟布景。来自物理布景的一个或多个感官输入可为物理布景的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理布景中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。

许多电子系统使得个体能够与各种SR布景进行交互和/或感知各种SR布景。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地，头戴式系统可以被设计为接收外部显示器(例如，智能电话)。头戴式系统可具有分别用于拍摄物理布景的图像/视频和/或捕获物理布景的音频的一个或多个成像传感器和/或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影系统还可将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。

为了呈现包括根据一个或多个模型随时间演变的资产的SR环境，可能需要大量计算。因此，为了改善用户的SR体验，本文所公开的各种具体实施从多个模型中选择模型以便减少计算负担。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A是根据一些具体实施的示例性操作架构的框图。

图1B是根据一些具体实施的示例性操作架构的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性HMD的框图。

图4例示了场景连同勘测场景的电子设备。

图5A至图5H例示了图4的电子设备的显示器的一部分，该显示器显示包括SR环境的场景的表示的图像。

图6示出了根据一些具体实施的环境状态。

图7示出了根据一些具体实施的环境状态生成器的框图。

图8是根据一些具体实施的生成SR环境的环境状态的方法的流程图表示。

图9是根据一些具体实施的生成SR环境的环境状态的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于生成SR环境的环境状态的设备、系统和方法。在各种具体实施中，该方法是在具有一个或多个处理器和非暂态存储器的设备处执行的。该方法包括获取SR环境的与第一环境时间相关联的第一环境状态，其中第一环境状态指示在SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态。该方法包括根据第一模型并基于第一环境状态确定与第二环境时间相关联的第二环境状态。该方法包括接收指示从第二环境时间到第三环境时间的时间步长的输入，其中该时间步长不同于第一环境时间和第二环境时间之间的差值。该方法包括根据不同于第一模型的第二模型并且基于第二环境状态确定与第三环境时间相关联的第三环境状态。

本文所公开的各种具体实施包括用于根据所选择的模型生成SR环境的环境状态的设备、系统和方法。在各种具体实施中，该方法是在具有一个或多个处理器和非暂态存储器的设备处执行的。该方法包括获取SR环境的与第一环境时间相关联的第一环境状态，其中第一环境状态指示在SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态。该方法包括确定从第一环境时间到第二环境时间的时间步长。该方法包括基于该时间步长从多个不同模型中选择模型。该方法包括根据所选择的模型来确定SR环境的与第二环境时间相关联的第二环境状态。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

在各种具体实施中，设备勘测场景并在场景内呈现SR环境，SR环境包括随时间演变(例如，改变位置或年龄)的一个或多个资产。在各个时标对此类SR环境建模可能是计算密集型的，特别是当在较大时标上对SR环境建模时。因此，在各种具体实施中，当以不同时标呈现SR环境时，使用不同的模型来确定SR环境的环境状态。

图1A是根据一些具体实施的示例性操作架构100A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100A包括电子设备120A。

在一些具体实施中，电子设备120A被配置为向用户呈现SR内容。在一些具体实施中，电子设备120A包括软件、固件和/或硬件的合适组合。根据一些具体实施，在用户物理地存在于实体环境103内时，电子设备120A经由显示器122向用户呈现SR内容，该实体环境包括位于电子设备120A的视场111内的桌子107。因此，在一些具体实施中，用户将电子设备120A握在他/她的手中。在一些具体实施中，在提供增强现实(AR)内容时，电子设备120A被配置为显示AR对象(例如，AR立方体109)并实现在显示器122上对(例如，包括桌子107的表示117的)实体环境103的视频透传。

图1B是根据一些具体实施的示例性操作架构100B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100B包括控制器110和头戴式设备(HMD)120B。

在一些具体实施中，控制器110被配置为管理和协调针对用户的SR呈现。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于场景105处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与HMD 120B通信耦接。又如，控制器110被包括在HMD 120B的外壳内。

在一些具体实施中，HMD 120B被配置为向用户呈现SR内容。在一些具体实施中，HMD 120B包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述了HMD 120B。在一些具体实施中，控制器110的功能由HMD 120B提供和/或与HMD 120B结合。

根据一些具体实施，当用户虚拟地和/或物理地存在于场景105内时，HMD 120B向用户呈现SR内容。

在一些具体实施中，用户将HMD 120B戴在他/她头上。因此，HMD120B包括被提供用于显示SR内容的一个或多个SR显示器。例如，在各种具体实施中，HMD 120B包围用户的视场。在一些具体实施中，诸如在图1A中，使用被配置为呈现SR内容的手持设备(诸如智能电话或平板电脑)代替HMD 120B，并且用户不再佩戴HMD 120B而是手持该设备，使显示器朝向用户的视场，并且使相机朝向场景105。在一些具体实施中，手持设备可被放置在可被佩戴在使用者的头部的外壳内。在一些具体实施中，用被配置为呈现SR内容的SR舱、外壳或室替代HMD 120B，其中用户不再佩戴或手持HMD 120B。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和SR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR体验模块240被配置为管理和协调一个或多个用户的单重或多重SR体验(例如，一个或多个用户的单重SR体验，或一个或多个用户的相应群组的多重SR体验)。为此，在各种具体实施中，SR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些具体实施中，数据获得单元242被配置为至少从图1B的HMD120B获得数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元242包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，跟踪单元244被配置为映射场景105并且跟踪至少HMD 120B相对于图1B的场景105的位置/定位。为此，在各种具体实施中，跟踪单元244包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，协调单元246被配置为管理和协调由HMD 120B向用户呈现的SR体验。为此，在各种具体实施中，协调单元246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元248被配置为至少向HMD 120B传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取单元242、跟踪单元244、协调单元246和数据传输单元248的任何组合可位于单独计算设备中。

此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的HMD 120B的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，HMD 120B包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE802.3x、IEEE802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个SR显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个SR显示器312被配置为向用户提供SR体验。在一些具体实施中，一个或多个SR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似的显示器类型。在一些具体实施中，一个或多个SR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120B包括单个SR显示器。在另一示例中，HMD 120B包括针对用户的每只眼睛的SR显示器。在一些具体实施中，一个或多个SR显示器312能够呈现MR和VR内容。

在一些具体实施中，一个或多个图像传感器314被配置为获取对应于用户面部的至少一部分(包括用户的眼睛)的图像数据(因而可称为眼睛跟踪相机)。在一些具体实施中，一个或多个图像传感器314被配置成面向前方，以便获取与当不存在HMD 120B时用户会看到的场景对应的图像数据(因而可以被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作系统330和SR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR呈现模块340被配置为经由一个或多个SR显示器312向用户呈现SR内容。为此，在各种具体实施中，SR呈现模块340包括数据获取单元342、SR呈现单元344、SR环境单元346和数据传输单元348。

在一些具体实施中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元342包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，SR呈现单元344被配置为经由一个或多个SR显示器312呈现SR内容。为此，在各种具体实施中，SR呈现单元344包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，SR环境单元346被配置为生成SR环境的一个或多个环境状态。为此，在各种具体实施中，SR环境单元346包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元348被配置为至少向控制器110传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元348包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元342、SR呈现单元344、SR环境单元346和数据传输单元348被示为驻留在单个设备(例如，图1B的HMD 120B)上，但应当理解，在其他具体实施中，数据获取单元342、SR呈现单元344、SR环境单元346和数据传输单元348的任何组合可位于分开的计算设备中。

此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4例示了场景405连同勘测场景405的电子设备410。场景405包括桌子408和墙壁407。

电子设备410在显示器上显示场景415的表示，包括桌子418的表示和墙壁417的表示。在各种具体实施中，基于用电子设备410的场景相机捕获的场景的图像来生成场景415的表示，该场景相机具有朝向场景405的视场。场景415的表示还包括显示在桌子418的表示上的SR环境409。

当电子设备410围绕场景405移动时，场景415的表示根据电子设备410的视角变化而改变。此外，SR环境409根据电子设备410的视角变化相应地改变。因此，当电子设备410移动时，SR环境409相对于桌子418的表示以固定关系出现。

图5A例示了电子设备410的显示器的一部分，该显示器显示包括SR环境409的场景415的表示的第一图像500A。在图5A中，SR环境409由第一环境状态限定并且与第一环境时间(例如，1)相关联。第一环境状态指示在SR环境409中包括一个或多个资产，并且还指示一个或多个资产的一个或多个状态。在各种具体实施中，环境状态是数据对象，诸如XML文件。

因此，在第一图像500A中显示的SR环境409包括由第一环境状态限定的多个资产。在图5A中，SR环境409包括具有第一高度591的第一树511和具有第二高度592的第二树512。SR环境409包括在第一位置581处的第一松鼠521和在第二位置582处的第二松鼠522。SR环境包括第一橡子531。

第一环境状态指示包括第一树511并且限定第一树511的一个或多个状态。例如，第一环境状态指示第一树511的第一年龄和第一树511的第一位置。第一环境状态指示包括第二树512并限定第二树512的一个或多个状态。例如，第一环境状态指示第二树512的第一年龄和第二树512的第一位置。

第一环境状态指示包括第一松鼠521并限定第一松鼠521的一个或多个状态。例如，第一环境状态指示第一松鼠521的第一年龄、第一松鼠521的第一位置、以及第一松鼠521的第一运动矢量，该第一运动矢量指示第一松鼠521正朝向第一橡子531移动。第一环境状态指示包括第二松鼠522并且限定第二松鼠522的一个或多个状态。例如，第一环境状态指示第二松鼠522的第一年龄、第二松鼠522的第一位置、以及第二松鼠522的第一运动矢量，该第一运动矢量指示第二松鼠522正朝向第二树512移动。

第一环境状态指示包括第一橡子531并限定第一橡子531的一个或多个状态。例如，第一环境状态指示第一橡子531的第一位置和第一橡子531的第一握持状态，该第一握持状态指示第一橡子531不被松鼠握持。

第一图像500A还包括时间指示器540和多个时标示能表示551-554。多个时标示能表示551-554包括暂停示能表示551、播放示能表示552、快速播放示能表示553和更快速播放示能表示554。在图5A中，时间指示器540指示SR环境409的当前时间为1。此外，暂停示能表示551当前被选择(如由不同的显示方式所指示的)。

图5B示出了响应于对播放示能表示552的用户选择并且在帧时间(例如，显示帧速率的倒数)之后显示包括SR环境409的场景415的表示的第二图像500B的电子设备410的显示器的一部分。在图5B中，时间指示器540指示SR环境409的当前时间为2(例如，与图5A相比，第一时间步长为1)。在图5B中，播放示能表示552当前被选择(如不同的显示方式所示)。

在图5B中，SR环境409由第二环境状态限定并且与第二环境时间(例如，2)相关联。在各种具体实施中，根据第一模型并基于第一环境状态生成第二环境状态。

在各种具体实施中，根据第一模型确定第二环境状态包括通过将第一时间步长(例如，1)添加到第一树511的第一年龄来确定第一树511的第二年龄，通过将第一时间步长添加到第二树512的第一年龄来确定第二树512的第二年龄，通过将第一时间步长添加到第一松鼠521的第一年龄来确定第一松鼠521的第二年龄，并且通过将第一时间步长添加到第二松鼠522的第一年龄来确定第二松鼠522的第二年龄。

在各种具体实施中，根据第一模型确定第二环境状态包括通过复制第一树511的第一位置来确定第一树511的第二位置，并且通过复制第二树512的第一位置来确定第二树512的第二位置。因此，第一模型指示第一树511和第二树512(例如，具有资产类型“树”的资产)不改变位置。

在各种具体实施中，根据第一模型确定第二环境状态包括通过根据第一松鼠521的第一运动矢量调节第一松鼠521的第一位置来确定第一松鼠521的第二位置，以及通过根据第二松鼠522的第一运动矢量调节第二松鼠522的第一位置来确定第二松鼠522的第二位置。因此，第一模型指示第一松鼠521和第二松鼠522(例如，具有资产类型“动物”的资产)根据运动矢量改变位置。

在各种具体实施中，根据第一模型确定第二环境状态包括基于其他资产与第一松鼠521的第二位置的接近度来确定第一松鼠521的第二运动矢量，以及基于其他资产与第二松鼠522的第二位置的接近度来确定第二松鼠522的第二运动矢量。例如，第一模型指示第一松鼠521和第二松鼠522(例如，具有资产类型“动物”和资产子类型“松鼠”的资产)具有将其引导至附近资产(例如，树、橡子或其他松鼠)的运动矢量。

在各种具体实施中，确定第二环境状态包括基于第一橡子531的第一位置和第一橡子531的第一握持状态来确定第一橡子531的第二位置。例如，第一模型指示第一橡子531(例如，具有资产类型“橡子”的资产)在握持状态指示第一橡子531不被握持时不改变位置，但是根据正握保第一橡子531的资产(例如，松鼠)的位置变化而改变。

在各种具体实施中，确定第二环境状态包括基于第一橡子531的第二位置和第一松鼠521的第二位置以及第二松鼠522的第二位置来确定第一橡子531的第二握持状态。例如，第一模型指示第一橡子531(例如，具有资产类型“橡子”的资产)在具有资产类型“动物”和资产子类型“松鼠”的特定资产与第一橡子531位于相同位置时改变其握持状态，以指示其正被该特定资产握持。

因此，在图5B中，与图5A相比，第一松鼠521已移动到更靠近第一橡子531的第三位置583，并且第二松鼠522已移动到更靠近第二树512的位置。

图5C例示了电子设备410的显示器的一部分，该显示器显示在另一帧时间之后包括SR环境409的场景415的表示的第三图像500C。在图5C中，时间指示器540指示SR环境409的当前时间为3(例如，与图5B相比，第一时间步长为1)。在图5C中，播放示能表示552保持被选择(如不同的显示方式所示)。

在图5C中，SR环境409由第三环境状态限定并且与第三环境时间相关联。在各种具体实施中，根据第一模型并基于第二环境状态生成第三环境状态。

在各种具体实施中，根据第一模型确定第三环境状态包括通过将第一时间步长(例如，1)添加到第一树511的第二年龄来确定第一树511的第三年龄，通过将第一时间步长添加到第二树512的第二年龄来确定第二树512的第三年龄，通过将第一时间步长添加到第一松鼠521的第二年龄来确定第一松鼠521的第三年龄，以及通过将第一时间步长添加到第二松鼠522的第二年龄来确定第二松鼠522的第三年龄。

在各种具体实施中，根据第一模型确定第三环境状态包括通过复制第一树511的第二位置来确定第一树511的第二位置，并且通过复制第二树512的第二位置来确定第二树512的第三位置。因此，第一模型指示第一树511和第二树512(例如，具有资产类型“树”的资产)不改变位置。

在各种具体实施中，根据第一模型确定第三环境状态包括通过根据第一松鼠521的第二运动矢量调节第一松鼠521的第二位置来确定第一松鼠521的第三位置，以及通过根据第二松鼠522的第二运动矢量调节第二松鼠522的第二位置来确定第二松鼠522的第三位置。因此，第一模型指示第一松鼠521和第二松鼠522(例如，具有资产类型“动物”的资产)根据运动矢量改变位置。

在各种具体实施中，根据第一模型确定第三环境状态包括基于其他资产与第一松鼠521的第三位置的接近度来确定第一松鼠521的第三运动矢量，以及基于其他资产与第二松鼠522的第三位置的接近度来确定第二松鼠522的第三运动矢量。例如，第一模型指示第一松鼠521和第二松鼠522(例如，具有资产类型“动物”和资产子类型“松鼠”的资产)具有将其引导至附近资产(例如，树、橡子或其他松鼠)的运动矢量。

在各种具体实施中，确定第三环境状态包括基于第一橡子531的第二位置和第一橡子531的第二握持状态来确定第一橡子531的第三位置。例如，第一模型指示第一橡子531(例如，具有资产类型“橡子”的资产)在握持状态指示第一橡子531不被握持时不改变位置，但是根据正握保第一橡子531的资产(例如，松鼠)的位置变化而改变。

在各种具体实施中，确定第三环境状态包括基于第一橡子531的第三位置和第一松鼠521的第三位置以及第二松鼠522的第三位置来确定第一橡子531的第三握持状态。因此，第一模型指示第一橡子531(例如，具有资产类型“橡子”的资产)在具有资产类型“动物”和资产子类型“松鼠”的特定资产与第一橡子531位于相同位置时改变其握持状态，以指示其正被该特定资产握持。

在各种具体实施中，确定第三环境状态包括确定资产产生新资产。例如，在各种具体实施中，第一模型指示具有资产类型“树”的资产具有产生具有资产类型“橡子”的资产的概率(这可基于资产的当前年龄)。

在各种具体实施中，确定第三环境状态包括确定资产到期。例如，在各种具体实施中，第一模型指示具有资产类型“松鼠”的资产在资产的年龄达到阈值时到期。又如，在各种具体实施中，第一模型指示具有资产类型“树”的资产具有到期的概率(这可基于资产的当前年龄)。

在图5C中，与图5B相比，第一松鼠521已将位置移动到第一橡子531的第五位置585，并且第二松鼠522已移动到甚至更靠近第二树512的第六位置。此外，SR环境409包括由第二树512生成的新资产，即第二橡子532。

图5D例示了电子设备410的显示器的一部分，该显示器显示在另一帧时间之后包括SR环境409的场景415的表示的第四图像500D。在图5D中，时间指示器540指示SR环境409的当前时间为4(例如，与图5A相比，时间步长为1)。在图5D中，播放示能表示552保持被选择(如不同的显示方式所示)。

在图5D中，SR环境409由第四环境状态限定并且与第四环境时间相关联。在各种具体实施中，根据第一模型并基于第三环境状态生成第四环境状态。在各种具体实施中，如上文相对于根据第一模型并基于第二环境状态确定第三环境状态所述地来执行根据第一模型并基于第三环境状态确定第四环境状态。

在图5D中，与图5C相比，第一松鼠521(握持第一橡子531)已经将位置从第一树511移动得更远，并且第二松鼠522已经移动到更靠近第二橡子532的第七位置587。

图5E示出了响应于对快速播放示能表示553的用户选择并且在帧时间之后显示包括SR环境409的场景415的表示的第五图像500E的电子设备410的显示器的一部分。在图5E中，时间指示器540指示SR环境409的当前时间为1,000,004(例如，与图5D相比，第二时间步长为1,000,000)。在图5E中，快速播放示能表示553当前被选择(如不同的显示方式所示)。

在图5E中，SR环境409由第五环境状态限定并且与第五环境时间相关联。在各种具体实施中，由于第四环境时间和第五环境时间之间的第二时间步长比例如第一环境时间和第二环境时间之间的第一时间步长长得多，因此根据不同于第一模型的第二模型并且基于第四环境状态来生成第五环境状态。

具体地讲，不是根据应用第一模型一百万次来确定第五环境状态，而是根据应用第二模型一次来生成第五环境状态。

在各种具体实施中，第二模型比第一模型在计算上更高效。在这样的长时间段之后，第四环境状态的某些资产的某些状态可能不可用于确定第五环境状态的对应状态。例如，在第一模型中使用第一松鼠521在第一环境状态中的位置来确定第一松鼠521在第二环境状态中的位置，而第一松鼠521在第四环境状态中的位置不用于确定第一松鼠521在第五环境状态中的位置，因此第二模型比第一模型在计算上更高效。

在各种具体实施中，根据第二模型确定第五环境状态包括通过将第二时间步长(例如，1,000,000)添加到第一树511的第四年龄来确定第一树511的第五年龄，通过将第二时间步长添加到第二树512的第四年龄来确定第二树512的第五年龄，通过将第二时间步长添加到第一松鼠521的第四年龄来确定第一松鼠521的第五年龄，以及通过将第二时间步长添加到第二松鼠522的第四年龄来确定第二松鼠522的第五年龄。

在各种具体实施中，根据第二模型确定第五环境状态包括通过复制第一树511的第四位置来确定第一树511的第五位置，以及通过复制第二树512的第四位置来确定第二树512的第五位置。因此，第二模型指示第一树511和第二树512(例如，具有资产类型“树”的资产)不改变位置。

在各种具体实施中，根据第二模型确定第五环境状态包括确定第一松鼠521的第五位置以及确定第二松鼠522的第五位置。然而，根据第一模型，第一松鼠521的第五位置和第二松鼠522的第五位置是基于它们各自的第四位置和第四运动矢量来确定，而在各种具体实施中，第一松鼠521的第五位置和第二松鼠522的第五位置是独立于它们各自的第四位置和第四运动矢量来确定的。例如，在各种具体实施中，确定第一松鼠521的第五位置和确定第二松鼠522的第五位置包括随机选择SR环境的位置。在一些实施方案中，基于SR环境上的均匀分布来选择相应的第五位置。在一些实施方案中，基于概率分布(其可基于其他资产的存在)来选择相应第五位置。例如，在一些实施方案中，第一松鼠521和第二松鼠522更可能定位成更靠近其他资产。

如上所述，在各种具体实施中，根据第一模型确定环境状态包括确定第一松鼠521和第二松鼠522的运动矢量。然而，也如上所述，在各种具体实施中，第一松鼠521和第二松鼠522的位置是独立于它们各自的运动矢量来确定的。因此，在各种具体实施中，确定第五环境状态不包括确定第一松鼠521和第二松鼠522的运动矢量。在各种具体实施中，确定第五环境状态包括将运动矢量确定为虚设值或默认值。因此，在各种具体实施中，确定第五环境状态包括独立于其他资产与松鼠的位置的接近度来确定运动矢量。

如上所述，在各种具体实施中，根据第一模型确定环境状态包括确定具有资产类型“橡子”的资产的位置和/或握持状态。相比之下，在各种具体实施中，根据第二模型确定第五环境状态包括移除资产类型“橡子”的资产，以及潜在地基于具有资产类型“树”的资产的数量(以及它们各自产生具有资产类型“橡子”的资产的概率)用资产类型“橡子”的新资产替换它们。

因此，在图5E中，与图5D相比，第一松鼠521和第二松鼠522已完全改变位置，第二树512已生长得更高至第三高度593，第一橡子531和第二橡子532已消失，并且第三橡子533已出现。

图5F例示了电子设备410的显示器的一部分，该显示器显示在另一帧时间之后包括SR环境409的场景415的表示的第六图像500F。在图5F中，时间指示器540指示SR环境409的当前时间为2,000,004(例如，与图5E相比，时间步长为1,000,000)。在图5F中，快速播放示能表示553保持被选择(如不同的显示方式所示)。

在图5F中，SR环境409由第六环境状态限定并且与第六环境时间相关联。在各种具体实施中，根据第二模型并基于第五环境状态生成第六环境状态。在各种具体实施中，如上文相对于根据第二模型并基于第四环境状态确定第五环境状态所述地来执行根据第二模型并基于第五环境状态确定第六环境状态。

在图5F中，与图5E相比，第一松鼠521和第二松鼠再次完全改变了位置，第二树512再次生长得更高至第四高度594，并且第三橡子533已消失。

图5G示出了响应于对更快速播放示能表示553的用户选择在帧时间之后显示包括SR环境409的场景415的表示的第七图像500G的电子设备410的显示器的一部分。在图5G中，时间指示器540指示SR环境409的当前时间为10,002,000,004(例如，与图5F相比，第三时间步长为10,000,000,000)。在图5G中，更快速播放示能表示554当前被选择(如不同的显示方式所示)。

在图5G中，SR环境409由第七环境状态限定并且与第七环境时间相关联。在各种具体实施中，由于第六环境时间和第七环境时间之间的第三时间步长比例如第四环境时间和第五环境时间之间的第二时间步长长得多，因此根据不同于第二模型的第三模型并且基于第六环境状态来生成第七环境状态。

具体地讲，不是根据应用第一模型百亿次(或应用第二模型万次)来确定第七环境状态，而是根据应用第三模型一次来生成第五环境状态。

在各种具体实施中，第三模型比第二模型在计算上更高效。在这样的长时间段之后，第六环境状态的某些资产的某些状态可能不可用于确定第五环境状态。例如，在第二模型中使用第四环境状态中第二树512的年龄来确定第五环境状态中第二树512的年龄，而第三模型不使用所有资产的年龄和位置。相反，基于树、橡子和松鼠的数量，第三模型基于第七环境时间时树、橡子和松鼠的预期数量生成新资产，并在位置和年龄上对其进行随机分布。

在图5G中，与图5F相比，第一松鼠521和第二松鼠522已被第三松鼠523和第四松鼠524替换；第一树511和第二树512已被第三树513、第四树514和第五树515替换；并且第四橡子534已出现。

图5H例示了电子设备410的显示器的一部分，该显示器显示在另一帧时间之后包括SR环境409的场景415的表示的第八图像500H。在图5H中，时间指示器540指示SR环境409的当前时间为20,002,000,004(例如，与图5G相比，第三时间步长为10,000,000,000)。在图5H中，更快速播放示能表示554保持被选择(如不同的显示方式所示)。

在图5H中，SR环境409由第八环境状态限定并且与第八环境时间相关联。在各种具体实施中，根据第三模型并基于第七环境状态生成第八环境状态。在各种具体实施中，如上文相对于根据第三模型并基于第六环境状态确定第七环境状态所述地来执行根据第三模型并基于第七环境状态确定第八环境状态。

在图5H中，与图5G相比，第三松鼠523和第四松鼠524已被第五松鼠525、第六松鼠526、和第七松鼠527替换；第三树513、第四树514和第五树515已经被第六树516、第七树517、第八树518和第九树519替换；并且第四橡子534已被第五橡子535和第六橡子536替换。

在各种具体实施中，基于树、橡子和松鼠的数量，第三模型生成指示资产在环境时间存在于每个位置处的可能性的资产分布，而不是基于该环境时间时树、橡子和松鼠的预期数量生成新资产。将资产分布例如显示为云就表示资产类型在该环境时间的群集密度。

图5I例示了电子设备410的显示器的一部分，该显示器以资产分布显示包括SR环境409的场景415的表示的第九图像500I。在图5I中，时间指示器540指示SR环境409的当前时间为20,002,000,004(例如，与图5G相比，第三时间步长为10,000,000,000)。在图5I中，更快速播放示能表示554保持被选择(如不同的显示方式所示)。

在图5I中，与图5H相比，不显示第五松鼠525、第六松鼠526和第七松鼠527。相反，显示松鼠分布561，指示在第八环境时间在相应位置处存在松鼠的可能性。

图6示出了根据一些具体实施的环境状态600。在各种具体实施中，环境状态600是数据对象，诸如XML文件。环境状态600指示在SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态。

环境状态600包括指示与环境状态相关联的环境时间的时间字段610。

环境状态600包括资产字段620，该资产字段包括与SR环境的相应资产相关联的多个单独资产字段630和640。虽然图6仅示出了两个资产，但应当理解，资产字段620可包括任何数量的资产字段。

资产字段620包括第一资产字段630。第一资产字段630包括第一资产标识符字段631，其包括第一资产的资产标识符。在各种具体实施中，资产标识符包括唯一编号。在各种具体实施中，资产标识符包括资产的名称。

第一资产字段630包括第一资产类型字段632，其包括指示第一资产的资产类型的数据。第一资产字段630包括可选资产子类型字段633，其包括指示第一资产的资产类型的资产子类型的数据。

第一资产字段630包括具有多个第一资产状态字段635A和635B的第一资产状态字段634。在各种具体实施中，资产状态字段634是基于第一资产的资产类型和/或资产子类型。例如，当资产类型是“树”时，资产状态字段634包括资产位置字段635A以及资产年龄字段635B，该资产位置字段包括指示资产在SR环境中的位置的数据，该资产年龄字段包括指示资产的年龄的数据。又如，当资产类型为“动物”时，资产状态字段634包括资产运动矢量字段，该资产运动矢量字段包括指示资产的运动矢量的数据。又如，当资产类型为“橡子”时，资产状态字段634包括资产握持状态字段，该资产握持状态字段包括指示哪个其他资产(如果有的话)正握持该资产的数据。又如，当资产类型是“天气”时，资产状态字段634包括资产温度字段、资产湿度字段、和/或资产降雨字段，该资产温度字段包括指示SR环境的温度的数据，该资产湿度字段包括指示SR环境的湿度的数据，该资产降雨字段包括指示SR环境的降雨条件的数据。

资产字段620包括第二资产字段640。第二资产字段640包括第二资产标识符字段640，其包括第二资产的资产标识符。第二资产字段630包括第二资产类型字段642，其包括指示第二资产的资产类型的数据。第二资产字段642包括可选资产子类型字段643，其包括指示第二资产的资产类型的资产子类型的数据。

第二资产字段640包括第二资产状态字段643，其包括多个第二资产状态字段645A和645B。在各种具体实施中，资产状态字段644是基于第二资产的资产类型和/或资产子类型。

图7示出了根据一些具体实施的环境状态生成器750的框图。环境状态生成器750接收与第一环境时间相关联的第一环境状态710和时间步长715作为输入。环境状态生成器750生成与第二环境时间相关联的第二环境状态720作为输出，该第二环境时间等于以时间步长715递增第一环境时间。

环境状态生成器750包括多个模型752A-752C，该多个模型752A-752C包括并联连接在复用器751和解复用器753之间的第一模型752A、第二模型752B和第三模型752C。环境状态生成器750包括模型选择器755，该模型选择器基于时间步长715来控制复用器751和解复用器753。

当时间步长715为第一值(或在第一值范围内)时，模型选择器755控制复用器751和解复用器753将第一环境状态710和时间步长715馈送到第一模型752A以生成第二环境状态720。当时间步长715为第二值(或在第二值范围内)时，模型选择器755控制复用器751和解复用器753将第一环境状态710和时间步长715馈送到第二模型752B以生成第二环境状态720。当时间步长715为第三值(或在第三值范围内)时，模型选择器755控制复用器751和解复用器753将第一环境状态710和时间步长715馈送到第三模型752C以生成第二环境状态720。

因此，每个模型752A至752C在被模型选择器755选择时接收第一环境状态710和时间步长715并且生成第二环境状态720。在各种具体实施中，每个模型752A至752C包括用于生成第二环境状态720的相应启发法和元数据。

图8是根据一些具体实施的生成SR环境的环境状态的方法800的流程图表示。在各种具体实施中，方法800由具有一个或多个处理器、非暂态存储器和相机的设备(例如，图3中的HMD 120B或者图4中的电子设备410)来执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行(例如，图7中的环境状态生成器750)。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。简而言之，在一些情况下，方法800包括获取SR环境的与第一环境时间相关联的第一环境状态和时间步长，基于时间步长从多个模型中选择模型，以及将所选择的模型应用于第一环境状态以生成与第二环境时间相关联的第二环境状态。

方法800在框810处开始，其中该设备获取SR环境的与第一环境时间相关联的第一环境状态，其中第一环境状态指示在SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态。在各种具体实施中，方法800包括在第一时间(例如，第一实时)显示具有第一环境状态的SR环境。

在各种具体实施中，环境状态是数据对象，诸如XML文件。在各种具体实施中，第一环境状态被手动编程。在各种具体实施中，通过将模型应用于先前环境状态来生成第一环境状态。

在框820处，方法800继续，其中设备获取从第一环境时间到第二环境时间的时间步长。在各种具体实施中，时间步长被手动编程。在各种具体实施中，基于用户与分别与一个或多个时间步长相关联的一个或多个时标示能表示的交互来确定时间步长。

方法800在框830处继续，其中设备基于时间步长从多个不同的模型中选择模型。在各种具体实施中，响应于获得具有第一值(或在第一值范围内)的时间步长，设备选择第一模型，并且响应于获得具有第二值(或在第二值范围内)的时间步长，设备选择不同于第一模型的第二模型。在各种具体实施中，第二模型比第一模型在计算上更高效。

方法800在框840处继续，其中该设备根据所选择的模型确定SR环境的与第二环境时间相关联的第二环境状态。在各种具体实施中，方法800包括在第二时间(例如，第二实时)显示具有第二环境状态的SR环境。

在各种具体实施中，(在框840处)根据所选择的模型确定第二环境状态包括根据(在框830处)对第一模型的选择，基于第一环境状态的资产状态的第一值来确定第二环境状态的资产状态的第二值。例如，如上文相对于图5C所述，确定第三环境状态包括基于第一松鼠521的第二位置和第一松鼠521的第二运动矢量来确定第一松鼠521的第三位置。在各种具体实施中，(在框840处)根据所选择的模型确定第二环境状态包括根据(在框830处)对第二模型的选择，独立于第一环境状态的资产状态的第一值来确定第二环境状态的该资产状态的第二值。例如，如上文相对于图5E所述，确定第五环境状态包括独立于第一松鼠521的第四位置和第一松鼠521的第四运动矢量来确定第一松鼠521的第五位置。

在各种具体实施中，(在框840处)根据所选择的模型确定第二环境状态包括根据(在框830处)对第一模型的选择，基于第一环境状态来确定第二环境状态的资产状态的第二值。例如，如上文相对于图5C所述，确定第三环境状态包括基于第一松鼠521的第三位置与其他资产的第三位置的接近度(这基于其第二环境状态的第二位置)来确定第一松鼠521的第三运动矢量。在各种具体实施中，(在框840处)根据所选择的模型确定第二环境状态包括根据(在框830处)对第二模型的选择，放弃基于第一环境状态确定第二环境状态的该资产状态的第二值。例如，如上文相对于图5E所述，确定第五环境状态不包括确定第一松鼠521的第五运动矢量。

在各种具体实施中，(在框840处)根据所选择的模型确定第二环境状态包括根据(在框830处)对第一模型的选择，基于第一环境状态的资产状态的第一值来确定第二环境状态的资产状态的第二值。例如，如上文相对于图5E所述，确定第五环境状态包括基于第一树511的第四位置来确定第一树511的第五位置。在各种具体实施中，(在框840处)根据所选择的模型确定第二环境状态包括根据(在框830处)对第二模型的选择，从第二环境状态中排除具有该资产状态的资产。例如，如上文相对于图5G所述，确定第七环境状态包括移除第一树511。

在各种具体实施中，(在框840处)根据所选择的模型确定第二环境状态包括根据(在框830处)对第二模型的选择，基于第一环境状态中具有相应资产类型的资产的数量而包括具有与具有该资产状态的资产相同资产类型的一个或多个新资产。例如，如上文相对于图5G所述，确定第七环境状态包括基于第六环境状态中树的数量(和松鼠的数量)而添加第三树513、第四树514和第五树515。又如，如上文相对于图5E所述，确定第五环境状态包括基于第五环境状态中树的数量而添加第三橡子533。

图9是根据一些具体实施的生成SR环境的环境状态的方法900的流程图表示。在各种具体实施中，方法900由具有一个或多个处理器、非暂态存储器和相机的设备(例如，图3中的HMD 120B或者图4中的电子设备410)来执行。在一些具体实施中，方法900由处理逻辑部件(包括硬件、固件、软件或其组合)执行(例如，图7中的环境状态生成器750)。在一些具体实施中，方法900由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。简而言之，在一些情况下，方法900包括获取SR环境的与第一环境时间相关联的第一环境状态和时间步长，基于时间步长从多个模型中选择模型，以及将所选择的模型应用于第一环境状态以生成与第二环境时间相关联的第二环境状态。

方法900在框910处开始，其中该设备获取SR环境的与第一环境时间相关联的第一环境状态，其中第一环境状态指示在SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态。例如，在各种具体实施中，第一环境状态包括指示包括所述一个或多个资产中的第一资产、第一资产的类型、第一资产在SR环境中的相应位置以及第一资产的相应年龄的数据。在各种具体实施中，方法900包括在第一时间显示具有第一环境状态的SR环境。

在各种具体实施中，环境状态是数据对象，诸如XML文件。在各种具体实施中，第一环境状态被手动编程。在各种具体实施中，通过将模型应用于先前环境状态来生成第一环境状态。

方法900在框920处继续，其中该设备根据第一模型并基于第一环境状态确定与第二环境时间相关联的第二环境状态。在各种具体实施中，第二环境状态包括指示包括所述一个或多个资产中的第一资产、第一资产的类型、第一资产在SR环境中的相应位置以及第一资产的相应年龄的数据。在各种具体实施中，方法900包括在第二时间(例如，比第一时间晚的帧时间)显示具有第二环境状态的SR环境。

方法900在框930处继续，其中该设备接收指示从第二环境时间到第三环境时间的时间步长的输入，其中该时间步长不同于第一环境时间和第二环境时间之间的差值。在各种具体实施中，接收指示时间步长的输入包括接收指示选择分别与多个时间步长相关联的多个时标示能表示中的一者的用户输入。例如，在图5E中，用户已选择快速播放示能表示553，并且图5D与图5E之间的时间步长不同于图5C与图5D之间的时间步长。

方法900在框940处继续，其中该设备根据不同于第一模型的第二模型并且基于第二环境状态确定与第三环境时间相关联的第三环境状态。在各种具体实施中，第二模型比第一模型在计算上更高效。在各种具体实施中，第三环境状态包括指示包括所述一个或多个资产中的第一资产、第一资产的类型、第一资产在SR环境中的相应位置以及第一资产的相应年龄的数据。在各种具体实施中，方法900包括在第三时间(例如，比第三时间晚的帧时间)显示具有第三环境状态的SR环境。

在各种具体实施中，(在框920处)根据第一模型确定第二环境状态包括基于第一环境状态的资产状态的第一值来确定第二环境状态的该资产状态的第二值。例如，如上文相对于图5C所述，确定第三环境状态包括基于第一松鼠521的第二位置和第一松鼠521的第二运动矢量来确定第一松鼠521的第三位置。在各种具体实施中，(在框940处)根据第二模型确定第三环境状态包括独立于第二环境状态的该资产状态的第二值来确定第三环境状态的该资产状态的第三值。例如，如上文相对于图5E所述，确定第五环境状态包括独立于第一松鼠521的第四位置和第一松鼠521的第四运动矢量来确定第一松鼠521的第五位置。

在各种具体实施中，(在框920处)根据第一模型确定第二环境状态包括基于第一环境状态来确定第二环境状态的资产状态的第二值。例如，如上文相对于图5C所述，确定第三环境状态包括基于第一松鼠521的第三位置与其他资产的第三位置的接近度(这基于其第二环境状态的第二位置)来确定第一松鼠521的第三运动矢量。在各种具体实施中，(在框940处)根据第二模型确定第二环境状态包括放弃基于第二环境状态确定第三环境状态的该资产状态的第三值。例如，如上文相对于图5E所述，确定第五环境状态不包括确定第一松鼠521的第五运动矢量。

在各种具体实施中，(在框920处)根据第一模型确定第二环境状态包括基于第一环境状态的资产状态的第一值来确定第二环境状态的该资产状态的第二值。例如，如上文相对于图5E所述，确定第五环境状态包括基于第一树511的第四位置来确定第一树511的第五位置。在各种具体实施中，(在框940处)根据第二模型确定第三环境状态包括从第三环境状态中排除具有该资产状态的资产。例如，如上文相对于图5G所述，确定第七环境状态包括移除第一树511。

在各种具体实施中，(在框940处)根据第二模型确定第三环境状态包括基于第二环境状态中具有相应资产类型的资产的数量而包括具有与具有该资产状态的资产相同资产类型的一个或多个新资产。例如，如上文相对于图5G所述，确定第七环境状态包括基于第六环境状态中树的数量(和松鼠的数量)而添加第三树513、第四树514和第五树515。又如，如上文相对于图5E所述，确定第五环境状态包括基于第五环境状态中树的数量而添加第三橡子533。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (30)

1.一种方法，包括：

在包括处理器和非暂态存储器的电子设备处：

获取合成现实(SR)环境的与第一环境时间相关联的第一环境状态，其中所述第一环境状态指示在所述SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态；

根据第一模型并基于所述第一环境状态确定与第二环境时间相关联的第二环境状态；

接收指示从所述第二环境时间到第三环境时间的时间步长的输入，其中所述时间步长不同于所述第一环境时间和所述第二环境时间之间的差值；

根据不同于所述第一模型的第二模型并且基于所述第二环境状态确定与所述第三环境时间相关联的第三环境状态。

2.根据权利要求1所述的方法，其中所述第一环境状态包括XML文件。

3.根据权利要求1或2所述的方法，其中所述第一环境状态、所述第二环境状态和所述第三环境状态包括指示以下各项的数据：

包括所述一个或多个资产中的第一资产；

所述第一资产的类型；

所述第一资产在所述SR环境中的相应位置；和

所述第一资产的相应年龄。

4.根据权利要求1至3中任一项所述的方法，还包括：

在第一时间显示具有所述第一环境状态的所述SR环境；

在比所述第一时间晚一个帧时间的第二时间显示具有所述第二环境状态的所述SR环境；以及

在比所述第二时间晚一个所述帧时间的第三时间显示具有所述第三环境状态的所述SR环境。

5.根据权利要求1至4中任一项所述的方法，其中接收指示所述时间步长的输入包括接收指示选择分别与多个时间步长相关联的多个时标示能表示中的一者的用户输入。

6.根据权利要求1至5中任一项所述的方法，其中所述第二模型比所述第一模型在计算上更高效。

7.根据权利要求1至6中任一项所述的方法，其中：

根据所述第一模型确定所述第二环境状态包括基于所述第一环境状态的资产状态的第一值来确定所述第二环境状态的资产状态的第二值；以及

根据所述第二模型确定所述第三环境状态包括独立于所述第二环境状态的所述资产状态的所述第二值来确定所述第三环境状态的所述资产状态的第三值。

8.根据权利要求1至7中任一项所述的方法，其中：

根据所述第一模型确定所述第二环境状态包括基于所述第一环境状态来确定所述第二环境状态的资产状态的第二值；以及

根据所述第二模型确定所述第三环境状态包括放弃基于所述第二环境状态确定所述第三环境状态的所述资产状态的第三值。

9.根据权利要求1至8中任一项所述的方法，其中：

根据所述第一模型确定所述第二环境状态包括基于所述第一环境状态的资产状态的第一值来确定所述第二环境状态的资产状态的第二值；以及

根据所述第二模型确定所述第三环境状态包括从所述第三环境状态中排除具有所述资产状态的所述资产。

10.根据权利要求9所述的方法，其中根据所述第二模型确定所述第三环境状态包括基于所述第二环境状态中具有相应资产类型的资产的数量而包括具有与具有所述资产状态的所述资产相同资产类型的一个或多个新资产。

11.根据权利要求1至10中任一项所述的方法，其中根据所述第二模型确定所述第三环境状态包括通过将所述时间步长添加到所述第二环境状态的资产状态的第二值来确定所述第三环境状态的资产状态的第三值。

12.一种设备，包括：

一个或多个处理器；

非暂态存储器；和

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序在由所述一个或多个处理器执行时使得所述设备执行权利要求1至11中所述的方法中的任一种方法。

13.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序在由设备的一个或多个处理器执行时使得所述设备执行权利要求1至11中所述的方法中的任一种方法。

14.一种设备，包括：

一个或多个处理器；

非暂态存储器；和

用于使得所述设备执行权利要求1至11中所述的方法中的任一种方法的装置。

15.一种设备，包括：

非暂态存储器；和

一个或多个处理器，所述一个或多个处理器用于：

获取合成现实(SR)环境的与第一环境时间相关联的第一环境状态，其中所述第一环境状态指示在所述SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态；

根据第一模型并基于所述第一环境状态确定与第二环境时间相关联的第二环境状态；

接收指示从所述第二环境时间到第三环境时间的时间步长的输入，其中所述时间步长不同于所述第一环境时间和所述第二环境时间之间的差值；

根据不同于所述第一模型的第二模型并且基于所述第二环境状态确定与所述第三环境时间相关联的第三环境状态。

16.一种方法，包括：

在包括处理器和非暂态存储器的电子设备处：

获取合成现实(SR)环境的与第一环境时间相关联的第一环境状态，其中所述第一环境状态指示在所述SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态；

确定从所述第一环境时间到第二环境时间的时间步长；

基于所述时间步长从多个不同模型中选择模型；

根据所选择的模型来确定所述SR环境的与所述第二环境时间相关联的第二环境状态。

17.根据权利要求16所述的方法，其中所述第一环境状态包括XML文件。

18.根据权利要求16或17所述的方法，其中所述第一环境状态、所述第二环境状态和所述第三环境状态包括指示以下各项的数据：

包括所述一个或多个资产中的第一资产；

所述第一资产的类型；

所述第一资产在所述SR环境中的相应位置；和

所述第一资产的相应年龄。

19.根据权利要求16至18中任一项所述的方法，还包括：

在第一时间显示具有所述第一环境状态的所述SR环境；以及

在比所述第一时间晚的第二时间显示具有所述第二环境状态的所述SR环境。

20.根据权利要求16至19中任一项所述的方法，其中确定所述时间步长包括接收指示选择分别与多个时间步长相关联的多个时标示能表示中的一者的用户输入。

21.根据权利要求16至20中任一项所述的方法，其中所述多个模型中的第二模型比所述多个模型中的第一模型在计算上更高效。

22.根据权利要求16至21中任一项所述的方法，其中：

响应于选择所述多个模型中的第一模型，根据所选择的模型确定所述第二环境状态包括基于所述第一环境状态的资产状态的第一值来确定所述第二环境状态的资产状态的第二值；以及

响应于选择所述多个模型中的第二模型，根据所选择的模型确定所述第二环境状态包括独立于所述第一环境状态的所述资产状态的所述第一值来确定所述第二环境状态的所述资产状态的第二值。

23.根据权利要求16至22中任一项所述的方法，其中：

响应于选择所述多个模型中的第一模型，根据所选择的模型确定所述第二环境状态包括基于所述第一环境状态来确定所述第二环境状态的资产状态的第二值；以及

响应于选择所述多个模型中的第二模型，根据所选择的模型确定所述第二环境状态包括放弃基于所述第一环境状态确定所述第二环境状态的所述资产状态的第二值。

24.根据权利要求16至23中任一项所述的方法，其中：

响应于选择所述多个模型中的第一模型，根据所选择的模型确定所述第二环境状态包括基于所述第一环境状态的资产状态的第一值来确定所述第二环境状态的资产状态的第二值；以及

响应于选择所述多个模型中的第二模型，根据所选择的模型确定所述第二环境状态包括从所述第二环境状态中排除具有所述资产状态的所述资产。

25.根据权利要求24所述的方法，其中响应于选择所述多个模型中的所述第二模型，根据所选择的模型确定所述第二环境状态包括基于所述第一环境状态中具有相应资产类型的资产的数量而包括具有与具有所述资产状态的所述资产相同资产类型的一个或多个新资产。

26.根据权利要求16至25中任一项所述的方法，其中根据所选择的模型确定所述第二环境状态包括通过将所述时间步长添加到所述第一环境状态的资产状态的第一值来确定所述第二环境状态的所述资产状态的第二值。

27.一种设备，包括：

一个或多个处理器；

非暂态存储器；和

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行根据权利要求16至26所述的方法中的任一方法。

28.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由设备的一个或多个处理器执行时使所述设备执行根据权利要求16至26所述的方法中的任一种方法。

29.一种设备，包括：

一个或多个处理器；

非暂态存储器；和

用于使所述设备执行根据权利要求16至26所述的方法中的任一方法的装置。

30.一种设备，包括：

非暂态存储器；和

一个或多个处理器，所述一个或多个处理器用于：

获取合成现实(SR)环境的与第一环境时间相关联的第一环境状态，其中所述第一环境状态指示在所述SR环境中包括一个或多个资产，并且还指示所述一个或多个资产的一个或多个状态；

确定从所述第一环境时间到第二环境时间的时间步长；

基于所述时间步长从多个不同模型中选择模型；

根据所选择的模型来确定所述SR环境的与所述第二环境时间相关联的第二环境状态。

Images