Nothing Special   »   [go: up one dir, main page]

CN111066081B - 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术 - Google Patents

用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术 Download PDF

Info

Publication number
CN111066081B
CN111066081B CN201880058200.9A CN201880058200A CN111066081B CN 111066081 B CN111066081 B CN 111066081B CN 201880058200 A CN201880058200 A CN 201880058200A CN 111066081 B CN111066081 B CN 111066081B
Authority
CN
China
Prior art keywords
image
display device
scanout
motion
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880058200.9A
Other languages
English (en)
Other versions
CN111066081A (zh
Inventor
A·Z·扬
B·M·威尔森
J·A·埃利奥特
M·D·桑迪
M·G·博尔顿
尤扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN111066081A publication Critical patent/CN111066081A/zh
Application granted granted Critical
Publication of CN111066081B publication Critical patent/CN111066081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G09G5/346—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling for systems having a bit-mapped display memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本文中描述的示例总体上涉及在显示设备上显示图像，其中预测在与激活显示设备的第一部分相关联的第一时间和与激活显示设备的第二部分相关联的第二时间之间的等待时间期间的运动。至少部分基于运动和等待时间的函数来使要在第二时间显示的图像的至少第二部分失真以补偿等待时间。通过激活显示设备的第一部分来在第一时间显示图像的第一部分。通过激活显示设备的第二部分来在第二时间显示图像的失真的第二部分。

Description

用于补偿虚拟现实的图像显示中的可变显示设备等待时间的 技术
背景技术
如今，计算设备的使用变得越来越普遍。计算设备的范围从标准台式计算机到可穿戴计算技术等。近年来增长的计算设备的一个领域是虚拟现实(VR)设备，其依赖于图形处理单元(GPU)以基于从计算设备接收的渲染指令来将图形从计算设备渲染到显示设备。在VR设备中，显示器可以具有扫描输出属性，其中显示器的某些部分在显示器的其他部分之前被激活以显示图像的一部分。一种类型的这样的显示器是滚动式扫描输出显示设备，其中显示面板上的各部分被激活以从左到右并且然后从上到下发射光或生成光子，使得在图像的某些部分的显示之间存在延迟，其中从左上角到右下角部分的延迟最大。跨显示面板的不均匀等待时间与人类解释视觉刺激的方式相结合为用户带来了失真感知或不适体验的可能性。
例如，由于VR设备的包围性，其中用户的视觉和体验是由VR设备控制的，而没有来自外界的取向，但是，由于运动期间的相关联的显示等待时间，用户的运动(例如，头部移动)可能会导致将由扫描输出显示设备输出的图像感知发生失真。例如，如果在第一时间示出图像的第一部分并且在第二时间示出图像的第二部分，其中在这两个时间之间存在运动，则图像的第二部分可能看起来与VR设备中的扫描输出显示器上的第一部分相比存在失真。
发明内容
以下给出了一个或多个示例的简化概述以便提供对这样的示例的基本理解。该概述不是所有预期示例的详尽概述，并且既不旨在标识所有示例的关键或重要元素，也不旨在界定任何或所有示例的范围。其唯一目的是以简化的形式呈现一个或多个示例的某些概念，作为稍后呈现的更详细描述的序言。
在一个示例中，提供了一种用于在显示设备上显示图像的方法。该方法包括预测在与激活显示设备的第一部分相关联的第一时间和与激活显示设备的第二部分相关联的第二时间之间的等待时间期间的运动，至少部分基于运动和等待时间的函数来使要在第二时间显示的图像的至少第二部分失真以补偿等待时间，通过激活显示设备的第一部分来在第一时间显示图像的第一部分，以及通过激活显示设备的第二部分来在第二时间显示图像的失真的第二部分。
在另一示例中，提供了一种用于在显示设备上显示图像的计算设备。该计算设备包括：存储用于执行操作系统和一个或多个应用的一个或多个参数或指令的存储器；与显示设备耦合以传送信号以在显示设备上显示图像的显示接口；以及耦合到存储器和显示接口的至少一个处理器。至少一个处理器被配置为预测在与激活显示设备的第一部分相关联的第一时间和与激活显示设备的第二部分相关联的第二时间之间的等待时间期间的运动，至少部分基于运动和等待时间的函数来使要在第二时间显示的图像的至少第二部分失真以补偿等待时间，通过激活显示设备的第一部分来显示图像的第一部分，以及通过激活显示设备的第二部分来在第二时间显示图像的失真的第二部分。
在另一示例中，提供了一种包括由一个或多个处理器可执行以在显示设备上显示图像的代码的计算机可读介质。该代码包括用于以下操作的代码：预测在与激活显示设备的第一部分相关联的第一时间和与激活显示设备的第二部分相关联的第二时间之间的等待时间期间的运动，至少部分基于运动和等待时间的函数来使要在第二时间显示的图像的至少第二部分失真以补偿等待时间，通过激活显示设备的第一部分来在第一时间显示图像的第一部分，以及通过激活显示设备的第二部分来在第二时间显示图像的失真的第二部分。
为了实现前述和相关目的，一个或多个示例包括下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细阐述了一个或多个示例的某些说明性特征。然而，这些特征仅指示可以采用各种示例的原理的各种方式中的几种，并且该描述旨在包括所有这样的示例及其等同物。
附图说明
图1是根据本文中描述的示例的通信地耦合以显示图像的计算设备和显示设备的示例的示意图。
图2是根据本文中描述的示例的用于显示图像的方法的示例的流程图。
图3示出了根据本文中描述的示例的扫描输出显示设备的扫描输出部分的示例的示意图。
图4示出了根据本文中描述的示例的显示的示例的示意图。
图5是用于执行本文中描述的功能的计算设备的示例的示意图。
具体实施方式
以下结合附图阐述的详细描述旨在作为对各种配置的描述，而非旨在表示可以实践本文中描述的概念的唯一配置。详细描述包括具体细节以提供对各种概念的透彻理解。然而，对于本领域技术人员将很清楚的是，可以在没有这些具体细节的情况下实践这些概念。在某些情况下，以框图形式示出了公知的组件，以避免使这些概念模糊。
本文中描述的是与补偿在扫描输出显示设备上显示图像时的显示等待时间相关的各种示例。虚拟现实(VR)设备和/或其他设备可以包括扫描输出显示设备，其中要显示的图像的一部分在与显示图像的其他部分的时间不同的时间呈现在显示面板上(例如，生成显示面板的对应部分中的光子)。在对等待时间敏感的情况下，例如，可以使用显示位置的前向预测和后期重投影来减少系统的感知等待时间。这种前向预测的一个组成部分是了解显示面板从信号输入到光子输出的等待时间。通过当前的显示面板，该等待时间的单个时间值并不总是足以捕获显示器的等待时间的真实性质。例如，在扫描输出显示的情况下，面板顶部的等待时间可以是5ms，而面板底部的等待时间值可以是8ms，其中在其之间具有连续梯度。这种显示器的一些示例可以包括阴极射线管(CRT)类型的显示器、液晶显示器(LCD)面板等。更一般地，显示器可以具有任意的非负等待时间，该等待时间可以与显示器中的每个像素、像素组的集合、包括多个像素的显示器的区域等相关联。然而，在任何情况下，这些等待时间可以是已知的或以其他方式可确定的，并且可以用于使图像失真以解决等待时间和与等待时间相对应的时间段上的预测运动。
因此，例如，可变等待时间意识可以与前向预测技术和后期重投影技术中的一者或两者相结合。在前向预测阶段，可以将面板等待时间信息以及关于面板的当前和历史位置的模型和信息进行组合以提供表示显示设备在空间中的3D变换的一个或多个矩阵，该矩阵可以被提供给渲染系统以使图像失真。在单个变换矩阵的一个示例中，可以选择矩阵使得其反映来自显示器的选择部分(例如，中央)的等待时间。替代地，可以提供多个变换矩阵以解决任意粒度(其例如可以每个像素指示一个矩阵)的整个显示器上的等待时间。在任何一种情况下，系统都可以渲染失真的图像，但是当显示直到显示面板的等待时间特性时并且根据预测运动时，可以将其视为在发生预测运动的情况下基本不失真。
除了前向预测，面板的等待时间特性还可以应用于后期重投影。在该阶段，恰好在将图像信号发射到显示面板之前发生，可以对渲染图像进行重新投影以解决前向预测系统中的不准确性。与前向预测系统一样，关于等待时间在整个面板上如何变化的信息可以用于在整个渲染图像上应用任意变换以便在呈现之前使图像失真。
因此，在一个示例中，在发生影响图像的场景取向的运动的情况下(无论是由于显示设备、用户、显示设备上的图像等导致的，是在图像的显示之前，是在显示图像的同时，等等)，这可能会导致在使用常规显示器时感觉到图像失真。特别地，由于运动，可以期望图像的一部分被显示在其他地方。该预期失真尽管在VR环境中被用户感知，但是可以如所述地在如本文中描述地配置的显示设备中被量化和抵消。例如，可以至少部分基于运动信息结合扫描输出显示设备的属性(诸如扫描输出时间或等待时间、扫描输出大小(例如，滚动式扫描输出窗口的扫描输出宽度)、各种扫描输出部分的扫描输出顺序等、或者更一般地对扫描输出部分和相关联的等待时间的指示))来确定失真，如上面和本文中进一步描述的。在这点上，可以将相反失真应用于图像以在扫描输出显示器上显示(例如，根据指定的扫描输出部分的顺序和等待时间)以抵消原本可以感知的失真，其中相反失真可以是应用于图像的一个或多个变换矩阵的形式。
现在转向图1-4，参考可以执行本文中描述的动作或操作的一个或多个组件以及一种或多种方法来描绘示例，其中以虚线示出的组件和/或动作/操作可以是可选的。尽管下面在图2中描述的操作以特定顺序呈现和/或被呈现为由示例组件执行，但是在一些示例中，取决于实现，动作的顺序和执行动作的组件可以改变。此外，在一些示例中，以下动作、功能和/或所描述的组件中的一个或多个可以由专门编程的处理器、执行专门编程的软件或计算机可读介质的处理器、或者能够执行所描述的动作或功能的硬件组件和/或软件组件的任何其他组合来执行。
图1是计算设备100、显示设备102和/或相关组件的示例的示意图，这些组件可以传送图像数据以在显示设备102上显示图像。例如，显示设备102可以是与计算设备100处于同一壳体180中的内部显示器、在计算设备100外部的显示设备等。另外，例如，显示设备102可以经由显示端口、有线或无线网络连接等耦合到计算设备100。显示设备102可以能够显示二维显示器(诸如桌面)、三维世界等。
例如，计算设备100可以包括处理器104和/或存储器106或者以其他方式与之耦合，其中处理器104和/或存储器106可以被配置为执行或存储与向显示设备102传送图像数据以进行显示相关的指令或其他参数，如本文中描述的。计算设备100可以执行操作系统108(例如，经由处理器104和/或存储器106)以提供用于执行一个或多个应用110的环境，诸如产生或以其他方式获取图像以供显示设备102显示的一个或多个应用110。例如，计算设备100可以包括VR设备，并且另外，一个或多个应用110可以是可操作以引起在VR设备的显示设备102上生成VR图像的一个或多个VR应用。操作系统108还可以包括用于与GPU 114和/或与计算设备100的显示接口116通信(例如，直接地或经由GPU 114)以引起一个或多个图像的渲染以在显示设备102上显示的显示驱动器112。
在一个示例中，显示接口116可以与处理器104和/或存储器106通信地耦合以经由显示端口118与显示设备102通信。如本文中指出的，显示端口118可以包括各种类型的端口中的一种或多种，包括高清多媒体接口(HDMI)端口、显示串行接口(DSI)端口、移动工业处理器接口(MIPI)DSI端口、通用串行总线(USB)端口、火线端口、或者可以允许计算设备100与显示设备102之间的通信的其他嵌入式或外部有线或无线显示端口。
例如，显示设备102可以包括用于基于从显示控制器134接收的信号来显示一个或多个图像的显示面板132。例如，显示面板132可以包括CRT、LCD(其可以包括发光二极管(LED)背光LCD显示器)、有机LED(OLED)显示器、数字光处理(DLP)显示器等。显示设备102可以包括但不限于具有单个显示面板或多个显示面板(两只眼睛中的每只眼睛一个显示面板)以在头戴式显示器上观看的头戴式显示器、监测器、电视、投影仪、或者被配置用于经由嵌入式、外部、或无线显示端口136与计算设备100通信的基本上任何类型的嵌入式、外部、无线等显示器。如上所述，显示控制器134向显示面板132提供信号以引起图像的显示。在一个示例中，显示控制器134可以包括与显示面板132耦合以基于经由显示端口136接收的命令来控制显示面板132显示图像的印刷电路板(PCB)、可编程逻辑控制器(PLC)等。因此，例如，显示控制器134可以是或可以包括被配置用于基于经由显示端口136接收的图像数据(例如，渲染的图像帧)来向显示面板132发送信号的处理器。
在一个示例中，计算设备100可以生成图像数据以提供给显示设备102以在显示面板132上显示一个或多个图像。计算设备100可以相应地使用显示端口118经由显示接口116将图像数据传送给显示设备102以将与图像数据相对应的信号传送给显示端口136以提供给显示控制器134。在一个示例中，操作系统108和/或应用110可以获取或以其他方式生成图像以在显示设备102上显示，并且显示驱动器112可以提供用于将图像渲染到GPU 114(例如，经由显示接口116或以其他方式)的渲染指令。在一个示例中，GPU 114可以是显示接口116的一部分(例如，显示接口116的电路板上的处理器)。在另一示例中，GPU 114、显示接口116等可以与处理器104集成。基本上，硬件的任何组合都是可能的，使得GPU 114、显示接口116等可以经由总线与处理器104通信以支持将来自显示驱动器112的在处理器104上执行(例如，经由操作系统108)的渲染指令提供给GPU 114。GPU 114可以处理渲染指令以渲染图像，并且可以通过经由显示接口116的显示端口118向显示设备102传输相关联的信号来发起图像的至少一部分在显示设备102上的显示。显示设备102可以接收由GPU 114生成的信号，并且显示控制器134可以相应地引起显示面板132基于信号绘制或显示图像。
计算设备100还可以可选地包括用于检测与用于将图像渲染到GPU 114的期望场景取向相关的一个或多个参数的一个或多个传感器120。例如，一个或多个传感器120可以包括相机、加速度计、陀螺仪等以检测计算设备100的位置、操作计算设备100的用户的焦点等。在一个示例中，在这点上使用的相机可以比较在各个时间捕获的图像的特征以确定与计算设备100相关联的位置、取向、移动等。在具体示例中，在计算设备100包括头戴式VR显示器的情况下，一个或多个传感器120可以检测佩戴VR显示器的用户的头部位置以确定虚拟世界中与真实世界中的头部位置相对应的场景取向。在一个示例中，头戴式VR显示器可以包括帮助确定其取向的相机或其他传感器，取向可以用于创建历史运动模型；在该示例中，可以产生预测运动并且将其用作补偿组件144的输入，如本文中进一步描述的。
在一个示例中，显示设备102可以是扫描输出显示设备，其中显示设备102在显示面板132的其他部分之前激活显示面板132的一些部分(例如，发射光或生成光子的一些部分或像素)。在一个示例中，显示设备102可以是滚动式扫描输出显示器，其中首先针对一定的扫描输出宽度从左到右并且然后从上到下激活显示面板132(例如，其中扫描输出宽度可以包括数字或像素组)。在该示例中，显示面板132可以在显示面板132的另一扫描输出部分中显示图像的另一部分之前的时间在显示面板132的第一扫描输出部分中显示图像的第一部分。如上所述，在由显示设备102，通过用户操作显示设备102和/或计算设备100，由正在显示的图像等发生运动的情况下，由于以不同等待时间显示图像的各部分的扫描输出显示设备的属性，这可能导致图像中的可感知失真。可以相应地量化和抵消可感知失真，如本文中描述的。
应用110可以用于例如在虚拟现实或其他第一人称环境中在显示设备102上显示图像。在这点上，应用110(和/或操作系统108)可以包括用于渲染图像以在显示设备102上显示的渲染组件140。在该示例中，要显示的图像可以由应用110和/或操作系统108来生成以显示在显示设备102上，并且在某些情况下可以被过度渲染以解决渲染图像的时间与显示图像的时间之间的预测运动。渲染组件140可以包括运动确定组件142，运动确定组件142用于确定或预测与显示设备102、使用显示设备102和/或计算设备100的用户、正在显示的图像等中的至少一个相关联的运动。渲染组件140还可以包括补偿组件144，补偿组件144用于通过根据运动和一个或多个扫描输出属性146使图像失真(例如，在显示之前，在显示图像期间的一个或多个时间实例等)来补偿显示图像时的等待时间。
例如，一个或多个扫描输出属性146可以对应于显示显示设备102的扫描输出部分之间的等待时间、显示设备102上的不同扫描输出部分的位置、用于在扫描输出部分处进行显示的顺序、扫描输出部分的大小(例如，以像素为单位)、各位置的等待时间等，以便允许确定何时显示图像的各部分，显示设备的扫描输出部分如何对应于图像的各部分，等等。基于该信息，补偿组件144可以根据针对不同等待时间而预测的运动来使图像的各部分失真以校正在观看显示设备102上的图像时由于运动而引起的感知失真。
图2是用于在显示图像时补偿扫描输出显示中的等待时间的方法200的示例的流程图。例如，方法200可以由彼此通信地耦合的计算设备100和/或显示设备102执行，并且因此例如参考图1进行描述。
在方法200中，在动作202处，可以渲染图像以在扫描输出显示设备上显示。在一个示例中，渲染组件140例如与处理器104、存储器106等相结合可以渲染图像以在扫描输出显示设备(例如，显示设备102)上显示。例如，渲染组件140可以从应用110和/或基于用于确定图像的取向的一个或多个参数接收和/或生成图像以供显示。在一个示例中，如上所述，渲染组件140可以至少部分基于应用110中的当前或预测的场景取向来获取图像，这可以至少部分基于与用户相对应的输入。例如，在计算设备100和/或显示设备102是VR设备的一部分的情况下，用户的头部位置(例如，其可以被测量并且被提供为VR设备的位置)可以提供用于确定场景的哪个部分要包括在图像中以供渲染的输入。另外，在一个示例中，渲染组件140可以基于渲染图像的时间与图像在显示设备102上的实际显示之间的头部位置的变化来对图像进行过度渲染以允许图像的重新投影。因此，如果在该时间期间头部位置改变，则可以将过度渲染的图像的不同部分发送给显示设备102以进行显示以解决头部位置的改变。另外，例如，渲染组件140可以过度渲染图像，以尝试确保即使在以下描述的失真动作中一些像素失真离开可见区域，像素也存在于图像的可见区域中。
在任何情况下，例如，可以从渲染组件140确定并且获取要在给定时间显示的图像的部分。在显示设备102是滚动式扫描输出显示器的情况下，显示图像可以包括在激活显示面板132的朝向右下角的另一部分之前顺序地激活显示面板132的朝向左上角的部分。在一个示例中，对于显示面板132的扫描输出宽度，其可以包括从上到下的像素的一部分或其他部分，显示设备102可以在移动到从上到下的扫描输出宽度的像素的下一部分之前从左到右激活像素。但是，其他滚动式扫描输出显示可以在其他方向上滚动(例如，从右到左和/或从下到上)。扫描输出显示和相关联的部分的示例如图3所示。
图3示出了包括作为扫描输出宽度302、304、306的一部分的多个扫描输出部分的滚动式扫描输出显示设备300的示例。例如，设备300可以基本上表示为与显示器上的像素集合相对应的矩形。矩形被示出为在逻辑上划分为具有相同或不同扫描输出宽度的多个段。每个扫描输出宽度302、304、306包括从左到右依次激活的扫描输出宽度中的多个扫描输出部分。另外，在激活给定扫描输出宽度的扫描输出部分之后，依次激活每个扫描输出宽度302、304、306。因此，扫描输出显示设备300激活扫描输出部分1、2、……、直到n，并且然后激活扫描输出部分n+1、n+2、……、直到m，然后激活扫描输出部分m+1、m+2、……、直到p，等等，并且可以在激活最后一个扫描输出宽度的最后一个扫描输出部分之后循环回到1。在这点上，每个扫描输出部分可以具有用于激活的相关联的等待时间，其可以是基于何时显示第一扫描输出部分的等待时间。扫描输出显示设备300可以具有基本上任何粒度的相关联的扫描输出区域。例如，扫描输出部分可以是滚动式扫描输出显示设备300的扫描输出宽度(例如，分别跨越显示设备300的宽度的扫描输出部分302、304、306)，和/或基本上可以包括每个宽度任何数目的部分、每个部分任何数目的宽度等。
图3还示出了具有未按滚动式扫描输出顺序的多个扫描输出部分的另一扫描输出显示设备310的示例。例如，在扫描输出显示设备310中，部分1 312位于中央或以其他方式被扫描输出显示设备的其他部分围绕，而其他扫描输出部分被划分并且围绕部分1 312定位。在该示例中，扫描输出显示设备310可以激活编号部分。如本文中设想的，扫描输出显示设备可以具有扫描输出部分的基本上任何配置，并且实际上，在一些示例中，一些部分可以在显示面板132的不同部分处并行地激活。在任何情况下，可以确定扫描输出显示设备的扫描输出部分、以及与显示每个扫描输出部分相关联的至少相对等待时间。因此，显示接口116可以确定何时将图像的某些部分在扫描输出中显示在显示设备102上。例如，在动作204处，可以通过激活扫描输出显示设备300、310的扫描输出部分中的至少一个来显示图像的第一部分，并且如下面进一步描述的，第二部分可以显示在扫描输出显示设备300、310的后续(例如，较大索引的)扫描输出部分处。在一个示例中，如本文中描述的，补偿组件144可以从显示设备102和/或相关联的界面、驱动器等接收扫描输出属性146。由于与这样的扫描输出显示相关联的等待时间，所显示的图像可以基于在显示图像的不同部分期间发生的运动而出现失真(例如，被用户视为发生失真)。如本文中描述的，该运动可以被预测和补偿。
在方法200中，在动作204处，可以预测在与激活扫描输出显示设备的第一部分相关联的第一时间和与激活扫描输出显示设备的第二部分相关联的第二时间之间的等待时间期间的运动。在一个示例中，运动确定组件142例如与处理器104、存储器106等相结合可以预测在与激活扫描输出显示设备(例如，显示设备102)的第一部分相关联的第一时间和与激活扫描输出显示设备的第二部分相关联的第二时间之间的等待时间期间的运动。例如，运动确定组件142可以预测头部位置(例如，VR设备的位置)的变化，其可以类似于在动作202处渲染图像时执行的预测。例如，运动确定组件142可以基于所确定和/或预测的头部(或VR设备)的移动速度、头部(或VR设备)的加速度等来预测运动。在一个示例中，运动确定组件142可以预测针对与扫描输出显示设备(例如，显示设备102)的不同扫描输出部分相关联的一个或多个等待时间的运动和/或在上述等待时间附近的运动。在本文中描述的示例中，运动确定组件142可以预测在一段时间内和/或针对多个时间实例的运动，上述时间段和/或时间实例与在显示图像的一个或多个部分之前(和/或在显示图像的任何部分之前)在204处与图像相关联的显示时间相对应。
在另一示例中，运动确定组件142可以在显示图像的第一部分之后预测运动，以基于预测的运动(例如，基于在显示图像的第一部分之后预测的不同头部位置)来确定用于显示的图像的另一部分以尝试更新扫描输出部分，以便扫描输出显示设备以期望取向显示图像。在该示例中，各种组件142、144可以是硬件(例如，GPU 114)的一部分，以在扫描输出图像的第一部分之后或者在扫描输出过程期间以其他方式执行预测和补偿之后支持图像的第二部分的预测和补偿。
在一个示例中，在动作204处预测运动可以可选地包括在动作206处确定运动的方向。在一个示例中，运动确定组件142例如与处理器104、存储器106等相结合可以确定运动的方向，这可以至少部分基于根据当前或先前的头部位置来确定可以指示运动的方向的运动矢量(例如，相对于当前或先前的头部位置的相对运动)。此外，例如，运动可以在真实世界坐标空间中确定或预测(例如，基于来自VR设备的输入，诸如来自加速度计、陀螺仪、或VR设备上的其他运动或位置测量设备)，该真实世界坐标空间可以被转换为应用110的虚拟坐标空间以基于运动来确定要显示的图像的部分。另外，基于采样间隔来预测一段时间内的运动，这因此可以包括预测等待时间期间的运动样本数。在该示例中，预测在等待时间期间的运动可以包括将一个或多个运动样本与等待时间进行匹配。这可能导致基于一个或多个运动样本对图像的各个部分应用失真，这些运动样本可以与在扫描输出显示设备(例如，显示设备102)显示图像的给定部分时预测的运动相对应。
在方法200中，在动作208处，可以至少部分基于运动和等待时间的函数来使要在第二时间显示的图像的至少第二部分失真以补偿等待时间。在一个示例中，补偿组件144例如与处理器104、存储器106等相结合可以至少部分基于运动和等待时间的函数来使要在第二次显示的图像的至少第二部分失真以补偿等待时间。例如，补偿组件144可以基于扫描输出显示器的扫描输出属性146来使图像的第二部分(和/或图像的附加部分)失真。在一个示例中，扫描输出属性146不仅可以包括与扫描输出显示设备(例如，显示设备102)的扫描输出部分相关联的等待时间，而且还可以包括激活扫描输出部分的顺序、扫描输出部分的大小(例如，作为像素数或其他度量)、与一个或多个扫描输出部分相关联的扫描输出宽度等。扫描输出属性146可以考虑确定或至少估计显示设备102何时将要显示哪个扫描输出部分，从而允许使图像的部分(和/或图像的其他部分)失真，图像的部分(和/或图像的其他部分)对应于与扫描输出显示相关联的等待时间以及与等待时间相关联的时间处或附近的预测运动。
在一个示例中，在动作208处使图像的至少第二部分失真可以可选地包括在动作210处通过使图像的至少第二部分在与运动的方向相反的第二方向上歪斜来使图像的至少第二部分失真。在一个示例中，补偿组件144例如与处理器104、存储器106等相结合可以通过使图像的至少第二部分在与运动的方向相反的第二方向上歪斜来使图像的至少第二部分失真。例如，补偿组件144可以基于对由运动确定组件142确定的运动矢量进行变换以使与图像相关联的虚拟坐标空间上的预测或确定的运动相反来使图像失真。这可以抵消由运动引起的图像的感知失真。例如，使图像的第二部分失真可以包括生成用于对图像的一个或多个部分进行变换的一个或多个变换矩阵，其中可以生成一个或多个变换矩阵以将变换应用于与显示设备的一部分和相关联的等待时间相对应的图像的一部分。在其他示例中，可以任意地变换图像的各部分(例如，不使用可能已经在图像的其他部分上使用的变换矩阵)。图4中示出了一个示例。
图4示出了图像的显示402、404、406、408的示例。显示402可以表示在没有相关联的运动的情况下感知到的显示在诸如滚动式扫描输出显示设备300等扫描输出显示设备上的图像。如果在显示图像时存在从左到右运动(例如，如上所述的预测运动或实际运动)，则显示404可以在显示器从左到右和从上到下扫描输出时在滚动式扫描输出显示设备300上表示感知图像。在该显示404中，当像素被扫描输出时，当用户在常规显示器上观看时，它们被感知为随着运动从左向右移动。
为了抵消这种感觉，补偿组件144可以基于运动确定组件142检测或预测(例如，头部位置的)左向右运动来使图像失真，从而在运动期间向左逐渐显示像素，如显示406中所示。当运动按预期发生时，基于相关联的预测或确定的左向右运动，在滚动式扫描输出显示器上显示显示406可以在显示408中产生由用户在显示设备上看到的感知图像。在该示例中，补偿组件144可以使图像在与由运动确定组件142检测或预测的运动的方向相反的方向上失真。因此，代替显示显示402和感知显示404，补偿组件144可以使图像失真，从而显示406被显示并且被感知为显示408，该显示408是要感知的预期图像。
尽管在滚动式扫描输出的上下文中示出，但是补偿组件144可以使任何类型的扫描输出显示中的扫描输出部分失真，只要扫描输出属性146包括扫描输出部分的扫描输出顺序(例如，如显式地指示的或以其他方式已知的显示类型)和用于确定相关联的时间的预测的头部位置的相关联的等待时间(例如，如显式地指示的或以其他方式已知的显示类型)。在该示例中，补偿组件144可以每次(例如，基于扫描输出部分的相关联的等待时间)预测头部位置，并且可以通过以下方式来使与扫描输出部分相对应的图像部分失真：将运动或头部位置的变化从图像的真实世界坐标空间变换到虚拟坐标空间，并且在这点上向图像应用失真以在显示扫描输出部分之前在与运动相反的方向上移动像素。
在一个示例中，在动作210处使图像的至少第二部分失真可以包括使整个图像失真，使要在显示设备的第二扫描输出部分中显示的图像的第二部分失真，使图像的尚未显示的任何剩余部分失真，等等。在一个示例中，剩余部分可以基于后续时间/等待时间被附加地失真，在该后续时间/等待时间，这些剩余部分将被显示在扫描输出显示设备的对应部分上。
在方法200中，在动作212处，可以通过激活扫描输出显示设备的第一部分来在第一时间显示图像的第一部分。在一个示例中，显示接口116例如与处理器104、存储器106、显示端口118、显示端口136、显示设备102等相结合可以通过激活扫描输出显示设备(例如，显示设备102)的第一部分来在第一时间显示图像的第一部分。例如，渲染组件140可以将图像的第一部分提供给显示接口116以经由显示设备102显示图像的第一部分。在该示例中，显示设备102可以激活显示面板132的第一部分以显示图像的第一部分，其可以包括激活显示面板132的区域中的对应部分(例如，发射光或生成光子的部分或像素)。在一个示例中，图像的第一部分可以基于预测的头部位置被渲染，和/或可以基于在显示图像的先前部分的时间与第一时间之间的等待时间期间的预测运动而被失真。
在方法200中，在动作214处，可以通过激活扫描输出显示设备的第二部分来在第二时间显示图像的第二部分。在一个示例中，显示接口116例如与处理器104、存储器106、显示端口118、显示端口136、显示设备102等相结合可以通过激活扫描输出显示设备(例如，显示设备102)的第二部分来显示图像的第二部分。例如，补偿组件144可以将图像的失真的第二部分提供给显示接口116以经由显示设备102显示图像的第二部分。在一个示例中，补偿组件144可以将图像的失真的第二部分与整个图像一起提供给显示接口116，如上所述，其中的各个部分可能已经基于在与在扫描输出显示器上显示图像的多个部分的等待时间相关的多个时间实例预测的运动而被失真。在该示例中，显示设备102可以激活显示面板132的第二部分以显示图像的第二部分，这可以包括激活显示面板132的区域中的对应像素或其他部分。
图5示出了包括如图1所示的其他可选组件细节的计算设备100的示例。在一个示例中，计算设备100可以包括用于执行与本文中描述的组件和功能中的一个或多个相关联的处理功能的处理器104。处理器104可以包括单组或多组处理器或多核处理器。此外，处理器104可以被实现为集成处理系统和/或分布式处理系统。
计算设备100还可以包括诸如用于存储由处理器104执行的应用的本地版本、相关指令、参数等的存储器106。存储器106可以包括计算机可用的存储器类型，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁带、磁盘、光盘、易失性存储器、非易失性存储器及其任何组合。另外，处理器104和存储器106可以包括并且执行在处理器104上执行的操作系统、如本文中描述的一个或多个应用、显示驱动器等、和/或计算设备100的其他组件。
此外，计算设备100可以包括利用本文中描述的硬件、软件和服务来提供与一个或多个其他设备、方、实体等建立和维护通信的通信组件502。通信组件502可以在计算设备100上的组件之间以及在计算设备100与外部设备(诸如位于整个通信网络上的设备和/或串行或本地连接到计算设备100的设备)之间进行通信。例如，通信组件502可以包括一个或多个总线，并且还可以包括分别与可操作以与外部设备接口的无线或有线发射器和接收器相关联的发射链组件和接收链组件。
另外，计算设备100可以包括数据存储库504，该数据存储库504可以是硬件和/或软件的任何合适的组合，该数据存储库504提供结合本文中描述的示例而采用的信息、数据库和程序的大容量存储。例如，数据存储库504可以是或可以包括用于处理器104当前未执行的应用和/或相关参数的数据存储库。此外，数据存储库504可以是在处理器104和/或计算设备100的一个或多个其他组件上执行的操作系统、应用、显示驱动器等的数据存储。
计算设备100还可以包括可操作以从计算设备100的用户接收输入并且进一步可操作以生成输出以呈现给用户(例如，经由显示接口116到显示设备)的用户接口组件506。用户接口组件506可以包括一个或多个输入设备，包括但不限于键盘、数字小键盘、鼠标、触敏显示器、导航键、功能键、麦克风、语音识别组件、手势识别组件、深度传感器、注视跟踪传感器、能够从用户接收输入的任何其他机制、或其任何组合。此外，用户接口组件506可以包括一个或多个输出设备，包括但不限于显示接口116、扬声器、触觉反馈机制、打印机、能够向用户呈现输出的任何其他机制、或其任何组合。
计算设备100还可以包括如本文中描述的用于基于从处理器104接收的渲染指令来渲染帧的GPU 114。GPU 114可以另外经由显示接口116发送信号以引起渲染的帧在显示设备上的显示。如上所述，计算设备100还可以包括用于确定与设置场景取向相关的一个或多个参数(诸如VR设备中的头部位置)的如上所述的一个或多个传感器120。另外，计算设备100可以包括如本文中描述的用于根据扫描输出显示设备的相关联的等待时间来渲染图像和/或使图像的各部分失真以供显示的渲染组件140。
作为示例，元件或元件的任何部分或元件的任何组合可以用包括一个或多个处理器的“处理系统”来实现。处理器的示例包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立硬件电路、以及被配置为执行在整个本公开中描述的各种功能的其他合适的硬件。处理系统中的一个或多个处理器可以执行软件。软件应当广义地解释为表示指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行线程、过程、函数等，无论是被称为软件、固件、中间件、微码、硬件描述语言还是其他形式。
因此，在一个或多个示例中，所描述的一个或多个功能可以用硬件、软件、固件或其任何组合来实现。如果以软件实现，则功能可以存储在计算机可读介质上或被编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是计算机可以访问的任何可用介质。作为示例而非限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备、或者可以用于以指令或数据结构的形式承载或存储期望的程序代码并且可以由计算机访问的任何其他介质。本文中使用的磁盘和光盘包括压缩盘(CD)、激光光盘、光碟、数字多功能光盘(DVD)和软盘，其中磁盘通常磁性地复制数据，而光盘则通过激光光学地复制数据。上述的组合也应当被包括在计算机可读介质的范围内。
提供先前的描述以使得本领域的任何技术人员能够实践本文中描述的各种示例。对这些示例的各种修改对于本领域技术人员而言将是很清楚的，并且本文中定义的一般原理可以应用于其他示例。因此，权利要求书不旨在限于本文中示出的示例，而是应当符合与语言权利要求书相一致的完整范围，其中除非特别说明，否则以单数形式提及元素并非意指“一个且仅一个”，而是表示“一个或多个”。除非特别说明，否则术语“一些”是指一个或多个。本领域普通技术人员已知或以后将知道的与本文中描述的各种示例的元素的所有结构和功能等同物均旨在被权利要求书涵盖。此外，本文中公开的任何内容都不旨在献给公众，而无论这样的公开在权利要求书中是否明确记载。任何权利要求元素都不应当被解释为装置加功能，除非使用短语“用于……的装置”明确记载该元素。

Claims (17)

1.一种用于在显示设备上显示图像的方法，包括：
至少预测在与激活所述显示设备的第一部分以发射光以用于显示所述图像的第一部分相关联的第一时间和与激活所述显示设备的第二部分以发射光以用于显示所述图像的第二部分相关联的第二时间之间的等待时间期间的运动的方向；
通过在与所述运动的所述方向相反的第二方向上使所述图像的至少所述第二部分相对于所述图像的所述第一部分歪斜，至少部分基于所述运动和所述等待时间的函数来使要在所述第二时间被显示的所述图像的至少第二部分相对于所述图像的所述第一部分失真以补偿所述等待时间，其中使所述图像的至少所述第二部分歪斜基于将所述运动从真实世界坐标空间变换到所述图像的虚拟坐标空间，并且与所述运动相反的方向上移动所述图像的至少所述第二部分的像素；
通过激活所述显示设备的所述第一部分来在所述第一时间显示所述图像的所述第一部分；以及
通过激活所述显示设备的所述第二部分来在所述第二时间显示所述图像的失真的所述第二部分。
2.根据权利要求1所述的方法，其中所述失真还至少部分基于所述显示设备的扫描输出顺序的一个或多个属性，并且其中激活所述显示设备的所述第一部分以发射光以用于显示所述图像的所述第一部分以及激活所述显示设备的所述第二部分以发射光以用于显示所述图像的所述第二部分基于所述显示设备的所述扫描输出顺序。
3.根据权利要求2所述的方法，其中所述扫描输出顺序的所述一个或多个属性包括以下中的至少一项：所述显示设备上的扫描输出部分和所述扫描输出部分的相关联的显示顺序的指示、与所述扫描输出部分相关联的等待时间、或者被显示在所述扫描输出部分中的像素数。
4.根据权利要求1所述的方法，其中所述运动对应于包括所述显示设备的虚拟现实(VR)设备在确定的头部位置中的移动。
5.根据权利要求4所述的方法，其中预测所述运动至少部分基于所述确定的头部位置的速度或加速度。
6.根据权利要求1所述的方法，还包括至少部分基于预测在所述第一时间和与激活所述显示设备的先前部分相关联的先前时间之间的另一等待时间期间的另一运动来使所述图像的所述第一部分失真。
7.一种用于在显示设备上显示图像的计算设备，包括：
存储器，存储用于执行操作系统和一个或多个应用的一个或多个参数或指令；
显示接口，与所述显示设备耦合以用于传送信号以在所述显示设备上显示图像；以及
至少一个处理器，耦合到所述存储器和所述显示接口，其中所述至少一个处理器被配置为：
至少预测在与激活所述显示设备的第一部分以发射光以用于显示所述图像的第一部分相关联的第一时间和与激活所述显示设备的第二部分以发射光以用于显示所述图像的第二部分相关联的第二时间之间的等待时间期间的运动的方向；
通过在与所述运动的所述方向相反的第二方向上使所述图像的至少所述第二部分相对于所述图像的所述第一部分歪斜，至少部分基于所述运动和所述等待时间的函数来使要在所述第二时间被显示的所述图像的至少第二部分相对于所述图像的所述第一部分失真以补偿所述等待时间，其中使所述图像的至少所述第二部分歪斜基于将所述运动从真实世界坐标空间变换到所述图像的虚拟坐标空间，并且与所述运动相反的方向上移动所述图像的至少所述第二部分的像素；
通过激活所述显示设备的所述第一部分来在所述第一时间显示所述图像的所述第一部分；以及
通过激活所述显示设备的所述第二部分来在所述第二时间显示所述图像的失真的所述第二部分。
8.根据权利要求7所述的计算设备，其中所述至少一个处理器被配置为还至少部分基于所述显示设备的扫描输出顺序的一个或多个属性来使所述图像的至少所述第二部分失真，并且其中激活所述显示设备的所述第一部分以发射光以用于显示所述图像的所述第一部分以及激活所述显示设备的所述第二部分以发射光以用于显示所述图像的所述第二部分基于所述显示设备的所述扫描输出顺序。
9.根据权利要求8所述的计算设备，其中所述扫描输出顺序的所述一个或多个属性包括以下中的至少一项：所述显示设备上的扫描输出部分和所述扫描输出部分的相关联的显示顺序的指示、与所述扫描输出部分相关联的等待时间、或者被显示在所述扫描输出部分中的像素数。
10.根据权利要求7所述的计算设备，其中所述运动对应于包括所述显示设备的虚拟现实(VR)设备在确定的头部位置中的移动。
11.根据权利要求10所述的计算设备，还包括被配置为确定所述确定的头部位置的速度或加速度的一个或多个传感器，其中所述至少一个处理器被配置为至少部分基于所述确定的头部位置的所述速度或加速度来预测所述运动。
12.根据权利要求7所述的计算设备，其中所述至少一个处理器还被配置为至少部分基于在所述第一时间和与激活所述显示设备的先前部分相关联的先前时间之间的另一等待时间期间被预测的另一运动来使所述图像的所述第一部分失真。
13.一种非暂时性计算机可读介质，包括由一个或多个处理器可执行以用于在显示设备上显示图像的代码，所述代码包括用于以下操作的代码：
至少预测在与激活所述显示设备的第一部分以发射光以用于显示所述图像的第一部分相关联的第一时间和与激活所述显示设备的第二部分以发射光以用于显示所述图像的第二部分相关联的第二时间之间的等待时间期间的运动的方向；
通过在与所述运动的所述方向相反的第二方向上使所述图像的至少所述第二部分相对于所述图像的所述第一部分歪斜，至少部分基于所述运动和所述等待时间的函数来使要在所述第二时间被显示的所述图像的至少第二部分相对于所述图像的所述第一部分失真以补偿所述等待时间，其中使所述图像的至少所述第二部分歪斜基于将所述运动从真实世界坐标空间变换到所述图像的虚拟坐标空间，并且与所述运动相反的方向上移动所述图像的至少所述第二部分的像素；
通过激活所述显示设备的所述第一部分来在所述第一时间显示所述图像的所述第一部分；以及
通过激活所述显示设备的所述第二部分来在所述第二时间显示所述图像的失真的所述第二部分。
14.根据权利要求13所述的非暂时性计算机可读介质，其中用于失真的所述代码还至少部分基于所述显示设备的扫描输出顺序的一个或多个属性，并且其中激活所述显示设备的所述第一部分以发射光以用于显示所述图像的所述第一部分以及激活所述显示设备的所述第二部分以发射光以用于显示所述图像的所述第二部分基于所述显示设备的所述扫描输出顺序。
15.根据权利要求14所述的非暂时性计算机可读介质，其中所述扫描输出顺序的所述一个或多个属性包括以下中的至少一项：所述显示设备上的扫描输出部分和所述扫描输出部分的相关联的显示顺序的指示、与所述扫描输出部分相关联的等待时间、或者被显示在所述扫描输出部分中的像素数。
16.根据权利要求13所述的非暂时性计算机可读介质，其中所述运动对应于包括所述显示设备的虚拟现实(VR)设备在确定的头部位置中的移动。
17.根据权利要求16所述的非暂时性计算机可读介质，其中用于预测所述运动的所述代码至少部分基于所述确定的头部位置的速度或加速度。
CN201880058200.9A 2017-09-08 2018-06-22 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术 Active CN111066081B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762556118P 2017-09-08 2017-09-08
US62/556,118 2017-09-08
US15/896,712 2018-02-14
US15/896,712 US10762691B2 (en) 2017-09-08 2018-02-14 Techniques for compensating variable display device latency in image display
PCT/US2018/038880 WO2019050605A1 (en) 2017-09-08 2018-06-22 LATENCY COMPENSATION TECHNIQUES OF VARIABLE DISPLAY DEVICE IN VIRTUAL REALITY IMAGE DISPLAY

Publications (2)

Publication Number Publication Date
CN111066081A CN111066081A (zh) 2020-04-24
CN111066081B true CN111066081B (zh) 2022-07-01

Family

ID=65631957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880058200.9A Active CN111066081B (zh) 2017-09-08 2018-06-22 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术

Country Status (4)

Country Link
US (1) US10762691B2 (zh)
EP (1) EP3679568A1 (zh)
CN (1) CN111066081B (zh)
WO (1) WO2019050605A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595000B1 (en) * 2018-08-02 2020-03-17 Facebook Technologies, Llc Systems and methods for using depth information to extrapolate two-dimentional images
JP2021067877A (ja) * 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
TWI735237B (zh) * 2020-05-22 2021-08-01 茂傑國際股份有限公司 ３６０度全景影像選擇顯示之攝影機及方法
WO2023243305A1 (ja) * 2022-06-15 2023-12-21 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738435A (zh) * 2004-07-13 2006-02-22 微软公司 Sdmctf编码的视频的3d子带解码中的空间可伸缩性
US20060120453A1 (en) * 2004-11-30 2006-06-08 Hiroshi Ikeda Moving picture conversion apparatus
CN102279703A (zh) * 2011-09-28 2011-12-14 惠州市德赛汽车电子有限公司 一种基于单片机的车载多媒体设备的图像滑动显示方法
CN102831623A (zh) * 2012-08-27 2012-12-19 深圳市捷顺科技实业股份有限公司 一种运动补偿预测误差计算方法及装置
US20130241947A1 (en) * 2012-03-15 2013-09-19 Sony Corporation Display device, image processing device, image processing method, and computer program
CN104284187A (zh) * 2013-07-12 2015-01-14 英特尔公司 用于在压缩视频数据中包括缩略图的技术
US20160035139A1 (en) * 2013-03-13 2016-02-04 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限（美国）有限公司 低延迟虚拟现实显示系统
CN106454098A (zh) * 2016-10-31 2017-02-22 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
CN106908782A (zh) * 2017-02-23 2017-06-30 公安部第三研究所 基于水面状态连续成像系统的波浪传播方向的提取方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4369948B2 (ja) 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
US9357228B2 (en) 2010-05-27 2016-05-31 The Hong Kong University Of Science And Technology Motion estimation of images
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN107656618B (zh) * 2013-03-15 2021-03-23 奇跃公司 显示系统和方法
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US20150153898A1 (en) * 2013-12-03 2015-06-04 Elwha Llc Latency compensation in a display of a portion of a hand-initiated movement
JP6439702B2 (ja) * 2013-12-25 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システム
US10181193B2 (en) * 2014-03-10 2019-01-15 Microsoft Technology Licensing, Llc Latency reduction in camera-projection systems
US10136140B2 (en) 2014-03-17 2018-11-20 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
US9754415B2 (en) * 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
US9652893B2 (en) * 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
WO2016073557A1 (en) * 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US10019918B2 (en) * 2015-08-21 2018-07-10 Oculus Vr, Llc In-band tear detection system
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US10120187B2 (en) 2016-02-18 2018-11-06 Nvidia Corporation Sub-frame scanout for latency reduction in virtual reality applications
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
KR20180075732A (ko) * 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10242654B2 (en) * 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US10152775B1 (en) * 2017-08-08 2018-12-11 Rockwell Collins, Inc. Low latency mixed reality head wearable device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738435A (zh) * 2004-07-13 2006-02-22 微软公司 Sdmctf编码的视频的3d子带解码中的空间可伸缩性
US20060120453A1 (en) * 2004-11-30 2006-06-08 Hiroshi Ikeda Moving picture conversion apparatus
CN102279703A (zh) * 2011-09-28 2011-12-14 惠州市德赛汽车电子有限公司 一种基于单片机的车载多媒体设备的图像滑动显示方法
US20130241947A1 (en) * 2012-03-15 2013-09-19 Sony Corporation Display device, image processing device, image processing method, and computer program
CN102831623A (zh) * 2012-08-27 2012-12-19 深圳市捷顺科技实业股份有限公司 一种运动补偿预测误差计算方法及装置
US20160035139A1 (en) * 2013-03-13 2016-02-04 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
CN104284187A (zh) * 2013-07-12 2015-01-14 英特尔公司 用于在压缩视频数据中包括缩略图的技术
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限（美国）有限公司 低延迟虚拟现实显示系统
CN106454098A (zh) * 2016-10-31 2017-02-22 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
CN106908782A (zh) * 2017-02-23 2017-06-30 公安部第三研究所 基于水面状态连续成像系统的波浪传播方向的提取方法

Also Published As

Publication number Publication date
US20190080505A1 (en) 2019-03-14
WO2019050605A1 (en) 2019-03-14
CN111066081A (zh) 2020-04-24
US10762691B2 (en) 2020-09-01
EP3679568A1 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
US20230410720A1 (en) Optimized Display Image Rendering
US10962780B2 (en) Remote rendering for virtual images
US9595083B1 (en) Method and apparatus for image producing with predictions of future positions
US20140152676A1 (en) Low latency image display on multi-display device
US9424767B2 (en) Local rendering of text in image
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN109727305B (zh) 虚拟现实系统画面处理方法、装置及存储介质
CN113272715A (zh) 基于眼睛跟踪的动态渲染时间确定
WO2021226535A1 (en) Multi-layer reprojection techniques for augmented reality
US20210368152A1 (en) Information processing apparatus, information processing method, and program
EP3669252B1 (en) Techniques for predictive prioritization of image portions in processing graphics
US11710310B2 (en) Virtual content positioned based on detected object
US10708597B2 (en) Techniques for extrapolating image frames
US11308685B2 (en) Rendering computer-generated reality text
JP2017181666A (ja) 情報処理装置、情報処理方法およびプログラム
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
US11288873B1 (en) Blur prediction for head mounted devices
US11836872B1 (en) Method and device for masked late-stage shift
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations
US11513346B2 (en) Method and apparatus for controlling virtual reality display device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant