Nothing Special   »   [go: up one dir, main page]

CN109743626B - 一种图像显示方法、图像处理方法和相关设备 - Google Patents

一种图像显示方法、图像处理方法和相关设备 Download PDF

Info

Publication number
CN109743626B
CN109743626B CN201910001231.7A CN201910001231A CN109743626B CN 109743626 B CN109743626 B CN 109743626B CN 201910001231 A CN201910001231 A CN 201910001231A CN 109743626 B CN109743626 B CN 109743626B
Authority
CN
China
Prior art keywords
image
time
original image
processor
display terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910001231.7A
Other languages
English (en)
Other versions
CN109743626A (zh
Inventor
邵继洋
毕育欣
郭子强
丁亚东
孙剑
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910001231.7A priority Critical patent/CN109743626B/zh
Publication of CN109743626A publication Critical patent/CN109743626A/zh
Priority to PCT/CN2019/126275 priority patent/WO2020140758A1/zh
Priority to US16/977,806 priority patent/US11574613B2/en
Application granted granted Critical
Publication of CN109743626B publication Critical patent/CN109743626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种图像显示方法、图像处理方法和相关设备，该方法包括：接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；从所述原始图像获取第一图像；在第一时刻与第二时刻之间显示所述第一图像；从所述原始图像获取第二图像；在第二时刻与第三时刻之间显示所述第二图像。本发明实施例可以降低处理器端的渲染量和传输量。

Description

一种图像显示方法、图像处理方法和相关设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像显示方法、图像处理方法和相关设备。
背景技术
随着网络技术的发展，目前在很多场景会存在多终端之间进行图像交互的情况。一种典型的场景是，处理器端对图像进行渲染，并将渲染后的图像发送给显示终端，由显示终端进行显示。然而，该技术中，显示终端显示的每一帧图像都需要经过处理器端单独进行渲染，以及单独进行传输，从而导致处理器端的渲染量和传输量较大。
发明内容
本发明的目的在于提供一种图像显示方法、图像处理方法和相关设备，以解决处理器端的渲染量和传输量较大的问题。
为了达到上述目的，本发明提供一种图像显示方法，用于显示终端，包括：
接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；
从所述原始图像获取第一图像；
在第一时刻与第二时刻之间显示所述第一图像；
从所述原始图像获取第二图像；
在第二时刻与第三时刻之间显示所述第二图像。
可选的，在所述接收并存储处理器端发送的原始图像之前，所述方法还包括：
在第四时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第一姿态数据；
向处理器端发送所述第一姿态数据，所述第一姿态数据用于所述处理器端渲染所述原始图像。
可选的，所述从所述原始图像获取第一图像，包括：
根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像。
可选的，所述从所述原始图像获取第一图像，包括：
在第五时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第二姿态数据，所述第五时刻是所述接收并存储处理器端发送的原始图像之后的时刻；
根据所述第二姿态数据对所述原始图像进行截取，获取所述第一图像。
可选的，所述从所述原始图像获取第二图像，包括：
在第六时刻预测所述显示终端在所述第二时刻和所述第三时刻之间的第三姿态数据，所述第六时刻为所述第一时刻和所述第二时刻之间的时刻；
根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像。
本发明实施例还提供一种图像处理方法，用于处理器端，包括：
进行图像渲染，生成原始图像；
向显示终端发送所述原始图像。
可选的，所述进行图像渲染，生成原始图像之前，所述方法还包括：
接收所述显示终端发送的第一姿态数据；
所述进行图像渲染，生成原始图像包括：
根据所述第一姿态数据进行图像渲染，生成原始图像。
可选的，所述根据所述第一姿态数据进行图像渲染，生成原始图像，包括：
根据所述第一姿态数据和预设的比例进行图像渲染，生成原始图像，其中，所述原始图像的大小比所述显示终端的显示画面大所述预设的比例。
本发明实施例还提供一种显示终端，包括：
第一接收模块，用于接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；
获取模块，用于从所述原始图像获取第一图像；
显示模块，用于在第一时刻与第二时刻之间显示所述第一图像；
所述获取模块还用于从所述原始图像获取第二图像；
所述显示模块还用于在第二时刻与第三时刻之间显示所述第二图像。
可选的，所述显示终端还包括：
预测模块，用于在第四时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第一姿态数据；
第一发送模块，用于向处理器端发送所述第一姿态数据，所述第一姿态数据用于所述处理器端渲染所述原始图像。
可选的，所述预测模块还用于在第六时刻预测所述显示终端在所述第二时刻和所述第三时刻之间的第三姿态数据，所述第六时刻为所述第一时刻和所述第二时刻之间的时刻；
所述获取模块具体用于根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像。
本发明实施例还提供一种处理器端，包括：
渲染模块，用于进行图像渲染，生成原始图像；
第二发送模块，用于向显示终端发送所述原始图像。
可选的，所述处理器端还包括：
第二接收模块，用于接收所述显示终端发送的第一姿态数据；
所述渲染模块用于根据所述第一姿态数据进行图像渲染，生成原始图像。
本发明实施例还提供一种显示终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例提供的图像显示方法中的步骤。
本发明实施例还提供一种处理器端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例提供的图像处理方法中的步骤。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的图像显示方法中的步骤，或者，所述计算机程序被处理器执行时实现本发明实施例提供的图像处理方法中的步骤。
本发明实施例中，接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；从所述原始图像获取第一图像；在第一时刻与第二时刻之间显示所述第一图像；从所述原始图像获取第二图像；在第二时刻与第三时刻之间显示所述第二图像。这样显示终端可以从一个原始图像中获取出两个图像进行显示，从而实现根据接收的一帧图像，显示两帧图像，进而可以降低处理器端的渲染量和传输量。
附图说明
图1是本发明实施例提供的一种图像显示方法的流程图；
图2是本发明实施例提供的一种原始图像的示意图；
图3是本发明实施例提供的一种第一图像和第二图像的示意图；
图4是本发明实施例提供的一种局部图像的示意图；
图5是本发明实施例提供的一种系统框架的示意图；
图6是本发明实施例提供的一种图像显示方法的示意图；
图7是本发明实施例提供的另一种第一图像和第二图像的示意图；
图8是本发明实施例提供的另一种图像显示方法的示意图；
图9是本发明实施例提供的一种图像处理方法的流程图；
图10是本发明实施例提供的一种显示终端的结构图；
图11是本发明实施例提供的另一种显示终端的结构图；
图12是本发明实施例提供的一种处理器端的结构图；
图13是本发明实施例提供的另一种处理器端的结构图；
图14是本发明实施例提供的另一种显示终端的结构图；
图15是本发明实施例提供的另一种处理器端的结构图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
请参见图1，图1是本发明实施例提供的一种图像显示方法的流程图，该方法用于显示终端，如图1所示，包括以下步骤：
步骤101、接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；
步骤102、从所述原始图像获取第一图像；
步骤103、在第一时刻与第二时刻之间显示所述第一图像；
步骤104、从所述原始图像获取第二图像；
步骤105、在第二时刻与第三时刻之间显示所述第二图像。
其中，显示终端可以是头戴式显示设备，例如：头戴式可视设备(Head MountDisplay，HMD)，或者，上述显示终端可以是其他姿态数据可变化的显示终端。而上述处理器端可以称作主处理设备，因为，在本发明实施例中，图像的渲染是由处理器端来执行的。具体的，上述处理器端可以是与上述显示终端通过有线或者无线连接的电子设备，例如：计算机(PersonalComputer，PC)、接入设备(Access Point，AP)、服务器、云端设备或者手机等通过有线或者无线向显示终端提供图像的电子设备。
而上述原始图像可以是上述处理器端获取或者生成的图像(也是说，该图像是某一图像的全部图像，而不是某一图像的局部图像)，或者上述原始图像可以是处理器端从某一图像中选取的局部图像，例如：上述原始图像可以是增强现实(Augmented Reality，AR)或者虚拟现实(Virtual Reality，VR)场景图像中选取的部分图像。其中，AR或者VR场景图像可以是AR或者VR场景全景图像。需要说明的是，本发明实施例中并不限定原始图像为AR或者VR场景图像，或者AR或者VR场景图像的局部图像，例如：上述原始图像可以为其他场景图像，或者其他场景图像的局部图像，对此不作限定。但本发明实施例中，以AR或者VR场景图像进行举例说明。
另外，上述原始图像包括上述第一图像和第二图像，例如：上述原始图像为原始的AR或者VR场景图像，则该图像中包括第一图像和第二图像，或者上述原始图像可以是上述处理器端预测或者根据显示终端提供的姿态数据从AR或者VR场景图像中确定的包括第一图像和第二图像的局部图像。
需要说明的是，上述第一图像可以是在上述第一时刻和第二时刻之间显示终端在用户视线范围内显示的图像，或者可以称作，上述第一图像为在上述第一时刻和第二时刻之间用户在上述显示终端上的可见图像。例如：如图2所示的AR或者VR图像，其中，第一图像为图2中虚线框中的图像，而实线框中的图像为上述原始图像。也就是说，在第一时刻和第二时刻之间用户在显示终端的可见图像为虚线框中的图像。
同理，上述第二图像可以是在上述第二时刻和第三时刻之间显示终端在用户视线范围内显示的图像，或者可以称作，上述第二图像为在上述第二时刻和第三时刻之间用户在上述显示终端上的可见图像。
另外，上述从所述原始图像获取第一图像可以是从原始图像中截取特定位置的图像，而上述从所述原始图像获取第二图像可以是，从原始图像中截取与第一图像相邻或者部分重叠的第二图像。优选的，可以根据预测的姿态数据从原始图像中截取第一图像和第二图像。
需要说明的是，上述第一图像和第二图像为显示终端连续显示的两帧图像。
通过上述步骤可以实现接收处理器端发送的一帧图像(即原始图像)，可以连续显示两帧图像(即第一图像和第二图像)，从而可以降低处理器端的渲染量和传输量。另外，本发明实施例中，应用于AR或者VR产品时，还可以使得AR或者VR产品更易做到便携性，显示帧率提升，且减少了AR或者VR产品时延，提升了AR或者VR产品的价值、性能和品质。
例如：以第一图像为第n帧图像，第二图像为第n+1帧图像，这样显示终端所需帧率120Hz时，处理器端只需要提供60Hz图像内容。当然，上述方法还可以采用显示第二图像的方法，从而原始图像中获取第三图像，并显示第三图像，甚至显示更多的图像。例如：以上述第一图像为第n帧图像，第二图像为第n+1，第三图像为n+2帧图像为例，这样显示终端所需帧率90Hz时，处理器端只需要提供30Hz图像。当然，降低数据主处理设备的帧率越低时，上述原始图像需要包括图像内容越大，因为，需要从上述原始图像提取更多的图像。
需要说明的是，本发明实施例中，并不限定步骤103和步骤104的执行顺序，例如：可以如图1所示，先执行步骤103再执行步骤104，或者也可以是同时执行步骤103和步骤104等，对此不作限定。
作为一种可选的实施方式，在所述接收并存储处理器端发送的原始图像之前，所述方法还包括：
在第四时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第一姿态数据；
向处理器端发送所述第一姿态数据，所述第一姿态数据用于所述处理器端渲染所述原始图像。
其中，上述第四时刻可以是接收并存储处理器端发送的原始图像之前的任意时刻，而上述第一姿态数据可以是预测的上述显示终端在第一时刻或者第二时刻的姿态数据，或者可以是预测的上述显示终端在第一时刻和所述第二时刻之间的任意时刻的姿态数据(例如，可以是中间时刻，也可以是选取的其他代表时刻)。
其中，预测姿态数据可以是通过显示终端包括的括姿态传感器进行预测，例如：通过惯性测量单元(Inertial Measurement Unit，IMU)、光学传感器定位、陀螺仪或者电子罗盘等预测姿态数据。需要说明的是，上述姿态传感器可以提供显示终端当前的姿态数据，也可以预测下一时刻或者多个时刻的姿态数据，例如：姿态传感器可以按照特定频率输出姿态数据，如陀螺仪，可以在1秒内进行1000次姿态数据输出。另外，本发明实施例中，姿态数据可以用于表示显示终端的空间姿态，例如：姿态角或者空间姿态坐标等等。
另外，上述处理器端接收到上述第一姿态数据后，可以根据所述第一姿态数据进行图像渲染，生成原始图像。其中，这里渲染可以是直接进行渲染，以得到包括上述第一图像和第二图像的原始图像；当然，也可以是确定上述第一图像的图像内容，并确定图像大小比该图像内容要大预设的比例的图像内容，对该图像内容的图像进行渲染，以得到包括上述第一图像和第二图像的原始图像。例如：处理器端可以确定第一姿态数据在AR或者VR场景图像对应的坐标系中的坐标值，从而根据该坐标值确定上述第一图像。或者可以根据第一姿态数据对应的方位，确定上述第一图像，如第一姿态数据表示显示终端正视第一方位，则可以确定AR或者VR场景图像中第一方位的中心图像为上述第一图像。
优选的，处理器端可以根据所述第一姿态数据和预设的比例进行图像渲染，生成原始图像，其中，所述原始图像的大小比所述显示终端的显示画面大所述预设的比例。具体可以是根据上述第一姿态数据和预设的比例确定原始图像的图像内容，该图像内容包括上述第一图像和第二图像的图像内容。上述显示画面的大小可以是用户视线的可见大小，例如：如全景图像水平360°视场角、垂直180°市场角，VR场景中人眼常规能看到约1/8内容，即上述显示画面的大小可以为全景图像大小的1/8。当然，上述显示画面的大小也可以是第一图像的大小，且本发明实施例中，显示终端显示的图像的画面大小可以是相同的，例如：第一图像的大小和第二图像的大小均等于上述显示界面的大小。另外，而上述预设的比例可以是根据经验值获取的。
该实施方式中，由于向处理器端发送上述第一姿态数据，从而使得处理器端可以确定上述原始图像的图像内容，进而处理器端可以只对原始图像的图像内容进行渲染，以及传输，从而可以进一步减少处理器端的渲染量和传输量。
需要说明的是，该实施方式中，可以通过多种方式获取上述第一图像。
在一种方式中，所述从所述原始图像获取第一图像，包括：
根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像。
其中，上述对所述原始图像进行截取可以是截取上述原始图像中第一姿态数据对应的特定位置，以及特定大小的图像，以得到上述第一图像。例如：上述原始图像为AR或者VR场景图像中以第一图像为参考位置，图像大小比第一图像的图像大小大预设的比例的原始图像，且第一图像的图像大小为固定大小时，显示终端可以根据所述第一姿态数据从原始图像中提取位于上述参考位置，且图像大小为上述固定大小的第一图像。
上述参考位置可以为预先设定的位置，例如：居中位置，即上述第一图像为上述原始图像的居中部分。当然，对此不作限定，例如：显示终端可以将第一姿态数据和预测的在第二时刻和第三时刻之间的第三姿态数据发送给处理器端，从而处理器端可以根据第三姿态数据确定上述参考位置，如第三姿态数据相对第一姿态数据表示显示终端是向左边移动，则上述参考位置可以是原始图像的右边位置。
上述固定大小可以是预先设置的，用户通过显示终端在同一时刻(或者同一姿态)可以看见的图像大小。
例如：以图2所示的图像为例，该举例中，处理器端确定的原始图像如图3的左上角所示的图像，即在该实施方式中，处理器端只需要渲染，以及传输该原始图像即可。这样显示终端可以确定图3的左下角所示的第一图像，而3的右上角所示的图像中虚线框中的图像为上述第二图像，图3的右下角所示的图像为第二图像。
当然，本发明实施例中，并不限定通过上述方式截取上述第一图像，例如：还可以处理器端在发送上述原始图像时，添加标注该原始图像中第一图像的位置区域等等，对此不作限定。
该方式中，可以实现确定上述第一图像为显示终端在上述第一姿态数据下用户的可见图像，也就是说，上述第一图像可以是称作上述显示终端在第一姿态数据下的可见图像，即在上述第一姿态数据下用户通过显示终端可以看见的第一图像。例如：上述第一姿态数据表示显示终端朝向第一方向，且正视第一方向，则该姿态下的第一可见图像为上述AR或者VR图像中第一方向的中心区间的图像。且由于根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像，从而可以准确、快速地确定出第一图像。
在另一方式中，上述从所述原始图像获取第一图像，包括：
在第五时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第二姿态数据，所述第五时刻是所述接收并存储处理器端发送的原始图像之后的时刻；
根据所述第二姿态数据对所述原始图像进行截取，获取所述第一图像。
其中，上述第五时刻可以是接收并存储处理器端发送的原始图像之后，在所述第一时刻之前的任意时刻，而上述第二姿态数据可以是预测的上述显示终端在第一时刻或者第二时刻的姿态数据，或者可以是预测的上述显示终端在第一时刻和所述第二时刻之间的任意时刻的姿态数据(例如，可以是中间时刻，也可以是选取的其他代表时刻)。
其中，第二姿态数据可以是通过显示终端包括的括姿态传感器进行预测，例如：IMU、光学传感器定位、陀螺仪或者电子罗盘等预测第二姿态数据。
上述根据所述第二姿态数据对所述原始图像进行截取可以是，根据第二姿态数据在原始图像中确定第一图像的图像内容，并进行截取。例如：可以计算所述第二姿态数据相对所述第一姿态数据的偏移量，确定所述原始图像中所述第一姿态数据对应的图像相对于所述偏移量的偏移区域，并截取所述原始图像中所述偏移区域内的图像作为上述第一图像。当然，也可以不计算第二姿态数据相对于第一姿态数据的偏移量，而直接根据第二姿态数据确定所要显示的内容。
其中，上述计算所述第二姿态数据相对所述第一姿态数据的偏移量可以是，计算第二姿态数据对应的坐标值与第一姿态数据对应的坐标值之间的偏移量。例如：可以将第二姿态数据和第一姿态数据转换为上述AR或者VR空间坐标系中的坐标，或者上述第二姿态数据和第一姿态数据为空间姿态传感器输出的空间坐标值。
例如：上述第一姿态数据表示显示终端正视第一方向，而第二姿态数据相比第一姿态数据的偏移值为平行向左偏移5°，则上述偏移区域为第一姿态数据对应的图像向左平移5°的区域。
需要说明的是，本发明实施例中，并不限定通过根据偏移量截取第一图像，例如：还可以是预先设定第二姿态数据或者第二姿态数据对应的方向与第一图像位置的关系，确定上述第一图像。
该方式中，由于在接收到上述原始图像之后，再次预测所述显示终端在所述第一时刻和所述第二时刻之间的第二姿态数据，并根据该姿态数据截取第一图像，由于第二姿态数据的预测时间离第一图像的显示时间更近，从而使得第二姿态数据与第一图像的显示时间显示终端的姿态更加匹配，进而使得根据第二姿态数据截取的第一图像更加准确。
可选的，在上述实施方式中，所述向处理器端发送所述第一姿态数据，包括：
向处理器端发送所述第一姿态数据和眼球位置数据，所述眼球位置数据用于所述处理器端对所述原始图像中与所述眼球位置数据对应的局部图像进行优化。
其中，上述第一姿态数据和眼球位置数据可以是通过同一消息向处理器端发送的，用于表示在上述第一姿态数据下眼球位置。
其中，上述眼球位置数据可以通过眼球追踪得到，例如：眼球在眼睛中的左边、右边、上面或者下面等。而当眼球位置数据确定后，处理器端可以确定与眼球位置信息对应的局部图像，如眼球在眼睛的中间位置，则可以确定第一图像的中间区域图像为上述局部图像，如眼球在眼睛的中间偏左边的位置，则可以确定如图4所示中虚线框所示的局部图像。
另外，上述对局部图像进行优化可以是优化图像质量，例如：可以对上述局部图像进行灰度修正、图像平滑、中值滤波等方式优化图像质量。
该实施方式中，由于对原始图像中与眼球位置数据对应的局部图像进行优化，从而可以提高图像质量。
作为一种可选的实施方式，所述从所述原始图像获取第二图像，包括：
在第六时刻预测所述显示终端在所述第二时刻和所述第三时刻之间的第三姿态数据，所述第六时刻为所述第一时刻和所述第二时刻之间的时刻；
根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像。
上述第三姿态数据可以是预测的第二时刻或者第三时刻的姿态数据，或者可以是预测的第二时刻和所述第三时刻之间的任意时刻的姿态数据。例如：上述第一姿态数据为预测的显示终端在第n帧图像的姿态数据，则上述第三姿态数据可以是预测的显示终端在第n+1帧图像的姿态数据。
其中，上述根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像可以参见上述介绍的根据第二姿态数据对所述原始图像进行截取，获取第一图像，此处不作赘述。
需要说明的是，由于第三姿态数据为预测的姿态数据，从而上述第二图像也可以称作预测图像帧，即根据预测的姿态数据预测用户可以看见的图像。而上述第二图像也可以显示终端在第三姿态数据下的可见图像。
该实施方式中，由于根据所述第三姿态数据对原始图像进行截取，获取第二图像，从而可以使得第二图像更加准确。当然，本发明实施例中，并不限定通过上述第三姿态数据承载第二图像，例如：可以通过预先训练的神经网络模型预测与第一图像连续显示的第二图像。
另外，本发明实施例中，上述方法中还可以对第一图像和第二图像进行反畸变处理，例如：显示终端使用透镜产生畸变，则在在第一图像和第二图像提取后，可以对第一图像和第二图像进行反畸变处理，反畸变处理之后，再对其进行显示，以提高图像显示效果。
具体的，以图5所示的系统主要功能框架进行举例说明：
如图5所示，处理器端以60Hz向显示终端发送图像帧，而显示终端以120Hz进行图像显示，即从处理器端传输的每个图像帧均可以截取一个第一图像和第二图像。
其中，显示终端包括：
姿态侦测/预测单元(例如：姿态传感器)，用于提供显示终端当前姿态信息，以及提供下时刻姿态信息，即姿态预测；
存储模块，用于存储数据主处理设备提供的数据内容；
图像提取单元，用于依照姿态信息，得出显示图像在存储图像的位置，进行提取，即提取上述第一图像和第二图像；
反畸变处理单元，用于如显示部分使用透镜产生畸变，图像输出前进行反畸变处理进行输出。
其中，图6显示终端为头显，即头戴式显示设备，处理器端为主处理单元，以及显示终端显示第一帧、预测帧和第二帧为例进行说明，如图6所示：
显示终端通过姿态侦测/预测单元，得到第一帧姿态数据(即上述第一姿态数据)，如姿态角，传输给数据主处理设备；
处理器端接收到第一帧姿态数据，确定第一帧姿态数据下的第一图像(即该姿态下用户双眼的可见图像)，如图2虚线框部分；
处理器端选取比第一图像更大的一个范围，如图2实线框内的内容，进行图像处理，以相邻预测姿态可见范围为准，即第一帧数据包括第一图像，以及第二图像；
显示设备接收处理器端渲染好的第一帧数据，进行存储；
显示设备的侦测/预测单元提供预测帧姿态数据(即上述第二姿态数据)给图像截取与提取模块；
图像截取与提取模块截取第一帧姿态数据下第一图像，提供给显示单元(或者反畸变处理单元，再给显示单元)。其中，第一图像一般为固定位置(存储画面居中部分)；以及接收预测姿态信息，判断该预测姿态下预测帧显示数据(即第二图像)，例如：为存储画面中位置存在偏移，大小同第一帧姿态下双眼可见图像相同，提供给显示单元(或者反畸变处理单元，再给显示单元)。
之后，头戴式显示设备将第二帧姿态数据(即上述第二姿态信息后续的姿态信息)提供给数据主处理设备，其中，基于第二帧姿态数据如何进行处理，参考上述步骤，类似不再描述。
如图7所示，其中图7的上图为上述第一帧姿态数据与第二帧姿态数据对应的可见图像在场景中的位置，图7的中图为处理器端为针对这两个姿态数据渲染并传输的两个图像帧。而图7的下图表示显示终端显示的第一帧、第二帧和第三帧，其中，第二帧为预测帧(即上述第二图像，或者称作插值帧)，第三帧为上述第二帧姿态数据下的第一图像。
需要说明是，本发明实施例提供的上述图像显示方法可以应用于场景模式，即上述AR或者VR图像为AR或者VR场景图像。而针对于非场景模式，即AR或者VR图像为非场景图像时，可以如图8所示，针对静态图片、播放图片等内容刷新很慢的数据源，预测帧内容可为上一帧内容简单的复制，即将第一帧进行存储，并存储的第一帧作为预测帧显示。而针对电影等需刷新较快的播放内容，可加入动态补偿或者基于神经网络插帧算法等类似模块，得到预测帧并进行显示。
需要说明的是，图8仅是一个举例，本发明实施例提供的图像显示方法不限定于场景图像，例如：还可以应用于用户通过头戴式显示设备在同一时刻(或者同一姿态)只能看见AR或者VR图像的部分图像的其他场景。
另外，需要说明的是，本发明实施例描述的原始图像、第一图像和第二图像等图像数据对于左眼视图和右眼视图并不作限定，例如：上述原始图像、第一图像和第二图像可以是左眼视图或者右眼视图，或者上述原始图像、第一图像和第二图像即可以用作左眼视图，也可以用作右眼视图，在实际驱动过程中，可以根据左右眼视图进行对应驱动，以提高显示效果。
本发明实施例中，接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；从所述原始图像获取第一图像；在第一时刻与第二时刻之间显示所述第一图像；从所述原始图像获取第二图像；在第二时刻与第三时刻之间显示所述第二图像。这样显示终端可以从一个原始图像中获取出两个图像进行显示，从而实现根据接收的一帧图像，显示两帧图像，进而可以降低处理器端的渲染量和传输量。
请参见图9，图9是本发明实施例提供的一种图像处理方法的流程图，该方法用于处理器端，如图9所示，包括以下步骤：
步骤901、进行图像渲染，生成原始图像；
步骤902、向显示终端发送所述原始图像。
其中，上述第一图像、第二图像和原始图像可以参见图1所示的实施例的相应说明，此处不作赘述。
可选的，所述进行图像渲染，生成原始图像之前，所述方法还包括：
接收所述显示终端发送的第一姿态数据；
所述进行图像渲染，生成原始图像包括：
根据所述第一姿态数据进行图像渲染，生成原始图像。
其中，这里渲染可以是直接进行渲染，以得到包括上述第一图像和第二图像的原始图像；当然，也可以是确定上述第一图像的图像内容，并对包括该图像内容的图像进行渲染，以得到包括上述第一图像和第二图像的原始图像。例如：处理器端可以确定第一姿态数据在AR或者VR场景图像对应的坐标系中的坐标值，从而根据该坐标值确定上述第一图像。或者可以根据第一姿态数据对应的方位，确定上述第一图像，如第一姿态数据表示显示终端正视第一方位，则可以确定AR或者VR场景图像中第一方位的中心图像为上述第一图像
该实施方式中，处理器端只对原始图像的图像内容进行渲染，以及传输，从而可以进一步减少处理器端的渲染量和传输量。
可选的，所述根据所述第一姿态数据进行图像渲染，生成原始图像，包括：
根据所述第一姿态数据和预设的比例进行图像渲染，生成原始图像，其中，所述原始图像的大小比所述显示终端的显示画面大所述预设的比例。
该实施方式中，可以是根据上述第一姿态数据和预设的比例确定原始图像的图像内容，该图像内容包括上述第一图像和第二图像的图像内容。上述显示画面的大小可以是第一图像的大小，且本发明实施例中，显示终端显示的图像的画面大小可以是相同的，例如：第一图像的大小和第二图像的大小均等于上述显示界面的大小。而上述预设的比例可以是根据经验值获取的。
需要说明的是，本实施例作为图1所示的实施例对应的处理器端的实施方式，其具体的实施方式可以参见图1所示的实施例相关说明，以及达到相同的有益效果，为了避免重复说明，此处不再赘述。
请参见图10，图10是本发明实施例提供的一种显示终端的结构图，如图10所示，显示终端1000包括：
第一接收模块1001，用于接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；
获取模块1002，用于从所述原始图像获取第一图像；
显示模块1003，用于在第一时刻与第二时刻之间显示所述第一图像；
所述获取模块1002还用于从所述原始图像获取第二图像；
所述显示模块1003还用于在第二时刻与第三时刻之间显示所述第二图像。
可选的，如图11所示，所述显示终端1000还包括：
预测模块1004，用于在第四时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第一姿态数据；
第一发送模块1005，用于向处理器端发送所述第一姿态数据，所述第一姿态数据用于所述处理器端渲染所述原始图像。
可选的，获取模块1002具体用于根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像。
可选的，预测模块1004还用于在第五时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第二姿态数据，所述第五时刻是所述接收并存储处理器端发送的原始图像之后的时刻；
获取模块1002具体用于根据所述第二姿态数据对所述原始图像进行截取，获取所述第一图像。
可选的，预测模块1004还用于在第六时刻预测所述显示终端在所述第二时刻和所述第三时刻之间的第三姿态数据，所述第六时刻为所述第一时刻和所述第二时刻之间的时刻；
获取模块1002具体根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像。
需要说明的是，本实施例中，并不限定预测模块1004一定预测上述第一姿态数据，例如：一些实施方式中，预测模块1004可以只预测上述第三姿态数据。
需要说明的是，本实施例中上述显示终端1000可以实现图1所示实施例中方法实施例中任意实施方式，也就是说，图1所示实施例中方法实施例中的任意实施方式都可以被本实施例中的上述显示终端1000所实现，以及达到相同的有益效果，此处不再赘述。
请参见图12，图12是本发明实施例提供的一种处理器端的结构图，如图12所示，处理器端1200包括：
渲染模块1201，用于进行图像渲染，生成原始图像；
第二发送模块1202，用于向显示终端发送所述原始图像。
可选的，如图13所示，所述处理器端1200还包括：
第二接收模块1203，用于接收所述显示终端发送的第一姿态数据；
渲染模块1201用于根据所述第一姿态数据进行图像渲染，生成原始图像。
可选的，渲染模块1201具体用于根据所述第一姿态数据和预设的比例进行图像渲染，生成原始图像，其中，所述原始图像的大小比所述显示终端的显示画面大所述预设的比例。
需要说明的是，本实施例中上述处理器端1200可以实现图9所示实施例中方法实施例中任意实施方式，也就是说，图9所示实施例中方法实施例中的任意实施方式都可以被本实施例中的上述处理器端1200所实现，以及达到相同的有益效果，此处不再赘述。
请参见图14，图14是本发明实施例提供的另一种显示终端的结构图，如图14所示，显示终端1400，包括：存储器1401、处理器1402及存储在所述存储器1401上并可在所述处理器1402上运行的计算机程序，其中，
所述处理器1402用于读取存储器1401中的计算程序，执行下列过程：
接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像；
从所述原始图像获取第一图像；
在第一时刻与第二时刻之间显示所述第一图像；
从所述原始图像获取第二图像；
在第二时刻与第三时刻之间显示所述第二图像。
可选的，在所述接收并存储处理器端发送的原始图像之前，处理器1402还用于：
在第四时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第一姿态数据；
向处理器端发送所述第一姿态数据，所述第一姿态数据用于所述处理器端渲染所述原始图像。
可选的，处理器1402执行的所述从所述原始图像获取第一图像，包括：
根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像。
可选的，处理器1402执行的所述从所述原始图像获取第一图像，包括：
在第五时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第二姿态数据，所述第五时刻是所述接收并存储处理器端发送的原始图像之后的时刻；
根据所述第二姿态数据对所述原始图像进行截取，获取所述第一图像。
可选的，处理器1402执行的所述从所述原始图像获取第二图像，包括：
在第六时刻预测所述显示终端在所述第二时刻和所述第三时刻之间的第三姿态数据，所述第六时刻为所述第一时刻和所述第二时刻之间的时刻；
根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像。
需要说明的是，本实施例中上述显示终端1400可以实现图1所示实施例中方法实施例中任意实施方式，也就是说，图1所示实施例中方法实施例中的任意实施方式都可以被本实施例中的上述显示终端1400所实现，以及达到相同的有益效果，此处不再赘述。
请参见图15，图15是本发明实施例提供的另一种处理器端的结构图，如图15所示，处理器端1500，包括：存储器1501、处理器1502及存储在所述存储器1501上并可在所述处理器1502上运行的计算机程序，其中，
所述处理器1502用于读取存储器1501中的计算程序，执行下列过程：
进行图像渲染，生成原始图像；
向显示终端发送所述原始图像。
可选的，所述进行图像渲染，生成原始图像之前，处理器1502还用于：
接收所述显示终端发送的第一姿态数据；
处理器1502执行的进行图像渲染，生成原始图像包括：
根据所述第一姿态数据进行图像渲染，生成原始图像。
可选的，处理器1502执行的根据所述第一姿态数据进行图像渲染，生成原始图像，包括：
根据所述第一姿态数据和预设的比例进行图像渲染，生成原始图像，其中，所述原始图像的大小比所述显示终端的显示画面大所述预设的比例。
需要说明的是，本实施例中上述处理器端1500可以实现图9所示实施例中方法实施例中任意实施方式，也就是说，图9所示实施例中方法实施例中的任意实施方式都可以被本实施例中的上述处理器端1500所实现，以及达到相同的有益效果，此处不再赘述。
需要说明的是，本发明实施例中上，处理器可以是现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)，定制集成电路(Integrated Circuit，IC)或者是，微控制单元(Microcontroller Unit，MCU)等等，对此不作限定。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的图像显示方法中的步骤，或者，所述计算机程序被处理器执行时实现本发明实施例提供的图像处理方法中的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像显示方法，用于显示终端，其特征在于，包括：
接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像，所述原始图像是所述处理器端预测或者根据显示终端提供的姿态数据从AR或者VR场景图像中确定的包括第一图像和第二图像的局部图像；
从所述原始图像获取第一图像；
在第一时刻与第二时刻之间显示所述第一图像；
从所述原始图像获取第二图像；
在第二时刻与第三时刻之间显示所述第二图像；
在所述接收并存储处理器端发送的原始图像之前，所述方法还包括：
在第四时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第一姿态数据；
向处理器端发送所述第一姿态数据，所述第一姿态数据用于所述处理器端渲染所述原始图像；
所述从所述原始图像获取第一图像，包括：
根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像；
所述从所述原始图像获取第二图像，包括：
在第六时刻预测所述显示终端在所述第二时刻和所述第三时刻之间的第三姿态数据，所述第六时刻为所述第一时刻和所述第二时刻之间的时刻；
根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像；
第一图像和第二图像为显示终端连续显示的两帧图像；
所述根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像包括：
根据第一姿态对应的特定位置以及特定大小对所述原始图像进行截取，获取所述第一图像。
2.如权利要求1所述的方法，其特征在于，所述从所述原始图像获取第一图像，包括：
在第五时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第二姿态数据，所述第五时刻是所述接收并存储处理器端发送的原始图像之后的时刻；
根据所述第二姿态数据对所述原始图像进行截取，获取所述第一图像。
3.一种显示终端，其特征在于，包括：
第一接收模块，用于接收并存储处理器端发送的原始图像，所述原始图像为所述处理器端渲染生成的图像，所述原始图像是所述处理器端预测或者根据显示终端提供的姿态数据从AR或者VR场景图像中确定的包括第一图像和第二图像的局部图像；
获取模块，用于从所述原始图像获取第一图像；
显示模块，用于在第一时刻与第二时刻之间显示所述第一图像；
所述获取模块还用于从所述原始图像获取第二图像；
所述显示模块还用于在第二时刻与第三时刻之间显示所述第二图像；
所述显示终端还包括：
预测模块，用于在第四时刻预测所述显示终端在所述第一时刻和所述第二时刻之间的第一姿态数据；
第一发送模块，用于向处理器端发送所述第一姿态数据，所述第一姿态数据用于所述处理器端渲染所述原始图像；
所述获取模块根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像；
所述预测模块还用于在第六时刻预测所述显示终端在所述第二时刻和所述第三时刻之间的第三姿态数据，所述第六时刻为所述第一时刻和所述第二时刻之间的时刻；
所述获取模块具体用于根据所述第三姿态数据对所述原始图像进行截取，获取所述第二图像；
第一图像和第二图像为显示终端连续显示的两帧图像；
所述根据所述第一姿态数据对所述原始图像进行截取，获取所述第一图像包括：
根据第一姿态对应的特定位置以及特定大小对所述原始图像进行截取，获取所述第一图像。
4.一种图像处理方法，用于处理器端，其特征在于，包括：
进行图像渲染，生成原始图像；
向显示终端发送所述原始图像，所述显示终端为权利要求3所述的显示终端。
5.如权利要求4所述的方法，其特征在于，所述进行图像渲染，生成原始图像之前，所述方法还包括：
接收所述显示终端发送的第一姿态数据；
所述进行图像渲染，生成原始图像包括：
根据所述第一姿态数据进行图像渲染，生成原始图像。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一姿态数据进行图像渲染，生成原始图像，包括：
根据所述第一姿态数据和预设的比例进行图像渲染，生成原始图像，其中，所述原始图像的大小比所述显示终端的显示画面大所述预设的比例。
7.一种处理器，其特征在于，包括：
渲染模块，用于进行图像渲染，生成原始图像；
第二发送模块，用于向显示终端发送所述原始图像，所述显示终端为权利要求3所述的显示终端。
8.如权利要求7所述的处理器，其特征在于，所述处理器还包括：
第二接收模块，用于接收所述显示终端发送的第一姿态数据；
所述渲染模块用于根据所述第一姿态数据进行图像渲染，生成原始图像。
9.一种显示终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至2中任一项所述的图像显示方法中的步骤。
10.一种处理器，其特征在于，包括：存储器、存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求4至6中任一项所述的图像处理方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2中任一项所述的图像显示方法中的步骤，或者，所述计算机程序被处理器执行时实现如权利要求4至6中任一项所述的图像处理方法中的步骤。
CN201910001231.7A 2019-01-02 2019-01-02 一种图像显示方法、图像处理方法和相关设备 Active CN109743626B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910001231.7A CN109743626B (zh) 2019-01-02 2019-01-02 一种图像显示方法、图像处理方法和相关设备
PCT/CN2019/126275 WO2020140758A1 (zh) 2019-01-02 2019-12-18 图像显示方法、图像处理方法和相关设备
US16/977,806 US11574613B2 (en) 2019-01-02 2019-12-18 Image display method, image processing method and relevant devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910001231.7A CN109743626B (zh) 2019-01-02 2019-01-02 一种图像显示方法、图像处理方法和相关设备

Publications (2)

Publication Number Publication Date
CN109743626A CN109743626A (zh) 2019-05-10
CN109743626B true CN109743626B (zh) 2022-08-12

Family

ID=66363168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910001231.7A Active CN109743626B (zh) 2019-01-02 2019-01-02 一种图像显示方法、图像处理方法和相关设备

Country Status (3)

Country Link
US (1) US11574613B2 (zh)
CN (1) CN109743626B (zh)
WO (1) WO2020140758A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11543065B2 (en) 2016-09-02 2023-01-03 Zurn Industries, Llc Extruded cold-expansion compression collar
US11541581B2 (en) 2016-09-02 2023-01-03 Zurn Industries, Llc Injection molded cold-expansion compression collar
CN109743626B (zh) * 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN111586391B (zh) * 2020-05-07 2022-07-08 中国联合网络通信集团有限公司 一种图像处理方法、装置及系统
CN113630621B (zh) * 2020-05-08 2022-07-19 腾讯科技（深圳）有限公司 一种视频处理的方法、相关装置及存储介质
CN111601077A (zh) * 2020-05-08 2020-08-28 杭州海康威视数字技术股份有限公司 数据帧渲染方法及装置
CN112073632A (zh) * 2020-08-11 2020-12-11 联想(北京)有限公司 图像处理方法、设备及存储介质
CN112184575B (zh) * 2020-09-16 2024-09-13 华为技术有限公司 图像渲染的方法和装置
CN114827638B (zh) * 2021-01-21 2024-07-16 中国移动通信有限公司研究院 一种vr视频云直播方法、装置及设备
CN114040184B (zh) * 2021-11-26 2024-07-16 京东方科技集团股份有限公司 图像显示方法、系统、存储介质及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105593924A (zh) * 2013-12-25 2016-05-18 索尼公司 图像处理装置、图像处理方法、计算机程序以及图像显示系统
CN106919360A (zh) * 2017-04-18 2017-07-04 珠海全志科技股份有限公司 一种头部姿态补偿方法及装置
CN106959745A (zh) * 2016-01-12 2017-07-18 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
CN108351691A (zh) * 2015-10-26 2018-07-31 微软技术许可有限责任公司 用于虚拟图像的远程渲染

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114115A1 (ja) * 2006-03-27 2007-10-11 Pioneer Corporation 情報コードの読取装置及び読取方法並びに情報コードの表示読取システム
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
JP6268498B2 (ja) * 2015-08-27 2018-01-31 パナソニックＩｐマネジメント株式会社 警備システム及び人物画像表示方法
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和系统
KR101769071B1 (ko) * 2016-05-10 2017-08-18 네이버 주식회사 비디오 태그 제작 및 활용을 위한 방법 및 시스템
CN106127843B (zh) 2016-06-16 2019-05-17 福建数博讯信息科技有限公司 三维虚拟场景的渲染方法和装置
CN106101684A (zh) * 2016-06-30 2016-11-09 深圳市虚拟现实科技有限公司 远程全景图像实时传输和流畅显示的方法
US11017712B2 (en) * 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
WO2018056002A1 (ja) * 2016-09-26 2018-03-29 株式会社日立国際電気 映像監視システム
KR20180038175A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 가상 현실 서비스를 제공하는 서버, 디바이스 및 방법
CN106454098A (zh) 2016-10-31 2017-02-22 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN108008870A (zh) * 2016-11-01 2018-05-08 阿里巴巴集团控股有限公司 一种图像呈现方法、装置、电子设备
CN106502427B (zh) * 2016-12-15 2023-12-01 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
KR20180075732A (ko) 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10462336B2 (en) 2017-03-15 2019-10-29 Microsoft Licensing Technology, LLC Low latency tearing without user perception
CN106998409B (zh) * 2017-03-21 2020-11-27 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
US20180330169A1 (en) * 2017-05-12 2018-11-15 Google Inc. Methods and Systems for Presenting Image Data for Detected Regions of Interest
CN107247548B (zh) * 2017-05-31 2018-09-04 腾讯科技（深圳）有限公司 图像显示方法、图像处理方法及装置
CN107317987B (zh) * 2017-08-14 2020-07-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
EP3685347B1 (en) * 2017-09-22 2024-08-07 F. Hoffmann-La Roche AG Artifacts removal from tissue images
CN108537872B (zh) * 2018-03-07 2022-02-15 海信视像科技股份有限公司 一种图像渲染方法、移动设备和云端设备
CN108876700B (zh) 2018-06-01 2022-09-16 瑞芯微电子股份有限公司 一种提升vr显示效果的方法和电路
US11099381B2 (en) * 2018-08-10 2021-08-24 Varjo Technologies Oy Synchronizing light sources and optics in display apparatuses
CN109743626B (zh) 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105593924A (zh) * 2013-12-25 2016-05-18 索尼公司 图像处理装置、图像处理方法、计算机程序以及图像显示系统
CN108351691A (zh) * 2015-10-26 2018-07-31 微软技术许可有限责任公司 用于虚拟图像的远程渲染
CN106959745A (zh) * 2016-01-12 2017-07-18 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
CN106919360A (zh) * 2017-04-18 2017-07-04 珠海全志科技股份有限公司 一种头部姿态补偿方法及装置

Also Published As

Publication number Publication date
WO2020140758A1 (zh) 2020-07-09
US20200402481A1 (en) 2020-12-24
CN109743626A (zh) 2019-05-10
US11574613B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US11914147B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
US10078367B2 (en) Stabilization plane determination based on gaze location
US9978180B2 (en) Frame projection for augmented reality environments
US20180261012A1 (en) Remote Object Detection and Local Tracking using Visual Odometry
US10324523B2 (en) Rendering virtual images based on predicted head posture
US10999412B2 (en) Sharing mediated reality content
CN111627116A (zh) 图像渲染控制方法、装置及服务器
US20200241731A1 (en) Virtual reality vr interface generation method and apparatus
US20210368152A1 (en) Information processing apparatus, information processing method, and program
US10901213B2 (en) Image display apparatus and image display method
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
KR20210044506A (ko) 증강 현실 객체를 표시하는 장치 및 그 동작 방법
CN114690894A (zh) 一种实现显示处理的方法、装置、计算机存储介质及终端
WO2024020258A1 (en) Late stage occlusion based rendering for extended reality (xr)
CN111818265A (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
WO2023162504A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
US20230222741A1 (en) Video pass-through computing system
WO2021179919A1 (en) System and method for virtual fitting during live streaming
CN118433467A (zh) 视频显示方法、装置、电子设备和存储介质
CN117768599A (zh) 处理图像的方法、装置、系统、电子设备和存储介质
CN117745982A (zh) 录制视频的方法、装置、系统、电子设备和存储介质
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant