CN111586391B - 一种图像处理方法、装置及系统 - Google Patents

Abstract

本申请提供一种图像处理方法、装置及系统，涉及图像处理技术领域，通过优化图像的传输时序，缩短了图像的输出时延。该方法包括：终端在第一时刻向服务器发送第一数据和第一信号；第一数据用于表征终端在第一时刻的空间姿态；第一信号用于指示服务器渲染第一图像；第一图像为左眼图像或右眼图像。终端接收服务器发送的渲染后的第一图像，并存储于终端的帧缓冲器中，然后在第二时刻与第三时刻之间，显示渲染后的第一图像。其中，第二时刻在第一时刻之后，第三时刻在第二时刻之后，且第三时刻与第二时刻的时差等于第二时刻与第一时刻之间的时差，均小于T，T为一个图像帧的时长。

Description

一种图像处理方法、装置及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及系统。

背景技术

现有对于虚拟现实(virtual reality，VR)设备的图像处理方案为：VR设备先将渲染所需的数据发送至云服务器，云服务器对图像进行渲染后再将已经渲染的图像传输给VR设备。VR设备在接收到的渲染后的图像后会将其存储在帧缓冲器(Frame Buffer)中。

由于Frame Buffer不能同时进行写(写即是将渲染后的图像存储)和读(读即是将存储的渲染后的图像输出至显示器)两个操作，所以，目前的VR设备至少包括两个FrameBuffer。如图1所示，Frame Buffer1在前一帧中(即t1至t2之间)将渲染后的图像A存储，在后一帧中(即t2至t3之间)将存储的渲染后的图像A输出至显示器中。

这样，VR图像从图像渲染到最终输出至显示器的过程，要经过两个图像帧的时长，时延较大，会影响用户使用VR设备的体验效果。

发明内容

本申请提供一种图像处理方法、装置及系统，解决了VR图像从图像渲染到最终输出至显示器的过程时延较大，影响用户体验的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种图像处理方法，应用于终端(比如VR设备)。在T1时刻(即第一时刻)，终端会向服务器发送服务器渲染第一图像所需要的数据，包括用于表征终端在第一时刻的空间姿态的第一数据，以及用于指示服务器渲染第一图像的第一信号。其中，第一图像为左眼图像或右眼图像。T1时刻与T2时刻(即第二时刻)之间，终端接收服务器发送的渲染后的第一图像，并将渲染后的第一图像存储于终端的帧缓冲器(Frame Buffer)中。在T2时刻与T3时刻(即第三时刻)之间，终端将Frame Buffer中存储的渲染后的第一图像输出至显示器(即显示渲染后的第一图像)。其中，T3时刻在T2时刻之后，T2时刻在T1时刻之后，T3时刻与T2时刻的时差等于T2时刻与T1时刻之间的时差，且时差均小于一个图像帧的时长T。

终端是在T1时刻向服务器发送第一数据和第一信号，渲染后的第一图像是于T2时刻与T3时刻之间的某一时刻显示的。由于T1时刻与T2时刻之间的时差小于一个图像帧的时长(在本申请中，一个图像帧的时长用T表示)，而T2时刻与T3时刻之间的时差与T1时刻与T2时刻之间的时差相等，所以T1与T3时刻之间的时差小于两个图像帧的时长(2T)。

另外，为了确保在T2时刻与T3时刻之间可以显示渲染后的第一图像，终端向服务器发送的第一信号是用于指示服务器渲染单眼图像(左眼图像或右眼图像)的，终端接收到的渲染后的第一图像也是单眼图像。这样，帧缓冲器在显示左眼图像时，可以将右眼图像存储，帧缓冲器在显示左眼图像时，可以将右眼图像存储，通过这种方式帧缓冲器可以轮流显示左眼图像和右眼图像。

因此，本申请提供的图像处理方法，通过优化图像的传输时序(即轮流显示左眼图像和右眼图像)，缩短了图像的输出时延，从而可以提升用户使用VR设备的体验效果。

第二方面，本申请提供一种终端，包括：发送模块、接收模块、存储模块以及显示模块；发送模块，用于在第一时刻向服务器发送第一数据和第一信号；第一数据用于表征终端在第一时刻的空间姿态；第一信号用于指示服务器渲染第一图像；第一图像为左眼图像或右眼图像；接收模块，用于接收服务器发送的渲染后的第一图像，并存储于存储模块中；显示模块，用于在第二时刻与第三时刻之间，显示存储模块中存储的渲染后的第一图像；第二时刻在第一时刻之后；第三时刻在第二时刻之后；第二时刻与第一时刻之间的时差小于T，T为一个图像帧的时长；第三时刻与第二时刻的时差等于第二时刻与第一时刻之间的时差。

第三方面，本申请提供一种图像处理装置，包括处理器，所述处理器用于与存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面提供的图像处理方法。

可选地，该图像处理装置还可以包括存储器，该存储器用于保存该图像处理装置的程序指令和数据。

进一步可选地，该图像处理装置还可以包括收发器，该收发器用于在图像处理装置的处理器的控制下，执行收发数据、信令或信息的步骤，例如，收发器可以向服务器发送第一数据和第一信号，收发器也可以接收服务器发送的渲染后的第一图像。

可选地，该图像处理装置可以是终端，也可以是终端中的一部分装置，例如终端中的芯片系统。该芯片系统用于支持图像处理装置实现第一方面中所涉及的功能，例如，接收，发送或处理上述图像处理方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机指令在图像处理装置上运行时，使得图像处理装置执行如第一方面提供的图像处理方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在图像处理装置上运行时，使得图像处理装置执行如第一方面提供的图像处理方法。

本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

第六方面，本申请提供一种图像处理方法，应用于服务器。在T1时刻(即第一时刻)，服务器获取终端发送的用于表征终端在第一时刻的空间姿态的第一数据，并获取用于指示服务器渲染第一图像的第三信号。然后，服务器根据第一数据和第三信号渲染第一图像。服务器渲染第一图像之后，在与T1时刻的之间的时差小于T的T2时刻(即第二时刻)，获取终端发送的用于表征终端在第二时刻的空间姿态的第二数据和用于指示服务器渲染第二图像第四信号。其中，T为一个图像帧的时长。最后，服务器根据第二数据和第四信号渲染第二图像。第一图像为左眼图像或右眼图像，且当第一图像为左眼图像时，第二图像为右眼图像；当第一图像为右眼图像时，第二图像为左眼图像。

可以看出，服务器对左眼图像和右眼图像是在不同时刻进行渲染的，这样，服务器可以在不同时刻将渲染后的左眼图像和右眼图像发送给终端。这样，可以确保在缩短了图像的输出时延的同时，终端不会出现读写冲突，即终端可以在存储左眼图像时显示右眼图像，在存储右眼图像时显示左眼图像。

第七方面，本申请提供一种服务器，包括：获取模块和处理模块；获取模块，用于在第一时刻，获取终端发送的第一数据和第三信号；第一数据用于表征终端在第一时刻的空间姿态；第三信号用于指示服务器渲染第一图像；第一图像为左眼图像或右眼图像；处理模块，用于根据获取模块获取的第一数据和第三信号，渲染第一图像；获取模块，还用于在处理模块渲染第一图像之后，在第二时刻，获取终端发送的第二数据和第四信号；第二数据用于表征终端在第二时刻的空间姿态；第四信号用于指示服务器渲染第二图像；第二时刻与第一时刻之间的时差小于T，T为一个图像帧的时长；处理模块，还用于根据获取模块获取的第二数据和第四信号，渲染第二图像；当第一图像为左眼图像时，第二图像为右眼图像；当第一图像为右眼图像时，第二图像为左眼图像。

第八方面，本申请提供一种图像处理装置，包括处理器，所述处理器用于与存储器耦合，读取并执行所述存储器中的指令，以实现上述第六方面提供的图像处理方法。

可选地，该图像处理装置还可以包括存储器，该存储器用于保存该图像处理装置的程序指令和数据。

进一步可选地，该图像处理装置还可以包括收发器，该收发器用于在图像处理装置的处理器的控制下，执行收发数据、信令或信息的步骤，例如，收发器可以获取终端发送的第一数据和第一信号。

可选地，该图像处理装置可以是服务器，也可以是服务器中的一部分装置，例如是服务器中的芯片系统。该芯片系统用于支持图像处理装置实现第六方面中所涉及的功能，例如，接收，发送或处理上述图像处理方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

第九方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机指令在图像处理装置上运行时，使得图像处理装置执行如第六方面提供的图像处理方法。

第十方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在图像处理装置上运行时，使得图像处理装置执行如第六方面提供的图像处理方法。

本申请中第七方面、第八方面、第九方面以及第十方面的描述，可以参考第六方面的详细描述；并且，第七方面、第八方面、第九方面以及第十方面的描述的有益效果，可以参考第六方面的有益效果分析，此处不再赘述。

第十一方面，本申请提供一种图像处理系统，包括如第二方面提供的终端和第七方面提供的服务器。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与图像处理装置的处理器封装在一起的，也可以与图像处理装置的处理器单独封装，本申请对此不作限定。

在本申请中，上述图像处理装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本发明类似，属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供一种图像处理方法的流程示意图；

图2为本申请实施例提供另一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种图像处理系统的系统架构示意图；

图4为本申请实施例提供又一种图像处理方法的流程示意图；

图5为本申请实施例提供又一种图像处理方法的流程示意图；

图6为本申请实施例提供又一种图像处理方法的流程示意图；

图7为本申请实施例提供又一种图像处理方法的流程示意图；

图8为本申请实施例提供一种终端的结构示意图；

图9为本申请实施例提供一种服务器的结构示意图；

图10为本申请实施例提供的另一种图像处理系统的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的图像处理方法、装置及系统进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

在对本申请实施例进行详细的说明之前，先对本申请实施例的使用场景予以介绍。

虚拟现实(virtual reality，VR)图像的渲染对图形处理器(graphicsprocessing unit，GPU)的算力要求很高，而一般的VR设备的GPU并不具备大算力的条件。所以，目前会将VR设备的数据实时传输到云服务器，在云服务器进行VR图像的渲染。

如图2所示，以用户头部穿戴VR设备为例，当用户头部穿戴VR设备后，随着用户头部的转动VR设备实时采集用户头部的空间姿态(即3DOF数据)，并将采集到的3DOF数据通过基站实时传输到服务器。每隔一个图像帧的时长，VR设备会通过基站向云服务器发送垂直同步(vertical synchronization，VSYNC)信号。当云服务器接收到VSYNC信号时，会根据VSYNC信号以及实时获取的3DOF数据对VR设备的双眼图像进行渲染，然后会将渲染后的双眼图像发送到VR设备。

VR设备在接收到的渲染后的图像后会将其存储在Frame Buffer中，但是，由于Frame Buffer不能同时进行写(写即是将渲染后的图像存储)和读(读即是将存储的渲染后的图像输出至显示器)两个操作，所以，目前的VR设备至少包括两个Frame Buffer。如图1所示，在t1时刻至t2时刻之间，云服务器的云渲染Buffer将双眼图像A渲染完后，会发送给VR设备的图像接收Buffer，Frame Buffer1会将图像接收Buffer中渲染后的图像A存储，同时，在t1时刻至t2时刻之间，Frame Buffer2会将已经存储的图像B输出至显示器。在t2时刻至t3时刻之间，云服务器的云渲染Buffer将双眼图像C渲染完后，会发送给VR设备的图像接收Buffer，Frame Buffer2会将图像接收Buffer中渲染后的图像C存储，同时，在t2时刻至t3时刻之间，Frame Buffer1会将已经存储的图像A输出至显示器。其中，t1时刻与t2时刻的时差为一个图像帧的时长T，t2时刻与t3时刻的时差也等于T。

上述的图像处理方法，是通过两个Frame Buffer交替接收渲染后的图像并往显示器输出图像的。从图1中可以看出图像A从开始渲染到输出至显示器，共经过了两个图像帧的时长。所以现有的图像处理方法虽然解决了由于VR设备GPU不具备大算力的条件无法进行图像渲染的问题，但是，将渲染移至云服务器却增大了传输时延。而VR设备对于时延的要求很高，若时延过大，将会影响用户体验VR设备的体验感。

针对上述现有技术中存在的问题，本申请实施例提供了一种图像处理方法。终端向服务器发送用于指示服务器渲染单眼图像的第一信号，单眼图像从开始渲染到输出至显示器需要的时长小于2T，相比现有的图像处理方法中对双眼图像同时渲染的方案，缩短了时延。

本申请实施例提供的图像处理方法应用于图3所示的系统架构中，该系统架构包括终端01、基站02以及服务器03。

终端01，可以是用户可穿戴于头部的VR设备。示例性地，该VR设备可以包括：发送模块、接收模块(与图1中的图像接收Buffer的功能相同)、Frame Buffer、显示器以及传感器模块。

其中，发送模块可以通过基站02向服务器03发送数据/信号(比如第一数据)，接收模块可以获取服务器03发送的渲染后的图像(比如第一图像)。Frame Buffer可以将图像接收Buffer获取到的渲染后的图像(比如第一图像)输出至显示器。显示器可以显示渲染后图像(比如第一图像)。

传感器模块可以包括陀螺仪传感器、加速度传感器以及磁传感器。陀螺仪传感器可以用于确定VR设备的运动姿态。比如，可以通过陀螺仪传感器确定VR设备的旋转方向和旋转角速度。加速度传感器可以用于检测VR设备的运动方向和运动加速度。磁传感器是把磁场、电流、应力应变、温度、光等外界因素引起敏感元件磁性能变化转换成电信号，以这种方式来检测相应物理量的器件。示例性地，可以通过磁传感器测量出VR设备与东南西北四个方向的夹角。

可以理解的是，在实际应用中，VR设备还包括有其他硬件或软件系统，此处仅对本申请实施例中可能会用到的部件作以介绍，并不构成对VR设备的具体限定。

基站02，可以是5G基站、6G基站等用于终端01与服务器03之间进行通信的核心设备。

服务器03，可以是部署在用户网络边缘侧的多接入边缘计算(multi-access edgecomputing，MEC)服务器。

当然，在实际应用中，终端01也可以为其他需要进行图像渲染的可穿戴设备。基站02可以为下一代通信技术的基站，服务器03可以为与下一代通信技术的基站对应的服务器。

下面结合上述图3示出的图像处理系统对本申请实施例提供的图像处理方法进行说明。

参照图4所示，本申请实施例提供的图像处理方法包括：

S401、终端在第一时刻向服务器发送第一数据和第一信号。

其中，第一数据用于表征终端在第一时刻(对应图7中的T1)的空间姿态。示例性地，第一数据可以为3DOF数据。

以终端为可穿戴于用户头部的VR设备为例，第一数据可以包括：VR设备的旋转方向、旋转角速度、运动方向、运动加速度以及VR设备与东南西北四个方向的夹角。其中，旋转方向和旋转角速度可以通过VR设备的陀螺仪传感器测得，运动方向和运动加速度可以通过VR设备的加速度传感器测得，VR设备与东南西北四个方向的夹角可以通过VR设备的磁传感器测量出。

第一信号用于指示服务器渲染第一图像。

示例性地，第一信号可以为VSYNC信号。仍以终端为可穿戴于用户头部的VR设备为例，第一信号可以从VR设备的显示器中的芯片系统中获取。

可以理解的是，在实际应用中，第一数据和第一信号还可以通过其他方式获取，本申请实施例对此不作限定。

需要说明的是，现有的图像处理方法中，服务器在对VR图像进行渲染时，是对完整的双眼图像进行渲染。而本申请提供的图像处理方法中，服务器是对单眼图像进行渲染。所以，终端向服务器发送的第一信号，是用于指示服务器对单眼图像进行渲染的。也即是，第一图像为左眼图像或右眼图像。

还需要说明的是，本申请中所涉及的左眼图像和右眼图像的参照物需要统一。示例性地，本申请中所涉及的左眼图像和右眼图像统一以用户自身为参照物。

S402、服务器在第一时刻获取终端发送的第一数据和第三信号。

第三信号，用于指示服务器渲染第一图像。以第一信号是VSYNC信号为例，现有的图像处理方法中，服务器是根据整帧VSYNC信号对双眼图像进行渲染。而在本申请实施例中，服务器是对单眼图像进行渲染的，所以需要根据半帧VSYNC信号进行渲染。因此，服务器在第一时刻接收到终端发送的第一数据和第一信号的同时，还需要确定该第一信号是半帧VSYNC信号还是整帧VSYNC信号。

所以，可选地，如图5所示，当服务器接收到的第一信号为半帧信号时，可以直接将该第一信号作为第三信号，即步骤S402可以替换为S4021：

S4021、服务器接收终端发送的第一数据和第一信号，将第一信号确定为第三信号。

可选地，如图6所示，若服务器接收到的第一信号为整帧信号时，步骤S402可以包括S4022-S4023：

S4022、服务器接收终端发送的第一数据和第一信号。

S4023、服务器根据预设规则，从第一信号中获取第三信号。

示例性地，可以通过信号分解从第一信号中分解出半帧的第三信号。具体地，可以通过修改硬件配置或者修改软件程序实现。

需要说明的是，若第一信号为整帧信号，则终端向服务器发送第一信号的间隔时长可以与现有的图像处理方法相同，为一个图像帧的时长T。也即是服务器每间隔T接收一个第一信号。而若第一信号为半帧信号，则终端向服务器发送第一信号的间隔时长小于T(在本申请实施例中，也即是第二时刻与第一时刻之间的时差小于T)。

S403、服务器根据第一数据和第三信号，渲染第一图像。

当服务器获取到渲染所需的数据后，即可开始渲染第一图像。示例性地，服务器可以根据第一数据渲染终端在第一时刻的运动方向对应视角的图像。另外，服务器也可以根据第三信号按需进行第一图像的渲染，避免渲染多余的图像，造成资源浪费。

示例性地，在实际应用中，服务器中包括有渲染Buffer，则可以在渲染Buffer中渲染第一图像。

S404、终端接收服务器发送的渲染后的第一图像，并存储于终端的帧缓冲器中。

示例性地，终端包括有图像接收Buffer，图像接收Buffer可以接收服务器发送的渲染后的第一图像，并将该渲染后的第一图像存储于终端的帧缓冲器中。

终端从向服务器发送第一数据和第一信号到接收服务器发送的渲染后的第一图像这个过程，虽然时间很短，但是也需要一定的时长，在这个过程中，终端的空间姿态会发生很小的变化。所以，可选地，终端接收到服务器发送的渲染后的第一图像后，可以对渲染后的第一图像进行异步时间扭曲(asynchronous time warp，ATW)操作，通过ATW操作，对图像进行修正(ATW修正时也可以根据实时的3DOF数据进行修正)，然后再将修正后的图像存储入Frame Buffer中。

S405、服务器渲染第一图像之后，在第二时刻，获取终端发送的第二数据和第四信号。

其中，第二数据用于表征终端在第二时刻(对应图7中的T2)的空间姿态，第四信号用于指示服务器渲染第二图像。由于服务器需要交替对左眼图像和右眼图像进行渲染，所以，当服务器在根据第一数据和第三信号渲染的第一图像为左眼时，第二图像则为右眼图像。当然，若第一图像为右眼图像时，第二图像为左眼图像。

可选地，当终端以固定时长为周期向服务器发送半帧信号时，在第二时刻终端会向服务器发送第二数据和第二信号。其中，第二信号用于指示服务器渲染第二图像。如图5所示，则步骤S405可以替换为S4051：

S4051、服务器接收终端发送的第二数据和第二信号，将第二信号确定为第四信号。

可选地，当终端以固定时长为周期向服务器发送整帧信号时，第一信号还用于指示服务器渲染第二图像。服务器在第一时刻从第一信号中获取第三信号，在第二时刻从第一信号中获取第四信号。如图6所示，则步骤S405可以包括S4052-S4053：

S4052、服务器接收终端发送的第二数据和第一信号。

S4053、服务器根据预设规则，从第一信号中获取第四信号。

S406、服务器根据第二数据和第四信号，渲染第二图像。

S407、终端在第二时刻与第三时刻之间，显示渲染后的第一图像。

具体地，终端会将存储于终端的帧缓冲器中的渲染后的第一图像输出至显示器，也即是在显示器中显示渲染后的第一图像。

需要说明的是，第二时刻在第一时刻之后，第三时刻(对应图7中的T3)在第二时刻之后。第三时刻与第二时刻的时差等于第二时刻与第一时刻之间的时差，均小于T。

还需要说明的是，本申请实施例中，对S406和S407的顺序不做限定，S406可以在S407之前，也可以在S407之后，但均在第二时刻与第三时刻之间。

S408、终端在第二时刻与第三时刻之间，接收服务器发送的渲染后的第二图像，并存储于终端的帧缓冲器中。

需要说明的是，本申请中，对S406和S408的顺序也不做限定，S406可以在S408之前，也可以在S408之后，但均在第二时刻与第三时刻之间。

S409、终端在第三时刻与第四时刻之间，显示渲染后的第二图像。

其中，第四时刻(对应图7中的T4)在第三时刻之后，第四时刻与第三时刻的时差等于第二时刻与第一时刻之间的时差，均小于T。

需要说明的是，现有的图像处理方法中，是通过两个Frame Buffer交替往显示器输出渲染后的图像的。所以目前通用的显示机理是，在同一图像帧中，同一个Frame Buffer只有一个指令，也即是，在同一图像帧中显示器不能从不同的Frame Buffer中去获取渲染后的图像。而在本申请中，终端是在第二时刻与第三时刻之间，显示渲染后的第一图像，在第三时刻与第四时刻之间，显示渲染后的第二图像。由于第二时刻与第四时刻之间的时差小于2T，所以，第二图像与第一图像可能会在同一图像帧中显示。因此，本申请实施例中，终端只有一个Frame Buffer，可以通过修改硬件配置或者修改软件程序将一个Frame Buffer虚拟为两半部分。第一部分用于输出渲染后的第一图像，第二部分用于输出渲染后的第二图像，这样，就可以在现有的显示机理(即同一图像帧中显示器不能从不同的Frame Buffer中去获取渲染后的图像)中实现本申请提供的图像处理方法。

可选地，为了进一步缩短图像从渲染到最终输出至显示器的过程的时延较大，第二时刻与第一时刻之间的时差为T/2。对应地，第二时刻与第三时刻之间的时差也为T/2，第三时刻与第四时刻之间的时差为T/2。

另外，一个图像帧的时长T是根据由显示器每秒显示多少帧的图像决定的。示例性地，当显示器每秒显示60帧的图像，则T为16.6毫秒，T/2为8.3毫秒。当第二时刻与第一时刻之间的时差为T/2时，也即是终端每间隔8.3毫秒向服务器发送一次半帧信号。

为了更清楚地描述本申请实施例提供的图像处理方法，如图7所示，以第二时刻与第一时刻之间的时差为T/2为例，通过时间轴将各个步骤的间隔时间以及先后顺序更清晰的做以描述。图7中，时间轴的上方为终端侧的处理流程，下方为服务器侧的处理流程。其中，图7中S501与图4中的S401对应，图7中S502与图4中的S402对应，图7中S503与图4中的S403对应，图7中S504与图4中的S404对应，图7中S505与图4中的S405对应，图7中S506与图4中的S406对应，图7中S507与图4中的S407对应，图7中S508与图4中的S408对应，图7中S509与图4中的S409对应。

还需要说明的是，本申请实施例仅描述了对于第一时刻与第四时刻之间的两幅单眼图像的处理过程，在实际应用中，对于第一时刻之前，以及第四时刻之后的图像的处理过程，均可参照对于第一时刻与第四时刻之间的两幅单眼图像的处理过程。

本申请实施例提供的图像处理方法，终端是在T1时刻向服务器发送第一数据和第一信号，渲染后的第一图像是于T2时刻与T3时刻之间的某一时刻显示的。由于T1时刻与T2时刻之间的时差小于一个图像帧的时长(在本申请中，一个图像帧的时长用T表示)，而T2时刻与T3时刻之间的时差与T1时刻与T2时刻之间的时差相等，所以T1与T3时刻之间的时差小于两个图像帧的时长(2T)。另外，为了确保在T2时刻与T3时刻之间可以显示渲染后的第一图像，终端向服务器发送的第一信号是用于指示服务器渲染单眼图像(左眼图像或右眼图像)的，终端接收到的渲染后的第一图像也是单眼图像。这样，帧缓冲器在显示左眼图像时，可以将右眼图像存储，帧缓冲器在显示左眼图像时，可以将右眼图像存储，通过这种方式帧缓冲器可以轮流显示左眼图像和右眼图像。因此，本申请提供的图像处理方法，通过优化图像的传输时序(即轮流显示左眼图像和右眼图像)，缩短了图像的输出时延，从而可以提升用户使用VR设备的体验效果。

图8示出了上述实施例中所涉及的图像处理系统(即图3提供的图像处理系统)中的终端01的一种可能的结构示意图。需要说明的是，图8中未示出基站，在实际应用中，终端01与服务器03之间的信息交互都是通过基站(即图3中的基站02)实现的。该终端01包括：发送模块11、接收模块12、存储模块13以及显示模块14。

其中，发送模块11可以执行上述方法实施例中的S401，接收模块12执行上述方法实施例中的S404和S408，存储模块13可以存储接收模块12接收到的渲染后的第一图像，显示模块14执行上述方法实施例中的S407和S409。

具体地，发送模块11，用于在第一时刻向服务器03发送第一数据和第一信号。第一数据用于表征终端在第一时刻的空间姿态，第一信号用于指示服务器03渲染第一图像，第一图像为左眼图像或右眼图像。

接收模块12，用于接收服务器03发送的渲染后的第一图像，并存储于存储模块13中。

显示模块14，用于在第二时刻与第三时刻之间，显示存储模块13中存储的渲染后的第一图像。第二时刻在第一时刻之后，第三时刻在第二时刻之后。第二时刻与第一时刻之间的时差小于T，T为一个图像帧的时长，第三时刻与第二时刻的时差等于第二时刻与第一时刻之间的时差。

可选地，发送模块11，还用于在第二时刻向服务器03发送第二数据和第二信号。第二数据用于表征终端在第二时刻的空间姿态，第二信号用于指示服务器03渲染第二图像。当第一图像为左眼图像时，第二图像为右眼图像；当第一图像为右眼图像时，第二图像为左眼图像。

接收模块12，还用于接收服务器03发送的渲染后的第二图像，并存储于存储模块13中。

可选地，发送模块11，还用于在第二时刻向服务器03发送第二数据。第二数据用于表征终端在第二时刻的空间姿态，第一信号还用于指示服务器03渲染第二图像。

接收模块12，还用于在第二时刻与第三时刻之间，接收服务器03发送的渲染后的第二图像，并存储于终端的存储模块13中。

显示模块14，还用于在第三时刻与第四时刻之间，显示存储模块13存储的渲染后的第二图像。第四时刻在第三时刻之后，第四时刻与第三时刻的时差等于第二时刻与第一时刻之间的时差。

可选地，第二时刻与第一时刻之间的时差为T/2。

图9示出了上述实施例中所涉及的图像处理系统中的服务器03的一种可能的结构示意图。图9中也未示出基站，可参照前述对于图8的描述。该服务器03包括：获取模块31和处理模块32。

其中，获取模块31执行上述方法实施例中的S402和S405，处理模块32执行上述方法实施例中的S403和S406。

具体地，获取模块31，用于在第一时刻，获取终端01发送的第一数据和第三信号。第一数据用于表征终端01在第一时刻的空间姿态，第三信号用于指示服务器03渲染第一图像，第一图像为左眼图像或右眼图像。

处理模块32，用于根据获取模块31获取的第一数据和第三信号，渲染第一图像。

获取模块31，还用于在处理模块32渲染第一图像之后，在第二时刻，获取终端01发送的第二数据和第四信号。第二数据用于表征终端01在第二时刻的空间姿态，第四信号用于指示服务器03渲染第二图像。第二时刻与第一时刻之间的时差小于T，T为一个图像帧的时长。当第一图像为左眼图像时，第二图像为右眼图像；当第一图像为右眼图像时，第二图像为左眼图像；

处理模块32，还用于根据获取模块31获取的第二数据和第四信号，渲染第二图像。

可选地，获取模块31具体用于：接收终端01发送的第一数据和第一信号，将第一信号作为第三信号。

或者，获取模块31具体用于：接收终端01发送的第一数据和第一信号；根据预设规则，从第一信号中获取第三信号。此时，服务器03每间隔T接收一个第一信号。

可选地，获取模块31具体还用于：接收终端01发送的第二数据和第二信号，将第二信号作为第四信号。

或者，获取模块31具体还用于：接收终端01发送的第二数据和第一信号；根据预设规则，从第一信号中获取第四信号。此时，服务器03每间隔T接收一个第一信号。

可选地，第二时刻与第一时刻之间的时差为T/2。

如图10所示，本申请实施例提供一种图像处理装置，包括存储器41、处理器42、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当图像处理装置运行时，处理器42执行存储器41存储的计算机执行指令，使图像处理装置执行如上述实施例提供的应用于终端的图像处理方法或执行如上述实施例提供的应用于服务器的图像处理方法。

在具体的实现中，作为一种实施例，处理器42(42-1和42-2)可以包括一个或多个中央处理器(central processing unit，CPU)，例如图10中所示的CPU0和CPU1。且作为一种实施例，图像处理装置可包括多个处理器42，例如图10中所示的处理器42-1和处理器42-2。这些处理器42中的每一个CPU可以是一个单核处理器(single-CPU)，也可是一个多核处理器(multi-CPU)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器41可以是只读存储器41(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。

在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，图像处理装置的各种功能。

通信接口44，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。

总线43，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为一个示例，结合图8，终端中的接收模块实现的功能与图10中的接收单元实现的功能相同，终端中的显示模块实现的功能与图10中的处理器实现的功能相同，终端中的存储模块实现的功能与图10中的存储器实现的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的应用于终端的图像处理方法或执行如上述实施例提供的应用于服务器的图像处理方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性地存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (17)

1.一种图像处理方法，应用于终端，其特征在于，包括：

在第一时刻向服务器发送第一数据和第一信号；所述第一数据用于表征所述终端在第一时刻的空间姿态；所述第一信号用于指示所述服务器渲染第一图像；

所述第一图像为左眼图像或右眼图像；接收到服务器发送的渲染后的第一图像后，对所述渲染后的第一图像进行异步时间扭曲操作，然后存储于所述终端的帧缓冲器中；

在第二时刻与第三时刻之间，显示所述渲染后的第一图像；所述第二时刻在所述第一时刻之后；所述第三时刻在所述第二时刻之后；所述第二时刻与所述第一时刻之间的时差小于T，T为一个图像帧的时长；所述第三时刻与所述第二时刻的时差等于所述第二时刻与所述第一时刻之间的时差；

所述终端只有一个Frame Buffer，将所述Frame Buffer虚拟为两半部分；第一部分用于输出渲染后的第一图像，第二部分用于输出渲染后的第二图像；

所述图像处理方法还包括：

在第二时刻向所述服务器发送第二数据和第二信号；所述第二数据用于表征所述终端在第二时刻的空间姿态；所述第二信号用于指示所述服务器渲染第二图像；当所述第一图像为左眼图像时，所述第二图像为右眼图像；当所述第一图像为右眼图像时，所述第二图像为左眼图像；

接收所述服务器发送的渲染后的第二图像，并存储于所述帧缓冲器中。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：在所述第二时刻向所述服务器发送第二数据；所述第二数据用于表征所述终端在第二时刻的空间姿态；所述第一信号还用于指示所述服务器渲染第二图像，所述图像处理方法还包括：

在所述第二时刻与所述第三时刻之间，接收所述服务器发送的渲染后的第二图像，并存储于所述终端的帧缓冲器中；

在所述第三时刻与第四时刻之间，显示所述渲染后的第二图像；所述第四时刻在所述第三时刻之后；所述第四时刻与所述第三时刻的时差等于所述第二时刻与所述第一时刻之间的时差。

3.根据权利要求1-2任一项所述的图像处理方法，其特征在于，所述第二时刻与所述第一时刻之间的时差为T/2。

4.一种图像处理方法，应用于服务器，其特征在于，包括：

在第一时刻，获取终端发送的第一数据和第三信号；所述第一数据用于表征所述终端在第一时刻的空间姿态；所述第三信号用于指示所述服务器渲染第一图像；所述第一图像为左眼图像或右眼图像；

根据所述第一数据和所述第三信号，渲染第一图像；

渲染第一图像之后，在第二时刻，获取所述终端发送的第二数据和第四信号；所述第二数据用于表征所述终端在第二时刻的空间姿态；所述第四信号用于指示所述服务器渲染第二图像；所述第二时刻与第一时刻之间的时差小于T，T为一个图像帧的时长；当所述第一图像为左眼图像时，所述第二图像为右眼图像；当所述第一图像为右眼图像时，所述第二图像为左眼图像；

根据所述第二数据和所述第四信号，渲染第二图像。

5.根据权利要求4所述的图像处理方法，其特征在于，所述获取终端发送的第一数据和第三信号包括：

接收所述终端发送的第一数据和第一信号，将所述第一信号确定为第三信号；

或者；

接收所述终端发送的第一数据和第一信号；根据预设规则，从所述第一信号中获取第三信号；所述服务器每间隔T接收一个所述第一信号。

6.根据权利要求4所述的图像处理方法，其特征在于，所述获取所述终端发送的第二数据和第四信号包括：

接收所述终端发送的第二数据和第二信号，将所述第二信号确定为第四信号；

或者；

接收所述终端发送的第二数据和第一信号；根据预设规则，从所述第一信号中获取第四信号；所述服务器每间隔T接收一个所述第一信号。

7.根据权利要求4-6任意一项所述的图像处理方法，其特征在于，所述第二时刻与第一时刻之间的时差为T/2。

8.一种终端，其特征在于，包括：发送模块、接收模块、存储模块以及显示模块；

所述发送模块，用于在第一时刻向服务器发送第一数据和第一信号；所述第一数据用于表征所述终端在第一时刻的空间姿态；所述第一信号用于指示所述服务器渲染第一图像；所述第一图像为左眼图像或右眼图像；

所述接收模块，用于接收到服务器发送的渲染后的第一图像后，对所述渲染后的第一图像进行异步时间扭曲操作，然后存储于所述终端的帧缓冲器中；

所述显示模块，用于在第二时刻与第三时刻之间，显示所述存储模块中存储的所述渲染后的第一图像；所述第二时刻在所述第一时刻之后；所述第三时刻在所述第二时刻之后；所述第二时刻与第一时刻之间的时差小于T，T为一个图像帧的时长；所述第三时刻与所述第二时刻的时差等于所述第二时刻与所述第一时刻之间的时差；所述终端只有一个FrameBuffer，将所述Frame Buffer虚拟为两半部分；第一部分用于输出渲染后的第一图像，第二部分用于输出渲染后的第二图像；

所述发送模块，还用于在第二时刻向所述服务器发送第二数据和第二信号；所述第二数据用于表征所述终端在第二时刻的空间姿态；所述第二信号用于指示所述服务器渲染第二图像；当所述第一图像为左眼图像时，所述第二图像为右眼图像；当所述第一图像为右眼图像时，所述第二图像为左眼图像；

所述接收模块，还用于接收所述服务器发送的渲染后的第二图像，并存储于所述存储模块中。

9.根据权利要求8所述的终端，其特征在于，所述发送模块，还用于在所述第二时刻向所述服务器发送第二数据；所述第二数据用于表征所述终端在第二时刻的空间姿态；所述第一信号还用于指示所述服务器渲染第二图像，

所述接收模块，还用于在所述第二时刻与所述第三时刻之间，接收所述服务器发送的渲染后的第二图像，并存储于所述终端的存储模块中；

所述显示模块，还用于在所述第三时刻与第四时刻之间，显示所述存储模块存储的所述渲染后的第二图像；所述第四时刻在所述第三时刻之后；所述第四时刻与所述第三时刻的时差等于所述第二时刻与所述第一时刻之间的时差。

10.根据权利要求8-9任一项所述的终端，其特征在于，所述第二时刻与第一时刻之间的时差为T/2。

11.一种服务器，其特征在于，包括：获取模块和处理模块；

所述获取模块，用于在第一时刻，获取终端发送的第一数据和第三信号；所述第一数据用于表征所述终端在第一时刻的空间姿态；所述第三信号用于指示所述服务器渲染第一图像；所述第一图像为左眼图像或右眼图像；

所述处理模块，用于根据所述获取模块获取的所述第一数据和所述第三信号，渲染第一图像；

所述获取模块，还用于在所述处理模块渲染第一图像之后，在第二时刻，获取终端发送的第二数据和第四信号；所述第二数据用于表征所述终端在第二时刻的空间姿态；所述第四信号用于指示所述服务器渲染第二图像；所述第二时刻与第一时刻之间的时差小于T，T为一个图像帧的时长；当所述第一图像为左眼图像时，所述第二图像为右眼图像；当所述第一图像为右眼图像时，所述第二图像为左眼图像；

所述处理模块，还用于根据所述获取模块获取的所述第二数据和所述第四信号，渲染第二图像。

12.根据权利要求11所述的服务器，其特征在于，所述获取模块具体用于：

接收所述终端发送的第一数据和第一信号，将所述第一信号确定为第三信号；

或者；

接收所述终端发送的第一数据和第一信号；根据预设规则，从所述第一信号中获取第三信号；所述服务器每间隔T接收一个所述第一信号。

13.根据权利要求11所述的服务器，其特征在于，所述获取模块具体还用于：

接收所述终端发送的第二数据和第二信号，将所述第二信号确定为第四信号；

或者；

接收所述终端发送的第二数据和第一信号；根据预设规则，从所述第一信号中获取第四信号；所述服务器每间隔T接收一个所述第一信号。

14.根据权利要求11-13任一项所述的服务器，其特征在于，所述第二时刻与第一时刻之间的时差为T/2。

15.一种图像处理装置，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；

当所述图像处理装置运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述图像处理装置执行如权利要求1-3任意一项所述的图像处理方法，或执行如权利要求4-7任意一项所述的图像处理方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-3任意一项所述的图像处理方法，或执行如权利要求4-7任意一项所述的图像处理方法。

17.一种图像处理系统，其特征在于，包括如权利要求8-10任一项所述的终端和如权利要求11-14任一项所述的服务器。

Images