CN114302125B - 图像处理方法及装置、计算机可读存储介质 - Google Patents

Abstract

一种图像处理方法及装置、计算机可读存储介质，所述图像处理方法包括：显示第i视频帧时，检测到用户的触发操作；响应于所述触发操作，且检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，向所述云侧设备发送第一指示信息，所述第一指示信息用于指示所述云侧设备对第i+1视频帧进行图像渲染处理；接收并显示所述云侧设备发送的经过图像渲染处理的第i+1视频帧。上述方案能够降低云VR装置的MTP时延，减少显示卡顿的情况出现。

Description

图像处理方法及装置、计算机可读存储介质

技术领域

本发明涉及VR技术领域，尤其涉及一种图像处理方法及装置、计算机可读存储介质。

背景技术

传统的虚拟现实(Virtual Reality，VR)设备由于运算量大导致头显沉重且功耗大热量高，影响用户体验。

现有技术中，存在一种VR场景下端云协同的全新模式，由云侧设备对视频帧进行渲染、流化等处理，并将处理结果发送至云VR装置，由云VR装置显示处理结果，在一定程度上降低了云VR装置的重量和功耗。

然而，由于云侧设备对视频帧进行处理需要一定的时间，且数据在蜂窝网络和无线局域网传输、编解码过程中会存在较长的运动到成像(Motion To Photons，MTP)时延，导致云VR装置的MTP时延较高，显示存在卡顿的现象。

发明内容

本发明实施例解决的是云VR装置的MTP时延较高，显示存在卡顿的现象的技术问题。

为解决上述技术问题，本发明实施例提供一种图像处理方法，包括：显示第i视频帧时，检测到用户的触发操作；响应于所述触发操作，且检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，向所述云侧设备发送第一指示信息，所述第一指示信息用于指示所述云侧设备对第i+1视频帧进行图像渲染处理；接收并显示所述云侧设备发送的经过图像渲染处理的第i+1视频帧。

可选的，所述图像处理方法还包括：在检测到与云侧设备之间的网络信号质量不满足所述视频帧上报需求时，对所述第i+1个视频帧进行图像渲染处理，并显示经过图像渲染处理的第i+1视频帧。

可选的，在对所述第i+1个视频帧进行图像渲染处理之前，还包括：确定本地负载不大于第一阈值。

可选的，所述图像处理方法还包括：若确定所述本地负载大于所述第一阈值，扭曲显示所述第i+1视频帧。

可选的，所述图像处理方法还包括：检测到与云侧设备之间的网络信号质量不满足所述视频帧上报需求时，对第一视频帧集合中的第i视频帧进行图像渲染处理；若第i+1视频帧位于第二视频帧集合中，则向所述云侧设备发送第二指示信息，所述第二指示信息用于指示所述云侧设备对第i+1视频帧及其之后的M-1个视频帧进行图像渲染处理；接收并显示所述云侧设备发送的经过图像渲染处理的第i+1帧及其之后的M-1个视频帧；若第i+1视频帧位于第一视频帧集合中，则对所述第i+1视频帧进行图像渲染处理并显示；所述第一视频帧集合包括本地执行图像渲染处理的视频帧，所述第二视频帧集合包括由所述云侧设备执行图像渲染处理的视频帧。

可选的，所述第一视频帧集合与所述第二视频帧集合中的视频帧为预先分配的。

可选的，根据预设的调整条件，对所述第一视频帧集合与所述第二视频帧集合中的视频帧数目进行调整；所述预设的调整条件包括如下至少一种：与所述云侧设备之间的信道质量、网络服务质量、流量资费信息以及本地算力。

本发明实施例还提供了另一种图像处理方法，包括：显示第i视频帧时，检测到用户的触发操作；响应于所述触发操作，根据流量资费信息以及本地算力，确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对所述第i+1视频帧进行第二图像渲染处理，并向所述云侧设备发送指示对所述第i+1视频帧进行第二图像渲染处理的第三指示信息；对所述第i+1视频帧进行第一图像渲染处理，并接收所述云侧设备发送的经过第二图像渲染处理的第i+1视频帧；对经过第一图像渲染处理的第i+1视频帧与经过第二图像渲染处理的第i+1视频帧进行合并，并显示合并后的第i+1视频帧；所述第一图像渲染处理与所述第二图像渲染处理为丰富细节模型处理与基本细节模型处理中一种。

可选的，所述确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对所述第i+1视频帧进行第二图像渲染处理，包括：若所述流量资费信息对应的流量资费未达到预定资费值，且所述本地算力低于预设阈值，则确定所述第一图像渲染处理为丰富细节模型处理，所述第二图像渲染处理为丰富细节模型处理；若所述流量资费信息对应的流量资费未达到预定资费值，且所述本地算力高于预设阈值，则确定所述第一图像渲染处理为基本细节模型处理，所述第二图像渲染处理为丰富细节模型处理；若所述流量资费信息对应的流量资费达到所述预定资费值，且所述本地算力低于所述预设阈值，则确定所述第一图像渲染处理为丰富细节模型处理，所述第二图像渲染处理为基本细节模型处理；若所述流量资费信息对应的流量资费达到所述预定资费值，且所述本地算力高于所述预设阈值，则确定所述第一图像渲染处理为基本细节模型处理，所述第二图像渲染处理为基本细节模型处理。

可选的，所述图像处理方法还包括：若未接收到所述合并后的第i+1视频帧，则扭曲显示所述第i+1视频帧。

本发明实施例还提供了一种图像检测装置，包括：第一检测单元，用于显示第i视频帧时，检测用户的触发操作；第一发送单元，用于响应于所述触发操作，且检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，向所述云侧设备发送第一指示信息，所述第一指示信息用于指示所述云侧设备对第i+1视频帧进行图像渲染处理；第一接收单元，用于接收并显示所述云侧设备发送的经过图像渲染处理的第i+1视频帧。

本发明实施例还提供了另一种图像检测装置，包括：第二检测单元，用于显示第i视频帧时，检测用户的触发操作；第一确定单元，用于响应于所述触发操作，根据流量资费信息以及本地算力，确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对所述第i+1视频帧进行第二图像渲染处理；第二发送单元，用于向所述云侧设备发送指示对所述第i+1视频帧进行第二图像渲染处理的第三指示信息；第一图像处理单元，用于对所述第i+1视频帧进行第一图像渲染处理；第二接收单元，用于接收所述云侧设备发送的经过第二图像渲染处理的第i+1视频帧；合并单元，用于对经过第一图像渲染处理的第i+1视频帧与经过第二图像渲染处理的第i+1视频帧进行合并，并显示合并后的第i+1视频帧；所述第一图像渲染处理与所述第二图像渲染处理为丰富细节模型处理与基本细节模型处理中一种。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一种所述的图像处理方法的步骤。

本发明实施例还提供了另一种图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种所述的图像处理方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

当检测到用户的触发操作时，若检测到与云侧设备之间的网络信号质量较优，则由云侧设备对第i+1视频帧进行图像渲染处理，并接收经过图像渲染处理后的第i+1视频帧。通过云侧设备对视频帧进行处理，充分利用云侧设备的算力，在降低云VR装置的MTP时延的同时，大大降低对本地云VR装置的算力需求。

进一步，若检测到与云侧设备之间的网络信号质量较差，则通过本地算力对第i+1视频帧进行图像渲染处理，可以大大降低云VR装置的MTP时延。

此外，对第一视频帧集合以及第二视频帧集合中的视频帧数目进行动态调整，在云VR装置能够使用的本地算力较强时，可以适当提高第一视频帧集合的视频帧个数并相应减少第二视频帧集合的视频帧个数，进一步降低云VR装置的MTP时延。当云VR装置能够使用的本地算力较弱时，可以适当降低第一视频帧集合的视频帧个数并相应增加第二视频帧集合的视频帧个数，在一定程度上提高云VR装置显示画面的画质。

在检测到用户的触发操作时，根据资费信息以及云VR装置能够使用的本地算力，来确定由云VR装置与云侧设备对第i+1视频帧进行的图像渲染处理方式，可以灵活地根据资费信息以及云VR装置能够使用的本地算力，提高显示画面的画质。

附图说明

图1是本发明实施例中的一种图像处理方法的流程图；

图2是本发明实施例中的一种视频帧的分布示意图；

图3是本发明实施例中的另一种图像处理方法的流程图；

图4是本发明实施例中的一种图像处理装置的结构示意图；

图5是本发明实施例中的另一种图像处理装置的结构示意图。

具体实施方式

如上述背景技术中所述，现有技术中，云VR装置的MTP时延较高，显示存在卡顿的现象。

在本发明实施例中，当检测到用户的触发操作时，若检测到与云侧设备之间的网络信号质量较优，则可以由云侧设备对第i+1视频帧进行图像渲染处理，并接收经过图像渲染处理后的第i+1视频帧。通过云侧设备对视频帧进行处理，充分利用云侧设备的算力，在降低云VR装置的MTP时延的同时，大大降低对本地云VR装置的算力需求。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本发明实施例提供了一种图像处理方法，参照图1，以下通过具体步骤进行详细说明。

在具体实施中，所述的图像处理方法可以由云VR装置中的控制芯片(如CPU芯片)所执行，或者由云VR装置中包括控制芯片的芯片模组所执行。

步骤S101，显示第i视频帧时，检测到用户的触发操作。

在具体实施中，可以实时检测佩戴云VR装置的用户是否触发视频帧更新的操作。针对不同类型的云VR装置，用户对应的触发操作可能相同或不同。

例如，针对某一类型的云VR装置，当检测到用户点头操作时，确定检测到用户的触发操作；或者，当检测到用户左右摇头时，确定检测到用户的触发操作。

在具体应用中，检测用户是否存在触发操作的具体规则可以根据不同的云VR装置进行对应设置，本发明实施例对此不作具体描述。

在本发明实施例中，在云VR装置显示第i视频帧时，若检测到用户的触发操作，则可以执行下述步骤S102。

步骤S102，响应于所述触发操作，且检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，向云侧设备发送第一指示信息。

在具体实施中，可以实时检测获取云VR装置与云侧设备之间的通信网络质量。通信网络质量可以通过空口信道的误块率(Block Error Rate，BLER)、信干噪比(Signal toInterference plus Noise Rate，SINR)、网络服务质量(quality of service，QoS)等中的任一种或多种来表征。可以理解的是，通信网络质量还可以为其他能够表征通信质量优劣的参数进行表征。

在本发明实施例中，当空口信道的BLER小于一预设误块率阈值，SINR大于一预设信干噪比阈值，且网络服务质量能够满足吞吐量、时延、丢包率等要求时，即可确定云VR装置与云侧设备之间的通信网络质量大于预设质量阈值。在确定云VR装置与云侧设备之间的通信网络质量大于预设质量阈值时，可以确定满足上报视频帧需求；反之，在确定云VR装置与云侧设备之间的通信网络质量小于预设质量阈值时，确定不满足上报视频帧需求。

例如，当空口信道的BLER小于1％，SINR大于-3dB，且网络服务质量的吞吐量、时延和丢包率等指标均正常时，即可确定云VR装置与云侧设备之间的通信网络质量较优。

相应地，当空口信道的BLER大于或等于一预设误块率阈值，SINR小于或等于一预设信干噪比阈值，且网络服务质量无法满足吞吐量、时延、丢包率等中的任一要求时，即可确定云VR装置与云侧设备之间的通信网络质量低预设质量阈值，也即云VR装置与云侧设备之间的通信网络质量一般或较差。

例如，当空口信道的BLER≥1％，SINR≤-3dB，且网络服务质量无法满足时延和丢包率的指标时，即可确定云VR装置与云侧设备找时间的通信网络质量一般或较差。

需要说明的是，上述示例仅为判断云VR装置与云侧设备之间的通信网络质量的一个具体示例。在具体实施中，BLER阈值、SINR阈值均可以设置为其他值，并不仅限于上述示例。

在本发明实施例中，当云VR装置检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，云VR装置可以向云侧设备发送第一指示信息，第一只是信息可以用于指示云侧设备对第i+1视频帧进行图像渲染处理。

也就是说，当云VR装置在检测到与云侧设备之间的网络信号质量较优时，可以指示云侧设备对第i+1视频帧进行图像渲染处理。

云侧设备在接收到第一指示信息后，即可对第i+1视频帧进行图像渲染处理。云侧设备对第i+1视频帧进行图像渲染处理的具体算法及过程可以参照现有技术，本发明实施例不做赘述。

步骤S103，接收并显示云侧设备发送的经过图像渲染处理的第i+1视频帧。

在具体实施中，云VR装置可以接收云侧设备发送的经过图像渲染处理后的第i+1视频帧，并且显示经过图像渲染处理后的第i+1视频帧。

也就是说，当检测到云VR装置与云侧设备之间的通信网络质量较好时，可以仅由云侧设备对所有的视频帧进行渲染处理，而云VR装置可以不对视频帧进行渲染处理。

可见，当检测到与云侧设备之间的网络信号质量较优时，则由云侧设备对第i+1视频帧进行图像渲染处理，并接收经过图像渲染处理后的第i+1视频帧。由于与云侧设备之间的网络信号质量较优，故云VR装置与云侧设备之间的通信延迟较低，充分利用云侧设备计算能力强的优点对视频帧进行渲染处理，可以在满足帧率、清晰度和感知度的同时，降低云VR装置的计算负荷和功耗，并降低对本地云VR装置的算力需求。

在具体实施中，当检测到云VR装置与云侧设备之间的通信网络质量低于预设质量阈值时，即可确定云VR装置与云侧设备之间的网络质量一般或较差，可能无法满足低时延的要求。

在本发明实施例中，当云VR装置检测到其与云侧设备之间的网络质量一般或较差时，可以确定与云侧设备之间的网络信号质量不满足视频帧上报需求。此时，若由云侧设备对第i+1视频帧进行图像渲染处理，则由于云VR装置与云侧设备之间的网络质量较差，会导致云VR装置的MTP较高。

为降低云VR装置的MTP，可以由云VR装置对第i+1视频帧进行图像渲染处理，并显示经过图像渲染处理的第i+1视频帧。

也就是说，在确定与云侧设备之间的网络信号质量不满足视频帧上报需求时，可以仅由云VR装置对视频帧进行图像渲染处理，而无需云侧设备参与视频帧的图像渲染处理。

通过云VR装置对视频帧进行处理，由于云VR装置无需与云侧设备进行通信，故可以大大降低云VR装置的MTP时延。

但是，由于需要云VR装置对第i+1视频帧进行图像渲染处理，故相应地可能会对云VR装置的本地算力的要求较高。

若云VR装置对应的本地负载较高(也即云VR装置能够使用的本地算力较低)，则云VR装置可能无法对第i+1视频帧进行图像渲染处理，或者无法及时地对第i+1视频帧进行图像渲染处理。因此，在检测到与云侧设备之间的网络信号质量不满足视频帧上报的需求后，在对第i+1个视频帧进行图像渲染处理之前，还可以先确定云VR装置对应的本地负载不大于第一阈值。

在本发明实施例中，可以根据云VR装置的工作能力来设定第一阈值。第一阈值可以表征为云VR装置能够正常且及时地对视频帧进行图像渲染处理的最高负载。换而言之，若云VR装置的本地负载大于第一阈值，则表征云VR装置无法正常且及时地对视频帧进行图像渲染处理。

若云VR装置的本地负载大于第一阈值，则云VR装置可以扭曲显示第i+1视频帧。具体而言，云VR装置可以采用异步时间扭曲(ATW)技术进行显示，也可以在一定程度上缓解显示卡顿的情况。

在本发明实施例中，当云VR装置检测到其与云侧设备之间的网络质量一般或较差时，可以确定与云侧设备之间的网络信号质量不满足视频帧上报需求。此时，可以由云VR装置对第i视频帧进行图像渲染处理，并显示经过图像渲染处理的第i视频帧。

在对第i+1视频帧进行图像渲染处理时，若第i+1视频帧位于第二视频帧集合中，则云VR装置可以向云侧设备发送第二指示信息，第二指示信息可以用于指示云侧设备对第i+1视频帧及其之后的M-1个视频帧进行图像渲染处理。云侧设备在接收到第二指示信息之后，可以对第i+1视频帧及其之后的M-1个视频帧进行图像渲染处理，并将经过图像渲染处理的第i+1视频帧及其之后的M-1个视频帧发送至云VR装置，由云VR装置显示经过图像渲染处理之后的第i+1视频帧及其之后的M-1个视频帧。

若第i+1视频帧位于第一视频帧集合中，则对第i+1视频帧进行图像渲染处理，并显示第i+1视频帧。

在本发明实施例中，第一视频帧集合包括的视频帧指的是云VR装置在本地执行图像渲染处理的视频帧；第二视频帧集合包括的视频帧指的是由云侧设备执行图像渲染处理的视频帧。

在具体实施中，第一视频帧集合中的视频帧与第二视频帧集合中的视频帧可以是预先分配的。

参照图2，给出了本发明实施例中的一种视频帧的分布示意图。

图2中，L1表示第1时刻由云VR装置进行渲染处理的视频帧LF的集合，也即第一视频帧集合。M1表示第1时刻由云侧设备进行渲染处理的视频帧CF的集合。

相应地，L2表示第2时刻由云VR装置进行渲染处理的视频帧LF的集合，M2表示第2时刻由云侧设备进行渲染处理的视频帧CF的集合。以此类推，Li表示当前时刻之后的第i时刻由云VR装置进行渲染处理的视频帧LF的集合，Mi表示当前时刻之后的第i时刻由云侧设备进行渲染处理的视频帧CF的集合。

参照图2，在时间轴上，若第i个视频帧为L1的最后一个视频帧，第i+1个视频帧为L2的第一个视频帧，L2包括M个视频帧，则由云侧设备对L2所包括的M个视频帧进行图像渲染处理。若第i个视频帧并不是L1的最后一个视频帧，则继续由本地VR装置对第i+1个视频帧进行图像渲染处理。

例如第i个视频帧为L1中的第2个视频帧，且L1包括4个视频帧，则继续由地VR装置对第3个视频帧进行图像渲染处理。

不同视频帧集合所包括的视频帧的个数可以相等或不等。例如，每一个视频帧集合所包含的视频帧的个数均相等，也即L1包含的视频帧的个数、M1包含的视频帧的个数、L2包含的视频帧的个数、……、Li包含的视频帧的个数、Mi包含的视频帧的个数均相等。

又如，L1、L2、……、Li包含的视频帧的个数均为4，M1、M2、……、Mi包含的视频帧的个数均为6。或者，L1包含的视频帧的个数为4，L2包含的视频帧的个数为2，……，Li包含的视频帧的个数为3。

在具体实施中，可以根据实际的应用场景来设定不同视频帧集合包括的视频帧个数。

在具体实施中，第一视频帧集合中的视频帧与第二视频帧集合中的视频帧也可以被动态调整。

在本发明实施例中，可以根据预设的调整条件，对第一视频帧集合中的视频帧个数与第二视频帧集合中的视频帧个数进行调整。预设的调整条件可以包括如下一种或多种：云VR装置与云侧设备之间的信号质量、网络服务质量、流量资费信息以及云VR装置能够使用的本地算力。

在本发明实施例中，当云VR装置能够使用的本地算力(通常包括云VR装置的CPU的运算能力和/或GPU的运算能力)较高，且检测到与云侧设备之间的通信网络质量低于预设质量阈值时，可以适当增加由云VR装置进行渲染处理的视频帧的个数，并相应减少由云侧设备进行渲染处理的视频帧的个数。

例如，云VR装置对应的本地算力较高。在第1时刻，由云VR装置进行渲染处理的视频帧的个数为4，由云侧设备进行渲染处理的视频帧的个数为4。在第2时刻，云VR装置检测到空口信道BLER的值大于预设的BLER阈值，则由云VR装置进行渲染处理的视频帧的个数调整为5，由云侧设备进行渲染处理的视频帧的个数调整为3。

又如，云VR装置对应的本地算力较高。在第1时刻，由云VR装置进行渲染处理的视频帧的个数为4，由云侧设备进行渲染处理的视频帧的个数为4。在第2时刻，云VR装置检测到当前流量资费快要达到预设限值，则由云VR装置进行渲染处理的视频帧的个数调整为6，由云侧设备进行渲染处理的视频帧的个数调整为2。

在本发明实施例中，当云VR装置对应的本地算力较低，且检测到与云侧设备之间的通信网络质量低于预设质量阈值时，由于云VR装置对较多的视频帧进行渲染处理可能会导致显示出现卡顿的情况，故可以相应增加云侧设备进行渲染处理的视频帧的个数，并相应减少云VR装置进行渲染处理的视频帧的个数。

例如，云VR装置对应的本地算力较低。在第1时刻，由云VR装置进行渲染处理的视频帧的个数为3，由云侧设备进行渲染处理的视频帧的个数为5。在第2时刻，云VR装置检测到当前流量资费足够，由云VR装置进行渲染处理的视频帧的个数调整为2，由云侧设备进行渲染处理的视频帧的个数调整为6。

在具体实施中，也可以根据通信网络质量的变化程度，对云VR装置与云侧设备进行渲染处理的视频帧的个数进行调整。

例如，在第1时刻，由云VR装置进行渲染处理的视频帧的个数为4，由云侧设备进行渲染处理的视频帧的个数为4。在第2时刻，云VR装置检测到空口信道的SINR＜-3dB，则由云VR装置进行渲染处理的视频帧的个数调整为5，由云侧设备进行渲染处理的视频帧的个数调整为3。在第3时刻，云VR装置检测到空口信道的SINR＜-6dB，则由云VR装置进行渲染处理的视频帧的个数调整为6，由云侧设备进行渲染处理的视频帧的个数调整为2。

由上可见，通过本地云VR装置与云侧设备的协同处理，可以降低云VR装置的MTP时延，减少显示卡顿的情况出现。在云VR装置的本地算力较强时，可以适当提高第一视频帧集合的视频帧个数并相应减少第二视频帧集合的视频帧个数，进一步降低云VR装置的MTP时延。当云VR装置的本地算力较弱时，可以适当降低第一视频帧集合的视频帧个数并相应增加第二视频帧集合的视频帧个数，在一定程度上提高云VR装置显示画面的画质。

参照图3，给出了本发明实施例中的另一种图像处理方法，以下通过具体步骤进行详细说明。

步骤S301，显示第i视频帧时，检测到用户的触发操作。

在本发明实施例中，步骤S301的具体执行过程可以对应参照步骤S101，此处不做赘述。

步骤S302，响应于触发操作，根据流量资费信息以及本地算力，确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对第i+1视频帧进行第二图像渲染处理，并向云侧设备发送指示对第i+1视频帧进行第二图像渲染处理的第三指示信息。

在本发明实施例中，第一图像渲染处理与第二图像渲染处理可以为相同的图像渲染处理方法，也可以为不同的图像渲染处理方法。

在具体实施中，第一图像渲染处理可以为丰富细节模型处理与基本细节模型处理中的任一种，第二图像渲染处理也可以为丰富细节模型处理与基本细节模型处理中的任一种。具体的，云VR装置选择哪一种处理方式作为第一图像渲染处理与第二图像渲染处理的具体实现，可以由流量资费信息以及云VR装置可使用的本地算力所确定。

步骤S303，对所述第i+1视频帧进行第一图像渲染处理，并接收所述云侧设备发送的经过第二图像渲染处理的第i+1视频帧。

步骤S304，对经过第一图像渲染处理的第i+1视频帧与经过第二图像渲染处理的第i+1视频帧进行合并，并显示合并后的第i+1视频帧。

在具体实施中，云VR装置可以根据当前的流量资费信息以及可使用的本地算力，来确定对第i+1视频帧进行图像渲染处理的方式。相应地，云侧设备也可以根据当前的流量资费信息以及云VR装置的算力，来确定对第i+1视频帧进行图像渲染处理的方式。

在本发明实施例中，对视频帧进行渲染处理的方式可以包括丰富细节模型处理以及基本细节模型处理。丰富细节模型表示三角面片多细粒度多，模型信息量大，可以用来丰富图像的特征部分以及边缘和细节纹理，但是渲染运算量大；基本细节模型表示三角面片少且细节少，模型信息量少，对图像的细节结构呈现较少，但是渲染运算量较小。

在本发明实施例中，当流量资费较高，且云VR装置能够使用的本地算力充足时，云侧设备可以采用基本细节模型对视频帧进行渲染，云VR装置可以采用丰富细节模型对视频帧进行渲染。之后，云VR装置中的渲染引擎将云侧设备输出的基于基本细节模型渲染的视频帧、基于丰富细节模型渲染的视频帧进行插值运算，得到最终的输出视频帧。

例如，云VR装置检测到当天的流量资费达到每日限额10元，且云VR装置本地GPU的资源使用率低于50％，则对于第i+1视频帧，云VR装置采用丰富细节模型对第i+1视频帧进行渲染，云侧设备采用基本细节模型对第i+1视频帧进行渲染。之后，云VR装置对采用丰富细节模型渲染的第i+1视频帧以及采用基本细节模型渲染的第i+1视频帧进行插值合并，得到最终的输出视频帧并显示。

当流量资费较高，且云VR装置能够使用的本地算力不足时，云侧设备可以采用基本细节模型对视频帧进行渲染，云VR装置可以采用基本细节模型对视频帧进行渲染。之后，云VR装置中的渲染引擎将云侧设备输出的基于基本细节模型渲染的视频帧、基于基本细节模型渲染的视频帧进行插值运算，得到最终的输出视频帧。

例如，云VR装置检测到当天的流量资费达到每日限额10元，且云VR装置本地GPU的资源使用率高于50％，则对于第i+1视频帧，云VR装置采用基本细节模型对第i+1视频帧进行渲染，云侧设备采用基本细节模型对第i+1视频帧进行渲染。之后，云VR装置对采用基本细节模型渲染的第i+1视频帧以及采用基本细节模型渲染的第i+1视频帧进行插值合并，得到最终的输出视频帧并显示。

当流量资费较低，且云VR装置能够使用的本地算力不足时，云侧设备可以采用丰富细节模型对视频帧进行渲染，云VR装置可以采用基本细节模型对视频帧进行渲染。之后，云VR装置中的渲染引擎将云侧设备输出的基于丰富细节模型渲染的视频帧、基于基本细节模型渲染的视频帧进行插值运算，得到最终的输出视频帧。

例如，云VR装置检测到当天的流量资费未每日限额10元，且云VR装置本地GPU的资源使用率高于50％，则对于第i+1视频帧，云VR装置采用基本细节模型对第i+1视频帧进行渲染，云侧设备采用丰富细节模型对第i+1视频帧进行渲染。之后，云VR装置对采用基本细节模型渲染的第i+1视频帧以及采用丰富细节模型渲染的第i+1视频帧进行插值合并，得到最终的输出视频帧并显示。

当流量资费较低，且云VR装置能够使用的本地算力充足时，云侧设备可以采用丰富细节模型对视频帧进行渲染，云VR装置可以采用丰富细节模型对视频帧进行渲染。之后，云VR装置中的渲染引擎将云侧设备输出的基于丰富细节模型渲染的视频帧、基于丰富细节模型渲染的视频帧进行插值运算，得到最终的输出视频帧。

例如，云VR装置检测到当天的流量资费未每日限额10元，且云VR装置本地GPU的资源使用率低于50％，则对于第i+1视频帧，云VR装置采用丰富细节模型对第i+1视频帧进行渲染，云侧设备采用丰富细节模型对第i+1视频帧进行渲染。之后，云VR装置对采用丰富细节模型渲染的第i+1视频帧以及采用丰富细节模型渲染的第i+1视频帧进行插值合并，得到最终的输出视频帧并显示。

在具体实施中，在对合并后的图像进行显示之后，若云VR装置尚未接收到新的合并得视频帧到来，则云VR装置可以采用异步时间扭曲(ATW)技术进行显示，也可以在一定程度上缓解显示卡顿的情况。

综上可见，通过资费信息以及云VR装置的本地算力，来确定是采用丰富细节模型对某一视频帧进行渲染处理，还是采用基本细节模型对某一视频帧进行渲染处理，可以进一步降低MTP时延。

参照图4，给出了本发明实施例中的一种图像处理装置40，包括：第一检测单元401、第一发送单元402以及第一接收单元403，其中：

第一检测单元401，可以用于显示第i视频帧时，检测用户的触发操作；

第一发送单元402，可以用于响应于所述触发操作，且检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，向所述云侧设备发送第一指示信息，所述第一指示信息用于指示所述云侧设备对第i+1视频帧进行图像渲染处理；

第一接收单元403，可以用于接收并显示所述云侧设备发送的经过图像渲染处理的第i+1视频帧。

在具体实施中，上述的第一检测单元401、第一发送单元402以及第一接收单元403对应的具体处理流程可以对应参照步骤S101～步骤S103，此处不做赘述。

在具体实施中，上述的图像处理装置40可以对应于云VR装置中具有数据处理功能的处理芯片，或者对应于包括该处理芯片的芯片模组，或者对应于云VR装置。

参照图5，给出了本发明实施例中的另一种图像处理装置50，包括：第二检测单元501、第一确定单元502、第二发送单元503、第一图像处理单元504、第二接收单元505以及合并单元506，其中：

第二检测单元501，用于显示第i视频帧时，检测用户的触发操作；

第一确定单元502，用于响应于所述触发操作，根据流量资费信息以及本地算力，确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对所述第i+1视频帧进行第二图像渲染处理；

第二发送单元503，用于向所述云侧设备发送指示对所述第i+1视频帧进行第二图像渲染处理的第三指示信息；

第一图像处理单元504，用于对所述第i+1视频帧进行第一图像渲染处理；

第二接收单元505，用于接收所述云侧设备发送的经过第二图像渲染处理的第i+1视频帧；

合并单元506，用于对经过第一图像渲染处理的第i+1视频帧与经过第二图像渲染处理的第i+1视频帧进行合并，并显示合并后的第i+1视频帧；所述第一图像渲染处理与所述第二图像渲染处理为丰富细节模型处理与基本细节模型处理中一种。

在具体实施中，上述的第二检测单元501、第一确定单元502、第二发送单元503、第一图像处理单元504、第二接收单元505以及合并单元506具体执行流程可以对应参照步骤S301～步骤S304，此处不做赘述。

在具体实施中，上述的图像处理装置50可以对应于云VR装置中具有数据处理功能的处理芯片，或者对应于包括该处理芯片的芯片模组，或者对应于云VR装置。

在具体实施中，关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。

例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一实施例提供的图像处理方法的步骤。

本发明实施例还提供了另一种图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一实施例提供的图像处理方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指示相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

显示第i视频帧时，检测到用户的触发操作；

响应于所述触发操作，且检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，向所述云侧设备发送第一指示信息，所述第一指示信息用于指示所述云侧设备对第i+1视频帧进行图像渲染处理；

接收并显示所述云侧设备发送的经过图像渲染处理的第i+1视频帧；

检测到与云侧设备之间的网络信号质量不满足所述视频帧上报需求时，对第一视频帧集合中的第i视频帧进行图像渲染处理；若第i+1视频帧位于第二视频帧集合中，则向所述云侧设备发送第二指示信息，所述第二指示信息用于指示所述云侧设备对第i+1视频帧及其之后的M-1个视频帧进行图像渲染处理；接收并显示所述云侧设备发送的经过图像渲染处理的第i+1帧及其之后的M-1个视频帧；若第i+1视频帧位于第一视频帧集合中，则对所述第i+1视频帧进行图像渲染处理并显示；所述第一视频帧集合包括本地执行图像渲染处理的视频帧，所述第二视频帧集合包括由所述云侧设备执行图像渲染处理的视频帧。

2.如权利要求1所述的图像处理方法，其特征在于，还包括：在检测到与云侧设备之间的网络信号质量不满足所述视频帧上报需求时，对所述第i+1个视频帧进行图像渲染处理，并显示经过图像渲染处理的第i+1视频帧。

3.如权利要求2所述的图像处理方法，其特征在于，在对所述第i+1个视频帧进行图像渲染处理之前，还包括：

确定本地负载不大于第一阈值。

4.如权利要求3所述的图像处理方法，其特征在于，还包括：若确定所述本地负载大于所述第一阈值，扭曲显示所述第i+1视频帧。

5.如权利要求1所述的图像处理方法，其特征在于，所述第一视频帧集合与所述第二视频帧集合中的视频帧为预先分配的。

6.如权利要求1所述的图像处理方法，其特征在于，根据预设的调整条件，对所述第一视频帧集合与所述第二视频帧集合中的视频帧数目进行调整；所述预设的调整条件包括如下至少一种：与所述云侧设备之间的信道质量、网络服务质量、流量资费信息以及本地算力。

7.一种图像处理方法，其特征在于，包括：

显示第i视频帧时，检测到用户的触发操作；

响应于所述触发操作，根据流量资费信息以及本地算力，确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对所述第i+1视频帧进行第二图像渲染处理，并向所述云侧设备发送指示对所述第i+1视频帧进行第二图像渲染处理的第三指示信息；

对所述第i+1视频帧进行第一图像渲染处理，并接收所述云侧设备发送的经过第二图像渲染处理的第i+1视频帧；

对经过第一图像渲染处理的第i+1视频帧与经过第二图像渲染处理的第i+1视频帧进行合并，并显示合并后的第i+1视频帧；所述第一图像渲染处理与所述第二图像渲染处理为丰富细节模型处理与基本细节模型处理中一种。

8.如权利要求7所述的图像处理方法，其特征在于，所述确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对所述第i+1视频帧进行第二图像渲染处理，包括：

若所述流量资费信息对应的流量资费未达到预定资费值，且所述本地算力低于预设阈值，则确定所述第一图像渲染处理为丰富细节模型处理，所述第二图像渲染处理为丰富细节模型处理；

若所述流量资费信息对应的流量资费未达到预定资费值，且所述本地算力高于预设阈值，则确定所述第一图像渲染处理为基本细节模型处理，所述第二图像渲染处理为丰富细节模型处理；

若所述流量资费信息对应的流量资费达到所述预定资费值，且所述本地算力低于所述预设阈值，则确定所述第一图像渲染处理为丰富细节模型处理，所述第二图像渲染处理为基本细节模型处理；

若所述流量资费信息对应的流量资费达到所述预定资费值，且所述本地算力高于所述预设阈值，则确定所述第一图像渲染处理为基本细节模型处理，所述第二图像渲染处理为基本细节模型处理。

9.如权利要求7或8所述的图像处理方法，其特征在于，还包括：若未接收到所述合并后的第i+1视频帧，则扭曲显示所述第i+1视频帧。

10.一种图像处理装置，其特征在于，包括：

第一检测单元，用于显示第i视频帧时，检测用户的触发操作；

第一发送单元，用于响应于所述触发操作，且检测到与云侧设备之间的网络信号质量满足视频帧上报需求时，向所述云侧设备发送第一指示信息，所述第一指示信息用于指示所述云侧设备对第i+1视频帧进行图像渲染处理；

第一接收单元，用于接收并显示所述云侧设备发送的经过图像渲染处理的第i+1视频帧；

第一处理单元，用于检测到与云侧设备之间的网络信号质量不满足所述视频帧上报需求时，对第一视频帧集合中的第i视频帧进行图像渲染处理；若第i+1视频帧位于第二视频帧集合中，则向所述云侧设备发送第二指示信息，所述第二指示信息用于指示所述云侧设备对第i+1视频帧及其之后的M-1个视频帧进行图像渲染处理；接收并显示所述云侧设备发送的经过图像渲染处理的第i+1帧及其之后的M-1个视频帧；若第i+1视频帧位于第一视频帧集合中，则对所述第i+1视频帧进行图像渲染处理并显示；所述第一视频帧集合包括本地执行图像渲染处理的视频帧，所述第二视频帧集合包括由所述云侧设备执行图像渲染处理的视频帧。

11.一种图像处理装置，其特征在于，包括：

第二检测单元，用于显示第i视频帧时，检测用户的触发操作；

第一确定单元，用于响应于所述触发操作，根据流量资费信息以及本地算力，确定本地对第i+1视频帧进行第一图像渲染处理，以及确定云侧设备对所述第i+1视频帧进行第二图像渲染处理；

第二发送单元，用于向所述云侧设备发送指示对所述第i+1视频帧进行第二图像渲染处理的第三指示信息；

第一图像处理单元，用于对所述第i+1视频帧进行第一图像渲染处理；

第二接收单元，用于接收所述云侧设备发送的经过第二图像渲染处理的第i+1视频帧；

合并单元，用于对经过第一图像渲染处理的第i+1视频帧与经过第二图像渲染处理的第i+1视频帧进行合并，并显示合并后的第i+1视频帧；所述第一图像渲染处理与所述第二图像渲染处理为丰富细节模型处理与基本细节模型处理中一种。

12.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1～9任一项所述的图像处理方法的步骤。

13.一种图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1～9任一项所述的图像处理方法的步骤。