CN113038267A - 视频处理方法及装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种视频处理方法、视频处理装置、计算机可读存储介质和电子设备，涉及视频处理技术领域。该视频处理方法包括：确定视频的分辨率；如果从多个超分辨率模型中确定出与视频的分辨率对应的目标超分辨率模型，则通过目标超分辨率模型对视频的各视频帧进行超分辨率处理。本公开可以基于视频的分辨率来确定超分辨率模型，进而可以得到清晰且流畅的视频。

Description

视频处理方法及装置、计算机可读存储介质和电子设备

技术领域

本公开涉及视频处理技术领域，具体而言，涉及一种视频处理方法、视频处理装置、计算机可读存储介质和电子设备。

背景技术

随着人们对高质量、高清晰度视频需求的不断提高，无论在硬件上还是在软件上，视频处理技术均得到了快速的发展。

对于低分辨率的视频而言，可以通过超分辨率技术来提高视频帧的分辨率。然而，目前利用超分辨率技术来提升分辨率后，仍可能出现视频显示效果不佳的问题。

发明内容

本公开提供一种视频处理方法、视频处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服在利用超分辨率技术时仍可能出现的视频显示效果不佳的问题。

根据本公开的第一方面，提供了一种视频处理方法，包括：确定视频的分辨率；如果从多个超分辨率模型中确定出与视频的分辨率对应的目标超分辨率模型，则通过目标超分辨率模型对视频的各视频帧进行超分辨率处理。

根据本公开的第二方面，提供了一种视频处理装置，包括：分辨率确定模块，用于确定视频的分辨率；超分处理模块，用于如果从多个超分辨率模型中确定出与视频的分辨率对应的目标超分辨率模型，则通过目标超分辨率模型对视频的各视频帧进行超分辨率处理。

根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的视频处理方法。

根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的视频处理方法。

在本公开的一些实施例所提供的技术方案中，将视频的分辨率与超分辨率模型关联，通过与分辨率对应的超分辨率模型对视频的各视频帧进行超分辨处理，可以有效避免一些技术中不管视频的分辨率如何，均采用一个超分辨率模型来提高分辨率，而有可能造成分辨率提高的程度不够导致清晰度不足或提高后分辨率过大导致视频卡顿的问题，本方案有助于得到清晰且流畅的视频，提高了视频显示效果，进而提升用户的观感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了应用本公开实施例的视频处理方案的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开示例性实施方式的视频处理方法的流程图；

图4示出了本公开一个实施例的实现视频处理过程的算法的流程图；

图5示出了以一个视频帧为例执行超分算法的示意图；

图6示意性示出了本公开一个实施例的视频处理过程的流程图；

图7示意性示出了根据本公开示例性实施方式的视频处理装置的方框图；

图8示意性示出了根据本公开另一示例性实施方式的视频处理装置的方框图；

图9示意性示出了根据本公开又一示例性实施方式的视频处理装置的方框图；

图10示意性示出了根据本公开再一示例性实施方式的视频处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

为了便于更好地理解本公开实施例的方案，下面先对本公开涉及的一些概念进行简单介绍。

视频编码通常是指处理形成视频或视频帧序列。在本公开的视频处理领域，术语“图片”、“视频帧”、“帧”、“图像”、“视频图像”、“视频帧图像”可以是同义词。视频编码在源侧执行，通常包括处理(例如，通过压缩)原始视频图像以减少表示该视频图像所需的数据量，从而更高效地存储和/或传输。视频解码在目的侧执行，通常包括相对于编码器作逆处理，以重构视频图像。在本公开方案中，主要涉及的是解码过程。

超分辨率又可被称为超分，是指通过对低分辨率的视频帧进行变换，以得到高分辨率的视频帧的过程。例如，对一个分辨率为2K的视频帧进行2倍超分辨率，得到一个分辨率为4K的视频图像。本公开可以采用机器学习模型来构建超分辨率模型，以实现超分辨率的处理过程，这里的机器学习模型可以是卷积神经网络(Convolutional NeuralNetworks，CNN)、深度神经网络(Deep Neural Networks，DNN)等，本公开对超分辨率算法所用模型的具体模型结构、训练过程等均不做限制。

此外，应当理解的是，本公开所说的分辨率的“高”和“低”，仅是相对的概念，例如，在一些实施例中，相比于270P，720P可以是高分辨率，而在另一些实施例中，相比于1080P，720P则是低分辨率。

目前，一些技术通过固定的分辨率放大倍数来实现超分辨率，即，对所有尺寸的视频均采取相同的超分辨率算法。例如，针对应用分辨率放大倍数较小的超分辨率模型的场景，如果将该模型应用于低分辨率的视频的超分处理过程，则超分处理后，分辨率仍较小，用户的观感依然是视频很模糊。又例如，针对应用分辨率放大倍数较大的超分辨率模型的场景，如果将该模型应用于较高分辨率的视频的超分处理过程，则输入输出数据量以及模型的计算量均很大，超分辨率速度慢，在边处理边播放的场景中，容易出现视频卡顿的问题。

为了解决这些问题，本公开提供了一种根据视频的分辨率选取超分辨率模型，以实现根据不同的视频分辨率情况采用不同超分辨率算法的方案。

图1示出了应用本公开实施例的视频处理方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括终端设备11和服务器12。终端设备11与服务器12可以通过网络连接，网络的连接类型可以例如包括有线、无线通信链路或者光纤电缆等。

应当理解，终端设备11和服务器12的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和服务器。比如服务器12可以是多个服务器组成的服务器集群等。服务器12还可以被称为云端或云端服务器。

终端设备11可以通过网络与服务器12交互，以接收或发送消息等。虽然图1中以智能手机为例示出，然而，终端设备11还包括平板电脑、智能可穿戴设备、个人计算机等具有拍摄功能的设备。其中，终端设备11还可以被称为终端、移动终端、移动端、智能终端等。

在由终端设备11执行本公开示例性实施方式的视频处理过程的情况下，首先，终端设备11可以确定视频的分辨率。其中，该视频可以是在终端设备11上正在被打开的视频，在这种情况下，本公开的视频处理方案的场景可以是用户开启视频App后，打开任一视频而触发的视频超分辨率处理过程。另外，视频还可以是终端设备11中存储的视频，该视频可以是从其他设备或服务器下载的视频，也可以是通过终端设备11的相机拍摄出的视频。

接下来，在从多个超分辨率模型中确定出与该视频的分辨率对应的目标超分辨率模型的情况下，终端设备11可以调用该目标超分辨率模型，以通过该目标超分辨率模型对视频的各视频帧进行超分辨率处理，得到经超分辨率处理后的视频帧。

应当注意的是，根据本公开的一些实施例，终端设备11可以将经超分辨率处理后的视频帧进行保存和/或上传至服务器12进行保存，可以保存为与该视频对应的分辨率得到提升的另一个视频。根据本公开的另一些实施例，终端设备11可以基于视频帧序列(即按视频帧顺序)，播放经超分辨率处理后的视频帧。

在由服务器12执行本公开示例性实施方式的视频处理过程的情况下，首先，服务器12可以从终端设备11获取视频，并确定视频的分辨率。另外，该视频还可以是服务器12从其他服务器或设备获取到的视频，本公开对此不做限制。

接下来，服务器12可以确定视频的分辨率，在从多个超分辨率模型中确定出与该视频的分辨率对应的目标超分辨率模型的情况下，服务器12调用该目标超分辨率模型，以对视频的各视频帧进行超分辨率处理，得到经超分辨率处理后的视频帧。

应当注意的是，根据本公开的一些实施例，服务器12可以将经超分辨率处理后的视频帧进行保存，可以保存为与该视频对应的分辨率得到提升的另一个视频。根据本公开的另一些实施例，服务器12可以将经超分辨率处理后的视频帧发送至终端设备11，由终端设备11进行展示和/或保存。

此外，本公开对视频进行处理的任意步骤均可以由终端设备11或服务器12执行，本公开对此不做限制。

图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开示例性实施方式的终端设备可以被配置为如图2的形式。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的视频处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本公开实施例示意的结构并不构成对电子设备200的具体限定。在本公开另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

需要说明的是，本公开的超分辨率处理过程可以部署在DSP或NPU上，也就是说，由DSP或NPU实现本公开的超分辨率过程。基于这些处理器性能上的优势，可以提高视频处理效率。另外，在处理器执行超分辨率算法时，还可以通过局部算子优化，进一步提升超分辨率算法的性能。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。例如，本公开方案中所说的视频可以是电子设备200通过摄像模组291拍摄到的视频。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

下面将以终端设备执行本公开视频处理的过程为例对本公开的视频处理方法进行说明。在这种情况下，下述视频处理装置可以配置在终端设备中。

图3示意性示出了本公开的示例性实施方式的视频处理方法的流程图。参考图3，视频处理方法可以包括以下步骤：

S32.确定视频的分辨率。

根据本公开的一些实施例，视频可以是终端设备通过其摄像模组拍摄而得到的视频，或者是终端设备从其他设备或服务器获取到的视频。这些实施例中，视频可以终端设备离线保存的视频。本公开对该视频的内容、来源、甚至分辨率均不做限制。

鉴于视频为终端设备保存的视频，因此，可以直接从保存的视频信息中提取视频的分辨率。这里所说的视频信息包括但不限于视频存储大小、视频来源、视频获取时间、视频格式、视频分辨率等。

除直接从视频信息中提取分辨率外，终端设备还可以对视频进行解码，以从解码的数据中提取分辨率，以满足视频信息中不包含分辨率的场景需求。

根据本公开的另一些实施例，视频可以是终端设备上视频App中包含的任意一个视频，该视频存储于视频App对应的服务器。具体的，在视频App界面上，响应视频的打开操作，可以对视频进行解码，以得到视频的分辨率。

针对解码，本公开实施例中可以采用硬件解码的方式，以得到相比于软件界面较快的解码速度。

S34.如果从多个超分辨率模型中确定出与视频的分辨率对应的目标超分辨率模型，则通过目标超分辨率模型对视频的各视频帧进行超分辨率处理。

在确定出视频的分辨率后，可以确定该视频的分辨率是否在分辨率调整范围之内。例如，分辨率调整范围为小于1080P的所有分辨率，本公开对分辨率调整范围的具体范围不做限制。

如果该视频的分辨率在分辨率调整范围之内，例如，分辨率为270P，在小于1080P的范围之内，则终端设备可以从多个超分辨率模型中确定出与该视频的分辨率对应的目标超分辨率模型。具体的，终端设备可以根据分辨率与超分辨率模型之间的映射关系，从多个超分辨率模型中确定出与该视频的分辨率对应的目标超分辨率模型。

应当理解的是，在本公开实施方式中，处于分辨率调整范围的分辨率，均对应有预先进行训练的超分辨率模型。也就是说，处于分辨率调整范围的分辨率与超分辨率模型存在映射关系，这种映射关系可以预先进行配置，例如配置为分辨率与超分辨率模型的标识之间的映射表。

另外，本公开所说的多个超分辨率模型可以预先配置在终端设备中，以便算法的调用。这多个超分辨率模型中的全部或一些也可以存储于除终端设备之外的服务器或其他设备中，当需要使用时，由终端设备再执行调用操作。

具体的，可以预先构建视频的分辨率的大小与所述超分辨率模型的分辨率放大倍数的负相关关系，以得到分辨率与超分辨率模型之间的映射关系。也就是说，分辨率越大，对应的超分辨率模型的分辨率放大倍数越小；分辨率越小，对应的超分辨率模型的分辨率放大倍数越大。例如，140P对应的超分辨率模型的分辨率放大倍数为4倍，270P对应的超分辨率模型的分辨率放大倍数为2倍。

另外，可以预先依据分辨率的大小，确定多个分辨率范围。也就是说，将分辨率划分成不同的范围，例如，由小到大可以划分为第一分辨率范围、第二分辨率范围、第三分辨率范围等。接下来，构建各分辨率范围与超分辨率模型的一一对应关系，以得到分辨率与超分辨率模型之间的映射关系。例如，对于140P和270P的视频源，超分辨率模型的分辨率放大倍数均是4倍；对于540P的视频，超分辨率模型的分辨率放大倍数是2倍。

需要说明的是，分辨率范围的端点值(或平均值、中值等表征相比于其他范围该范围分辨率大小的值)与超分辨率模型的分辨率放大倍数呈负相关关系。例如，针对按分辨率由小到大顺序依次划分出的第一分辨率范围、第二分辨率范围和第三分辨率范围，对应的三个超分辨率模型的分辨率放大倍数依次减小。

本公开可以采用机器学习模型的方式构建出超分辨率模型，本公开对机器学习模型的具体结构、训练过程等均不做限制。另外，超分辨率模型的算法中可以结合有局部算子优化，以进一步提升超分辨率算法的性能。

如果基于上述映射关系，从多个超分辨率模型中确定出与该视频的分辨率对应的目标超分辨率模型，则终端设备可以通过该目标超分辨率模型对视频的各视频帧进行超分辨率处理。可以理解的是，超分辨率的处理过程是逐帧的处理过程。

另外，本公开对解码的视频帧的格式不做限制，例如，视频帧的格式为YUV、UBWC等。

在打开视频的情况下，可以按视频帧顺序，播放经超分辨率处理后的视频帧。由此，呈现给用户的是清晰度高的视频，提升用户的观感。

在本公开的一些实施例中，在通过目标超分辨率模型对视频的一视频帧(任意一帧)进行超分辨率处理得到目标视频帧的情况下，在播放该目标视频帧之后，终端设备可以删除该目标视频帧。由此，在保证用户观看到高清晰度视频的同时，不会增加终端设备的存储压力。

此外，在终端设备从服务器获取视频的情况下，在通过超分辨率模型对视频的各视频帧进行超分辨率处理之后，终端设备可以利用经超分辨率处理后的视频帧得到目标视频，该目标视频为步骤S32中提及的视频提升了分辨率之后的视频。

接下来，终端设备可以将目标视频上传至服务器。在一个实施例中，服务器可以用该高分辨率的目标视频来替换原有的低分辨率的视频；在另一个实施例中，服务器可以同时保存原有的低分辨率的视频和超分后得到的分辨率得到提升的视频。

相当于，在某种程度上，可以将终端设备看作服务器对视频处理的一个分布式节点，终端设备帮助服务器对视频进行了分辨率提升。在这种情况下，可以将本公开的视频处理过程理解为服务器分派的一个处理任务。由此，在终端设备将目标视频上传至服务器之后，服务器可以向终端设备发放对应的奖励，本公开对奖励不做限制，可以是视频App的账号经验值、各种福利推送等。

针对步骤S32确定出的视频分辨率的结果，如果不存在与之对应的超分辨率模型，则通常说明该视频的分辨率已经是一个较高的分辨率，此时，可以不执行步骤S34中的超分辨率处理过程。

应用本公开的视频处理方法，例如，针对140P的视频，可以调用4倍的超分辨率模型，以得到540P的视频；针对270P的视频，可以调用2倍的超分辨率模型，以得到1080P的视频。至少相比于原始视频，调整后的清晰度均得到了提升。

由此，可以保证用户在观看某些超低分辨率的视频时可以有较好的观看，而对于非超低分辨率的视频，由于采用了较低(例如2倍)倍数的方案，可以保证用户观感的同时也不会造成观看时出现卡顿的情况。

图4示出了本公开一个实施例的实现视频处理过程的算法的流程图。参考图4，在步骤S42中，终端设备可以对视频源进行解码，得到视频源的分辨率和各视频帧；在步骤S44中，如果存在与分辨率对应的超分辨率模型，则利用该超分辨率模型对各视频帧进行超分辨率处理，参考图5，输入视频帧进入超分模块，以得到输出视频帧；在步骤S46中，终端设备对经超分辨率处理后的视频帧进行渲染；在步骤S48中，终端设备可以对渲染后的视频帧进行展示。

下面将参考图6对本公开一个实施例的视频处理过程进行说明。

在步骤S602中，用户可以打开视频App。

在步骤S604中，终端设备可以响应用户针对一视频的打开操作，识别该视频的分辨率。具体的，通过对该视频进行解码以得到分辨率。

在步骤S606中，终端设备可以判断视频的分辨率是否需要调整。如果视频的分辨率已经较高(超出分辨率调整范围)，即不需要调整，则返回步骤S604；如果视频的分辨率需要调整(在分辨率调整范围之内)，则执行步骤S608。

在步骤S608中，终端设备可以调用与该分辨率对应的超分辨率模型。

在步骤S610中，终端设备可以通过该超分辨率模型对视频的各视频帧进行超分辨率处理。

在步骤S612中，终端设备可以按视频帧处理的顺序(即，原视频中视频帧对应的顺序)，展示经超分辨率处理后的视频帧。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种视频处理装置。

图7示意性示出了本公开的示例性实施方式的视频处理装置的方框图。参考图7，根据本公开的示例性实施方式的视频处理装置7可以包括分辨率确定模块71和超分处理模块73。

具体的，分辨率确定模块71可以用于确定视频的分辨率；超分处理模块73用于如果从多个超分辨率模型中确定出与视频的分辨率对应的目标超分辨率模型，则通过目标超分辨率模型对视频的各视频帧进行超分辨率处理。

根据本公开的示例性实施例，分辨率确定模块71可以被配置为执行：响应视频的打开操作，对视频进行解码，以得到视频的分辨率。

根据本公开的示例性实施例，参考图8，相比于视频处理装置7，视频处理装置8还可以包括视频帧播放模块81。

具体的，视频帧播放模块81可以被配置为执行：按视频帧顺序，播放经超分辨率处理后的视频帧。

根据本公开的示例性实施例，视频帧播放模块81还可以被配置为执行：在通过目标超分辨率模型对视频的一视频帧进行超分辨率处理得到目标视频帧的情况下，在播放目标视频帧之后，删除目标视频帧。

根据本公开的示例性实施例，参考图9，相比于视频处理装置7，视频处理装置9还可以包括交互模块91。

具体的，交互模块91可以被配置为执行：从服务器获取视频；在通过目标超分辨率模型对视频的各视频帧进行超分辨率处理之后，利用经超分辨率处理后的视频帧得到目标视频；将目标视频上传至服务器，以便服务器用目标视频替换视频。

根据本公开的示例性实施例，交互模块91还可以被配置为执行：在将目标视频上传至服务器之后，接收服务器发放的奖励。

根据本公开的示例性实施例，超分处理模块73还可以被配置为执行：在确定视频的分辨率之后，确定视频的分辨率是否在分辨率调整范围之内；如果视频的分辨率在分辨率调整范围之内，则从多个超分辨率模型中确定出目标超分辨率模型。

根据本公开的示例性实施例，超分处理模块73从多个超分辨率模型中确定出目标超分辨率模型的过程可以被配置为执行：根据分辨率与超分辨率模型之间的映射关系，从多个超分辨率模型中确定出目标超分辨率模型。

根据本公开的示例性实施例，参考图10，相比于视频处理装置7，视频处理装置10还可以包括映射构建模块101。

具体的，映射构建模块101可以被配置为执行：预先依据分辨率的大小，确定多个分辨率范围；构建各分辨率范围与超分辨率模型的一一对应关系，以得到映射关系；其中，分辨率范围的端点值大小与超分辨模型的分辨率放大倍数呈负相关关系。

根据本公开的示例性实施例，映射构建模块101还可以被配置为执行：预先构建分辨率的大小与超分辨率模型的分辨率放大倍数的负相关关系，以得到映射关系。

由于本公开实施方式的视频处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (12)

1.一种视频处理方法，其特征在于，包括：

确定视频的分辨率；

如果从多个超分辨率模型中确定出与所述视频的分辨率对应的目标超分辨率模型，则通过所述目标超分辨率模型对所述视频的各视频帧进行超分辨率处理。

2.根据权利要求1所述的视频处理方法，其特征在于，确定视频的分辨率包括：

响应所述视频的打开操作，对所述视频进行解码，以得到所述视频的分辨率。

3.根据权利要求2所述的视频处理方法，其特征在于，所述视频处理方法还包括：

按视频帧顺序，播放经超分辨率处理后的视频帧。

4.根据权利要求3所述的视频处理方法，其特征在于，所述视频处理方法还包括：

在通过所述目标超分辨率模型对所述视频的一视频帧进行超分辨率处理得到目标视频帧的情况下，在播放所述目标视频帧之后，删除所述目标视频帧。

5.根据权利要求1所述的视频处理方法，其特征在于，所述视频处理方法还包括：

从服务器获取所述视频；

在通过所述目标超分辨率模型对所述视频的各视频帧进行超分辨率处理之后，利用经超分辨率处理后的视频帧得到目标视频；

将所述目标视频上传至所述服务器。

6.根据权利要求1所述的视频处理方法，其特征在于，所述视频处理方法还包括：

在确定所述视频的分辨率之后，确定所述视频的分辨率是否在分辨率调整范围之内；

如果所述视频的分辨率在所述分辨率调整范围之内，则从所述多个超分辨率模型中确定出所述目标超分辨率模型。

7.根据权利要求1至6任一项所述的视频处理方法，其特征在于，从所述多个超分辨率模型中确定出所述目标超分辨率模型包括：

根据分辨率与超分辨率模型之间的映射关系，从所述多个超分辨率模型中确定出所述目标超分辨率模型。

8.根据权利要求7所述的视频处理方法，其特征在于，所述视频处理方法还包括：

预先依据分辨率的大小，确定多个分辨率范围；

构建各分辨率范围与超分辨率模型的一一对应关系，以得到所述映射关系；

其中，分辨率范围的端点值大小与超分辨模型的分辨率放大倍数呈负相关关系。

9.根据权利要求7所述的视频处理方法，其特征在于，所述视频处理方法还包括：

预先构建分辨率的大小与超分辨率模型的分辨率放大倍数的负相关关系，以得到所述映射关系。

10.一种视频处理装置，其特征在于，包括：

分辨率确定模块，用于确定视频的分辨率；

超分处理模块，用于如果从多个超分辨率模型中确定出与所述视频的分辨率对应的目标超分辨率模型，则通过所述目标超分辨率模型对所述视频的各视频帧进行超分辨率处理。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至9中任一项所述的视频处理方法。

12.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至9中任一项所述的视频处理方法。

Images