CN111052743A

CN111052743A - 视频编码中用于局部选择变换集的变换池

Info

Publication number: CN111052743A
Application number: CN201880056231.0A
Authority: CN
Inventors: S.拉塞尔; S.普里; P.勒卡莱特
Original assignee: 交互数字Vc控股公司
Current assignee: InterDigital Madison Patent Holdings SAS
Priority date: 2017-08-31
Filing date: 2018-08-31
Publication date: 2020-04-21
Anticipated expiration: 2038-08-31
Also published as: CN111052743B; US11936863B2; EP3677028A1; WO2019046671A1; KR20200043399A; EP3677028B1; EP3451663A1; BR112020003220A2; US20210084300A1

Abstract

一种用于改善视频编码器和解码器的性能的方法和装置包括，从可用于对视频图像的区域中的块进行编码的多个变换集中选择变换集。在区域中，从包括所选变换集的多个变换中选择特定变换，用于对该区域中的至少一个块进行编码或解码。可以在比特流中发送关联索引，该关联索引表示要在区域中使用的变换集和针对块的所选变换。在替代实施例中，基于块或区域，通过选择附加变换集来补充默认变换集。

Description

视频编码中用于局部选择变换集的变换池

技术领域

本原理涉及视频压缩，并且更具体地涉及使用块变换执行视频编码和解码。

背景技术

已经进行了许多尝试来改进基于块的编解码器的变换。可以将它们分类为两类。

第一类是变换自身的改变。最复杂的方法使用对实际内容的变换的学习。

第二类是在局部等级(例如，块等级)让几种变换进行竞争。

两种类型的变换改变的组合导致了所谓的“多个自适应变换”方案。可能需要额外语法来识别多个变换中的哪个变换将被块使用。

虽然有附加语法的代价，但是已经证明了变换选择的局部灵活性对压缩方案具有积极影响。

在现有技术中，很难找到以下的平衡点：1)增加变换数以更好地适应内容的局部统计，以及2)尽可能低地保持额外变换信令语法。当然，较多的变换导致较好的适应性，但是导致较多的信令。已经表明，添加几个自适应变换就压缩性能而言是有益的。然而，添加许多变换可能降低性能，这是因为额外信令破坏了从变换系数的更好的压缩中获得的所有增益。

发明内容

现有技术的这些和其他缺点与不足由所描述的实施例来解决，这些实施例针对一种改善变换数和变换信令成本之间的平衡的方法和装置。

根据所描述的实施例的一方面，提供了一种用于对视频图像中的块进行编码的方法。该方法包括：从多个变换集中选择变换集，其中，该变换集与第一索引相关联；从包括所选变换集的多个变换之中选择变换，其中，所选变换与第二索引相关联；使用所选变换将视频图像的区域中的至少一个块变换为变换系数；以及将变换系数与第一索引和第二索引一起编码到比特流中。

根据所描述的实施例的另一方面，提供了一种用于对视频图像中的块进行解码的方法。该方法包括：对视频比特流进行解码，以生成第一索引和第二索引；从要用于对视频图像的区域中的块进行解码的多个变换集中选择与第一索引相关联的变换集；从包括所选变换集的多个变换之中选择与第二索引相关联的变换，以用于对视频图像的区域中的块进行解码；以及使用所选变换对视频图像的区域中的至少一个块的系数进行逆变换。

根据所描述的实施例的另一方面，提供了一种装置。该装置包括存储器和处理器，该处理器可配置为执行用于对视频图像中的块进行编码和解码的前述方法的任何方面。

根据所描述的实施例的另一方面，提供了一种非临时性计算机可读介质，其包含根据任一编码实施例生成的数据内容。

根据所描述的实施例的另一方面，提供了一种信号，其包括根据任一编码实施例生成的视频数据。

根据所描述的实施例的另一方面，提供了一种计算机程序产品，其包括指令，当程序由计算机执行时，该指令使该计算机执行任一编码实施例。

根据以下结合附图阅读的示例性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得明显。

附图说明

图1a图示了在许多标准的基于块的编解码器中使用的通用块编码引擎。

图1b示出了可以实现本实施例的示例HEVC编码器。

图1c示出了可以实现本实施例的示例HEVC解码器。

图2图示了所提出的实施例的编码方法的框图，该编码方法使用变换集的池。

图3图示了示出典型的离线变换学习方案的框图。

图4图示了实时编码中的适应的变换和量化器的一种可能使用。

图5示出了用于实现自适应变换的方法的另一实施例。

图6示出了使用所描述方法来实现自适应变换的方法的又一实施例。

图7示出了所描述方法的一个实施例中的在交错时间的帧的图。

图8示出了使用在此描述的一般方面对视频图像中的块进行编码的方法的一个实施例。

图9示出了使用在此描述的一般方面对视频图像中的块进行解码的方法的一个实施例。

图10示出了使用在此描述的一般方面对视频图像中的块进行编码或解码的装置的一个实施例。

具体实施方式

在过去的几十年中，已经开发了许多基于块的视频和图像编解码器(MPEG2，h264/AVC，HEVC，VP8，VP9，将来的h266等)，其中大多数基于相似的块编码引擎，如错误，未找到引用源中所示。

以下描述的实施例所解决的技术问题是要提高在基于块的编解码器中使用的变换的能力，压缩包含在变换系数中的信息，从而增加编解码器的压缩能力，即，针对较低比特率的相同质量。

将图像分割为正方形或矩形块，然后将变换T(DCT、DST等)应用于每个块的像素，以获得变换系数。然后，量化器Q对系数进行量化以获得量化系数，该量化系数例如由熵编码器(诸如VLC、算术编码器、CABAC)进行编码。

为了提高压缩能力，可以根据已编码块来对块进行预测，以获得残差。可以根据空间上相邻的块(帧内预测)或时间上不同的编码帧的一部分(帧间预测)执行该预测。残差块中包含的信息通常小于原始块中的信息，从而导致更好的压缩性能。

由率失真优化(RDO)来驱动对以下的选择：

·预测(帧内相对于帧间，方向)

·块拓扑(位置和大小，通常由具有修剪的四叉树或二叉树驱动)率失真优化试图使编码成本最小化，编码成本表达为总和：

C＝D+λR

其中，C为成本，D为编码块相比于原始参考块的失真，R为对模式进行编码所需的速率(＝位数)。通常，失真D表达为像素之间的均方差，而速率R是复合数，基本上包含以下的和：

·熵编码器对量化系数进行编码所需的速率R_C

·对块拓扑和预测模式进行编码所需的速率R_τ

因此，就编码成本而言，率失真优化(RDO)导致最佳拓扑。参数λ驱动压缩质量。对于极值，λ＝0使所有成本关于失真，并导致无损编码。另一方面，λ>>1使所有成本关于速率，并导致具有非常低的比特率的编码。总而言之，就失真而言，压缩质量随着λ的减小而增加。

所描述的实施例关注于改善变换T，以获得与其他编码方案相比更好的编码性能。

实施例描述了新的方案和语法，用于决定要在块中使用哪个变换。主要方法是将变换信令语法划分为如下两个等级：

·在区域等级，从变换集的池中选择哪个变换集将用于该区域

·在局部区域等级，从所选变换集中决定哪个变换将用于一个块或一组块。理解的是，一个区域可包含几个局部区域。

这样的方法是有利的，因为其允许维持对多个变换的使用，以保持内容的高度适应性，与此同时，通过将信令的公共部分置于区域等级中来减少变换信令。

所描述的实施例的编码方法的一个实施例如图2中所示。在RDO循环中，执行从池中选择变换，该RDO循环将专用语法添加到比特流。如图2中的框图中所示，视频信号首先被划分为区域，其中每个区域被进一步划分为块或子区域。对于区域，从变换集的池中选择第一元素P_i(即，变换集)。然后，对于区域内的每个块，从以上所选第一元素P_i中选择第二元素

(即，来自变换集的变换)。该第二元素(变换)然后用于将块变换为系数。对这些系数进行量化以获得量化系数，然后在比特流中将量化系数与在解码器处识别第二元素的索引一起编码。对编码该区域内所有块的成本进行累积。最后，在比特流中编码识别第一元素的索引，即池索引，并更新总成本。

在区域等级，选择具有最小编码成本的变换集P_i，以对该区域进行编码。已编码区域可以用于预测图片中仍然要编码的接下来的区域。

对图像和视频编码的有效变换的研究一直是活跃的研发领域。过去已经开发了很多复杂的方法，并且可以将其归类为两种主要方法。

一种方法使用系统变换，即已知变换，以实现更好的压缩。近期的一些工作涉及例如以自适应方式使用从正弦变换族(即，DCT-II，DCT-V，DCT-VIII，DST-I，DST-VIII)获得的多个系统变换，以压缩视频信号。

另一种方法涉及离线学习大型训练集上的变换词典，然后使其在视频编解码器的编码器和解码器上都可用。文献中已经提出了许多不同的学习方法。典型的学习方案如图3中所示，并且在下面描述：

令r^j(其中j＝1…J)为训练集中的第j个残差。可以使用K个不同变换T_k(其中k＝1…K)对每个残差进行变换。可以通过将训练集随机划分为K个不同的类别来初始化这些变换，然后学习这些类别中的每一个上的卡洛变换(Karhunen Loeve Transform，KLT)，或者使用定向的类DCT可分离变换的集合来初始化这些变换。

将算法划分为两部分：残差块的分类和新变换集的生成。第一步骤基于以下等式将残差块分类为K个不同的类别(S₁…S_K)，该等式示出了使用变换T_k编码残差块r^j的率失真(R-D)成本，并进一步用提供最小R-D成本的变换索引来标记残差。

其中，

是在量化系数块

的逆量化Q^-1和逆变换T_k之后获得的重构残差。

在第二步骤中，对于每个类别k，使用该类别的重构误差的最小化并通过求解以下等式来获得新的变换T′_k。

s.t.H^TH＝I,k∈{1,…,K}

通常，使用奇异值分解(Singular Value Decomposition，SVD)生成正交变换集。迭代以上两个步骤，直到达到解决方案收敛或停止标准为止。如图3中的框图中所示，系统的输入是训练集，该训练集由大型残差集合和某个初始变换集(T₁…T_K)一起组成。在迭代学习方案之后，系统输出学习的变换的集合(T′₁…T′_K)。

接下来，简要描述生成变换集的不同方法。给定训练集，可以使用离线学习方案生成K个变换的集合。然而，通过从不同视频序列中提取残差来构建无偏差训练集，这些视频序列就其内容、分辨率、位深度或其他因素而言是不同的。因此，在该通用训练集上学习的变换不偏向特定的内容类型或分辨率类型，并且是通用的。

此外，另一种方法是将训练集划分为多个较小的训练集，其中从彼此高度相关的视频序列或图像中提取每个训练集中的残差。图4中示出了示例，其中，采用取自RollandGarros、冰球和森林的一系列序列来生成三个单独的训练集。每个训练集用于生成变换集。最后，将这些集合集中在一起以用于实时编码。

对于实时编码，视频序列中的图片被划分成多个区域，其中每个区域使用变换集，该变换集来自在不同序列上学习的多于一个变换集的池。在每个区域中，通过典型的基于树的划分获得的每个块使用针对该区域选择的变换集中的单个变换进行编码。

可以通过对区域测试池中的每个变换集来对每个区域执行蛮力测试(brute-force test)，然后选择提供最小R-D成本的集合。因此，在区域等级，对索引进行编码，以发信号通知从变换集的池中对变换集的选择。在区域中，例如，在诸如一个块或一组块的更局部的等级，对另一个索引进行编码，以发信号通知对集合中的变换的选择，其用于该局部等级处的编码。

在示例性编码实施例中，使用前面部分中描述的方法离线计算变换集的池，并使其在视频编解码器的编码器和解码器侧都可用。编码器执行以下步骤：

1)将视频图片划分为区域，这些区域与变换集P_i的池一起馈送给编码器，其中i∈[0；N-1]，其中N是池中的变换集的总数

2)对于每个区域，

a.从多个变换集中选择变换集P_i。

b.对于在区域中使用基于树的划分所获得的每个块(或块的组)：

i.从以上所选变换集P_i中选择变换

其中j∈[0；K_i-1]，K_i是所选变换集P_i中的变换的数量

ii.对于每个变换和块：

1.根据已重构样本执行预测(帧内或帧间)

2.通过计算原始块和预测块之间的像素间差异获得残差块

3.使用

将残差块变换为系数

4.使用量化器Q对系数进行量化以生成量化系数

5.使用虚拟熵编码器(如CABAC或上下文无关编码器)估计量化系数的比特率

6.估计索引的比特率，该索引识别用于该块的变换

7.估计作为对量化系数和索引进行编码所需的位数的估计速率R

8.将逆量化和逆变换应用于量化系数以生成重构的残差块

9.添加预测以生成重构块

10.将失真D计算为原始块和重构块之间的均方误差

11.估计成本C_m＝D+λR，以用于编码当前块

iii.对变换集P_i中的每个变换

重复步骤(i)，并选择具有最小R-D成本C_m的变换

c.对每个块(或块的组)m重复步骤(b)，并将对区域中所有块进行编码的成本C_m求和，以得到每个区域的成本C

d.估计识别该区域中使用的多个变换集中变换集P_i的索引的比特率

e.对多个变换集中的每个变换集P_i重复步骤(2)，并选择具有最小R-D成本C的变换集

3)使用确定的P_i和

对区域进行编码

对于解码，可以执行以下步骤：

1)对于要解码的区域，从比特流中获得第一索引，该第一索引从多个变换集中识别变换集P_i

2)在所述区域中，对于每个块(或块的组)，

a.解码量化系数

b.解码识别以上所选变换集中的变换

的第二索引

c.对所述量化系数进行逆量化和逆变换以获得残差块

d.从已重构区域中计算预测块

e.将预测块添加到残差块，以生成重构块

3)对于每个块(或块的组)重复(2)

4)对于每个区域重复(1)

存在可以实现的附加实施例，诸如一种用于编码图片的方法，其特征在于，该方法包括：对于至少第一集合的块，首先，从至少两个变换的第二集合的超级集合(或组，或池)中选择元素。然后，对于第一集合的至少两个子集，从所选择的至少两个变换的第二集合中选择变换，并对于至少两个子集中的每一个，使用所选变换将至少一个块变换为系数。最后，至少将识别所选元素的索引、识别所选变换的索引以及这些系数编码到至少一个比特流中。

附加实施例可以具有以下特性。块可以是图片块或残差块。使用树(诸如四叉树或二叉树)确定块的集合、块的子集。另外，块的子集可以是树结构中的块的集合的子代。此外，作为变换集，可以将该集合定义为最大编码单元(LUC)或等效地定义为编码树单元(CTU)。子集可以定义为变换单元(TU)或编码单元(CU)或树中的任何子节点。

在实施例中，定义默认的变换池，并始终将其激活。然后，默认池由子池补充，子池可以自适应地选择。通常可以在图片、切片、CTU或CU等级进行选择。

下面的流程图中示出了该实施例的简化语法解码过程。定义默认池，并将其系统地用于对待编码的所考虑单元进行编码，例如，该单元为CTU、CU或切片。从该过程的开始，第一步骤“识别补充池”识别要用于待编码的所考虑单元的补充池的索引。然后，第二步骤在由默认池的变换和所选补充池的变换构成的变换集之中识别要使用的变换的索引。这提供要应用于所考虑单元的变换的变换索引。在该步骤之后，变换选择过程结束。该概念可以推广到两个以上等级的池。

在另一实施例中，与所考虑单元相比，补充池在更高的语法等级(诸如在SPS或切片等级)被发信号通知。例如，在SPS等级处进行补充池信令，而在所考虑单元等级处进行变换信令。

该概念也可以推广到两个以上等级的池。下面给出示例。与前面的实施例相比，插入一个对补充池集合进行识别的附加步骤，作为变换选择过程的第一步骤。该示例中的该步骤适用于SPS或PPS等级。在切片等级进行第二步骤，即在所选补充池集合之中选择补充池。在所考虑单元等级(诸如CTU或CU等级)进行第三步骤，即在默认池和所选补充池之中选择变换。

根据又一实施例，对于要编码的视频序列中的每个时间等级，考虑单独的变换候选池的集合。

根据又一实施例，与较高时间等级相关联的候选池集合是与较低时间等级相关联的变换的候选池集合的截短版本。

该概念在图7中示出，图7示出了三个时间等级的图片，并且对于每个时间等级，启用一个池集合。在该示例中，时间等级1的池集合是时间等级0的池集合的子集，而时间等级2的池集合是时间等级1的池集合的子集。

在另一实施例中，池本身是与时间等级相关的。例如，对于时间等级0，启用池(记为池0)。对于时间等级1，启用该池的子集(记为池1)。在池1中，仅包含来自池0的某些变换。对于时间等级1，启用该池的子集(记为池2)。在池2中，仅包含来自池0的某些变换。池2可以是池1的子集。

所描述的实施例相对于现有技术的一个优点在于，仅用一个变换集与现有技术相比改善压缩。

图8示出了用于对视频图像中的块进行编码的方法800的一个实施例。该方法开始于起始框801，并且前进到框810，用于从多个变换集中选择变换集，其中，该变换集与第一索引相关联。该方法从框810前进到框820，用于从包括来自框810的所选变换集的多个变换之中选择变换，其中，所选变换与第二索引相关联。然后控制从框820前进到框830，用于使用所选变换将视频图像的区域中的至少一个块变换为变换系数。控制从框830前进到框840，用于将变换系数连同第一索引和第二索引一起编码到比特流中。

图9示出了用于对视频图像中的块进行解码的方法900的一个实施例。该方法开始于起始框901，并且控制前进到框910，用于对视频比特流进行解码以生成第一索引和第二索引。控制从框910前进到框920，用于从要用于对视频图像的区域中的块进行解码的多个变换集中选择与第一索引相关联的变换集。控制从框920前进到框930，用于从包括所选变换集的多个变换之中选择与第二索引相关联的变换，以用于对视频图像的区域中的块进行解码。控制从框930前进到框940，用于使用所选变换对视频图像的区域中的至少一个块的系数进行逆变换。

图10中示出了用于对视频图像中的块进行编码或解码的装置1000的一个实施例。该装置包括处理器1010和存储器1020。针对编码，处理器1010被配置为执行图8的步骤，即，从要用于对视频图像的区域中的块进行编码的多个变换集之中选择变换集，其中，所选变换集与第一索引相关联；从包括与第一索引相关联的所选变换集的多个变换之中选择变换，以用于对块进行编码，其中，所选变换与第二索引相关联；使用所选变换将视频图像的区域中的至少一个块变换为变换系数，以及将变换系数连同第一索引和第二索引一起编码到比特流中。

当处理器1010被配置用于解码时，其执行图9的步骤，即，对视频比特流进行解码以生成第一索引和第二索引；从要用于对视频图像的区域中的块进行解码的多个变换集之中选择与第一索引相关联的变换集；从包括与第一索引相关联的所选变换集的多个变换之中选择与第二索引相关联的变换，以用于对视频图像的区域中的块进行解码；以及使用所选变换对视频图像的区域中的至少一个块的系数进行逆变换。

图中示出的各种元件的功能可以通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器(其中的一些可以被共享)来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。

也可以包括传统和/或定制的其他硬件。类似地，图中示出的任何切换只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互来实现，或者甚至手动实现，特定技术可以由实现者选择，如从上下文中更具体地理解的那样。

本描述说明了本原理。因此，将理解，本领域技术人员将能够设计各种布置，这些布置尽管没有在此明确描述或示出，但是体现本原理，并且被包括在本原理的范围内。

在此叙述的所有示例和条件语言旨在用于教学目的，以帮助读者理解本原理和发明人为推进本领域所贡献的概念，并且要被解释为不限于这样具体叙述的示例和条件。

此外，在此叙述本原理的原理、方面和实施例以及其具体示例的所有陈述旨在包含其结构和功能等同物。此外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，无论结构如何，所开发的执行相同功能的任何元件。

因此，例如，本领域技术人员将理解，在此呈现的框图表示体现本原理的说明性电路的概念视图。类似地，将理解的是，任何流程图表、流程图、状态转换图、伪代码等都表示各种过程，其可以基本上表示在计算机可读介质中，并由计算机或处理器执行，无论是否明确示出了这样的计算机或处理器。

在本文的权利要求中，表达为用于执行指定功能的部件的任何元件旨在包含执行该功能的任何方式，包括例如a)执行该功能的电路元件组合，或者b)任何形式的软件，因此包括固件、微码等，其与用于执行该软件的适当电路组合以执行该功能。由这样的权利要求定义的本原理在于这样的事实，即由各种所述部件提供的功能以权利要求所要求的方式被组合和集合在一起。因此，认为能够提供这些功能的任何部件都等同于在此示出的这些部件。

说明书中对本原理的“一个实施例”或“实施例”以及其其他变型的引用意指结合该实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在整个说明书的不同地方出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型不一定都指相同的实施例。

总之，用于改善视频编码器和解码器的性能的改进的方法和装置包括，从可用于对视频图像的区域中的块进行编码的多个变换集之中选择变换集。在区域中，从包括所选变换集的多个变换之中选择特定变换，用于对该区域中的至少一个块进行编码或解码。可以在比特流中发送关联索引，该关联索引表示要在区域中使用的变换集和针对块的所选变换。在替代实施例中，基于块或区域，通过选择附加变换集来补充默认变换集。

Claims

1.一种方法，包括：

从要用于对视频图像的区域中的块进行编码的多个变换集之中选择变换集，其中，所选变换集与第一索引相关联；

从包括与所述第一索引相关联的所选变换集的多个变换之中选择变换以用于对块进行编码，其中，所选变换与第二索引相关联；

使用所选变换将所述视频图像的所述区域中的至少一个块变换为变换系数；以及

将所述变换系数连同所述第一索引和所述第二索引一起编码到比特流中。

2.一种方法，包括：

对视频比特流进行解码，以生成第一索引和第二索引；

从要用于对视频图像的区域中的块进行解码的多个变换集之中选择与所述第一索引相关联的变换集；

从包括与所述第一索引相关联的所选变换集的多个变换之中选择与所述第二索引相关联的变换，以用于对所述视频图像的所述区域中的块进行解码；以及

使用所选变换对所述视频图像的所述区域中的至少一个块的系数进行逆变换。

3.一种装置，包括：

存储器，以及

处理器，配置为执行：

4.一种装置，包括：

存储器，以及

处理器，配置为执行：

对视频比特流进行解码，以生成第一索引和第二索引；

5.根据权利要求1或2所述的方法，或者根据权利要求3或4所述的装置，其中，在视频编码层级的不同等级发信号通知所述第一索引和所述第二索引。

6.根据权利要求1或2所述的方法，或者根据权利要求3或4所述的装置，还包括：在选择变换以用于对所述块进行编码之前，将所选变换集添加到默认变换集。

7.根据权利要求5或权利要求6所述的方法或装置，其中，发信号通知所述第一索引的视频编码层级中的等级高于发信号通知所述第二索引的所述视频编码层级中的等级。

8.根据权利要求1或2所述的方法，或者根据权利要求3或4所述的装置，还包括：在选择变换以用于对所述块进行编码之前，在一个或多个视频编码等级将所选变换集添加到默认变换集。

9.根据权利要求8所述的方法或装置，其中，处于特定视频编码等级的变换集中的变换的数量少于更高视频编码等级中的变换的数量。

10.根据权利要求8所述的方法或装置，其中，在各个视频编码等级考虑单独的变换集。

11.根据权利要求1或2所述的方法或装置，或者根据权利要求3或4所述的装置，其中，所述多个变换集通过离线变换学习方案导出。

12.根据权利要求1或2所述的方法或装置，或者根据权利要求3或4所述的装置，其中，所述多个变换集包括正弦变换族的系统变换。

13.一种非临时性计算机可读介质，包含根据权利要求1和5至12中任一项所述的方法或者由权利要求3和5至12中任一项所述的装置生成的数据内容，用于使用处理器进行回放。

14.一种信号，包括根据权利要求1和5至12中任一项所述的方法或者由权利要求3和5至12中任一项所述的装置生成的视频数据，用于使用处理器进行回放。

15.一种计算机程序产品，其包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行权利要求2和5至12中任一项所述的方法。