CN101573982B - 利用运动矢量跟踪编码/解码图像的方法和装置 - Google Patents

Abstract

提供一种用于利用运动矢量跟踪编码/解码图像的方法和装置。该图像编码方法包括：通过跟踪被当前块参考的参考画面的对应区域的运动矢量路线来确定将要用于预测当前块的多个参考画面的对应区域；通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；以及编码当前块与预测块之间的差。

Description

利用运动矢量跟踪编码/解码图像的方法和装置

技术领域

与本发明一致的方法和装置涉及图像的预测编码/解码，更具体地，涉及这样对图像进行编码/解码，其连续跟踪当前画面的运动矢量的路线，确定多个参考画面，以及使用该参考画面预测编码该当前画面。

背景技术

当编码视频时，图像序列的空间和时间冗余被消除以压缩该图像序列。为了消除时间冗余，位于当前编码画面之前或之后的参考画面被用于搜寻与当前编码的画面的区域相似的参考画面的区域，检测当前编码的画面和参考画面的相应区域之间的运动，以及编码通过基于该检测的运动执行运动补偿获得的预测画面与当前编码的画面之间的残差。

视频画面在一个或多个分片(slice)之中编码。一个分片包括至少一个宏块。视频画面可以在分片中被编码。根据H.264标准，视频画面编码成intra(I)分片(在一个画面内编码)，预测(P)分片(使用一个参考画面编码)、和双向预测(B)分片(使用两个参考画面预测图像采样来编码)。

在运动画面专家组2(MPEG-2)标准中，使用当前画面之前的画面和当前画面之后的画面作为参考画面来执行双向预测。根据H.264/高级视频编码(AVC)，双向预测能够使用任何两个画面作为参考画面，而不限制于当前画面之前和之后的画面。通过使用两个画面预测的画面被定义为双向预测画面(下文称作“B画面”)。

图1是说明根据H.264/AVC标准编码为B画面的当前画面的块预测过程的图。H.264/AVC标准通过使用在相同方向的两个参考画面A和B(如宏块MB 1)、使用在不同方向的两个参考画面B和C(如宏块MB2)、使用在相同参考画面A的两个不同区域采样的两个区域(如宏块MB3)、或使用一个可选的参考画面B或D(如宏块MB4或MB5)来预测B画面的块。

一般，编码为B画面的图像数据具有比编码为I或P画面的图像数据更高的编码效率。使用两个参考画面的B画面能够产生相对于使用一个参考画面的P画面或使用画面内部预测的I画面更相似于当前图像数据的预测数据。此外，由于B画面使用两个参考画面的平均值作为预测数据，即使在两个参考画面之间发生误差，也不会造成大的失真，好像执行了某种低频滤波。

由于B画面使用两个参考画面以获得比P画面更高的编码效率，如果在预测中使用更多参考画面，则编码效率增加。可是，如果在每个参考画面中执行运动预测和补偿，则运算量增加，从而相关技术的图像压缩标准设置为最大两个参考画面。

发明内容

本发明提出一种用于编码/解码图像的方法和装置，其跟踪当前块的参考画面的运动矢量路线以使用更多参考画面预测当前块，以便改进编码/解码效率。

根据本发明的示范实施例，较大数目的参考画面被用于预测编码当前块，从而改进预测和编码的效率。

附图说明

图1是说明根据H.264/AVC标准编码为双向预测(B)画面的当前画面的块预测过程的图；

图2是说明根据本发明的示范实施例的图像编码方法确定用来预测当前画面的多个参考画面的过程的图；

图3是说明根据本发明的另一示范实施例的图像编码方法确定用来预测当前画面的多个参考画面的过程的图；

图4是说明根据本发明的另一示范实施例的图像编码方法确定用来预测当前画面的多个参考画面的过程的图；

图5是根据本发明的示范实施例的图像编码装置的框图；

图6是根据本发明的示范实施例的在图5说明的运动补偿单元的框图；

图7是说明根据本发明的示范实施例在H.264/MPEG-4AVC标准中用于预测可变块的运动的不同大小的块的图；

图8是根据本发明的示范实施例的通过预测可变块的运动产生的图像；

图9是用于解释根据本发明的示范实施例的图像编码方法来确定由沿运动块边界划分的参考画面的子对应区域参考的其他参考画面的对应区域的过程的图；

图10是用于解释根据本发明的另一示范实施例的图像编码方法来确定由沿运动块边界划分的参考画面的子对应区域参考的其他参考画面的对应区域的过程的图；

图11是说明根据本发明的示范实施例的图像编码方法来计算分配给参考画面的对应区域的权重的过程的图；

图12是说明根据本发明的示范实施例的图像编码方法的流程图；

图13是根据本发明的示范实施例的图像解码装置的框图；

图14是说明根据本发明的示范实施例的图像解码方法的流程图。

具体实施方式

根据本发明的一方面，提供一种图像编码方法，包括：通过跟踪由当前块参考的参考画面的对应区域的运动矢量路线来确定将用于预测当前画面的当前块的多个参考画面的对应区域；通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；以及编码当前块与预测块之间的差。

根据本发明的另一方面，提供一种图像编码装置，包括：参考画面确定单元，其通过跟踪由当前块参考的参考画面的对应区域的运动矢量路线来确定将用于预测当前块的多个参考画面的对应区域；权重估计单元，其通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；和编码单元，其编码当前块与预测块之间的差。

根据本发明的另一方面，提供一种图像解码方法，包括：通过读取包括在输入比特流的预测模式信息来识别当前块的预测模式；如果当前块被确定为已经使用多个参考画面的对应区域进行预测，则通过跟踪由包括在比特流中的当前块的运动矢量路线参考的参考画面的对应区域、以及参考画面的对应区域的运动矢量路线来确定将用于预测当前块的多个参考画面的对应区域；通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；以及通过将包括在比特流中的当前块与预测块之间的差与预测块相加来解码当前块

根据本发明的另一方面，提供一种图像解码装置，包括：预测模式识别单元，其通过读取包括在输入比特流中的预测模式信息来识别当前块的预测模式；参考画面确定单元，如果当前块被确定为已经使用多个参考画面的对应区域进行预测，则其通过跟踪由包括在比特流中的当前块的运动矢量路线参考的参考画面的对应区域、以及参考画面的对应区域的运动矢量路线来确定将用于预测当前块的多个参考画面的对应区域；权重预测单元，其通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；和解码单元，其通过将包括在比特流中的当前块与预测块之间的差与预测块相加来解码当前块。

现在将参考附图详细说明本发明的示范实施例。

根据本发明的示范实施例的图像编码方法使用由当前画面的运动矢量指示的参考画面的运动矢量来连续跟踪其他参考画面的对应区域，由此确定将用于当前画面的预测的多个参考画面，计算多个参考画面的加权和，以及产生当前画面的预测值。

现在将参考图2到图4说明由根据本发明的示范实施例的图像编码方法和装置使用的确定多个参考画面的过程。

图2是说明根据本发明的示范实施例的图像编码方法确定用来预测当前画面的多个参考画面的过程的图。

参考图2，假定对将在当前画面A中被编码的块21(下文称为“当前块”)执行一般运动预测，由此确定运动矢量MV1，其指示与当前块21最相似的参考画面1的对应区域22。还假定当前画面A是预测(P)画面，当前块21是仅参考一个参考画面的运动块。然而，本发明能够适用于跟踪在双向预测(B)画面中具有两个运动矢量的运动块的每个运动矢量，就如同跟踪在图2的P画面中所示的具有一个运动矢量的运动块一样。

参考图2，由当前块21的运动预测产生的运动矢量MV1指示在参考画面1中与当前块21比较具有最少误差的区域。在现有技术中，将参考画面1的对应区域22的值确定为当前块21的预测值，并编码残差，即预测值与当前块21的原始像素值之间的差。

本发明示范实施例的图像编码方法通过使用由当前块的运动矢量指示的第一参考画面的对应区域(如同现有技术一样)，以及还通过使用用来利用参考画面的对应区域的运动信息来预测第一参考画面的对应区域的第二参考画面的对应区域，来预测当前块。例如，与当前块21对应的参考画面1的对应区域22的运动矢量MV2被用来确定用来预测参考画面1的对应区域22的参考画面2的对应区域23。参考画面2的对应区域23的运动矢量MV3被用来确定用来预测参考画面2的对应区域23的参考画面3的对应区域24。参考画面n-1的对应区域25的运动矢量MVn被用来确定用来预测参考画面n-1的对应区域25的参考画面A的对应区域26。如稍后将描述的，跟踪由当前块的运动矢量指示的第一参考画面的对应区域、或跟踪由第一参考画面的对应区域的运动矢量指示的第二参考画面的对应区域的过程被连续地执行，直到参考画面仅包括帧内预测块、或参考画面包括的帧内预测块具有大于阈值的对应区域。

在本示范实施例中，通过跟踪运动矢量路线，将多个参考画面的每个对应区域乘以预定的权重，并将结果相加来产生当前块21的预测块，所述运动矢量路线诸如为由当前块21的运动矢量MV1指示的参考画面1的对应区域22的运动矢量路线，由参考画面1的对应区域22的运动矢量MV2指示的参考画面2的对应区域23的运动矢量路线，以及由参考画面2的对应区域23的运动矢量MV3指示的参考画面3的对应区域24的运动矢量路线。

图3是说明根据本发明的另一示范实施例的图像编码方法确定用来预测当前画面的多个参考画面的过程的图。参考图3，假定I₀是intra(I)画面，P₁和P₅是P画面，B₂和B₃是B画面。现在将说明确定用于预测B₂画面的当前块31的多个参考画面的对应区域的过程。

假定B₂画面的当前块31具有两个运动矢量MV1和MV2，这是一般运动预测的结果。如果象B₂画面的当前块31一样，将要编码的当前块具有两个运动矢量，则跟踪参考画面的对应区域的每个运动矢量路线以确定参考画面的对应区域。由当前块31的第一运动矢量MV1指示的参考画面P₁的对应区域33的运动信息被用来确定用于预测参考画面P₁的对应区域33的参考画面I₀的对应区域34。由于参考画面I₀是包括帧内预测块的I画面，参考画面I₀的对应区域34没有运动信息，因此停止跟踪。

类似的，由当前块31的第二运动矢量MV2指示的参考画面B₃的对应区域32具有两个运动矢量，因为参考画面B₃是B画面。在参考画面B₃的对应区域32的两个运动矢量中，左边的运动矢量被跟踪以确定用来预测参考画面B₃的对应区域32的参考画面P₁的对应区域41、以及用来预测参考画面P₁的对应区域41的参考画面I₀的对应区域42。右边的运动矢量被跟踪以确定用来预测参考画面B₃的对应区域32的参考画面P₅的对应区域38。如上所述，参考画面B₃的对应区域32的右边运动矢量的跟踪过程将连续地执行，直到没有运动信息的帧内预测块、或包括帧内预测块的参考画面具有大于阈值的对应区域为止。

在本示范实施例中，通过跟踪当前块31的两个运动矢量MV1和MV2，将多个参考画面的对应区域32、33、34和38的每个乘以预定的权重，并将结果相加，来产生当前块31的预测块。

图4是说明根据本发明的另一示范实施例的图像编码方法确定用来预测当前画面的多个参考画面的过程的图。除了仅使用在当前画面之前编码的画面外，本示范实施例的运动矢量跟踪过程类似于参考图3描述的前一示范实施例的过程。根据H.264/AVC标准，参考画面并不限制于当前画面之前和之后的两个画面，而可以是在可选方向上的两个画面。因此，参考图4，可以仅使用在当前画面之前的画面来执行预测编码。

跟踪当前块43的两个运动矢量MV1和MV2来确定用于预测当前块43的多个参考画面的对应区域44到52。

如上所述，本发明的示范实施例的图像编码方法和装置使用由当前块的运动矢量指示的参考画面的对应区域，和用来通过使用该参考画面的对应区域的运动信息来预测该参考画面的对应区域的其他参考画面的对应区域，以预测该当前块。如果当前块或参考画面的对应区域具有两个运动矢量，则跟踪每个运动矢量以确定其他参考画面的对应区域。

图5是根据本发明的示范实施例的图像编码装置500的框图。为了方便说明，假定该图像编码装置遵循H.264/AVC标准。然而，本发明示范实施例的图像编码装置能够适用于使用运动预测和补偿的不同的图像编码方法。

参考图5，图像编码装置500包括运动估计单元502、运动补偿单元504、帧内预测单元506、变换单元508、量化单元510、重排列单元512、熵编码单元514、逆量化单元516、逆变换单元518、滤波单元520、帧存储器522和控制单元525。

运动估计单元502将当前画面划分成预定大小的块，通过搜索在先前已经被编码且然后重建和存储在帧存储器522的参考画面的预定搜索区域范围内与当前块最相似的区域，来执行运动估计，并输出指示当前块与参考画面的对应区域之间在位置上的差的运动矢量。

运动补偿单元504使用关于由运动矢量指示的参考画面的对应区域的信息来产生当前块的预测值。具体地，如上所述的，本示范实施例的运动补偿单元504连续跟踪当前块的运动矢量以确定多个参考画面的对应区域，计算多个参考画面的对应区域的加权和，并产生当前块的预测值。稍后将描述本示范实施例的运动补偿单元504的详细构造和操作。

帧内预测单元506对当前块的预测值执行帧内预测。

一旦通过帧间预测、帧内预测或示范实施例的使用多个参考画面的对应区域的预测方法产生该当前块的预测块，则与当前块和预测块之间的误差值对应的残差被产生，并通过变换单元508变换至频域，然后由量化单元510量化。熵编码单元514编码经量化的残差，由此输出比特流。

经量化的画面由逆量化单元516和逆变换单元518重建以便获得参考画面。重建的当前画面经过执行消除块效应的滤波单元520，然后存储在帧存储器522中，以便用于下一画面的预测。

控制单元525控制图像编码装置500的各组件并确定用于当前块的预测模式。更具体地，控制单元525比较通过一般帧间预测、帧内预测或根据本发明的示范实施例的使用多个参考画面的对应区域的预测产生的预测块和当前块的开销，并且为当前块选择具有最小开销的预测模式。能够使用不同的开销函数以多种方式计算此类开销，诸如绝对差值和(SAD)开销函数、绝对变换差值和(SATD)开销函数、平方差值和(SSD)开销函数、绝对差值平均(MAD)开销函数、和拉格朗日开销函数。SAD是4x4块的预测误差(即残差)的绝对值的和。SATD是通过对4x4块的预测误差施加Hadamard变换获得的系数的绝对值的和。SSD是4x4块的预测误差的平方和。MAD是4x4块的预测误差的绝对值的平均。拉格朗日函数是包括比特流的长度信息的新的开销函数。

图6是根据本发明的示范实施例的在图5说明的运动补偿单元504的框图。参考图6，本发明示范实施例的运动补偿单元600包括参考画面确定单元610和权重估计单元620。

参考画面确定单元610使用由运动估计单元502产生的当前块的运动矢量来确定参考画面的对应区域，并跟踪参考画面的对应区域的运动矢量的路线，由此确定将用于预测当前块的多个参考画面的对应区域。

权重估计单元620计算多个参考画面的对应区域的加权和以产生当前块的预测块。权重估计单元620包括确定多个参考画面的对应区域的权重的权重计算单元621、和将多个参考画面的对应区域乘以权重并将结果相加以产生当前块的预测块的预测块产生单元622。

现在将详细说明确定将要用于预测当前块的多个参考画面的对应区域的参考画面确定单元610的操作。

图7是说明在H.264/MPEG-4AVC标准中用于预测可变块的运动的不同大小的块的图。图8是通过预测可变块的运动产生的图像。

参考图7，能够使用四种方法划分宏块：宏块能够被划分成一个16x16宏块分割、两个16x8分割、两个8x16分割、或四个8x8分割，以预测宏块的运动。在8x8模式中，能够使用四种方法划分四个8x8子宏块的每个：每个8x8子宏块能够被划分成一个8x8子宏块分割、两个8x4子宏块分割、两个4x8子宏块分割、或四个4x4子宏块分割。这些分割和子宏块的各种组合能够在每个宏块中实现。宏块到不同大小的子块的此类划分叫做树状运动补偿。

参考图8，在图像中具有低能量的块的运动以大的分割来预测，在图像中具有高能量的块的运动以小的分割来预测。用于使用树状运动补偿划分当前画面的运动块之间的边界被定义为运动块边界。

如上所述，根据本发明的示范实施例的图像编码方法跟踪参考画面的对应区域的运动矢量，以便确定将用于预测当前块的多个参考画面的对应区域。可是，如图8所示，由于参考画面被划分成具有不同大小的运动块，与当前块对应的参考画面的对应区域并不确切匹配于某一运动块，而是包括在多个运动块中。在这种情况中，参考画面的对应区域包括多个运动矢量。现在将说明跟踪包括在参考画面的对应区域中的多个运动矢量的过程。

图9是用于解释根据本发明的示范实施例的图像编码方法确定由沿运动块边界划分的参考画面的子对应区域参考的其他参考画面的对应区域的过程的图。参考图9，由当前块90的运动矢量MV1指示的参考画面1的对应区域91包括在多个运动块内。更具体地，与当前块90对应的参考画面1的对应区域91并不与多个运动块的其中一个匹配，而是包括在运动块A、B、C、D中。在这种情况下，参考画面确定单元610沿参考画面1的运动块边界划分参考画面1的对应区域91，并确定由包括子对应区域a、b、c和d的参考画面1的每个运动块的运动矢量指示的参考画面2和3的对应区域。更具体地，参考画面确定单元610通过使用子对应区域a所属的运动块A的运动矢量MVa确定参考画面2的对应区域a′93，通过使用子对应区域b所属的运动块B的运动矢量MVb确定参考画面2的对应区域b′94，通过使用子对应区域c所属的运动块C的运动矢量MVc确定参考画面3的对应区域c′96，以及通过使用子对应区域d所属的运动块D的运动矢量MVd确定参考画面3的对应区域d′95。

在本示范实施例中，部分包括与当前块90对应的参考画面1的对应区域91的运动块A、B、C、D参考参考画面2和3。然而，即便运动块A、B、C、D改变它们的参考画面，运动块A、B、C、D的运动场信息(即运动块A、B、C、D的运动矢量和参考画面信息)也能够被用来确定与参考画面1的子对应区域对应的其他参考画面的对应区域。

图10是用于解释根据本发明的另一示范实施例的图像编码方法来确定由沿运动块边界划分的参考画面的次对应区域参考的其他参考画面的对应区域的过程的图。参考图10，当关于当前块的参考画面的对应区域100被部分地包括在运动块A、B1、B2、C和D中时，如上所述，参考画面的对应区域100被沿着参考块的运动块边界划分，子对应区域a、b1、b2、c和d所属的各运动块的运动场信息被用来确定其他参考画面的对应区域。更具体地，参考画面确定单元610通过使用子对应区域a所属的运动块A的运动场信息确定与子对应区域a对应的其他参考画面的对应区域，通过使用子对应区域b1所属的运动块B1的运动场信息确定与子对应区域b1对应的其他参考画面的对应区域，通过使用子对应区域b2所属的运动块B2的运动场信息确定与子对应区域b2对应的其他参考画面的对应区域，通过使用子对应区域c所属的运动块C的运动场信息确定与子对应区域c对应的其他参考画面的对应区域，通过使用子对应区域d所属的运动块D的运动场信息确定与子对应区域d对应的其他参考画面的对应区域。

确定参考画面的过程被用来根据由当前块的运动矢量指示的第一参考画面的对应区域确定第二参考画面的对应区域，也用来根据第二参考画面的对应区域确定第三参考画面。仅当对应区域被包括在具有运动矢量信息的运动块中时，基于运动矢量的跟踪才能够连续执行。可是，当对应区域包括在帧内预测块中、或包括在帧内预测块中的对应区域大于阈值时，参考对应的参考画面执行该跟踪。例如，再参考图9，如果与当前块90对应的参考画面1的对应区域91所属的块A、B、C、D全是帧内预测块，则不再执行跟踪且参考画面1的对应区域91仅用于预测当前块90。同样，如果块A、B、C是具有运动矢量的运动块，而块D是帧内预测块，当属于块D的子对应区域d大于阈值时，通过将参考画面1的对应区域91乘以权重获得的值被用来预测当前块90。确定是否连续执行跟踪的过程被相应地施加到根据参考画面确定的其他参考画面的对应区域。

如果对应区域之一包括在帧内预测块中但是包括在帧内预测块中的对应区域小于阈值，则连续执行确定其他参考画面的对应区域的跟踪过程。对此，使用帧内预测块的相邻运动块的运动矢量来向该帧内预测块分配一虚拟运动矢量，并确定由该虚拟运动矢量指示的其他参考画面的对应区域。在上述的示例中，假设块A、B、C分别包括运动矢量MVa、MVb、和MVc，块D是帧内预测块，且块D的子对应区域d小于阈值，该跟踪过程被连续执行。在这种情形下，如上所述，对于属于块A、B、C的子对应区域a、b和c，将块A、B、C的运动矢量MVa、MVb、和MVc的中间值或平均值分配给块D的虚拟运动矢量，并确定由该虚拟运动矢量指示的其他参考画面的对应区域。

再参考图6，如果参考画面确定单元610跟踪当前块的运动矢量的路线并确定多个参考画面的对应区域，权重计算单元621计算分配给全部对应区域的权重。

权重计算单元621使用当前块的相邻块的先前处理的像素、和与当前块的相邻块的先前处理的像素对应的参考画面的对应区域的相邻像素来将这样的值确定为权重，其将通过计算参考画面的对应区域的相邻像素的加权和获得的当前块的相邻块的像素的预测值与当前块的相邻块的像素的值之间的差最小化。

图11是说明根据本发明的示范实施例的图像编码方法来计算分配给参考画面的对应区域的权重的过程的图。参考图11，假设D_t表示当前块，D_t-1表示与当前块D_t对应的参考画面t-1的对应区域，D_t-2，a、D_t-2，b、D_t-2，c、和D_t-2，d(综合称为‘D_t-2’)表示分别与对应区域D_t-1的子划分区域a、b、c和d对应的参考画面t-2的各对应区域，以及P_t表示当前块D_t的预测块。

权重计算单元621为每个参考画面分配权重。更具体地，权重计算单元621对属于相同参考画面的对应区域分配相等的权重。如果权重α分配给参考画面t-1的对应区域D_t-1，而权重β分配给参考画面t-2的对应区域D_t-2，则通过根据等式1计算参考画面t-1的对应区域D_t-1和参考画面t-2的对应区域D_t-2的加权和，获得当前块D_t的预测块P_t。

【数学式1】

P_t＝α*D_t-1+β*D_t-2                               ...(1)

能够使用各种算法确定分配给参考画面的对应区域的权重α和β。本发明的示范实施例使用在预测块P_t和当前块D_t之间产生最小误差的权重。根据等式2计算预测块P_t与当前块D_t之间的方差和(SSE)。

【数学式2】

SSE＝∑(D_t-P_t)²＝∑[D_t-(α*D_t-1+β*D_t-2)]²       ...(2)

能够通过计算根据等式3的偏微分方程(PDE)且获得结果为0来确定权重α和β。

【数学式3】

$\frac{\∂\mathrm{SSE}}{\∂\mathrm{\α}}=0,$ $\frac{\∂\mathrm{SSE}}{\∂\mathrm{\β}}=0...\left(3\right)$

使用当前块的相邻块的像素和与当前块的相邻块的像素对应的参考画面的对应区域的相邻像素来计算等式3的PDE。这是因为能够使用先前解码的关于当前块的相邻块的像素的信息来确定权重而无需传递用来预测当前块的权重。因此，本发明的示范实施例使用当前块的相邻块的像素和与当前块的相邻块的像素对应的参考画面的对应区域的相邻像素，以便使用由编码器和解码器预先处理的数据来确定权重，避免了传递分配给参考画面的对应区域的权重的需要。

类似于使用参考画面t-1的对应区域D_t-1和参考画面t-2的对应区域D_t-2的关于当前块D_t的预测块P_t的计算，考虑到当前块D_t的空间位置，能够通过使用参考画面t-1的对应区域D_t-1的相邻像素N_t-1，a、N_t-1，b和N_t-1，c和参考画面t-2的对应区域D_t-2的相邻像素N_t-2，a、N_t-2，b和N_t-2，c来计算当前块的相邻块的像素N_t。在这种情况下，根据等式4计算通过使用参考画面t-1的对应区域D_t-1的相邻像素N_t-1和参考画面t-2的对应区域D_t-2的相邻像素N_t-2获得的当前块D_t的相邻块的像素的预测值N_t′当前块的相邻块的像素N_t之间的SSE。

【数学式4】

相邻像素的SSE＝∑(N_t-N_t′)²＝∑[N_t-(α*N_t-1+β*N_t-2)]²     ...(4)

权重计算单元621通过计算SSE的PDE并获得结果为0来确定权重α和β。

在等式1中，如果权重α和β的值被归一化，那么α+β＝1，β＝1-α。将β＝1-α替代到等式1中以给出下面的等式5和6。

【数学式5】

P_t＝α*D_t-1+(1-α)*D_t-2                        ...(5)

【数学式6】

SSE＝∑(D_t-P_t)²＝∑[D_t-(α*D_t-1+(1-α)*D_t-2)]² ...(6)

依据等式7，通过计算根据等式6的SSE的PDE获得满足

【数学式7】

$\frac{\∂\mathrm{SSE}}{\∂\mathrm{\α}}=0$

的权重α。

【数学式8】

$\mathrm{\α}=\frac{\mathrm{\Σ}[(D_t-D_{t-2})*(D_{t-2}-D_{t-1})]}{\mathrm{\Σ}{(D_{t-2}-D_{t-1})}^2}...\left(7\right)$

如上所述，分别使用先前处理的相邻块的像素N_t、相邻像素N_t-2、和相邻像素N_t-1以代替当前块D_t、对应区域D_t-2、对应区域D_t-1，以便确定权重而不用传递分配给对应区域的每个权重。

通过在使用较大数量的参考画面的对应区域时给每个参考画面分配权重并确定在当前块和预测块之间产生最小误差的权重来确定权重。

更具体地，如果D1、D2、D3、...Dn表示用于预测当前块D_t的n(n是整数)个参考画面的对应区域，且W1、W2、W3、...Wn表示分配给每个对应区域的权重，则使用P_t＝W1*D1+W2*D2+W3*D3+...+Wn*Dn计算当前块D_t的预测块P_t。通过计算SSE(即预测块P_t与当前块D_t之间的误差值的平方)的PDE，使用权重为参数并获得结果为0，来确定权重W1、W2、W3、...Wn。如上所述，当前块的相邻块的像素和参考画面的对应区域的对应的相邻像素被用来计算PDE。

再参考图6，预测块产生单元622将多个参考画面的对应区域乘以权重，将结果相加，而产生当前块的预测块。

根据本发明的示范实施例的运动补偿单元504变换残差(其是使用多个参考画面的对应区域获得的预测块与当前块之间的差)，量化该残差，并熵编码该残差，由此输出比特流。

可以将一比特的标志插入将要根据依据本发明的示范实施例的图像编码方法编码的比特流的报头，该标志指示每个块是否已经使用多个参考画面的对应区域进行运动预测。例如，“0”指示根据传统技术编码的比特流，而“1”指示根据本发明的示范实施例编码的比特流。

图12是说明根据本发明的示范实施例的图像编码方法的流程图。参考图12，跟踪由当前块参考的参考画面的对应区域的运动矢量路线以确定用于预测该当前块的多个参考画面的对应区域(操作1210)。如上所述，当按运动块边界划分该参考画面的对应区域时，每个对应区域所属的运动块的运动矢量被用来确定多个参考画面的对应区域。

确定将要分配给多个参考画面的对应区域的权重(操作1220)。如上所述，通过使用当前块的相邻像素和与当前块的相邻像素对应的多个参考画面的对应区域的相邻像素来将对应区域的权重确定为这样的值：其将原始相邻像素与从对应区域的相邻像素中预测的当前块的相邻像素之间的差最小化。

通过将多个参考画面的对应区域乘以权重获得的各个值相加来产生当前块的预测块(操作1230)。

作为预测块与当前块之间的差的残差被变换、量化和熵编码，由此输出比特流(操作1240)。

图13是根据本发明的示范实施例的图像解码装置1300的框图。参考图13，本发明示范实施例的图像解码装置1300包括熵解码单元1310、重排列单元1320、逆量化单元1330、逆变换单元1340、运动补偿单元1350、帧内预测单元1360、和滤波单元1370。

熵解码单元1310和重排列单元1320接收压缩的比特流并对接收的比特流执行熵解码，由此产生量化的系数。逆量化单元1330和逆变换单元1340执行量化系数的逆量化和逆变换，由此提取变换编码系数，运动矢量信息和预测模式信息。预测模式信息可以包括标志，其指示待解码的当前块是否是根据本发明的示范实施例的图像编码方法通过使用多个参考画面的对应区域添加权重来编码的。如上提及的，能够使用以与图像编码方法一样的方式解码的当前块的运动矢量信息确定用来解码当前块的多个参考画面的对应区域，故没有必要传递关于将要用来解码当前块的多个参考画面的对应区域的信息。

帧内预测单元1360使用当前块的相邻块产生当前块的预测块，该相邻块已经在帧内预测编码当前块之前被解码。

运动补偿单元1350以与图5说明的运动补偿单元504相同的方式操作。换句话说，当通过计算多个参考画面的对应区域的加权和而预测编码待解码的当前块时，运动补偿单元1350使用包括在比特流中的当前块的运动矢量来跟踪先前编码的参考画面的对应区域，由此确定多个参考画面的对应区域，确定将分配给每个参考画面的对应区域的权重，将多个参考画面的对应区域乘以权重，将结果相加，并产生当前块的预测值。如上所述，使用先前解码的当前块的相邻像素和与当前块的相邻像素对应的多个参考画面的对应区域的相邻像素来确定给多个参考画面的对应区域的权重。

从比特流中提取当前块与预测块之间的误差值D′n，然后将其与由运动补偿单元1350和帧内预测单元1360产生的预测块相加，由此产生重建的视频数据uF′n。uF′n经过滤波单元1370，由此完成当前块的解码。

图14是说明根据本发明的示范实施例的图像解码方法的流程图。参考图14，包括在输入比特流中的预测模式信息被读取以便识别当前块的预测模式(操作1410)。

如果待解码的当前块被确定为是使用多个参考画面的对应区域进行预测的，则跟踪由包括在比特流中的当前块的运动矢量路线和参考画面的对应区域的运动矢量路线参考的参考画面的对应区域以确定将用于预测当前块的多个参考画面的对应区域(操作1420)。

先前解码的当前块的相邻像素和与当前块的相邻像素对应的多个参考画面的对应区域的相邻像素被用来确定分配给多个参考画面的对应区域的权重，并通过计算多个参考画面的对应区域的加权和来产生当前块的预测块(操作1430)。

将当前块的预测值和包括在比特流中的当前块与预测值之间的差相加，由此解码当前块(操作1440)。

本发明的示范实施例也能够实现为计算机可读的记录介质上的计算机可读代码。计算机可读记录介质是能够存储随后由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的例子包括只读存储器(ROM)，随机访问存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备。计算机可读记录介质也能够分布在网络耦合的计算机系统从而以分布方式存储和执行计算机可读代码。

尽管已经参考示范实施例部分地示出和描述本发明，但本领域技术人员应当理解，在不脱离由以下权利要求书所限定的本发明的精神和范围的情况下，可以在其中进行形式和细节上的各种修改。

Claims (22)

1.一种图像编码方法，包括：

通过跟踪由当前块参考的参考画面的对应区域的运动矢量路线来确定将用于预测当前画面的当前块的多个参考画面的对应区域；

通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；以及

编码当前块与预测块之间的差，

其中跟踪参考画面的对应区域的运动矢量路线的步骤包括：确定由当前块的运动矢量指示的第二参考画面的对应区域，直到确定由第n-1参考画面的运动矢量指示的第n参考画面的对应区域，

其中n大于或等于3，以及

其中第n参考画面是第n-1参考画面的参考画面。

2.如权利要求1所述的方法，其中确定多个参考画面的对应区域的步骤包括：

通过预测当前块的运动来确定与当前块对应的第一参考画面的对应区域；

沿着第一参考画面的运动块边界将第一参考画面的对应区域划分成子对应区域；以及

确定由包括第一参考画面的子对应区域的第一参考画面的运动块的运动矢量指示的第二参考画面的对应区域。

3.如权利要求2所述的方法，其中确定第二参考画面的对应区域包括：

如果第一参考画面的子对应区域之一包括在帧内预测块中，则使用帧内预测块的相邻运动块的运动矢量确定该帧内预测块的虚拟运动矢量；以及

确定由该虚拟运动矢量指示的第二参考画面的对应区域。

4.如权利要求3所述的方法，其中帧内预测块的相邻运动块的运动矢量的中间值或平均值被用作帧内预测块的虚拟运动矢量。

5.如权利要求1所述的方法，其中第n参考画面的对应区域仅包括在一个或多个帧内预测块中，以及

其中，如果第n参考画面的对应区域仅有一部分包括在帧内预测块中，则该部分的区域大于阈值。

6.如权利要求1所述的方法，其中产生当前块的预测块的步骤包括：

确定多个参考画面的对应区域的权重；以及

通过将多个参考画面的对应区域分别乘以权重并将相乘的各个结果相加来产生当前块的预测块。

7.如权利要求6所述的方法，其中使用当前块的相邻块的先前处理的像素和与当前块的相邻块的先前处理的像素对应的参考画面的对应区域的相邻像素来将权重确定为这样的值，其将通过计算参考画面的对应区域的相邻像素的加权和而获得的当前块的相邻像素的预测值与当前块的相邻像素的值之间的差最小化。

8.如权利要求1所述的方法，还包括将指示使用多个参考画面进行块预测编码的标志插入到通过编码图像产生的比特流的预定区域中。

9.如权利要求1所述的方法，其中确定多个参考画面的对应区域的步骤包括，如果包括在帧内预测块中的第一参考画面的对应区域的一部分大于阈值，则仅将第一参考画面的对应区域确定为将用于预测当前块的参考画面的对应区域，

其中产生当前块的预测块的步骤包括将通过将第一参考画面的对应区域乘以预定的权重获得的值确定作为当前块的预测块。

10.一种图像编码装置，包括：

参考画面确定单元，其通过跟踪由当前块参考的参考画面的对应区域的运动矢量路线来确定将用于预测当前块的多个参考画面的对应区域；

权重估计单元，其通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；和

编码单元，其编码当前块与预测块之间的差，

其中参考画面确定单元确定由当前块的运动矢量指示的第二参考画面的对应区域，直到确定由第n-1参考画面的运动矢量指示的第n参考画面的对应区域，

其中n大于或等于3，以及

其中第n参考画面是第n-1参考画面的参考画面。

11.如权利要求10所述的装置，其中参考画面确定单元沿着第一参考画面的运动块边界将由当前块的运动矢量指示的第一参考画面的对应区域划分成子对应区域；以及确定由包括第一参考画面的子对应区域的第一参考画面的运动块的运动矢量指示的第二参考画面的对应区域。

12.如权利要求11所述的装置，其中如果第一参考画面的子对应区域之一包括在帧内预测块中，则参考画面确定单元使用帧内预测块的相邻运动块的运动矢量确定该帧内预测块的虚拟运动矢量，以及确定由该虚拟运动矢量指示的第二参考画面的对应区域。

13.如权利要求12所述的装置，其中帧内预测块的相邻运动块的运动矢量的中间值或平均值被用作帧内预测块的虚拟运动矢量。

14.如权利要求10所述的装置，其中第n参考画面的对应区域仅包括在一个或多个帧内预测块中，以及

其中，如果第n参考画面的对应区域仅有一部分包括在帧内预测块中，则该部分的区域大于阈值。

15.如权利要求10所述的装置，其中权重估计单元包括：

权重计算单元，确定多个参考画面的对应区域的权重；和

预测块产生单元，其通过将多个参考画面的对应区域分别乘以权重并将相乘的各个结果相加来产生当前块的预测块。

16.如权利要求15所述的装置，其中权重计算单元使用当前块的相邻块的先前处理的像素和与当前块的相邻块的先前处理的像素对应的参考画面的对应区域的相邻像素来将权重确定为这样的值，其将通过计算参考画面的对应区域的相邻像素的加权和而获得的当前块的相邻像素的预测值与当前块的相邻像素的值之间的差最小化。

17.如权利要求10所述的装置，其中编码单元将指示使用多个参考画面进行块预测编码的标志插入到通过编码图像产生的比特流的预定区域中。

18.如权利要求10所述的装置，其中如果包括在帧内预测块中的第一参考画面的对应区域的一部分大于阈值，则仅将该第一参考画面的对应区域确定为将用于预测当前块的参考画面的对应区域，

其中权重估计单元将通过将第一参考画面的对应区域乘以预定的权重获得的值确定作为当前块的预测块。

19.一种图像解码方法，包括：

通过读取包括在输入比特流中的预测模式信息来识别当前块的预测模式；

如果当前块被确定为已经使用多个参考画面的对应区域进行预测，则通过跟踪由包括在比特流中的当前块的运动矢量路线参考的参考画面的对应区域、以及参考画面的对应区域的运动矢量路线来确定将用于预测当前块的多个参考画面的对应区域；

通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；以及

通过将包括在比特流中的当前块与预测块之间的差与预测块相加来解码当前块，

其中跟踪参考画面的对应区域的运动矢量路线包括：确定由当前块的运动矢量指示的第二参考画面的对应区域，直到确定由第n-1参考画面的运动矢量指示的第n参考画面的对应区域，

其中n大于或等于3，以及

其中第n参考画面是第n-1参考画面的参考画面。

20.如权利要求19所述的方法，其中确定多个参考画面的对应区域的步骤包括：

通过沿着第一参考画面的运动块边界划分由当前块的运动矢量指示的第一参考画面的对应区域；以及

确定由包括第一参考画面的子对应区域的第一参考画面的运动块的运动矢量指示的第二参考画面的对应区域。

21.如权利要求19所述的方法，其中产生当前块的预测块的步骤包括：

使用当前块的相邻块的先前处理的像素和与当前块的相邻块的先前处理的像素对应的参考画面的对应区域的相邻像素来确定作为多个参考画面的对应区域的权重的值，该权重值将通过计算参考画面的对应区域的相邻像素的加权和而获得的当前块的相邻像素的预测值与当前块的相邻像素的值之间的差最小化；以及

通过将多个参考画面的对应区域分别乘以权重并将相乘的各个结果相加来产生当前块的预测块。

22.一种图像解码装置，包括：

预测模式识别单元，其通过读取包括在输入比特流的预测模式信息来识别当前块的预测模式；

参考画面确定单元，如果当前块被确定为已经使用多个参考画面的对应区域进行预测，则其通过跟踪由包括在比特流的当前块的运动矢量路线参考的参考画面的对应区域、以及参考画面的对应区域的运动矢量路线来确定将用于预测当前块的多个参考画面的对应区域；

权重预测单元，其通过计算多个参考画面的对应区域的加权和来产生当前块的预测块；和

解码单元，其通过将包括在比特流中的当前块与预测块之间的差与预测块相加来解码当前块，

其中参考画面确定单元确定由当前块的运动矢量指示的第二参考画面的对应区域，直到确定由第n-1参考画面的运动矢量指示的第n参考画面的对应区域，

其中n大于或等于3，以及

其中第n参考画面是第n-1参考画面的参考画面。

Images