CN101001383A - 基于多层的视频编码/解码方法和编码器/解码器 - Google Patents

Abstract

本发明公开了一种方法和装置，用于在基于多层的视频编码中的残余预测期间减少块伪像。所述基于多层的视频编码方法包括：获得在低层的第二块的预测块和第二块之间的差，所述第二块的预测块对应于在当前层中包括的第一块；将所获得的差加到用于所述第一块的预测块；使用平滑函数来平滑作为相加结果而产生的第三块；并且，编码在第一块和被平滑的第三块之间的差。

Description

基于多层的视频编码/解码方法和编码器/解码器

技术领域

本发明涉及一种视频编码技术，具体来说涉及一种用于在基于多层的视频编码中的残余预测期间减少块伪像(block artifact)的方法和装置。

背景技术

随着信息和通信技术的发展，多媒体通信以及文本和语音通信正在增加。观有的以文本为中心的通信系统不足以满足消费者的多样需求，因此可以容纳各种形式(诸如文本、图像、音乐和其他)的信息的多媒体服务正在增加。因为多媒体数据大，所以分别需要海量存储媒体和宽带宽，用于存储和发送所述多媒体数据。因此，需要压缩编码技术来发送多媒体数据。

数据压缩的基本原理是去除数据冗余。可以通过下述方式来压缩数据：去除空间冗余(诸如在图像中重复同一颜色或对象)、时间冗余(诸如在移动图像中类似的相邻帧或者声音的连续重复)和视觉/感知冗余，这是考虑到人对于高频的不敏感。在一般的视频编码方法中，通过基于运动补偿的时间滤波而去除时间冗余，并且通过空间变换去除空间冗余。

为了在去除数据冗余后发送多媒体，需要其性能不同的传输媒体。当前使用的传输媒体具有多样化的传输速度。例如，超高速度通信网络可以每秒发送几十兆比特数据，并且移动通信网络具有每秒384千比特的传输速度。为了在这样的传输环境中支持传输媒体，并且使用适合于传输环境的传输率来发送多媒体，可扩展(scalable)的视频编码方法是最适合的。

所述可扩展的视频编码方法是可以通过下述方式调整视频分辨率、帧速率和信噪比(SNR)的编码方法，即支持多样化的可扩展性的编码方法：按照诸如传输比特率、传输误差率和系统资源之类的外围条件来截断压缩比特流的一部分。

在已经被联合视频小组(JVT)(它是运动图像专家组(MPEG)和国际电信联盟(ITU)的联合工作组)推进的当前可扩展的视频编码标准中，正在进行对基于H.264(以下称为“H.264可扩展扩展(SE)”)实现多层可扩展性的研究。

H.264 SE和多层可扩展视频编解码器基本上支持四个预测模式：之间预测、指向内部预测(以下称为“内部预测”)、残余预测和内基(intra-base)预测。“预测”意味着如下的技术：使用从在编码器和解码器中通常可获得的信息产生的预测数据，压缩地显示原始数据。

在如上所述的四种预测模式中，之间预测模式是甚至在现有的单层视频编解码器中也通常使用的预测模式。如图1中所示的所述之间预测是如下方法：从至少一个参考帧搜索最类似于当前块的某一块(即当前块)的块；从被搜索的块获得可以最佳地表达当前块的预测块；然后量化在当前块和预测块之间的差。

之间预测被划分为：双向预测，对其使用两个参考帧；前向预测，对其使用前一个参考帧；后向预测，对其使用后一参考帧。

另一方面，内部预测是也用于单层视频编解码器(诸如H.264)的技术。内部预测是用于使用在当前块的相邻块中与当前块相邻的像素来预测当前块的方法。内部预测与其他预测方法的不同在于，它仅仅使用在当前帧中的信息，并且不引用在同一层中的其他帧或者其他层的帧。

内基预测可以用于当前帧具有带有同一时间位置的低层的帧(以下称为“基本帧”)的情形。如图2中所示，可以从对应于当前帧的宏块的基本帧的宏块有效地预测当前帧的宏块。即，在当前帧的宏块和基本帧的宏块之间的差别被用于预测。

如果低层的分辨率和当前层的分辨率彼此不同，则应当在获得所述差别之前使用当前层的分辨率来上采样(upsample)基本帧的宏块。这个内基预测在具有很快的运动的视频或在其中场景发生改变的视频中有效。

最后，具有残余预测的之间预测模式(以下称为“残余预测”)是这样的预测模式，据此，将现有的单层之间预测扩展到多层形式。如图3中所示，按照残余预测，在当前层的之间预测处理中产生的差别不直接被量化，而是，获得和量化在所述差和在低层的之间预测处理中产生的差之间的差别。

考虑到多样性的视频序列的特性，对于构成帧的每个宏块，在如上所述的四种预测方法中选择一种有效的方法。例如，在具有慢运动的视频序列中，将主要选择之间预测和残余预测，而在具有快速运动的视频序列中，将主要选择内基预测。

与单层视频编解码器相比较，多层视频编解码器具有较为复杂的预测结构。而且，因为多层视频编解码器主要使用开环结构，所以与单层编解码器相比较，在多层视频编解码器中发生许多块伪像。具体来说，在上述的残余预测的情况下，使用低层帧的残余信号，并且如果在残余信号和当前层帧的之间预测信号的特性之间存在大差别，则可以发生严重的失真。

相对照，在内基预测期间，当前帧的宏块，即基本层的宏块的预测信号不是原始信号，而是已经被量化并被恢复的信号。因此，可以在编码器和解码器中共同地获得预测信号，所以，在编码器和解码器之间没有失配发生。具体来说，因为在将平滑滤波器应用到预测信号后获得在基本帧的宏块和当前帧的宏块之间的差别，所以大大地减少了块伪像。

但是，按照已经被采用为H.264 SE的当前工作草案的低复杂度解码条件和单循环解码条件，内基预测在使用上受限。即，在H.264 SE中，内基预测可以仅仅用于当满足特定条件时，以便虽然以多层方式来执行编码，但是可以以类似于单层视频编解码器的方式来执行解码。

按照低复杂度解码条件，内基预测仅仅用于当对应于当前层的某宏块的低层宏块的宏块类型涉及内部预测模式或者内基模式预测模式时。这减少了在解码处理中需要最大计算量的运动补偿处理中的计算量。相比而言，因为在受限的情况下使用内基预测，所以大大地降低了在具有快速运动的视频中的性能。

因此，在按照低复杂度条件或其他条件使用之间预测或残余预测的情况下，期望可以降低诸如编码器-解码器不匹配和块伪像之类的各种失真的技术。

发明内容

因此，已经作出本发明来处理出现在现有技术中的上述问题，并且本发明的一个方面是在基于多层的视频编解码器中的之间预测或者残余预测期间，改善编码效率。

本发明的另外优点和特征，将部分地在后面的说明中给出，并且部分地在研究下文时，对于本领域的普通技术人员将变得显而易见，或者可以通过本发明的实践来获知。

在本发明的一个方面，提供了一种视频编码方法，其包括：获得在低层的第二块的预测块和第二块之间的差，所述第二块的预测块对应于在当前层中包括的第一块；将所获得的差加到用于所述第一块的预测块；使用平滑函数来平滑作为相加结果而产生的第三块；并且，编码在第一块和被平滑的第三块之间的差。

在本发明的另一个方面，提供了一种用于产生比特流的方法，所述方法包括：平滑在当前层中包括的第一块的预测信号；编码在第一块和被平滑的预测信号之间的差；并且，产生包括所述编码的差和用于指示是否已经应用了平滑的第一标志的比特流。

在本发明的另一个方面，提供了一种视频解码方法，其包括：从在输入比特流中包括的当前帧的第一块的纹理数据恢复第一块的残余数据；恢复基本层的第二块的残余信号，所述基本层的第二块的残余信号被包括在所述比特流中并且对应于所述块；将所述第二块的残余信号加到第一块的预测块；使用平滑滤波器来平滑作为相加结果而产生的第三块；并且，将第一块的残余信号加到所述平滑的第三块。

在本发明的另一个方面，提供了一种视频解码方法，其包括：从在输入比特流中包括的当前帧的第一块的纹理数据恢复第一块的残余数据；恢复基本层的第二块的残余信号，所述基本层的第二块的残余信号被包括在比特流中并且对应于所述块；将第一残余信号加到所述第二残余信号；使用平滑滤波器来平滑第一块的之间预测块；并且，将相加结果加到所述平滑的之间预测块。

在本发明的另一个方面，提供了一种视频编码器，其包括：用于获得在低层的第二块的预测块和第二块之间的差，所述第二块的预测块对应于在当前层中包括的第一块的部分；用于将所获得的差加到用于所述第一块的预测块的部分；用于使用平滑函数来平滑作为相加结果而产生的第三块的部分；以及用于编码在第一块和被平滑的第三块之间的差的部分。

在本发明的另一个方面，提供了一种视频解码器，其包括：用于从在输入比特流中包括的当前帧的第一块的纹理数据恢复第一块的残余数据的部分；用于恢复基本层的第二块的残余信号的部分，所述基本层的第二块的残余信号被包括在比特流中并且对应于所述块；用于将所述第二块的残余信号加到第一块的预测块的部分；用于使用平滑滤波器来平滑作为相加结果而产生的第三块的部分；以及用于将第一块的残余信号加到所述平滑的第三块的部分。

附图说明

通过下面结合附图详细说明，本发明的上述和其他方面、特征和优点将会更加清楚，在附图中：

图1是说明传统的之间预测技术的视图；

图2是说明传统的内基预测技术的视图；

图3是说明传统的残余预测技术的视图；

图4是说明按照本发明的一个实施例的平滑预测技术的视图；

图5-8是图解以宏块为单位来应用平滑滤波器的示例的视图；

图9是图解根据使用1∶2∶1平滑滤波器而获得的PSNR、使用另一个自适应滤波器而获得的PSNR的图；

图10是图解按照本发明的一个实施例的视频编码器的结构的方框图；

图11是图解按照本发明的一个实施例的视频解码器的结构的方框图；以及

图12是图解按照本发明的另一个实施例的视频解码器的结构的方框图。

具体实施方式

以下参照附图来详细说明本发明的示范实施例。通过引入要参照附图详细说明的实施例，本发明的各方面和特征以及用于实现所述方面和特征的方法将显而易见。但是，本发明不限于以下公开的实施例，而是可以被以各种形式实现。在说明书中限定的事项(诸如结构和元素的细节)仅仅被提供来帮助本领域内的普通技术人员综合理解本发明，并且本发明仅仅被限定在权利要求的范围内。在本发明的整个说明中，相同的附图标号用于在不同附图中的相同的元素。

如果当前帧的块是O_F，则通过执行块的之间预测而获得的预测块是P_F，对应于当前帧的块的基本层的块是O_B，并且通过执行基本帧的之间预测而获得的预测块是P_B，从O_B-P_B获得O_B具有的残余信号R_B。

在这种情况下，O_B、P_B、R_B是已经被量化并被恢复的值，而O_F和P_F是在开环结构的情况下的原始信号，尽管它们是已经被量化并被恢复的值。如果在当前帧中要编码的值是R_F，则可以将残余预测表达为等式(1)。在等式(1)中，U表示上采样函数。因为上采样函数仅仅被应用在当当前层和低层的分辨率彼此不同时，所以在可以被选择性地应用的意义上，用{U}表示它。

R_F＝O_F-P_F-[U]·R_B    (1)

另一方面，可以将内基预测表达为等式(2)

R_F＝O_F-[U]·O_B       (2)

在将等式(1)与等式(2)相比较中，它们看起来没有共同的特征。但是，通过使用等式(3)和等式(4)来重新表达它们，可以彼此比较它们的类似性。

R_F＝O_F-(P_F+[U]·R_B)     (3)

R_F＝O_F-[U]·B(P_B+R_B)    (4)

在等式(4)中，B表示去块函数。在比较等式(3)和(4)中，R_B被共同地用于等式(3)和(4)中。它们之间的最大差别是当前层的之间预测块P_F用于等式(3)中，低层的之间预测块P_B用于等式(4)中。在内基预测的情况下，如果应用去块函数和上采样函数，则被恢复的帧的图像变得平滑，因此减少了块伪像。

相比之下，在等式(3)中，从P_B获得的基本帧的残余信号R_B被加到当前帧的之间预测块P_F，因此，可能发生相互之间失配或块伪像。虽然如果使用内基预测则可以减轻这个问题，但是即使在内基预测的效率不大于残余预测的效率的情况下，也不能使用内基预测。而且，在应用低复杂度解码条件的情况下，即使在内基预测更有效的情况下，不使用内基预测的块也增加，并且这引起性能的显著变差。因此，需要设计一种即使在使用残余预测的情况下也能够降低块伪像的适当的措施。

在本发明中，通过向等式(3)增加平滑函数F而补充现有的残余预测。按照本发明，要量化的当前块的数据R_F被表达为等式(5)。

R_F＝O_F-F(P_F+[U]·R_B)    (5)

可以将按照等式(5)的预测模式原样应用到之间预测。即，在之间预测的情况下，可以考虑R_B是0，因此，可以将R_F表达为等式(6)。

R_F＝O_F-F(P_F)            (6)

如在等式(5)和(6)中，在现有残余预测或之间预测期间采用平滑滤波器的技术被定义为“平滑预测”。将参照图4来说明执行平滑预测的详细处理。在图4中例举了编码当前帧的某块20(以下被称为“当前块”)的处理。对应于当前块20的基本帧中的块10以下将被称为“基本块”。

首先，在S1通过基本块10和运动向量，从在对应的低层的外围参考帧(即前向参考帧、后向参考帧和其他)中的块11和12，产生基本块10的之间预测块13。然后，在S2获得在基本块和预测块13之间的差(对应于在等式(5)中的R_B)。而且，在S3，由基本块20和运动向量，从在对应的当前层的外围参考帧中的块21和22，产生基本块20的之间预测块23(对应于在等式(5)中的P_F)，可以在步骤S1和S2之前执行步骤S3。一般来说，“之间预测块”意味着在要编码的帧中的某块的预测块，它从对应于该某一块的参考帧的图像获得。块对于图像的对应用运动向量指示。一般来说，如果存在一个参考帧，则之间预测块意味着对应的图像本身，如果存在多个参考帧，则之间预测块意味着对应的图像的加权和。

然后，在S4，将预测块23和在步骤S2获得的差加在一起，并且在S5，使用平滑滤波器来平滑作为相加结果而产生的块(对应于等式(5)中的P_F+R_B)。最后，在S6获得在当前块20和作为平滑结果而产生的块(对应于等式(5)中的F(P_F+R_B))之间的差，然后，在S7量化所获得的差。

图4图解了基于残余预测的平滑预测处理。基于之间预测的平滑预测处理比基于残余预测的更简单。具体来说，因为与在图5中的低层的计算相关的R_B被省略，所以全部省略在图4中图解的步骤S1、S2和S3。因此，在当前层中产生的之间预测块23被平滑滤波器平滑，然后，量化在当前块20和作为平滑的结果而产生的块(对应于在等式(6)中的F(P_F))之间的差。

另一方面，也作为重要事项的是，哪个平滑滤波器F被实际应用到平滑预测。传统的去分块滤波器B可以被用作这样的平滑滤波器F。而且，可以使用上采样函数U和下采样函数D的组合，因为也可以通过上采样函数和下采样函数的组合来获得平滑效果。

但是，因为去块函数B、上采样函数和下采样函数需要相当多的计算量，并且下采样函数一般用于很强的低通滤波，所以有可能在预测期间图像的细节大大变差。

因此，需要以小的计算量来执行平滑滤波器应用处理。为此，可以通过在预定数量的相邻像素当中的线性函数来简单地表达平滑滤波器F。例如，如果预定数量是3，则由平滑滤波器F从原始像素值x(n)滤波的像素值x’(n)可以被表达为等式(7)。

x’(n)＝α*x(n-1)+β*x(n)+γ*x(n+1)    (7)

可以适当地选择α、β、γ的值，以便它们的和是1。例如，通过在等式(7)中选择α＝1/4、β＝1/2、γ＝1/4，与相邻像素相比较，可以增加要滤波的对应像素的加权值。当然，可以将更多的像素选择为在等式(7)中的相邻像素。

使用具有如上所述的简单形式的平滑滤波器F，可以大大地降低计算量，并且也可以降低在下采样等期间发生的图像细节的变差。

图5-8是图解相对于16x16宏块60应用平滑滤波器的示例的视图。

在本发明的实施例中，在如下的四个步骤中，将平滑滤波器应用到对应的宏块60。参照图5，将说明在所述四个步骤中的第一个步骤。

首先，设置具有对应于在水平方向上排列的三个相邻像素的大小的水平窗50，并且将作为线性函数的平滑滤波器F应用到在水平窗50中包括的初始三个相邻像素。一旦应用了平滑滤波器F，则在水平方向上将水平窗50移动一个像素，并且再一次应用平滑滤波器F。重复上述的处理，并且如果水平窗50达到宏块60的右边界，则水平窗50被返回到其初始位置，并且在较低的方向上被移动一个像素，然后当水平窗在水平方向上移动时，再一次应用平滑滤波器F。对整个宏块60执行这个处理。在第一个步骤中，对于一个宏块执行224(＝14(宽度)×16(长度))次滤波。

然后，参照图6，将说明在所述四个步骤中的第二个步骤。

设置具有对应于在垂直方向上排列的三个相邻像素的大小的垂直窗51，并且将作为线性函数的平滑滤波器F应用到在垂直窗51中包括的初始三个相邻像素。一旦应用了平滑滤波器F，则垂直窗51在水平方向上移动一个像素，并且再一次应用平滑滤波器F。重复上述的处理，如果垂直窗51达到宏块60的右边界，则垂直窗51返回其初始位置，并且在较低的方向上被移动一个像素，然后当垂直窗在水平方向上移动时，再一次应用平滑滤波器F。对整个宏块60执行这个处理。在第二个步骤中，对于一个宏块执行224(＝14(宽度)×16(长度))次滤波。

通过第一个步骤和第二个步骤，完成将平滑滤波器F应用到在宏块60内不与宏块边界相邻的像素。接着，需要将平滑滤波器应用到与宏块60的上边界相邻的像素，以及将平滑滤波器应用到与宏块60的左边界相邻的像素。

参照图7，将说明在所述四个步骤中对应于相对于左边界的滤波处理的第三步骤。

设置具有对应于在水平方向上排列的三个相邻像素的大小的水平窗53，以便将宏块60的左上像素定位在水平窗53的中心。然后，将作为线性函数的平滑滤波器F应用到在水平窗53中包括的初始三个相邻像素。一旦应用了平滑滤波器F，则在垂直方向上将水平窗53移动一个像素，并且再一次应用平滑滤波器F。重复上述的处理，直到水平窗53达到宏块60的下边界。在第三步骤中，对于一个宏块执行16次滤波。

最后，参照图8，将说明在所述四个步骤中的、对应于相对于上边界的滤波处理的第四步骤。

设置具有对应于在垂直方向上排列的三个相邻像素的大小的垂直窗54，以便将宏块60的左上像素定位在垂直窗54的中心。然后，将作为线性函数的平滑滤波器F应用到在垂直窗54中包括的初始三个相邻像素。一旦应用了平滑滤波器F，则在水平方向上将垂直窗54移动一个像素，并且再一次应用平滑滤波器F。重复上述的处理，直到垂直窗54达到宏块60的右边界。在第四步骤中，对于一个宏块执行16次滤波。

相应的四个步骤的顺序的改变对按照本发明实现的效果没有大的影响。在图5-8中所图示的本发明的实施例中，将α∶β∶γ在等式(7)中设置为1∶2∶1。但是，即使改变所述比率，在效果上也没有大的差别。这可以从在图9中图解的实验结果证明。

图9是图解基于通过使用1∶2∶1平滑滤波器来压缩足球CIF序列而获得的PSNR、通过使用另一个自适应滤波器来压缩同一序列而获得的PSNR的图。

在图9中，图91表示自适应地使用1∶2∶1平滑滤波器和1∶3∶1平滑滤波器的结果，图92表示自适应地使用1∶2∶1平滑滤波器和1∶14∶1平滑滤波器的结果，而图93表示自适应地使用1∶2∶1平滑滤波器和1∶6∶1平滑滤波器的结果。参照图9，可以看出，与其中使用1∶2∶1平滑滤波器的情况相比较，即使使用自适应滤波器，最大程度上也仅仅将PSNR改善大约0.005dB。

本发明的本实施例示出了其中以宏块为单位来应用平滑滤波器的示例。但是，本领域内的技术人员将完全明白，可以以4x4子块为单位或任何其他单位来应用平滑滤波器。

如上所述，通过按照等式(5)来应用平滑滤波器，可以在一定程度上改善由于现有的信号环解码条件而导致编码性能变差的问题。但是，如果在被提出来降低复杂度的单循环解码中使用平滑函数，则可以在一定程度上增加复杂度。

在通过按照等式(5)而执行解码来恢复O_F的假设下，应当对于R_B和P_F执行逆DCT。为了降低逆DCT处理，可以在解码处理期间使用等式(8)。

O_F＝F(P_F)+(R_F+[U]·R_B)    (8)

按照等式(8)，不通过独立的逆DCT处理，将依然为变换系数分量的R_B加到当前块R_B的残余部分，同时执行逆DCT变换。因此，不将逆DCT处理执行两次，而是仅仅执行一次，以降低复杂度。而且，在按照等式(5)来执行解码的情况下，将平滑滤波器应用到P_F和R_B的和，而在按照等式(8)来执行解码的情况下，将平滑函数仅仅应用到预测信号P_F。

如上所述，为了将按照本发明的一个实施例的平滑预测应用到现有的工作草案JSVM-4(Julien Reichel，Heiko Schwarz，and Mathias Wien，“JointScalable Video Mode JSVM-4，”JVT meeting，Nice，France)，需要在语法、语义和解码处理中进行一些修改。首先，在下面的表1中示出了在语法上要修改的部分。表1是在JSVM-4的条款G.7.3.8.3中所提及的“在可扩展扩展语法中的残余部分”的一部分，并且要修改的部分被标注下划线。

[表1]在可扩展扩展语法中的残余部分

residual_in_scalable_extension(){	C	描述符
			If(adaptive_prediction_alag&&MbPartPredType(mb_type，0)！＝Intra_16x16&&MbPartPredType(mb_type，0)！＝Intra_8x8&&MbPartPredType(mb_type，0)！＝Intra_4x4&&MbPartPredType(mb_type，0)！＝Intra_Base){
residual_prediction_flag	3|4	Ae(v)
			if(residual prediction flag&&base mode flag&&constrained inter layer pred())
smoothed reference flag	3|4	Ae(v)
			}

在residual_prediction_flag和base_mode_flag在单循环解码的条件下全部是1的情况下，作为新的语法项的标志“smoothed_reference_flag”被编码。通过函数”constrained_inter_layer_pred()”来指示单循环解码条件。residual_prediction_flag是指示是否使用残余预测的标志，并且base_mode_flag是指示是否使用基本层跳转模式的标志。如果这个标志的值是1(真)，则它指示要执行对应的操作，而如果所述标志的值是0(假)，则它指示不要执行对应的操作。具体来说，在多循环解码模式中，要注意，不存在语法的开销。

在基本层(BL)跳转模式中，在当前层中不执行分开的运动估计处理，但是已经在基本层中执行的运动估计处理中获得的运动向量和宏块模式，当它们在当前层中时，则被使用。因此，与不使用所述模式的情况相比较，降低了计算量，并且提高了编码效率，因为不编码当前层的运动信息。但是，如果在当前层中的运动分布在一定程度上与在基本层中的不同，则可能发生画面质量的变差。因此，主要在层之间运动分布彼此类似的情况下使用基本层跳转模式。

另一方面，要在语义上修改的部分是描述smoothed_reference_flag的语义的部分。已经在JSVM-4的条款G.7.4.8.3中的“在可扩展扩展语义中的残余部分”描述了这个标志的含义。

如果smoothed_reference_flag是1，则它意味着将平滑函数应用到之间预测的采样和基本层的残余采样的和，而如果smoothed_reference_flag是0，则它意味着不应用平滑函数。如果不存在smoothed_reference_flag，则将所述值当作0。

最后，在JSVM-4的条款G.8.4.2.4中说明了在解码处理中要修改的部分。在该条款中，已经说明了新定义的平滑函数的详细内容。在解码处理中，如果smoothed_reference_flag是1，则调用条款G.8.4.2.4。

具体来说，首先调用resPred_L[x，y](其中，x和y分别在0-15的范围内)(宏块的大小)以及resPred_Cb[x，y]和resPred_Cr[x，y](其中，x在0到MbWidthC-1的范围内，y在0到MbHeightC-1的范围内)，所述resPred_L[x，y]是从残余预测处理获得的基本层的亮度(luma)残余采样阵列，resPred_Cb[x，y]和resPred_Cr[x，y]是基本层的色度残余采样阵列。其后，将相应的亮度之间预测采样pred_L[x，y]加到要按等式(9)更新的亮度残余采样resPred_L[x，y]。在此，x和y分别表示在当前宏块中包括的像素的x坐标和y坐标。

pred_L[x，y]＝pred_L[x，y]+resPred_L[x，y]    (9)

而且，如果chroma_format_idc不是0(即在彩色图像的情况下)，则相应的色度之间预测采样pred_Cb[x，y]和pred_Cr[x，y]将按等式(10)更新。

pred_Cb[x，y]＝pred_Cb[x，y]+resPred_Cb[x，y]

pred_Cr[x，y]＝pred_Cr[x，y]+resPred_Cr[x，y] (10)

以下，将说明相对于在等式(9)中更新的pred_L[x，y]和在等式(10)中更新的pred_Cb[x，y]和pred_Cr[x，y]而应用平滑函数的处理。这个处理由在图5-8中所示的四个步骤构成。

首先，在等式(9)和(10)中更新的之间预测采样，当它们通过在图5中所示的平滑函数应用处理时，按照等式(11)被更新。

pred_L[x，y]＝(pred_L[x-1，y]+2*pred_L[x，y]+pred_L[x+1，y]+2)

＞＞2，其中，x＝1...14，并且y＝0...15

pred_Cb[x，y]＝(pred_Cb[x-1，y]+2*pred_Cb[x，y]+pred_Cb[x+1，y]+2)    (11)

＞＞2，其中，x＝1...MbWidthC-2，并且y＝0...MbHeightC-1

pred_Cr[x，y]＝(pred_Cr[x-1，y]+2*pred_Cr[x，y]+pred_Cr[x+1，y]+2)

＞＞2，其中，x＝1...MbWidthC-2，并且y＝0...MbHeightC-1

等式(11)用于体现当水平窗(在图5中的50)以宏块(图5中的60)中的像素为单位而移动时的平滑函数的应用。因为亮度分量的宏块的大小是16×16，并且色度分量的宏块的大小是mbWidthC×MbHeightC，所以，不同地指示亮度分量和色度分量的x和y的范围。在等式(11)中使用的平滑函数是1∶2∶1线性函数。

另一方面，在等式(11)中被更新的之间预测采样，当它们通过在图6中所示的平滑函数应用处理时，按照等式(12)被更新。

pred_L[x，y]＝(pred_L[x，y-1]+2*pred_L[x，y]+pred_L[x，y+1]+2)

＞＞2，其中，x＝0...15，并且y＝1...14

pred_Cb[x，y]＝(pred_Cb[x，y-1]+2*pred_Cb[x，y]+pred_Cb[x，y+1]+2)  (12)

＞＞2，其中，x＝0...MbWidthC-1，并且y＝1...MbHeightC-2

pred_Cr[x，y]＝(pred_Cr[x，y-1]+2*pred_Cr[x，y]+pred_Cr[x，y+1]+2)

＞＞2，其中，x＝0...MbWidthC-1，并且y＝1...MbHeightC-2

在等式(12)中被更新的之间预测采样，当它们通过在图7中所示的平滑函数应用处理时，按照等式(13)被更新。

pred_L[x，y]＝(S’_L[xP+x-1，yP+y]+2*pred_L[x，y]+pred_L[x+1，y]+2)

＞＞2，其中，x＝0，并且y＝0...15

pred_Cb[x，y]＝(S’_Cb[xC+x-1，yC+y]+2*pred_Cb[x，y]+pred_Cb[x+1，y]+2)    (13)

＞＞2，其中，x＝0，并且y＝0...MbHeightC-1

pred_Cr[x，y]＝(S’_Cr[xC+x-1，yC+y]+2*pred_Cr[x，y]+pred_Cr[x+1，y]+2)

＞＞2，其中，x＝0，并且y＝0...MbHeightC-1

在此，xP和yP表示属于当前宏块的第一亮度采样的绝对坐标(即在帧中的位置)，S’_L[xP+x-1，yP+y]表示在平滑的宏块中包括的亮度采样中的具有对应的绝对坐标(xP+x-1，yP+y)的采样的值。以相同的方式，S’_Cb[xC+x-1，yC+y]和S’_Cr[xC+x-1，yC+y]表示在平滑的宏块中包括的色度采样中的具有对应的绝对坐标(xC+x-1，yC+y)的采样的值。xC和xP表示属于当前宏块的第一色度采样的绝对坐标。

最后，在等式(13)中被更新的之间预测采样，当它们通过如图8中所示的平滑函数应用处理时，按照等式(14)被更新。

pred_L[x，y]＝(S’_L[xP+x，yP+y-1]+2*pred_L[x，y]+pred_L[x，y+1]+2)

＞＞2，其中，x＝0...15，并且y＝0

pred_Cb[x，y]＝(S’_Cb[xC+x，yC+y-1]+2*pred_Cb[x，y]+pred_Cb[x，y+1]+2)

＞＞2，其中，x＝0...MbWidthC-1，并且y＝0    (14)

pred_Cr[x，y]＝(S’_Cr[xC+x，yC+y-1]+2*pred_Cr[x，y]+pred_Cr[x，y+1]+2)

＞＞2，其中，x＝0...MbWidthC-1，并且y＝0

图10是图解按照本发明的一个实施例的视频编码器100的结构的方框图。

首先，在当前块中包括的指定块(以下称为“当前块”)O_F被输入到下采样器103。下采样器103执行当前块O_F的空间和/或时间下采样，并且产生对应的基本层块O_B。

运动估计单元205执行基本层块O_B相对于相邻的帧F_B’的运动估计，并且获得运动向量MV_B。如上所述所称的相邻帧被称为“参考帧”。一般来说，广泛用于运动估计的算法是块匹配算法。这个块匹配算法当在参考帧的指定搜索区域中，以像素或者子像素(例如1/2像素和1/4像素)为单位，移动给定的运动块时，将对应于最小误差的位移估计为运动向量。按照在H.264中使用的分层可变大小块匹配(HVSBM)，使用固定大小的运动块，或使用具有可变大小的运动块，可以执行运动估计。

如果视频编码器100是开环编解码器的形式，则在缓冲器中存储的原始相邻帧F_B’被用作参考帧。但是，如果视频编码器是闭环编解码器的形式，则已经在被编码后被解码的帧(未示出)将被用作参考帧。以下，将围绕开环编解码器来说明本发明，但是本发明不限于此。

由运动估计单元205获得的运动向量MV_B被提供到运动补偿单元210。运动补偿单元210通过运动向量MV_B，在参考帧F_B’中提取对应的图像，并且产生之间预测块P_B。如果使用双向参考，则可以从所提取的图像的平均来计算之间预测块。如果使用单向参考，则之间预测块可以与所提取的图像相同。

减法器215从基本层块O_B减去之间预测块P_B，以产生残余块R_B。残余块R_B被提供给上采样器140和变换单元220。

上采样器140执行残余块R_B的上采样。一般来说，n∶1上采样不用于将一个像素简单地扩展为n个像素，而是考虑到相邻像素的一个操作处理。虽然更平滑的下采样结果可以当相邻像素的数量变得更大时出现，但是可能产生在一定程度上失真的图像，因此需要选择适当数量的相邻像素。如果基本层的分辨率与当前层的分辨率相同，则可以省略由上采样器140执行的上采样操作。

当前块O_F也被输入到运动补偿单元110、缓冲器101和减法器115。如果base_mode_flag是1，即如果当前层的运动模式类似于基本层的运动模式，并且它对应于基本层跳转模式，则已经在基本层中执行的运动估计处理中获得的运动向量和宏块模式被原样用于当前层中，因此不需要执行独立的运动估计处理。但是，甚至通过在当前层中的独立的运动估计处理而确定独立的运动向量和宏块模式，也在本发明的范围内。以下，将说明使用基本层跳转模式的情况。

在运动估计单元205中获得的运动向量MV_B被提供到运动补偿单元110。运动补偿单元110通过运动向量MV_B在从缓冲器101提供的参考帧F_F’中提取对应的图像，并且产生之间预测块P_F。如果基本层的分辨率与当前层的分辨率相同，则运动补偿单元110使用基本层的运动向量MV_B作为当前层的运动向量。但是，如果所述分辨率不相同，则运动补偿单元按当前层的分辨率与基本层的分辨率的相同比率，扩展运动向量MV_B，并且使用被扩展的运动向量作为当前层的运动向量。

加法器135将从上采样器140提供的信号U·R_B加到从运动补偿单元110提供的信号P_F，并且向平滑滤波器130提供相加P_F+U·R_B的结果。这个相加处理对应于等式(9)和(10)的操作处理。

平滑滤波器130通过应用平滑函数、即去块函数，执行所述相加P_F+U·R_B的结果的平滑。作为平滑函数，可以使用在传统H.264中使用的去块函数或者上采样函数和下采样函数的组合。但是，为了按照低复杂度条件来降低计算量，可以使用像在等式(7)中那样的简单线性函数。虽然仅仅应用线性函数，但是与应用复杂函数的情况相比较，没有大大地降低编码性能。该线性函数可以以块(即子块或宏块)为单位来被应用，并且可以被应用到块边界或者块边界和块的整个内部。在本发明的所述优选实施例中，已经参照图5-8和等式(11)到(14)，说明了以四个步骤将平滑函数应用到块边界和块的整个内部的示例。当然，可以改变所述四个步骤的顺序。

减法器115从当前块O_F减去作为由平滑滤波器130执行的平滑的结果而提供的信号F(P_F+U·R_B)，并且产生当前层的残余信号R_F。

变换单元120相对于残余信号R_F执行空间变换，并且产生变换系数R_F ^T。可以将离散余弦变换(DCT)和小波变换用作空间变换方法。在使用DCT的情况下，变换系数将是DCT系数，而在使用小波变换的情况下，变换系数将是小波系数。

量化单元125执行变换系数R_F ^T的量化，并且产生量化系数R_F ^Q。量化是通过离散值来表示由某些实际值表达的变换系数R_F ^T的处理，例如，量化单元125将由某些实际值表达的变换系数划分为指定的量化步长，并且将结果值四舍五入为最接近的整数。

基本层的残余信号R_B也通过变换单元220和量化单元225被变换为量化系数R_B ^Q。

熵编码单元150执行运动估计单元205估计的运动向量MV_B、从量化单元125提供的量化系数R_F ^Q、以及从量化单元225提供的量化系数R_B ^Q的无损编码，并且产生比特流。霍夫曼编码、算术编码、可变长度编码和其他可以被用作无损编码方法。

图11是图解按照本发明的一个实施例的视频解码器300的结构的方框图。

熵解码单元305对于输入的比特流执行无损解码，并且提取当前块的纹理数据R_F ^Q、对应于当前层的基本层块的纹理数据R_B ^Q和基本层块的运动向量MV_B。无损解码是与在编码器中的无损编码处理相反的处理。

当前块的纹理数据R_F ^Q被提供到逆量化单元310，并且基本层块的纹理数据R_B ^Q被提供到逆量化单元410。向运动补偿单元350提供基本层块的运动向量MV_B。

逆量化单元310执行当前块的纹理数据R_F ^Q的逆量化。这个逆量化处理是这样的处理：使用与在量化处理中使用的相同的量化表，恢复匹配在量化处理中产生的索引的值。

逆变换单元320对于逆量化的结果执行逆变换。所述逆变换是与在编码器中的变换处理相反的处理。具体来说，可以将逆DCT变换和逆小波变换用作逆变换单元，并且作为逆变换的结果，恢复当前块的残余信号R_F。

另一方面，逆量化单元410执行基本层块的纹理数据R_B ^Q的逆量化，并且逆变换单元420对于逆量化的结果R_B ^T执行逆变换。作为逆变换的结果，恢复基本层块的残余信号R_B。向上采样器380提供被恢复的残余信号R_B。

上采样器380执行残余信号R_B的上采样。如果基本层的分辨率与当前层的分辨率相同，则可以省略由上采样器380执行的上采样操作。

运动补偿单元350通过运动向量MV_B来在从缓冲器340提供的参考帧F_F’中提取对应的图像，并且产生之间预测块P_F。如果基本层的分辨率与当前层的分辨率相同，则运动补偿单元350使用基本层的运动向量MV_B来作为当前层的运动向量。但是，如果分辨率不同，则运动补偿单元按当前层的分辩率与基本层的分辨率的相同比率，扩展运动向量MV_B，并且使用扩展的运动向量来作为当前层的运动向量。

加法器360将从上采样器380提供的信号U·R_B加到从运动补偿单元350提供的信号P_F，并且向平滑滤波器370提供相加P_F+U·R_B的结果。这个相加处理对应于等式(9)和(10)的操作处理。

平滑滤波器370通过应用平滑函数、即去块函数而执行所述相加P_F+U·R_B的结果的平滑。作为平滑函数，可以使用与如图10中图解的平滑滤波器130中使用的平滑函数相同的函数。

加法器330将作为由平滑滤波器370执行的平滑的结果而提供的信号F(P_F+U·R_B)，加到作为由逆变换单元320执行的逆变换的结果而产生的残余块R_F。因此，当前块O_F被恢复，并且通过组合多个当前块O_F，一个帧F_F被恢复。缓冲器370暂时存储最后恢复的帧F_F，并且在另一个帧的恢复期间提供所存储的作为参考帧F_F’的帧。

另一方面，如图12中所示的按照等式(8)而恢复当前块的视频解码器400，在一定程度上与如图11中图解的视频解码器300不同。

参照图12，从运动补偿单元350提供的之间预测块P_F被直接地输入到平滑滤波器370以被平滑，并且加法器360将由上采样器380执行的上采样结果U·R_B加到残余块R_F。最后，加法器330将平滑结果F(P_F)加到相加结果R_F+U·R_B，以恢复当前块O_F。

在如图10-12中图解的本发明的实施例中，例举了编码由两个层构成的视频帧。但是，本领域内的技术人员将完全明白，本发明不限于此，也可以被应用到由三个或更多层构成的视频帧的编码。

可以通过软件或硬件以及通过软件和硬件的组合，实现图10-12的相应构成元件，所述软件诸如在存储器指定区域执行的任务、类、子例程、过程、对象、执行线程或程序，所述硬件诸如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。相应的构成元件可以被包括在计算机可读的存储介质中，或者其部分可以在多个计算机中分布。

如上所述，按照本发明，可以改善使用残余预测或之间预测的编解码器的性能。

具体来说，可以改善使用具有低复杂度解码条件的内基预测的编解码器的性能。

已经为了说明目的而说明了本发明的优选实施例，并且本领域的技术人员将明白，在不脱离权利要求中公开的本发明的范围和精神的情况下，各种修改、增加和替代是可能的。因此，应当通过权利要求和它们合法等同物来限定本发明的范围。

本申请要求2006年3月10日在韩国知识产权局提交的韩国专利申请第10-2006-0022871号和在美国专利和商标局于2006年1月12日提交的美国临时专利申请第60/758,227号和于2006年1月20日提交的美国临时专利申请第60/760,401号的优先权，其公开通过引用被整体包含在此。

Claims (35)

1.一种基于多层的视频编码方法，包括：

(a)获得在低层的第二块的预测块和第二块之间的差，所述预测块对应于在当前层中包括的第一块；

(b)将所获得的差加到用于所述第一块的预测块；

(c)使用平滑函数来平滑作为相加结果而产生的第三块；并且，

(d)编码在第一块和被平滑的第三块之间的差。

2.按照权利要求1的视频编码方法，其中，第一块的预测块和第二块的预测块是之间预测块。

3.按照权利要求1的视频编码方法，其中，通过运动估计处理和运动补偿处理来获得第二块的预测块。

4.按照权利要求3的视频编码方法，其中，使用在运动估计处理中产生的运动向量，通过运动补偿处理，获得第一块的预测块。

5.按照权利要求1的视频编码方法，还包括：在(b)之前上采样所获得的差；

其中，在(b)中所相加的差是上采样的差。

6.按照权利要求1的视频编码方法，其中，所述平滑函数被指示为要平滑的像素及其相邻像素的线性组合。

7.按照权利要求6的视频编码方法，其中，所述相邻像素是与要在垂直或者水平方向上被平滑的像素相邻的两个像素。

8.按照权利要求7的视频编码方法，其中，要被平滑的像素的加权值是1/2，并且两个相邻像素的加权值分别是1/4。

9.按照权利要求6的视频编码方法，其中，(c)包括：当在第三块中移动水平窗时平滑像素，所述水平窗包括要被平滑的像素和位于所述像素左侧和右侧的相邻像素。

10.按照权利要求6的视频编码方法，其中，(c)包括：当在第三块中移动垂直窗时平滑像素，所述垂直窗包括要被平滑的像素和位于所述像素上侧和下侧的相邻像素。

11.按照权利要求6的视频编码方法，其中，(c)包括：当沿着第三块的左边界移动水平窗时平滑像素，所述水平窗包括与第三块的左边界相邻的像素和位于所述像素的左右侧的相邻像素。

12.按照权利要求6的视频编码方法，其中，(c)包括：当沿着第三块的上边界移动垂直窗时平滑像素，所述垂直窗包括与第三块的上边界相邻的像素和位于所述像素的上下侧的相邻像素。

13.按照权利要求9的视频编码方法，其中，所述第三块是宏块或子块。

14.一种用于通过使用在视频帧的块和预测块之间的差编码所述视频帧的块以产生比特流的方法，所述方法包括：向比特流中插入用于指示是否预测块已经被平滑滤波的信息。

15.按照权利要求14的方法，其中，从所述块的之间预测块和所述块的低层的残余块获得所述预测块。

16.按照权利要求15的方法，还包括：向比特流中插入用于指示其中通过所述预测块预测所述块的信息。

17.按照权利要求14的方法，其中，向所述块应用残余预测，并且单循环解码所述块。

18.一种存储介质，包括：

第一区域，其包括通过从视频信号的块减去预测块来编码的信息；以及

第二区域，其包括指示是否已经平滑滤波了预测块的信息。

19.按照权利要求18的存储介质，其中，从所述块的之间预测块和所述块的低层的残余块获得所述预测块。

20.按照权利要求19的存储介质，还包括第三区域，其包括指示是否由预测块预测所述块的信息。

21.按照权利要求18的存储介质，其中，将残余预测应用到所述块，并且单循环解码所述块。

22.一种从预测块解码视频帧的当前块的方法，所述方法包括：

恢复预测块；

平滑滤波所述预测块；并且

从平滑滤波的预测块恢复当前块。

23.按照权利要求22的方法，其中，从当前块的之间预测块和当前块的低层的残余块获得所述预测块。

24.按照权利要求22的方法，还包括：确定用于指示是否已经平滑滤波了预测块的信息。

25.按照权利要求23的方法，其中将所述平滑滤波指示为要平滑的像素及其相邻像素的线性组合。

26.按照权利要求25的方法，其中，所述相邻像素是在垂直或水平方向上与要被平滑的像素相邻的两个像素。

27.按照权利要求26的方法，其中，所述平滑滤波以1/2来加权要被平滑的像素，并且分别以1/4来加权两个相邻像素。

28.按照权利要求26的方法，其中，如果要被平滑的像素是与所述块的边界相邻的像素，则将与所述块相邻的块的像素选择为相邻像素。

29.一种从预测块解码视频帧的当前块的方法，所述方法包括：

判断是否所述当前块使用所述预测块；

判断是否所述当前块使用基本层跳转模式；

判断是否所述当前块使用平滑滤波；

恢复预测块，并且平滑滤波所述预测块；并且

从所述预测块恢复所述当前块。

30.按照权利要求29的方法，其中，从所述当前块的之间预测块和所述当前块的低层的残余块获得所述预测块。

31.按照权利要求30的方法，其中，将所述平滑滤波指示为当前块的像素和两个相邻像素的线性组合。

32.按照权利要求30的方法，其中，所述当前块的像素与位于所述像素的上下侧或左右侧的两个相邻像素形成线性组合。

33.一种基于多层的视频解码方法，包括：

(a)从在输入比特流中包括的当前帧的第一块的纹理数据恢复第一块的残余数据；

(b)恢复基本层的第二块的残余信号，所述基本层的第二块的残余信号被包括在所述比特流中并且对应于所述块；

(c)将第一残余信号加到所述第二残余信号上；

(d)使用平滑滤波器来平滑第一块的之间预测块；

(e)将相加结果加到平滑的之间预测块。

34.一种基于多层的视频编码器，包括：

用于获得在低层的第二块的预测块和第二块之间的差的部分，所述第二块的预测块对应于在当前层中包括的第一块；

用于将所获得的差加到用于所述第一块的预测块的部分；

用于使用平滑函数来平滑作为相加结果而产生的第三块的部分；以及

用于编码在第一块和被平滑的第三块之间的差的部分。

35.一种基于多层的视频解码器，包括：

用于从在输入比特流中包括的当前帧的第一块的纹理数据恢复第一块的残余数据的部分；

用于恢复基本层的第二块的残余信号的部分，所述基本层的第二块的残余信号被包括在所述比特流中并且对应于所述块；

用于将第二块的残余信号加到第一块的预测块上的部分；

用于使用平滑滤波器来平滑作为相加的结果而产生的第三块的部分；以及

用于将第一块的残余信号加到被平滑的第三块的部分。

Images