CN102752595B - 用于深度图编码和解码的混合型跳过模式 - Google Patents

Abstract

本发明为用于深度图编码和解码的混合型跳过模式。与纹理视图不同，深度图图像具有光滑区域，在物体边缘没有复杂的纹理和像素值的急剧变化。虽然传统的帧间预测跳过模式对于编码纹理视图非常有效，但是它不包含任何帧内预测能力，而帧内预测对于编码光滑区域非常有效。根据本发明的混合型预测跳过模式包括与各种帧内预测模式耦合的帧间预测跳过模式。通过计算预测模式的边缘匹配失真(SMD)选择预测模式。因为不需要额外的附加指示器位并且位流语法不发生变化，所以保持了高的编码效率，并且根据本发明的用于编码深度图的编码方案可以作为现有标准的延伸而容易地实现。

Description

用于深度图编码和解码的混合型跳过模式

技术领域

本发明大体涉及视频压缩、编码和解码。具体地，本发明涉及多视点视频中深度数据的编码中的预测模式。

背景技术

典型的视频压缩编解码器(例如，H.264/AVC或HEVC)将待编码的视频中的图像或帧划分成具有不同尺寸的像素块或宏块，并向这些宏块分配预测模式。宏块尺寸可以为16×16、8×8、4×4、8×16、16×8、4×8或8×4。预测模式确定了一种从在前编码的数据(空间或者时间)产生预测数据的方法。目的在于使预测数据和原始数据之间的残差或差最小。随着冗余数据被丢弃，视频需要发送或存储的数据位的量因此被压缩，从而实现了数据压缩。

用来去除时间冗余度的预测模式被称为帧间预测模式。在帧间预测模式下，根据量化变换系数形式的残留数据和指向在前编码/解码帧(参考帧)中的宏块的运动向量信息重建当前宏块。因此，不用对原像素值(原像素值在编码数据的尺寸上是庞大的)进行编码，可以通过残留数据和运动向量数据来表示帧中的宏块并对其进行编码。

跳过模式经常被应用在宏块上，并在对宏块进行编码但无任何残留数据或者运动向量数据的情况被提及。编码器通常只编码，利用附加指示器位跳过宏块。接着，解码器通过使用相邻的未跳过宏块的运动向量和/或稍后在视频回放时间中的帧中与跳过宏块处于相同位置的宏块的运动向量来预测跳过的宏块的运动向量(MVp)，从而内插跳过的宏块。

在帧间预测模式下，典型的编码器执行运动估计处理以产生用于当前帧中宏块的运动向量，在运动估计处理中，编码器在参考帧中寻找匹配的宏块。对于一点都不带有运动的视频序列或者运动能够仅通过帧间相关度很高的平移模型描述的视频序列而言，这是特别有效的。另一方面，对于诸如图形缩放或者人类运动的复杂运动而言，帧间预测模式并不是有效的。此外，帧间预测模式对于不具有大量纹理的视频内容而言也不可靠。

具有多帧的图像组(GOP)结构也与帧间预测模式关联。典型的GOP结构是“IBBPBBP......”，其中I帧后跟随着两个B帧，一个P帧，两个B帧，接着一个P帧。I帧不被帧间预测。利用原像素值编码，并用作参考帧。根据较早的帧(主要是I帧)前向预测P帧。B帧称为双向预测帧，其根据较早和/或较晚帧被预测。在大部分视频编码方案中，B帧不用作进一步预测的参考，以避免增长的传播预测误差。视频编码中帧间预测模式的进一步细节公开在以下论文中：Iain E Richardson，“White Paper：H.264/AVC Inter Prediction”，Vcodex，2011，上述公开内容通过引用整体并入本文。

用来去除空间冗余度的其他预测模式被称为帧内预测模式。帧内预测宏块根据其相邻的和在前编码的宏块被预测。在大部分视频编码方案中，针对16×16宏块存在4种可选的帧内预测模式：垂直模式、水平模式、DC模式和平面模式。

垂直模式意指根据上方相邻宏块的样品的推断。水平模式意指根据左侧相邻宏块的样品的推断。DC模式意指上方相邻宏块和左侧相邻宏块的样品的平均值。平面模式意味着线性“平面”函数的结果，该函数适合于根据上方相邻宏块和左侧相邻宏块的样品。正常情况下，对于宏块的帧内预测，选择带有最小预测误差或残留数据的帧内预测模式。

其他可选的帧间预测模式也被使用。对于4×4宏块，具有总共9个可选的帧间预测模式。视频编码中的帧间预测模式的进一步细节在以下论文中公开：Iain E Richardson，“White Paper：H.264/AVC Intra Prediction”，Vcodex，2011，其全部内容通过引用整体并入本文。

本领域中最近的研究包括多视点视频的编码。这种编码方案的一个例子是H.264/MPEG-4AVC的MVC延伸。诸如三维视频或者多视点视频加深度的多视点视频由视频序列中的每个场景的多幅视图组成，所述多幅视图从不同的视点或视角捕获以进行视图合成和诸如3D电影回放的其他应用。也可以包括随附着每个深度图形式的视图的深度数据。图1示出了样品多视点视频序列中的深度图103和104及其对应的视图101和102。这些多视点视频和新的编码技术能够实现先进的立体显示和自动立体多视点显示。然而，在这些多视点视频中，视图和所涉及的深度数据或深度图的量通常是庞大的；因此，期望存在比当前可用的方案更好的数据压缩和编码效率。

与纹理视图相比，深度图具有不同的规格参数，其使得基于彩色纹理编解码器的技术对于深度图编码不太有效。举例来说，深度图没有彩色纹理，原因在于其仅仅包含捕捉摄相机和目标之间的距离信息。与纹理视图相比，深度图也具有较低的帧间相关性。因此，传统的帧间预测和跳过模式对于深度图是无效的。

公开号为2011/0038418的美国专利申请公开了某些用于编码包括附加深度差信息的深度数据的预测模式，其中深度差信息是当前宏块与左侧宏块和顶部宏块中的宏块之间的深度值的差。这导致额外的开销，因此降低了编码效率。公开号为2011/0044550的美国专利申请也公开了一种用于编码深度数据的预测模式，其加入在传统帧间预测跳过模式中的与当前宏块、左侧宏块和顶部宏块有关的深度差信息。同样地，这种预测模式导致额外的开销并且降低了编码效率。

发明内容

与纹理视图不同，深度图图像具有光滑区域，在物体边缘没有复杂的纹理和像素值的急剧变化。虽然传统的帧间预测跳过模式对于编码纹理视图非常有效，但是它不包含任何帧内预测能力，而帧内预测对于编码光滑区域非常有效。

本发明的目的在于提供一种用于编码多视点视频中的深度图更加有效的编码方案，特别是提供一种在不给编码视频带来额外的附加位的情况下将帧间预测和帧内预测的特征组合起来的预测技术。本发明的进一步目的在于提供一种允许位流语法保持当前的标准不变化的编码方案。

根据本发明的各个实施方式，一种通过视频编码器对未编码的多视点视频序列的深度图进行宏块预测的方法包括：接收深度图的帧；以及对帧内的第一宏块进行帧间预测，其中帧间预测包括：确定帧内将被跳过的第一宏块；阻止第一宏块中的所有像素数据被编码在用于深度图的帧的编码位流中；以及包括一个或多个指示器位，其指示第一宏块被作为跳过宏块编码以构成编码器输出的编码位流中的深度图的帧。

根据本发明的各个实施方式，一种通过视频解码器对已编码的多视点视频序列中的深度图进行宏块预测的方法包括：接收深度图的帧；对帧内的第一跳过宏块进行帧间预测以获得第一跳过宏块的当前帧间预测宏块，其中帧间预测包括：通过识别一个或多个指示器位定位帧内的第一跳过宏块；通过使用与第一跳过宏块相邻的一个或多个宏块的运动向量确定预测的运动向量；以及通过根据预测的运动向量和已编码的多视点视频序列中的深度图的参考帧中的第二宏块的内插预测第一跳过宏块；对第一跳过宏块进行垂直模式帧内预测以获得第一跳过宏块的当前垂直模式帧内预测宏块；对第一跳过宏块进行水平模式帧内预测以获得第一跳过宏块的当前水平模式帧内预测宏块；对第一跳过宏块进行DC模式帧内预测以获得第一跳过宏块的当前DC模式帧内预测宏块；以及对第一跳过宏块进行平面模式帧内预测以获得第一跳过宏块的当前平面模式帧内预测宏块。

解码器通过对预测宏块中的每个宏块计算边缘匹配失真(SMD)进一步选择从帧间预测、垂直模式帧内预测、水平模式帧内预测、DC模式帧内预测和平面模式帧内预测产生的第一跳过宏块的5个预测宏块中最好的宏块。选择具有最小SMD的一个预测宏块来按照解码器输出的解码位流构成深度图的帧。

因为对于跳过宏块没有残留数据被编码，所以对于由不同预测模式产生的预测宏块的选择不需要额外的附加指示器位，选择的所有计算仅使用编码器和解码器中可用的数据，并且编码的多视点视频的位流语法不会改变，所以保持了高的编码效率，并且根据本发明的用于编码深度图的编码方案可以作为现有标准(例如，H.264/AVC或HEVC)的延伸而容易地实现。

附图说明

在下文中，参照附图对本发明的实施方式进行更详细地描述，其中

图1示出了样品多视点视频序列中的深度图及其对应的视图；以及

图2示出了根据本发明的各个实施方式的宏块预测模式的概念性示图。

具体实施方式

在下面的描述中，以优选实例的方式对利用混合型预测跳过模式的多视点视频深度图编码和解码的系统和方法及其他进行了阐述。对于所属领域技术人员显而易见的是：可以在不背离本发明的范围和精神的情况下进行包括增加和/或替换的修改。为了不模糊本发明，可能省略了具体的细节；但是，本公开内容被撰写成使得所属领域技术人员能够在无需过多实验的情况下实践本文的教导。

根据本发明的各个实施方式，可以将多视点视频深度图编码中的宏块预测处理应用到视频压缩、发送和回放系统中，所述系统包括：带有深度图数据的未编码多视点视频的信号源；用于对带有深度图的未编码多视点视频进行压缩和编码的编码器，所述压缩和编码包括对深度图执行宏块预测方法；用于在通信载波信号中发送带有深度图的已编码的多视点视频的位流的发射机；用于传输通信载波信号的信号发送介质；用于接收通信载波信号以及提取带有深度图的已编码的多视点视频的位流的接收器；用于对带有深度图的已编码的多视点视频解码的解码器，所述解码包括对深度图执行宏块预测的方法；以及用于显示带有深度图的解码的多视点视频的视频回放设备。

根据本发明的各个实施方式，一种通过视频编码器对未编码的多视点视频序列中的深度图进行预测的处理包括：接收深度图的帧；以及对帧内的第一宏块进行帧间预测，其中帧间预测包括：确定帧内将被跳过的第一宏块；阻止第一宏块中的所有像素数据被编码在用于深度图的帧的编码位流中；以及包括一个或多个指示器位，其指示第一宏块被作为跳过宏块编码以构成编码器输出的编码位流中的深度图的帧。对于帧间预测或帧内预测，对跳过宏块不进行运动向量或残留数据编码。

根据本发明的各个实施方式，一种通过视频解码器对已编码的多视点视频序列中的深度图进行预测的方法包括：接收深度图的帧；对帧内的第一跳过宏块进行帧间预测以获得第一跳过宏块的当前帧间预测宏块，其中帧间预测包括：通过识别一个或多个指示器位定位帧内的第一跳过宏块；通过使用与第一跳过宏块相邻的一个或多个宏块的运动向量确定预测的运动向量；以及通过根据预测的运动向量和已编码的多视点视频序列中深度图的参考帧中的第二宏块的内插预测第一跳过宏块；对第一跳过宏块进行垂直模式帧内预测以获得第一跳过宏块的当前垂直模式帧内预测宏块；对第一跳过宏块进行水平模式帧内预测以获得第一跳过宏块的当前水平模式帧内预测宏块；对第一跳过宏块进行DC模式帧内预测以获得第一跳过宏块的当前DC模式帧内预测宏块；以及对第一跳过宏块进行平面模式帧内预测以获得第一跳过宏块的当前平面模式帧内预测宏块。

因此，根据本发明的混合型预测跳过模式包括帧间预测跳过模式、帧内预测垂直模式、帧内预测水平模式、帧内预测DC模式以及帧内预测平面模式，其可以表示如下：

混合型跳过模式＝{Inter_Skip，I16_Ver_Skip，I16_Hor_Skip，I16_DC_Skip，I16_Plane_Skip}

其中，宏块尺寸＝16×16

Inter_Skip：

p_pred(x，y)-p_ref(x+MVp_x，y+MVp_y)；x，y＝{0，1，...，15}

其中，p_pred是当前预测宏块中的像素

p_ref是参考帧的宏块中的像素；以及

MVp是预测的运动向量

I16_Ver_Skip：

p_pred(x，y)＝p_up(x)；x，y＝{0，1，...，15}

其中，p_up是紧接当前预测宏块顶部边界的宏块边缘中的像素。

I16_Hor_Skip：

p_pred(x，y)＝p_left(x)；x，y＝{0，1，...，15}

其中，p_left是紧接当前预测宏块的左侧边界的宏块边缘中的像素。

I16_DC_Skip：

p_pred(x，y)＝(∑_{x＝0，1，...，15}p_up(x)+∑_{y＝0，1，...，15}p_left(y))＞＞5；

x，y＝{0，1，...，15}

I16_Plane_Skip：

p_pred(x，y)＝(a+b×(x-7)+c×(y-7)+16)＞＞5；

x，y＝{0，1，...，15}

其中，a＝16×(p_left(15)+p_up(15))；

b＝(5×H+32)＞＞6；

c＝(5×V+32)＞＞6；

H＝∑_{x＝0，1，...，7}[(x+1)×(p_left(8+x)-p_left(6-x))]；

V＝∑_{y＝0，1，...，7}[(y+1)×(p_up(8+x)-p_up(6-x))]

参照图2，图2概念性地示出了参考帧202的宏块201中的p_ref、预测运动向量MVp203以及在帧间预测步骤中的当前预测宏块204中的p_pred。此外，在图2中还分别示出了当前预测宏块209中的P_pred、紧接当前预测宏块209的顶部边界的宏块边缘206中的P_up以及紧接当前预测宏块209的左侧边界的宏块边缘208中的p_left。

解码器基于不依赖于已编码的多视点视频序列位流中的额外的附加位或者解码器已经接收的信息之外的任何信息的某种标准，由帧间预测、垂直模式帧内预测、水平模式帧内预测、DC模式帧内预测和平面模式帧内预测产生的第一跳过宏块的5个当前预测宏块中选择具有最佳预测的一个。在优选实施方式中，将用于当前预测宏块中的每个宏块的边缘匹配失真(SMD)用作选择标准。选择具有最小SMD的一个当前预测宏块以构成解码器输出的解码位流中的深度图的帧。

根据一个实施方式，通过下列等式计算用于预测宏块和最佳预测类型的选择的SMD：

SMD_类型＝∑_{x＝0，1，...，15}|p_pred(x，0)-p_up(x)|+∑_{y＝0，1，...，15}|p_pred(0，y)-p_left(y)|；

类型_最佳＝arg_类型min(SMD_类型)

其中，p_pred是当前预测宏块中的像素；

p_up是紧接当前预测宏块的顶部边界的宏块边缘中的像素；

p_left是紧接当前预测宏块的左侧边界的宏块边缘中的像素。

在优选实施方式中，宏块尺寸是16×16。然而，诸如8×8、4×4、16×8和8×16的其他尺寸的宏块也可使用与上述基本上相似的处理。

典型地，用数据编码的电信号可经历上述处理；输出将会是压缩信号。接着，将压缩信号输入到反向处理，以实质上再现原始的数据编码电信号。

这里公开的实施例可以利用通用和专用计算设备、计算机处理器或电子电路系统实现，所述电子电路系统包括但不限于数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及其他根据本公开文本的教导构造或编制的可编程逻辑设备。运行于通用或专用计算设备、计算机处理器或可编程逻辑器件中的计算机指令或软件代码可以由软件或电子领域的技术人员根据本公开内容的教导容易地准备。

在一些实施例中，本发明包括计算机存储介质，其具有存储在其中的计算机指令或软件代码，该计算机指令或软件代码用于指令计算机或微处理器编程以执行本发明的任意处理。存储介质可以包括但不限于软盘、光盘、蓝光光盘、DVD、CD-ROM以及磁性光盘、ROM、RAM、闪存设备或适于存储指令、编码和/或数据的任何类型的介质或设备。

为了示意和描述，已经提供了本发明的前面的描述。其目的不在于将发明穷尽或限制在公开的精确的方式。许多修改和变型对于本领域技术人员来说是显而易见的。

选择和描述实施例以最好地解释本发明的原则和其实际的应用，因此使得本领域其他技术人员能够通过各个实施例理解本发明，并使本领域技术人员能够理解本发明具有各种修改，这些修改适用于预期的实际应用。本发明的范围由所附权利要求和其等效物限定。

Claims (16)

1.一种在多视点视频的深度数据的视频编码中的宏块预测方法，其包括： 

通过视频编码器对未编码的多视点视频序列中的深度图进行编码，包括： 

接收未编码的多视点视频序列中的深度图的帧； 

对帧内的第一宏块进行帧间预测跳过模式，以产生与被跳过的第一宏块关联的一个或多个指示器位；以及 

构成和输出具有深度图的已编码的多视点视频序列，所述深度图包括所述一个或多个指示器位；以及 

通过视频解码器对编码的多视点视频序列中的深度图进行解码，包括： 

接收已编码的多视点视频序列中的深度图的帧； 

对帧内的第一跳过宏块进行帧间预测，以获得第一跳过宏块的当前帧间预测宏块，其中帧间预测包括： 

通过识别一个或多个指示器位定位帧内的第一跳过宏块； 

通过使用与第一跳过宏块相邻的一个或多个宏块的运动向量确定预测的运动向量；以及 

通过根据所述预测的运动向量和已编码的多视点视频序列的深度图的参考帧中的第二宏块的内插预测第一跳过宏块； 

对第一跳过宏块进行不同模式的一个或多个帧内预测，以分别获得不同模式的一个或多个当前帧内预测宏块； 

基于选择标准从当前帧间预测宏块和一个或多个帧内预测宏块选择一个当前预测宏块，其中具有最小的边缘匹配失真SMD的当前预测宏块被选择作为选择标准；以及 

构成和输出带有深度图的解码的多视点视频序列，所述深度图包括选择的当前预测宏块。 

2.根据权利要求1所述的方法，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为16×16。 

3.根据权利要求1所述的方法，其中对第一跳过宏块进行不同模式的一个或多个帧内预测包括： 

对第一跳过宏块进行垂直模式帧内预测，以获得第一跳过宏块的当前垂直模式帧内预测宏块； 

对第一跳过宏块进行水平模式帧内预测，以获得第一跳过宏块的当前水平模式帧内预测宏块； 

对第一跳过宏块进行DC模式帧内预测，以获得第一跳过宏块的当前DC模式帧内预测宏块；以及 

对第一跳过宏块进行平面模式帧内预测，以获得第一跳过宏块的当前平面模式帧内预测宏块。 

4.根据权利要求1所述的方法，其中当前预测宏块的SMD通过下式计算： 

SMD＝∑_{x＝0,1,…,15}|p_pred(x,0)–p_up(x)|+∑_{y＝0,1,…,15}|p_pred(0,y)–p_left(y)|； 

其中，p_pred是当前预测宏块中的像素； 

p_up是紧接当前预测宏块的顶部边界的宏块边缘中的像素；以及 

p_left是紧接当前预测宏块的左侧边界的宏块边缘中的像素。 

5.根据权利要求1所述的方法，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为8×8。 

6.根据权利要求1所述的方法，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为4×4。 

7.根据权利要求1所述的方法，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为16×8。 

8.根据权利要求1所述的方法，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为8×16。 

9.一种用于多视点视频中的深度数据的视频编码的系统，其包括： 

视频编码器，该视频编码器用于对未编码的多视点视频序列中的深度图进行编码，所述编码包括： 

接收未编码的多视点视频序列中的深度图的帧； 

对帧内的第一宏块进行帧间预测跳过模式，以产生与被跳过的第一宏块关联的一个或多个指示器位；以及 

构成和输出具有深度图的已编码的多视点视频序列，所述深度图 

包括所述一个或多个指示器位；以及 

视频解码器，该视频解码器用于对已编码的多视点视频序列中的深度图进行解码，所述解码包括： 

接收已编码的多视点视频序列中的深度图的帧； 

对帧内的第一跳过宏块进行帧间预测，以获得第一跳过宏块的当前帧间预测宏块，其中帧间预测包括： 

通过识别一个或多个指示器位定位帧内的第一跳过宏块； 

通过使用与第一跳过宏块相邻的一个或多个宏块的运动向量确定预测的运动向量；以及 

通过根据所述预测的运动向量和已编码的多视点视频序列的深度图的参考帧中的第二宏块的内插预测第一跳过宏块； 

对第一跳过宏块进行不同模式的一个或多个帧内预测，以分别获得不同模式的一个或多个当前帧内预测宏块； 

基于选择标准从当前帧间预测宏块和一个或多个帧内预测宏块选择一个当前预测宏块，其中具有最小的边缘匹配失真SMD的当前预测宏块被选择作为选择标准；以及 

构成和输出带有深度图的解码的多视点视频序列，所述深度图包括选择的当前预测宏块。 

10.根据权利要求9所述的系统，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为16×16。 

11.根据权利要求9所述的系统，其中对第一跳过宏块进行不同模式的一个或多个帧内预测包括： 

对第一跳过宏块进行垂直模式帧内预测，以获得第一跳过宏块的当前垂直模式帧内预测宏块； 

对第一跳过宏块进行水平模式帧内预测，以获得第一跳过宏块的当前水平模式帧内预测宏块； 

对第一跳过宏块进行DC模式帧内预测，以获得第一跳过宏块的当前DC模式帧内预测宏块；以及 

对第一跳过宏块进行平面模式帧内预测，以获得第一跳过宏块的当前平面模式帧内预测宏块。 

12.根据权利要求9所述的系统，其中当前预测宏块的SMD通过下式计算： 

SMD＝∑_{x＝0,1,…,15}|p_pred(x,0)–p_up(x)|+∑_{y＝0,1,…,15}|p_pred(0,y)–p_left(y)|； 

其中，p_pred是当前预测宏块中的像素； 

p_up是紧接当前预测宏块的顶部边界的宏块边缘中的像素；以及 

p_left是紧接当前预测宏块的左侧边界的宏块边缘中的像素。 

13.根据权利要求9所述的系统，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为8×8。 

14.根据权利要求9所述的系统，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为4×4。 

15.根据权利要求9所述的系统，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为16×8。 

16.根据权利要求9所述的系统，其中第一宏块、第一跳过宏块、当前帧间预测宏块和一个或多个当前帧内预测宏块的尺寸为8×16。 

Images