CN105103560A - 用于仅高级语法可缩放视频译码的层间参考图片限制 - Google Patents

Abstract

在一个实施方案中，提供一种用于编码或解码视频信息的设备。所述设备包括存储器单元，其经配置以存储与参考层、增强层或两者相关联的参考层图片。所述设备进一步包括处理器，其操作地耦合到所述存储器单元。在一个实施例中，所述处理器经配置以限制将已经重新取样的至多一个参考层图片用作层间参考图片，且使用层间预测和所述层间参考图片来预测当前图片。

Description

用于仅高级语法可缩放视频译码的层间参考图片限制

技术领域

本发明涉及视频译码和压缩领域。明确地说，本发明涉及可缩放视频译码(SVC)，包含用于高效视频译码(HEVC)、可缩放HEVC(SHVC)和基于HEVC的SHVC(HEVC-SHVC)的SVC。

背景技术

数字视频能力可并入到较宽范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频译码技术，例如MPEG-2；MPEG-4；ITU-TH.263；ITU-TH.264/MPEG-4，第10部分；高级视频译码(AVC)；目前尚在开发的高效视频译码(HEVC)标准，以及此类标准的扩展所定义的标准中描述的那些技术。视频装置可通过实施此类视频译码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。

视频译码技术包含空间的(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)可分为若干视频块其也可称为树块、译码单元(CU)和/或译码节点。相对于同一图片中的相邻块中的参考样本，使用空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，且相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。

空间或时间预测针对待译码的块产生预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成预测块的参考样本块的运动向量，以及指示经译码块与预测块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，其接着可量化。可扫描最初布置成二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵译码来实现更多的压缩。

仅高级语法可缩放视频译码使得能够使用来自参考层的视频块来预测当前层中的视频块，而不引入对HEVC译码规范的低级改变。举例来说，仅HLSSVC通过对来自当前层的相同存取单元的参考层使用现存的层间译码技术来实现此译码。本发明的技术使得能够识别多个参考层，来用于层间译码中的可能使用。然而，将有利的是，能够限制层间译码，使得最多仅一个参考层能够被识别为层间参考层。选择性地限制层间译码(例如，层间预测)，使得仅一个参考层能够用作层间参考层可改进译码性能，且降低实施例复杂性以及实施例成本。

发明内容

一般来说，本发明描述与可缩放视频译码(SHVC、SVC)有关的技术。下文所描述的技术提供一种指示特定基础层编解码器(例如，HEVC等)是否允许层间句法预测(包含运动信息)。

在一个实施例中，提供一种用于编码或解码视频信息的设备。所述设备包括存储器单元，其经配置以存储与基础层、增强层或两者相关联的视频信息和/或参考层图片。所述设备进一步包括处理器，其操作地耦合到存储器单元。所述处理器经配置以限制将至多一个参考层图片用作层间参考图片，以确定增强层中的视频单元的值。

在一个实施例中，一种经配置以译码视频信息的设备包含存储器单元和处理器。所述存储器单元经配置以存储与基础层、增强层或两者相关联的参考层图片。所述处理器操作地耦合到存储器单元，且经配置以限制将已经重新取样的至多一个参考层图片用作层间参考图片，且使用层间预测和层间参考图片来预测当前图片。

在另一实施例中，一种解码视频信息的方法包含：提供至多一个经重新取样的参考层图片可用作层间参考图片的限制；确定所述至多一个经重新取样的参考层图片将用作层间参考图片；以及使用层间预测和层间参考图片来解码当前图片。

在另一实施例中，一种编码视频信息的方法包含：提供至多一个经重新取样的参考层图片可用作层间参考图片的限制；确定所述至多一个经重新取样的参考层图片将用作层间参考图片；以及使用层间预测和层间参考图片来编码当前图片。

在另一实施例中，一种用于译码视频信息的设备包含：用于提供至多一个经重新取样的参考层图片可用作层间参考图片的限制的装置；用于确定所述至多一个经重新取样的参考层图片将用作层间参考图片的装置；以及用于使用层间预测和层间参考图片来预测当前图片的装置。

在另一实施例中，一种非暂时性计算机可读媒介包含特定指令，所述指令当在包括计算硬件的处理器上执行时，致使所述处理器：提供至多一个经重新取样的参考层图片可用作层间参考图片的限制；确定所述至多一个经重新取样的参考层图片将用作层间参考图片；且使用层间预测和层间参考图片来预测当前图片。

在另一实施例中，一种经配置以译码视频信息的设备包含存储器和处理器。所述存储器单元经配置以存储与基础层、增强层或两者相关联的参考层图片。所述处理器操作地耦合到存储器单元，且经配置以限制将具有与当前图片不同的空间分辨率的至多一个参考层图片用作层间参考图片，且使用层间预测和层间参考图片来预测当前图片。

在另一实施例中，一种解码视频信息的方法包含：提供具有与当前图片不同的空间分辨率的至多一个参考层图片可用作层间参考图片的限制；确定所述至多一个参考层图片将用作层间参考图片；以及使用层间预测和层间参考图片来解码当前图片。

在另一实施例中，一种编码视频信息的方法包含：提供具有与当前图片不同的空间分辨率的至多一个经重新取样的参考层图片可用作层间参考图片的限制；确定所述至多一个参考层图片将用作层间参考图片；以及使用层间预测和层间参考图片来编码当前图片。

在另一实施例中，一种用于译码视频信息的设备包含：用于提供具有与当前图片不同的空间分辨率的至多一个参考层图片可用作层间参考图片的限制的装置；用于确定所述至多一个参考层图片将用作层间参考图片的装置；以及用于使用层间预测和层间参考图片来预测当前图片的装置。

在另一实施例中，一种非暂时性计算机可读媒介包含特定指令，所述指令当在包括计算硬件的处理器上执行时，致使所述处理器：提供具有与当前图片不同的空间分辨率的至多一个参考层可用作层间参考图片的限制；确定所述至多一个参考层图片将用作层间参考图片；且使用层间预测和层间参考图片来预测当前图片。

附图和下面的描述中陈述一或多个实例的细节，附图和下面的描述无意限制本文所描述的发明性概念的整个范围。将从描述和图式，且从所附权利要求书明白其它特征、目标和优点。

附图说明

在图式中，参考编号可再用来指示所参考元件之间的对应性。提供图式是为了示出本文所描述的实例实施例，并且无意限制本公开的范围。

图1是说明可利用根据本发明中所描述的方面的技术的视频编码和解码系统的实例的框图。

图2A是说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。

图2B是可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。

图3A是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。

图3B是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。

图4到6是说明根据本发明的方面的层间参考图片限制方法的实施例的流程图。

具体实施方式

本发明中所描述的技术通常涉及可缩放视频译码(SHVC、SVC)和多视图/3D视频译码。举例来说，所述技术可与高效视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)扩展有关，或结合所述扩展使用，或在所述扩展内使用。在SHVC、SVC扩展中，可存在多个视频信息层。最底部等级处的层可用作基础层(BL)，且最顶部处的层(或最较高层)可用作增强层(EL)。“增强层”有时称为“增强层”，且这些术语可互换使用。基础层有时称为“参考层”(RL)，且这些术语也可互换使用。基础层与顶部层之间的所有层可用作EL或参考(RL)中的任一者或两者。举例来说，中间的层可为其下方层(例如基础层或任何介入增强层)的EL，且同时充当其上方的增强层的RL。基础层与顶部层(或最较高层)之间的的每一层可用作较较高层的层间预测的参考，且可使用较低层作为层间预测的参考。

为了简单，关于仅两个层：BL和EL来呈现实例；然而，应充分理解，下文所描述的理念和实施例也适用于具有多个层的情况。另外，为了便于阐释，通常使用术语“帧”或“块”。然而，这些术语无意为限制性的。举例来说，下文所述的技术可结合多种视频单元中的任何一种使用，包含但不限于像素、块(例如，CU、PU、TU、宏块等)、切片、帧等。

视频译码

视频译码标准包括ITU-TH.261、ISO/IECMPEG-1视觉、ITU-TH.262或ISO/IECMPEG-2视觉、ITU-TH.263、ISO/IECMPEG-4视觉，以及ITU-TH.264(也称为ISO/IECMPEG-4AVC)，包括其可缩放视频译码(SVC)和Multi-view视频译码(MVC)扩展。以全文引用的方式并入本文中的，2010年3月的“Advancedvideocodingforgenericaudiovisualservices”(用于一般视听服务的高级视频译码)，ITU-T建议H.264中描述SVC和MVC的最新联合草案。

另外，ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合协作团队(JCT-VC)正在开发一种新的视频译码标准，高效视频译码(HEVC)。HEVC的最近工作草案(WD)可在http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v20.zip处获得。所述草案的另一版本可在http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip处获得。HEVC的另一工作草案，称为HEVCWD8(或WD8)可在http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip处获得。HEVC的另一工作草案，且下文称为HEVCWD7，可从http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v5.zip获得。所有这些文献均已全文引用的方式并入本文中。

在SVC中，视频信息可提供为多个层。最底部等级处的层可仅用作基础层(BL)，且最顶部等级处的层可用作增强层(EL)。顶部与底部层之间的所有层可用作增强层和基础层两者。举例来说，中间的层可为其下方的层的EL，且同时作为其上方的层的BL。为了便于描述，在说明下文所描述的技术时，可假定存在两个层，BL和EL。然而，本文所描述的所有技术也适用于具有多个(两个以上)层的情况。

可缩放视频译码(SVC)可用来提供品质(也称为信噪比(SNR))可缩放性、空间可缩放性和/或时间可缩放性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以以第一品质等级显示视频的视频信息，且增强层相对于参考层额外的视频信息，使得参考层和增强层一起包含足以以高于第一等级的第二品质等级(例如，较少噪声、较大分辨率、较佳帧速率等)显示所述视频的视频信息。增强层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间纵横可等于BL的空间纵横的1.0、1.5或2.0倍。在一些实例中，EL的缩放因子可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，尽管不是限制，但有可能EL的空间分辨率大于BL的空间分辨率。

在用于H.264的SVC扩展中，可使用为SVC提供的不同层来执行当前块的预测。此预测可称为层间预测。SVC中可利用层间预测方法，以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中位于同一位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息(包含运动向量)来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。

在层间运动预测的一些实施例中，可使用基础层(例如，用于位于同一位置的块)的运动数据(包含运动向量)来预测增强层中的当前块。举例来说，当译码增强层中的视频单元时，视频译码器可使用来自参考层的信息，来获得可用于识别额外假设的额外运动补偿数据。由于这些额外假设是从视频位流中已经存在的数据隐含地得出，因此可以位流大小的很小或无额外成本获得视频译码中的额外性能。在另一实例中，可使用来自空间上相邻的视频单元的运动信息来定位额外假设。所得出的假设可接着平均化，或以其它方式与明确编码的假设组合，以产生视频单元的值的较佳预测。在某些情形中，例如当基础(或参考)层的空间分辨率不同于当前块的层的空间分辨率时，在用于编码或解码当前块之前，空间上按比例缩放基础层运动信息。同样地，当所述层具有不同于当前块的层的空间分辨率时，如下文所述，可通过层间位置映射来确定基础(或参考)层中的块的位置。

基于仅高级语法(HLS)HEVC的可缩放译码

可通过将参考层经重构图片插入用于当前增强层(EL)图片译码的参考图片列表中，来实现仅高级语法(HLS)HEVC-SHVC。如果当前层及其参考层具有相同的空间分辨率，那么可类似于MV-HEVC(多视图HEVC)支持SHVC，其中插入的图片是来自另一视图(见“MV-HEVC工作草案1”，JCT3V-C1004，其以全文引用的方式并入本文中)。另外，插入的图片可用作为TMVP(时间运动向量预测符)导出而收集的图片，而无额外处理。

在空间可缩放性情况下，当前图片具有或可具有不同于参考层图片的空间分辨率。举例来说，当前图片与参考图片之间的空间纵横比可为1.5、2.0或其它不同比率。在此情况下，将对参考层图片进行上取样，以在将其插入到用于当前图片译码的参考图片列表中之前，与当前经解码图片的图片大小匹配。当当前图片与参考图片之间的空间纵横比不同时，对参考图片的像素和非像素信息(语法、模式和模式参数)两者进行上取样，以实现纹理和运动预测两者。此技术已应用于合并HEVC(SHVC)标准的可缩放视频扩展(“SHVC测试模型1”，JCTVC-L1007；“SHVC工作草案1”，“JCTVC-L1008”，其以全文引用的方式并入本文中)。

在当前SHVC测试模型中，使用以下语法来指示可用于层间预测的直接参考层：

当direct_dependency_flag[i][j]等于0时，这指定具有索引j的层不是具有索引i的层的直接参考层。当direct_dependency_flag[i][j]等于1时，这指定具有索引j的层可为具有索引i的层的直接参考层。当对于0到vps_max_layers_minus1的范围内的i和j，direct_dependency_flag[i][j]不存在时，推断其等于0。

另外，变量NumDirectRefLayers[i]指定nuh_layerID等于i的直接参考层的编号，且变量RefLayerId[i][j]指定nuh_layerID等于i的层的每一参考层的layer_id。如下得出这些变量：

在多视图HEVC(MV-HEVC)中，通过直接使用参考层图片的经解码图片来构造列表层间参考图片集合RefPicSetInterLayer，如下：

在SHVC中，列表层间参考图片集合RefPicSetInterLayer由经重新取样的参考层图片组成，如下：

其中G.8.1.4是用于层间参考图片的重新取样过程。

然而，如上文所提到，在当前SHVC和MV-HEVC工作草案中，允许结合层间预测过程使用多个参考层图片。与将一个参考层图片用于层间预测相比，此技术可被视为以非常低的复杂性影响来提供对MV-HEVC的译码性能改进。然而，使用多个参考层图片的此技术将不可能改进译码性能，因为最近的参考层图片通常具有相对较佳的数量和/或品质，以及提供最佳预测效率的能力。此外，当将多个参考层图片用于层间预测时，SHVC解码过程的复杂性增加，因为对于多个参考层图片，将需要执行图片重新取样过程多次来解码当前图片。

在H.264SVC扩展中，存在仅一个特定参考层图片可用于当前图片的层间预测的限制。在切片标头中用信号通知以下语法元素：

Ref_layer_dq_id指定用于当前层表示(例如，表示当前图片)的层间预测的当前经译码图片(例如，表示存取单元)内的层表示(例如，表示图片)。当存在时，ref_layer_dq_id的值处于0到DQId-1的范围内，包含0和DQId-1。

变量DQId由以下等式导出：

DQId＝(dependency_id<<4)+quality_id

其中dependency_id指定NAL单元的相关性识别符，且quality_id指定NAL单元的品质识别符。

下文参考附图更全面地描述新颖系统、设备和方法的各个方面。然而，本发明可以许多不同形式体现，且不应被解释为限于贯穿本发明而呈现的任何特定结构或功能。相反，提供这些方面是为了使本发明将全面且完整，且将向所属领域的技术人员完整传达本发明的范围。基于本文的教示，所属领域的技术人员将了解，本发明的范围意在涵盖本文所揭示的新颖系统、设备和方法的任何方面，不管是独立于本发明的任何其它方面实施，还是与本发明的任何其它方面组合实施。举例来说，可使用本文所陈述的任何数目的方面来实施设备或实践方法。另外，本发明的范围意在涵盖使用除本文所陈述的本发明的各个方面之外或不同于所述方面的其它结构、功能性或结构和功能性来实践的此设备或方法。应理解，本文所揭示的任何方面可由权利要求的一或多个元素来体现。

尽管本文描述特定方面，但这些方面的许多变化和排列属于本发明的范围内。尽管提到优选方面的一些益处和优点，但本发明的范围无意限于特定益处、使用或目标。相反，本发明的方面意在广泛适用于不同无线技术、系统配置、网络和传输协议，其中的一些在图中且在优选方面的以下描述中借助于实例来说明。详细描述和图式仅说明本发明而不是限制本发明，本发明的范围由所附权利要求书及其均等物界定。

视频译码系统

图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文所使用并描述，术语“视频译码器”在属类上指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”在属类上可指代视频编码和视频解码。

如图1中所示，视频译码系统10包括源装置12和目的地装置14。源装置12产生经编码的视频数据。目的地装置14可解码源装置12所产生的经编码的视频数据。源装置12可经由计算机可读媒体16将视频数据提供给目的地装置14。源装置12和目的地装置14可包括较宽范围的装置，包括桌上型计算机、笔记本型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话、所谓的“智能”平板电脑)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式传输装置等。源装置12和目的地装置14可经配备来用于无线通信。

目的地装置14可接收将经由计算机可读媒体16解码的经编码视频数据。计算机可读媒体16可包括一种类型的能够将经编码的视频数据从源装置12移到目的地装置14的媒体或装置。举例来说，计算机可读媒体16可包括通信媒体，以使源装置12能够将经编码的视频数据直接实时发射到目的地装置14。经编码的视频数据可根据通信标准(例如无线通信协议)来调制，并发射到目的地装置14。所述通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱，或一或多个物理传输线。通信媒体可形成基于包的网络的一部分，例如局域网、广域网或全局网络，例如因特网。通信媒体可包含路由器、交换机、基站，或可对促进从源装置12到目的地装置14的通信有用的其它设备。

在一些实施例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取数据存储媒体中的任何一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或其它用于存储视频数据的数字存储媒体。存储装置可对应于可存储源装置12所产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码的视频数据并将所述经编码的视频数据发射到目的地装置14的一种类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过标准数据连接，包含因特网连接来存取经编码的视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合存取存储在文件服务器上的经编码视频数据的两者的组合。经编码的视频数据从存储装置的传输可为流式传输、下载传输或其组合。

本发明的技术可适用于除无线应用或设定之外的应用或设定。技术可在多种多媒体应用的支持下应用于视频译码，所述多媒体应用例如为空中电视广播、电缆电视传输、卫星电视发射、因特网流式视频传输(例如HTTP上动态自适应流式传输(DASH))、编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实施例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。源装置12的视频编码器20可经配置以应用符合多个标准或标准扩展的用于译码包含视频数据的位流的技术。在其它实施例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18，例如外部相机接收视频数据。同样地，目的地装置14可与外部显示装置介接，而不是包含集成显示装置。

源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前捕获的视频的视频存档，和/或用以接收来自视频内容提供者的视频的视频馈送接口。视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频和计算机产生的视频的组合。在一些实施例中，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。所捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码的视频信息可由输出接口22输出到计算机可读媒体16。

计算机可读媒体16可包含暂时媒体，例如无线广播或有线网络传输；或存储媒体(例如，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘，或其它计算机可读媒体。网络服务器(未图示)可接收来自源装置12的经编码的视频数据，并将经编码的视频数据提供给目的地装置14例如，经由网络传输)。媒体生产设施(例如，光盘冲压设施)的计算装置可接收来自源装置12的经编码的视频数据，且生产含有所述经编码的视频数据的光盘。因此，可将计算机可读媒体16理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28可从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含视频编码器20所定义的语法信息，其可由视频解码器30使用，所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32向用户显示经解码的视频数据，且可包含多种显示装置中的任何一种，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频译码标准，例如目前正在开发的高效视频译码(HEVC)标准来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或产业标准，例如ITU-TH.264标准，或者称为MPEG-4，第10部分；高级视频译码(AVC)，此类标准的扩展来操作。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-TH.263。尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元，或其它硬件和软件，来处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，那么MUX-DEMUX单元可符合ITUH.223多路复用器协议，或其它协议，例如用户数据报协议(UDP)。

图1仅仅是实例，且本发明的技术可适用于不一定包含编码与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输，等等。编码装置可编码数据并将数据存储到存储器，和/或解码装置可从存储器检索数据并解码数据。在许多实例中，编码和解码有并不彼此通信而是简单地将数据编码到存储器和/或从存储器检索数据并解码数据的装置执行。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任何一种，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地在软件中实施时，装置可将用于所述软件的指令存储在非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令，以实施本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，其中的任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的一部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

JCT-VC正致力于开发HEVC标准。HEVC标准化工作是基于称为HEVC测试模型(HM)的视频译码装置的演进模型。HM根据例如ITU-TH.264/AVC，假定视频译码装置相对于现有装置的若干额外能力。举例来说，鉴于H.264提供九种帧内预测编码模式，HM可提供至多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述可将视频帧或图片分为包含亮度和色度样本两者的树块或最大译码单元(LCU)序列。位流内的语法数据可界定LCU的大小，LCU为在像素数目方面最大的译码单元。切片包含若干在译码次序上连续的树块。可将视频帧或图片分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构每CU包含一个节点，其中根节点对应于树块。如果CU分裂成四个子CU，那么对应于所述CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU是否分裂成若干子CU。CU的语法元素可递归地定义，且可取决于CU是否分裂成若干子CU。如果CU不进一步分裂，那么其称为叶CU。在本发明中，叶CU的四个子CU也将称为叶CU，即使不存在原始叶CU的明确分裂也是如此。举例来说，如果16x16大小的CU不进一步分裂，那么四个8x8子CU也将称为叶CU，但16x16CU从不分裂。

CU具有与H.264标准的宏块类似的目的，除了CU不具有大小差别。举例来说，树块可分裂成四个子节点(也称为子CU)，且每一子节点又可为母节点，且分裂成另外四个子节点。最后的不分裂子节点，称为四叉树的叶节点，包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可界定树块可分裂的最大倍数，称为最大CU深度，且也可定义译码节点的最小大小。因此，位流也可定义最小译码单元(SCU)。本发明使用术语“块”来指代HEVC的上下文中的CU、PU或TU中的任何一者，或其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块或其子块)。

CU包含译码节点和预测单元(PU)，以及与所述译码节点相关联的变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小的范围可从8x8像素至多达具有最大64x64像素或以上的树块的大小。每一CU可含有一或多个PU以及一或多个TU。与CU相关联的语法数据可例如描述将CU分割成一或多个PU。分割模式可在CU是经跳过或直接模式编码、帧内预测模式编码还是帧间预测模式编码之间不同。可将PU分割为形状为非正方形。与CU相关联的语法数据也可例如描述根据四叉树将CU分割成一或多个TU。TU的形状可为正方形或非正方形(例如，矩形)。

HEVC标准允许根据TU的变换，其可针对不同CU而不同。TU通常基于为经分割LCU界定的给定CU内的PU的大小而定大小，但可能不总是这种情况。TU通常为与PU相同大小或小于PU。在一些实例中，可使用称为“残差四叉树”(RQT)的四叉树结构，将对应于CU的残余样本再分为较小的单元。RQT的叶节点可称为变换单元(TU)。可变换与TU相关联的像素差异值，以产生变换系数，其可量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于为PU检索参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经模式内编码时，用于PU的数据可包含在残余四叉树(RQT)中，残余四叉树可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经模式间编码时，PU可包含为PU界定一或多个运动向量的数据。为PU界定运动向量的数据可例如描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU也可包含一或多个变换单元(TU)。可使用RQT(也称为TU四叉树结构)来指定变换单元，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成进一步的子TU。当TU不进一步分裂时，其可称为叶TU。通常，对于帧内译码，属于叶CU的所有叶TU共享同一帧内预测模式。就是说，通常应用同一帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式来计算每一叶TU的残值，作为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与同一CU的对应叶TU位于同一位置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。

此外，叶CU的TU也可与相应的四叉树数据结构(称为残余四叉树(RQT))相关联就是说，叶CU可包含指示如何将叶CU分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于树块(或LCU)。RQT的未分裂的TU称为叶TU。一般来说，本发明使用术语CU和TU来分别指代叶CU和叶TU，除非另有备注。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列一或多个视频图片。GOP可在GOP的标头、所述图片中的一者或一者以上的标头中或别处包含语法数据，其描述包含在GOP中的若干图片。图片的每一切片可包含切片语法数据，其描述相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块操作，以便编码所述视频数据。视频块可对应于CU内的译码节点。视频块可具有固定的或变化的大小，且可根据指定译码标准而大小不同。

举例来说，HM支持各种PU大小的预测。假定特定CU的大小为2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，以及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未经分割，而另一方向分割成25％和75％。CU的对应于25％分区的部分由“n”接以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2NxnU”指代水平分割的2Nx2NCU，其中2Nx0.5NPU在上，且2Nx1.5NPU在下。

在本发明中，“NxN”和“N乘N”可互换使用，来指代依据垂直或水平维度的视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块在垂直方向上将具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，NxN块通常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块不一定在水平方向上与在垂直方向上具有相同数目的像素。举例来说，块可包括NxM个像素，其中M不一定等于N。

在使用CU的PU的帧内预测或帧间预测译码之后，视频编码器20可为CU的TU计算残余数据。PU可包含描述在空间域(也称为像素域)中产生预测像素数据的方法或模式的语法数据，且TU可包括在对残余视频数据应用变换之后变换域中的系数，所述变换例如为离散正弦变换(DST)、离散余弦变换(DCT)、整数变换、小波变换，或概念上类似的变换。残余数据可对应于未经编码的图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。

在用以产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化是既定具有其最广一般意义的广义术语。在一个实施例中，量化指代其中量化变换系数以尽可能减少用来表示所述系数的数据量，从而提供进一步压缩的过程。量化过程可减少与所述系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而从包含经量化的变换系数的二维矩阵产生一维向量。所述扫描可被设计成将较高能量(且因此较低频率)系数放置在阵列前面，且将较低能量(且因此较高频率)系数放置在阵列后面。在一些实例中，视频编码器20可利用预定义扫描次序，来扫描经量化的变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可例如，根据上下文自适应变长译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法，来对一维向量进行熵编码。视频编码器20还可对与经编码的视频数据相关联的语法元素进行熵编码，以供视频解码器30用来解码视频数据。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。上下文可与例如所述符号的相邻值是非零还是零有关。为了执行CAVLC，视频编码器20可为待发射的符号选择变长码。可构造VLC中的码字，使得相对较短的代码对应于较可能的符号，而较长的代码对应于较不可能的符号。以此方式，VLC的使用可例如比将等长码字用于待发射的每一符号实现位节省。概率确定可基于指派给所述符号的上下文。

视频编码器20可进一步将语法数据，例如基于块的语法数据、基于帧的语法数据以及基于GOP的语法数据发送到视频解码器30，例如在帧标头、块标头、切片标头或GOP标头中。GOP语法数据可描述相应GOP中的若干帧，且帧语法数据可指示用于编码对应帧的编码/预测模式。

视频编码器

图2A是说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以处理视频帧的单个层，例如用于HEVC。另外，视频编码器20可经配置以执行本发明的技术中的任一者或全部，包含但不限于执行下文相对于图4更详细描述的层间参考图片限制的方法。作为一个实例，层间预测单元66(当提供时)可经配置以执行本发明中所描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中所描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。

出于阐释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2A的编码器20说明编解码器的单个层。然而，如将相对于图2B进一步描述，可复制视频编码器20的一些或全部来用于根据多层编解码器的处理。

视频编码器20可执行视频切片内的视频块的帧内、帧间以及层间预测(有时称为帧内、帧间或层间译码)。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。层间译码依靠基于同一视频译码序列内的不同层内的视频的预测。模式内(I模式)可指代若干基于空间的译码模式中的任何一者。帧间模式，例如单向预测(P模式)或双向预测(B模式)，可指代若干基于时间的译码模式中的任何一种。

如图2A中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2A的实例中，视频编码器20包含模式选择单元40、参考帧存储器(有时称为经解码图片缓冲器)64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、层间预测单元66和分割单元48。

对于视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还可包含去块滤波器(图2A中未展示)，来对块边界进行滤波，以将成块假影从经重构的视频去除。如果需要，那么去块滤波器将通常对求和器62的输出进行滤波。除去块滤波器之外，也可使用额外的滤波器(循环中或循环后)。为了简洁，未展示此类滤波器，但如果需要，那么此类滤波器可对求和器50的输出进行滤波(作为循环中滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可分为多个视频块。运动估计单元42和运动补偿单元44相对于一或多个参考帧中的一或多个块执行接收到的视频块的帧间预测译码，以提供时间预测。帧内预测单元46可替代地相对于与待译码的块相同的帧或切片中的一或多个相邻块，执行接收到的视频块的帧内预测译码，以提供空间预测。视频编码器20可执行多个译码遍次，例如为视频数据的每一块选择适当的译码模式。

此外，分割单元48可基于先前译码遍次中的先前分割方案的评估，将视频数据块分割成若干子块。举例来说，分割单元48可最初将帧或切片分割成若干LCU，且基于速率失真分析(例如，速率失真优化等)将所述LCU中的每一者分割成若干子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU以及一或多个TU。

模式选择单元40可例如基于错误结果来选择译码模式中的一者，帧内、帧间或层间预测模式，且将所得的经帧内、帧间或层间译码的块提供给求和器50，以产生残余块数据，且提供给求和器62以重构经编码块来用作参考帧。模式选择单元40还将语法元素，例如运动向量、模式内指示符、分区信息以及其它此类语法信息提供给熵编码单元56。

运动估计单元42和运动补偿单元44可高度集成，但出于概念目的而分别说明。运动估计单元42所执行的运动估计是产生运动向量的过程，其估计视频块的运动。运动向量例如可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块，相对于当前帧(或其它经译码单元)内正译码的当前块的位移。预测块是在像素差方面被发现与待译码的块密切匹配的块，像素差可由绝对差和(SAD)、方差和(SSD)或其它差量度决定。在一些实例中，视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于整个像素位置和分数像素位置执行运动搜索，且输出具有分数像素精度的运动向量。

运动估计单元42通过将PU的位置与参考图片的预测块的位置进行比较，来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表)，其中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。

运动补偿单元44所执行的运动补偿可涉及基于运动估计单元42所确定的运动向量来取或产生预测块。在一些实例中，运动估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表的一者中定位运动向量所指向的预测块。求和器50通过将预测块的像素值从正译码的当前视频块的像素值减去，从而形成像素差值来形成残余视频块，如下文所论述。在一些实施例中，运动估计单元42可相对于亮度分量执行运动估计，且运动补偿单元44可将基于亮度分量计算的运动向量用于色度分量和亮度分量两者。模式选择单元40可产生与视频块和视频切片相关联的语法元素，以供视频解码器30用来解码视频切片的视频块。

帧内预测单元46可帧内预测或计算当前块，作为运动估计单元42和运动补偿单元44所执行的帧间预测的替代方案，如上文所述。明确地说，帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可使用各种帧内预测来编码当前块，例如，在单独的编码遍次期间，且帧内预测单元46(或在一些实例中，模式选择单元40)可从测试过的模式中选择适当的帧内预测模式来使用。

举例来说，帧内预测单元46可通过对各种测试过的帧内预测模式使用速率失真分析来计算速率失真值，且在所述测试过的模式之中，选择具有最佳速率失真特性的帧内预测模式。速率失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真量(或错误)，以及用来产生所述经编码块的位速率(即，位数)。帧内预测单元46可从各种经编码块的失真和速率计算比率，以确定哪一帧内预测模式对所述块展现最佳速率失真值。

在为块选择帧内预测模式之后，帧内预测单元46可向熵编码单元56提供指示为所述块选择的帧内预测模式的信息。熵编码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20可在所发射的位流配置数据(其可包含多个帧内预测模式索引表，以及多个经修改的帧内预测模式索引表(也称为码字映射表))中包含各种块的编码上下文的定义，以及将用于所述上下文中的每一者的最可能帧内预测模式的指示、帧内预测模式索引表，以及经修改的帧内预测模式索引表。

视频编码器20可包含层间预测单元66。层间预测单元66经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)来预测当前块(例如，EL中的当前块)。此预测可称为层间预测。层间预测单元66利用预测方法来减少层间冗余，从而改进译码效率并降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中位于同一位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。当基础和增强层具有不同的空间分辨率时，层间预测单元66可执行使用时间比例缩放功能的空间运动向量比例缩放和/或层间位置映射，如下文更详细地描述。

视频编码器20通过将来自模式选择单元40的预测数据从正译码的原始视频块减去来形成残余视频块。求和器50表示执行此减法操作的组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。举例来说，还可使用离散正弦变换(DST)、小波变换、整数变换、子带变换或其它类型的变换。

变换处理单元52可将变换应用于残余块，从而产生残余变换系数块。所述变换可将来自像素值域的残余信息转换到变换域，例如频域。变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化变换系数以进一步降低位速率。量化过程可减少与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行包含所述经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在熵编码单元56的熵译码之后，可将经编码的位流发射到另一装置(例如，视频解码器)，或存档以供以后发射或检索。

逆量化单元58和逆变换单元60分别应用逆量化和逆变换，来重构像素域中的残余块(例如，供以后用作参考块)。运动补偿单元44可通过将残余块添加到参考帧存储器64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残余块，以计算用于运动估计中的子整数像素值。求和器62将经重构的残余块与运动补偿单元44所产生的经运动补偿的预测块相加，以产生经重构的视频块，来存储在参考帧存储器64中。所述经重构的视频块可由运动估计单元42和运动补偿单元44用作参考块来对后续视频帧中的块进行帧间译码。

多层视频编码器

图2B是说明可实施根据本发明中所描述的方面的技术的多层视频编码器21的实例的框图。视频编码器21可经配置以处理多层视频帧，例如用于SHVC和多视图译码。另外，视频编码器21可经配置以执行本发明的技术中的任一者或全部。

视频编码器21包含视频编码器20A和视频编码器20B，其中的每一者可配置为图2A的视频编码器20，且可执行上文相对于视频编码器20而描述的功能。另外，如参考编号的再用所指示，视频编码器20A和20B可包含所述系统和子系统中的至少一些作为视频编码器20。尽管将视频编码器21说明为包含两个视频编码器20A和20B，但视频编码器21不限于此，且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器21可针对存取单元中的每一图片或帧包含一视频编码器20。举例来说，包括五个编码器层的视频编码器可处理或编码包括五个图片的存取单元。在一些实施例中，视频编码器21可包含比存取单元中的帧多的编码器层。在一些此类情况下，当处理一些存取单元时，视频编码器层中的一些可为不活动的。

除视频编码器20A和20B之外，视频编码器21可包含重新取样单元90。在一些情况下，重新取样单元90可对接收到的视频帧的基础层进行上取样，以例如产生增强层。重新取样单元90可对于与帧的接收到的基础层相关联的特定信息进行上取样，而不对其它信息进行上取样。举例来说，重新取样单元90可对基础层的像素的空间大小或数目进行上取样，但切片数目或图片次序计数可保持恒定。在一些情况下，重新取样单元90可不处理接收到的视频和/或可为任选的。举例来说，在一些情况下，模式选择单元40可执行上取样。在一些实施例中，重新取样单元90经配置以对层进行上取样，并重组、重新定义、修改或调整一或多个切片，以符合一组切片边界规则和/或光栅扫描规则。尽管主要描述为对基础层或存取单元中的较低层进行上取样，但在一些情况下，重新取样单元90可对层进行下取样。举例来说，如果在流式传输期间，视频带宽减少，那么可对帧进行下取样而不是上取样。重新取样单元90也可进一步经配置以执行剪裁和/或填充操作。

重新取样单元90可经配置以从较低层编码器(例如，视频编码器20A)的经解码图片缓冲器114接收图片或帧(或与图片相关联的图片信息)，且对所述图片(或接收到的图片信息)进行上取样。接着将此经上取样的图片提供给较高层编码器(例如，视频编码器20B)的模式选择单元40，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器是从较低层编码器移除的一个层。在其它情况下，在图2B的层0视频编码器与层1编码器之间，可存在一或多个较高层编码器。

在一些情况下，重新取样单元90可省略或旁路。在此类情况下，来自视频编码器20A的经解码图片缓冲器64的图片可直接提供给视频编码器20B的模式选择单元40，或至少不提供给重新取样单元90。举例来说，如果提供给视频编码器20B的视频数据以及来自视频编码器20A的经解码图片缓冲器64的参考图片具有相同大小或分辨率，那么可在无任何重新取样的情况下，将参考图片提供给视频编码器20B。

在一些实施例中，在将视频数据提供给视频编码器20A之前，视频编码器21使用下取样单元94对将提供给较低层编码器的视频数据进行下取样。或者，下取样单元94可为能够对视频数据进行上取样或下取样的重新取样单元90。在其它实施例中，下取样单元94可省略。

如图2B中所说明，视频编码器21可进一步包含多路器98或多路复用器。多路复用器98可输出来自视频编码器21的组合位流。可通过从视频编码器20A和20B中的每一者取得位流，并在给定时间使输出哪一位流交替，来形成组合位流。虽然在一些情况下，来自两个(或在多于两个视频编码器层的情况下更多个)位流的位一次可交替一个位，在许多情况下，所述位流不同地组合。举例来说，可通过一次使选定位流交替一个块来产生输出位流。在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块，来产生输出位流。举例来说，两个块可为来自视频编码器20B的针对来自视频编码器20A的每一块输出的输出。在一些实施例中，可预编程来自多路复用器98的输出流。在其它实施例中，多路复用器98可基于从视频编码器21外部的系统，例如从源装置12上的处理器接收到的控制信号，组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率，基于信道16的带宽，基于与用户相关联的预订(例如，付费预订对比免费预订)，或基于用于确定从视频编码器21所要的分辨率输出的任何其它因素，产生控制信号。

视频解码器

图3A是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以处理视频帧的单个层，例如用于HEVC。另外，视频解码器30可经配置以执行本发明的技术中的任一者或全部，包含但不限于执行下文相对于图4更详细描述的层间参考图片限制的方法。作为一个实例，层间预测单元75可经配置以执行本发明中所描述的技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中所描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中所描述的技术中的任一者或全部。

出于阐释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3A的解码器30说明编解码器的单个层。然而，如将相对于图3B进一步描述，可复制视频解码器30的一些或全部，来用于根据多层编解码器的处理。在图3A的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、层间预测单元75、逆量化单元76、逆变换单元78、参考帧存储器82和求和器80。在一些实施例中，运动补偿单元72和/或帧内预测单元74可经配置以执行层间预测，在此情况下，可省略层间预测单元75。在一些实例中，视频解码器30可执行大体上与相对于视频编码器20(图2)而描述的编码遍次互反的解码遍次。运动补偿单元72可基于从熵解码单元70接收到的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收到的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块以及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵编码，以产生经量化系数、运动向量帧内预测模式指示符，以及其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片等级和/或视频块等级下接收语法元素。

当将视频切片译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号通知的帧内预测模式以及来自当前帧或图片的先前经解码块的数据，产生当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收到的运动向量和其它语法元素，产生当前视频切片的视频块的预测块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储在参考帧存储器(有时称为经解码图片缓冲器)92中的参考图片，使用默认构造技术来构造参考帧列表，列表0和列表1。运动补偿单元72通过剖析运动向量和其它语法元素来确定当前视频切片的视频块的预测信息，且使用所述预测信息来产生正解码的当前视频块的预测块。举例来说，运动补偿单元72使用接收到的语法元素中的一些来确定用以对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片，P切片,或GPB切片)、所述切片的参考图片列表中的一者或一者以上的构造信息、所述切片的每一经帧间编码的视频块的运动向量、所述切片的每一经帧间译码视频块的帧间预测状态，以及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可执行基于内插滤波器的内插。在视频块的编码期间，运动补偿单元72可使用如视频编码器20所使用的内插滤波器来计算参考块的子整数像素的经内插值。在此情况下，运动补偿单元72可从接收到的语法元素确定视频编码器20所使用的内插滤波器，且使用内插滤波器来产生预测块。

视频解码器30还可包含层间预测单元75。所述层间预测单元75经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)来预测当前块(例如，EL中的当前块)。此预测可称为层间预测。层间预测单元75利用预测方法来减少层间冗余，从而改进译码效率并降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中位于同一位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。当基础和增强层具有不同的空间分辨率时，层间预测单元75可使用时间比例缩放功能来执行空间运动向量比例缩放和/或层间位置映射，如下文更详细地描述。

逆量化单元76对位流中所提供且由熵解码单元70解码的经量化的变换系数进行逆量化，例如去量化。逆量化过程可包含将视频解码器30所计算的量化参数QPY用于视频切片中的每一视频块，以确定量化程度，且同样地，确定应应用的逆量化的程度。

逆变换单元78将逆变换，例如逆DCT、逆DST、逆整数变换或概念上类似的逆变换过程应用于变换系数，以便在像素域中产生残余块。

在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过将来自逆变换单元78的残余块与运动补偿单元72所产生的对应预测块求和来形成经解码的视频块。求和器90表示执行此求和运算的组件。如果需要，那么也可应用去块滤波器来对经解码的块进行滤波，以便去除成块假影。还可使用其它环路滤波器(在译码循环中，或在译码循环之后)来平滑像素过渡，或以其它方式改进视频品质。接着将给定帧或图片中的经解码的视频块存储在参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考帧存储器82还将用于以后呈现的经解码的视频存储在显示装置上，例如图1的显示装置32上。

多层解码器

图3B是说明可实施根据本发明中所描述的方面的技术的多层视频解码器31的实例的框图。视频解码器31可经配置以处理多层视频帧，例如用于SHVC和多视图译码。另外，视频解码器31可经配置以执行本发明的技术中的任一者或全部。

视频解码器31包含视频解码器30A和视频解码器30B，其中的每一者可配置为图3A的视频解码器30，且可相对于视频解码器30执行上文所述的功能。另外，如参考编号的再用所指示，视频解码器30A和30B可包含所述系统和子系统中的至少一些作为视频解码器30。尽管将视频解码器31说明为包含两个视频解码器30A和30B，但视频解码器31不限于此，且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器31可针对存取单元中的每一图片或帧包含视频解码器30。举例来说，包含五个解码器层的视频解码器可处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器31可包含比存取单元中的帧多的解码器层。在一些此类情况下，当处理一些存取单元时，视频解码器层中的一些可为不活动的。

除视频解码器30A和30B之外，视频解码器31可包含上取样单元92。在一些实施例中，上取样单元92可对接收到的视频帧的基础层进行上取样，以创建待添加到帧或存取单元的参考图片列表的增强层。可将此增强层存储在参考帧存储器(经解码图片缓冲器)82中。在一些实施例中，上取样单元92可包含相对于图2A的重新取样单元90而描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层进行上取样，并重组、重新定义、修改或调整一或多个切片，以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对接收到的视频帧的层进行上取样和/或下取样的重新取样单元。

上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片缓冲器82接收图片或帧(或与所述图片相关联的图片信息)，且对所述图片(或接收到的图片信息)进行上取样。接着可将此经上取样的图片提供给较高层解码器(例如，视频解码器30B)的模式选择单元71，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。

在一些情况下，上取样单元92可省略或旁路。在此类情况下，来自视频解码器30A的经解码图片缓冲器82的图片可直接提供给视频解码器30B的模式选择单元71，或至少不提供给上取样单元92。举例来说，如果提供给视频解码器30B的视频数据以及来自视频解码器30A的经解码图片缓冲器82的参考图片具有相同大小或分辨率，那么可在无上取样的情况下，将参考图片提供给视频解码器30B。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器82接收到的参考图片进行上取样或下取样的重新取样单元90。

如图3B中所说明，视频解码器31可进一步包含解多路器99或解多路复用器。解多路复用器99可将经编码的视频位流分裂成多个位流，其中解多路复用器99所输出的每一位流正被提供给不同的视频解码器30A和30B。可通过接收一位流来创建多个位流，且视频解码器30A和30B中的每一者在给定时间接收所述位流的一部分。虽然在一些情况下，来自解多路复用器99处所接收到的位流的位可在视频解码器(例如，图3B的实例中的视频解码器30A和30B)的每一者之间一次交替一个位，但在许多情况下，位流经不同划分。举例来说，可通过交替哪一视频解码器一次一个块地接收位流来划分位流。在另一实例中，位流可通过块与视频解码器30A和30B中的每一者的非1:1比率来划分。举例来说，对于提供给视频解码器30A的每一块，可将两个块提供给视频解码器30B。在一些实施例中，可对解多路复用器99对位流的划分进行预编程。在其它实施例中，解多路复用器99可基于从视频解码器31外部的系统，例如从目的地装置14上的处理器接收到的控制信号来划分位流。可基于来自输入接口28的视频的分辨率或位速率，基于信道16的带宽，基于与用户相关联的预订(例如，付费预订对比免费预订)，或基于用于确定视频解码器31可获得的分辨率的任何其它因素，产生控制信号。

单一参考层图片限制

在下文所描述的各种实施例中，提供对编码或解码过程的限制，使得至多一个参考层图片可用作层间参考图片来编码或解码SHVC中的当前图片。有了此类限制，有利地，需要仅至多达一个图片重新取样过程来解码当前图片。以下实施例提供对高效视频译码(SHVC)的可缩放视频译码扩展的此限制，包含基于参考索引的SHVC(其仅利用高等级语法变化)。

1.1.在切片标头中用信号通知参考层

在一个实施例中，在切片标头中用信号通知识别当前切片的参考层的语法元素(例如，reference_layer_id)。的确，参考层ID指示将用于层间预测的至多一个层间参考图片，以预测当前EL图片。除现有VPS语法之外，还提供此信息。举例来说，视频参数集合(VPS)包含指示可用作参考图片的所有图片的语法。然而，根据本发明的实施例，可在切片等级下用信号通知额外信息，以进一步细化层间参考图片集合导出。的确，在切片等级下，VPS所识别的图片的至多一个图片(例如，零个或一个图片)可用作层间预测的参考图片。提供符合限制的位流，其要求经译码的图片的所有切片的reference_layer_id必须相同。在一个实施例中，在图片参数集合(PPS)中用信号通知此语法。可用信号通知语法元素reference_layer_id_plus1，以指示正译码(编码或解码)的当前图片的参考层识别。在此情况下，参考层识别(例如，reference_layer_id的值)可导出为：

reference_layer_id＝reference_layer_id_plus1–1

等于-1的变量reference_layer_id指示为当前切片停用层间预测。

在另一实施例中，在切片标头中用信号通知语法元素reference_layer_id_delta。在此情况下，reference_layer_id的值可导出为：

reference_layer_id＝reference_layer_id_delta？currLayerId-reference_layer_id_delta:–1

在此实施例中，将变量currLayerId设定为等于当前经解码图片的nuh_layer_id。

另外，可在序列参数集合(SPS)或视频参数集合(VPS)中用信号通知旗标slice_header_reference_layer_id_present_flag(或PPS_reference_layer_id_present_flag)，以控制reference_layer_id的语法在切片标头(或图片参数集合(PPS))中的存在。

变量reference_layer_id指定具有reference_layer_id_plus1的参考层图片是当前层图片的唯一参考层图片。当当前图片nuh_layer_id等于零时，将reference_layer_id的值设定为-1。

当切片标头中不存在用于reference_layer_id的语法时，其可如下导出：

语法direct_dependency_flag[i][j]当前针对经译码位流序列在视频参数集合(VPS)等级下用信号通知。然而，可通过包含额外的语法和/或过程信息，例如指示所丢弃的层分量的语法，来进一步修改或细化每一时间子层或每一存取单元的直接层相关性旗标的值。在此情况下，可使用经细化的相关性旗标来导出指定层间参考图片的以下变量。变量refined_direct_dependency_flag[i][j]可表示一个时间子层或一个存取单元内的层之间的直接相关性。在一个实施例中，refined_direct_dependency_flag[i][j]的值最初设定为等于direct_dependency_flag[i][j]。也可通过检查当前时间子层或存取单元中的参考层图片的可用性，来进一步修改refined_direct_dependency_flag[i][j]的值。举例来说，当当前时间子层或存取单元不含有nuh_layer_id等于j的图片时，将refined_direct_dependency_flag[i][j]的值设定为0，其中j＝0到vps_max_layers_minus1，包含0和vps_max_layers_minus1。

当切片标头中不存在用于reference_layer_id的语法时，其也可通过使用refined_direct_dependency_flag如下导出：

在一个实施例中，通过进一步检查当前存取单元中的参考层图片的可用性，来进一步修改reference_layer_id的值。当当前存取单元不含有nuh_layer_id等于reference_layer_id的图片时，将reference_layer_id设定为等于-1。

为了导出当前图片的层间参考图片集合RefPicSetInterLayer，可通过将refined_direct_dependency_flag[currLayerId][reference_layer_id]设定为等于1，且将所有其它设定为等于0来导出当前图片的直接相关层旗标，且上文所提到的构造过程是结合由refined_direct_dependency_flag代替的变量direct_dependency_flag使用。

或者，可使用reference_layer_id如下导出SHVC的层间参考图片集合RefPicSetInterLayer：

其中，G.8.1.4是根据当前SHVC草案规范的层间参考图片的重新取样过程。

或者，在SPS或VPS中用信号通知旗标slice_header_reference_layer_id_present_flag(或PPS_reference_layer_id_present_flag)，以指示direct_dependency_flag的值是否将细化。当slice_header_reference_layer_id_present_flag(或PPS_reference_layer_id_present_flag)等于0时，refined_direct_dependency_flag[currLayerId][j]的值设定为等于direct_dependency_flag[currLayerId][j]，其中j＝0到j-1，包含0和j-1，且将不由上文所述的语法进一步细化。

1.2.图片参数集合或切片标头中的旗标信令

在此实施例中，refined_direct_dependency_flag[nuh_layer][j]在图片参数集合(PPS)或切片标头中用信号通知，以指示当前图片或切片的参考层图片。

旗标slice_header_direct_dependency_flag_present_flag(或PPS_direct_dependency_present_flag)在序列参数集合(SPS)或视频参数集合(VPS)中用信号通知，以指示refined_direct_dependency_flag的存在。举例来说，当slice_header_direct_dependency_flag_present_flag(或PPS_direct_dependency_flag_present_flag)等于0时，refined_direct_dependency_flag[currLayerId][j]的值设定为等于direct_dependency_flag[currLayerId][j]，其中j＝0到j-1，包含0和j-1。

1.3.语法元素位流符合限制

在一个实施例中，提供对语法元素direct_dependency_flag[i][j]的位流符合限制。对于nuh_layer_id等于i的每一层分量，允许所有direct_dependency_flag[i][j]旗标中至多一个旗标为1，其中j＝0到i-1，包含0和i-1。

如上文所提到，直接层相关性旗标的值可由某一额外语法进一步细化。举例来说，限制可为，对于一个时间子层或一个存取单元中nuh_layer_id等于i的每一层分量，允许所有refined_direct_dependency_flag[i][j]旗标之中至多一个旗标为1，其中j＝0到i-1，包含0和i-1。

1.4.层间参考图片集合构造

在此实施例中，改变SHVC的层间参考图片集合RefPicSetInterLayer的构造过程，使得RefLayerId[i][j]所指示的所有参考层图片之中仅一个层间参考图片添加到RefPicSetInterLayer。

在一个实施例中，RefLayerId[i][j]所指示的所有参考层图片之中仅第一图片用来产生经重新取样的层间参考图片，且添加到层间参考层图片集合。可使用以下方法来导出RefPicSetInterLayer：

其中，G.8.1.4是用于层间参考图片的重新取样过程。

在另一实施例中，层ID最接近当前层的参考层图片用于产生经重新取样的层间参考图片，且添加到层间参考层图片集合。在当前工作草案中，阵列RefLayerId中的此层间参考图片为所指示的RefLayerId[LayerIdInVps[currLayerId]][NumDirectRefLayers[LayerIdInVps[currLayerId]-1]]。因此，可使用以下方法来导出RefPicSetInterLayer：

其中G.8.1.4是用于层间参考图片的重新取样过程。

如上文的实施例中所描述，可使用旗标来指示使用至多一个层间参考图片，不管是否将使用还是不使用重新取样。然而，提供允许至多一个经重新取样的参考层图片用作在层间预测期间预测当前图片的参考图片的限制也将是有利的。

1.5.经重新取样的参考层图片限制

在此实施例中，提供位流符合限制，使得至多一个经重新取样的参考层图片用作当前图片的参考图片。举例来说，属于当前图片的所有切片的参考图片列表中最后存在至多一个经重新取样的参考层图片。

1.6.用以超驰视频参数集合DDL旗标的切片等级直接相关层(DDL)旗标信令

在此实施例中，用信号通知切片等级直接相关层旗标，以超驰VPS中当前指示的原始直接相关层旗标。在切片标头中用信号通知一下语法，以指示当前切片的参考层图片：

在SPS中用信号通知语法元素direct_dependency_override_enabled_flag，以控制切片标头处slice_direct_dependency_flag[i][j]语法元素的存在。在一个实施例中，要求具有以下位流符合限制：所有slice_direct_dependency_flag[LayerIdInVps[nuh_layer_id]][j]之中仅一个旗标等于1，其中j为0到LayerIdInVps[nuh_layer_id]–1。

当参考层信息在切片标头中不明确地指示时，如果存在一个以上参考层图片，那么将最近的参考层图片用作层间参考。为此目的，slice_direct_dependency_flag[i][j]的值如下导出：

举例来说，变量NumDirectRefLayers[currLayerIdx]和RefLayerId[currLayerIdx][j]如下导出(且因此，去除这两个变量在VPS语义学中的导出过程)：

在其它实施例中，提供额外的位流符合限制。举例来说，在一个实施例中，当slice_direct_dependency_flag[LayerIdInVps[nuh_layer_id]][j]等于1时，层索引为j的经译码图片将存在于当前存取单元(AU)中。这避免了将不存在的层间参考图片用于层间预测。在另一实施例中，属于一个经译码图片的所有切片将具有相同的slice_direct_dependency_flag值。

具有不同空间分辨率的单一参考层图片

在一个实施例中，提供限制，使得具有与当前图片不同的空间分辨率的至多一个参考层图片可用作层间参考图片来解码SHVC中的当前图片。以此方式，需要仅至多达一个图片重新取样过程来解码当前图片。上文所提到的实施例中的任一者可针对此限制而应用或扩展(例如，适于进一步包含此限制)。

在一个替代方案中，译码系统经配置以限制，使得至多一个经滤波的参考层图片可用作层间参考图片来解码当前图片。举例来说，将不存在对不应用滤波过程的层间参考图片的限制。

层间参考图片限制–至多一个参考层图片用作ILRP

图4说明可由图2A的视频编码器20；图2B的视频编码器20A、20B和/或21；图3A的视频解码器30，和/或图3B的视频解码器30A、30B和/或31执行的限制层间参考预测的方法的一个实施例。方法400可由图2A或2B的视频编码器20的运动估计单元42、运动补偿单元44、帧内预测单元46和层间预测单元66中的任何一者或一者以上执行。在另一实施例中，方法400可由图3A或3B的运动补偿单元72、帧内预测单元74和层间预测单元75中的任何一者或一者以上执行。

方法400在框410处开始。在框420处，提供以下限制：至多一个参考层图片(例如，零个或一个参考图片)可用作层间参考图片来执行当前图片的层间预测。举例来说，上文所述的技术中的任何一者可用于提供此限制。

在框430处，识别将用于层间预测的至多一个参考层。举例来说，使用上文所述的技术中的任何一者来识别将用于层间预测的至多一个参考层。在框440处，使用至多一个参考层来预测当前图片。举例来说，使用仅高级语法层间预测来预测当前图片。

层间参考图片限制–至多一个经重新取样的参考层图片用作ILRP

图5说明可由图2A的视频编码器20；图2B的视频编码器20A、20B和/或21；图3A的视频解码器30，和/或图3B的视频解码器30A、30B和/或31执行的限制层间参考预测的方法的另一个实施例。方法500可由图2A或2B的视频编码器20的运动估计单元42、运动补偿单元44、帧内预测单元46和层间预测单元66中的任何一者或一者以上执行。在另一实施例中，方法500可由图3A或3B的运动补偿单元72、帧内预测单元74和层间预测单元75中的任何一者或一者以上执行。

方法500在框510处开始。在框520处，提供以下限制：至多一个经重新取样的参考层图片(例如，零个或一个经重新取样的参考图片)可用作层间参考图片来执行当前图片的层间预测。以此方式，属于且与当前图片相关联的所有切片的参考图片列表中最后仅存在至多达一个经重新取样的参考层图片。上文所描述的技术中的任一者可用来提供此限制。

在框530处，识别具有与当前图片不同的空间分辨率且将用于层间预测的至多一个参考层图片。举例来说，使用上文所述的技术中的任何一者来识别具有与当前图片不同的空间分辨率且将用于层间预测的至多一个参考层图片。在框540处，使用至多一个参考层图片来预测当前图片。举例来说，使用仅高级语法层间预测来预测当前图片。

层间参考图片限制–具有不同空间分辨率的至多一个参考层图片用作ILRP

图6说明可由图2A的视频编码器20；图2B的视频编码器20A、20B和/或21；图3A的视频解码器30，和/或图3B的视频解码器30A、30B和/或31执行的限制层间参考预测的方法的另一个实施例。方法600可由图2A或2B的视频编码器20的运动估计单元42、运动补偿单元44、帧内预测单元46和层间预测单元66中的任何一者或一者以上执行。在另一实施例中，方法600可由图3A或3B的运动补偿单元72、帧内预测单元74和层间预测单元75中的任何一者或一者以上执行。

方法600在框610处开始。在框620处，提供以下限制：具有与当前图片不同的空间分辨率的至多一个参考层图片(例如，零个或一个参考层图片)可用作层间参考图片来执行当前图片的层间预测。以此方式，可需要仅至多达一个图片重新取样过程来译码(编码或解码)当前图片。任选地，可应用进一步限制，使得仅至多一个参考层图片可用作层间预测的层间参考图片(如上文相对于图4所述)。上文所述的技术中的任何一者可用来提供此类限制。

在框630处，识别具有与当前图片不同的空间分辨率且将用于层间预测的至多一个参考层图片。举例来说，使用上文所述的技术中的任何一者来识别具有与当前图片不同的空间分辨率且将用于层间预测的至多一个参考层图片。在框640处，使用至多一个参考层图片来预测当前图片。举例来说，使用仅高级语法层间预测来预测当前图片。

术语

虽然上文的揭示内容已描述了特定实施例，但许多变化是可能的。举例来说，如上文所提到，以上技术可应用于3D视频编码。在3D视频的一些实施例中，参考层(例如，基础层)包含足以显示视频的第一视图的视频信息，且增强层包含相对于参考层的额外视频信息，使得参考层和增强层一起包含足以显示视频的第二视图的视频信息。可使用这两个视图来产生立体图像。如上文所论述，根据本发明的方面，当编码或解码增强层中的视频单元时，来自参考层的运动信息可用来识别额外隐式假设。这可为3D视频位流提供较大的译码效率。

将认识到，取决于实例，本文所述的技术中的任何一者的某些动作或事件可以不同序列执行，可添加、合并或一起省略(例如，不是所有所描述的动作或事件均对于技术的实践是必要的)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器来同时执行动作或事件，而不是循序地处理所述动作或事件。

可使用多种不同技术和技巧中的任何一种来表示本文所揭示的信息和信号。举例来说，贯穿以上描述可参考的数据、指令、命令、信息、信号、位、符合和码片可由电压、电流、电磁波、磁场或颗粒、光场或微粒，或其任何组合来表示。

结合本文所揭示的实施例而描述的各种例示性逻辑块、模块、电路和算法可实施为电子硬件、计算机软件，或两者的组合。为了清楚地说明硬件与软件的这种可互换性，上文已大体上依据其功能性描述了各种例示性组件、块、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用以及强加于整个系统上的设计限制。熟练的技术人员可针对每一特定应用，以不同方式来实施所描述的功能性，但此类实施决策不应被解释为导致脱离本发明的范围。

本文所描述的技术可在硬件、软件、固件或其任何组合中实施。此类技术可在多种装置的任何一者中实施，例如通用计算机、无线通信装置手持机，或具有多种用途的集成电路装置，包括在无线通信装置手持机和其它装置中的应用。描述为模块或组件的任何特征可在集成逻辑装置中一起实施，或分别实施为离散但彼此协作的逻辑装置。如果在软件中实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包括指令，所述指令在被执行时，实施上文所述的方法中的一者或一者以上。计算机可读数据存储媒体可形成计算机程序产品的一部分，计算机程序产品可包括封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)，如同步动态随机存取存储器(SDRAM)；只读存储器(ROM)；非易失性随机存取存储器(NVRAM)；电可擦除可编程只读存储器(EEPROM)；快闪存储器；磁性或光学数据存储媒体等。所述技术另外或替代地可至少部分地由运载或传送程序代码的计算机可读通信媒体来实现，所述程序代码呈指令或数据结构的形式，且可由计算机存取、读取和/或执行，例如所传播的信号或波。

所述程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任何一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器的组合、结合DSP核的一或多个微处理器，或任何其它此类配置。因此，术语“处理器”在本文中使用时，可指代前述结构中的任一者、前述结构的任何组合，或适合实施本文所述的技术的任何其它结构或设备。另外，在一些方面中，本文所描述的功能性可在经配置以用于编码和解码的专用软件模块或硬件模块内提供，或并入组合式视频编码器-解码器(编解码器)中。

已描述了本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (36)

1.一种经配置以译码视频信息的设备，所述设备包括：

存储器单元，其经配置以存储与参考层、增强层或两者相关联的参考层图片；以及

处理器，其操作地耦合到所述存储器单元，且经配置以限制将已经重新取样的至多一个参考层图片用作层间参考图片，且使用层间预测和所述层间参考图片来预测当前图片。

2.根据权利要求1所述的设备，其中所述经重新取样的图片为已经上取样的图片，使得所述经上取样的图片和所述当前图片的空间分辨率相同。

3.根据权利要求1所述的设备，其中所述处理器进一步经配置以提供所述限制作为位流符合限制。

4.根据权利要求1所述的设备，其中所述至多一个经重新取样的参考图片存在于与所述当前图片相关联的所有切片的参考图片列表中。

5.根据权利要求1所述的设备，其中所述处理器进一步经配置以在切片标头中用信号通知指示参考层识别的语法元素，其中所述参考层识别指示所述参考层图片将用作所述层间参考图片。

6.根据权利要求1所述的设备，其中所述处理器进一步经配置以在图片参数集合PPS中用信号通知指示参考层识别的语法元素，其中所述参考层识别指示所述参考层图片将用作所述层间参考图片。

7.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过用信号通知指示切片的所述当前图片的所述参考层图片的经细化旗标，来限制将至多一个参考层图片用作层间参考图片。

8.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过提供对与直接相依性旗标相关联的语法元素的位流符合限制，来限制将至多一个参考层图片用作层间参考图片，其中所述直接相依性旗标指示与所述参考层相关联的图片是否为所述增强层的参考图片。

9.根据权利要求1所述的设备，其中所述处理器进一步经配置以通过仅使用具有最接近所述当前图片的层ID的层ID的所述参考层图片，来限制将至多一个参考层图片用作层间参考图片。

10.根据权利要求1所述的设备，其中所述处理器经配置以通过使用层间预测和所述层间参考图片编码所述当前图片，来预测所述当前图片。

11.根据权利要求1所述的设备，其中所述处理器经配置以通过使用层间预测和所述层间参考图片解码所述当前图片，来预测所述当前图片。

12.根据权利要求1所述的设备，其进一步包括选自由以下各项中的一或多者组成的群组的装置：数字电视、数字直播系统、无线广播系统、个人数字助理PDA、膝上型计算机、桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式电话、卫星无线电话、智能电话、视频电信会议装置以及视频流式传输装置。

13.一种解码视频信息的方法，所述方法包括：提供至多一个经重新取样的参考层图片可用作层间参考图片的限制；确定所述至多一个经重新取样的参考层图片将用作所述层间参考图片；以及使用层间预测和所述层间参考图片来解码当前图片。

14.根据权利要求13所述的方法，其中所述经重新取样的图片为已经上取样的图片，使得所述经上取样的图片和所述当前图片的空间分辨率相同。

15.根据权利要求13所述的方法，其进一步包括提供所述限制作为位流符合限制。

16.根据权利要求13所述的方法，其中所述至多一个经重新取样的参考图片存在于与所述当前图片相关联的所有切片的参考图片列表中。

17.根据权利要求13所述的方法，其进一步包括在切片标头中用信号通知指示参考层识别的语法元素，其中所述参考层识别指示所述参考层图片将用作所述层间参考图片。

18.根据权利要求13所述的方法，其进一步包括在图片参数集合PPS中用信号通知指示参考层识别的语法元素，其中所述参考层识别指示所述参考层图片将用作所述层间参考图片。

19.根据权利要求13所述的方法，其进一步包括通过用信号通知指示切片的所述当前图片的所述参考层图片的经细化旗标，来限制将至多一个参考层图片用作层间参考图片。

20.根据权利要求13所述的方法，其进一步包括通过提供对与直接相依性旗标相关联的语法元素的位流符合限制，来限制将至多一个参考层图片用作层间参考图片，其中所述直接相依性旗标指示与所述参考层相关联的图片是否为所述增强层的参考图片。

21.根据权利要求13所述的方法，其进一步包括通过仅使用具有最接近所述当前图片的层ID的层ID的所述参考层图片，来限制将至多一个参考层图片用作层间参考图片。

22.一种编码视频信息的方法，所述方法包括：提供至多一个经重新取样的参考层图片可用作层间参考图片的限制；确定所述至多一个经重新取样的参考层图片将用作所述层间参考图片；以及使用层间预测和所述层间参考图片来编码当前图片。

23.根据权利要求22所述的方法，其中所述经重新取样的图片为已经上取样的图片，使得所述经上取样的图片和所述当前图片的空间分辨率相同。

24.根据权利要求22所述的方法，其进一步包括提供所述限制作为位流符合限制。

25.根据权利要求22所述的方法，其中所述至多一个经重新取样的参考图片存在于与所述当前图片相关联的所有切片的参考图片列表中。

26.根据权利要求22所述的方法，其进一步包括在切片标头中用信号通知指示参考层识别的语法元素，其中所述参考层识别指示所述参考层图片将用作所述层间参考图片。

27.根据权利要求22所述的方法，其进一步包括在图片参数集合PPS中用信号通知指示参考层识别的语法元素，其中所述参考层识别指示所述参考层图片将用作所述层间参考图片。

28.根据权利要求22所述的方法，其进一步包括通过用信号通知指示切片的所述当前图片的所述参考层图片的经细化旗标，来限制将至多一个参考层图片用作层间参考图片。

29.根据权利要求22所述的方法，其进一步包括通过提供对与直接相依性旗标相关联的语法元素的位流符合限制，来限制将至多一个参考层图片用作层间参考图片，其中所述直接相依性旗标指示与所述参考层相关联的图片是否为所述增强层的参考图片。

30.根据权利要求22所述的方法，其进一步包括通过仅使用具有最接近所述当前图片的层ID的层ID的所述参考层图片，来限制将至多一个参考层图片用作层间参考图片。

31.一种用于译码视频信息的设备，所述设备包括：

用于提供至多一个经重新取样的参考层图片可用作层间参考图片的限制的装置；

用于确定所述至多一个经重新取样的参考层图片将用作所述层间参考图片的装置；以及

用于使用层间预测和所述层间参考图片来预测当前图片的装置。

32.根据权利要求31所述的设备，其中所述经重新取样的图片为已经上取样的图片，使得所述经上取样的图片和所述当前图片的空间分辨率相同。

33.根据权利要求31所述的设备，其中所述至多一个经重新取样的参考图片存在于与所述当前图片相关联的所有切片的参考图片列表中。

34.一种包括特定指令的非暂时性计算机可读媒体，所述指令在包括计算硬件的处理器上执行时，致使所述处理器：

提供至多一个经重新取样的参考层图片可用作层间参考图片的限制；

确定所述至多一个经重新取样的参考层图片将用作所述层间参考图片；以及

使用层间预测和所述层间参考图片来预测当前图片。

35.根据权利要求34所述的非暂时性计算机可读媒体，其中所述经重新取样的图片为已经上取样的图片，使得所述经上取样的图片和所述当前图片的空间分辨率相同。

36.根据权利要求34所述的非暂时性计算机可读媒体，其中所述至多一个经重新取样的参考图片存在于与所述当前图片相关联的所有切片的参考图片列表中。