CN101558650A - 使用针对空间和位深预测的自适应预测顺序来编码和/或解码视频数据的方法及设备 - Google Patents

Abstract

一种可缩放视频比特流可以具有H.264/AVC兼容的基本层(BL)以及可缩放增强层(EL)，其中可缩放性涉及颜色位深。H.264/AVC可缩放性扩展SVC还提供其他类型的可缩放性，例如，空间可缩放性，其中BL和EL中像素的数目是不同的。根据本发明，以自适应顺序通过两个逻辑步骤对BL信息进行上采样(TUp，BDUp)，一个步骤是纹理上采样，另一个步骤是位深上采样。纹理上采样是增大像素数目的过程，位深上采样是增大每个像素可以具有的值的数目的过程，每个像素可以具有的值的数目与像素颜色强度相对应。上采样后的BL数据用于预测并置的EL。传递预测顺序指示，使得解码器能够采用与编码器相同的方式对BL信息进行上采样，其中所述上采样涉及空间和位深特性。

Description

使用针对空间和位深预测的自适应预测顺序来编码和/或解码视频数据的方法及设备

技术领域

本发明涉及数字视频编码技术领域。本发明提供了一种针对新型可缩放性，位深可缩放性(bit depth scalability)，的编码方案。

背景技术

近年来，在许多领域中，例如与科学成像、数字影院、高质量视频性能的计算机游戏、以及专业演播室和家庭剧院有关的应用中，越来越多地需要更高的颜色深度而不是传统的八位颜色深度。相应地，现有技术的视频编码标准H.264/AVC已包含了保真度范围扩展(FRExT)，其支持高达每采样14比特以及高达4∶4∶4的色度采样。当前的SVC参考软件JSVM不支持高位深。

然而，已有的高级编码方案都不支持位深可缩放性。对于采用两个不同解码器的情况或对位深有不同要求(例如，对于相同的原始视频分别需要8位和12位)的客户端来说，已有的H.264/AVC方案将对12位原始视频进行编码以产生第一比特流，然后将所述12位原始视频转换成8位原始视频，并对8位原始视频进行编码以产生第二比特流。如果要将视频传送至需要不同位深的不同客户端，则必须将该视频传送两次，例如，将两个比特流一并放入一个盘中。这在压缩比和操作复杂度方面效率较低。

欧洲专利申请EP06291041公开了一种可缩放方案，将整个12位原始视频编码一次，以产生一个比特流，该比特流包含H.264/AVC兼容的基本层(BL)以及可缩放的增强层(EL)。与存在附加的第二比特流相比，整个可缩放比特流相比于上述第一比特流的开销是很小的。如果H.264/AVC解码器在接收端可用，则仅对BL子比特流进行解码，并且可以在传统的8位显示设备上观看解码后的8位视频；如果位深可缩放解码器在接收端可用，则可以对BL和EL两个子比特流进行解码，以得到12位视频，并且可以在支持大于8位颜色深度的高质量显示设备上观看得到的12位视频。

发明内容

H.264/AVC可缩放性扩展SVC还提供了其他类型的可缩放性，例如，空间可缩放性。在空间可缩放性中，BL和EL中的像素数目不同。因此，出现了如何将位深可缩放性与其他可缩放性类型(特别是空间可缩放性)相组合的问题。本发明提供了一种针对这种问题的解决方案。

权利要求1公开了一种编码方法，允许对位深可缩放性与其他可缩放性类型进行动态自适应组合。权利要求6公开了相应的解码方法。

在权利要求9中公开了一种使用该编码方法的设备，在权利要求10中公开了使用该解码方法的设备。

根据本发明一方面，以两个逻辑步骤来对BL信息进行上采样：一个步骤是纹理上采样，另一个步骤是位深上采样。纹理上采样是增加像素数目的过程，位深上采样是增加每个像素可以具有的值的数目的过程。原理上，该值与像素的颜色强度(intensity)相对应。上采样的BL单元用于预测并置(collocated)的EL单元。

根据本发明一方面，预测顺序是可变的：或者在空间上采样之前执行位深上采样，或者在位深上采样之前执行空间上采样。这是两种模式，依据相对于EL编码结果根据(预期)效率，编码器可以在这两种模式之间进行选择。根据本发明的一方面，编码器将指示所选预测顺序的信息(例如，预测顺序标志)包括在数据流中。根据一方面，解码器检测该信息，并响应于该信息来动态地设置其预测顺序。解码器应当执行与编码器相同的预测，以最优地使用其接收到的残差。

在本发明的一个实施例中，编码器实际上以两种可能方式来执行对BL信息的上采样，从而产生两个不同的预测数据集合，然后编码器预测并置的EL信息(例如宏块)并产生两个EL残差。然后，编码器将这两个残差相比较，并决定产生较小残差(从数据量方面来讲)所采用的预测方法。

在一个实施例中，如上所述，编码器对预期编码结果进行估计(从如上所述的EL图像/残差的数据量、EL的压缩效率等方面)，并响应于预期结果，切换至优选的编码模式。

在一个实施例中，编码器根据预定义的规则，对BL和/或EL图像进行分析，例如，颜色直方图中的颜色分布、纹理分析等等，将分析结果与一个或更多个阈值相比较，并根据比较结果来决定选择两个预测顺序类型当中的哪个。分析结果可以是指示心理视觉(psycho-visual)图像特征的值，例如，所分析的宏块(MB)或其他图像单元内的纹理和/或颜色同质性。纹理上采样增加了像素数目，而位深上采样增加了每个像素可以具有的值的数目。如果例如纹理非常平滑并存在颜色细节，则首先执行位深上采样可能会有利。另一方面，如果纹理非常不均匀并且人眼很难察觉颜色细节，则首先执行纹理上采样可能会有利。

在一个实施例中，编码器根据预测数据，从EL视频数据中产生残差。可以进一步编码(通常是熵编码)并传输该残差。待上采样的BL信息可以是任何粒度(granularity)的，例如，以单个像素、像素块、宏块(MB)或整个图像为单位。此外，可以在单个步骤中以相应的顺序来执行这两个逻辑上采样步骤。在编码器侧对BL信息进行上采样，由于在解码器侧采用相同的方式来传输和评估预测顺序标志，其中上采样涉及空间和位深特性。

此外，可以针对帧内编码(intra coded)的图像以及针对帧间编码(inter coded)的图像来执行组合的自适应空间和位深上采样。

具体地，提供了一种对具有基本层和增强层的视频数据进行编码的方法，其中与增强层的像素相比，基本层的像素具有更小的位深和更低的空间分辨率，该方法包括步骤：对基本层信息进行上采样，其中所述上采样涉及空间分辨率和位深，所述位深是每个像素的可能值范围，以及，得到的增强层信息的预测版本具有比基本层更高的位深和更高的空间分辨率；产生增强层残差，所述增强层残差是是增强层信息与所述增强层信息的预测版本之差；以及对基本层信息、增强层残差、以及指示了空间上采样是在位深上采样之前还是之后执行的指示进行编码。

根据本发明一方面，一种对具有基本层和增强层的视频数据进行解码的方法，该方法包括步骤：接收增强层信息、基本层信息、以及预测顺序指示；对接收到的基本层信息和增强层信息执行逆量化和逆变换；根据所述预测顺序指示，确定预测顺序，所述预测顺序指示应该在空间上采样之前还是之后执行位深上采样；对逆量化和逆变换后的基本层信息进行上采样，其中，按照确定的预测顺序，增大像素的数目以及每像素的值深度，以及，得到预测的增强层信息；以及根据预测的增强层信息、以及逆量化和逆变换后的增强层信息，对重建增强层视频信息进行重建。

根据本发明的一个实施例，编码方法包括步骤：对BL信息进行帧内编码；重建帧内编码的BL信息；对重建的BL信息进行空间上采样和颜色位深上采样；以及产生EL残差，所述EL残差是当前EL信息(即，图像数据)与空间和颜色位深上采样后的BL信息(即，图像数据)之差。

根据本发明的一个实施例，编码方法包括步骤：产生BL残差，所述BL残差是当前BL图像数据与预测的BL图像数据之差(通常针对帧间编码的BL)，其中所述预测的BL图像数据可以根据当前或先前的BL图像的数据来预测；对所述BL残差进行编码(即，变换和量化)；重建编码后的BL残差(逆变换和逆量化)；按照先前确定的顺序，对重建的BL残差执行残差(空间)上采样以及颜色位深上采样；以及产生EL层间(inter-layer)残差，所述EL层间残差是当前EL残差数据与所述空间和颜色位深上采样后的重建的BL残差之差。

有利地，上述最后提到的两种编码器实施例可以组合成组合编码器，该组合编码器可以对帧内编码和帧间编码的视频数据进行自适应编码。

在本发明的一个实施例中，解码方法还包括步骤：(隐式地)检测接收到的BL信息是帧内编码的；根据接收到的逆量化和逆变换的BL数据来重建BL视频；对重建的BL视频进行上采样，其中，该上采样包括纹理(空间)上采样和位深上采样，以及得到预测的EL信息；以及根据预测的EL信息以及接收到的逆量化和逆变换的EL信息，对重建EL视频信息进行重建。

在本发明的一个实施例中，解码方法还包括步骤：(隐式地)检测接收到的BL信息是帧间编码的；从接收到的BL数据中提取BL残差；对提取的BL残差执行残差(空间)上采样和位深上采样；从逆量化和逆变换的EL信息中提取EL残差；根据EL残差和上采样的BL残差，对重建EL残差进行重建；以及根据重建EL残差和先前重建的EL信息，对重建EL视频信息进行重建。

有利地，最后提到的两种解码器实施例可以组合成组合解码器，所述组合解码器可以对帧内编码和帧间编码的视频数据进行自适应解码。

根据本发明的另一方面，一种对具有BL和EL的视频数据进行编码的设备，其中与所述EL相比，所述BL具有更低的颜色分辨率和更低的空间分辨率，该设备包括：用于对BL信息进行上采样的装置，其中，所述上采样涉及空间分辨率以及位深，所述位深是每个像素的可能值范围，以及得到的EL信息的预测版本具有比BL更高的位深和更高的空间分辨率；用于产生EL残差的装置，所述EL残差是EL信息与所述EL信息的预测版本之差；以及用于对BL信息、EL残差以及指示进行编码的装置，所述指示指示了首先执行了空间上采样和位深上采样当中的哪个。例如，可以将所述指示编码成分组首部信息。设备还可以包括用于例如以复用的方式发送编码后的BL信息、编码后的EL信息以及所述指示的装置。

在本发明的一个实施例中，用于对视频数据进行编码或解码的设备包括用于执行空间(残差或纹理)上采样的装置以及用于执行颜色位深上采样的装置，其中，用于空间上采样的装置增大输入图像信息内的值的数目，用于颜色位深上采样的装置增大值的颜色范围(在空间上采样之前或之后)，以及得到空间和颜色位深上采样后的BL数据。

根据本发明的另一方面，编码可缩放视频信号包括编码后的BL数据、编码后的EL数据以及预测顺序指示，其中，编码后的EL数据包括残差，所述残差是空间和位深上采样后的BL图像与EL图像之间的残差，所述残差包括差分纹理信息和差分位深信息，所述预测顺序指示指示首先执行了两个上采样步骤当中的哪个来得到所述空间和位深上采样后的BL图像，或换言之，在解码器中必须首先执行两个上采样步骤当中的哪个步骤以重新得到所述EL残差所涉及的、所述空间和位深上采样后的BL图像。

所提供的编码方案的各种实施例与H.264/AVC标准以及目前在H.264/AVC可缩放扩展(SVC)中定义的所有类型的可缩放性均兼容。

在从属权利要求、以下说明书以及附图中公开了本发明的有利实施例。

附图说明

参考附图描述本发明的示例实施例，附图中：

图1示出了颜色位深可缩放编码的框架；

图2示出了在编码器和/或解码器中的自适应预测顺序的结构；

图3示出了针对帧内编码视频的编码器，其中具有以自适应预测顺序从空间可缩放性扩展至颜色位深可缩放性的层间预测；

图4示出了针对帧间编码视频的编码器，其中具有以自适应预测顺序从空间可缩放性扩展至颜色位深可缩放性的层间预测；

图5示出了针对帧间编码视频的解码器，其中具有以自适应预测顺序从空间可缩放性扩展至颜色位深可缩放性的层间预测；

图6示出了针对帧内编码视频的解码器，其中具有以自适应预测顺序从空间可缩放性扩展至颜色位深可缩放性的层间预测。

具体实施方式

如图1所示，两个视频被用作视频编码器的输入：N位原始视频和M位(M＜N，通常M＝8)视频。可以从N位原始视频中分解出M位视频，或通过其他途径来给出M位视频。可缩放方案可以通过使用BL的图像，来减少两层之间的冗余。将这两个视频流(一个具有8位颜色，另一个具有N位颜色(N＞8))输入编码器，输出是可缩放比特流。还可以仅输入一个N位颜色数据流，在内部从所述N位颜色数据流中产生针对BL的M位(M＜N)颜色数据流。使用包括在内的H.264/AVC编码器将M位视频编码，作为BL。可以使用BL的信息来提高EL的编码效率。这里，这称作层间预测(inter-layer prediction)。每个图像(一组MB)具有两个访问单元，一个单元针对BL，另一个单元针对EL。对编码后的比特流进行复用，形成可缩放比特流。BL编码器包括例如H.264/AVC编码器，使用重建来预测将用于EL编码的N位颜色视频。

如图1所示，可缩放比特流示例性地包含符合AVC的BL比特流，可以利用BL解码器(传统的AVC解码器)来对所述符合AVC的BL比特流进行解码。然后，(在评估了相应的指示之后)在解码器侧执行与编码器中相同的预测，以得到预测的N位视频。利用N位预测视频，EL解码器使用N位预测来产生最终的、针对高质量显示HQ的N位视频。

本发明提供了一种针对空间和颜色位深可缩放性的自适应层间预测顺序的技术方案。如果两个(例如相邻的)层具有不同的空间分辨率和位深，则需要两种层间预测，即，空间层间预测和颜色位深层间预测，以更高效地进行编码和解码。应该首先执行哪种层间预测是可变的，并且根据本发明是可以动态地选择的。

这里所使用的术语颜色位深(color bit depth)指的是位深，即，每个值的位数。这通常与颜色强度相对应。

示例性地，当两个相邻层具有不同空间分辨率和不同位深时，可以通过标志，例如，bit_depth_pred_after_spatial_flag)，来决定两种层间预测的顺序。当该标志等于1时，解码器可以确定应该在位深预测之前进行空间层间预测，否则，必须首先执行位深层间预测。在另一实施例中，为编码器和解码器预先定义默认顺序，编码器仅在改变默认顺序时才插入指示标志，而解码器仅在接收到的数据流中检测到这样的指示标志时才改变默认顺序。

在一个实施例中，本发明以SVC空间、时间和质量可缩放性的当前结构为基础，并通过针对增强颜色位深的位深可缩放性得以改进。因此，本实施例与当前SVC标准完全兼容。然而，对于本领域技术人员而言，调整本发明以适应于其他标准是很容易的。位深可缩放性的关键在于位深层间预测。通过使用该层间预测，对N位与M位视频之差进行编码，作为EL。

在下文中，描述了基于SVC标准的示例实施例。

引入了新的语法元素bit_depth_pred_after_spatial_flag，以支持对两种层间预测的顺序的改变。可以如表1第12-14行所示一样，将该新的语法元素添加到次序参数集合(SPS)SVC扩展(seq_parameter_set_svc_extension())中，或可以如表2中第39-41行一样，将该新的语法元素添加到可缩放扩展中的片首部中(slice_header_in_scalable_extension())。

表1：添加到SPS SVC扩展的新的语法元素

seq_parameter_set_svc_extension(){	C	Descr	#
				extended_spatial_scalability	0	u(2)	1
if(chroma_format_idc＞0){			2
				chroma_phase_x_plus1	0	u(2)	3
chroma_phase_y_plus1	0	u(2)	4
				}			5
if(extended_spatial_scalability＝＝1){			6
				scaled_base_left_offset	0	se(v)	7
scaled_base_top_offset	0	se(v)	8
				scaled_base_right_offset	0	se(v)	9
scaled_base_bottom_offset	0	se(v)	10
				}			11
if(isBitDepthInterLayerPred()){			12
				bit_depth_pred_after_spatial_flag	0	u(1)	13
}			14
				fgs_coding_mode	2	u(1)	15
if(fgs_coding_mode＝＝0){			16
				groupingSizeMinus1	2	ue(v)	17
}else{			18
				numPosVector＝0			19

do  {			20
				if(numPos Vector＝＝0){			21
scanIndex0	2	ue(v)	22
				}			23
else{			24

表1：添加到SPS SVC扩展的新的语法元素(续)

deltaScanIndexMinus1[numPosVector]	2	ue(v)	25
				}			26
numPosVector++			27
				}while(scanPosVectLuma[numPosVector-1]＜15)			28
}			29
				}			30

表2：添加到可缩放扩展的片首部中的新的语法元素

slice_header_in_scalable_extension(){	C	Descr	#
				first_mb_in_slice	2	ue(v)	1
slice_type	2	ue(v)	2
				pic_parameter_set_id	2	ue(v)	3
frame_num	2	u(v)	4
				if(！frame_mbs_only_fag){			5
field_pic_flag	2	u(1)	6
				if(field_pic_flag)			7
bottom_field_flag	2	u(1)	8
				}			9
if(nal_unit_type＝＝21)			10
				idr_pic_id	2	ue(v)	11
if(pic_order_cnt_type＝＝0){			12

pic_order_cnt_lsb	2	u(v)	13
				if(pic_order_present_flag&&！field_pic_flag)			14
delta_pic_order_cnt_bottom	2	se(v)	15
				}			16
if(pic_order_cnt_type＝＝1&&！delta_pic_order_always_zero_flag){			17
				delta_pic_order_cnt[0]	2	se(v)	18
if(pic_order_present_flag&&！field_pic_flag)			19
				delta_pic_order_cnt[1]	2	se(v)	20
}			21
				if(redundant_pic_cnt_present_flag)			22
redundant_pic_cnt	2	ue(v)	23

表2：添加到可缩放扩展的片首部中的新的语法元素(续)

if(slice_type＝＝EB)			24
				direct_spatial_mv_pred_flag	2	u(1)	25
if(slice_type！＝PR){			26
				if(slice_type＝＝EP||slice_type＝＝EB){			27
num_ref_idx_active_override_flag	2	u(1)	28
				if(num_ref_idx_active_override_flag){			29
num_ref_idx_l0_active_minus1	2	ue(v)	30
				if(slice_type＝＝EB)			31
num_ref_idx_l1_active_minus1	2	ue(v)	32
				}			33
}			34

ref_pic_list_reordering()	2		35
				if(！layer_base_flag){			36
base_id	2	ue(v)	37
				adaptive_prediction_flag	2	u(1)	38
if(isBitDepthInterLayerPred()){			39
				bit_depth_pred_after_spatial_flag	0	u(1)	40
}			41
				}			42
...			43

示例性地，bit_depth_pred_after_spatial_flag等于1指定了应该在空间层间预测之后执行位深层间预测，其值等于0指定了应该在空间层间预测之前执行位深层间预测。在该示例中，优选地应该在空间层间预测之后执行位深层间预测，使得默认值是1。

isBitDepthInterLayerPred()是用于返回是否需要位深层间预测的标志。

为了便于陈述，以下将使用以下表示：

BL_org：基本层原始MB

BL_res：基本层残差MB

BL_rec：基本层重建MB

EL_org：增强层原始MB

EL_rec：增强层重建MB

EL’_res：增强层残差MB

Pre_c{}：颜色位深层间预测运算符

Pre_t{}：纹理(空间)层间预测运算符

Pre_r{}：残差(空间)层间预测运算符

图2示出了自适应预测顺序的总体构思：对于编码器，根据BL的上采样(upsampled)版本来预测EL。上采样包括空间上采样TUp和位深上采样BDUp，其中上采样顺序是可变的。首先执行空间上采样步骤或位深上采样步骤，对所选的在先上采样步骤的输出执行相应的另一步骤。为此，由编码器产生标志bit_depth_after_spatial_flag，发送该标志，然后由解码器进行评估。因此，编码器和解码器两者可以按照相同的顺序来执行这两个上采样步骤，并得到相同的预测数据。因此，解码器可以将EL残差应用在编码器为产生该残差而使用的相同预测上，，从而提高了重建EL图像的质量。

示例性地，MB级位深可缩放编码方案基于当前SVC空间可缩放性。以下针对帧内编码和帧间编码两者，详细描述了从空间可缩放性到位深可缩放性的扩展。第一步骤，即SVC兼容的位深可缩放编码，用于在EL编码和解码中，如同H.264/AVC FRExt扩展一样支持高位编码(目前是每采样10-14位)。

帧内编码

图3示出了针对空间可缩放性的帧内纹理层间预测(intra textureinter-layer prediction)(如在当前SVC标准下使用的)到位深可缩放性的扩展的编码器。在图3中，将M位基本层MB输入至BL编码器，将N位增强层MB输入至EL编码器(N＞M)。位深上采样块BDUp表示到位深可缩放性的扩展，而其他块表示当前SVC标准中的空间可缩放性。

存在用于上采样的两个块，BL信息依次通过这两个块。该次序由预测顺序标志pred_order_flag给出，在图3的原理模型中，所述预测顺序标志pred_order_flag控制两个同步的切换。因此，可以首先对BL信息进行空间上采样TUp，然后对其进行位深上采样，或可以反之进行，这取决于预测顺序标志。在编码器中，该标志例如是预测顺序确定单元的输出，而在解码器中，该标志是从比特流中提取的。因此，在两个上采样块之间传递的信号Pre₁{BL_rec}是将经历位深上采样的空间上采样BL数据，或者是将经历空间上采样的位深上采样BL数据。相应地，最终预测数据Pre₂{Pre₁{BL_rec}}，例如N位EL宏块的预测版本，是先位深上采样后空间上采样的BL数据，或者是先空间上采样后位深上采样的BL数据。这两种预测有略微差别，取决于图像内容。因此，这两种预测之一将更好地匹配实际EL图像，并且由于该预测产生较小的EL残差而将该预测选择(图3中未示出)用于进行预测。在图3中，如在当前SVC中一样，至第一上采样块的输入是重建BL宏块BL_rec而不是BL残差。已发现这对于与位深上采样一起使用是有利的。

在一个实施例中，编码器具有用于确定两种预测顺序类型当中的哪一个产生更好的匹配预测的装置、以及用于选择这种预测顺序类型的装置。

由差产生器D_EL得到原始N位EL宏块EL_org与其预测版本Pre₂{Pre₁{BL_rec}}之间的残差EL’_res。如在SVC中一样，在该示例中对残差进一步进行变换T、量化Q以及熵编码EC_EL，以形成EL子比特流。在数学表达式中，颜色位深内上采样的残差是

EL′_res＝EL_org-Pre_c{Pre_t{BL_rec}}                    (等式1)

其中，Pre₁{}和Pre₂{}表示纹理上采样运算符以及位深上采样运算符。

编码过程的其他变体是可能的并且可以受其他控制参数的控制。图3示出了示例性标志base_mode_flag，该标志决定EL残差是根据重建EL信息还是根据上采样的BL信息来预测的。同样，在编码器中，可以由编码模式选择单元，根据例如速率失真最优化(RDO)，来产生该标志。

帧间编码

针对帧间编码的位深可缩放性的实现与针对帧内编码的不同。在当前SVC标准中，运动上采样和残差上采样是针对空间帧间纹理(spatial inter texture)层间预测而设计的。然而，除了空间采样基于残差而非纹理之外，自适应预测顺序使用与针对帧内编码的原理相同的原理。

图4示出了针对帧间编码(P和B)MB的残差层间预测的扩展的编码器。通过位深上采样BDUp和(空间)残差上采样Rup步骤来实现EL信息的预测。至第一上采样块的输入是重建BL残差BL_{res，rec，k}，BL_{res，rec，k}是待发送的BL残差BL_res，k的重建版本(如以下等式(3)所表示)。实际上，通常首先执行运动上采样MUp，然后以优化的顺序来执行作为一种空间层间预测的残差上采样RUp以及作为位深层间预测的位深上采样。通过运动上采样MUp、残差上采样RUp以及颜色位深上采样BDUp，得到N位EL宏块的预测版本Pre₂{Pre₁{BL_{res，rec，k}}}。如在SVC中一样，进一步对得到的EL残差EL’_res，k(如以下(方程3)所定义的)进行变换T、量化Q以及熵编码，以形成EL子比特流。

编码过程的其他变体是可能的并且可以受其他控制参数的控制。图4所示的、在预测顺序标志pred_order_flag上方的标志是base_mode_flag和residual_pred_flag，base_mode_flag控制是根据从EL得到的运动向量还是根据从BL上采样的运动向量来进行EL运动补偿，residual_pred_flag控制是否使用BL残差来预测EL残差。如图4所示，base_mode_flag还用于控制帧内纹理层间预测。

图6示出了针对帧内编码的BL图像的示例解码器，该解码器使用自适应层间预测。在接收例如复用分组比特流中已编码的BL数据、EL数据以及预测顺序信息，并将BL数据与EL数据分离之后，对BL数据以及EL数据进行熵解码。然后应用逆量化Q^-1和逆变换T^-1。对于BL，处理与针对传统SVC的相同：使用空间帧内预测来重建图像，即，根据相同图像的先前重建的信息来重建该图像。如上所述，在解块之后，可以以8位颜色深度在标准SVC显示器上显示得到的BL信号BL_rec。然而，备选地，还可以使用该信号来产生并置的EL图像的预测版本。为此，产生纹理和位深上采样后的重建BL图像Pre₂{Pre₁{BL_rec}}，其中根据接收到的预测顺序信息pred_order_flag，来自适应地设置预测顺序。该信息可以是针对例如片、GOP(图像组)或单幅图像等有效的。

在一种模式下，首先对重建的BL进行纹理上采样TUp，其中得到EL图像的纹理预测版本Pre_t{BL_rec}＝Pre₁{BL_rec}。然后是位深上采样BDUp，得到先纹理上采样后位深上采样的BL图像Pre_c{Pre_t{BL_rec}}＝Pre₂{Pre₁{BL_rec}}。

在另一模式下，首先对重建的BL进行位深上采样BDUp，其中得到EL图像的位深预测版本Pre_c{BL_rec}＝Pre₁{BL_rec}，然后对其进行纹理上采样，得到先位深上采样后纹理上采样的BL图像Pre_t{Pre_c{BL_rec}}＝Pre₂{Pre₁{BL_rec}}。

然后，使用纹理和位深上采样后的重建BL图像Pre₂{Pre₁{BL_rec}}来更新A_2，EL改进的、经过逆量化和逆变换的EL残差EL’_res，从而得到在解块之后可以作为针对HQ显示器的EL视频EL_rec而输出的信号。

在所述示例中，因为EL预测需要BL视频BL_rec，所以在EL模式下操作的解码器还内部地产生BL视频BL_rec，但是，在该解码器输出处不一定需要该BL视频是可用的。在一个实施例中，解码器有两个输出，一个针对BL视频BL_rec，另一个针对EL视频EL_res，而在另一实施例中，解码器仅具有针对EL视频EL_res的输出。

如以上针对图3的帧内编码器所描述的，解码器也可以工作在与该编码器相对应的其他模式下。因此，可以从比特流中提取其他相应的标志并对提取的标志进行评估，其他标志例如是指示base_mode_flag，其决定是否使用层间预测。如果否(base_mode_flag＝0)，则使用对空间预测的图像的解块、空间预测以及更新A_1，EL来按照传统方式重建EL图像。

图5示出了针对帧间编码单元(例如帧间编码MB)的示例性解码器。从可能已经熵编码并且相应地解码后的BL比特流中，检测并提取预测顺序信息，在一个实施例中还检测并提取运动数据。如果需要，还可以针对EL来对运动数据进行上采样。这可以由包含于BL或EL比特流中的指示来指示。对BL比特流数据进行逆量化Q^-1和逆变换T^-1，从而得到重建的BL残差BL_res，k。如果需要BL视频信号BL_dec，则进一步的BL处理包括传统SVC解码，该传统SVC解码包括解块、存储在帧存储器中、运动补偿、以及利用残差BL_res，k来更新运动补偿后的预测图像。如果仅需要EL视频信号，则可以省略这些步骤。

残差BL_res，k用于预测EL数据：根据接收到的预测顺序信息pred_order_flag，通过残差上采样RUp和位深上采样，对残差BL_res，k进行上采样，以产生预测信号Pre₂{Pre₁{BL_res，k}}。残差上采样是一种空间上采样，即，提高了值的数目，位深上采样BDUp意味着增大了位深并因此增大了每个值的可能范围。如果已使用残差层间预测对并置的EL单元进行了编码，如标志residual_pred_flag所示，则使用预测残差Pre₂{Pre₁{BL_rec}}来更新A’₁接收到的、经过逆量化和逆变换的EL残差EL’_res，k，从而得到实际的EL残差EL_res，k。接收到的、经过逆量化和逆变换的EL残差EL’_res，k在原理上等同于传统空间EL残差R_org与残差R_rec，k-1(αΔx，αΔy)之差，所述残差R_rec，k-1(αΔx，αΔy)是在编码器中根据在前单元k-1重建的并且随后经过上采样的。

其他的EL处理在原理上类似于SVC中的处理(然而使用增强的位深)：使用重建的残差EL_res，k，通过对重建图像EL_rec，k-1的解块Deblk_EL、存储在帧存储器FM中、以及运动补偿MC这些步骤，来更新预测的EL图像S_EL_rec，k-1＝EL_rec，k-1(αΔx，αΔy)。如果接收到的增强层数据EL_enc包含运动信息EL_MI，则提取所述运动信息EL_MI并可以将所述运动信息EL_MI提供给运动补偿单元MC。备选地，可以使用来自BL的、上采样的MUp运动信息。

显然，根据本发明的改进的EL残差与SVC空间可缩放性中所定义的残差有所不同。然而，如以下针对在位深上采样之前执行空间上采样的情况而示出的，本发明的编码在原理上等同于对原始EL宏块EL_org，k与纹理(空间)和位深上采样后的BL宏块Pre₂{Pre₁{BL_org，k}}之差进行帧间编码。对于另一情况而言，该过程也是等同的。

假定残差上采样运算符Pre_r{}和颜色位深层间预测运算符Pre_c{}都具有可加性和稳定性的属性。实际上，在当前SVC空间可缩放性中采用的残差上采样运算具有可加性和稳定性¹。在下文中，证明了对重新定义的EL残差EL’_res，k的编码等同于对原始EL MB与重建的EL宏块(并置的BL宏块经过运动上采样、残差上采样、以及随后的颜色位深上采样之后的版本)之差进行帧间编码。EL宏块与并置的BL宏块经过残差上采样以及随后的位深上采样之后的版本之差定义如下：

R_k＝EL_k-Pre_c{Pre_r{BL_k}}                        (等式2)

其中，k表示当前帧的POC(图像顺序计数，picture order count)。

在不失一般性的前提下，假定满足以下两种情况：首先，当前MB

                          

¹在连续函数的情况下，“稳定性”等同于可微商性；在离散函数的情况下，“稳定性”是指：在独立变量的任何可用值下，离散函数的变化的绝对值都不比独立变量的变化的绝对值与常量的乘积大。

仅具有一个参考MB，其中当前MB帧的POC等于k，参考MB帧的POC等于(k-1)；其次，仅存在两个空间层。基于这两个假定，对等式(2)的证明如下。

EL′_res，k

＝EL_org，k-EL_rec，k-1(αΔx，αΔy)-Pre_c{Pre_r{BL_res，k}}                (等式3)

＝EL_org，k-EL_rec，k-1(αΔx，αΔy)-Pre_c{Pre_r{BL_org，k-BL_rec，k-1(Δx，Δy)}}

其中(Δx，Δy)表示当前第k个BL宏块的运动向量，α表示EL的空间分辨率缩放因子，BL_rec，k-1(Δx，Δy)表示重建的第(k-1)个BL宏块的运动补偿版本，EL_rec，k-1(αΔx，αΔy)表示重建的第(k-1)个EL宏块的运动(上采样后的运动)补偿版本。根据Pre_r{}和Pre_c{}都具有可加性属性的假设，等式(3)等同于：

EL′_res，k

＝EL_org，k-EL_rec，k-1(αΔx，αΔy)-Pre_c{Pre_r{BL_org，k}}+Pre_c{Pre_r{BL_rec，k-1(Δx，Δy)}}

＝(EL_org，k-Pre_c{Pre_r{BL_org，k}})-(EL_rec，k-1(αΔx，αΔy)-Pre_c{Pre_r{BL_rec，k-1(Δx，Δy)}})

(等式4)

根据Pre_r{}和Pre_c{}都具有稳定性属性的假设，将等式(2)代入等式(4)：

${\mathrm{EL}}_{\mathrm{res},k}^{\′}\≅R_{\mathrm{org},k}-R_{\mathrm{rec},k-1}(\mathrm{\α\Δx},\mathrm{\α\Δy})$ (等式5)

等式(5)示出了，重新定义的EL残差EL’_res，k等同于层间残差R_org，k与层间残差R_rec，k-1之差，所述层间残差R_org，k是原始BL宏块BL_org，k与原始EL宏块EL_org，k的层间残差R_org，k，所述层间参差R_rec，k-1是经过运动补偿的重建参考BL宏块BL_rec，k-1与经过运动(上采样后的运动)补偿的重建参考EL宏块EL_rec，k-1的层间残差R_rec，k-1。换言之，层间残差是帧间编码的。然而，因为图5所示的编码更为简单，所以图5所示的编码是有利的。

特别对于帧间编码来说，一个优点是，因为最终编码的EL残差是“残差的残差”，从而等同于如等式(3)定义的对层间残差的帧间编码，所以得到了高编码效率。实际上，在帧间编码中最终编码的EL残差等同于：原始EL宏块减去运动(上采样后的运动)补偿后的重建参考EL宏块，然后减去并置的BL重建残差经过运动补偿、残差上采样以及随后的位深上采样之后的版本。

另一优点是，对于帧间编码的情况来说，不需要重建BL宏块，从而，可以跳过BL重建，这使得解码器更为简单。

有利地，可以按照自适应顺序，通过所提供的帧内颜色位深层间预测和帧内纹理层间预测，来实现颜色位深可缩放性的帧内编码。所述实施例与现有SVC预测模式兼容。

因此，本发明可以用于可缩放编码器、可缩放解码器、以及可缩放信号，特别是视频信号或具有不同质量层和高层间冗余的其他类型信号。

将理解，仅以示例的方式描述了本发明，在不脱离本发明的范围的前提下可以对本发明进行细节上的修改。可以独立地或以任何适当组合的形式来提供说明书以及(适当地)权利要求中所公开的每个特征。可以以硬件、软件、或两者的组合的形式来(适当地)实现这些特征。出现在权利要求中的附图标记仅用作说明目的，不应对权利要求的范围造成限制影响。

Claims (11)

1、一种对具有基本层和增强层的视频数据进行编码的方法，其中与所述增强层相比，所述基本层具有更低的颜色分辨率和更低的空间分辨率，该方法包括步骤：

-对基本层信息(BL_rec)进行上采样(TUp，BDUp)，其中，所述上采样涉及空间分辨率以及位深，所述位深是每个像素的可能值范围，以及，其中得到位深和空间分辨率均比基本层高的增强层信息预测版本(Pre₂{Pre₁{BL_rec}})；

-产生增强层残差(EL’_res)，所述增强层残差(EL’_res)是增强层信息(EL_org)与所述增强层信息预测版本之差；以及

-对基本层信息、增强层残差、以及指示了在位深上采样之前还是之后执行空间上采样的指示(bit_depth_pred_after_spatial_flag)进行编码(T，Q，EC_BL，EC_EL)。

2、根据权利要求1所述的方法，其中，

-所述上采样的步骤包括：使用空间和位深预测的不同预测顺序，以不同的方式进行上采样，其中得到增强层信息第一预测版本和增强层信息第二预测版本；以及

-所述产生的步骤包括：根据增强层信息第一预测版本和增强层信息第二预测版本，产生两个不同的增强层残差；

所述方法还包括步骤：

-将所述两个不同的增强层残差进行比较，其中确定较小的残差；

-确定按照哪种预测顺序得到了所确定的较小残差；以及

-对较小的增强层残差进行编码。

3、根据权利要求1所述的方法，还包括步骤：

-根据预定义的规则，对基本层信息和/或增强层信息进行分析，其中得到指示纹理和/或颜色同质性的值；

-根据所述指示纹理和/或颜色同质性的值，确定按照哪种预测顺序得到了所确定的较小残差；以及

-根据所确定的预测顺序，对增强层残差进行编码。

4、根据权利要求1-3中任一项所述的方法，其中，所述上采样的步骤包括：对于帧内编码的基本层信息，对重建的基本层图像数据(BL_rec)进行纹理上采样(TUp)。

5、根据权利要求1-4中任一项所述的方法，其中，所述上采样的步骤包括：对于帧间编码的基本层信息，对重建的基本层残差数据(BL_{res，rec，k})进行上采样。

6、一种对具有基本层和增强层的视频数据进行解码的方法，该方法包括步骤：

-接收增强层信息(EL_enc)、基本层信息(BL_enc)、以及指示(bit_depth_pred_after_spatial_flag)；

-对接收到的基本层信息和增强层信息执行逆量化(Q^-1)以及逆变换(T^-1)；

-根据所述指示(bit_depth_pred_after_spatial_flag)来确定预测顺序，所述预测顺序指示了应该在空间上采样之前还是之后执行位深上采样；

-对逆量化和逆变换后的基本层信息进行上采样(BDUp，TUp)，其中，按照所确定的预测顺序，增大像素的数目以及每像素的值深度，以及，其中得到预测的增强层信息(Pre₂{Pre₁{BL_rec}})；以及

-根据预测的增强层信息(Pre₂{Pre₁{BL_rec}})、以及逆量化和逆变换后的增强层信息，对重建的增强层视频信息(EL_rec)进行重建。

7、根据权利要求6所述的方法，其中，所述逆量化和逆变换后的增强层信息包括残差信息(EL’_res)，

所述方法还包括步骤：根据逆量化和逆变换后的基本层信息来重建基本层视频(BL_rec)，以及将所述残差信息(EL’_res)与所述增强层信息预测版本(Pre₂{Pre₁{BL_rec}})相加(A_2，EL)。

8、根据权利要求6所述的方法，其中，所述逆量化和逆变换后的增强层信息包括增强层残差信息(EL’_res，k)，所述逆量化和逆变换后的基本层信息包括基本层残差信息(BL_res，k)，对逆量化和逆变换后的基本层信息进行上采样的步骤包括：对所述基本层残差信息(BL_res，k)进行上采样(RUp，BDUp)，

所述方法还包括步骤：将所述增强层残差信息(EL’_res，k)与上采样的基本层残差信息(Pre₂{Pre₁{BL_res，k}})相加(A’_1，EL)，其中得到重建的增强层残差(EL_res，k)。

9、一种对具有基本层和增强层的视频数据进行编码的设备，其中与所述增强层相比，所述基本层具有更低的颜色分辨率和更低的空间分辨率，该设备包括：

-用于对基本层信息(BL_rec)进行上采样(TUp，BDUp)的装置，其中，所述上采样涉及空间分辨率以及位深，所述位深是每个像素的可能值范围，以及，其中得到位深和空间分辨率均比基本层高的增强层信息预测版本(Pre₂{Pre₁{BL_rec}})；

-用于产生增强层残差(EL’_res)的装置(D_EL)，所述增强层残差(EL’_res)是增强层信息(EL_org)与所述增强层信息预测版本之差；以及

-用于对基本层信息、增强层残差以及指示(bit_depth_pred_after_spatial_flag)进行编码的装置(T，Q，EC_BL，EC_EL)，所述指示(bit_depth_pred_after_spatial_flag)指示了在位深上采样之前还是之后执行空间上采样。

10、一种对具有基本层和增强层的视频数据进行解码的设备，包括：

-用于接收增强层信息(EL_enc)、基本层信息(BL_enc)以及指示(bit_depth_pred_after_spatial_flag)的装置；

-用于对接收到的基本层信息和增强层信息执行逆量化(Q^-1)和逆变换(T^-1)的装置；

-用于根据所述指示(bit_depth_pred_after_spatial_flag)来确定预测顺序的装置，所述预测顺序指示应该在空间上采样之前还是之后执行位深上采样；

-用于对逆量化和逆变换后的基本层进行上采样的装置(BDUp，TUp)，其中，按照所确定的预测顺序，增大像素的数目和每像素的值深，以及，其中得到预测的增强层信息(Pre₂{Pre₁{BL_rec}})；以及

-用于根据预测的增强层信息(Pre₂{Pre₁{BL_rec}})以及逆量化和逆变换后的增强层信息对重建的增强层视频信息(EL_rec)进行重建的装置(A_2EL，Deblk₂)。

11、一种编码的可缩放视频信号，包括：编码的基本层数据、编码的增强层数据、以及预测顺序指示，其中，所述编码的增强层数据包括残差，所述残差是空间和位深上采样后的基本层图像与增强层图像之差，所述残差包括差分纹理信息和差分位深信息，以及所述预测顺序指示指示了在解码器中必须首先执行两个上采样步骤当中的哪个步骤，以重新得到增强层残差所涉及的、所述空间和位深上采样后的基本层图像。

Images