CN100344163C

CN100344163C - 视频编解码处理方法

Info

Publication number: CN100344163C
Application number: CNB2004100596872A
Authority: CN
Inventors: 熊联欢
Original assignee: Huawei Technologies Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2004-06-16
Filing date: 2004-06-16
Publication date: 2007-10-17
Anticipated expiration: 2024-06-16
Also published as: HK1086696A1; WO2005125212A1; CN1710959A

Abstract

本发明提出了一种视频编解码处理方法，包括分别对每个宏块组中包含的每个宏块进行变换子块划分处理；分别对每个宏块组变换处理后的所有子块进行分类处理；发送方对每个宏块组头信息、宏块头信息和每类子块组的变换系数分别进行编码处理后发送；接收方分别对正确接收的码流进行解码处理，以恢复出相应子块的图像信息；对于每个产生了误码的子块，接收方则根据相应相邻子块的图像信息进行插入逼近图像信息处理。本发明能够更为准确的对由于传输信道质量而引起的误码码流进行抗误码处理，减小视频图像在视觉上的失真，提高视频通信的效果。

Description

视频编解码处理方法

技术领域

本发明涉及多媒体通信领域，尤其涉及一种视频编解码处理方法。

背景技术

在多媒体通信系统中，视频图像质量对多媒体通信性能起到了非常关键的作用。但是往往却由于传输信道质量的问题，导致视频图像的编码码流在传输过程中，会出现丢包现象和误码现象，尤其是无线传输信道的误码率和丢包率都是较高的，且带宽变化幅度较大，这样就会使视频图象接收方不能完全正确的接收到视频图象的编码码流，而如果要获得较好的视频通信效果，就需要对接收到的错误码流(包括误码码流和被丢弃码流等)进行抗误码处理，以使从视觉上能够正常观看到解码恢复出来的视频图象。

目前，在运动图像专家组MPEG(Motion picture experts group)标准MPEG-4、低比特率视频通信编码H.263标准和先进视频压缩标准H.264中都相应提出了对视频传输码流进行抗误码处理的方式，如：

重同步(Resynchronization)处理方式；

可逆变长编码(RVLC，Reversible Variable Length Code)处理方式；

数据分割(Data Partition)处理方式；

自适应条带排序(ASO，Adaptive SLICE Ordering)处理方式；

灵活宏块排序(FMO，Flexible Macroblock Ordering)处理方式；及

冗余条带(Redundant SLICEs)处理方式等；

上述视频传输码流的抗误码处理方式都能够在一定程度上对由于传输信道而引起的错误码流进行相应的补偿，以使视频图像接收方能够较好的进行解码恢复视频图像处理，得到较好的视频通信效果。

但是由于在视频图像编解码过程中，使用了视频传输码流的抗误码处理方式，可能会适当降低编解码效率，但是在传输信道质量恶劣的情况下，传输码流的抗误码处理对达到较好的视频通信效果是非常重要的，所以往往愿意适当降低编解码效率以能换取较好的抗误码和抗丢包性能，以达到较好的错误补偿目的，获得较好的视频通信效果。

其中在先进视频压缩标准H.264中，其视频图像压缩标准是基于性能逼近于离散数字余弦变换(DCT，Digital cosine transform)的整数变换方法，且压缩针对的单位对象是视频图像中被划分开的每个16×16象素大小的宏块(MB，Macroblock)。参照图1，该图是现有技术中H.264所采用的压缩处理和解压缩处理过程示意图，其对视频图像进行压缩和解压缩的处理过程如下：

视频图像发送方的图像压缩过程

—对在视频图像中划分出的每个16×16象素大小的宏块进行运动估计和运动补偿处理；

—再对每个宏块中的4×4子块进行DCT变换；

—对DCT变换后的变换系数进行量化；

—再对量化后的结果进行熵编码后，组装成数据包发送至传输信道；

视频图像接收方的图像解压缩过程

—对接收编码码流进行熵解码；

—对解码后的结果进行逆量化处理；

—再对逆量化后的结果进行逆向离散数字余弦变换(IDCT，Inverse digtalcosine transform)；

—对IDCT变换后的结果进行运动补偿后恢复解码后的视频图像。

其中将一个视频图像划分为多个宏块MB的过程包括：先对整个视频图像进行变换宏块划分处理，以得到多个16×16象素的宏块，再将宏块进行分类处理，而将每类宏块所组成的宏块组定义为一个视频片段(SLICE)。其中对每一视频图像进行宏块划分处理得到的每个宏块MB的编码结构如图2所示，对于H.264而言，每个宏块MB内包括16个4×4象素大小的亮度块Y(编码0至编码为15的块区域)，4个4×4象素大小的色度块Cb(编码16至编码为19的块区域)和4个4×4象素大小的色度块Cr(编码20至编码为23的块区域)。

为了得到较好的视频通信效果，H.264标准采用了POLYCOM公司提出的灵活宏块排序(FMO，Flexible Macroblock Ordering)视频编码处理方式。参照图3，该图是现有技术中FMO视频编码处理方式的处理原理示意图；在该图中，假设标识为“0”的宏块MB属于视频片段SLICE0，标识为“1”的宏块MB属于视频片段SLICE1(当然除该图所示的以这两种宏块排序方案来划分不同SLICE的情况外，还可以包括根据任意的宏块顺序来划分不同SLICE的各种情形)。如该图所示，在视频图像发送方首先对标识为“0”的宏块MB进行压缩编码处理，然后封装成码流数据包发送；再对标识为“1”的宏块MB进行压缩编码处理，再封装成码流数据包发送。在视频图像接收方，首先对标识为“0”的码流数据包进行解码处理，再对标识为“1”的码流数据包进行解码处理；而如果由于传输信道质量问题而引起标识为“0”的码流数据包(即视频片段SLICE0)在传输信道上被丢掉，则可以根据已解码恢复的相邻标识为“1”的宏块图象信息在相应的标识为“0”的宏块中插入逼近图象信息，从而达到对错误进行掩盖的目的。

由于FMO视频编码处理技术是以宏块MB为基本处理单位进行编解码处理的，尽管对由于传输信道质量而引起的误码码流具有较好的掩盖效果，但在视频图像恢复过程中，其根据其他相邻宏块MB的恢复图像信息在产生了误码的宏块中插入的逼近图像在视觉角度上还是有较大的失真，从而使视频通信不能达到预想效果。

发明内容

本发明要解决的技术问题是提出一种视频编解码处理方法，以更为准确的对由于传输信道质量而引起的误码码流进行抗误码处理，减小视频图像在视觉上的失真，提高视频通信的效果。

为解决上述问题，本发明提出了一种视频编解码处理方法，包括步骤：

A、分别对每个宏块组中包含的每个宏块进行变换子块划分处理；

B、分别对每个宏块组变换处理后的所有子块进行分类处理；

C、发送方对每个宏块组头信息、宏块头信息和每类子块组的变换系数分别进行编码处理后发送；

D、接收方分别对正确接收的码流进行解码处理，以恢复出相应子块的图像信息；对于每个产生了误码的子块，接收方则根据相应相邻子块的图像信息进行插入逼近图像信息处理。

其中所述步骤B之后还包括步骤：

根据对每个宏块组变换处理后的所有子块进行分类处理的结果，将各类子块组分别归属于独立的宏块组，以将原相应每个宏块组分裂为多个独立的宏块组。

其中所述步骤B之后还包括步骤：

根据对每个宏块组变换处理后的所有子块进行分类处理的结果，将各类子块组分别归属于相应宏块组的子宏块组，以使原相应每个宏块组包含多个子宏块组。

其中在步骤C及D中，所述发送方和接收方还对属于同一类型的相邻子块进行去方块处理。

其中在步骤C及D中，所述发送方和接收方还对属于同一类型的子块中的图像信息进行帧内预测。

其中所述步骤B中分别对每个宏块组变换处理后的所有子块进行分类处理具体为：

将每个宏块组变换处理后的所有子块按照排列模式划分为两种类型的子块组。

其中每个所述子块大小为4×4象素。则每个宏块中两种类型的子块组的排列模式包括：

分别属于不同类型的两个子块呈对角状态分布；

分别属于不同类型的子块呈隔行状态分布；或

呈隔列状态分布。

其中每个所述子块大小为8×8象素。则每个宏块中两种类型的子块组的排列模式包括：

分别属于不同类型的两个子块呈对角状态分布；

分别属于不同类型的子块呈行状态分布；或

呈列状态分布。

本发明能够达到的有益效果如下：

由于本发明视频编解码处理方法不再将宏块MB中的所有子块编码信息归属于同一个宏块组SLICE，而是将MB中的子块分类，使得各类子块编码信息分别属于不同的宏块组SLICE，或者属于同一宏块组SLICE的子宏块组SLICE，这样在视频图像解码恢复过程中，对于产生了误码的子块就可以参照相邻的其他子块的图像信息，插入相应的逼近图像信息，从而实现了插入的逼近信息精确度较高、对错误掩盖效果较好的目的，从而在视觉效果上减小了由于传输信道质量而引起的错误码流所带来的图像失真，提高了视频通信的效果。

附图说明

图1是现有技术中H.264所采用的压缩处理和解压缩处理过程示意图；

图2为现有技术中每个宏块MB的编码结构示意图；

图3是现有技术中FMO视频编码处理方式的处理原理示意图；

图4是本发明视频编解码处理方法的实现过程流程图；

图5是本发明视频编解码处理方法中，将每个MB划分为4×4象素大小的两类子块的第一排列模式图；

图6是本发明视频编解码处理方法中，将每个MB划分为4×4象素大小的两类子块的第二排列模式图；

图7是本发明视频编解码处理方法中，将每个MB划分为4×4象素大小的两类子块的第三排列模式图；

图8是本发明视频编解码处理方法中，将每个MB划分为8×8象素大小的两类子块的第一排列模式图；

图9是本发明视频编解码处理方法中，将每个MB划分为8×8象素大小的两类子块的第二排列模式图；

图10是本发明视频编解码处理方法中，将每个MB划分为8×8象素大小的两类子块的第三排列模式图；

图11是一个宏块行为一个SLICE时，其编码预测的原理示意图；

图12是两个宏块行为一个SLICE时，其编码预测的原理示意图。

具体实施方式

本发明视频编解码处理方法的基本设计思想是：将宏块MB中的子块分类，使得各类子块编码信息分别属于不同的宏块组SLICE，或者属于同一宏块组SLICE的子宏块组SLICE，从而在图像恢复还原过程中，对由于传输信道质量问题所引起的误码子块组，可以根据每个出错子块周围的其他相邻子块的图像信息，对相应每个出错子块进行插入逼近图像信息的处理，从而使插入的逼近图像信息精确度更高，错误掩盖效果更好，以在视觉角度上减小视频图像的失真度。相应于POLYCOM公司提出的灵活宏块排序(FMO，Flexible Macroblock Ordering)视频编码处理方式，这里将本发明提出的视频编解码处理方式简称为灵活块排序(FBO，Flexible Block Ordering)编解码处理方法，即FBO编解码处理方法。

请参照图4，该图是本发明视频编解码处理方法的实现过程流程图；本发明FBO编解码处理过程包括如下步骤：

步骤S10，分别对视频图像经过变换宏块处理后的每个宏块组(即每个图像片段SLICE)中包含的每个宏块进行变换子块划分处理，以将每个宏块组中的每个宏块MB划分为多个子块；如原来每个MB的大小为16×16象素，则可以根据具体情况需要对每个MB进行变换子块处理，以得到4×4象素或8×8象素大小的子块；

步骤S20，分别对步骤S10中每个宏块组变换处理后得到的所有子块进行分类处理，以使每个宏块组中变换处理后的所有子块按照类型归类到一起，以组成不同类型的子块组，如可以按照每个变换得到的子块的变换系数对每个宏块组变换子块处理后得到的所有子块进行分类处理；

其中根据对原每个宏块组变换处理后的所有子块进行分类处理的结果，可以将各类子块组分别归属于独立的宏块组(即形成独立的视频片段SLICE)，以将原相应每个宏块组分裂为多个独立的宏块组，如原来某个宏块组SLICE0中每个宏块经过变换子块处理后，再将相应得到的所有子块划分为3组，则每一组子块就定义为一个宏块组，即将原宏块组SLICE0分裂成了3个独立的宏块组，为SLICE1、SLICE2和SLICE3。

相应地，也可以根据对原每个宏块组变换处理后的所有子块进行分类处理的结果，将各类子块组分别归属于相应宏块组的子宏块组，以使原相应每个宏块组由多个子宏块组。如原来某个宏块组SLICE0中每个宏块经过变换子块处理后，再将相应得到的所有子块划分为3组，则每一组子块就定义为原宏块组SLICE0下的一个子宏块组，即原宏块组SLICE0就由3个子宏块组组成，为SLICE0_1、SLICE0_2和SLICE0_3。

步骤S30，视频图像发送方对视频图像划分出的每个宏块组头信息、宏块头信息和每类子块的变换系数分别进行编码处理后发送；如上例，本发明视频编解码处理方法在视频图像编码过程中，如对宏块组SLICE0编码发送时，需要对宏块组SLICE0的头信息、及SLICE0中包含的宏块头信息和SLICE0中包含的每类子块的变换系数分别进行编码处理。

步骤S40，视频图像接收方分别对正确接收的码流进行解码处理，以恢复还原出相应子块的图像信息；由于在某些情况下，如传输信道质量恶劣，常常会造成视频图像的编码码流不能完全正确的到达接收方，而会丢失一些码流数据包或造成某些码流数据包出现误码信息，所以在接收方，这些出现错误的数据包所在的相应子块就会出现错误图像信息或失真程度较大的图像信息；

步骤S50，在解码恢复视频图像后，针对产生了误码的子块，则根据该产生了误码的子块周围的其他相邻子块的图像信息，在该产生了误码的子块中进行插入逼近图像信息处理，以对产生了误码的子块进行错误掩盖处理。

下面以将视频图像中每个宏块组(SLICE)变换处理后得到的所有子块划分为两种类型为例进行说明本发明FBO编解码的处理中每个宏块中两种类型的子块组的排列模式。

其中对每个MB进行变换子块处理后得到的每个子块大小可以为4×4象素：

如图5所示，该图是本发明视频编解码处理方法中，将每个MB划分为4×4象素大小的两类子块的第一排列模式图；其中有五角星标识的子块组成一类子块组，而没有五角星标识的子块组成另一类子块组，即分别属于不同类型的两个子块是呈对角状态分布的；这样，有五角星标识的子块组可以单独属于一个SLICE，没有五角星标识的子块组则单独属于另一个SLICE；或者有五角星标识的子块组和没有五角星标识的子块组分别组成原宏块组SLICE下的子SLICE，这样原来一个SLICE就相当于划分为了两个SLICE。

请参照图6，该图是本发明视频编解码处理方法中，将每个MB划分为4×4象素大小的两类子块的第二排列模式图；其中有五角星标识的子块组成一类子块组，而没有五角星标识的子块组成另一类子块组，即分别属于不同类型的子块呈隔行状态分布；

请参照图7，该图是本发明视频编解码处理方法中，将每个MB划分为4×4象素大小的两类子块的第三排列模式图；其中有五角星标识的子块组成一类子块组，而没有五角星标识的子块组成另一类子块组，即分别属于不同类型的子块呈隔列状态分布。

另外对每个MB进行变换子块处理后得到的每个子块大小也可以为8×8象素：

请参照图8，该图是本发明视频编解码处理方法中，将每个MB划分为8×8象素大小的两类子块的第一排列模式图；其中有五角星标识的子块组成一类子块组，而没有五角星标识的子块组成另一类子块组，即分别属于不同类型的两个子块是呈对角状态分布的。

请参照图9，该图是本发明视频编解码处理方法中，将每个MB划分为8×8象素大小的两类子块的第二排列模式图；其中有五角星标识的子块组成一类子块组，而没有五角星标识的子块组成另一类子块组，即分别属于不同类型的子块呈行状态分布。

请参照图10，该图是本发明视频编解码处理方法中，将每个MB划分为8×8象素大小的两类子块的第三排列模式图；其中有五角星标识的子块组成一类子块组，而没有五角星标识的子块组成另一类子块组，即分别属于不同类型的子块呈列状态分布。

当然，无论是将每个MB划分为4×4象素大小的子块还是划分为8×8象素大小的子块，其不同类型的子块排列模式都不局限于上述所举的实施例情况，根据具体情况，还可以有其他的排列模式，则其他不同类型的子块排列模式也都在本发明所要保护的范围内。

而且上述所举的不同类型的子块排列模式是基于视频图像格式4:2:0中宏块MB中亮度块Y、色度块Cr、色度块Cb结构的情况进行说明的，而针对视频图象格式为4:2:2和4:4:4的两种情况，其原理同4:2:0，这里不再过多赘述。

由于本发明视频编解码处理方式是基于FBO的，即以宏块MB中的子块属于不同的宏块组SLICE方式进行视频编解码操作，所以会引起编解码过程中一些标准过程的相应变化，如：

1)视频图像发送方和视频图像接收方要对属于同一类型的相邻子块进行去方块处理(De-blocking)，如对图6、图7、图8、图9和图10所示的有五角星标识的相邻4×4象素子块进行De-blocking处理，及对没有五角星标识的相邻4×4象素子块进行De-blocking处理；而对于图5所示的排列模式的4×4象素子块就无需进行De-blocking处理，因为在这种排列模式中，没有同一类型的子块存在相邻的情况出现。

2)视频图像发送方和视频图像接收方应该对属于同一类型的子块中的图像信息进行帧内预测。

3)视频图像发送方和视频图像接收方的编解码运动估计和运动补偿基本不受影响，只是在进行运动矢量预测时需要参考同一类型的子块的运动矢量。

4)视频图像发送方和视频图像接收方在进行子块变换系数编码上下文考虑时，只能使用同一类型子块部分的信息。

5)冗余参数信息问题，如在上述将原来一个SLICE划分为两个独立的SLICE的例子中，由于对于每一个独立的SLICE部分来说，只编码了原来SLICE部分的一半图像信息，因此相对而言，采用FBO视频编解码方法后，一个SLICE所包含的宏块数目可以比常规下的宏块数增加近一倍，但宏块头信息显然是重复了一些公共部分，而属于不同类型的子块头信息可以分别在相应的独立SLICE部分中分别编码，如块运动矢量信息等。

6)编码效率问题，可以从两个方面考虑：

一方面，由于本发明FBO编解码处理方式将每一宏块MB的不同类型的子块归属于不同的宏块组SLICE，显然从一定程度上降低了原来同一个SLICE部分中相邻块的相关性，其编码效率肯定会有一定程度的降低。

另一方面，参照图11，该图是一个宏块行为一个SLICE时，其编码预测的原理示意图；在该情况下，对一个宏块行进行逐一编码处理时，一般只能参照左面宏块信息进行预测；参照图12，该图是两个宏块行为一个SLICE时，其编码预测的原理示意图；对于两个宏块行为一个SLICE的情形，则下面宏块行的宏块可以参照该宏块左上角宏块的信息、正上方宏块的信息、右上角宏块的信息和左面宏块的信息进行编码预测，可见由于编码预测性能的提高，可以从一定程度上提高编码效率(上述理由是因为为了提高H.264帧内编码的效率，在给定帧中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。因此，在对一给定宏块编码时，首先可以根据周围的宏块预测，典型的是根据左上角的宏块，因为此宏块已经被编码处理，然后对预测值与实际值的差值进行编码，这样，相对于直接对该帧编码而言，可以大大减小码率)。

当然，综合上述两方面的影响，FBO编解码方式总的看来其编码效率还会有一定程度的降低。

在具体实际应用中，根据具体应用情况，可以有选择的使用FMO和FBO编解码处理方式，同时对不同类型子块的排列模式也可以有选择的进行使用，如针对前述的将多个子块划分为两种类型的情况，可以进行如下设置：

1、设立一个FBO标识“FBO_label”

当FBO_label＝0，选取现有技术的FMO编解码处理方式，主要应用于误码率较低的传输信道；

当FBO_label＝1，选取本发明FBO编解码处理方式，主要应用在误码率较差的传输信道；

2、对于视频图像中某个SLICE，为其设立一个主标识Sub_SLICE，分别取值0和1分别对应于其被分裂开的两个子SLICE，也可以将其分裂后的两个独立SLICE部分分别都取值为Sub_SLICE；

3、设立一个FBO模式标识“FBO_mode”，FBO_mode取值0～5分别对应于图5至图10所示的六种FBO排列模式；

4、六种FBO排列模式的选择，可以根据系统编码性能要求和抗误码性能要求综合考虑进行选取；当然，考虑到具体处理过程中的计算复杂度，也可以仅取六种FBO排列模式中的某几种；例如，可以仅取图5和图8所示的FBO排列模式。

可见，在本发明FBO视频编解码处理方式中，图像信息恢复还原时，对于由于误码而出现的失真图像，可以以4×4象素或8×8象素大小的块信息作为参考信息对产生了错误的块进行插入逼近信息的处理，比起现有技术中以16×16象素大小的宏块进行信息逼近处理，其插入的逼近信息精确度会更高一些，图像还原效果会更好一些。

上述主要针对将对同一宏块组进行变换子块处理后得到的所有子块划分为两种类型的例子进行了说明，其中对于对同一宏块组进行变换子块处理后得到的所有子块划分为多种类型的实施情况和划分为两种类型的情况相似，这里不再过多赘述，但是其对所有子块划分为多种类型的实施情况也包括在本发明所要保护的范围内。

本发明FBO编解码处理方式是在H.264参考程序JM76的基础上进行的修改，针对一些测试序列，对本发明所提出的FBO编解码处理方法进行了测试，结果显示，能够得到较好的错误掩盖效果，减小了由于传输信道质量问题而引起的图象失真，较好的提高了视频通信的效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1、一种视频编解码处理方法，其特征在于，包括步骤：

B、分别对每个宏块组变换处理后的所有子块进行分类处理；

2、根据权利要求1所述的视频编解码处理方法，其特征在于，所述步骤B之后还包括步骤：

3、根据权利要求1所述的视频编解码处理方法，其特征在于，所述步骤B之后还包括步骤：

4、根据权利要求1所述的视频编解码处理方法，其特征在于，在步骤C及D中，所述发送方和接收方还对属于同一类型的相邻子块进行去方块处理。

5、根据权利要求1所述的视频编解码处理方法，其特征在于，在步骤C及D中，所述发送方和接收方还对属于同一类型的子块中的图像信息进行帧内预测。

6、根据权利要求1所述的视频编解码处理方法，其特征在于，所述步骤B中分别对每个宏块组变换处理后的所有子块进行分类处理具体为：

7、根据权利要求6所述的视频编解码处理方法，其特征在于，每个所述子块大小为4×4象素。

8、根据权利要求7所述的视频编解码处理方法，其特征在于，每个宏块中两种类型的子块组的排列模式包括：

分别属于不同类型的两个子块呈对角状态分布；

分别属于不同类型的子块呈隔行状态分布；或

呈隔列状态分布。

9、根据权利要求6所述的视频编解码处理方法，其特征在于，每个所述子块大小为8×8象素。

10、根据权利要求9所述的视频编解码处理方法，其特征在于，每个宏块中两种类型的子块组的排列模式包括：

分别属于不同类型的两个子块呈对角状态分布；

分别属于不同类型的子块呈行状态分布；或

呈列状态分布。