CN103533325B - 一种深度图像帧内编解码方法、装置及编解码器 - Google Patents

Abstract

本发明提供一种深度图像帧内编解码方法、装置及编解码器，该编码方法应用于三维视频编码或多视角视频编码中，包括：在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式；若确定采用帧内跳过编码模式，则将预测单元的残差数据置为零，不对该残差数据进行编码。该解码方法应用于三维视频解码或多视角视频解码中，包括：在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；若确定编码器端采用帧内跳过编码模式，则将预测单元的残差数据置为零，不对该残差数据进行解码。本发明降低了编码深度图像所需的码率，并在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。

Description

一种深度图像帧内编解码方法、装置及编解码器

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种深度图像帧内编解码方法、装置及编解码器。

背景技术

在三维视频编码或多视角应用中，深度图像可以用来提供更灵活的视角。深度信息与纹理信息不同，它并不用来直接显示，而是先转换成视差信息(disparity vector)，然后和纹理信息一起用于生成合成视点。

生成合成视点的过程中，深度块的失真在以下两种情况下对合成视点的失真影响很小：1.深度值的失真不导致视差信息的失真，2.当前深度值对应的纹理值附近区域十分平滑。

综上可见，在以上两种情况下，编码或解码深度块的残差需要占用码率但却不能带来合成视点质量的提高。

发明内容

本发明实施例提供一种深度图像帧内编解码方法、装置及编解码器，以降低编码或解码深度图像所需的码率，提高编码性能。

一方面，本发明实施例提供了一种深度图像帧内编码方法，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码方法包括：

在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式；

若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码；

所述若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码，包括：若确定采用帧内跳过编码模式，则所述预测单元采用35种高性能视频编码标准HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，在本发明一实施例中，所述在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式，包括：对一个深度图像的预测单元进行帧内编码时，根据一编码帧内跳过编码标志位判断是否采用帧内跳过编码模式。

优选的，在本发明一实施例中，所述若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码，包括：所述若确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，在本发明一实施例中，所述深度图像帧内编码方法还包括：所述预测单元编码一索引值来指示该预测单元采用了所述HEVC中3种最可能模式中的哪一预测模式生成预测值。

优选的，在本发明一实施例中，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

另一方面，本发明实施例提供了一种深度图像帧内解码方法，所述深度图像帧内解码方法应用于三维视频解码或多视角视频解码中，所述深度图像帧内解码方法包括：

在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；

若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码；

所述若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：若确定编码器端采用帧内跳过编码模式，则所述预测单元采用35种HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，在本发明一实施例中，所述在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式，包括：对一个深度图像的预测单元进行帧内解码时，根据一解码帧内跳过编码标志位判断编码器端是否采用帧内跳过编码模式。

优选的，在本发明一实施例中，所述若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，在本发明一实施例中，所述若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：若编码器端确定采用帧内跳过编码模式，则所述预测单元根据一索引值确定采用HEVC中3种最可能模式中的哪一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，在本发明一实施例中，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

又一方面，本发明实施例提供了一种深度图像帧内编码装置，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码装置包括：

编码判断单元，用于在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式；

编码处理单元，用于若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码；

所述编码处理单元包括：第一编码处理模块，用于若确定采用帧内跳过编码模式，则所述预测单元采用35种高性能视频编码标准HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，在本发明一实施例中，所述编码判断单元，进一步用于对一个深度图像的预测单元进行帧内编码时，根据一编码帧内跳过编码标志位判断是否采用帧内跳过编码模式。

优选的，在本发明一实施例中，所述编码处理单元包括：第二编码处理模块，用于所述若确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，在本发明一实施例中，所述编码处理单元还包括：编码索引模块，用于所述预测单元编码一索引值来指示该预测单元采用了所述HEVC中3种最可能模式中的哪一预测模式生成预测值。

优选的，在本发明一实施例中，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

又一方面，本发明实施例提供了一种深度图像帧内解码装置，所述深度图像帧内解码方法应用于三维视频解码或多视角视频解码中，所述深度图像帧内解码装置包括：

解码判断单元，用于在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；

解码处理单元，用于若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码；

所述解码处理单元包括：第一解码处理模块，用于若确定编码器端采用帧内跳过编码模式，则所述预测单元采用35种HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，在本发明一实施例中，所述解码判断单元，进一步用于对一个深度图像的预测单元进行帧内解码时，根据一解码帧内跳过编码标志位判断编码器端是否采用帧内跳过编码模式。

优选的，在本发明一实施例中，所述解码处理单元包括：第二解码处理模块，用于若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，在本发明一实施例中，所述第二解码处理模块，进一步用于若编码器端确定采用帧内跳过编码模式，则所述预测单元根据一索引值确定采用HEVC中3种最可能模式中的哪一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，在本发明一实施例中，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

又一方面，本发明实施例提供了一种编码器，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述深度图像帧内编码装置。

再一方面，本发明实施例提供了一种解码器，所述解码器应用于三维视频编码或多视角视频解码中，所述解码器包括上述深度图像帧内解码装置。

上述技术方案具有如下有益效果：因为采用应用于三维视频编解码或多视角视频编解码中的方法包括：在对一个深度图像的预测单元进行帧内编解码时，判断编码器端是否采用帧内跳过编码模式；若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编解码的技术手段，所以降低了编解码深度图像所需的码率，提高了编码性能，提高了视频压缩编解码效率，并在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种深度图像帧内编码方法流程图；

图2为本发明实施例一种深度图像帧内编码装置结构示意图；

图3为本发明实施例编码处理单元结构示意图；

图4为本发明实施例一种深度图像帧内解码方法流程图；

图5为本发明实施例一种深度图像帧内解码装置结构示意图；

图6为本发明实施例解码处理单元结构示意图；

图7为本发明应用实例3种最可能帧内预测模式编码流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术存在的问题，本发明实施例提出：在深度图像帧内编码模式中，引入帧内跳过编码模式，该模式中不编码深度图像的残差。

如图1所示，为本发明实施例一种深度图像帧内编码方法流程图，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码方法包括：

101、在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式；

102、若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，所述在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式，包括：对一个深度图像的预测单元进行帧内编码时，根据一编码帧内跳过编码标志位判断是否采用帧内跳过编码模式。

优选的，所述若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码，包括：若确定采用帧内跳过编码模式，则所述预测单元采用35种高性能视频编码标准HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，所述若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码，包括：所述若确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，所述深度图像帧内编码方法还包括：所述预测单元编码一索引值来指示该预测单元采用了所述HEVC中3种最可能模式中的哪一预测模式生成预测值。

优选的，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

对应于上述方法实施例，如图2所示，为本发明实施例一种深度图像帧内编码装置结构示意图，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码装置包括：

编码判断单元21，用于在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式；

编码处理单元22，用于若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码。

优选的，所述编码判断单元21，进一步用于对一个深度图像的预测单元进行帧内编码时，根据一编码帧内跳过编码标志位判断是否采用帧内跳过编码模式。

优选的，如图3所示，为本发明实施例编码处理单元结构示意图，所述编码处理单元22包括：第一编码处理模块221，用于若确定采用帧内跳过编码模式，则所述预测单元采用35种高性能视频编码标准HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。优选的，所述编码处理单元22包括：第二编码处理模块222，用于所述若确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。优选的，所述编码处理单元22还包括：编码索引模块223，用于所述预测单元编码一索引值来指示该预测单元采用了所述HEVC中3种最可能模式中的哪一预测模式生成预测值。

优选的，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

本发明实施例上述方法及装置技术方案具有如下有益效果：因为采用应用于三维视频编码或多视角视频编码中的方法包括：在对一个深度图像的预测单元进行帧内编码时，判断编码器端是否采用帧内跳过编码模式；若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码的技术手段，所以降低了编码深度图像所需的码率，提高了编码性能，提高了视频压缩编码效率，并在提高编码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。

如图4所示，为本发明实施例一种深度图像帧内解码方法流程图，所述深度图像帧内解码方法应用于三维视频解码或多视角视频解码中，所述深度图像帧内解码方法包括：

401、在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；

402、若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，所述在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式，包括：对一个深度图像的预测单元进行帧内解码时，根据一解码帧内跳过编码标志位判断编码器端是否采用帧内跳过编码模式。

优选的，所述若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：若确定编码器端采用帧内跳过编码模式，则所述预测单元采用35种HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，所述若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，所述若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：若编码器端确定采用帧内跳过编码模式，则所述预测单元根据一索引值确定采用HEVC中3种最可能模式中的哪一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

对应于上述方法实施例，如图5所示，为本发明实施例一种深度图像帧内解码装置结构示意图，所述深度图像帧内解码方法应用于三维视频解码或多视角视频解码中，所述深度图像帧内解码装置包括：

解码判断单元51，用于在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；

解码处理单元52，用于若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，所述解码判断单元51，进一步用于对一个深度图像的预测单元进行帧内解码时，根据一解码帧内跳过编码标志位判断编码器端是否采用帧内跳过编码模式。

优选的，如图6所示，为本发明实施例解码处理单元结构示意图，所述解码处理单元52包括：第一解码处理模块521，用于若确定编码器端采用帧内跳过编码模式，则所述预测单元采用35种HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。优选的，所述解码处理单元52包括：第二解码处理模块522，用于若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。优选的，所述第二解码处理模块522，进一步用于若编码器端确定采用帧内跳过编码模式，则所述预测单元根据一索引值确定采用HEVC中3种最可能模式中的哪一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

优选的，所述残差系数包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

本发明实施例上述方法或装置技术方案具有如下有益效果：因为采用应用于三维视频解码或多视角视频解码中的方法包括：在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码的技术手段，所以降低了解码深度图像所需的码率，提高了视频压缩解码效率，并在提高解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。

本发明应用实例提供了一种编码器，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述深度图像帧内编码装置。本发明应用实例还提供了一种解码器，所述解码器也应用于三维视频编码或多视角视频解码中，所述解码器包括上述深度图像帧内解码装置。以下结合应用实例对本发明技术方案介绍如下：

编码器：

对一个深度图像的预测单元(prediction unit)进行帧内编码时，可以采用传统的帧内编码方式，也可以采用帧内跳过编码(intra skip coding)模式。编码器需要一个编码帧内跳过编码标志位来区分采用传统帧内编码模式还是帧内跳过编码模式。

在帧内跳过编码模式中，预测单元的预测值采用传统的35种HEVC中的帧内编码模式对应的预测方法得到，但是预测单元的残差直接置为零，残差数据不再编码。

解码器：

对一个采用帧内编码模式编码的深度图像预测单元，解码器需要一个解码帧内跳过编码标志位来区分编码器端采用的是传统帧内编码模式还是帧内跳过编码模式。

如果采用帧内跳过编码模式，预测单元的预测值采用传统的35种HEVC中的帧内编码模式对应的预测方法得到，但是预测单元的残差不需要解码而是直接置为零。

帧内跳过编码模式采用传统方法生成预测值，但是不编码残差信息而只编码预测模式信息。

在当前的3DV-HEVC(3dimensional video coding–high efficiency videocoding)编码中，深度图像最多可以有43种帧内预测模式，包括35种HEVC中的帧内编码模式，和8种针对深度图像特性设计的编码模式。

在提出的帧内跳过编码模式中，预测单元可以采用35种HEVC中的帧内编码模式对应的预测方法生成预测值，但其残差全部置为零。预测单元的残差信息不需要编码而只需要编码预测模式信息，从而节省码率。为了进一步降低帧内跳过模式的码率，预测单元只允许使用HEVC帧内编码中规定的3种最可能模式(most probable mode)而不是所有35种帧内模式作为候选预测模式，并采用与HEVC中编码最可能预测模式相同的方式编码当前编码单元的预测模式。

如图7所示，为本发明应用实例3种最可能帧内预测模式编码流程示意图，具体细节如下：

701、获得当前预测单元的3种最可能帧内预测模式；

702、将i＝0；

703、判断3种预测模式是否已经测试完毕，如是，则转步骤707，否则，转步骤704；

704、用第i种最可能帧内预测模式对当前预测单元进行预测，残差置为零，编码；

705、计算第i种最可能帧内预测模式对应的率失真代价；

706、将i＝i+1，然后转步骤703；

707、选择3种最可能预测模式中的最优预测模式(即3种最可能模式中的率失真代价最小的一预测模式)；

708、结束。

预测单元编码：

在现有的3DV-HEVC编码中，编码帧内预测模式时，需要编码一个标志位(记为flag1)来区分是使用了HEVC中的35种编码模式还是新提出的针对深度图像的8种编码模式。为了编码帧内跳过模式，当flag1为真时，本发明应用实例引入了一个新的标志位(记为flag2)来区分是采用了3DV-HEVC中针对深度图像的8种编码模式还是帧内跳过编码模式。如果当前预测单元采用了帧内跳过编码模式，还需要编码一个索引值来指示它使用了3种最可能预测模式中的哪个预测模式。

预测单元语法元素修改如下表1所示，修改部分进行加粗显示：

其中，use_DIS_flag:该变量用来表示编码当前视频时是否使用帧内跳过编码模式。如果使用帧内跳过编码模式，use_DIS_flag为真，否则use_DIS_flag为假。

log2MinDISSize:(1<<log2MinDISSize)定义可以使用帧内跳过编码模式的最小预测单元的高度和宽度。

pred_dir_larger_than_35_flag:该变量用来表示预测单元的编码模式是否大于35。如果当前预测单元采用HEVC中的35种编码模式，则pred_dir_larger_than_35_flag为假；否则pred_dir_larger_than_35_flag为真。

pred_dir_larger_than_43_flag:该变量用来表示是否采用帧内跳过编码模式。如果当前预测单元采用帧内跳过编码模式，则变量pred_dir_larger_than_43_flag为真；否则pred_dir_larger_than_43_flag为假。

mpm_idx[x0][y0]:在帧内跳过编码模式中，只允许使用HEVC中的3种最可能编码模式作为候选模式，mpm_idx[x0][y0]表示使用了这3种模式中的哪一个。

表1 预测单元语法元素修改

变换单元编码：

帧内跳过模式中不需要编码残差信息，因此不需要编码残差系数，同时也不需要编码分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位。当帧内编码单元的划分方式是2N×2N时(其中，N＝2^k，k为大于或等于2的整数)，它内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差都为零。此时，不再需要变换单元的信息，因此变换单元中用于指示变换单元是否需要进一步划分的标志位也不再编码。

变换单元语法元素修改如下表2所示：修改部分进行加粗显示：

表2 变换单元语法元素修改

其中：

PredMode：当前变换单元的编码模式。如果它等于MODE_INTRA，表示当前变换单元采用帧内编码模式：

IntraPredMode：表示当前变换单元的预测模式。IntraPredMode[x0][y0]>43表示当前变换单元采用了帧内跳过编码模式。

PartMode：表示当前变换单元所在的编码单元的划分模式。PartMode＝＝PART_2N×2N表示当前变换单元所在的编码单元没有进一步划分(也就是只包括一个预测单元)。

本发明应用实例实验结果：本发明应用实例提出的方法集成到了3DV-HTM(threedimensional video coding–High Efficiency Video Coding(HEVC)based test model，基于高性能视频编码标准的三维视频编码测试模型)3.0中，并与它进行了比较。虽然该方法集成到了基于HEVC(high efficiency video coding，高性能视频编码标准)的3D编码软件中，但是该方法也可以用于基于AVC(advanced video coding，高级视频编码)的3D编码中，同时还可以用于基于HEVC或AVC的多视角视频编码中。测试序列采用了分辨率为1024×768的balloons,kendo和(色彩校正后的)newspaper。

实验结果如下表3所示，可以看出，提出的方法在可以降低“合成视点”码率达0.2％，降低“编码视点和合成视点”码率达0.4％。由于提出方法没有改变纹理图像的编码方式，编码视点的码率没有变化。

表3 实验结果

本发明应用实例技术方案提高了视频压缩编解码效率，并在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种深度图像帧内编码方法，其特征在于，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码方法包括：

在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式；

若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码；

所述若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码，包括：

若确定采用帧内跳过编码模式，则所述预测单元采用35种高性能视频编码标准HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

2.如权利要求1所述深度图像帧内编码方法，其特征在于，所述在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式，包括：

对一个深度图像的预测单元进行帧内编码时，根据一编码帧内跳过编码标志位判断是否采用帧内跳过编码模式。

3.如权利要求1所述深度图像帧内编码方法，其特征在于，所述若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码，包括：

所述若确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

4.如权利要求3所述深度图像帧内编码方法，其特征在于，所述深度图像帧内编码方法还包括：

所述预测单元编码一索引值来指示该预测单元采用了所述HEVC中3种最可能模式中的哪一预测模式生成预测值。

5.如权利要求1-4中任一项所述深度图像帧内编码方法，其特征在于，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

6.一种深度图像帧内解码方法，其特征在于，所述深度图像帧内解码方法应用于三维视频解码或多视角视频解码中，所述深度图像帧内解码方法包括：

在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；

若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码；

所述若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：

若确定编码器端采用帧内跳过编码模式，则所述预测单元采用35种HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

7.如权利要求6所述深度图像帧内解码方法，其特征在于，所述在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式，包括：

对一个深度图像的预测单元进行帧内解码时，根据一解码帧内跳过编码标志位判断编码器端是否采用帧内跳过编码模式。

8.如权利要求6所述深度图像帧内解码方法，其特征在于，所述若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：

若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

9.如权利要求8所述深度图像帧内解码方法，其特征在于，所述若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码，包括：

若编码器端确定采用帧内跳过编码模式，则所述预测单元根据一索引值确定采用HEVC中3种最可能模式中的哪一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

10.如权利要求6-9中任一项所述深度图像帧内解码方法，其特征在于，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

11.一种深度图像帧内编码装置，其特征在于，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码装置包括：

编码判断单元，用于在对一个深度图像的预测单元进行帧内编码时，判断是否采用帧内跳过编码模式；

编码处理单元，用于若确定采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行编码；

所述编码处理单元包括：

第一编码处理模块，用于若确定采用帧内跳过编码模式，则所述预测单元采用35种高性能视频编码标准HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

12.如权利要求11所述深度图像帧内编码装置，其特征在于，

所述编码判断单元，进一步用于对一个深度图像的预测单元进行帧内编码时，根据一编码帧内跳过编码标志位判断是否采用帧内跳过编码模式。

13.如权利要求11所述深度图像帧内编码装置，其特征在于，所述编码处理单元包括：

第二编码处理模块，用于所述若确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行编码。

14.如权利要求13所述深度图像帧内编码装置，其特征在于，所述编码处理单元还包括：

编码索引模块，用于所述预测单元编码一索引值来指示该预测单元采用了所述HEVC中3种最可能模式中的哪一预测模式生成预测值。

15.如权利要求11-14中任一项所述深度图像帧内编码装置，其特征在于，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

16.一种深度图像帧内解码装置，其特征在于，所述深度图像帧内解码方法应用于三维视频解码或多视角视频解码中，所述深度图像帧内解码装置包括：

解码判断单元，用于在对一个深度图像的预测单元进行帧内解码时，判断编码器端是否采用帧内跳过编码模式；

解码处理单元，用于若确定编码器端采用帧内跳过编码模式，则将所述预测单元的残差数据置为零，不对该残差数据进行解码；

所述解码处理单元包括：

第一解码处理模块，用于若确定编码器端采用帧内跳过编码模式，则所述预测单元采用35种HEVC中的帧内编码模式对应的预测方法生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

17.如权利要求16所述深度图像帧内解码装置，其特征在于，

所述解码判断单元，进一步用于对一个深度图像的预测单元进行帧内解码时，根据一解码帧内跳过编码标志位判断编码器端是否采用帧内跳过编码模式。

18.如权利要求16所述深度图像帧内解码装置，其特征在于，所述解码处理单元包括：

第二解码处理模块，用于若编码器端确定采用帧内跳过编码模式，则所述预测单元采用HEVC中3种最可能模式中的率失真代价最小的一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

19.如权利要求18所述深度图像帧内解码装置，其特征在于，

所述第二解码处理模块，进一步用于若编码器端确定采用帧内跳过编码模式，则所述预测单元根据一索引值确定采用HEVC中3种最可能模式中的哪一预测模式生成预测值，并将所述预测单元的残差数据置为零，不对该残差数据进行解码。

20.如权利要求16-19中任一项所述深度图像帧内解码装置，其特征在于，所述残差数据包括：残差系数和分别用于指示预测单元亮度，色度，饱和度残差系数是否全为零的3个标志位；当帧内编码单元的划分方式是2N×2N时，该编码单元内部只有一个预测单元，如果该预测单元采用帧内跳过模式编码，整个编码单元内部的残差数据都为零，此时，不再需要变换单元的信息，所述残差数据还进一步包括：用于指示变换单元是否需要进一步划分的标志位，其中，N＝2^k，k为大于或等于2的整数。

21.一种编码器，其特征在于，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述权利要求11-15任一项所述深度图像帧内编码装置。

22.一种解码器，其特征在于，所述解码器应用于三维视频编码或多视角视频解码中，所述解码器包括上述权利要求16-20任一项所述深度图像帧内解码装置。