CN113966611B

CN113966611B - 视频编解码中的重要系数信令

Info

Publication number: CN113966611B
Application number: CN202080042532.5A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-06-09
Filing date: 2020-06-09
Publication date: 2023-12-15
Anticipated expiration: 2040-06-09
Also published as: US20240121411A1; CN117354519A; WO2020248954A1; US11490098B2; CN113966611A; US20230078639A1; US11863766B2; US20220103840A1

Abstract

一种用于视觉媒体处理的示例性方法，包括：根据条件信令规则执行视觉媒体数据的当前视频块和视觉媒体数据的比特流表示之间的转换，其中，禁止当前视频块使用帧内子块分割(ISP)划分模式，ISP划分模式取决于当前视频块的维度将当前视频块垂直或水平地划分为多个子块，其中，在转换与禁用ISP划分模式相关联的情况下，条件信令规则指定在比特流表示中选择性地包括第一语法元素，第一语法元素指示当前视频块的子块的亮度分量包括非零系数值，并且进一步地，其中选择性地包括至少基于比特流表示中包括的一个或多个先前子块的具有非零系数值的一个或多个其他语法元素。

Description

视频编解码中的重要系数信令

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年6月9日提交的国际专利申请号No.PCT/CN2019/090455的优先权和利益。根据法律规定的目的，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及图像和视频编码/解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但在互联网和其他数字通信网络中，数字视频仍然是使用带宽最多的。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了涉及数字视频编解码的设备、系统和方法，特别是涉及视频编解码的重要系数的信令的设备、系统和方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(HEVC))和未来视频编解码标准(例如，多功能视频编解码(VVC))或编解码器。

在一个代表性方面，所公开的技术可用于提供一种用于视觉媒体处理的方法。所述方法包括：根据条件信令规则执行视觉媒体数据的当前视频块和视觉媒体数据的比特流表示之间的转换，其中，禁止当前视频块使用帧内子块分割(ISP)划分模式，ISP划分模式取决于当前视频块的维度将当前视频块垂直或水平地划分为多个子块，其中，在转换与禁用ISP划分模式相关联的情况下，条件信令规则指定在比特流表示中选择性地包括第一语法元素，第一语法元素指示当前视频块的子块的亮度分量包括非零系数值，并且进一步地，其中选择性地包括至少基于比特流表示中包括的一个或多个先前子块的具有非零系数值的一个或多个其他语法元素。

在又一代表性方面，上述方法以处理器可执行代码的形式实施，并且存储在计算机可读的程序介质中。

在又一代表性方面，公开了一种设备，其被配置为或可操作以执行上述方法。该设备可以包括被编程以实现该方法的处理器。

在又一代表性方面，一种视频解码器装置，其可以实现如本文所述的方法。

在又一代表性方面，一种视频编码器装置，其可以实现如本文所述的方法。

在附图、说明书和权利要求书中更详细地描述了所公开技术的上述方面、以及其他方面和特征。

附图说明

图1示出了示例编码器的框图。

图2示出了67个帧内预测模式的示例。

图3示出了4×8和8×4块的划分的示例。

图4示出了除4×8、8×4和4×4以外的所有块的划分的示例。

图5示出了子块变换模式SBT-V和SBT-H的示例。

图6示出了用于4×4编解码组的对角线右上扫描顺序的示例。

图7示出了编解码组的尺寸为4×4的8×8块的对角线右上扫描顺序的示例。

图8示出了用于选择概率模型的模板的示例。

图9示出了用于相关量化的两个标量量化器的示例。

图10示出了用于所提出的相关量化处理的状态转换和量化器选择的示例。

图11示出了用于视频处理的示例方法的流程图。

图12是用于实现本文中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图13是其中可以实现所公开的技术的示例性视频处理系统的框图。

图14示出了用于视觉媒体处理的示例方法的流程图。

具体实施方式

所公开技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，H.265)和未来的标准，以提高压缩性能。为了提高描述的可读性，在本文中使用了章节标题，并且不以任何方式将讨论或实施例(和/或实现)仅限于各个章节。

1.概述

本文涉及视频编解码技术。具体而言，其涉及视频编解码中的变换跳过模式中的系数编解码。它可以应用于现有的视频编解码标准，例如HEVC，或者待定的标准(多功能视频编解码)。它也可适用于未来的视频编解码标准或视频编解码器。

2.视频编解码介绍

由于对高分辨率视频的需求持续增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待定的多功能视频编解码(VVC)标准，或其他当前和/或未来的视频编解码标准。

视频编解码标准主要通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)[3][4]的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的多功能视频编解码(VVC)标准。

2.1典型视频编解码器的编解码流程

图1示出了VVC的编码器框图的示例，其包含三个环内滤波块：去方块滤波器(DF)、采样自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF通过分别添加偏移量和应用有限脉冲响应(FIR)滤波器，利用编码侧信息来信令通知偏移量和滤波器系数，利用当前图片的原始样点来减少原始样点和重构样点之间的均方差。ALF位于每个图片的最后处理阶段，并且可以看作是试图捕获和修复由先前阶段创建的成果的工具。

2.2VVC中的帧内编解码

2.2.1具有67种帧内预测模式的帧内模式编解码

为了捕获自然视频中呈现的任意边缘方向，将方向帧内模式的数量从HEVC中使用的33个扩展到65个。在图2中，附加的方向模式被描绘为红色虚线箭头，并且平面(Planar)模式和DC模式保持相同。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

如图2所示，传统的角度帧内预测方向被定义为在顺时针方向上从45度到-135度。在VTM 2中，对于非正方形块，自适应地用广角度帧内预测模式替代传统的角度帧内预测模式。使用原始方法信令通知替代的模式，并且在解析之后将其重新重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码不变。

在HEVC中，每个帧内编解码块都是正方形的，并且其每个边的长度是2的幂。因此，使用DC模式生成帧内预测器不需要划分操作。在VVV2中，块可以是矩形，在一般情况下需要对每个块使用划分操作。为了避免DC预测的划分操作，只使用较长的边来计算非正方形块的平均值。

除了67种帧内预测模式之外，还针对某些块启用了非方形块的广角帧内预测(WAIP)和位置相关的帧内预测组合(PDPC)方法。在没有信令的情况下将PDPC应用于以下帧内模式：平面、DC、水平、垂直、左下角模式及其八个相邻角模式、以及右上角模式及其八个相邻角模式。

2.2.2帧内子块分割(ISP)

在JVET-M0102中提出了ISP，其取决于块尺寸维度将亮度帧内预测块垂直或水平划分为2个或4个子分割，如表1所示。图3和图4示出了这两种可能性的示例。所有子分割满足具有至少16个样点的条件。对于块尺寸4xN或Nx4(N>8)，如果允许，可以存在1xN或Nx1的子分割。

表1：取决于块尺寸的子分割的数目(用maxTBSize表示最大变换尺寸)

对于这些子分割中的每一个子分割，通过对编码器发送的系数进行熵解码，然后对其进行逆量化和逆变换，来生成残差信号。然后，对子分割进行帧内预测，并且最后通过将残差信号添加到预测信号中来得到相应的重构样点。因此，每个子分割的重构值将可用于生成下一个子分割的预测，将重复该处理等。所有子分割共享相同的帧内模式。

表2：取决于predModeIntra的trTypeHor和trTypeVer的规范

2.2.2.1语法和语义

7.3.7.5编解码单元语法

intra_subpartitions_mode_flag[x0][y0]等于1指定当前帧内编解码单元被分割为NumIntraSubPartitions[x0][y0]个矩形变换块子分割。intra_subpartitions_mode_flag[x0][y0]等于0指定当前帧内编解码单元未被分割为矩形变换块子分割。

当intra_subpartitions_mode_flag[x0][y0]不存在时，它被推断为等于0。

intra_subpartitions_split_flag[x0][y0]指定帧内子分割划分类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，推断如下：

-如果cbHeight大于MaxTbSizeY，则推断intra_subpartitions_split_flag[x0][y0]等于0。

-否则(cbWidth大于MaxTbSizeY)，则推断intra_subpartitions_split_flag[x0][y0]等于1。

变量IntraSubPartitionsSplitType指定用于当前亮度编解码块的划分类型，如表7-9所示。IntraSubPartitionsSplitType推导如下：

-如果intra_subpartitions_mode_flag[x0][y0]等于0,则将IntraSubPartitionsSplitType设置为等于0。

-否则，将IntraSubPartitionsSplitType设置为等于1+intra_subpartitions_split_flag[x0][y0]。

表7-9：与IntraSubPartitionsSplitType的名称关联

IntraSubPartitionsSplitType	IntraSubPartitionsSplitType的名称
		0	ISP_NO_SPLIT
1	ISP_HOR_SPLIT
		2	ISP_VER_SPLIT

变量NumIntraSubPartitions指定帧内亮度编解码块被划分的变换块子分割的数量。NumIntraSubPartitions推导如下：

-如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，则将NumIntraSubPartitions设置为等于1。

-否则，如果以下条件之一为真，则将NumIntraSubPartitions设置为等于2：

-cbWidth等于4，并且cbHeight等于8，

-cbWidth等于8，并且cbHeight等于4。

-否则，将NumIntraSubPartitions设置为等于4。

2.3色度帧内模式编解码

对于色度帧内模式编解码，取决于是否启用跨分量线性模型(CCLM)，色度帧内模式编解码总共允许8个或5个帧内模式。这些模式包括五种传统的帧内模式和三种跨分量线性模型模式。色度DM模式使用相应的亮度帧内预测模式。由于在I条带中为亮度和色度分量启用了单独的块分割结构，一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块的中心位置的对应亮度块的帧内预测模式。

表8-2：当sps_cclm_enabled_flag等于0时，取决于intra_chroma_pred_mode[xCb][yCb]和IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]的IntraPredModeC[xCb][yCb]的规范

表8-3：当sps_cclm_enabled_flag等于1时，取决于intra_chroma_pred_mode[xCb][yCb]和IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]的IntraPredModeC[xCb][yCb]的规范

2.4 VVC中的变换编解码

2.4.1子块变换

对于cu_cbf等于1的帧间预测CU，可以信令通知cu_sbt_flag，以指示是否解码整个残差块或残差块的子部分。在前一种情况下，进一步解析帧间MTS信息以确定CU的变换类型。在后一种情况下，用推断出的自适应变换对残差块的部分进行编解码，并将残差块的其它部分归零。不将SBT应用于组合帧间帧内模式。

在子块变换中，将位置相关变换应用于SBT-V和SBT-H中的亮度变换块(色度TB始终使用DCT-2)。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，图3指定了每个SBT位置的水平和垂直变换。例如，SBT-V位置0的水平和垂直变换分别为DCT-8和DST-7。当其余TU的一侧大于32时，将相应的变换设置为DCT-2。因此，子块变换共同指定残差块的TU片、cbf以及水平和垂直变换，对于块的主要残差在块的一侧的情况，这可以被视为语法快捷方式。

2.4.1.1语法元素

7.3.7.5编解码单元语法

cu_sbt_flag等于1指定对于当前编解码单元使用子块变换。cu_sbt_flag等于0指定对于当前编解码单元不使用子块变换。

当cu_sbt_flag不存在时，它的值被推断为等于0。

注：当使用子块变换时，编解码单元被划分成两个变换单元；一个变换单元有残差数据，另一个单元没有残差数据。

cu_sbt_quad_flag等于1指定对于当前编解码单元，子块变换包括当前编解码单元的1/4尺寸的变换单元。cu_sbt_quad_flag等于0指定对于当前编解码单元，子块变换包括当前编解码单元的1/2尺寸的变换单元。

当cu_sbt_quad_flag不存在时，它的值被推断为等于0。

cu_sbt_horizontal_flag等于1指定将当前编解码单元水平划分为2个变换单元。cu_sbt_horizontal_flag[x0][y0]等于0指定将当前编解码单元垂直划分为2个变换单元。

当cu_sbt_horizontal_flag不存在时，其值推导如下：

-如果cu_sbt_quad_flag等于1，则将cu_sbt_horizontal_flag设置为等于allowSbtHorQ。

-否则(cu_sbt_quad_flag等于0)，将cu_sbt_horizontal_flag设置为等于allowSbtHorH。

cu_sbt_pos_flag等于1指定当前编解码单元中的第一个变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr不在比特流中。cu_sbt_pos_flag等于0指定当前编解码单元中的第二个变换单元的tu_cbf_luma、tu_cbf_cb和tu_cbf_cr不在比特流中。

变量SbtNumFourthsTb0推导如下：

sbtMinNumFourths＝cu_sbt_quad_flag？1:2 (7-117)

SbtNumFourthsTb0＝cu_sbt_pos_flag？(4-sbtMinNumFourths):sbtMinNumFourths (7-118)

sps_sbt_max_size_64_flag等于0指定允许子块变换的最大CU宽度和高度为32个亮度样点。sps_sbt_max_size_64_flag等于1指定允许子块变换的最大CU宽度和高度为64个亮度样点。

MaxSbtSize＝sps_sbt_max_size_64_flag？64:32 (7-33)

2.5系数的熵编解码

2.5.1变换应用块的系数编解码

在HEVC中，使用非重叠系数组(或子块)对编解码块的变换系数进行编解码，并且每个系数组(CG)包含编解码块的4x4块的系数。根据预先定义的扫描顺序对编解码块中的CG和CG内的变换系数进行编解码。

根据预先定义的扫描顺序对编解码块中的CG和CG内的变换系数进行编解码。CG和CG内的系数都遵循右上角扫描顺序。图6和图7分别示出了4x4块和8x8扫描顺序的示例。

应当注意的是，编解码顺序是反向扫描顺序(即图7中从CG3到CG0解码)，当解码一个块时，首先解码最后一个非零系数的坐标。

具有至少一个非零变换系数的CG的变换系数水平的编解码可以被分成多遍扫描。在第一遍中，对第一个二进制数(用bin0表示，也被称为significant_coeff_flag，其指示表示系数的大小大于0)进行编解码。接下来，可以应用两遍扫描来对第二/第三个二进制数(分别由bin1和bin2表示，也被称为coeff_abs_greater1_flag和coeff_abs_greater2_flag)进行上下文编解码。最后，如有必要，再调用两遍扫描来编解码系数水平的符号信息和剩余值(也称为coeff_abs_level_remaining)。注意，只有前三遍扫描中的二进制数以常规模式编解码，并且在以下描述中，这些二进制数被称为常规二进制数。

在VVC 3中，对于每个CG，按编解码顺序将常规编解码的二进制数和旁路编解码的二进制数分开；首先传输子块的所有常规编解码的二进制数，然后再传输旁路编解码的二进制数。在扫描位置上在以下五遍中对子块的变换系数水平进行编解码：

○第1遍：按编解码顺序处理重要性(sig_flag)、大于1标志(gt1_flag)、奇偶性(par_level_flag)和大于2标志(gt2_flag)的编解码。如果sig_flag等于1，则首先对gt1_flag进行编解码(它指定绝对水平是否大于1)。如果gt1_flag等于1，则另外对par_flag进行编解码(它指定绝对水平减去2的奇偶性)。

○第2遍：对于gt2_flag等于1或gt1_flag等于1的所有扫描位置，处理剩余绝对水平(余数)的编解码。用Golomb-Rice码对非二进制语法元素进行二值化，并且在算术编解码引擎的旁路模式下对生成的二进制数进行编解码。

○第3遍：在算术编解码引擎的旁路模式下，使用Golomb-Rice码对在第一遍中没有编解码sig_flag的系数的绝对水平(absLevel)(由于达到常规编解码二进制数的限制)进行完全编解码。

○第4遍：对所有扫描位置的sig_coeff_flag等于1的符号(sign_flag)进行编解码。

对于4x4子块，确保不超过32个常规编解码的二进制数(sig_flag、par_flag、gt1_flag和gt2_flag)被编码或解码。对于2x2色度子块，将常规编解码的二进制数的数量限制为8个。

用于编解码非二进制语法元素余数(在第3遍)的Rice参数(ricePar)与HEVC类似地导出。在每个子块的开始处，将ricePar设置为等于0。在对语法元素余数进行编解码后，根据预先定义的等式修改Rice参数。为了编解码非二进制语法元素absLevel(在第4遍中)，确定局部模板中sumAbs的绝对值之和。变量ricePar和posZero是基于相关量化和sumAbs通过查表来确定的。中间变量codeValue推导如下：

○如果absLevel[k]等于0，则将codeValue设置为等于posZero；

○否则，如果absLevel[k]小于或等于posZero，则将codeValue设置为等于absLevel[k]–1；

○否则(absLevel[k]大于posZero)，则将codeValue设置为等于absLevel[k]。

使用Golomb-Rice码和Rice参数ricePar对codeValue的值进行编解码。

2.5.1.1用于系数编解码的上下文建模

与变换系数水平的绝对值相关的语法元素的概率模型的选择取决于局部邻域中绝对水平或部分重构的绝对水平的值。使用的模板如图8所示。

所选择的概率模型取决于局部邻域中的绝对水平(或部分重构的绝对水平)之和、以及局部邻域中大于0的绝对水平数量(由等于1的sig_coeff_flag的数量给出)。上下文建模和二值化取决于以下局部邻域的以下度量：

○numSig：局部邻域中非零水平的数量；

○sumAbs1：局部邻域中第一遍后部分重构的绝对水平(absLevel1)之和；

○sumAbs：局部邻域中重构的绝对水平之和；

○对角线位置(d)：变换块内当前扫描位置的水平和垂直坐标的之和。

基于numSig、sumAbs1和d的值，选择用于对sig_flag、par_flag、gt1_flag、和gt2_flag进行编解码的概率模型。基于sumAbs和numSig的值，选择用于将abs_remainder进行二进制化的Rice参数。

2.5.1.2相关量化(DQ)

此外，将相同的HEVC标量量化与称为相关标量量化的新概念一起使用。相关标量量化是指一种方法，其中变换系数的可容许重构值的集合取决于在重构顺序中位于当前变换系数水平之前的变换系数水平的值。这种方法的主要效果是，与HEVC中使用的传统独立标量量化相比，可容许的重构矢量在N维矢量空间中被打包得更密集(N表示变换块中变换系数的数量)。这意味着，对于给定的每N维单位体积的可容许重构矢量的平均数量，输入矢量和最近的重构矢量之间的平均失真减小。相关标量量化的方法通过以下实现：(a)定义两个具有不同重构水平的标量量化器；并且(b)定义用于在两个标量量化器之间的切换的处理。

所使用的两个标量量化器(用Q0和Q1表示)如图9所示。可用重构水平的位置由量化步长Δ唯一地指定。在比特流中不显式地信令通知所使用的标量量化器(Q0或Q1)。相反，用于当前变换系数的量化器由在编码/重构顺序中位于当前变换系数之前的变换系数水平的奇偶性来确定。

如图10所示，通过具有四个状态的状态机来实现两个标量量化器(Q0和Q1)之间的切换。状态可以采用四个不同的值：0、1、2、3。它由在编码/重构顺序中位于当前变换系数之前的变换系数水平的奇偶性唯一地确定。在变换块的逆量化开始时，将状态设置为等于0。变换系数按扫描顺序重构(即，按其被熵解码的相同顺序)。在重构当前变换系数之后，如图10所示更新状态，其中k表示变换系数水平的值。

2.5.1.3语法和语义

7.3.7.11残差编解码语法

2.5.2 JVET-N0492

本贡献提出了对VVC4规范和VTM 4.0.1软件的修改，旨在部分消除它们之间CBF标志信令的不一致性。本贡献包括两个方面。第一方面提出了基于变换单元深度从VTM软件中移除分层色度CBF信令，这没有在规范中呈现；并且在规范中包括基于色度CBF标志为正常TU和SBT TU推导缺失亮度cbf标志的方法，这呈现在软件中。第二个方面是在第一方面的基础上提出的，并且假设了所有现有的亮度cbf标志推导方法的统一设计。与VTM 4.0.1相比，这两个方面都提供了可忽略的编解码性能差异。

这一贡献包括两个方面。

在第一方面，提出了软件和规范二者的修改。在软件方面，提出了基于变换单元深度移除分层色度CBF信令，该信令是从NEXT/JEM数次继承到VTM的。在规范方面，提出了包括基于两个色度cbf标志推导亮度cbf标志的方法。

2.6方面1

VVC 4中呈现的TU存在四种可能性：

1.等于CU尺寸的正常TU(无划分)；

2.SBT TU分割；

3.ISP TU分割；

4.由最大变换尺寸限制引起的TU分割。

下表展示了这些可能性。

表3：VVC 4变换树语法表

表3：VVC 4变换单元语法表

可以注意到，根据表3和表4，亮度和色度CBF信令都独立于彼此执行，并且色度CBF标志不存在分层相关性。

从软件的角度来看，VTM 4.0.1包括上述两个方面。

在VTM 4.0.1中测试了分层色度CBF信令方法，并且结果表明对编解码效率的影响可以忽略不计。另一方面，对这个特征的支持需要在软件和规范中附加非平凡的逻辑。提出从软件中移除分层色度CBF信令方法，并将亮度CBF推导包括在规范中。

下表展示了修改后的语法表。

表5：提出的的转换单元语法表(方面1)

2.7方面2

可以注意到，当前版本的软件对除了由最大变换尺寸限制引起的分割之外的所有可能的变换单元分割方法使用亮度cbf推导。为了设计统一，方面2提出了为划分的TU应用相似的亮度cbf推导方法，以满足最大TU限制。这种统一可以共享为ISP推导的最后亮度cbf的现有机制。下表展示了所提出的修改。

表6：提出的变换单元语法表(方面2)

2.8 JVET-N0054：色度残差的联合编解码

如果Cb和Cr的编解码块标志(cbf)均为真，则在比特流中用标志指示联合残差模式。如果该模式被激活，则对单个残差块进行解码。联合残差块的比特流语法和解码处理遵循VTM-4中Cb残差的比特流流语法和解码处理。通过对解码的联合残差求反来生成Cr块的残差。由于单个残差被用来表示两个块的残差，因此，对于该模式来说，通常需要使用低于用于对色度残差进行单独编解码的QP的QP。在CE测试中，联合模式使用的色度QP偏移量为-1，并且单独色度编解码使用+1(如JVET通用测试条件所规定的)。

该模式的解码器侧功能可以在VTM DecoderLib中如下实现：

新函数：

如果色度整形器处于活动状态，则与在单独编解码模式下所做的一样，对接收到的残差应用整形(即，对联合残差信号进行整形)。在编码器侧，在测试此模式时，将正Cb残差和负Cr残差的平均值用作联合残差：

resJoint＝(resCb–resCr)/2

还应注意到，当联合残差不太可能是最佳编码替代方案时，通过检查残差之间的相互关系并且通过避免进入变换和RDOQ阶段来提高编码器的速度是有可能的。

3.现有实现的缺点

目前的设计存在以下问题：

对于单树情况，根编解码块标志(Root CBF)(例如，JVET-N1001-v7中的cu_cbf)用于指示编解码单元(CU)中是否存在至少一个非零系数(即，在非单色情况下，包括对应于3个颜色分量的块)。

对于双树情况，亮度颜色分量的根CBF(表示为luma-Root CBF)(例如，在JVET-N1001-v7中，在用双树编解码结构编解码亮度分量时的cu_cbf)用于指示亮度块中是否存在至少一个非零系数。色度颜色分量的根CBF(表示为chroma-Root CBF)(例如，在JVET-N1001-v7中，在用双树编解码结构编解码色度分量时的cu_cbf)用于指示色度块中是否存在至少一个非零系数。

当Root CBF为1时，对CU的一个或多个变换块进行编解码。并且为变换块信令通知或推断CBF，以指示变换块中是否存在至少一个非零系数。具体地，Luma-CBF(例如，JVET-N1001-v7中的tu_cbf_luma)指示亮度变换块中是否存在至少一个非零系数。Cb-CBF(例如，JVET-N1001-v7中的tu_cbf_cb)指示Cb变换块中是否至少存在一个非零系数。Cr-CBF(例如，JVET-N1001-v7中的tu_cbf_cr)指示Cr变换块中是否存在至少一个非零系数。

1.在双树结构中，可以信令通知luma-Root CBF和chroma-Root CBF二者。然而，就编解码效率而言，它可能是次优的。

2.当应用联合Cb-Cr编解码时，只能对一个色度块的残差信息进行编解码。然而，在当前的设计中，Cb和Cr的CBF都被信令通知，这导致了较低的效率。

3.当CU被划分成超过一个变换块时，存在两种情形。如果应用ISP，则当Root CBF等于1时，变换块的至少一个CBF必须为1。在其他情况下，当Root CBF等于1时，变换块的所有CBF都可以等于0。

4.在双树情况下，当cu_cbf等于0且tu_cbf_cb等于0时，tu_cbf_cr应为非零。然而，在这种情况下，仍然信令通知tu_cbf_cr。

4.信令通知重要系数的示例方法

本公开技术的实施例克服了现有实现的缺点，从而提供具有更高编解码效率的视频编解码。在以下针对各种实现方式描述的示例中，阐述了基于所公开的技术的可以增强现有和未来的视频编解码标准的用于信令通知重要系数的方法。

下面提供的公开技术的示例解释了一般概念，并不意味着被解释为限制性的。在示例中，除非明确表示相反，否则可以组合这些示例中描述的各种特征。

在下面的讨论中，CU可以包括将单树编解码结构与所有三个颜色分量相关联的信息。或者CU可以包括仅将单色编解码与亮度颜色分量相关联的信息。或者，CU可以包括仅将双树编解码结构与亮度颜色分量(例如，YCbCr格式的Y分量或GBR格式的G分量)相关联的信息。或者CU可以包含仅将双树编解码结构与两个色度分量(例如，YCbCr格式的Cb和Cr分量、或GBR格式的B和R分量)相关联的信息。

在下面的描述中，“块”可以指编解码单元(CU)或变换单元(TU)或视频数据的任何矩形区域。“当前块”可以是指当前正在被解码/编码的编解码单元(CU)、或者当前正在被解码/编码的变换单元(TU)、或者任何正在被解码/编码的视频数据的编解码矩形区域。“CU”或“TU”也可以称为“编解码块”和“变换块”。

关于Root CBF

1.指示CU中是否存在非零系数的(Root CBF)的信令(诸如JVET-N1001-v7中的cu_cbf)可取决于是使用单树还是双树。

a.在一个示例中，当应用双树时，不信令通知Luma-Root CBF。

i.可选地，此外，不管Luma-Root CBF的值如何，都信令通知Luma-CBF。

b.在一个示例中，当应用双树时，不信令通知chroma-Root CBF。

i.可选地，此外，无论chroma-Root CBF的值如何，都信令通知Cb-CBF。

ii.可选地，此外，不管chroma-Root CBF的值如何，都信令通知Cr-CBF。

2.双树下CU的Root CBF或Luma-Root CBF/chroma-Root CBF的信令可取决于是否应用帧内块复制(IBC)。

a.双树下CU的Root CBF或Luma-Root CBF/chroma-Root CBF的信令可取决于是否应用了排除IBC的帧间预测。

b.当对CU使用IBC时，不信令通知CU的Root CBF。

i.可选地，此外，它被推断为等于Luma-CBF或(Cb-CBF或Cr-CBF)。

ii.可选地，此外，仅当启用双树时，可以应用上述方法。

c.可选地，仅当CU以帧间模式编解码时，才会信令通知向CU的Root CBF。

3.如果chroma-Root CBF为1且当前CU为双树结构中的色度CU，则可以有条件地信令通知Cb-CBF(诸如JVET-N1001-v7中的tu_cbf_cb)和Cr-CBF(诸如JVET-N1001-v7中的tu_cbf_cr)。

a.在一个示例中，Cr-CBF的信令取决于Cb-CBF。

i.在一个示例中，如果Cb-CBF为0，则不信令通知Cr-CBF。

1)例如，Cr-CBF被推断为1。

b.在一个示例中，CBF-Cb的信令取决于Cr-CBF。

i.在一个示例中，如果Cr-CBF为0，则不信令通知Cb-CBF。

1)例如，Cb-CBF被推断为1。

c.Cb-CBF和/或Cr-CBF的信令还可取决于块维度。

i.只有当当前CU/TU的宽度和高度都不大于最大变换尺寸时，才可以应用第3.a和/或3.b项。

4.当Luma-Root CBF为1时，可以基于当前CU是否为双树结构中的亮度CU，有条件地信令通知Luma-CBF(诸如JVET-N1001-v7中的tu_cbf_luma)。

a.当当前CU为双树结构中的亮度CU且luma-root CBF为1时，不信令通知Luma-CBF。

i.例如，Luma-CBF被推断为1。

b.Luma-CBF的信令还可取决于块维度。

i.仅当当前CU的宽度和高度都不大于最大变换尺寸时，才应用第4.a项。

5.对于上述示例，语法的信令可以指示是否信令通知该语法。可选地，语法的信令可以包括用于编解码该语法的上下文。

关于色度CBF和联合色度残差编解码

6.可以在信令通知Cb-CBF和Cr-CBF之前信令通知与联合色度残差编解码相关的语法元素(例如，该工具的使用)。

a.在一个示例中，可以取决于联合色度残差编解码的指示信令通知Cb-CBF和Cr-CBF。

i.在一个示例中，当应用联合色度残差编解码时，可以不信令通知Cb-CBF和Cr-CBF。

1)例如，当应用联合色度残差编解码时，Cb-CBF和Cr-CBF被推断为1。

b.在一个示例中，这种方法只适用于双树的情况。

7.可以在Cx-CBF之后但在Cy-CBF之前信令通知联合色度残差编解码相关语法元素的指示(例如，该工具的使用)。在一个示例中，Cx＝Cb，Cy＝Cr。在第二个示例中，Cx＝Cr，Cy＝Cb。

a.在一个示例中，可以取决于Cx-CBF来信令通知联合色度残差编解码的指示。

i.在一个示例中，当Cx-CBF为0时，可以不信令通知联合色度残差编解码的指示。

1)例如，当Cx-CBF为0时，可以推断为不应用联合色度残差编解码。

b.在一个示例中，可以取决于联合色度残差编解码的指示来信令通知Cy-CBF。

i.在一个示例中，当应用联合色度残差编解码时，可以不信令通知Cy-CBF。

1)例如，当应用联合色度残差编解码时，Cy-CBF被推断为1。

c.可选地，此外，可以跳过Root CBF或chroma-Root CBF的信令。

8.可以根据编解码信息有条件地信令通知与联合色度残差编解码相关的语法元素(例如，该工具的使用)。

a.可以在编解码模式的条件下信令通知与联合色度残差编解码相关的语法元素。

i.在一个示例中，如果用IBC对块进行编解码，则可不信令通知与联合色度残差编解码相关的语法元素。

1)可选地，此外，对于IBC编解码的块，可以推断联合色度残差编解码被禁用。

ii.在一个示例中，如果块用帧间编解码，则可不信令通知与联合色度残差编解码相关的语法元素。

1)可选地，此外，对于帧间编解码块，可以推断联合色度残差编解码被禁用。

iii.在一个示例中，只有当色度块用CCLM模式编解码时，才可以信令通知与联合色度残差编解码相关的语法元素。

iv.在一个示例中，如果色度块用CCLM模式编解码，则可不信令通知与联合色度残差编解码相关的语法元素。

1)可选地，此外，可以将联合色度残差编解码推导为被启用。

2)可选地，此外，可以从为Cb和Cr导出的CCLM参数推导在联合色度残差编解码中使用的参数。

b.是否信令通知与联合色度残差编解码相关的语法元素可取决于无损编解码的条件。

i.在一个示例中，如果用无损编解码对块进行编解码，则可不信令通知与联合色度残差编解码相关的语法元素。

1)联合色度残差编解码被推断为禁用。

c.联合色度残差编解码和无损编解码被互斥地用于块。

i.可选地，此外，可以在联合色度残差编解码的使用为假(false)的条件下信令通知与无损编解码相关语法元素。

1)在一个示例中，如果联合色度残差编解码被启用，则不信令通知与无损编解码相关的语法元素并且将其推断为被禁用。

d.可以在序列/图片/条带/片组/片级别(诸如DPS/VPS/SPS/PPS/APS/图片标头/条带标头/片组标头中)信令通知是否应用联合色度残差编解码。

i.在一个示例中，如果在序列/图片/条带/片组/片级别禁用了联合色度残差编解码，则可以不在块级别信令通知与联合色度残差编解码相关的语法元素(例如，JVET-N1001-v7中的tu_joint_cbcr_residual)。

超过一个变换块的编解码

9.当当前CU未使用ISP模式编解码时，是否信令通知Luma-CBF可取决于CU中先前信令通知的Luma-CBF。

a.在一个示例中，如果与CU中的其他子块相关联的所有先前信令通知的Luma-CBF都为零，则可不信令通知与CU中的最后一个子块相关联的Luma-CBF。

i.在一个示例中，最后一个Luma-CBF可以被推断为1。

ii.在一个示例中，仅当luma-root CBF被信令通知为1时，才应用第9项。

iii.在一个示例中，仅当应用双树结构时才应用第9项。

10.是否信令通知Cx-CBF可取决于CU当当前CU中先前信令通知的Cb-CBF和Cr-CBF，其中Cx可以是Cb或Cr。

a.在一个示例中，如果CU中先前信令通知的所有Cb-CBF和Cr-CBF都为零，则可以不信令通知CU中的最后一个Cx-CBF。

i.在一个示例中，最后一个Cx-CBF可以被推断为1。

ii.在一个示例中，仅当chroma-Root CBF被信令通知为1时，才应用第10项。

iii.在一个示例中，仅当应用双树结构时才应用第10项。

11.当当前CU未使用ISP模式编解码时，允许CU中的所有Luma-CBF都等于0。

a.在一个示例中，当当前CU用ISP模式编解码时，从CU中先前信令通知的Luma-CBF分离出Luma-CBF的信令。

12.可以不信令通知SBT编解码的CU中的Luma-CBF并将其推断为1，例如，只有当CU具有非零亮度残差时，才允许SBT。

a.在一个示例中，这种约束可以应用于某些特定的块尺寸。

i.可选地，此外，可以针对不同的SBT模式设计不同的块尺寸。

增量QP更改

13.提出在用ISP模式编解码的CU中，可以为每个子块信令通知单独的增量QP信息。

a.例如，当子块中的至少一个系数不等于0时，为用ISP模式编解码的CU中的子块信令通知单独的增量QP信息。

14.提出在ISP模式编解码的CU中，无论第一个子块(或TU)中是否存在非零系数，都可以仅为第一子块(或TU)信令通知增量QP信息。

15.提出无论第一个TU中是否存在非零系数，都可以仅为具有超过一个TU的CU中的第一个TU信令通知增量QP信息。

a.是否应用第15项可取决于当前CU的维度W×H。例如，如果W大于T1或H大于T2，则可以应用第15项。例如，T1＝T2＝64。在另一个示例中，T1和T2等于允许的最大变换尺寸。

16.当在一个CU内有多个TU时，可以多次信令通知增量QP。

a.在一个示例中，可以按照编解码顺序为第一个TU信令通知增量QP。

b.在一个示例中，如果Root CBF等于1，则可以为其余TU信令通知增量QP。

c.在一个示例中，如果tu_cbf_luma等于1，则可以为其余TU信令通知增量QP。

17.当在一个CU内有多个TU，并且为TU信令通知一次增量QP时，其余TU的增量QP的设置可采用以下方法：

a.在一个示例中，可将其余TU的增量QP设置为等于信令通知的增量QP。

b.可选地，可将其余TU的增量QP设置为等于0。

较大块的处理

18.当CTU尺寸大于最大变换块尺寸时，当应用单树结构时，不同颜色分量的划分模式可以不同。假设允许的最大变换尺寸为T，并且所考虑的CU(或CTU)的维度为M×N(亮度样点单位)。

a.例如，如果M大于T或N大于T，则可以进一步划分亮度块，但是对应的色度块可以不被划分。

i.在一个示例中，假设从色度样点到亮度样点的水平和垂直缩放因子是P和Q(例如，当颜色格式为4:2:0时，P＝Q＝2)，如果M/P大于T或N/Q大于T，则可以进一步划分色度块。否则，它们不会被进一步划分。

ii.在一个示例中，如果CTU尺寸是128×128，最大变换块尺寸是64x64，则亮度块可以被划分成4个块，而色度块可以不被划分。

图11示出用于视频处理的示例性方法的流程图。方法1100包括：基于当前块对分割结构的应用，做出(1102)关于在当前块的比特流表示中选择性地信令通知编解码块标志(CBF)决定；以及基于该决定执行(1104)当前块与当前块的比特流表示之间的转换。

下面的示例列表提供了可以解决本文中描述的技术问题以及其他问题的实施例。

1.一种用于视频处理的方法(例如，方法1100)，包括：基于当前块对分割结构的应用，做出关于在当前块的比特流表示中选择性地信令通知编解码块标志(CBF)决定；以及基于该决定执行当前块与当前块的比特流表示之间的转换。

2.根据示例1所述的方法，其中CBF包括亮度颜色分量的根CBF(Luma-Root CBF)，当分割结构包括双树时，不信令通知Luma-Root CBF。

3.根据示例1所述的方法，其中CBF包括色度颜色分量的根CBF(chroma-RootCBF)，当分割结构包括双树时，不信令通知chroma-Root CBF。

4.根据示例1所述的方法，其中分割结构包括双树，并且其中，所述决定还基于当前块对帧内块复制(IBC)模式的选择性应用。

5.根据示例4所述的方法，其中CBF是当前块的根CBF(Root CBF)，当将IBC模式应用于当前块时，不信令通知Root CBF。

6.根据示例4所述的方法，其中CBF是当前块的Root CBF，当当前块使用帧间模式编解码时，信令通知Root CBF。

7.根据示例1所述的方法，其中当前块是色度块，其中分割结构包括双树，其中当前块的chroma-Root CBF是1，并且其中CBF包括Cb-CBF和Cr-CBF。

8.根据示例7所述的方法，其中Cb-CBF和Cr-CBF的选择性信令还基于当前块的维度。

9.根据示例1所述的方法，其中当前块是亮度块，其中分割结构包括双树，其中当前块的Luma-Root CBF是1，其中CBF包括Luma-CBF。

10.根据示例9所述的方法，其中Luma-CBF的选择性信令还基于当前块的维度。

11.根据示例8或10所述的方法，其中当前块的宽度和高度分别不大于最大变换尺寸的宽度和高度。

12.根据示例1至11中任一项所述的方法，其中CBF的信令包括用于编解码CBF的上下文。

13.一种用于视频处理的方法，包括：为当前块和当前块的比特流表示之间的转换配置比特流表示，其中，所述配置包括在选择性地信令通知色度分量的编解码块标志(CBF)之前，在比特流表示中信令通知与联合色度残差编解码处理相关的一个或多个语法元素；以及基于所述配置执行转换。

14.根据示例13所述的方法，其中色度分量的CBF包括Cb-CBF和Cr-CBF。

15.根据示例13或14所述的方法，其中当对当前块应用联合色度残差编解码处理时，不信令通知色度分量的CBF。

16.根据示例13或14所述的方法，其中当将联合色度残差编解码处理应用于当前块时，推断色度分量的CBF为1。

17.根据示例13到16中任一项所述的方法，其中基于双树分割结构对当前块进行分割。

18.根据示例13所述的方法，其中色度分量的CBF包括Cx-CBF和Cy-CBF，并且其中，在Cy-CBF之前并且在Cx-CBF之后信令通知一个或多个语法元素。

19.根据示例18所述的方法，其中Cx-CBF是Cb-CBF，并且Cy-CBF是Cr-CBF。

20.根据示例18所述的方法，其中Cx-CBF是Cr-CBF，并且Cy-CBF是Cb-CBF。

21.根据示例13所述的方法，其中信令通知一个或多个语法元素基于当前块的编解码模式。

22.根据示例21所述的方法，其中当使用跨分量线性模式(CCLM)模式对当前块进行编解码时，信令通知一个或多个语法元素。

23.根据示例21所述的方法，当使用无损编解码技术对当前块进行编解码时，不信令通知一个或多个语法元素。

24.一种用于视频处理的方法，包括：基于当前块的编解码模式和一个或多个先前信令通知的CBF，做出关于选择性地信令通知编解码块标志(CBF)的的决定；以及基于该决定执行当前块与当前块的比特流表示之间的转换。

25.根据示例24所述的方法，其中编解码模式是帧内子块分割(ISP)模式，其中当前块包括(K+1)个子块，其中一个或多个先前信令通知的CBF包括前K个子块的CBF，并且其中，当前K个子块的CBF中的每一个都为零时，CBF是未信令通知的最后一个子块的CBF。

26.根据示例24或25所述的方法，其中基于双树分割结构对当前块进行分割。

27.根据示例24至26中任一项所述的方法，其中CBF是Luma-CBF。

28.根据示例24至26中任一项所述的方法，其中CBR是Cr-CBF或Cb-CBF。

29.一种用于视频处理的方法，包括：确定使用帧内子块分割(ISP)模式对当前块进行编解码；基于所述确定，配置当前块的比特流表示以包括当前块的一个或多个子块的各个增量量化参数(QP)信息；以及基于所述配置，执行当前块和当前块的比特流表示之间的转换。

30.根据示例29所述的方法，其中比特流表示包括当前块的一个或多个块中的每一个的各个增量QP信息。

31.根据示例29所述的方法，其中比特流表示包括当前块的一个或多个块的仅第一个子块的个别增量QP信息。

32.根据示例1到31中任一项所述的方法，其中当前块是编解码单元(CU)、变换单元(TU)、或视频数据的矩形区域。

33.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，当指令由处理器执行时，使处理器实现示例1至32中任一项所述的方法。

34.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于实现示例1至32中任一项所述的方法的程序代码。

5.公开技术的示例实现

所有工作草案的修改均基于JVET-N1001-v7。

在以下示例性实施例中，以粗体、下划线、斜体字体突出显示了在JVET-N1001-v2上的更改。删除的文本用双括号标记(例如，[[a]]表示删除字符“a”)。

5.1.实施例1

本小节示出了第4节中第3项的示例。

7.3.7.10变换单元语法

tu_cbf_cr[x0][y0]等于1指定Cr变换块包含一个或多个不等于0的变换系数水平。数组索引x0，y0指定所考虑的变换块的左上位置(x0，y0)。

当当前CU中不存在tu_cbf_cr[x0][y0]时，推断其值等于C。

如果满足以下所有条件，则C等于1。否则等于0。

–cu_cbf＝1

–treeType＝＝DUAL_TREE_CHROMA

–CuPredMode[x0][y0]！＝MODE_INTRA

–tu_cbf_cb[x0][y0]＝＝0；

–CbWidth[x0][y0]<＝MaxTbSizeY

–CbHeight[x0][y0]<＝MaxTbSizeY

可选地，以下适用，例如，假设MaxTbSizeY等于64。

7.3.7.11变换单元语法

当当前CU中不存在tu_cbf_cr[x0][y0]时，推断其值等于C。

如果满足以下所有条件，则C等于1。否则等于0。

–cu_cbf＝1

–treeType＝＝DUAL_TREE_CHROMA

–CuPredMode[x0][y0]！＝MODE_INTRA

tu_cbf_cb[x0][y0]＝＝0；

5.2实施例2

本小节示出了第4节中第2项的示例。

7.3.7.5编解码单元语法

可选地，以下可适用：

5.3实施例3

7.3.7.6变换单元语法

5.4实施例4

本小节示出了第4节中第6项的示例。

7.3.7.11变换单元语法

当当前CU中不存在tu_cbf_cb[x0][y0]时，如果tu_joint_cbcr_residual[x0] [y0]等于1，则将其推断为1。否则，将其推断为0。

当当前CU中不存在tu_cbf_cr[x0][y0]时，如果tu_joint_cbcr_residual[x0] [y0]等于1，则将其推断为1。否则，将其推断为0。

替代示例是：

5.5实施例5

本小节示出了第14和第15项的示例。

变换单元语法

(CbX[x0][y0],CbY[x0][y0])指定覆盖位置(x0,y0)的编解码单元的左上位置。

在替代实施例中

图12是视频处理装置1200的框图。装置1200可用于实现本文所述的一种或多种方法。装置1200可以实施在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1200可以包括一个或多个处理器1202、一个或多个存储器1204和视频处理硬件1206。处理器1202可以被配置成实现本文档中描述的一个或多个方法。存储器(多个存储器)1204可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件1206可用于在硬件电路中实现本文档中描述的一些技术。

在一些实施例中，视频编解码方法可以使用如关于图12所述的在硬件平台上实现的装置来实现。

在本文中，术语“视频处理”或“视觉媒体处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示转换为相应的比特流表示期间应用，或反之亦然。例如，如由语法定义的那样，当前视频块的比特流表示可以对应于在比特流内的不同位置处并置或传播的比特。例如，可以根据经过变换和编解码的误差残值来编解码宏块，并且还可以使用比特流中的标头和其他字段中的比特。此外，如上述解决方案中所述，在转换期间，解码器可以基于上述确定，在知晓某些字段可能存在或不存在的情况下来解析比特流。类似地，编码器可以确定是否包括某些语法字段，并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。

图13是示出其中可以实现本文公开的各种技术的示例视频处理系统1300的框图。各种实现可以包括系统1300的部分或全部组件。系统1300可以包括用于接收视频内容的输入1302。视频内容可以原始或未压缩格式(例如，8或10位多分量像素值)接收，或者可以压缩或编解码格式接收。输入1302可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统1300可以包括编码组件1304，其可以实现本文中描述的各种编码或编码方法。编码组件1304可以降低从输入1302到编码组件1304的输出的视频的平均比特率，以产生视频的编码表示。因此，编码技术有时被称为视频压缩或视频转码技术。编码组件1304的输出可以存储，或者通过由组件1306表示的所连接的通信来信令通知。组件1308可以使用在输入1302处接收的视频的存储或通信比特流(或编码的)表示来生成信令通知到显示接口1310的像素值或可显示视频。从比特流表示生成用户可视视频的处理有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编码”操作或工具，但是应当理解，在编码器处使用编码工具或操作，并且将由解码器执行对应的解码工具或反转编码结果的操作。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。

图14示出了用于视觉媒体处理的示例方法的流程图。本流程图的步骤在本文第4节的示例9中进行了讨论。在步骤1402处，该处理根据条件信令规则执行视觉媒体数据的当前视频块和视觉媒体数据的比特流表示之间的转换，其中，禁止当前视频块使用帧内子块分割(ISP)划分模式，ISP划分模式取决于当前视频块的维度将当前视频块垂直或水平地划分为多个子块，其中，在转换与禁用ISP划分模式相关联的情况下，条件信令规则指定在比特流表示中选择性地包括指示当前视频块的子块的亮度分量包括非零系数值的第一语法元素，并且进一步地，其中选择性地包括至少基于比特流表示中包括的一个或多个先前子块的具有非零系数值的一个或多个其他语法元素。

现在以基于条款的格式讨论本文的一些实施例。

1.一种视觉媒体处理方法，包括：

根据条件信令规则执行视觉媒体数据的当前视频块和视觉媒体数据的比特流表示之间的转换，其中，禁止当前视频块使用帧内子块分割(ISP)划分模式，ISP划分模式取决于当前视频块的维度将当前视频块垂直或水平地划分为多个子块，其中，在转换与禁用ISP划分模式相关联的情况下，条件信令规则指定在比特流表示中选择性地包括第一语法元素，第一语法元素指示当前视频块的子块的亮度分量包括非零系数值，并且进一步地，其中选择性地包括至少基于比特流表示中包括的一个或多个先前子块的具有非零系数值的一个或多个其他语法元素。

在一些实施例中，可选地，使当前视频块能够使用帧内子块分割(ISP)划分模式，ISP划分模式取决于当前视频块的维度将当前视频块垂直或水平地划分为多个子块，其中，在转换与启用ISP划分模式相关联的情况下，条件信令规则指定在比特流表示中选择性地包括第一语法元素，第一语法元素指示当前视频块的子块的亮度分量包括非零系数值，并且进一步地，其中选择性地包括至少基于比特流表示中包括的一个或多个先前子块的具有非零系数值的一个或多个其他语法元素。

2.根据条款1所述的方法，其中第一语法元素是值为1的亮度颜色分量的根CBF(Luma-Root CBF)，还包括：

响应于确定比特流表示中包括的一个或多个其他语法元素中的每一个为零，从比特流表示中排除第一语法元素，其中第一语法元素与当前视频块的最后一个子块相关联。

3.根据条款1-2中任一项或多项所述的方法，其中，在从比特流表示中排除第一语法元素的情况下，推断第一语法元素的值。

4.根据条款3所述的方法，其中第一语法元素的值被推断为1。

5.根据条款1-4中任一项或多项所述的方法，其中第一语法元素是具有固定值的Luma-Root CBF。

6.根据条款5所述的方法，其中固定值为1。

7.根据条款1-6中任一项或多项所述的方法，还包括：

做出将双树分割结构应用于当前视频块的确定。

8.根据条款1-7中任一项或多项所述的方法，其中在比特流表示中选择性地包括第一语法元素还基于当前视频块的维度。

9.根据条款8所述的方法，其中当前视频块经受用于编解码当前视频块的部分的子块变换(SBT)，并且其中，当前块的宽度和高度不大于与SBT相关联的最大变换尺寸的宽度和高度。

10.根据条款1-9中任一项或多项所述的方法，其中第一语法元素是亮度编解码的块标志(Luma-CBF)，并且一个或多个其他语法元素是一个或多个先前子块的Luma-CBF。

11.根据条款1-10中任一项或多项所述的方法，其中ISP划分模式导致将当前视频块划分成2个或4个子块。

12.根据条款1所述的方法，其中多个第一语法元素与当前视频块相关联，并且其中，在禁用ISP模式的情况下，与当前视频块相关联的多个语法元素中的所有语法元素都为零。

13.根据条款1所述的方法，其中，在启用ISP模式的情况下，选择性地包括第一语法元素不取决于比特流表示中包括的一个或多个先前子块的一个或多个其他语法元素。

14.根据条款1-13中任一项或多项所述的方法，其中在比特流表示中排除第一语法元素情况下，当前视频块满足一个或多个尺寸约束。

15.根据条款1-14中任一项或多项所述的方法，其中第一语法元素是与当前视频块的色度分量相关联的编解码块标志(CBF)，并且一个或多个其他语法元素是一个或多个先前子块的色度CBF。

16.根据条款15所述的方法，其中CBF包括Cx-CBF和Cy-CBF。

17.根据条款16所述的方法，其中Cx-CBF是Cb-CBF，并且Cy-CBF是Cr-CBF。

18.根据条款16所述的方法，其中Cx-CBF是Cr-CBF，并且Cy-CBF是Cb-CBF。

19.根据条款15所述的方法，其中CBF与当前视频块的最后一个子块相关联。

20.根据条款15-19中任一项或多项所述的方法，其中在从比特流表示中排除CBF的情况下，推断CBF的值。

21.根据条款20所述的方法，其中CBF的值被推断为1。

22.根据条款15-21中任一项或多项所述的方法，其中CBF是具有固定值的色度颜色分量的根CBF(chroma-Root CBF)。

23.根据条款22所述的方法，其中固定值为1。

24.根据条款15-23中任一项或多项所述的方法，还包括：

做出将双树分割结构应用于当前视频块的确定。

25.根据条款15-24中任一项或多项所述的方法，其中在比特流表示中选择性地包括第一语法元素还基于当前视频块的维度。

26.根据条款25所述的方法，其中当前视频块经受用于编解码当前视频块的部分的子块变换(SBT)，并且其中，当前块的宽度和高度不大于与SBT相关联的最大变换尺寸的宽度和高度。

27.根据条款1-26中任一项所述的方法，其中转换包括从当前视频块生成比特流表示。

28.根据条款1-26中任一项所述的方法，其中所述转换包括从比特流表示生成当前视频块的像素值。

29.根据条款1-26中任一项所述的方法，其中当前视频块是编解码单元(CU)、或变换单元(TU)、或视频数据的矩形区域。

30.一种视频处理装置，其包括处理器，所述处理器被配置成实现条款1-26中任一项或多项所述的方法。

31.一种视频编码装置，其包括处理器，所述处理器被配置成实现条款1-26中任一项或多项所述的方法。

32.一种视频解码装置，其包括处理器，所述处理器被配置成实现条款1-26中任一项或多项所述的方法。

33.一种其上存储有代码的计算机可读介质，该代码在执行时使处理器实现条款1-26中任一项或多项所述的方法。

综上所述，应当理解的是，为了说明的目的，本文描述了本公开技术的具体实施例，但是可以在不偏离本公开的范围的情况下进行各种修改。因此，除了受所附权利要求限制外，本公开的技术不受限制。

本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

本说明书和附图仅被视为示例性的，其中示例性是指示例。如本文所用，“或”的使用意欲包括“和/或”，除非上下文另有明确指示。

虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种处理视频数据的方法，其包括：

针对视频的第一视频块与所述视频的比特流之间的第一转换确定第一指示，其中所述第一视频块是使用帧间模式编解码的；

响应于所述第一指示指示所述第一视频块被划分成多个第一子块，推断每个第一子块的第二指示，其中所述第二指示不包含于所述比特流中，并且被推断为指示对应第一子块的亮度分量是否包含非零系数值；以及

至少基于所述第二指示执行所述第一转换，

针对所述视频的第二视频块与所述视频的所述比特流之间的第二转换确定第三指示，其中所述第二视频块是使用帧内模式编解码的；

响应于所述第三指示指示所述第二视频块被划分成多个第二子块，确定用于每个第二子块的第四指示，其中用于所述多个第二子块中的一个的所述第四指示是否包含于所述比特流中是基于用于包含于所述比特流中的所述多个第二子块中的其它第二子块的所述第四指示的值；以及

至少基于所述第四指示，执行所述第二转换。

2.根据权利要求1所述的方法，其中所述多个第一子块包括两个第一子块，其中导出用于所述两个第一子块中的一个的所述第二指示指示亮度分量包含非零系数值，导出用于所述两个第一子块中的另一个的所述第二指示指示亮度分量不包含非零系数值。

3.根据权利要求1所述的方法，其中所述第二指示推断为1，以指示所述对应第一子块的所述亮度分量包含非零系数值。

4.根据权利要求1所述的方法，其中响应于用于所述多个第二子块中的在先第二子块的所述第二指示指示所述亮度分量不包含非零系数值，用于所述多个第二子块中的最后一个第二子块的所述第二指示不包含于所述比特流中。

5.根据权利要求4所述的方法，其中导出所述多个第二子块中的最后一个第二子块的所述第二指示以指示所述亮度分量包含非零系数值。

6.根据权利要求5所述的方法，其中所述多个第二子块中的最后一个第二子块的所述第二指示推断为1，以指示所述多个第二子块中的所述最后一个第二子块的所述亮度分量包含非零系数值。

7.根据权利要求1所述的方法，其中所述第二视频块的大小由M×N指示，M和N分别指示所述第二视频块的宽度和高度，以及

其中响应于M＝4，N＝8或M＝8，N＝4，将所述第二视频块划分成2个第二子块，或其中响应于M与N的乘积大于32，将所述第二视频块划分成4个第二子块。

8.根据权利要求1所述的方法，其中所有所述第二子块共享相同帧内模式。

9.根据权利要求1所述的方法，其中所述转换包括将所述第一视频块编码到所述比特流中。

10.根据权利要求1所述的方法，其中所述转换包括从所述比特流解码所述第一视频块。

11.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中在由所述处理器执行所述指令时，使得所述处理器：

至少基于所述第二指示执行所述第一转换，

至少基于所述第四指示，执行所述第二转换。

12.根据权利要求11所述的装置，其中所述多个第一子块包括两个第一子块，其中导出用于所述两个第一子块中的一个的所述第二指示指示亮度分量包含非零系数值，导出用于所述两个第一子块中的另一个的所述第二指示指示亮度分量不包含非零系数值。

13.根据权利要求11所述的装置，其中所述第二指示推断为1，以指示所述对应第一子块的所述亮度分量包含非零系数值。

14.根据权利要求11所述的装置，其中响应于用于所述多个第二子块中的在先第二子块的所述第二指示指示所述亮度分量不包含非零系数值，用于所述多个第二子块中的最后一个第二子块的所述第二指示不包含于所述比特流中。

15.根据权利要求14所述的装置，其中导出所述多个第二子块中的最后一个第二子块的所述第二指示以指示所述亮度分量包含非零系数值。

16.根据权利要求15所述的装置，其中所述多个第二子块中的最后一个第二子块的所述第二指示推断为1，以指示所述多个第二子块中的所述最后一个第二子块的所述亮度分量包含非零系数值。

17.一种用于存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

至少基于所述第二指示执行所述第一转换，

至少基于所述第四指示，执行所述第二转换。

18.一种用于存储视频的比特流的方法，包括：

针对视频的第一视频块确定第一指示，其中所述第一视频块是使用帧间模式编解码的；

响应于所述第一指示指示所述第一视频块被划分成多个第一子块，推断每个第一子块的第二指示，其中所述第二指示不包含于所述比特流中，并且被推断为指示对应第一子块的亮度分量是否包含非零系数值；

至少基于所述第二指示生成所述比特流，

针对所述视频的第二视频块确定第三指示，其中所述第二视频块是使用帧内模式编解码的；

响应于所述第三指示指示所述第二视频块被划分成多个第二子块，确定用于每个第二子块的第四指示，其中用于所述多个第二子块中的一个的所述第四指示是否包含于所述比特流中是基于用于包含于所述比特流中的所述多个第二子块中的其它第二子块的所述第四指示的值；

至少基于所述第四指示生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读存储介质中。