CN110677674B

CN110677674B - 视频处理的方法、设备和非暂时性计算机可读介质

Info

Publication number: CN110677674B
Application number: CN201910586571.0A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-07-01
Filing date: 2019-07-01
Publication date: 2023-03-31
Anticipated expiration: 2039-07-01
Also published as: TW202007154A; WO2020008325A1; CN110677674A; TWI705696B

Abstract

描述了用于视频处理的装置、系统和方法。在代表性方面中，提供了视频处理方法，包含：基于当前视频块的分量类型，确定交织预测模式是否适用于当前视频块与表示当前视频块的比特流之间的转换；以及，响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式而进行转换，其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

Description

视频处理的方法、设备和非暂时性计算机可读介质

相关申请的交叉引用

根据适用的专利法和/或依据巴黎公约的规则，本申请要求于2018年7月1日提交的国际专利申请第PCT/CN2018/093943号的优先权和权益。该国际专利申请第PCT/CN2018/093943号的全部公开内容通过引用并入作为本申请的公开内容的一部分。

技术领域

本专利文件涉及一种视频编码和解码技术、装置和系统。

背景技术

尽管视频压缩有所进步，但是数字视频占因特网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的所连接的用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文件公开了一种技术，其可以用于视频编码和解码实施例中，以改善基于子块的编码的性能，并且特别地，当使用仿射运动编码模式。

在一个示例性方面中，提供了一种视频处理方法，包含：基于当前视频块的分量类型，确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换；以及响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式而进行转换，其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

在另一示例性方面中，提供了一种视频处理方法，包含：基于当前视频块的预测方向，确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换；以及响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

在另一示例性方面中，提供了一种视频处理方法，包含：基于当前图片的低延迟模式，确定交织预测模式是否适用于当前图片中的当前视频块与当前视频块的比特流表示之间的转换；以及响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，并且，其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

在另一示例性方面中，提供了一种视频处理方法，包含：基于使用包含当前视频块的当前图片作为参考，确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换；以及响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，并且，其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块样式，并且生成作为对多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

在另一示例性方面中，提供了一种视频处理方法，包含：选择性地基于视频条件，进行视频的来自视频帧的亮度分量、第一色度分量和第二色度分量中的一个或多个分量的基于交织预测的编码，其中进行交织预测包括通过以下为视频的分量的当前块确定预测块：选择视频帧的分量的像素的集合以形成块；根据第一样式将块分割为子块的第一集合；基于子块的第一集合生成第一中间预测块；根据第二样式将块分割为子块的第二集合，其中第二集合中的至少一个子块不在第一集合中；基于子块的第二集合生成第二中间预测块；以及基于第一中间预测块和第二中间预测块确定预测块。

在又一示例性方面中，公开了一种实现本文中描述的视频编码方法的视频编码器装置。

在又一代表性方面中，将本文中描述的各种技术实施为非瞬态计算机可读介质上储存的计算机程序产品。计算机程序产品包含用于进行本文中描述的方法的程序代码。

在又一代表性方面中，视频解码器设备可以实现本文所描述的方法。

以下所附附件、附图和说明书中提出了一个或多个实现方式的细节。根据说明书和附图以及权利要求，其他特征将变得显而易见。

附图说明

图1示出了基于子块的预测的示例。

图2图示了简化的仿射运动模型的示例。

图3示出了每个子块的仿射运动矢量场(MVF)的示例。

图4示出了AF_INTER模式的运动矢量预测(MVP)的示例。

图5A和图5B绘示了AF_MERGE编码模式的候选的示例。

图6示出了编码单元(CU)的高级时域运动矢量预测器(ATMVP)运动预测的示例性过程。

图7示出了具有四个子块(A-D)的一个CU及其相邻块(a–d)的示例。

图8示出了视频编码中的光流轨迹的示例。

图9A和图9B示出了没有块扩展的双向光(BIO)编码技术的示例。图9A示出了块之外的访问位置的示例，并且图9B示出了为了避免额外存储器访问和计算而使用的填充(padding)的示例。

图10示出了双边匹配的示例。

图11示出了模板匹配的示例。

图12示出了帧速率上转换(FRUC)中的单边运动估计(ME)的示例。

图13图示了交织预测的示例性实现方式。

图14A至图14C示出了部分交织预测的示例。虚线表示第一细分样式；实线表示第二细分样式；粗线表示应用交织预测的区域。在该区域之外，不应用交织预测。

图15示出了子块中的权重值的示例。示例性权重值{Wa，Wb}为{3，1}、{7，1}、{5，3}、{13，3}等。

图16示出了根据本公开的技术的具有两种细分样式的交织预测的示例。

图17A示出了根据本公开的技术的其中将块细分为4×4子块的示例性细分样式。

图17B示出了根据本公开的技术的其中将块细分为8×8子块的示例性细分样式。

图17C示出了根据本公开的技术的其中将块细分为4×8子块的示例性细分样式。

图17D示出了根据本公开的技术的其中将块细分为8×4子块的示例性细分样式。

图17E示出了根据本公开的技术的其中将块细分为非均匀子块的示例性细分样式。

图17F示出了根据本公开的技术的其中将块细分为非均匀子块的另一示例性细分样式。

图17G示出了根据本公开的技术的其中将块细分为非均匀子块的又一示例性细分样式。

图18是用于实现本文件中描述的视频处理方法的硬件平台的示例的框图。

图19是本文件中描述的视频处理的示例性方法的流程图。

图20是本文件中描述的视频处理的另一示例性方法的流程图。

图21是本文件中描述的视频处理的另一示例性方法的流程图。

图22是本文件中描述的视频处理的另一示例性方法的流程图。

图23是本文件中描述的视频处理的另一示例性方法的流程图。

具体实施方式

本文件中使用章节标题以改善可读性，并且不将章节中描述的技术和实施例限制于仅该章节。

为改善视频的压缩比，研究者持续地寻求编码视频的新技术。

1.介绍

本发明涉及视频/图像编码技术。具体地，其涉及视频/图像编码中的基于子块的预测。其可以应用于比如HEVC的现有视频编码标准，或将最终确定的标准(通用视频编码(Versatile Video Coding)。其还可以适用于未来的视频/图像编码标准或视频/图像编解码器。本发明可以进一步改善P1805026601。

简要讨论

基于子块的预测最初通过HEVC附录I(3D-HEVC)引入到视频编码标准中。通过基于子块的预测，块(诸如编码单元(CU)或预测单元(PU))被细分为若干不重叠的子块。不同的子块可以分配不同的运动信息，诸如参考索引或运动矢量(MV)，并且单独地对每个子块进行运动补偿(MC)。图1展示了基于子块的预测的概念。

为了探索HEVC之外的未来视频编码技术，由VCEG和MPEG于2015年联合成立联合视频探索团队(JVET)。从那时起，JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。

在JEM中，在若干编码工具中采用基于子块的预测，诸如仿射预测、可选时域运动矢量预测(ATMVP)、空间-时间运动矢量预测(STMVP)、双向光流(BIO)以及帧速率上转换(FRUC)。

2.1仿射预测

在HEVC中，对于运动补偿预测(MCP)仅应用平移运动模型。而在现实世界中，存在许多种运动，例如放大/缩小、旋转、透视运动和其他不规则的运动。在JEM中，应用简化的仿射变换运动补偿预测。如图2所示，块的仿射运动场由两个控制点运动矢量描述。

块的运动矢量场(MVF)由以下等式描述：

其中(v_0x,v_0y)是左顶角控制点的运动矢量，(v_1x,v_1y)是右顶角控制点的运动矢量。

为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。子块尺寸M×N如等式(2)中导出，其中MvPre是运动矢量分数精度(在JEM中为1/16)，(v_2x,v_2y)是左下控制点的运动矢量，其根据等式(1)计算。

在由等式(2)导出之后，如果需要，应该向下调整M和N，以使其分别为w和h的除数。

如图3所示，为了导出每个M×N子块的运动矢量，根据等式(1)计算每个子块的中心样本的运动矢量并将其取整至1/16分数精度。然后，应用运动补偿插值滤波器，以利用导出的运动矢量生成每个子块的预测。

在MCP之后，每个子块的高精度运动矢量以与正常运动矢量相同的精度被取整并保存。

在JEM中，存在两种仿射运动模式：AF_INTER模式和AF_MERGE模式。对于宽度和高度均大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级别的仿射标志，以指示是否使用AF_INTER模式。在此模式下，使用相邻块构建具有运动矢量对{(v₀，v₁)|v₀＝{v_A，v_B，v_c}，v₁＝{v_D，v_E}}的候选列表。如图4所示，从块A、块B或块C的运动矢量中选择v0。来自相邻块的运动矢量根据参考列表并且根据相邻块的参考的POC、当前CU的参考的POC和当前CU的POC之间的关系来缩放。并且从相邻块D和E中选择v₁的方法是类似的。如果候选列表的数量小于2，则由通过复制每个AMVP候选而组成的运动矢量对来填充该列表。当候选列表大于2时，首先根据相邻运动矢量的一致性(候选对中的两个运动矢量的相似性)对候选进行分类，并且仅保留前两个候选。RD成本校验用于确定选择哪个运动矢量对候选作为当前CU的控制点运动矢量预测(CPMVP)。并且，在比特流中信令通知指示候选列表中的CPMVP的位置的索引。在确定当前仿射CU的CPMVP之后，应用仿射运动估计，并找到控制点运动矢量(CPMV)。然后在比特流中信令通知CPMV与CPMVP的差异。

当在AF_MERGE模式中应用CU时，它从有效的相邻重建块获得使用仿射模式编码的第一块。如图5A所示，并且对于候选块的选择顺序是从左方、上方、右上方、左下方到左上方。如图5B所示，如果相邻左下方的块A以仿射模式编码，则导出包含块A的CU的左顶角、右上角和左底角的运动矢量v₂、v₃和v₄。并且根据v₂、v₃和v₄来计算当前CU的左顶角的运动矢量v₀。其次，计算当前CU的右上方的运动矢量v₁。

在导出当前CU的CPMV v₀和v₁之后，根据简化的仿射运动模型等式(1)，生成该当前CU的MVF。为了识别当前CU是否使用AF_MERGE模式编码，当存在至少一个相邻块以仿射模式编码时，在比特流中信令通知仿射标志。

2.2 ATMVP

在可选时域运动矢量预测(ATMVP)方法中，通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考指数)，修改运动向量时域运动矢量预测(TMVP)。如图6所示，子CU为方形N×N块(N默认设定为4)。

ATMVP分两步预测CU内子CU的运动矢量。第一步是用所谓的时间矢量识别参考图片中的相应块。参考图片也称为运动源图片。第二步是将当前的CU分割成子CU，并从每个子CU对应的块中获取每个子CU的运动矢量和参考指数，如图6中所示。

在第一步中，参考图片和对应的块由当前CU的空间相邻块的运动信息确定。为了避免相邻块的复制扫描处理，使用当前CU的MERGE候选列表中的第一MERGE候选。第一可用的运动矢量及其相关联的参考索引被设置为时间矢量和运动源图片的索引。这样，与TMVP相比，在ATMVP中可以更准确地识别对应的块，其中对应的块(有时称为并置块)始终位于相对于当前CU的右下角或中心位置。

在第二步中，通过将时间矢量添加到当前CU的坐标中，通过运动源图片中的时间矢量识别子CU的对应块。对于每个子CU，使用其对应块的运动信息(覆盖中心样本的最小运动网格)来导出子CU的运动信息。在识别出对应的N×N块的运动信息后，用与HEVC的TMVP同样方式，将其转换为当前子CU的运动矢量和参考指数，其中应用运动缩放和其他程序。例如，解码器检查是否满足低延迟条件(即，当前图片的所有参考图片的POC都小于当前图片的POC)，并且可能使用运动矢量MVx(与参考图片列表X对应的运动矢量)来预测每个子CU的运动矢量MVy(X等于0或1并且Y等于1-X)。

3.STMVP

在此方法中，子CU的运动矢量按照光栅扫描顺序递归导出。图7图示了此概念。让我们考虑8×8的CU 700，其含有四个4×4子CU A、B、C和D。当前帧中相邻的4×4块标记为a、b、c和d。

子CU A的运动推导由识别其两个空间邻居开始。第一邻居是子CU A上方的N×N块(块c)。如果该块c不可用或内部编码，则检查子CU A上方的其他N×N块(从左到右，从块c处开始)。第二个邻居是子CU A左侧的一个块(块b)。如果块b不可用或是内部编码，则检查子CU A左侧的其他块(从上到下，从块b处开始)。每个列表从相邻块获得的运动信息被缩放到给定列表的第一参考帧。接下来，按照HEVC中规定的与TMVP相同的程序，推导出子块A的时域运动矢量预测(TMVP)。提取位置D处的并置块的运动信息并进行相应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动向量(上至3个)。将平均运动矢量指定为当前子CU的运动矢量。

4.BIO

双向光流(BIO)是在分块运动补偿之上对双向预测进行的样本方向运动细化。样本级的运动细化不使用信令。

设I^(k)为块运动补偿后到参考k(k＝0，1)的亮度值，并且

分别为I^(k)梯度的水平分量和垂直分量。假设光流是有效的，则运动矢量场(v_x,v_y)由等式给出：

将此光流等式与每个样品运动轨迹的埃尔米特插值相结合，得到唯一的三阶多项式，该多项式在末端同时匹配函数值I^(k)和其导数

该多项式在t＝0时的值是BIO预测：

这里，τ₀和τ₁表示到参考帧的距离，如图8所示。基于Ref0和Ref1的POC计算距离τ₀和τ₁：τ0＝POC(current)-POC(Ref0),τ1＝POC(Ref1)-POC(current)。如果两个预测都来自同一个时间方向(都来自过去或都来自未来)，则符号是不同的(即，τ₀·τ₁<0)。在这种情况下，仅在预测不是来自同一时间点(即,τ₀≠τ₁)的情况下应用BIO。两个参考区域都具有非零运动(即,MVx₀,MVy₀,MVx₁,MVy₁≠0)，并且块运动矢量与时间距离成比例(即，MVx₀/MVx₁＝MVy₀/MVy₁＝-τ₀/τ₁)。

通过最小化A点和B点之间的值的差Δ来确定运动矢量场(v_x,v_y)(图9A和9B上的运动轨迹与参考帧平面的相交点)。对Δ，模型仅使用局部泰勒展开的第一个线性项：

等式5中的所有值取决于样本位置(i′,j′)，其至此省略了标注。假设在局部周围区域的运动是一致的，那么我们将Δ在以当前预测点(i，j)为中心的(2M+1)×(2M+1)方形窗口Ω内最小化，其中M等于2：

对于这个优化问题，JEM使用简化方法，首先在垂直方向上最小化，然后在水平方向最小化。结果如下：

其中，

为了避免被零除或很小的值除，在式(7)和式(8)中引入正则化参数r和m。

r＝500·4^d-8 (10)

m＝700·4^d-8 (11)

此处d是视频样本的位深度。

为了使BIO的内存访问与常规双向预测运动补偿相同，仅在当前块内位置计算所有预测和梯度值I^(k),

在等式(9)中，以预测区块边界上当前预测点为中心的(2M+1)×(2M+1)的方形窗口Ω需要访问区块外的位置(如图9A所示)。在JEM中，块外的值I^(k),

设置为等于块内最近的可用值。例如，这可以实现为填充，如图9B所示。

使用BIO，可以对每个样本的运动场进行细化。为了降低计算复杂度，在JEM中采用了基于块设计的BIO。基于4×4块计算运动细化。在基于块的BIO中，对4×4块中所有样本的等式(9)中的s_n值进行聚合，然后将s_n的聚合值用于4×4块的推导的BIO运动矢量偏移。更具体地说，下面的等式用于基于块的BIO推导：

其中，b_k表示属于预测块的第k个4×4块的样本组。等式(7)和等式(8)中的s_n替换为((s_n,b_k)>>4)以推导相关联的运动矢量偏移。

在某些情况下，由于噪声或不规则运动，BIO的MV团(regiment)可能不可靠。因此，在BIO中，MV团的大小被固定到一个阈值thBIO。该阈值是基于当前图片的参考图片是否全部来自一个方向确定的。如果当前图片的所有参考图片都来自一个方向，则该阈值的值被设置为12×2^14-d，否则其被设置为12×2^13-d。

使用与HEVC运动补偿处理一致的操作(2D可分离FIR)通过运动补偿插值同时计算BIO的梯度。此2D可分离FIR的输入是与运动补偿处理相同的参考帧，以及根据块运动矢量的分数部分的分数位置(fracX，fracY)。在水平梯度

的情况下，首先使用BIOfilterS对信号进行垂直插值，该BIOfilterS对应于具有去缩放标度位移d-8的分数位置fracY，然后在水平方向上应用梯度滤波器BIOfilterG，该BIOfilterG对应于具有去缩放标度位移18-d的分数位置fracX。在垂直梯度

的情况下，使用BIOfilterG垂直地应用第一梯度滤波器，该BIOfilterG对应于具有去缩放标度位移d-8的分数位置fracY，然后，然后在水平方向上使用BIOfilterS执行信号替换，该BIOfilterS对应于具有去缩放标度位移18-d的分数位置fracX。用于梯度计算BIOfilterG和信号替换BIOfilterS的插值滤波器的长度更短(6-tap)，以保持合理的复杂度。表格示出了用于BIO中块运动矢量的不同分数位置的梯度计算的滤波器。表格示出了用于BIO中预测信号生成的插值滤波器。

表1 BIO中用于梯度计算的滤波器

分数像素位置	梯度的插值滤波器(BIOfilterG)
		0	{8,-39,-3,46,-17,5}
1/16	{8,-32,-13,50,-18,5}
		1/8	{7,-27,-20,54,-19,5}
3/16	{6,-21,-29,57,-18,5}
		1/4	{4,-17,-36,60,-15,4}
5/16	{3,-9,-44,61,-15,4}
		3/8	{1,-4,-48,61,-13,3}
7/16	{0,1,-54,60,-9,2}
		1/2	{-1,4,-57,57,-4,1}

表2 BIO中用于预测信号生成的插值滤波器

在JEM中，当两个预测来自不同的参考图片时，将BIO应用于所有的双向预测块。当为CU启用LIC时，禁用BIO。

在JEM中，在正常MC处理之后将OBMC应用于块。为了降低计算复杂度，在OBMC处理期间不应用BIO。这意味着在OBMC处理期间，仅当使用自己的MV时，将BIO应用于块的MC处理，而当使用相邻块的MV时，BIO不应用于块的MC处理。

2.5 FRUC

当CU的合并标志为真时，向该CU信令通知FRUC标志。当FRUC标志为假时，信令通知合并索引，并使用常规Merge模式。当FRUC标志为真时，信令通知附加的FRUC模式标志以指示将使用哪种方法(双边匹配或模板匹配)来导出该块的运动信息。

在编码器侧，关于是否对CU使用FRUC合并模式的决定是基于如对正常合并候选那样所做的RD成本选择。换言之，通过使用RD成本选择来校验CU的两种匹配模式(双边匹配和模板匹配)。导致最小成本的匹配模式与其他CU模式进一步比较。如果FRUC匹配模式是最有效的模式，则对于CU将FRUC标志设置为真，并且使用有关匹配模式。

FRUC合并模式中的运动推导过程有两个步骤。首先执行CU级别运动搜索，接下来执行子CU级别运动细化。在CU级别，基于双边匹配或模板匹配为整个CU导出初始运动矢量。首先，生成MV候选列表，并且选择导致最小匹配成本的候选作为进一步CU级别细化的起点。然后，围绕起始点执行基于双边匹配或模板匹配的局部搜索，并且将导致最小匹配成本的MV作为整个CU的MV。随后，运动信息在子CU级别进一步细化，其中导出的CU运动矢量作为起点。

例如，针对W×HCU运动信息推导执行以下推导处理。在第一阶段，导出整体W×HCU的MV。在第二阶段，CU进一步分割为M×M子CU。如(16)中计算M的值，D是预定义的分割深度，其在JEM中默认设置为3。然后导出每个子CU的MV。

如图10所示，双边匹配用于通过在两个不同参考图像中沿当前CU的运动轨迹找到两个块之间的最接近匹配，来导出当前CU的运动信息。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0和MV1应当与在当前图像和两个参考图像之间的时间距离——即TD0和TD1——成比例。作为特殊情况，当当前图像在时间上在两个参考图像之间并且从当前图像到两个参考图像的时间距离相同时，双边匹配变为基于镜像的双向MV。

如图11所示，模板匹配用于通过找到在当前图像中的模板(当前CU的顶部相邻块和/或左方相邻块)与参考图像中的块(具有与模板相同的尺寸)之间的最接近匹配，来导出当前CU的运动信息。除了上述FRUC合并模式之外，模板匹配也适用于AMVP模式。在JEM中，如在HEVC中一样，AMVP有两个候选。使用模板匹配方法，导出新的候选。如果由模板匹配的新导出的候选与第一现有AMVP候选不同，则将其插入AMVP候选列表的最开始，并且然后将列表尺寸设置为2(这意味着移除第二现有AMVP候选)。当应用于AMVP模式时，仅应用CU级别搜索。

CU级别MV候选集合

CU级别的MV候选集合由以下组成：

(i)如果当前CU处于AMVP模式，则为原始AMVP候选，

(ii)所有合并候选，

(iii)插值MV域中的数个MV(后面描述)，

(iv)顶部和左方相邻的运动矢量。

当使用双边匹配时，合并候选的每个有效MV被用作输入，以在假设双边匹配的情况下生成MV对。例如，合并候选的一个有效MV是在参考列表A中的(MVa，refa)。然后，在其他参考列表B中找到其配对双边MV的参考图像refb，使得refa和refb在时间上位于当前图片的不同侧。如果参考列表B中这样的refb不可用，则refb被确定为与refa不同的参考，并且refb到当前图像的时间距离是列表B中的最小值。在确定refb之后，基于当前图像与refa、refb之间的时间距离通过缩放MVa来导出MVb。

来自插值MV域的四个MV也被添加到CU级别候选列表。更具体地，添加当前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)处的插值MV。

当FRUC应用于AMVP模式时，原始AMVP候选也被添加到CU级别MV候选集合。

在CU级别，用于AMVP CU的最多15个MV、用于合并CU的最多13个MV被添加到候选列表。

子CU级别MV候选集合

子CU级别的MV候选集合由以下组成：

(i)从CU级别搜索确定的MV，

(ii)顶部、左方、左顶和右顶的相邻MV，

(iii)来自参考图像的并列MV的缩放版本，

(iv)最多4个ATMVP候选，

(v)最多4个STMVP候选。

来自参考图像的缩放MV如下导出。遍历两个列表中的所有参考图像。参考图像中的子CU的并列位置处的MV被缩放到起始CU级别MV的参考。

ATMVP和STMVP候选仅限于前四个。

在子CU级别，最多17个MV被添加到候选列表中。

插值MV域的生成

在对帧进行编码之前，基于单边ME为整个图像生成插值运动域。然后，运动域可以稍后用作CU级别或子CU级别MV候选。

首先，两个参考列表中的每个参考图像的运动域以4×4块级别遍历。对于每个4×4块，如果与块相关联的运动通过当前图像中的4×4块(如图12所示)并且该块尚未被分配任何插值运动，则参考块的运动根据时间距离TD0和TD1(与HEVC中的TMVP的MV缩放的方式相同的方式)缩放到当前图像，并且将缩放的运动分配给当前帧中的块。如果无缩放的MV被分配到4×4块，则在插值的运动域中将块的运动标记为不可用。

插值和匹配成本

当运动矢量指向分数样本位置时，需要运动补偿插值。为了降低复杂性，双边匹配和模板匹配都使用双线性插值而不是常规的8抽头HEVC插值。

匹配成本的计算在不同的步骤有点不同。当从CU级别的候选集合中选择候选时，匹配成本是双边匹配或模板匹配的绝对差和(SAD)。在确定起始MV之后，如下计算子CU级别搜索的双边匹配的匹配成本C：

其中w是一个加权因子，且根据经验设置为4，MV和MV^s分别指示当前MV和起始MV。SAD仍用作子CU级别搜索的模板匹配的匹配成本。

在FRUC模式中，MV通过仅使用亮度样本导出。导出的运动将用于MC帧间预测的亮度和色度。在确定MV之后，使用用于亮度的8抽头插值滤波器和用于色度的4抽头插值滤波器来执行最终MC。

MV细化

MV细化是以双边匹配成本或模板匹配成本为准则的基于模式的MV搜索。在JEM中，支持两种搜索模式——分别用于CU级别和子CU级别的MV细化的无限制的中心偏置菱形搜索(unrestricted center-biased diamond search，UCBDS)和自适应交叉搜索(adaptivecross search)。对于CU级别和子CU级别MV细化，以四分之一亮度样本MV精度直接搜索MV，并且接下来以八分之一亮度样本MV细化。对于CU步骤和子CU步骤的MV细化的搜索范围被设置为等于8个亮度样本。

模板匹配FRUC合并模式中预测方向的选择

在双边匹配Merge模式中，始终应用双向预测，因为基于在两个不同参考图像中沿当前CU的运动轨迹的两个块之间的最接近匹配来导出CU的运动信息。模板匹配Merge模式不存在这样的限制。在模板匹配Merge模式中，编码器可以在针对CU的来自列表0的单向预测、来自列表1的单向预测或者双向预测之中进行选择。选择基于模板匹配成本，如下：

如果costBi<＝factor*min(cost0,cost1)

使用双向预测；

否则，如果cost0<＝cost1

使用来自列表0的单向预测；

否则,

使用来自列表1的单向预测；

其中cost0是列表0模板匹配的SAD，cost1是列表1模板匹配的SAD，costBi是双向预测模板匹配的SAD。factor的值等于1.25，这意味着选择过程偏向于双向预测。

帧间预测方向选择仅应用于CU级别模板匹配过程。

交织预测示例

通过交织预测，以多于一个细分样式将块细分为子块。细分样式定义为将块细分为子块的方式，包含子块的尺寸和子块的位置。对于每个细分样式，可以通过基于细分样式推导每个子块的运动信息来生成对应的预测块。因此，即使对于一个预测方向，可以由多个细分样式生成多个预测块。替代地，对于每个预测方向，可以仅施加细分样式。

假设存在X个细分样式，和当前块的X个预测块，X个预测块被表示为P₀，P₁，…，P_X-1，其由使用X个细分样式的基于子块的预测生成。当前块的最终预测，表示为P，可以生成为

其中(x，y)是块中的像素的坐标，并且w_i(x,y)是P_i的权重值。在不失去一般化的情况下，假设

其中N是非负值。图13示出了使用两个细分样式的交织预测的示例。

3.由所描述的实施例解决的示例性问题

仿射合并MV推导过程存在两个潜在缺点，如图5A和图5B中所示。

首先，CU的左顶点和CU的尺寸必须由属于该CU的每个4×4块储存。该信息在HEVC中不需要被储存。

其次，解码器必须访问不与当前CU相邻的4×4块的MV。在HEVC中，解码器仅需访问与当前CU相邻的4×4块的MV。

4.实施例的示例

我们提出若干方法以进一步改善基于子块的预测，包含交织预测和仿射合并MV推导过程。

以下的详细发明应认为是解释总体概念的示例。这些发明不应以窄的方式理解。此外，这些发明可以以任意方式组合。本发明与其他发明之间的组合也是适用的。

交织预测的使用

1.在一个实施例中，是否应用和如何应用交织预测可以取决于颜色分量。

a.例如，交织预测仅应用于亮度分量上，而不应用于色度分量上；

b.例如，细分样式对于不同颜色分量是不同的；

c.例如，权重值对于不同颜色分量是不同的。

2.在一个实施例中，是否应用和如何应用交织预测可以取决于帧间预测方向和/或参考图片相同与否。

a.例如，交织预测可以仅用于单向预测，而不用于双向预测。

b.例如，交织预测可以仅用于双向预测，但两个参考图片列表的两个参考图片是相同的。

c.在一个示例中，对低延迟P(LDP)情况禁用交织预测。

d.在一个示例中，在从当前图片预测当前块时，也启用交织预测。

部分交织预测

3.在一个实施例中，交织预测可以应用于整个块的部分。

a.第二细分样式可以仅覆盖整个块的部分。该部分以外的样本不受交织预测影响。

b.该部分可以排除位于块边界处的样本，例如，最前/最后n行或最前/最后m列。

c.该部分可以排除位于具有与在该块内第二细分样式中的大部分子块尺寸不同的尺寸的子块处的样本。

d.图14A和图14B示出了部分交织的仿射预测的一些示例。第一细分样式与JEM中的细分样式相同，即，子块的左顶点在(i×w，j×h)处，然后从等式(1)以(x,y)＝(i×w+w/2，j×h+h/2)计算此子块(第(i，j)子块)的MV。对于两个细分样式，子块的尺寸都是w×h。例如，w＝h＝4或w＝h＝8。

i.在图14A中，第二细分样式的子块(第(i，j)子块)的上左顶部是(i×w+w/2，j×h)，并且从等式(1)以(x,y)＝(i×w+w，j×h+h/2)计算此子块的MV。

ii.在图14B中，第二细分样式的子块的上左顶部是(i×w，j×h+h/2)，并且从等式(1)以(x,y)＝(i×w+w/2，j×h+h)计算此子块的MV。

iii.在图14B中，第二细分样式的子块的上左顶部是(i×w+w/2，j×h+h/2)，并且从等式(1)以(x,y)＝(i×w+w，j×h+h)计算此子块的MV。

图14A–图14C示出了部分交织预测的示例。虚线表示第一细分样式；实线表示第二细分样式；粗线表示要应用交织预测的区域。在该区域之外，不应用交织预测。

交织预测中的权重值

4.在一个实施例中，存在两个可能的权重值Wa和Wb，满足Wa+Wb＝2^N。示例性权重值{Wa，Wb}为{3，1}、{7，1}、{5，3}、{13，3}等。

a.如果与由第一细分样式生成的预测样本P1相关联的权重值w1和与由第二细分样式生成的预测样本P2相关联的权重值w2相同(都等于Wa或Wb)，则此样本的最终预测P被计算为P＝(P1+P2)>>1或P＝(P1+P2+1)>>1。

b.如果与由第一细分样式生成的预测样本P1相关联的权重值w1和与由第二细分样式生成的预测样本P2不同({w1，w2}＝{Wa，Wb}或{w1，w2}＝{Wb，Wa})，则此样本的最终预测P被计算为P＝(w1×P1+w2×P2+偏移)>>N，其中偏移可以为1<<(N-1)或0。

c.其可以相似地扩展到当存在多于2个细分样式时的情况。

5.在一个实施例中，如果样本A比样本B更接近于推导子块的MV的位置，则子块中的样本A的权重值大于子块中的样本B的权重值。在图16中示出了4×4子块、4×2子块、2×4子块或2×2子块的示例性权重值。

交织预测的示例

图16示出根据所公开的技术的具有两个细分样式的交织预测的示例。当前块1300可以细分成多个样式。例如，如图16所示，当前块被细分成样式0(1301)和样式1(1302)。生成两个预测块P₀(1303)和P₁(1304)。通过计算P₀(1303)和P₁(1304)的加权和，可以生成当前块1300的最终预测块P(1305)。

一般来说，给定X个细分样式，当前块的X个预测块(表示为P₀，P₁,，…,P_X-1)可以以X个细分样式由基于子块的预测生成。当前块的最终预测(表示为P)可生成为：

这里，(x,y)是块中像素的坐标，并且w_i(x,y)是P_i的权重系数。通过示例而不是限制，权重可以表示为：

N是非负值。可选地，等式(8)中的位移操作也可以表示为：

权重之和是2的幂，通过执行移位操作而不是浮点除法，可以更有效地计算加权和P。

细分样式可以具有不同的子块形状、尺寸或位置。在一些实施例中，细分样式可以包括不规则的子块大小。图17A-图17G显示了16×16块的几个细分样式的示例。在图17A中，根据所公开的技术将块细分为4×4个子块。这种样式也用于JEM。图17B示出根据所公开的技术将块细分为8×8个子块的细分样式的示例。图17C示出根据所公开的技术将块细分为8×4个子块的细分样式的示例。图17D示出根据所公开的技术将块细分为4×8个子块的细分样式的示例。在图17E中，根据所公开的技术将块的一部分细分为4×4子块。块边界上的像素被细分成更小的子块，其大小如2×4,4×2或2×2。一些子块可以合并以形成更大的子块。图17F示出了相邻子块(如4×4子块和2x4子块)的示例，这些子块合并后形成尺寸为6×4、4×6或6×6的较大子块。在图14C中，块的一部分被细分为8×8子块。而块边界处的像素被细分为较小的子块如8×4、4×8或4×4。

基于子块的预测中，子块的形状和大小可以基于编码块的形状和/或大小和/或编码块信息来确定。例如，在一些实施例中，当当前块的大小为M×N时，子块的大小为4×N(或8×N等)，即子块与当前块具有相同的高度。在一些实施例中，当当前块的大小为M×N时，子块的大小为M×4(或M×8等)，即子块与当前块具有相同的宽度。在一些实施例中，当当前块的大小为M×N(其中M>N)时，子块的大小为A×B，其中A>B(例如，8×4)。或者，子块的大小为B×A(例如，4×8)。

在一些实施例中，当前块的大小为M×N。当M×N<＝T(或min(M，N)<＝T，或max(M，N)<＝T等)时，子块的大小为A×B；当M×N>T(或min(M，N)>T，或max(M，N)>T等)时，子块的大小为C×D，其中A<＝C，B<＝D。例如，如果M×N<＝256，子块的大小可以是4×4。在一些实现中，子块的大小为8×8。

在一些实施例中，可以基于帧间预测方向而确定是否应用交织预测。例如，在一些实施例中，交织预测可以应用于双向预测，而不应用于单向预测。作为另一示例，当应用多假说(multiple-hypothesis)时，当存在多于一个参考块时，交织预测可以应用于一个预测方向。

在一些实施例中，可以基于帧间预测方向而确定该如何应用交织预测。在一些实施例中，使用基于子块的预测而双向预测的块被对于两个不同参考列表用两个不同的细分样式细分为子块。例如，当从参考列表0(L0)预测时，双向预测的块被细分为4×8子块，如图17D所示。当从参考列表1(L1)预测时，相同的块被细分为8×4子块，如图17C所示。最终预测P被计算为

此处，P0和P1分别为来自L0和L1的预测。w0和w1分别为L0和L1的权重值。如等式(16)中所示，权重值可以确定为：w⁰(x,y)+w¹(x,y)＝1<<N(其中N是非负整数值)。因为较少的子块被用于每个方向上的预测(例如，与8×8子块相比之下的4×8子块)，与基于子块的现有方法相比，计算需要较少带宽。通过使用较大的子块，预测结果也较不易受噪声干扰影响。

在一些实施例中，用基于子块的预测的单向预测的块对于相同参考列表用两个或更多个不同细分样式被细分为子块。例如，列表L(L＝0或1)P^L的预测被计算为

在此，XL是用于列表L的细分样式的数目。

是用第i细分样式生成的预测，并且

是

的权重值。例如，当XL为2时，两个细分样式被应用于列表L。在第一细分样式中，块被细分为4×8子块，如图17D所示。在第二细分样式中，块被细分为8×4子块，如图17D所示。

在一些实施例中，用基于子块的预测的双向预测的块被认为是分别来自L0和L1的两个单向预测的块的组合。来自每个列表的预测可以如以上示例中所描述而推导。最终预测P可以被计算为

此处，参数a和b是两个附加权重，其应用于两个内部预测块。在此具体示例中，a和b两者都可以设定为1。相似于以上示例，因为较少的子块被用于在每个方向上预测(例如，与8×8子块相比之下的4×8子块)，带宽使用优于基于子块的现有方法或与基于子块的现有方法为相同水平。于此同时，预测结果可以通过使用较大的子块改善。

在一些实施例中，单个非均匀样式可以被用于每个单向预测的块中。例如，对于每个列表L(例如，L0或L1)，块被细分为不同样式(例如，如图17E或图17F中所示)。使用较小数目的子块降低对带宽的需求。子块的非均匀性还增加了预测结果的鲁棒性。

在一些实施例中，对于多假说编码的块，可以存在对每个预测方向(或参考图片列表)由不同细分样式生成的多于一个预测块。多个预测块可以用来在应用附加的权重的情况下生成最终预测。例如，附加的权重可以设定为1/M，其中M是生成的预测块的总数。

在一些实施例中，编码器可以确定是否应用和如何应用交织预测。然后编码器可以将对应于确定的信息在序列级别、图片级别、视图级别、条带级别、编码树单元(CTU)(还被称为最大编码单元(LCU))级别、CU级别、PU级别、树单元(TU)级别，或区域级别(其可以包含多个CU/PU/TU/LCU)发送到解码器。信息可以在序列参数集(SPS)、视图参数集(VPS)、图片参数集(PPS)、条带报头(SH)、CTU/LCU、CU、PU、TU或区域的第一块中被信令通知。

在一些实现方式中，交织预测应用于现有子块方法，像是仿射预测、ATMVP、STMVP、FRUC，或BIO。在这样的情况下，不需要附加的信令成本。在一些实现方式中，由交织预测生成的新子块合并候选可以被插入到合并列表中，例如，交织预测+ATMVP、交织预测+STMVP、交织预测+FRUC等。

在一些实施例中，要由当前块使用的细分样式可以基于来自空间和/或时间相邻块的信息推导。例如，替代于依赖于编码器来信令通知相关信息，编码器和解码器两者都可以采用一组预定规则来基于时间相邻性(例如，该相同块的之前使用的细分样式)或空间相邻性(例如，由相邻块使用的细分样式)获得细分样式。

在一些实施例中，权重值w可以固定。例如，全部细分样式可以相等地加权：w_i(x,y)＝1。在一些实施例中，可以基于块的位置以及使用的细分样式确定权重值。例如，w_i(x,y)对于不同的(x，y)可以是不同的。在一些实施例中，权重值可以进一步取决于基于编码技术(例如，仿射或ATMVP)和/或其他编码信息(例如，跳过或非跳过模式，和/或MV信息)的子块预测。

在一些实施例中，编码器可以确定权重值，并且将该值以序列级别、图片级别、条带级别、CTU/LCU级别、CU级别、PU级别或区域级别(其可以包含多个CU/PU/TU/LCU)发送到解码器。可以在序列参数集(SPS)、图片参数集(PPS)、条带报头(SH)、CTU/LCU、CU、PU，或区域的第一块中信令通知权重值。在一些实施例中，可以从空间和/或时间相邻块的权重值推导权重值。

注意到，本文中公开的交织预测技术可以应用于基于子块的预测的编码技术中的一个、一些或全部。例如，交织预测技术可以应用于仿射预测，而基于子块的预测的其他编码技术(例如，ATMVP、STMVP、FRUC或BIO)不使用交织预测。作为另一示例，仿射、ATMVP以及STMVP中的全部应用本文中所公开的交织预测技术。

图18是示例性视频处理设备1800的框图。设备1800可以用来实现本文所描述的方法中的一个或多个。设备1800可以实施为智能电话、平板、计算机、物联网(IoT)接收器等等。设备1800可以包含一个或多个处理器1802、一个或多个存储器1804以及视频处理硬件1806。(多个)处理器1802可以配置为实现本文件中描述的一个或多个方法。存储器(多个存储器)1804可以用于储存数据和代码，该数据和代码用于实现本文中描述的方法和技术。视频处理硬件1806可以用来以硬件电路实现本文件中描述的一些技术。

图19示出了视频处理的示例性方法1900的流程图。方法1900包含，在步骤1902，基于当前视频块的分量类型来确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换。方法1900还包含，在步骤1904，响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对于多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

图20示出了视频处理的示例性方法2000的流程图。方法2000包含，在步骤2002，基于当前视频块的预测方向来确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换。方法2000还包含，在步骤2004，响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，并且其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对于多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

图21示出了视频处理的示例性方法2100的流程图。方法2100包含，在步骤2102，基于当前图片的低延迟模式来确定交织预测模式是否适用于当前图片中的当前视频块与当前视频块的比特流表示之间的转换。方法2100还包含，在步骤2104，响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，并且，其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对于多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

图22示出了视频处理的示例性方法2200的流程图。方法2200包含，在步骤2202，基于使用包含当前视频块的当前图片作为参考来确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换。方法2200还包含，在步骤2204，响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，并且其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块样式，并且生成作为对于多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

提供了视频处理的另一示例性方法。方法包含选择性地基于视频条件，进行(2300)视频的来自视频帧的亮度分量、第一色度分量和第二色度分量中的一个或多个分量的基于交织预测的编码。进行帧间交织预测，包括，通过以下为视频的分量的当前块确定预测块：选择(2302)视频帧的分量的像素的集合以形成块；根据第一样式，将块分割(2304)为子块的第一集合；基于子块的第一集合，生成(2306)第一中间预测块；根据第二样式，将块分割(2308)为子块的第二集合，其中第二集合中的至少一个子块不在第一集合中；基于子块的第二集合，生成(2310)第二中间预测块；以及，基于第一中间预测块和第二中间预测块，确定(2312)预测块。

以下使用基于条款的格式描述了上述方法/技术的附加特征和实施例。

1、一种视频处理的方法，包括：

基于当前视频块的分量类型，确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换；以及

响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式而进行转换

其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块，并且生成作为对多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

2、根据条款1所述的方法，其中响应于分量类型等于亮度分量而应用交织预测。

3、根据条款1所述的方法，其中用于视频的第一颜色分量的多于一个细分样式与用于视频的第二颜色分量的另外的多于一个细分样式不同。

4、根据条款1所述的方法，其中加权平均使用权重，权重的值取决于分量类型。

5、一种视频处理的方法，包括：

基于当前视频块的预测方向，确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换；以及

响应于确定交织预测模式适用于当前视频块，通过应用交织预测模式进行转换，并且

6、根据条款5所述的方法，其中响应于预测方向等于单向预测而应用交织预测。

7、根据条款5所述的方法，其中响应于预测方向等于双向而应用交织预测。

8、一种视频处理的方法，包括：

基于当前图片的低延迟模式，确定交织预测模式是否适用于当前图片中的当前视频块与当前视频块的比特流表示之间的转换；以及

9、根据条款8所述的方法，其中对当前图片的低延迟模式禁用交织预测。

10、一种视频处理的方法，包括：

基于使用包含当前视频块的当前图片作为参考，确定交织预测模式是否适用于当前视频块与当前视频块的比特流表示之间的转换；以及

其中应用交织预测包含使用多于一个细分样式将部分当前视频块细分为至少一个子块样式，并且生成作为对多于一个细分样式中的每一个确定的预测器的加权平均的当前视频块的预测器。

11、根据条款10所述的方法，其中当从当前图片预测当前视频块时，启用交织预测。

12、根据条款1、5、8或10所述的方法，其中部分当前视频块包括少于所有的当前视频块。

13、根据条款1-12中任一项所述的方法，其中交织预测模式应用于当前视频块的部分。

14、根据条款13所述的方法，其中细分样式中的至少一个仅覆盖当前视频块的部分。

15、根据条款14所述的方法，其中部分排除位于当前视频块的边界处的样本。

16、根据条款14所述的方法，其中部分排除位于具有与当前视频块内的大部分子块尺寸不同的尺寸的子块处的样本。

17、根据条款1、5、8、10或12所述的方法，其中细分部分当前视频块还包含：

根据细分样式的第一样式将当前视频块分割为子块的第一集合；

基于子块的第一集合生成第一中间预测块；

根据细分样式的第二样式将当前视频块分割为子块的第二集合，其中第二集合中的至少一个子块不在第一集合中；以及

基于子块的第二集合生成第二中间预测块。

18、根据条款17所述的方法，其中与由第一样式生成的预测样本相关联的权重值w1和与由第二样式生成的预测样本相关联的权重值w2相同，并且最终预测P计算为P＝(P1+P2)>>1或P＝(P1+P2+1)>>1。

19、根据条款17所述的方法，其中与由第一样式生成的预测样本相关联的权重值w1和与由第二样式生成的预测样本相关联的权重值w2不同，并且最终预测P计算为P＝(w1×P1+w2×P2+偏移)>>N，其中偏移为1<<(N-1)或0。

20、根据条款17所述的方法，其中第一中间预测块的第一权重Wa和第二中间预测块的第二权重Wb满足条件Wa+Wb＝2^N，其中N是整数。

21、根据条款17所述的方法，其中如果第一样本比第二样本更靠近推导子块的运动矢量的位置，子块中的第一样本的权重值大于子块中的第二样本的权重值。

22、一种视频处理的方法，包括：

选择性地基于视频条件，进行视频的来自视频帧的亮度分量、第一色度分量和第二色度分量中的一个或多个分量的基于交织预测的编码，其中进行交织预测包括通过以下为视频的分量的当前块确定预测块：

选择视频帧的分量的像素的集合以形成块；

根据第一样式将块分割为子块的第一集合；

基于子块的第一集合生成第一中间预测块；

根据第二样式将块分割为子块的第二集合，其中第二集合中的至少一个子块不在第一集合中；

基于子块的第二集合生成第二中间预测块；以及

基于第一中间预测块和第二中间预测块确定预测块。

23、根据条款22所述的方法，其中仅对于亮度分量使用交织预测来形成预测块。

24、根据条款22所述的方法，其中使用不同的第一样式或第二样式来分割视频的不同分量。

25、根据条款22至24中任一项所述的方法，其中视频条件包括预测的方向，并且其中仅对于单向预测或双向预测中的一者进行交织预测，而不对于单向预测和双向预测中的另一者进行交织预测。

26、根据条款22所述的方法，其中视频条件包括使用低延迟P编码模式，并且其中在使用低延迟P模式的情况下，方法包含抑制进行交织预测。

27、根据条款22所述的方法，其中视频条件包括使用包含当前块的当前图片作为预测的参考。

28、根据条款1-27中任一项所述的方法，其中基于交织的预测编码包括使用仅来自部分当前块的子块的第一集合和子块的第二集合。

29、根据条款28所述的方法，其中当前块的较小部分排除在当前块的边界区域中的样本。

30、根据条款28所述的方法，其中使用部分当前块的基于交织的预测编码包含使用部分当前块进行仿射预测。

31、根据条款22所述的方法，其中确定预测块包含使用第一中间预测块和第二中间预测块的加权平均来确定预测块。

32、附加条款31所述的方法，其中第一中间预测块的第一权重Wa和第二中间预测块的第二权重Wb满足条件Wa+Wb＝2^N，其中N是整数。

33、根据条款32所述的方法，其中Wa＝3且Wb＝1。

34、根据条款22所述的方法，其中当第一样本比第二样本更接近于推导子块的运动矢量的位置时，子块中的第一样本的权重值大于子块中的第二样本的权重值。

35、一种设备，包括处理器和其上具有指令的非瞬态存储器，其中当由处理器执行指令时，使处理器实现条款1至34中的一个或多个中的方法。

36、一种计算机程序产品，储存在非瞬态计算机可读介质上，计算机程序产品包含程序代码，程序代码用于执行条款1至34中的一个或多个所述的方法。

从以上，可以理解本文中已经描述的本公开的技术的具体实施例是出于说明目的，但可以进行各种修改，而不背离本发明的范围。相应地，本公开的技术不受所附权利要求之外的限制。

本文件中描述的公开和其他实施例、模块和功能操作可以以数字电子电路实现，或者以计算机软件、固件或硬件实现，包含本文件中公开的结构及其结构等同物，或者以它们中的一个或多个的组合实现。公开和其他实施例可以实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的一个或多个计算机程序指令模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合、或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电信号、光信号或电磁信号，其被生成以对信息进行编码以便传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式来部署计算机程序，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文件中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并由通信网络互连的多个计算机上执行。

本文件中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器、以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该一个或多个大容量存储设备接收数据，或将数据传递到该一个或多个大容量存储设备，或者既接收又传递数据。然而，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，举例来说，包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

虽然本专利文件包含许多细节，但这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在本专利文件中，在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分开地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下，可以从所要求保护的组合中去除来自该组合的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这样的操作，或者执行所有示出的操作，以实现期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都要求这样的分离。

仅描述了几个实现方式和示例，并且可以基于本专利文件中描述和示出的内容来做出其他实现方式、增强和变型。

Claims

1.一种视频处理的方法，包括：

基于当前视频块的分量类型，确定交织预测模式是否适用于所述当前视频块与所述当前视频块的比特流之间的转换；以及

响应于确定所述交织预测模式适用于所述当前视频块，通过应用所述交织预测模式而进行所述转换；

其中应用所述交织预测包含使用多于一个细分样式将部分所述当前视频块细分为至少一个子块，并且生成所述当前视频块的预测，所述当前视频块的预测是对所述多于一个细分样式中的每一个确定的预测的加权平均。

2.根据权利要求1所述的方法，其中响应于所述分量类型等于亮度分量而应用所述交织预测。

3.根据权利要求1所述的方法，其中用于视频的第一颜色分量的所述多于一个细分样式与用于视频的第二颜色分量的另外的多于一个细分样式不同。

4.根据权利要求1所述的方法，其中所述加权平均使用权重，所述权重的值取决于所述分量类型。

5.根据权利要求1所述的方法，其中部分所述当前视频块包括少于所有的所述当前视频块。

6.根据权利要求1所述的方法，其中所述交织预测模式应用于所述当前视频块的部分。

7.根据权利要求1所述的方法，其中所述基于交织的预测编码包括使用仅来自部分所述当前视频块的所述子块的第一集合和所述子块的第二集合。

8.根据权利要求1所述的方法，其中所述细分部分当前视频块还包含：

根据所述细分样式的第一样式将所述当前视频块分割为子块的第一集合；

基于所述子块的第一集合生成第一中间预测块；

根据所述细分样式的第二样式将所述当前视频块分割为子块的第二集合，其中所述第二集合中的至少一个子块不在所述第一集合中；以及

基于所述子块的第二集合生成第二中间预测块。

9.一种视频处理的方法，包括：

基于当前视频块的预测方向，确定交织预测模式是否适用于所述当前视频块与所述当前视频块的比特流之间的转换；以及

响应于确定所述交织预测模式适用于所述当前视频块，通过应用所述交织预测模式进行所述转换，并且

10.根据权利要求9所述的方法，其中响应于所述预测方向等于单向预测而应用所述交织预测。

11.根据权利要求9所述的方法，其中响应于所述预测方向等于双向而应用所述交织预测。

12.根据权利要求9所述的方法，其中部分所述当前视频块包括少于所有的所述当前视频块。

13.根据权利要求9所述的方法，其中所述交织预测模式应用于所述当前视频块的部分。

14.根据权利要求9所述的方法，其中所述基于交织的预测编码包括使用仅来自部分所述当前视频块的所述子块的第一集合和所述子块的第二集合。

15.根据权利要求9所述的方法，其中所述细分部分当前视频块还包含：

基于所述子块的第一集合生成第一中间预测块；

基于所述子块的第二集合生成第二中间预测块。

16.一种视频处理的方法，包括：

基于当前图片的低延迟模式，确定交织预测模式是否适用于所述当前图片中的当前视频块与所述当前视频块的比特流之间的转换；以及

17.根据权利要求16所述的方法，其中对所述当前图片的低延迟模式禁用所述交织预测。

18.根据权利要求16所述的方法，其中部分所述当前视频块包括少于所有的所述当前视频块。

19.根据权利要求16所述的方法，其中所述交织预测模式应用于所述当前视频块的部分。

20.根据权利要求16所述的方法，其中所述基于交织的预测编码包括使用仅来自部分所述当前视频块的所述子块的第一集合和所述子块的第二集合。

21.根据权利要求16所述的方法，其中所述细分部分当前视频块还包含：

基于所述子块的第一集合生成第一中间预测块；

基于所述子块的第二集合生成第二中间预测块。

22.一种视频处理的方法，包括：

基于使用包含当前视频块的当前图片作为参考，确定交织预测模式是否适用于所述当前视频块与所述当前视频块的比特流之间的转换；以及

其中应用所述交织预测包含使用多于一个细分样式将部分所述当前视频块细分为至少一个子块样式，并且生成所述当前视频块的预测，所述当前视频块的预测是对所述多于一个细分样式中的每一个确定的预测的加权平均。

23.根据权利要求22所述的方法，其中当从所述当前图片预测所述当前视频块时，启用所述交织预测。

24.根据权利要求22所述的方法，其中部分所述当前视频块包括少于所有的所述当前视频块。

25.根据权利要求22所述的方法，其中所述交织预测模式应用于所述当前视频块的部分。

26.根据权利要求25所述的方法，其中所述细分样式中的至少一个仅覆盖所述当前视频块的部分。

27.根据权利要求26所述的方法，其中所述部分排除位于所述当前视频块的边界处的样本。

28.根据权利要求26所述的方法，其中所述部分排除位于具有与所述当前视频块内的大部分子块尺寸不同的尺寸的子块处的样本。

29.根据权利要求22所述的方法，其中所述细分部分当前视频块还包含：

基于所述子块的第一集合生成第一中间预测块；

基于所述子块的第二集合生成第二中间预测块。

30.根据权利要求29所述的方法，其中与由所述第一样式生成的预测样本相关联的权重值w1和与由所述第二样式生成的预测样本相关联的权重值w2相同，并且最终预测P计算为P＝(P1+P2)>>1或P＝(P1+P2+1)>>1，其中P1和P2分别表示由所述第一样式生成的预测和由所述第二样式生成的预测，并且其中>>表示右移位操作，N是大于0的整数。

31.根据权利要求29所述的方法，其中与由所述第一样式生成的预测样本相关联的权重值w1和与由所述第二样式生成的预测样本相关联的权重值w2不同，并且最终预测P计算为P＝(w1×P1+w2×P2+偏移)>>N，其中偏移为1<<(N-1)或0，其中P1和P2分别表示由所述第一样式生成的预测和由所述第二样式生成的预测，并且其中>>表示右移位操作，并且<<表示左移位操作，N是大于0的整数。

32.根据权利要求29所述的方法，其中所述第一中间预测块的第一权重Wa和所述第二中间预测块的第二权重Wb满足条件Wa+Wb＝2^N，其中N是整数。

33.根据权利要求29所述的方法，其中如果第一样本比第二样本更靠近推导所述子块的运动矢量的位置，则子块中的所述第一样本的权重值大于子块中的所述第二样本的权重值。

34.根据权利要求22所述的方法，其中所述基于交织的预测编码包括使用仅来自部分所述当前视频块的所述子块的第一集合和所述子块的第二集合。

35.一种视频处理的方法，包括：

选择性地基于视频条件，进行所述视频的来自视频帧的亮度分量、第一色度分量和第二色度分量中的一个或多个分量的基于交织预测的编码，其中进行所述交织预测包括通过以下为视频的分量的当前视频块确定预测块：

选择所述视频帧的所述分量的像素的集合以形成块；

根据第一样式将所述块分割为子块的第一集合；

基于所述子块的第一集合生成第一中间预测块；

根据第二样式将所述块分割为子块的第二集合，其中所述第二集合中的至少一个子块不在所述第一集合中；

基于所述子块的第二集合生成第二中间预测块；以及

基于所述第一中间预测块和所述第二中间预测块的加权平均确定预测块。

36.根据权利要求35所述的方法，其中仅对于所述亮度分量使用交织预测来形成预测块。

37.根据权利要求35所述的方法，其中使用不同的第一样式或第二样式来分割所述视频的不同分量。

38.根据权利要求35至37中任一项所述的方法，其中所述视频条件包括预测的方向，并且其中仅对于单向预测或双向预测中的一者进行所述交织预测，而不对于所述单向预测和双向预测中的另一者进行所述交织预测。

39.根据权利要求35所述的方法，其中所述视频条件包括使用低延迟P编码模式，并且其中在使用所述低延迟P编码模式的情况下，所述方法包含抑制进行所述交织预测。

40.根据权利要求35所述的方法，其中所述视频条件包括使用包含所述当前视频块的当前图片作为所述预测的参考。

41.根据权利要求35所述的方法，其中所述基于交织的预测编码包括使用仅来自部分所述当前视频块的所述子块的第一集合和所述子块的第二集合。

42.根据权利要求41所述的方法，其中所述当前视频块的较小部分排除在所述当前视频块的边界区域中的样本。

43.根据权利要求41所述的方法，其中使用部分所述当前视频块的基于交织的预测编码包含使用所述部分当前视频块进行仿射预测。

44.根据权利要求35所述的方法，其中确定所述预测块包含使用所述第一中间预测块和所述第二中间预测块的加权平均来确定所述预测块。

45.根据权利要求44所述的方法，其中所述第一中间预测块的第一权重Wa和所述第二中间预测块的第二权重Wb满足条件Wa+Wb＝2^N，其中N是整数。

46.根据权利要求45所述的方法，其中Wa＝3且Wb＝1。

47.根据权利要求35所述的方法，其中当第一样本比第二样本更接近于推导所述子块的运动矢量的位置时，子块中的所述第一样本的权重值大于子块中的所述第二样本的权重值。

48.一种用于视频处理的设备，包括处理器和其上具有指令的非瞬态存储器，其中当由所述处理器执行所述指令时，使所述处理器实现权利要求1至47中的任一个所述的方法。

49.一种存储有指令的非暂时性计算机可读介质，当所述指令被处理器执行时，使所述处理器执行权利要求1至47中的任一个所述的方法。