Nothing Special   »   [go: up one dir, main page]

CN112544082B - 一种视频编解码的帧间预测方法及装置 - Google Patents

一种视频编解码的帧间预测方法及装置 Download PDF

Info

Publication number
CN112544082B
CN112544082B CN201980047564.1A CN201980047564A CN112544082B CN 112544082 B CN112544082 B CN 112544082B CN 201980047564 A CN201980047564 A CN 201980047564A CN 112544082 B CN112544082 B CN 112544082B
Authority
CN
China
Prior art keywords
candidate
inter
mode
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980047564.1A
Other languages
English (en)
Other versions
CN112544082A (zh
Inventor
江嫚书
徐志玮
庄子德
陈庆晔
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112544082A publication Critical patent/CN112544082A/zh
Application granted granted Critical
Publication of CN112544082B publication Critical patent/CN112544082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种使用多重假设(Multi‑Hypothesis，简称MH)进行视频编解码的帧间预测的方法和装置。如果MH模式用于当前块：通过调整至少一个编解码控制设置，至少一个MH候选使用缩减参考数据被导出；帧间候选列表被生成，其中，帧间候选列表包括所述至少一个MH候选；在视频编码器侧通过使用帧间候选列表，与当前块相关联的当前运动信息被编码，或者在视频解码器侧通过使用合并候选列表，与当前块相关联的当前运动信息被解码。编解码控制设置可对应于预测方向设置、滤波器抽头设置、要获取的参考块的块大小、参考图像设置或运动限制设置。

Description

一种视频编解码的帧间预测方法及装置
相关引用
本发明要求以下申请的优先权：在2018年7月18日递交的申请号为62/699,760美国临时专利申请，在2018年8月6日递交的申请号为62/714,787的美国临时专利申请，在2018年10月15日递交的申请号为62/745,485的美国临时专利申请，其全部内容以引用方式并入本公开。
技术领域
本发明涉及视频编解码的帧间预测，使用通过组合基于第一假设的第一预测子和基于至少一个第二假设的至少一个第二预测子的多重假设(Multi-hypothesis，简称MH)。更具体地说，本发明涉及调整各种编解码设置以便减少与多重假设模式相关联的带宽要求。
背景技术
高效率视频编解码(High-Efficiency Video Coding，HEVC)是由视频编解码联合协作小组(Joint Collaborative Team on Video Coding，JCT-VC)开发的国际视频编解码标准。HEVC是基于基于混合块的运动补偿离散余弦变换(Discrete Cosine Transform，简称DCT)类似的变换的编解码架构。用于补偿的基础单元，称为编解码单元(coding unit，简称CU)，是由像素组成的2Nx2N正方形块。每个CU可被递归地分成四个较小的CU，直到达到预定义的最小尺寸。每个CU包含一个或多个预测单元(prediction unit,简称PU)。
为了达到HEVC中的混合编解码架构的最佳的编解码效率，每个PU可采用两种预测模式(即帧内预测模式和帧间预测模式)。对于帧内预测模式，空间相邻重构像素被用于产生方向预测。HEVC中有高达35种方向。对于帧间预测模式，时间重构参考帧被用来产生运动补偿预测。有三种不同的模式，包括：跳跃(Skip)模式，合并(Merge)模式，以及先进运动向量预测(advanced motion vector prediction，简称AMVP)模式。
当PU以帧间AMVP模式被编解码时，运动补偿预测可利用发送的运动向量差值(motion vector difference,简称MVD)来执行，运动向量差值可与运动向量预测子(Motion Vector Predictor，简称MVP)一起被用来导出运动向量(motion vector，简称MV)。为了确定帧间AMVP模式中的MVP，AMVP方案被用来选择包括两个空间MVP和一个时间MVP的AMVP候选集合中的运动向量预测子。因此，在AMVP模式中，MVP的MVP索引和相应的MVD被要求进行编码和传输。另外，用于指定列表0(即L0)和列表1(即L1)的双向预测和单向预测中的预测方向的帧间预测方向，伴随着每个列表的参考帧索引应当被编码和传输。
当PU由跳跃或合并模式编解码时，除了所选择的候选的合并索引之外，运动信息不被发送，因为跳跃和合并模式利用运动推断方法。由于跳跃或合并模式的MVD为零，因此跳跃或合并模式编解码块的MV与MVP相同(即，MV＝MVP+MVD＝MVP)。因此，跳跃或合并模式编解码块从位于同位图像中的空间相邻块(空间候选)或时间块(时间候选)获得运动信息。同位图像是列表0或列表1中的第一参考图像，其在片段报头中发送。在跳跃PU的情况下，残差信号被省略。为了确定跳跃和合并模式的合并索引，合并方案被用于在包含四个空间MVP和一个时间MVP的合并候选集合中选择运动向量预测子。
图1示出用于导出AMVP和合并方案的空间和时间MVP的相邻PU。在AMVP中，左MVP是A0、A1中的第一可用MVP，顶部MVP是来自B0、B1、B2的第一可用MVP，并且时间MVP是来自TBR或TCTR的第一可用MVP(首先使用TBR，如果TBR不可用，则使用TCTR代替)。如果左MVP不可用且顶部MVP是未缩放MVP，则如果在B0、B1和B2中存在缩放的MVP，则第二顶部MVP被导出。在HEVC中，AMVP的MVP的列表大小是2。因此，在两个空间MVP和一个时间MVP的推导过程之后，只有前两个MVP包括在MVP列表中。如果在去除冗余之后，可用MVP的数量小于2，则零向量候选被添加到候选列表中。
对于跳跃和合并模式，如图1所示，多达四个空间合并索引从A0、A1、B0和B1导出，并且一个时间合并索引(首先使用TBR，如果TBR不可用，则使用TCTR代替)从TBR或TCTR导出。请注意，如果四个空间合并索引中的任一不可用，则位置B2被用来导出合并索引作为替换。在四个空间合并索引和一个时间合并索引的推导过程之后，删除冗余(removing redundancy)被用来删除冗余合并索引。如果在删除冗余之后，可用的合并索引的数量小于5，则三种类型的额外候选被导出以及被添加到候选列表中。
额外的双向预测合并候选可通过使用原始合并候选来创建。额外候选分为三种候选类型：
1.组合双向预测合并候选(候选类型1)
2.缩放的双向预测合并候选(候选类型2)
3.零向量合并/AMVP候选(候选类型3)
在候选类型1中，组合的双向预测合并候选可通过组合原始合并候选来创建。具体地，原始候选中的两个候选具有mvL0(列表0中的运动向量)和refIdxL0(列表0中的参考图像索引)或mvL1(列表1中的运动向量)和refIdxL1(列表1中的参考图像索引)，被用于创建双向预测合并候选。图2示出组合的双向预测合并候选的推导过程的示例。候选集合210对应于原始候选列表，其包括L0中的mvL0_A，ref0(231)和L1中的mvL1_B，ref(232)。双向预测MVP 233可通过组合L0和L1中的候选来形成。
在候选类型2中，缩放的双向预测合并候选可通过缩放原始合并候选来创建。具体地，原始候选中的一候选，具有mvLX(列表X中的运动向量)和refIdxLX(列表X中的参考图像索引)，X可以是0或1，被用于创建双向预测合并候选。例如，一候选A是具有mvL0_A和ref0的列表0单向预测，ref0被首先复制到列表1中的参考索引ref0'。之后，mvL0'_A通过使用ref0和ref0'缩放mvL0_A来计算。然后，在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0'_A和ref0'的双向预测合并候选被创建，以及被添加到合并候选列表中。在图3中示出缩放的双向预测合并候选的导出过程的示例，其中候选列表310对应于原始候选列表，以及候选列表320对应于包括两个生成的双向预测MVP的扩展候选列表。
在候选类型3中，零向量合并/AMVP候选通过组合零向量和参考索引来创建，其可被参考。图4A示出用于添加零向量合并候选的示例，其中候选列表410对应于原始合并候选列表，以及候选列表420对应于使用添加零候选的扩展合并候选列表。图4B示出用于添加零向量AMVP候选的示例，其中候选列表430(L0)和432(L1)对应于原始AMVP候选列表，以及候选列表440(L0)和442(L1)对应于使用添加零候选的扩展AMVP候选。如果零向量候选不重复，则零向量候选被添加到合并/AMVP候选列表中。
当PU由帧内模式编解码时，帧内预测方法仅利用与当前PU相邻的一参考层(或线)和帧内预测模式中的一个来生成当前PU的预测子。与当前PU相邻的参考层(referencetier)表示参考L形重构样本，其用于帧内预测。对于帧内预测模式，空间相邻重构像素可用于生成方向预测。HEVC最多有35个方向。在HEVC中的所有35种帧内预测模式中，3种模式被认为是用于预测当前预测块中的帧内预测模式的最可能模式(most probable mode，简称MPM)。三种模式被选择作为MPM集合。例如，MPM集合包括在左预测块和上方预测块中使用的帧内预测模式。在两个相邻块中的帧内预测模式是相同的和方向性的(directional)，或者两个相邻块中仅一个是可用的且在帧内预测中被编解码且同时该帧内预测模式是方向性的情况下，紧邻这个方向的两个相邻方向也被用于MPM。DC模式和平面模式也在MPM集合中被考虑以填充MPM中的可用点，尤其是如果上方或顶部相邻块在帧内预测中不可用或未被编解码，或者相邻块中的帧内预测模式不是方向性的。如果当前预测块的帧内预测模式是MPM集合中的模式之一，则1或2个二进制比特(bin)被用于指示是哪一个模式。否则，当前预测块的帧内预测模式与MPM集合中的任一条目不同，当前预测块的帧内预测模式将被编解码为非MPM模式。共有32种这样的非MPM模式和(5位)固定长度编解码方法被用于发送该模式。33个方向如图5所示。在图5中，共有33个方向模式，因此H，H+1～H+8，H-1～H-7，V，V+1～V+8，V-1～V-8被使用。该系统可扩展到一般情况，其中水平和垂直模式表示为H和V模式。对于其他方向模式，可表示为H+k或V+k模式，其中k＝±1，±2等。例如，如果使用65个方向模式，k可以是从±1到±16的范围。
在提交给ITU-VCEG的文献ITU-T13-SG16-C1016中(Lin,et al.,“Affinetransform prediction for next generation video coding”,ITU-U,Study Group 16,Question Q6/16,Contribution C1016,September 2015,Geneva,CH)，公开了四参数仿射预测，其中包括仿射合并模式。当仿射运动块正在移动时，块的运动向量场可通过两个控制点运动向量或四个参数来描述，其中(vx，vy)表示运动向量
图6中示出四参数仿射模型的示例，其中块610对应于当前块，块620对应于参考块。变换后的块是矩形块。该移动块中每个点的运动向量场可以用下面的等式描述：
在上面的等式中，(v0x，v0y)是块的左上角处的控制点运动向量(即v0)，以及(v1x，v1y)是块的右上角处的另一控制点运动向量(即v1)。当两个控制点的MV被解码时，块的每个4×4块的MV可根据上面的等式确定。换句话说，块的仿射运动模型可通过两个控制点处的两个运动向量来指定。此外，虽然块的左上角和右上角被用作两个控制点，但其他两个控制点也可被使用。
在文献ITU-T13-SG16-C1016中，对于由帧间模式编解码的CU，仿射标志被发送以指示当CU大小等于或大于16×16时是否应用仿射帧间模式。如果当前块(例如，当前CU)以仿射帧间模式进行编解码，则候选MVP对列表使用相邻有效重构块来构建。图7示出用于导出角导出(corner-derived)仿射候选的相邻块集合。如图7所示，对应于当前块710的左上角的块V0的运动向量，其从相邻块a0(称为左上块)、a1(称为左上方内侧块)和a2(称为左上方下部块)的运动向量中选择。/>对应于当前块710的右上角处的块V1的运动向量，其从相邻块b0(称为上方块)和b1(称为右上块)的运动向量中选择。
在上面的等式中，MVa是与块a0，a1或a2相关联的运动向量，MVb是从块b0和b1的运动向量中选择的，以及MVc是从块c0和c1的运动向量中选择的。具有最小DV的MVa和MVb被选择以形成MVP对。因此，虽然仅两个MV集合(即，MVa和MVb)将被搜索以寻找最小DV，但是第三DV集合(即MVc)也参与选择过程。第三DV集合对应于当前块710的左下角处的块的运动向量，其从相邻块c0(称为左块)和c1(称为左下块的运动向量)中选择。在图7的示例中，用于构建仿射运动模型的控制点MV的相邻块(a0，a1，a2，b0，b1，b2，c0和c1)被称为本公开中的相邻块集合。
在ITU-T13-SG16-C-1016中，还提出了仿射合并模式。如果当前PU是合并PU，则相邻的五个块(图7中的c0，b0，b1，c1和a0块)被检查以确定其中的一个是仿射帧间模式还是仿射合并模式。如果是，affine_flag被发送以指示当前PU是否是仿射模式。当当前PU以仿射合并模式编解码时，当前PU从有效的相邻重构块获得用仿射模式编解码的第一块。候选块的选择顺序是从左侧，上方，右上方，左下方到左上方(即c0→b0→b1→c1→a0)，如图7所示。第一仿射编解码块的仿射参数被用于导出当前PU的v0和v1。
在HEVC中，每个PU的已解码的MV以16：1的比率被下采样并且存储在时间MV缓冲器中以用于后续帧的MVP推导。对于16×16块，仅左上方的4×4大小的MV存储在时间MV缓冲器中，并且存储的MV表示整个16×16块的MV。
发明内容
本发明公开一种用于视频编解码的帧间预测的方法和装置，其中，帧间预测允许基于第一假设的第一预测子和基于至少一个第二假设的至少一个第二预测子组合的多重假设(Multi-hypothesis，简称MH)。根据该方法，在视频编码器侧接收与当前图像中的当前块相关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流。如果MH模式被用于当前块：通过调整至少一个编解码控制设置，使用缩减参考数据导出至少一个MH候选；生成合并候选列表被，其中合并候选列表包括该至少一个MH候选；并且在视频编码器侧使用合并候选列表对与当前块相关联的当前运动信息进行编码，或者在视频解码器侧使用合并候选列表对与当前块相关联的当前运动信息进行解码。
在一实施例中，编解码控制设置对应于预测方向设置。例如，如果目标合并候选被用于导出该至少一个MH候选。在另一示例中，如果用于导出该至少一个MH候选的目标合并候选是双向预测，则目标合并候选被用作用于导出该至少一个MH候选的单向预测模式。例如，目标合并候选可被划分为用于导出该至少一个MH候选的两个单向预测候选。
在另一实施例中，关于处理用于导出该至少一个MH候选的目标帧间候选的一个或多个规则可被预定义，隐式地确定或明确地指示。例如，关于处理用于导出该至少一个MH候选的目标帧间候选的规则可依据目标帧间候选的预测方向设置。此外，规则可由编解码单元(coding unit，简称CU)级别、编码树单元(coding tree unit，简称CTU)级别、片段级别、图像级别、序列参数集合(sequence parameter set，简称SPS)、图像级别或图像参数集合(picture parameter set，简称PPS)的标志明确地指示。其中标志在视频编码器侧被发送或在视频解码器侧被解析。
在另一实施例中，编解码控制设置对应于插值滤波器的滤波器抽头(tap)设置，该插值滤波器被用于导出子像素位置处的参考像素以导出所述至少一个MH候选。例如，较短插值滤波器可被使用。在另一示例中，较短插值滤波器对应于2抽头插值滤波器。此外，较短插值滤波器可从对应于较长插值滤波器的常规插值滤波器生成。
在另一实施例中，编解码控制设置对应于与一参考块相关的块大小，该参考块将被提取用于在包括多个子像素位置的多个位置处导出该当前块的运动补偿样本，其中参考块包括用于在子像素位置处导出运动补偿样本的额外行，额外列或两者，并且额外行，额外列或两者都被减少。减少的额外行，额外列或两者都从减少的提取出的参考块的一个或多个边界填充。额外行和额外列可被减少到零或减少到1行和1列。
在又一实施例中，编解码控制设置对应于参考图像设置。例如，如果目标合并候选参考与当前块相同的参考图像，则该目标合并候选被用于导出MH候选。如果用于导出一MH候选的目标合并候选参考的是与该当前块不同的参考图像，则该目标合并候选不被允许用于导出该至少一个MH候选。在另一示例中，如果用于导出至少一个MH候选的目标合并候选参考的是与当前块不同的参考图像，则运动向量缩放被应用于该目标合并候选的目标运动向量以生成参考与当前块相同的参考图像的该目标合并候选的缩放运动向量。
在又一实施例中，编解码控制设置对应于运动限制设置。如果该第一预测子和该至少一个第二预测子具有相同的参考图像索引，则该第一预测子和该至少一个第二预测子被组合以导出该至少一个MH候选。在另一示例中，如果该第一预测子和该至少一个第二预测子具有相同的参考图像索引，并且该第一预测子的第一运动向量和第二预测子的第二运动向量在一预定义区域内，则该第一预测子和该至少一个第二预测子被组合以导出该至少一个MH候选。
附图说明
图1示出用于导出AMVP和合并方案的空间和时间MVP的相邻PU。
图2示出组合的双向合并候选的推导过程的示例。
图3示出缩放的双向预测合并候选的导出过程的示例，其中左侧的候选列表对应于原始候选列表，右侧的候选列表对应于包括两个生成的双向预测MVP的扩展候选列表。
图4A示出添加零向量合并候选的示例，其中左侧的候选列表对应于原始合并候选列表，右侧的候选列表对应于添加零候选的扩展的合并候选列表。
图4B示出用于添加零向量AMVP候选的示例，其中顶部的候选列表对应于原始AMVP候选列表(左侧的L0和右侧的L1)，并且底部的候选列表对应于添加零候选的扩展AMVP候选列表(左侧为L0，右侧为L1)。
图5示出由高效视频编解码(high efficiency video coding，简称HEVC)标准使用的33个方向帧内预测模式。
图6示出四参数仿射模型的示例，其中运动模型可基于两个控制点处的运动向量导出。
图7示出用于导出角导出仿射候选的相邻块集合。
图8A示出当前帧中的当前块的UMVE搜索过程的示例。
图8B示出对L0参考和L1参考垂直地和水平地在中心点周围的特定位置处的UMVE搜索的示例。
图9示出根据本发明的实施例的用于视频编解码的示例性帧间预测的流程图，其中帧间预测通过组合基于第一假设的第一预测子和基于至少一个第二假设的至少一个第二预测子来允许多重假设(Multi-hypothesis，简称MH)。
具体实施方式
以下描述是实现本发明的最佳方案。进行该描述是为了说明本发明的一般原理，而不应被视为具有限制意义。通过参考所附权利要求本发明的范围被最好地确定。
在本发明中，公开了多重假设(Multi-hypothesis，简称MH)模式以改进帧间预测，帧间预测是用于跳跃和/或合并和/或帧内模式的改进方法。所提出的多重假设模式描述如下。
在原始跳跃和合并模式中，合并索引将被用于从合并候选列表中选择运动候选。运动候选可以是由候选自身导出的单向预测或双向预测。所生成的运动补偿预测子在本公开中被称为第一假设。对于所提出的多重假设模式，除了第一假设之外，还将产生第二假设。预测子的第二假设可通过来自合并或跳跃模式的运动补偿来生成，或者可通过帧内预测模式生成。当多重假设模式被支持时，一个或多个多重假设候选可从跳跃和/或合并和/或帧内模式获得。当通过帧内预测模式第二假设被生成时，在本公开中，所提出的多重假设模式被称为用于帧内的MH模式。当通过来自合并或跳跃模式或任一其他帧间模式的运动补偿第二假设被生成时，在本公开中，所提出的多重假设模式被称为合并的MH模式。对于帧内的MH模式，每个多重假设候选包含一个运动候选和一个帧内预测模式，其中运动候选从候选列表I中选择，并且帧内预测模式从候选列表II中选择。换句话说，运动候选可在编码器处通过编码模式决策匹配一个或多个帧内预测模式。运动候选和帧内候选被确定，在一些实施例中，运动候选或帧内候选被发送给解码器。
在一实施例中，当帧内的MH模式被支持时，一标志被发送以指示用于帧内模式的MH模式是否被应用。
在另一实施例中，当用于帧内的MH模式被支持时，一标志被发送以指示用于帧内的MH模式是否被应用。如果标志被开启，则额外的帧内模式索引被发送以指示来自候选列表II的帧内预测模式。
在另一实施例中，帧内的MH模式被支持而无需额外的语法。帧内的MH模式的每个候选被插入到合并候选列表中并且由原始跳跃和合并模式的合并索引指示。合并候选列表的长度(L)可保持相同或者扩展到L+N，其中N是正数并且可根据块宽度和/或块高度类似的预定规则变化。
在另一实施例中，帧内的MH模式被支持而无需额外的语法或是只需要一标志被发送以指示用于帧内模式的MH模式是否被应用(如果标志被开启，则额外的帧内模式索引不需要被发送，可以隐形地指示来自候选列表II的帧内预测模式)。帧内的MH模式的每个候选可根据预定义的规则或顺序被插入到合并候选列表中，并且由原始跳跃和合并模式的合并索引指示。在一实施例中，形成MH候选列表的规则是帧内的MH模式的每个候选将被插入到相应的运动候选附近。例如，支持MH模式的合并候选列表形成如下：{A0，(A0，平面)，(A0，DC)，......，A1，(A1，平面)，(A1，DC)，......，B0，(B0，平面)，(B0，DC)，......，B1，(B1，平面)，(B0，DC)，...}，其中候选列表I＝{A0，A1，B0，B1，...}，候选列表II＝{平面，DC，......}，以及(A0，平面)，(A0，DC)，(A1，平面)，(A1，DC)，(B0，平面)，(B0，DC)，(B1，平面)，(B0，DC)中的每个表示一MH候选(或称为具有多重假设的候选)。在该示例中，支持MH模式的合并候选列表包括常规合并候选(例如，A0，A1，B0等)和MH合并候选(例如(A0，平面)，(A1，平面)，(B0，平面)，等等)。
在另一实施例中，形成MH候选列表的规则是帧内的MH模式的候选被插入到合并候选列表的特定位置。例如，帧内的MH模式的候选的顺序可以是空间候选，时间候选，候选类型1，候选类型2，或候选类型3等。在另一实施例中，形成MH候选列表的规则是帧内的MH模式的候选可被插入任一位置或以预定义的顺序插入。
在另一实施例中，当用于帧内的MH模式被应用时，一帧内预测模式可根据预定义的顺序从候选列表II中选择。候选列表II开头的帧内预测模式可被隐式地确定为所选择的帧内预测模式，或者候选列表II开头的帧内预测模式可用最短码字来发送。顺序可以取决于特定标准，例如相应运动候选的属性或块宽度或块高度。例如，当块宽度远大于块高度时，具有接近垂直方向的帧内方向模式的帧的MH模式的候选可被插入在具有接近水平方向的帧内方向模式的帧的MH模式的候选之前。如果块高度远大于块宽度，则插入顺序可与前一种情况相反。再例如，对于具有相同运动候选的帧内预测模式，当运动候选的MVP位置是从左侧开始时，具有接近水平方向的帧内方向模式的候选可被插入在具有接近垂直方向的帧内方向模式的候选之前。
在另一实施例中，当用于帧内的MH模式被应用时，候选列表II可与用于一般帧内模式的候选列表相同或者是用于一般帧内模式集合的子集合。候选列表II的大小或候选列表II内的模式可随着块宽度或块高度或一般帧内模式的可用帧内预测模式的数量而变化。当候选列表II仅包含一个候选帧内模式时，用于帧内的MH模式的目标帧内预测模式可被隐式地分配而不是被明确地发送。例如，当块大小大于预定阈值时，一帧内模式索引被发送以指示来自候选列表II的目标帧内预测模式；否则，仅一种帧内预测模式被允许用于帧内的MH模式。对于那些小块，如果块宽度远大于块高度，则垂直模式被指定为目标帧内预测模式，如果块高度远大于块宽度，则水平模式被指定为目标帧内预测模式。对于其余的小块，平面模式被指定为目标帧内预测模式。
在另一实施例中，当帧内的MH模式被应用时，候选列表I可与一般合并模式的相同，或者是一般合并模式的候选列表。例如，候选列表I仅包含空间候选和/或时间候选。在另一示例中，候选列表I可排除未在HEVC中使用的扩展模式。
当合并的MH模式被支持时，一些设置，比如预测方向设置，不同抽头设置，块部分设置，运动设置，禁止设置或上述任一组合，可被应用于合并的MH模式的任一假设或两个假设。该等设置可被用于满足合并的MH模式的不同运动补偿带宽或的计算复杂度。该等设置可根据隐式或显式信令被启用。在一实施例中，隐式赋值可取决于块宽度、块高度或块大小。例如，设置被应用于小块而不是大块。在另一实施例中，显式信令可取决于CU级别、CTU级别、片段级别、图像级别、SPS、PPS等的标志。
在一实施例中，当预测方向设置被应用于合并的MH模式时，仅具有一预定义参考列表的单向预测可被用于合并的MH模式的假设。
在另一实施例中，当不同的抽头设置被应用于MH模式以进行合并时，较短长度的用于运动补偿(motion compensation，简称MC)的子像素插值滤波器被用来替换MC的原始插值滤波器。例如，整数像素MC可被用于代替子像素MC。
在另一实施例中，当块部分设置被应用于合并的MH模式时，整个块中仅子区域可被添加用于该假设。子区域可由多个连续子块或多个单独的子块形成。例如，子区域包括不包含边界的块区域。在另一示例中，子区域包括靠近块中心的子块。再例如，子区域包括角落处的子块。该部分可根据块宽度或块高度或块大小等特定标准进行扩展或缩小。
在另一实施例中，当运动设置被用于合并的MH模式时，由满足预定义运动条件的运动候选生成的假设可被用于合并的MH模式。运动条件可以是参考索引与其他假设的参考索引相同，或者运动向量在预定义区域内，或者上述的任一组合。
在另一实施例中，当禁止设置被应用于合并的MH模式时，额外假设不被添加。换句话说，在某些条件下，禁止设置可被视为禁用合并的MH模式。该等条件可取决于块宽度、块高度或块大小。例如，当块小于NxM时，合并的MH模式被禁用，其中N可以是4或8，M可以是4或8。
在另一实施例中，合并的MH模式的组合设置可以是许多可能的组合。一种组合是不同的抽头设置和块部分设置。换句话说，不同长度的子像素插值滤波器可被应用于块的不同部分。例如，对于块边界上的子区域，整数像素MC被使用，对于靠近块中心的子区域，较长长度的子像素插值滤波器被使用；并且对于其余子区域，较短长度的子像素插值滤波器被使用。
在一实施例中，当MH模式被用于一个以上的现有模式时，一现有模式的MH模式不能被用于生成另一现有模式的MH模式的假设，并且语法设计被排除。例如，帧内的MH模式的假设不能由帧间的MH模式(或者也称为合并的MH模式或MH合并)生成。用于指示是否使用帧间的MH模式(或者也称为合并的MH模式或MH合并)的标志被发送或解析。如果该标志被启用，则该标志不需要被发送并且可以被推断为关闭。以相同的方式，用于指示是否使用帧间的MH模式(或者也称为合并的MH模式或MH合并)的标志可被发送或解析。当该标志被启用时，该标志不需要被发送并且被推断为关闭。
在一实施例中，候选列表II中的帧内预测模式可以固定为{平面，DC，水平，对角线，垂直，垂直对角线}或这七种模式的任一其他子集合。例如，候选列表II中的帧内预测模式可以是{平面，DC，水平，垂直}。
在另一实施例中，候选列表II中的帧内预测模式的数量可随着一般帧内模式的帧内预测模式的数量而变化。当用于一般帧内模式的帧内预测模式与HEVC相同时，候选列表II中的帧内预测模式可以是{平面，DC，水平，对角线，垂直，垂直对角线}或这七种模式的任一其他子集合。当用于一般帧内模式的帧内预测模式的数量增加时，候选列表II中的帧内预测模式的数量增加并且可以从{平面，DC，水平，对角线，垂直，垂直对角线}或具有特定方程的此七个模式中的任一其他子集合扩展。候选列表II可根据{平面，直流，水平，对角线，垂直，垂直对角线}或这七种模式的任一其他子集±偏移来增加。根据另一实施例，候选列表II可根据{平面，DC，方向模式}增加，其中方向模式包括水平(H)和垂直模式(V)，以及H+k或V+k模式，其中k＝±1或±2或±3或±4等。
候选列表II中的帧内预测模式可从n个帧内预测模式集合中选择，其中n是正整数。每组的帧内预测模式可以彼此不同，或者可以是另一帧内预测模式组的任一其他子集合。每组的帧内预测模式的数量可随块宽度或块高度而变化。当所选择的集合内的帧内预测模式的数量等于1时，帧内预测模式可被推断而无需额外的帧内模式索引。在一实施例中，候选列表II的帧内预测模式可根据在CU级别、CTU级别、片段级别、图像级别、SPS级别或PPS级别等发送的显式索引来选择。在另一实施例中，候选列表II的帧内预测模式集合可根据运动候选来选择。例如，索引0指示的运动候选，可以是候选列表I中的合并索引0或索引0，与平面模式匹配；索引1指示的运动候选，可以是候选列表I中的合并索引1或索引1，与DC模式匹配；索引2指示的运动候选，可以是候选列表I中的合并索引2或索引2，与水平模式匹配；以及索引3指示的运动候选，可以是候选列表I中的合并索引3或索引3，与垂直模式匹配。
当MH模式(例如，合并的MH模式或帧内的MH模式)被支持时，诸如预测方向设置，不同的抽头设置，块部分设置，运动设置，禁止设置，块填充设置，参考图像设置，MV限制设置或上述任一组合可被用于合并的MH模式的任一假设或两个假设。该等设置可被用于满足合并的MH模式的不同运动补偿带宽或计算复杂度。该等设置可根据隐式或显式信令启用。在一实施例中，隐式赋值可取决于块宽度、块高度或块大小。例如，该等设置被应用于小于NxM的块，其中N和M可从{2，4，8，16}中选择。在一些实施例中，NxM可使用由NxM的结果生成的块大小阈值来表示。在另一示例中，根据与块宽度或块高度相关的预定义表格，该等设置被用于特定块。表1中示出示例性表格。该表格还可根据块分割来扩展。该等设置可被用于满足标有“O”的条件的块。在另一实施例中，显式信令可取决于CU级别、CTU级别、片段级别、图像级别、SPS级别或PPS级别等的标志。
表1.
在一实施例中，当预测方向设置被用于MH模式时，只有具有单向预测的假设可被视为MH模式的假设。具有双向预测的假设不被允许，或者具有双向预测的假设被用于通过不同机制产生具有单向预测的假设。该机制可将具有双向预测的一假设，(表示为{{mvL0，ref0}，{mvL1，ref1}}，划分为具有单向预测的多个假设，如{mvL0，ref0}的假设1，{mvL1，ref1}的假设2等。处理具有双向预测的假设的规则可被预定义，或使用块宽度，块高度或块属性(例如，其他应用的帧间工具)隐式地导出，或者使用在CU级别、CTU级别、片段级别、图像级别、SPS级别或PPS级别等发送的标志明确地指示。例如，当SPS级别标志启用时，具有双向预测的假设不能被用于MH模式；当标志关闭时，具有双向预测的假设被分成具有单向预测的多个假设，然后可被用于MH模式。
在另一实施例中，当不同的抽头设置被用于MH模式时，具有较短的MC长度的子像素插值滤波器可被用于代替MC的原始插值滤波器。插值滤波器的长度可以是2、4、6或8。例如，诸如双线性插值滤波器的2抽头插值滤波器可被用于MH模式。在另一实施例中，较短的插值滤波器可从插值滤波器生成，该插值滤波器已经存在并且被很好地定义，因此不需要额外的硬件设计。例如，通过将左侧的四个抽头加总为一系数而将右侧的另外四个抽头加总为另一系数，2抽头插值滤波器可从8抽头插值滤波器生成。因此，如果8抽头插值滤波器被定义为{-1，4，-11，45，34，-10，4，-1}，则相应的2抽头插值滤波器为{37，27}。在另一示例中，用于亮度分量的4抽头插值滤波器可与用于色度分量的现有4抽头插值滤波器相同。
在对W×H块执行分数MC时，其中W是块宽度且H是块高度，包含当前块的更大区域需被获取以应用插值滤波器。根据本发明的实施例，插值所需的样本区域被称为获取块。例如，对于8抽头插值滤波器，获取块的大小是(W+3+4)×(H+3+4)。在一实施例中，当块填充设置被用于MH模式时，获取块的大小可被减小。样本，减少的获取块之外的插值滤波器的所需样本可用从减少的获取块的边界填充的样本来填充。例如，获取块可被减小为当前块，并且当前块之外的额外样本不需要被获取。在另一示例中，获取块可被减小为包含当前块的(W+1)×(H+1)块。
在另一实施例中，当参考图像设置被用于MH模式时，仅参考相同参考图像的假设可被组合。具有不同参考图像的运动候选被禁止或用于通过MV缩放生成新的有效运动候选。MV缩放的机制描述如下。当用于一假设的第一运动候选是单向预测时，用于额外假设的第二运动候选的MV需被缩放到第一运动候选的参考图像。当第一运动候选是具有运动向量MV0和MV1的双向预测时，第二运动候选的MV0/MV1分别被缩放到参考图像0/1。MV0参考参考图像0并且MV1参考参考图像1。或者，第二运动候选的MV0/MV1可被缩放到参考图像0和参考图像1中的一个，其最接近于第二运动候选的MV0/MV1。
在另一实施例中，当MV限制设置被用于MH模式时，仅参考相同参考图像并且由类似MV生成的假设可被组合。用于多重假设的相同参考图像内的MV之间的可允许距离可取决于来自多重假设的相同参考图像内的MV所指示的块宽度或块高度或重叠区域。对于同一参考图像内但超过允许距离的MV，MH模式不被允许；MV值被缩小或MV方向被重新调整到允许距离。
上述的任一组合可被用于任一多重假设模式，例如合并的MH模式或帧内的MH模式。
任一前述提出的方法可在编码器和/或解码器中实现。例如，任一所提出的方法可在编码器的帧间编码模块或帧内编码模块，解码器的运动补偿模块或合并候选导出模块中实现。或者，任一所提出的方法可实现为耦合到编码器的帧间编码模块或帧内编码模块和/或解码器的运动补偿模块或组合并候选导出模块的电路。
在JVET-K0115(S.Jeong,et al.,“CE4 Ultimate motion vector expression inJ0024(Test 4.2.9)”,in Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3andISO/IEC JTC 1/SC 29/WG 11,11th Meeting:Ljubljana,SI,10–18July 2018,Document:JVET-K0115)。最终运动向量表达(ultimate motion vector expresssion，UMVE)在JVET-J024中被提出(S.Akula,et.Al.,“Description of SDR,HDR and 360°video codingtechnology proposal considering mobile application scenario by Samsung,Huawei,GoPro,and HiSilicon”,in Joint Video Exploration Team(JVET)of ITU-T SG16WP 3and ISO/IEC JTC 1/SC 29/WG 11,10th Meeting:San Diego,US,10–20Apr.2018,Document:JVET-J0024)。图8A示出当前帧810中的当前块812的UMVE搜索过程的示例。参考列表L1中的帧820和参考列表L1中的帧830对应于用于双向预测的两个参考。线840对应于通过当前块812的中心的线和帧820和830中的两个对应像素。搜索围绕与线840相关联的中心点(例如，线842和844)执行。为了简化搜索过程，仅垂直和水平中心点周围的特定位置被搜索，如图8B所示用于L0参考(850)和L1参考(852)。UMVE被用于具有提出的运动向量表达方法的跳跃或合并模式。UMVE重新使用与正在开发的通用视频编解码(versatile videocoding，简称VVC)标准相同的合并候选。在合并候选中，候选可被选择，并且通过所提出的运动向量表达方法被进一步扩展。UMVE提供具有简化信令的新运动向量表达。表达方法包括预测方向信息、起始点、运动幅度和运动方向。
所提出的技术按原样使用合并候选列表。但是，只有默认合并类型(MRG_TYPE_DEFAULT_N)的候选才会被考虑用于UMVE的扩展。预测方向信息指示L0，L1和L0与L1预测中的预测方向。在B片段中，所提出的方法可通过使用镜像技术从具有单向预测的合并候选生成双向预测候选。例如，如果合并候选是L1的单向预测，则参考索引L0可通过搜索列表0中的参考图像来确定，该参考图像与列表1的参考图像互为镜像。如果没有相应的图像，则到当前图像最近的参考图像被使用。L0的MV通过缩放L1的MV来导出。缩放因子通过图像顺序计数(picture order count，简称POC)距离来计算。
如果UMVE候选的预测方向与原始合并候选中的一个相同，则具有值0的索引用作为UMVE预测方向被发送。然而，如果UMVE候选的预测方向与原始合并候选的预测方向不同，则值为1的索引被发送。在发送第一位之后，剩余预测方向基于UMVE预测方向的预定义优先级被发送。优先级是L0/L1预测，L0预测和L1预测。如果合并候选的预测方向是L1，则代码“0”被发送用于UMVE'预测方向L1。代码“10”被发送用于UMVE'预测方向L0和L1。代码“11”被发送用于UMVE'预测方向L0。如果L0和L1预测列表相同，则UMVE的预测方向信息不被发送。
基本候选索引定义起始点。基本候选索引表示列表中候选中的最佳候选，如表2所示。
表2.
各种距离的距离索引(IDX)如表3所示。
表3.
方向索引表示MVD相对于起始点的方向。方向索引可表示四个方向，如表4所示。
表4.
方向IDX 00 01 10 11
x-axis + – N/A N/A
y-axis N/A N/A + –
为了降低编码器复杂度，块限制被应用。如果CU的宽度或高度小于4，则UMVE不被执行。
在JVET-L0090中(Hsiao,et al.,“CE4.4.12:Pairwise average candidates”,inJoint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,12th Meeting:Macao,CN,3–12Oct.2018,Document:JVET-L0090),成对平均候选通过对当前合并候选列表中的预定候选对进行平均来生成，并且预定义对被定义为{(0，1)，(0，2)，(1，2)，(0，3)，(1，3)，(2，3)}，其中数字表示合并候选列表的合并索引。平均运动向量对每个参考列表分别计算。如果两个运动向量在一个列表中可用，则即使该两个运动向量指向不同的参考图像，该两个运动向量被平均；如果只有一个运动向量可用，则该运动向量被直接使用；如果没有可用的运动向量，则该列表保持无效。成对平均候选替换HEVC标准中的组合候选。
在本发明中，另一种用于改进帧间预测的多重假设模式被公开，其改善了一个或多个帧间模式的编解码性能，例如跳跃和/或合并和/或AMVP模式和/或仿射合并模式和/或仿射AMVP模式和/或子块合并模式。多重假设模式的概念是将现有的预测假设与一个额外的帧间预测相结合。在下文中，使用MH模式帧间(或者也称为合并或MH合并的MH模式)作为示例。在“跳跃”或“合并”模式下，一合并索引被用于从合并候选列表中选择一运动候选。运动候选可以是由候选自身导出的单向预测或双向预测。所生成的运动补偿预测子在本公开中被称为第一假设。对于所提出的多重假设模式，除了第一假设之外，还将产生第二假设。预测子的第二假设可通过来自合并或跳跃模式，AMVP模式，仿射合并模式，仿射AMVP模式或子块合并模式的运动补偿来生成。当多重假设模式被支持时，一个或多个多重假设候选可被用于跳跃和/或合并，AMVP模式，仿射合并模式，仿射AMVP模式或子块合并模式。
根据不同的设置，例如支持的模式设置，组合的权重设置，应用的部分设置，预测方向设置，不同抽头设置，禁止设置，块填充设置，参考图像设置，MV限制设置，参考MV设置以及上述任意组合，多重假设模式的变化被提出。上述设置可被用于原始假设，额外假设或多重假设，并且可根据隐式或显式信令启用。在一实施例中，隐式赋值可取决于块宽度，块高度或块大小。例如，设置被应用于小于NxM的块，其中N和M可以从{2，4，8，16}中选择。在另一示例中，根据与块宽度或块高度相关联的预定表格设置被应用于某些块。在另一实施例中，显式信令可取决于CU级别、CTU级别、片段级别、方格级别，图片像级别，SPS级别，和PPS级别等的标志。
支持的模式设置意味着多重假设模式可被用于一个或多个现有的帧间模式，例如跳跃，合并，AMVP，仿射合并，仿射AMVP，和子块合并模式。参考原始假设和额外假设的运动信息从上述的一个或多个帧间模式生成。在一实施例中，原始假设和额外假设的帧间模式需要是相同的或可不相同。在另一实施例中，原始假设和额外假设的帧间模式可根据映像表被预先确定。例如，如果预测的原始假设来自仿射模式，则预测的额外假设需要来自合并模式。在另一实施例中，多重假设模式可支持改进的帧间模式。例如，UMVE候选可被用于生成预测的假设。在另一示例中，用于生成假设预测的运动信息可通过参考类似于基于历史方案的先前编解码运动信息来获取。在另一示例中，成对平均候选可被用于生成预测的假设。
组合权重设置意味着可通过将预测的多重假设加总并且加权，右移，然后限幅，多重假设模式的预测被生成。对于每个假设，权重可固定为一个值，或者随着预测的位置而变化。例如，原始和额外假设的权重分别为5和3。在另一例子中，原始假设的权重大于额外假设的权重。在一实施例中，对于每个假设，每个N×M子块可共享相同的权重，其中N和M可以是2、4、8、16、32、64或128。或者，每个预测的像素具有其自己的权重。上述的任一组合可被应用。在另一实施例中，当预测的位置在特定边缘A之外时，一假设的权重可被设置为零，以及另一假设的预测可直接被作为该块的预测，其中“边缘”对应于与两个假设相关的两个预测子之间的块中的区域。边缘宽度w可以是诸如0、1、2、3、4、8或16的整数。边缘宽度可沿着诸如垂直，水平或对角线方向的方向随块宽度或高度而变化。每个N×M子块的权重可取决于块宽度和/或高度，分割方向，CU/PU中的子块位置，子块MV和/或帧间预测方向。
应用部分设置意味着对于启用了多重假设模式的每个块，预测像素可以分为区域1，区域2和区域3。一假设可被应用于区域1；另一假设可被应用于区域2；并且组合预测可被应用于区域3。在一实施例中，区域3可以是整个块。换句话说，整个块的预测从预测的多重假设生成。在另一实施例中，CU在任一对角线方向上被分成两个三角形预测单元。区域1是一三角形预测单元；区域2是另一三角形预测单元；区域3是边缘，边缘宽度可以是沿分割方向的0、1、2、3、4、8、16或32。在区域3中，每个样本/像素或每个NxM块的权重可以是不同的。权重可取决于块宽度和/或高度，分割方向，CU/PU中的子块位置，子块MV和/或帧间预测方向。在另一实施例中，区域3可以由多个连续子块或单独的子块形成。例如，子区域包括排除边界的块区域。在另一示例中，子区域包括靠近块的中心的子块。在又一个示例中，子区域包括拐角处的子块。该部分可根据诸如块宽度，块高度或块大小的特定标准来扩展或缩小。
预测方向设置意味着仅具有一个预定义参考列表的单向预测可被用于多重假设模式的假设。具有双向预测的假设被禁止或用于通过不同机制产生具有单向预测的假设。该机制可将双向预测的假设，(表示为{{mvL0，ref0}，{mvL1，ref1}}，分为具有单向预测的多重假设，例如具有{mvL0，ref0}的假设1，具有{mvL1，ref1}的假设2等。处理具有双向预测的假设的规则可被预定义，或者根据块宽度或块高度或块属性(例如，其他应用的帧间工具)被隐式地导出，或者根据在CU级别、CTU级别、片段级别、方格级别、图像级别、SPS级别、或PPS级别等发送的标志被明确指示。例如，当SPS级别标志启用时，具有双向预测的假设不能被用于多重假设模式；当标志关闭时，具有双向预测的假设被分成具有单向预测的多重假设，其可被用于多重假设模式。
当不同的抽头设置被应用于MH模式时，具有较短长度的运动补偿(motioncompensation，简称MC)的子像素插值滤波器可被用来替换MC的原始插值滤波器。插值滤波器的长度可以是1、2、4、6或8。例如，整数像素MC可被用来代替子像素MC。再例如，诸如双线性插值滤波器的2抽头插值滤波器可被用于多重假设模式。在一实施例中，较短的插值滤波器可从插值滤波器生成，该插值滤波器已经存在并且被很好地定义。因此，额外的硬件设计不被需要。例如，通过将左手侧的四个抽头加总到一系数而将右手侧的另外四个抽头加总到另一系数，2抽头插值滤波器可从8抽头插值滤波器生成。因此，如果将8抽头插值滤波器定义为{-1，4，-11，45，34，-10，4，-1}，则相应的2抽头插值滤波器为{37，27}。再例如，用于亮度的4抽头插值滤波器可与用于色度的现有4抽头插值滤波器相同。
当禁止设置被应用于合并的MH模式时，额外假设不被添加。换句话说，在某些情况下，禁止设置可以被视为禁用合并的MH模式。条件可取决于块宽度，块高度或块大小。例如，当块小于NxM时，合并的MH模式被禁用，其中N可以是4或8，M可以是4或8。
在对W×H块执行分数MC时，其中W是块宽度，H是块高度，包含当前块的更大区域需被获取以应用插值滤波器。在一实施例中，该区域称为获取块。例如，对于8抽头插值滤波器，获取块的大小是(W+3+4)×(H+3+4)。在一实施例中，当块填充设置被应用于多重假设模式时，获取块的大小可被减小。在减小的获取块之外的插值滤波器所需的样本可由从减小的获取块的边界填充的样本填充。例如，获取块可被简化为当前块，并且当前块之外的额外样本不需要被获取。再例如，获取块可被简化为包含当前块的(W+1)×(H+1)块。
当参考图像设置被应用于多重假设模式时，仅参考相同参考图像的假设被组合。具有不同参考图像的运动候选不被允许或者运动候选必须通过MV缩放生成新的有效运动候选。MV缩放的机制描述如下。当用于一假设的第一运动候选是单向预测时，用于额外假设的第二运动候选的MV需被缩放到第一运动候选的参考图像。当第一运动候选是具有运动向量MV0和MV1的双向预测时，第二运动候选的MV0/MV1分别被缩放到参考图片0/1。或者，第二运动候选的MV0/MV1被缩放到参考图像0和参考图像1中的一个，其分别最接近第二运动候选的MV0/MV1。MV0指的是参考图像0，MV1指的是参考图像1。
当MV限制设置被应用于多重假设模式时，仅满足预定义运动条件的假设可被用于多重假设模式。运动条件可以是与其他假设的参考索引相同的参考索引，运动向量在预定义区域内，或者上述的任一组合。用于多重假设的相同参考图像内的MV之间的可允许距离可取决于来自多重假设的相同参考图像内的MV所指示的块宽度或块高度或重叠区域。对于同一参考图像内但超过允许距离的该些MV，一种可能的方式是禁止MH模式，另一种可能的方法是缩小MV值或将MV方向调整到允许距离。
当参考MV设置被应用于多重假设模式时，多重假设的运动信息可使用一些约束来参考。在一实施例中，当第二假设的信息由以下PU参考时，相同的参考帧约束应该被应用。例如，如果来自参考帧的同位PU使用多重假设模式被编解码，则仅来自第一或第二假设的一组运动数据被参考。这将防止原始缓冲区大小重复存储用于时间参考的运动。在又一个实施例中，相同的CTU约束或相同的CTU行(row)约束应该被应用。例如，如果同一帧中的相邻PU使用多重假设模式被编解码，则仅当PU属于与当前PU相同的CTU或相同的CTU行(row)时来自第二假设的帧内模式或运动信息才能被参考。这将防止额外的CTU线缓冲器用于存储帧内模式或运动数据。
上述设置的任一组合可被应用。例如，组合权重设置，应用部分设置和预测方向设置可被组合。在另一示例中，CU在两个对角线方向中的任一个上被分成两个三角形预测单元。CU中的每个三角形预测单元使用其自己的单向预测运动向量和参考帧索引进行帧间预测。在预测三角形预测单元之后，自适应加权处理，其中每个N×M子块的权重相同，在对角线边缘上被执行。然后，变换和量化处理被应用于整个CU。在另一示例中，不同的抽头设置和块部分设置被组合。换句话说，具有不同长度的子像素插值滤波器可被应用于块的不同部分。例如，对于块边界上的子区域，整数像素MC被使用；对于靠近块中心的子区域，较长长度的子像素插值滤波器被使用；对于其余子区域，较短长度的子像素插值滤波器被使用。
任一上述公开的方法可在编码器和/或解码器中实现。例如，任一所提出的方法可在编码器的帧间编码模块、运动补偿模块、解码器的合并/帧间候选导出模块中实现。或者，任一所公开的方法可实现为耦合到编码器的帧间编码模块，和/或解码器的运动补偿模块和合并/帧间候选导出模块的电路。
图9示出用于视频编解码的示例性帧间预测的流程图，根据本发明的实施例，其中帧间预测通过组合基于第一假设的第一预测子和基于至少一个的第二假设的至少一个第二预测子来允许多重假设(Multi-hypothesis，简称MH)。流程图中示出的步骤以及本公开中的其他后续流程图可实现为在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器的硬件来实现。根据该方法，在步骤910，在视频编码器侧接收与当前图像中的当前块相关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流。在步骤920中，检查MH模式是否被用于当前块。如果MH模式被用于当前块(即，步骤920的“是”路径)，则步骤930至950被执行。否则(即，步骤920的“否”路径)，步骤930至950被跳过。在步骤930中，通过调整至少一个编解码控制设置使用缩减参考数据导出至少一个MH候选。在步骤940中，生成帧间候选列表，其中帧间候选列表包括该至少一个MH候选。在步骤950中，在视频编码器侧使用帧间候选列表对与当前块相关的当前运动信息进行编码，或者在视频解码器侧使用帧间候选列表对与当前块相关的当前运动信息进行解码。
所示的流程图旨在示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，所属技术领域的技术人员可以修改每个步骤、重新安排步骤、分割步骤、或组合步骤以实施本发明。在本公开中，特定语法和语义被用来说明用于实现本发明的实施例的示例。所属技术领域的技术人员可以通过用等同的语法和语义替换语法和语义来实践本发明而不脱离本发明的精神。
如上所述的本发明的实施例可以各种硬件，软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中的程序代码，以执行以上描述的处理。本发明的实施例还可以是将在数字信号处理器(Digital Signal Processor，简称DSP)上执行的程序代码，以执行以上描述的处理。本发明还可以涉及由计算机处理器，DSP，微处理器或现场可程序设计门阵列(fieldprogrammable gate array，简称FPGA)执行的许多功能。该些处理器可被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以用不同的程序设计语言和不同的格式或样式开发。还可以针对不同的目标平台编译软件代码。然而，软件代码的不同代码格式，样式和语言以及配置代码以执行根据本发明的任务的其他装置将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以其他特定形式实施。所描述的示例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是以上的描述表示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。

Claims (23)

1.一种视频编解码的帧间预测方法，其中所述帧间预测通过组合基于第一假设的第一预测子和基于至少一个第二假设的至少一个第二预测子来允许多重假设，所述方法包括：
在视频编码器侧接收与当前图像中的当前块相关的输入数据，或者在视频解码器侧接收与包括所述当前图像中的所述当前块的压缩数据相对应的视频比特流；
如果多重假设模式被用于所述当前块；
通过调整至少一个编解码控制设置来使用缩减参考数据导出至少一个多重假设候选；
生成帧间候选列表，其中所述帧间候选列表包括所述至少一个多重假设候选；以及
在所述视频编码器侧使用所述帧间候选列表对与所述当前块相关的当前运动信息进行编码，或者在所述视频解码器侧使用所述帧间候选列表对与所述当前块相关的所述当前运动信息进行解码，
其中，当所述当前块的宽度小于阈值或所述当前块的高度小于所述阈值时，禁用所述多重假设模式。
2.如权利要求1所述的视频编解码的帧间预测方法，其特征在于，所述至少一个编解码控制设置对应于预测方向设置。
3.如权利要求2所述的视频编解码的帧间预测方法，其特征在于，如果用于导出所述至少一个多重假设候选的目标帧间候选是双向预测，所述目标帧间候选不被允许用于导出所述至少一个多重假设候选。
4.如权利要求2所述的视频编解码的帧间预测方法，其特征在于，如果用于导出所述至少一个多重假设候选的目标帧间候选是双向预测，所述目标帧间候选被用作单向预测以导出所述至少一个多重假设候选。
5.如权利要求4所述的视频编解码的帧间预测方法，其特征在于，所述目标帧间候选被分成两个单向预测候选以导出所述至少一个多重假设候选。
6.如权利要求1所述的视频编解码的帧间预测方法，其特征在于，关于处理用于导出所述至少一个多重假设候选的目标帧间候选的一个或多个规则被预定义，隐式地确定或明确地指示。
7.如权利要求6所述的视频编解码的帧间预测方法，其特征在于，所述一个或多个规则由在编解码单元级别、编解码树单元级别、片段级别、图像级别、序列参数集合、图像级别或图像参数集合中发送的标志明确地指示，其中所述标志在所述视频编码侧被发送或在所述视频解码侧被解析。
8.如权利要求1所述的视频编解码的帧间预测方法，其特征在于，所述至少一个编解码控制设置对应于用于在子像素位置导出参考像素的插值滤波器的滤波器抽头设置以导出所述至少一个多重假设候选。
9.如权利要求8所述的视频编解码的帧间预测方法，其特征在于，较短插值滤波器被应用。
10.如权利要求9所述的视频编解码的帧间预测方法，其特征在于，所述较短插值滤波器对应于2抽头插值滤波器。
11.如权利要求9所述的视频编解码的帧间预测方法，其特征在于，所述较短插值滤波器从对应于较长插值滤波器的常规插值滤波器中生成。
12.如权利要求1所述的视频编解码的帧间预测方法，其特征在于，所述至少一个编解码控制设置对应于与将被获取的参考块相关的块大小，所述参考块被用于导出在包括多个子像素位置的多个位置处的所述当前块的多个运动补偿样本，其中所述参考块包括额外行，额外列或两者以导出所述子像素位置处的所述运动补偿样本，以及其中所述额外行，额外列或两者都被减少。
13.如权利要求12所述的视频编解码的帧间预测方法，其特征在于，被减少的所述额外行，额外列或两者从减少的获取的参考块的一个或多个边界填充。
14.如权利要求12所述的视频编解码的帧间预测方法，其特征在于，额外行，额外列被减少到零或减少到1行和1列。
15.如权利要求1所述的视频编解码的帧间预测方法，其特征在于，至少一个编解码控制设置对应于参考图像设置。
16.如权利要求15所述的视频编解码的帧间预测方法，其特征在于，如果目标帧间候选参考与所述当前块相同的参考图像，所述目标帧间候选被用于导出所述至少一个多重假设候选。
17.如权利要求15所述的视频编解码的帧间预测方法，其特征在于，如果用于导出所述至少一个多重假设候选的目标帧间候选参考与所述当前块不相同的参考图像，所述目标帧间候选不被允许用于导出所述至少一个多重假设候选。
18.如权利要求15所述的视频编解码的帧间预测方法，其特征在于，如果用于导出所述至少一个多重假设候选的目标帧间候选参考与所述当前块不相同的参考图像，运动向量缩放被应用于所述目标帧间候选的目标运动向量以产生参考与所述当前块相同的参考图像的缩放的运动向量。
19.如权利要求1所述的视频编解码的帧间预测方法，其特征在于，所述至少一个编解码控制设置对应于运动限制设置。
20.如权利要求19所述的视频编解码的帧间预测方法，其特征在于，如果所述第一预测子和所述至少一个第二预测子有相同参考图像索引，所述第一预测子和所述至少一个第二预测子被组合以导出所述至少一个多重假设候选。
21.如权利要求19所述的视频编解码的帧间预测方法，其特征在于，如果所述第一预测子和所述至少一个第二预测子有相同参考图像索引以及所述第一预测子的第一运动向量和所述至少一个第二预测子的第二运动向量位于预定义区域内，所述第一预测子和所述至少一个第二预测子被组合以导出所述至少一个多重假设候选。
22.如权利要求1所述的视频编解码的帧间预测方法，其特征在于，所述帧间候选列表从跳跃模式、合并模式、先进运动向量预测模式、仿射合并模式、仿射先进运动向量预测模式、或子块合并模式中导出。
23.一种视频编解码装置，所述装置包括一个或多个电子电路或处理器，被设置用于：
在视频编码器侧接收与当前图像中的当前块相关的输入数据，或者在视频解码器侧接收与包括所述当前图像中的所述当前块的压缩数据相对应的视频比特流；
如果多重假设模式被用于所述当前块；
通过调整至少一个编解码控制设置使用缩减参考数据导出至少一个多重假设候选；
生成帧间候选列表，其中所述帧间候选列表包括所述至少一个多重假设候选；以及
在所述视频编码器侧使用所述帧间候选列表对与所述当前块相关的当前运动信息进行编码，或者在所述视频解码器侧使用所述帧间候选列表对与所述当前块相关的所述当前运动信息进行解码，
其中，当所述当前块的宽度小于阈值或所述当前块的高度小于所述阈值时，禁用所述多重假设模式。
CN201980047564.1A 2018-07-18 2019-07-18 一种视频编解码的帧间预测方法及装置 Active CN112544082B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862699760P 2018-07-18 2018-07-18
US62/699,760 2018-07-18
US201862714787P 2018-08-06 2018-08-06
US62/714,787 2018-08-06
US201862745485P 2018-10-15 2018-10-15
US62/745,485 2018-10-15
PCT/CN2019/096550 WO2020015706A1 (en) 2018-07-18 2019-07-18 Method and apparatus of motion compensation bandwidth reduction for video coding system utilizing multi-hypothesis

Publications (2)

Publication Number Publication Date
CN112544082A CN112544082A (zh) 2021-03-23
CN112544082B true CN112544082B (zh) 2023-12-15

Family

ID=69164150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047564.1A Active CN112544082B (zh) 2018-07-18 2019-07-18 一种视频编解码的帧间预测方法及装置

Country Status (5)

Country Link
US (2) US11218721B2 (zh)
EP (1) EP3824631A4 (zh)
CN (1) CN112544082B (zh)
TW (1) TWI720551B (zh)
WO (1) WO2020015706A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152283A1 (en) * 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) * 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
EP3861724A4 (en) * 2018-10-27 2022-02-23 Huawei Technologies Co., Ltd. SEPARATE LIST OF INTRA-INTER-TECHNICAL MERGER AND HARMONIZATION FOR VIDEO CODING
KR102625145B1 (ko) 2018-12-17 2024-01-16 삼성전자주식회사 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
CN114342408B (zh) * 2019-08-26 2024-11-19 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
CN117581538A (zh) * 2021-06-28 2024-02-20 抖音视界有限公司 视频处理的方法、设备和介质
US12120335B2 (en) * 2021-08-24 2024-10-15 Tencent America LLC Hardware friendly design for intra mode coding
US12132885B2 (en) * 2021-09-16 2024-10-29 Qualcomm Incorporated Multiple inter predictors with decoder side motion vector derivation for video coding
WO2023172243A1 (en) * 2022-03-07 2023-09-14 Google Llc Multi-frame motion compensation synthesis for video coding
EP4500859A1 (en) * 2022-03-28 2025-02-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
KR20230147901A (ko) * 2022-04-15 2023-10-24 삼성전자주식회사 영상 부호화/복호화 방법 및 장치
WO2023246408A1 (en) * 2022-06-23 2023-12-28 Mediatek Inc. Methods and apparatus for video coding using non-adjacent motion vector prediction
WO2024022145A1 (en) * 2022-07-28 2024-02-01 Mediatek Inc. Method and apparatus of amvp with merge mode for video coding
WO2024072195A1 (ko) * 2022-09-28 2024-04-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024072194A1 (ko) * 2022-09-29 2024-04-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024080781A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024191214A1 (ko) * 2023-03-15 2024-09-19 한국전자통신연구원 영상 부호화/복호화를 위한 방법 및 비트스트림을 저장하는 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311294A (ja) * 1993-04-23 1994-11-04 Canon Inc ファクシミリ装置
JP2003333600A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号方法
CN102934440A (zh) * 2010-05-26 2013-02-13 Lg电子株式会社 用于处理视频信号的方法和设备
EP2941005A1 (en) * 2014-04-29 2015-11-04 Thomson Licensing Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917621A (zh) 2003-08-26 2010-12-15 汤姆森特许公司 用于编码混合内部-相互编码块的方法和装置
WO2008005102A2 (en) * 2006-05-13 2008-01-10 Sap Ag Consistent set of interfaces derived from a business object model
CN101491107B (zh) 2006-07-07 2012-07-18 艾利森电话股份有限公司 一种对图像元素组进行解码的方法及其相关的编码器、解码器
US8422555B2 (en) 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
CN101557514B (zh) 2008-04-11 2011-02-09 华为技术有限公司 一种帧间预测编解码方法、装置及系统
BRPI0910477A2 (pt) * 2008-04-11 2015-09-29 Thomson Licensing método e equipamento para predição de equiparação de gabarito (tmp) na codificação e decodificação de vídeo
US9445121B2 (en) * 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
CN101854554A (zh) 2010-06-13 2010-10-06 上海交通大学 基于图像修复预测的视频编解码系统
CN102186070B (zh) 2011-04-20 2013-06-05 北京工业大学 分层结构预判的快速视频编码方法
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
GB2492337B (en) * 2011-06-27 2018-05-09 British Broadcasting Corp Video encoding and decoding using reference pictures
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US9491459B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
CN104904207B (zh) 2012-10-01 2018-06-01 Ge视频压缩有限责任公司 将层间预测贡献值用于增强层预测的可伸缩视频编码
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
CN103338372A (zh) * 2013-06-15 2013-10-02 浙江大学 一种视频处理方法及装置
WO2015005507A1 (ko) * 2013-07-08 2015-01-15 삼성전자 주식회사 다수의 가설 추정자들을 이용하는 인터 예측 방법 및 그 장치
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10666940B2 (en) 2014-11-06 2020-05-26 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
CN112887711B (zh) * 2015-07-27 2023-06-30 寰发股份有限公司 一种视频编解码方法及系统
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
WO2019152283A1 (en) * 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
KR102751065B1 (ko) * 2018-11-29 2025-01-06 후아웨이 테크놀러지 컴퍼니 리미티드 다중 가설 예측이 있는 블록에 대한 가장 가능성 있는 모드 목록 구성의 인코더, 디코더 및 대응 방법
US11122272B2 (en) * 2018-12-26 2021-09-14 Mediatek Inc. Triangle prediction with applied-block settings and motion storage settings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311294A (ja) * 1993-04-23 1994-11-04 Canon Inc ファクシミリ装置
JP2003333600A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号方法
CN102934440A (zh) * 2010-05-26 2013-02-13 Lg电子株式会社 用于处理视频信号的方法和设备
EP2941005A1 (en) * 2014-04-29 2015-11-04 Thomson Licensing Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Description of SDR video coding technology proposal by MediaTek》;Chih-Wei Hsu等;《Joint Video Experts Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;正文第2.4.3-2.4.5节 *
Tunnel flexibility effect on the ground surface acceleration response;Mohammad Hassan Baziar;Masoud Rabeti Moghadam;Yun Wook Choo;Dong-Soo Kim;;Earthquake Engineering and Engineering Vibration(第03期);全文 *

Also Published As

Publication number Publication date
US20220086478A1 (en) 2022-03-17
TW202007155A (zh) 2020-02-01
US11917185B2 (en) 2024-02-27
US11218721B2 (en) 2022-01-04
WO2020015706A1 (en) 2020-01-23
TWI720551B (zh) 2021-03-01
CN112544082A (zh) 2021-03-23
EP3824631A1 (en) 2021-05-26
EP3824631A4 (en) 2022-07-06
US20210329287A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
CN112544082B (zh) 一种视频编解码的帧间预测方法及装置
US11956462B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
TWI736907B (zh) 改進的模式匹配的運動向量推導
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TWI738248B (zh) 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
TW202025781A (zh) 仿射模式編碼的模式相關自適應調整運動矢量分辨率
TWI734254B (zh) 視訊編碼之多重假設方法和裝置
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
CN112514383B (zh) 用于视频编解码的利用运动向量差的合并方法和装置
CN112840645B (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
CN113302916A (zh) 具有cu级别权重的双向预测的插值
TW202002650A (zh) 擴展Merge模式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220531

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant