CN113596462A - 编解码方法方法、装置及设备 - Google Patents
编解码方法方法、装置及设备 Download PDFInfo
- Publication number
- CN113596462A CN113596462A CN202111014067.7A CN202111014067A CN113596462A CN 113596462 A CN113596462 A CN 113596462A CN 202111014067 A CN202111014067 A CN 202111014067A CN 113596462 A CN113596462 A CN 113596462A
- Authority
- CN
- China
- Prior art keywords
- current image
- image block
- pixel
- block
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000007774 longterm Effects 0.000 claims description 34
- 230000002457 bidirectional effect Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims 3
- 239000013598 vector Substances 0.000 abstract description 259
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 76
- 230000002123 temporal effect Effects 0.000 description 58
- 238000010586 diagram Methods 0.000 description 18
- 238000005192 partition Methods 0.000 description 17
- 238000006073 displacement reaction Methods 0.000 description 12
- 238000010187 selection method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请提供一种编解码方法、装置及设备,该编解码方法包括:确定当前图像块各像素点的预测值;基于所述当前图像块各像素点的预测值,确定所述当前图像块各像素点的梯度值;确定所述当前图像块各像素点的偏移矢量;基于所述当前图像块各像素点的梯度值以及偏移矢量,确定所述当前图像块各像素点的预测补偿值;基于所述当前图像块各像素点的预测值以及预测补偿值,确定所述当前图像块各像素点的最终预测值。该方法可以扩展预测补偿调整的适用范围。
Description
技术领域
本申请涉及视频编解码技术,尤其涉及一种编解码方法、装置及设备。
背景技术
目前,联合视频专家组(Joint Video Experts Team,简称JVET)会议提出了一种预测补偿调整方法,该预测补偿调整方法基于当前图像块的各子块的原始运动信息获得各子块的原始预测值,并基于各子块的原始预测值获得各子块的补偿值,进而,基于各子块的补偿值与原始预测值,获得当前图像块的最终预测值。
然而实践发现,目前的预测补偿调整方法仅适用于采用双向预测模式,且各子块的运动矢量与相应子块中各像素点的运动矢量均相同的图像块,对于子块的运动矢量与该子块中像素点的运动矢量存在差异的图像块,无法实现预测补偿调整。
发明内容
有鉴于此,本申请提供一种编解码方法、装置及设备。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种编解码方法,包括:
确定当前图像块各像素点的预测值;
基于所述当前图像块各像素点的预测值,确定所述当前图像块各像素点的梯度值;
确定所述当前图像块各像素点的偏移矢量;
基于所述当前图像块各像素点的梯度值以及偏移矢量,确定所述当前图像块各像素点的预测补偿值;
基于所述当前图像块各像素点的预测值以及预测补偿值,确定所述当前图像块各像素点的最终预测值。
根据本申请实施例的第二方面,提供一种编解码装置,包括:
第一确定单元,用于确定当前图像块各像素点的预测值;
第二确定单元,用于基于所述当前图像块各像素点的预测值,确定所述当前图像块各像素点的梯度值;
第三确定单元,用于确定所述当前图像块各像素点的偏移矢量;
第四确定单元,用于基于所述当前图像块各像素点的梯度值以及偏移矢量,确定所述当前图像块各像素点的预测补偿值;
第五确定单元,用于基于所述当前图像块各像素点的预测值以及预测补偿值,确定所述当前图像块各像素点的最终预测值。
根据本申请实施例的第三方面,提供一种编码端设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如下步骤:
确定当前图像块各像素点的预测值;
基于所述当前图像块各像素点的预测值,确定所述当前图像块各像素点的梯度值;
确定所述当前图像块各像素点的偏移矢量;
基于所述当前图像块各像素点的梯度值以及偏移矢量,确定所述当前图像块各像素点的预测补偿值;
基于所述当前图像块各像素点的预测值以及预测补偿值,确定所述当前图像块各像素点的最终预测值。
根据本申请实施例的第四方面,提供一种解码端设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如下步骤:
确定当前图像块各像素点的预测值;
基于所述当前图像块各像素点的预测值,确定所述当前图像块各像素点的梯度值;
确定所述当前图像块各像素点的偏移矢量;
基于所述当前图像块各像素点的梯度值以及偏移矢量,确定所述当前图像块各像素点的预测补偿值;
基于所述当前图像块各像素点的预测值以及预测补偿值,确定所述当前图像块各像素点的最终预测值。
本申请实施例的编解码方法,在确定当前图像块各像素点的预测值之后,基于当前图像块各像素点的梯度值以及偏移矢量,确定当前图像块各像素点的预测补偿值,进而,基于当前图像块各像素点的预测值以及预测补偿值,确定当前图像块各像素点的最终预测值,预测补偿调整不需要再限于采用双向预测模式的图像块,且不限于各子块的运动矢量与相应子块中各像素点的运动矢量均相同的图像块,扩展了预测补偿调整的适用范围。
附图说明
图1A~1B是本申请示例性实施例示出的块划分的示意图;
图2是本申请一示例性实施例示出的一种8插头的插值示意图;
图3是本申请一示例性实施例示出的一种编解码方法的流程示意图;
图4是本申请一示例性实施例示出的一种仿射运动模式的控制点的运动矢量的示意图;
图5A是本申请一示例性实施例示出的一种整像素块的示意图;
图5B是本申请一示例性实施例示出的一种填充1行/列整像素点的示意图;
图5C是本申请一示例性实施例示出的一种填充2行/列整像素点的示意图;
图5D是本申请又一示例性实施例示出的一种填充2行/列整像素点的示意图;
图6是本申请一示例性实施例示出的一种解码方法的流程示意图;
图7A~7E是本申请示例性实施例示出的填充1行/列整像素点的示意图;
图8是本申请一示例性实施例示出的一种候选运动矢量选择方法的流程示意图;
图9是本申请一示例性实施例示出的一种候选运动矢量选择方法的流程示意图;
图10是本申请一示例性实施例示出的一种预测模式选择方法的流程示意图;
图11是本申请一示例性实施例示出的一种预测模式选择方法的流程示意图;
图12是本申请一示例性实施例示出的一种编解码装置的结构示意图;
图13是本申请一示例性实施例示出的一种编码端设备的硬件结构示意图;
图14是本申请一示例性实施例示出的一种解码端设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面先对现有视频编码标准中块划分技术、现有帧内子块划分方案以及本申请实施例涉及的部分技术术语进行简单说明。
一、现有视频编码标准中块划分技术
在HEVC中,一个编码树单元(Coding Tree Unit,简称CTU)使用四叉树递归划分成CU。在叶子节点CU级确定是否使用帧内编码或者帧间编码。CU可以进一步划分成两个或者四个预测单元(Prediction Unit,简称PU),同一个PU内使用相同的预测信息。在预测完成后得到残差信息后,一个CU可进一步四叉划分成多个变换单元(Transform Units,简称TU)。例如,本申请中的当前图像块即为一个PU。
但是在最新提出的通用视频编码(Versatile Video Coding,简称VVC)中的块划分技术有了较大变化。一种混合了二叉树/三叉树/四叉树的划分结构取代了原先的划分模式,取消了原先CU,PU,TU的概念的区分,支持了CU的更灵活的划分方式。其中,CU可以是正方形也可以是矩形划分。CTU首先进行四叉树的划分,然后四叉树划分的叶子节点可以进一步进行二叉树和三叉树的划分。图1A所示,CU共有五种划分类型,分别为四叉树划分,水平二叉树划分,垂直二叉树划分,水平三叉树划分和垂直三叉树划分,如图1B所示,一种CTU内的CU划分可以是上述五种划分类型的任意组合由上可知不同的划分方式,使得各个PU的形状有所不同,如不同尺寸的矩形,正方形。
二、技术术语
1、预测像素(Prediction Signal):指从已经编解码的像素中导出的像素值,通过原始像素与预测像素之差获得残差,进而进行残差变换量化以及系数编码。
示例性的,帧间的预测像素指的是当前图像块从参考帧(重建像素帧)导出的像素值,由于像素位置离散,需要通过插值运算来获取最终的预测像素。预测像素与原始像素越接近,两者相减得到的残差能量越小,编码压缩性能越高。
2、运动矢量(Motion Vector,简称MV):在帧间编码中,用MV表示当前编码块与其参考图像中的最佳匹配块之间的相对位移。每个划分的块(可以称为子块)都有相应的运动矢量需要传送到解码端。若对每个子块的MV进行独立编码和传输,特别是划分成小尺寸的子块,需要消耗相当多的比特。为了降低用于编码MV的比特数,视频编码中会利用相邻图像块之间的空间相关性,根据相邻已编码块的MV对当前待编码块的MV进行预测,然后对预测差进行编码。这样可以有效地降低表示MV的比特数。基于此,在对当前图像块的MV编码过程中,一般首先使用相邻已编码块的MV预测当前图像块的MV,然后对MV的预测值(MotionVector Prediction,简称MVP)与运动矢量的真正估值之间的差值,即运动矢量残差(MotionVector Difference简称MVD)进行编码,从而有效降低MV的编码比特数。
3、运动信息(Motion Information):由于MV表示当前图像块与某个参考图像中的最佳匹配块之间的相对位移,为了准确获取指向图像块的信息,除了MV信息,还需要通过参考图像的索引信息来表示使用了哪个参考图像。视频编码技术中,对于当前图像,通常会基于一定的原则,建立一个参考图像列表,参考图像索引信息则表示当前图像块采用了参考图像列表中的第几个参考图像。此外,很多编码技术还支持多个参考图像列表,因此还需要一个索引值表示使用了哪一个参考图像列表,该索引值可以称为参考方向。视频编码中,MV、参考帧索引、参考方向等与运动相关的编码信息统称为运动信息。
4、插值(Interpolation):若当前MV为非整像素,则无法直接从对应参考帧中拷贝已有像素值,所需像素值只能通过插值获得。
5、运动补偿(motion compensation):指通过插值(或拷贝)获得当前图像块所有预测像素值的过程。
6、TMVP模式(Temporal Motion Vector Prediction,时域运动矢量预测模式):指复用时域参考帧中的运动矢量的模式。
7、BDOF模式(Bi-directional Optical Flow,双向光流模式):也可以称为BIO模式,指基于两个参考帧的运动补偿值,基于光流方法进行运动补偿值调整的模式。
8、DMVR模式(Decoder-side Motion Vector Refinement,解码端运动矢量调整模式):指基于两个参考帧的运动补偿值,进行搜索获得运动矢量差值的模式。
9、SMVD模式(Symmetric Motion Vector Difference,对称运动矢量差模式):指双向预测模式的某一个方向的运动矢量差值直接通过另一个方向的运动矢量差值推导获得,而不需要编码。
示例性的,可以直接通过某一个方向的运动矢量差进行缩放获得,缩放因子与两个参考帧到当前图像块所属帧的距离有关。
为了使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
需要说明的是,本文中所描述的预测补偿调整方法可以应用于编码端设备,也可以应用于解码端设备;其中,当应用于编码端设备时,本文中所描述的图像块指代编码块;当应用于解码端设备时,本文中所描述的图像块指代解码块,本文后续不再复述。
请参见图3,为本申请实施例提供的一种预测补偿调整方法的流程示意图,如图3所示,该预测补偿调整方法可以包括以下步骤:
步骤S300、确定当前图像块各像素点的预测值。
本申请实施例中,可以基于当前图像块的运动信息确定当前图像块各像素点的预测值。
示例性的,可以将当前图像块划分为多个子块,并基于子块,确定各子块中各像素点的预测值。
示例性的,子块可以为4*4子块,或8*8子块。
例如,对于8*8的图像块,可以划分为4个4*4的子块,并分别确定各4*4子块中各像素点的预测值。
又例如,对于16*16的图像块,可以划分为4个8*8的子块,并分别确定各8*8子块中各像素点的预测值。
步骤S310、基于当前图像块各像素点的预测值,确定当前图像块各像素点的梯度值。
步骤S320、确定当前图像块各像素点的偏移矢量。
本申请实施例中,为了实现预测补偿,一方面,可以基于当前图像块的各像素点的预测值,确定当前图像块各像素点的梯度值。
另一方面,可以确定当前图像块各像素点的偏移矢量。
需要说明的是,在本申请实施例中,确定当前图像块各像素点的梯度值,与确定当前图像块各像素点的偏移矢量这两个操作之间并不存在必然的时序关系,即可以按照图3所示的先确定当前图像块各像素点的梯度值,后确定当前图像块各像素点的偏移矢量;也可以先确定当前图像块各像素点的偏移矢量,后确定当前图像块各像素点的梯度值;还可以并行确定当前图像块各像素点的梯度值和偏移矢量,其具体实现在此不做赘述。
步骤S330、基于当前图像块各像素点的梯度值以及偏移矢量,确定当前图像块各像素点的预测补偿值。
本申请实施例中,当确定了当前图像块各像素点的梯度值以及偏移矢量时,可以基于当前图像块各像素点的梯度值以及偏移矢量,确定当前图像块各像素点的预测补偿值。
步骤S340、基于当前图像块各像素点的预测值以及预测补偿值,确定当前图像块各像素点的最终预测值。
本申请实施例中,当确定了当前图像块各像素点的预测补偿值时,可以基于当前图像块各像素点的预测值以及预测补偿值,确定当前图像块各像素点的最终预测值。
在图3所示方法流程中,在确定当前图像块各像素点的预测值之后,基于当前图像块各像素点的梯度值以及偏移矢量,确定当前图像块各像素点的预测补偿值,进而,基于当前图像块各像素点的预测值以及预测补偿值,确定当前图像块各像素点的最终预测值,预测补偿调整不需要再限于采用双向预测模式的图像块,且不限于各子块的运动矢量与相应子块中各像素点的运动矢量均相同的图像块,扩展了预测补偿调整的适用范围。
本申请实施例中,预测补偿调整不再限于采用双向预测模式的图像块,即对于采用单向预测模式的图像块或采用双向预测模式的图像块均可适用。
作为一种可能的实施方式,若当前图像块采用单向预测模式,则上述步骤S300中,确定当前图像块各像素点的预测值,可以包括:
确定当前图像块各像素点单向的预测值。
上述步骤S310中,基于当前图像块各像素点的预测值,确定当前图像块各像素点的梯度值,可以包括:
基于当前图像块各像素点单向的预测值,确定当前图像块各像素点该方向的梯度值。
上述步骤S320中,确定当前图像块各像素点的偏移矢量,可以包括:
确定当前图像块各像素点该方向的偏移矢量;
上述步骤S330中,基于当前图像块各像素点的梯度值以及偏移矢量,确定当前图像块各像素点的预测补偿值,可以包括:
基于当前图像块各像素点该方向的梯度值以及偏移矢量,确定当前图像块各像素点该方向的预测补偿值;
上述步骤S340中,基于当前图像块各像素点的预测值以及预测补偿值,确定当前图像块各像素点的最终预测值,可以包括:
基于当前图像块各像素点该方向的预测值以及预测补偿值,确定当前图像块各像素点该方向的最终预测值。
示例性的,对于当前图像块采用单向预测模式的情况,在确定当前图像块各像素点的预测值时,可以确定当前图像块各像素点单向的预测值。
例如,若当前图像块采用前向预测模式,则可以确定当前图像块各像素点前向的预测值;若当前图像块采用后向预测模式,则可以确定当前图像块各像素点的后向预测值。
为便于描述和理解,下文以当前图像块采用的单向预测模式为前向预测模式为例。
当确定了当前图像块各像素点前向的预测值时,一方面,可以基于当前图像块各像素点前向的预测值,确定当前图像块各像素点前向的梯度值;另一方面,可以确定当前图像块各像素点前向的偏移矢量。
进而,可以基于当前图像块各像素点前向的梯度值以及偏移矢量,确定当前图像块各像素点前向的预测补偿值,并基于当前图像块各像素点前向的预测值以及预测补偿值,确定当前图像块各像素点前向的最终预测值。
作为另一种可能的实施方式,若当前图像块采用双向预测模式,则上述步骤S300中,确定当前图像块各像素点的预测值,可以包括:
分别确定当前图像块各像素点前向和后向的预测值。
上述步骤S310中,基于当前图像块各像素点的预测值,确定当前图像块各像素点的梯度值,可以包括:
分别基于当前图像块各像素点前向和双向的预测值,确定当前图像块各像素点前向和后向的梯度值。
上述步骤S320中,确定当前图像块各像素点的偏移矢量,可以包括:
分别确定当前图像块各像素点前向和后向的偏移矢量;
上述步骤S330中,基于当前图像块各像素点的梯度值以及偏移矢量,确定当前图像块各像素点的预测补偿值,可以包括:
分别基于当前图像块各像素点前向和后向的梯度值以及偏移矢量,确定当前图像块各像素点前向和后向的预测补偿值;
上述步骤S340中,基于当前图像块各像素点的预测值以及预测补偿值,确定当前图像块各像素点的最终预测值,可以包括:
分别基于当前图像块各像素点前向和后向的预测值以及预测补偿值,确定当前图像块各像素点前向和后向的最终预测值;
基于当前图像块各像素点前向和后向的最终预测值,确定当前图像块各像素点的最终预测值。
示例性的,对于当前图像块采用双向预测模式的情况,需要分别确定当前图像块各像素点前向和后向的预测值以及预测补偿值,以确定当前图像块各像素点前向和后向的最终预测值,进而,确定当前图像块各像素点的最终预测值。
示例性的,对于当前图像块采用双向预测模式的情况,当前图像块各像素点前向的最终预测值或后向的最终预测值的确定方式可以参见当前图像块采用单向预测模式的实现。
当确定了当前图像块各像素点前向的最终预测值以及后向的最终预测值时,可以基于当前图像块各像素点前向和后向的最终预测值,确定当前图像块各像素点的最终预测值。
例如,对当前图像块各像素点前向和后向的最终预测值进行加权,以得到当前图像块各像素点的最终预测值。
作为一种可能的实施方式,上述步骤S320中,确定当前图像块各像素点的偏移矢量,可以包括:
对于当前图像块的任一子块,确定该子块中指定像素点的偏移矢量;
基于该子块中指定像素点的偏移矢量,确定该子块中其余像素点的偏移矢量。
示例性的,对于当前图像块的任一子块,为了确定该子块中各像素点的偏移矢量,可以先确定该子块中任一像素点(本文中称为指定像素点)的偏移矢量,进而,基于该子块中指定像素点的偏移矢量,确定该子块中其余像素点的偏移矢量。
作为一个实施例,以当前图像块采用仿射运动模式(Affine模式)为例,上述确定该子块子指定像素点的偏移矢量,可以包括:
基于该子块中指定像素点与该子块的中心位置的偏移,以及仿射参数,确定该子块中指定像素点的偏移矢量。
示例性的,在当前图像块采用仿射运动模式的情况下,可以基于子块中指定像素点与该子块的中心位置的偏移,以及仿射参数,确定该子块中指定像素点的偏移矢量。
在一个示例中,上述基于该子块中指定像素点与该子块的中心位置的偏移,以及仿射参数,确定该子块中所述指定像素点的偏移矢量,可以包括:
基于该子块中指定像素点与该子块的中心位置的水平方向的偏移、该子块中指定像素点与该子块的中心位置的垂直方向的偏移,以及第一仿射参数和第二仿射参数,确定该子块中指定像素点的偏移矢量的水平分量;
基于该子块中指定像素点与该子块的中心位置的水平方向的偏移、该子块中指定像素点与该子块的中心位置的垂直方向的偏移,以及第三仿射参数和第四仿射参数,确定该子块中所述指定像素点的偏移矢量的垂直分量。
示例性的,对于4参数仿射模型,第一仿射参数与第四仿射参数相同,均为第一数值与该子块的宽的比值,第二仿射参数与所述第三仿射参数相反,且第三仿射参数为第二数值与该子块的宽的比值。
对于6参数仿射模型,第一仿射参数为第一数值与该子块的宽的比值,第二仿射参数为第三数值与该子块的高的比值,第三仿射参数为第二数值与该子块的宽的比值,第四仿射参数为第四数值与该子块的高的比值。
第一数值为该子块右上控制点的运动矢量的水平分量与左上控制点的运动矢量的水平分量的差值,第二数值为该子块右上控制点的运动矢量的垂直分量与左上控制点的运动矢量的垂直分量的差值,第三数值为该子块左下控制点的运动矢量的水平分量与左上控制点的运动矢量的水平分量的差值,第四数值为该子块左下控制点的运动矢量的垂直分量与左上控制点的运动矢量的垂直分量的差值。
举例来说,如图4所示,假设左上控制点、右上控制点以及左下控制点的运动矢量分别为(v0x,v0y)、(c1x,v1y)以及(v2x,v2y),则第一数值为v1x-v0x,第二数值为v1y-v0y、第三数值为v2x-v0x、第四数值为v2y-v0y,4参数模型仿射模型和6参数仿射模型下的第一仿射参数~第四仿射参数(假设分别为c~f)分别可以如公式1和2所示:
在一个示例中,基于该子块中指定像素点与该子块的中心位置的偏移,以及仿射参数,确定该子块中所述指定像素点的偏移矢量,可以通过以下公式实现:
示例性的,Δvx(x,y)为该子块中指定像素的偏移矢量的水平分量,Δvy(x,y)为该子块中指定像素的偏移矢量的垂直分量,(△x,△y)为指定像素点与该子块的中心位置的偏移。
在一个示例中,上述基于该子块中指定像素点的偏移矢量,确定该子块中其余像素点的偏移矢量,可以包括:
基于该子块中指定像素点的偏移矢量的水平分量以及第一仿射参数,确定该子块中与指定像素点同一行的其余像素点的偏移矢量的水平分量;
基于该子块中指定像素点的偏移矢量的垂直分量以及第三仿射参数,确定该子块中与指定像素点同一行的其余像素点的偏移矢量的垂直分量;
对于该子块中指定像素点所在行的任一像素点,基于该像素点的偏移矢量的水平分量以及第二仿射参数,确定该子块中与该像素点同一列的其余像素点的偏移矢量的水平分量;以及,基于该像素点的偏移矢量的垂直分量以及第四仿射参数,确定该子块中与该像素点同一列的其余像素点的偏移矢量的垂直分量。
示例性的,在当前图像块采用仿射运动模式时,当确定了子块中指定像素点的偏移矢量之后,可以基于该子块的偏移矢量、第一仿射参数以及第三仿射参数,分别确定该子块中与该指定像素点同一行的其余像素点的偏移矢量。
当确定了该子块中指定像素点所在行的各像素点的偏移矢量时,对于该子块中指定像素点所在行的任一像素点,可以基于该像素点的偏移矢量、第二仿射参数以及第四仿射参数,确定该子块中与该像素点同一列的其余像素点的偏移矢量。
举例来说,对于子块中的任一像素点,该像素点的偏移矢量的水平分量可以为该像素点左侧的相邻像素点(若存在)的偏移矢量的水平分量与第一仿射参数之和,或该像素点右侧的相邻像素点(若存在)的偏移矢量的水平分量与第一仿射参数之差;该像素点的偏移矢量的垂直分量可以为该像素点左侧的相邻像素点(若存在)的偏移矢量的垂直分量与第三仿射参数之和,或该像素点右侧的相邻像素点(若存在)的偏移矢量的垂直分量与第三仿射参数之差。
此外,对于子块中的任一像素点,该像素点的偏移矢量的水平分量可以为该像素点上方的相邻像素点(若存在)的偏移矢量的水平分量与第二仿射参数之和,或该像素点下方的相邻像素点(若存在)的偏移矢量的水平分量与第二仿射参数之差;该像素点的偏移矢量的垂直分量可以为该像素点上方的相邻像素点(若存在)的偏移矢量的垂直分量与第四仿射参数之和,或该像素点下方的相邻像素点(若存在)的偏移矢量的垂直分量与第四仿射参数之差。
作为一种可能的实施方式,上述步骤S310中,基于当前图像块各像素点的预测值,确定当前图像块各像素点的梯度值,可以包括:
对于当前图像块的任一子块,对该子块的上下左右边缘分别填充N行/列整像素点;
基于该子块各像素点的预测值,以及所填充的整像素点的像素值,确定该子块中各像素点的梯度值。
示例性的,考虑到确定像素点的梯度值的水平分量时,需要使用该像素点左侧像素点的像素值以及该像素点右侧像素点的像素值,确定像素点的梯度值的垂直分量时,需要使用该像素点上方像素点的像素值以及该像素点下方像素点的像素值,而子块边缘的像素点会缺少至少一侧的像素点。
例如,对于子块上边缘的像素点,在该子块内不存在上方的像素点;对于子块左边缘的像素点,在该子块内不存在左侧的像素点。
因此,为了确定子块内各像素点的梯度值,需要对该子块的上下左右边缘分别填充N(N为正整数)行/列整像素点(像素为整数),并基于该子块各像素点的预测值,以及所填充的整像素点的像素值,确定该子块中各像素点的梯度值。
示例性的,为了减少带宽增加,填充的行/列的整像素点的像素值可以直接从参考像素的近邻整像素点拷贝获得。
作为一个实施例,上述对该子块的上下左右边缘分别填充N行/列整像素点,可以包括:
确定参考帧中与该子块最近的等尺寸整像素块;
将该整像素块周围最近邻的N行/列整像素点的像素值分别作为该子块的上下左右边缘的填充值。
示例性的,为了实现对该子块的上下左右边缘的N行/列整像素点的填充,可以先确定参考帧中与该子块最近的等尺寸整像素块(整像素点构成的块)。
例如,假设子块为4*4子块,则可以确定参考帧中与该子块最接近的4*4子块整像素块,其示意图可以如图5A所示。
确定了参考帧中与该子块最近的等尺寸整像素块时,可以将该整像素块周围相邻的N行/列整像素点的像素值分别作为该子块的上下左右边缘的填充值。
例如,N=1和N=2的填充点的示意图可以分别如图5B和5C所示。
在一个示例中,上述对该子块的上下左右边缘分别填充N行/列整像素点,可以包括:
分别对整像素块正上方、正下方、正左侧以及正右侧的N行/列的整像素点进行填充。
示例性的,考虑到对子块的上下左右边缘填充N行/列整像素点后,会得到一个宽和高均比原来增大2N的块,基于该块中各像素点的像素值,计算原子块中各像素点的梯度值时,该块外侧的N层像素点中各层像素点的角点并不会被使用。
因而,为了减少填充工作量,提高填充效率,在对子块的上下左右边缘分别填充N行/列整像素点时,可以分别对参考帧中与该子块最近的等尺寸的整像素块正上方、正下方、正左侧以及正右侧的N行/列的整像素点进行填充。
例如,以N=2为例,最终确定的填充点可以如图5D所示。
作为一个实施例,当N=1时,上述对该子块的上下左右边缘分别填充N行/列整像素点,可以包括:
若该子块中像素点的预测值的分像素垂直分量大于半像素,则对该子块的上边缘填充上方的最近邻整像素点,并对该子块的下边缘填充下方的次近邻整像素点;
若该子块中像素点的预测值的分像素垂直分量小于半像素,则对该子块的上边缘填充上方的次近邻整像素点,并对该子块的下边缘填充下方的最近邻整像素点;
若该子块中像素点的预测值的分像素水平分量大于半像素,则对该子块的左边缘填充左侧的最近邻整像素点,并对该子块的右边缘填充右侧的次近邻整像素点;
若该子块中像素点的预测值的分像素水平分量小于半像素,则对该子块的左边缘填充左侧的次近邻整像素点,并对该子块的右边缘填充右侧的最近邻整像素点。
示例性的,以确定像素点的梯度值的水平分量为例,考虑到在确定像素点的梯度值的水平分量时,需要使用该像素点左侧与该像素点的相对位移为一个像素的像素点的像素值,以及右侧与该像素点的相对位移为一个像素的像素点的像素值。此外,对子块进行像素点填充时,填充的行/列均为整像素点,因此,当子块中像素点的预测值为非整像素时,所填充的整像素点与该子块边缘的像素点的相对位移不会是一个像素(非整像素点与整像素点之间的相对位移为非整像素)。
为了减少所确定的像素点的梯度值的误差,提高所确定的像素点的梯度值的精度,在对子块的上下左右边缘进行1行/列整像素点的填充时,可以基于子块中像素点的预测值的分像素(即除整像素之外的部分,如像素值为5.4,则分像素为0.4)的垂直分量和水平分量是否大于半像素(即0.5像素),来选择填充的整像素点的位置。
以上边缘和下边缘的整像素点填充为例。
可以获取子块中像素点的预测值的分像素的垂直分量,并比较该分像素垂直分量与半像素。
示例性的,子块中像素点的预测值的分像素是指子块中像素点的预测值在参考帧中对应的位置的分像素。
当该分像素垂直分量大于半像素时,对于该子块上边缘任一像素点,相对于该像素点上方的其余整像素点,该像素点上方的最近邻整像素点与该像素点的相对位移最接近一个像素,因此,对该像素点填充上方的最近邻整像素点。
而对于该子块下边缘任一像素点,相对于该像素点下发的其余整像素点,该像素点下方的次近邻整像素点与该像素点的相对位移最接近一个像素。
举例来说,假设该子块下边缘某像素点的分像素垂直分量为0.8,则该像素点下方的最近邻整像素点与该像素点的相对位移为0.2,该像素点下方的次近邻整像素点与该像素点的相对位移为1.2,该像素点下方的其余整像素点与该像素点的相对位移均大于1.2,显然,该像素点下方的次近邻整像素点与该像素点的相对位移最接近一个像素。
因此,对该像素点填充下方的次近邻整像素点。
同理,若该子块中像素点的预测值的分像素垂直分量小于半像素,则对该子块的上边缘填充上方的次近邻整像素点,并对该子块的下边缘填充下方的最近邻整像素点;
若该子块中像素点的预测值的分像素水平分量大于半像素,则对该子块的左边缘填充左侧的最近邻整像素点,并对该子块的右边缘填充右侧的次近邻整像素点;
若该子块中像素点的预测值的分像素水平分量小于半像素,则对该子块的左边缘填充左侧的次近邻整像素点,并对该子块的右边缘填充右侧的最近邻整像素点。
需要说明的是,对于像素点的预测值的分像素水平分量等于半像素的情况,可以按照像素点的预测值的分像素水平分量大于半像素的情况进行处理,或,按照像素点的预测值的分像素水平分量小于半像素的情况进行处理。
同理,对于像素点的预测值的分像素水平分量等于半像素的情况,可以按照像素点的预测值的分像素水平分量大于半像素的情况进行处理,或,按照像素点的预测值的分像素水平分量小于半像素的情况进行处理。
在一个示例中,上述对该子块的上下左右边缘分别填充1行/列整像素点,包括:
对该子块的上下左右边缘填充的行/列构成的填充区域中除4个角点之外的整像素点进行填充。
示例性的,考虑到对子块的上下左右边缘填充1行/列整像素点后,会得到一个宽和高均比原来增大2的块,基于该块中各像素点的像素值,计算原子块中各像素点的梯度值时,该块的4个角点并不会被使用。
举例来说,假设原子块为4*4子块,则对该子块的上下左右边缘分别填充1行/列整像素点可以得到一个6*6的块,在计算原4*4块中各像素点的梯度值时,该6*6块的4个角点并不会被使用。
因而,为了减少填充工作量,提高填充效率,在对子块的上下左右边缘分别填充1行/列整像素点时,可以对该子块的上下左右边缘填充的行/列构成的填充区域中除4个角点之外的整像素点进行填充。
在一个示例中,上述基于该子块各像素点的预测值,以及所填充的整像素点的像素值,确定该子块中各像素点的梯度值,可以包括:
对于该子块中任一像素点,基于该像素点左侧的N个相邻像素点的像素值和右侧的N个相邻像素点的像素值,确定该像素点的梯度值的水平分量,并根据该像素点上方的N个相邻像素点的像素值和下方的N个相邻像素点的像素值,确定该像素点的梯度值的垂直分量。
示例性的,对于子块中任一像素点,可以分别基于该像素点左侧像素点的像素值和右侧像素点的像素值确定该像素点的梯度值的水平分量,并基于该像素点上方像素点的像素值和下方像素点的像素值。
对于该子块边缘的像素点,在确定该像素点的梯度值的水平分量或/和垂直分量时,需要使用该像素点相邻的填充整像素点的像素值。
例如,对于该子块上边缘的像素点,在确定该像素点的梯度值的垂直分量时,需要使用该像素点上方的相邻的填充整像素点(最近邻整像素点或次近邻整像素点)的像素值;对于该子块左边缘的像素点,在确定该像素点的梯度值的水平分量时,需要使用该像素点左侧的相邻的填充整像素点。
举例来说,以N=1为例,对于子块中任一像素点,可以通过以下公式确定该像素点的梯度值:
gx(i,j)=I(i+1,j)-I(i-1,j) (4)
gy(i,j)=I(i,j+1)-I(i,j-1) (5)
示例性的,gx(i,j)为子块中第i列,第j行的像素点的梯度值的水平分量,gy(i,j)为子块中第i列,第j行的像素点的梯度值的水平分量,I(i,j)为子块中第i列,第j行的像素点的像素值。
需要说明的是,对于编码端,子块内的像素点,其像素值为预测值;填充的整像素点,其像素值为原始值;对于解码端,子块内的像素点,其像素值为预测值;填充的整像素点,其像素值为重建值。
为了保证本申请实施例提供的预测补偿调整方案的效果,避免在不适用本申请实施例提供的预测补偿调整方案的场景使用该方案,可以预先设定允许启用本申请实施例提供的预测补偿调整方案的条件(本文中称为预测补偿调整启用条件)。
作为一种可能的实施方式,上述基于当前图像块各像素点的预测值,确定当前图像块各像素点的梯度值之前,还可以包括:
确定当前图像块是否满足预测补偿调整启用条件;
若是,则确定执行上述基于当前图像块各像素点的预测值,确定当前图像块各像素点的梯度值。
在一个示例中,预测补偿调整启用条件可以包括当前图像块采用指定预测模式,该指定预测模式下子块的运动矢量与子块中各像素点的运动矢量不完全相同。
示例性的,考虑到对于子块的运动矢量与子块中各像素点的运动矢量不完全相同的预测模式(本文中称为指定预测模式)下,无法基于现有的预测补偿调整方案进行预测补偿调整,因此,可以将预测补偿调整启用条件设置为当前图像块采用指定预测模式。
当确定了当前图像块各像素点的预测值时,可以基于当前图像块的预测模式确定是否启用本申请实施例提供的预测补偿调整方案。
若启用,即当前图像块采用指定预测模式时,按照上述实施例中描述的方式对当前图像块进行预测补偿调整。
示例性的,指定预测模块包括仿射运动模式。
在另一个示例中,上述预测补偿调整启用条件还可以包括:当前预测的分量为亮度分量,即对采用指定预测模式的图像块亮度分量按照本申请实施例提供的预测补偿调整方案进行预测补偿调整。
在又一个示例中,上述预测补偿调整启用条件还可以包括:当前预测的分量为色度分量,即对采用指定预测模式的图像块色度分量按照本申请实施例提供的预测补偿调整方案进行预测补偿调整。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
实施例一
请参见图6,为本申请实施例提供的一种解码方法的流程示意图,其中,以采用Affine模式为例,如图6所示,该解码方法可以包括:
步骤S600、确定解码块各像素点的预测值。
示例性的,以将解码块划分为4*4子块,并分别对各子块进行解码为例。
对于任一4*4子块,可以基于Affine模式确定该子块中各像素点的预测值。
示例性的,对于子块内坐标为(i,j)的像素点,其像素值记为I(i,j)。
步骤S610、确定该解码块是否满足预测补偿调整启用条件,若是,则转至步骤S620;否则,结束当前流程。
示例性的,确定了解码块各像素点的预测值之后,可以确定该解码块是否满足预测补偿调整启用条件。
若确定该解码块不满足预测补偿调整启用条件,则可以不再按照本申请实施例提供的预测补偿调整方案进行预测补偿调整,此时,可以将步骤S600确定的解码块各像素点的预测值确定为各像素点的最终预测值;或者,可以按照其他策略进行预测补偿调整方案,其具体实现不做限定。
步骤S620、对于任一子块,基于子块各像素点的预测值,确定该子块各像素点的梯度值。
步骤S630、确定该子块各像素点的偏移矢量。
示例性的,当确定该解码块满足预测补偿调整启用条件时,对于任一4*4子块,一方面,可以基于4*4子块各像素点的预测值,确定该4*4子块各像素点的梯度值。
另一方面,可以确定该4*4子块各像素点的偏移矢量。
步骤S640、基于该子块各像素点的梯度值以及偏移矢量,确定该子块各像素点的预测补偿值。
示例性的,对于4*4子块,当确定了该4*4子块各像素的梯度值以及偏移矢量时,可以基于该4*4子块各像素点的梯度值以及偏移矢量,确定该4*4子块各像素点的预测补偿值。
步骤S650、基于解码块各像素点的预测值以及预测补偿值,确定解码块各像素点的最终预测值。
示例性的,若解码块采用单向预测模式,则可以按照上述步骤S500~S530描述的方式确定解码块各像素点该方向的预测值和预测补偿值,进而,得到解码块各像素点的最终预测值。
若解码块是采用双向预测模式,则可以先分别按照上述步骤S500~S530描述的方式确定解码块各像素点前向和后向的预测值和预测补偿值,进而,得到解码块各像素点最终预测值。
实施例二
在一个示例中,上述步骤S600至步骤S650包括的预测补偿调整方法流程的启用条件可以包括:
当前图像块采用仿射运动模式。
实施例三
在一个示例中,上述步骤S600至步骤S650包括的预测补偿调整方法流程的启用条件可以包括:
当前图像块采用仿射运动模式;
当前预测的分量为亮度分量。
实施例四
在一个示例中,上述步骤S600至步骤S650包括的预测补偿调整方法流程的启用条件可以包括:
当前图像块采用仿射运动模式;
当前预测的分量为色度分量。
实施例五、
在一个示例中,在前述任一实施例的基础上,步骤S620中,确定子块各像素点的梯度值,可以包括:
1、对4*4块进行上下左右边缘分别填充1行/列整像素点,得的对应的6*6块。
示例性的,对4*4块上下左右边缘填充的整像素点的像素值可以来自参考帧中的相邻整像素点的重建值。
2、基于6*6块中各像素点的像素值,计算4*4子块中各像素点的梯度值。
示例性的,对于4*4子块中任一像素点,可以基于公式4和5确定该像素点的梯度值(像素点的梯度值的水平分量可以描述为:mm_gradx,像素点的梯度值的垂直分量可以描述为:mm_grady)。
实施例六、
示例性的,在实施例五的基础上,对4*4子块进行上下左右边缘分别填充1行/列整像素点,可以包括以下实施方式:
作为一种示例,可以基于4*4子块中像素点的预测值的分像素水平分量和垂直分量是否大于半像素,选择4*4子块上下左右边缘填充的整像素点。
请参见图7A,对于像素点的预测值的分像素的水平分量和垂直分量均大于半像素的情况,对该4*4子块的上边缘填充上方的最近邻整像素点,对4*4子块的下边缘填充下方的次近邻整像素点,对4*4子块的左边缘填充左侧最近邻整像素点,以及对4*4子块的右边缘填充右侧的次近邻整像素点。
请参见7B,对于像素点的预测值的分像素的水平分量和垂直分量均小于半像素的情况,对该4*4子块的上边缘填充上方的次近邻整像素点,对4*4子块的下边缘填充下方的最近邻整像素点,对4*4子块的左边缘填充左侧次近邻整像素点,以及对4*4子块的右边缘填充右侧的最近邻整像素点。
请参见7C,对于像素点的预测值的分像素的水平分量大于半像素,垂直分量小于半像素的情况,对该4*4子块的上边缘填充上方的次近邻整像素点,对4*4子块的下边缘填充下方的最近邻整像素点,对4*4子块的左边缘填充左侧最近邻整像素点,以及对4*4子块的右边缘填充右侧的次近邻整像素点。
请参见图7D,对于像素点的预测值的分像素的水平分量小于半像素,垂直分量大于半像素的情况,对该4*4子块的上边缘填充上方的最近邻整像素点,对4*4子块的下边缘填充下方的次近邻整像素点,对4*4子块的左边缘填充左侧次近邻整像素点,以及对4*4子块的右边缘填充右侧的最近邻整像素点。
示例性的,在图7A~7D中,三角形为4*4子块各像素点的预测值,圆形为参考帧中整像素点的重建值,带阴影的圆形为所选择用于填充的参考帧中的整像素点的重建值。
需要说明的是,对于像素点的预测值的分像素的水平分量等于半像素的情况,可以按照像素点的预测值的分像素水平分量大于半像素的情况进行处理,或,按照像素点的预测值的分像素水平分量小于半像素的情况进行处理。
同理,对于像素点的预测值的分像素水平分量等于半像素的情况,可以按照像素点的预测值的分像素水平分量大于半像素的情况进行处理,或,按照像素点的预测值的分像素水平分量小于半像素的情况进行处理。
实施例七、
作为一种示例,在实施例六的基础上,由于填充区域的四个角点的像素值并不会被使用,因此在对4*4子块的上下左右边缘填充1行/列整像素点时,可以不对该4个角点进行填充,分别进行上下左右各4个点(共16个点)的填充。
以像素点的预测值的分像素的水平分量和垂直分量均大于半像素的情况为例,对4*4子块的上下左右边缘填充1行/列后的示意图可以如图7E所示。
其他情况同理可得。
实施例八、
在一个示例中,在前述任一实施例的基础上,上述步骤S630中,确定该子块各像素点的偏移矢量可以包括:
1、计算仿射参数c(即上述第一仿射参数)、d(即上述第二仿射参数)、e(即上述第三仿射参数)以及f(即上述第四仿射参数)。
示例性的,仿射参数c、d、e和f,可以通过公式1和2确定。
2、基于仿射参数c、d、e和f,以及4*4子块中第一个像素点与4*4子块的中心位置的偏移,确定4*4子块中第一个像素点的偏移矢量。
示例性的,以上述指定像素点为第一个像素点为例。
可以基于4*4子块中第一个像素点的坐标以及4*4子块的中心位置的坐标,确定4*4子块中第一像素点与4*4子块的中心位置的偏移(假设为(△x,△y))。
则4*4子块第一个像素点的偏移矢量可以通过以下公式确定:
3、基于4*4子块中第一个像素点的偏移矢量,确定该4*4子块中其余像素点的偏移矢量。
示例性的,基于公式6确定了4*4子块中第一个像素点的偏移矢量之后,可以通过以下公式确定4*4子块中第一行的其余像素点的偏移矢量:
示例性的,Δvx(w,0)为4*4子块中第w+1列第1行的像素点的偏移矢量的水平分量,Δvy(w,0)为4*4子块中第w+1列第1行的像素点的偏移矢量的垂直分量,1≤w≤3。基于公式7确定4*4子块第一行的像素点的偏移矢量之后,可以通过以下公式确定4*4子块中其余像素点的偏移矢量:
示例性的,Δvx(w,h)为4*4子块中第w+1列第h+1行的像素点的偏移矢量的水平分量,Δvy(w,h)4*4子块中第w+1列第h+1行的像素点的偏移矢量的垂直分量,1≤h≤3。
需要说明的是,由于affine模式参数,以及各子块中相同位置的像素点与子块的中心位置的偏移均相同,因此,在计算了一个子块各像素点的偏移矢量之后,解码块中的其余子块可以复用该子块各像素点的偏移矢量。
实施例九
在一个示例中,在实施例八的基础上,为了保证精度,并提高硬件友好性,在计算仿射参数c、d、e和f时,可以采用“先左移位再右移位”代替除法。
对于c和e,可以先左移(MAX_CU_DEPTH-Log2[width])位,后右移MAX_CU_DEPTH位;对于6参数模型中的d和f,可以先左移(MAX_CU_DEPTH-Log2[height])位,后右移MAX_CU_DEPTH位。
示例性的,width为当前图像块的宽,height为当前图像块的高,MAX_CU_DEPTH为最大图像块的宽或高的深度,默认为7(即对应图像块的宽或高为128)。
在一个示例中,以MAX_CU_DEPTH=7为例,则c、d、e和f可以分别通过以下公式确定:
c=(v1x-v0x)<<(7-Log2[width]) (9)
e=(v1y-v0y)<<(7-Log2[width]) (10)
对于6参数模型:
d=(v2x-v0x)<<(7-Log2[height]) (11)
f=(v2y-v0y)<<(7-Log2[height]) (12)
示例性的,<<表示左移。
对于4参数模型:
d=-e
f=c。
实施例十
在一个示例中,为了提高偏移矢量的精度,在前述任一实施例的基础上,确定4*4子块各像素点的偏移矢量时,可以对各像素点的偏移矢量进行放大。
举例来说,在偏移矢量的计算过程中,可以将4*4子块各像素点的偏移矢量放大N1(N1为正整数,如4或8等)倍,进而,4*4子块中第一个像素点的偏移矢量可以通过以下公式确定:
基于公式9确定了4*4子块中第一个像素点的偏移矢量之后,可以通过以下公式确定4*4子块中第一行的其余像素点的偏移矢量:
基于公式10确定4*4子块第一行的像素点的偏移矢量之后,可以通过以下公式确定4*4子块中其余像素点的偏移矢量:
基于公式13~15确定了4*4子块各像素点放大N1倍的偏移矢量之后,可以将各像素点放大N1倍的偏移矢量缩小N2倍。
示例性的,N2可以与N1相同,也可以与N1不同。
例如,假设N1为4,则N2可以为4,或者,N2可以为2(即最终确定的偏移矢量为放大2倍后的偏移矢量)。
在一个示例中,可以通过以下公式对所确定的偏移矢量进行缩小:nOffset=1<<(MAX_CU_DEPTH-1) (16)
mvx=(mvx+nOffset-(mvx>=0))>>MAX_CU_DEPTH (17)
mvy=(mvy+nOffset-(mvy>=0))>>MAX_CU_DEPTH (18)
示例性的,mvx为某像素点偏移矢量的水平分量,mvy为该像素点偏移矢量的垂直分量,>>表示右移,<<表示左移,mvx>=0表示若mvx大于等于0成立,则令mvx=1,否则,令mvx=0;mvy>=0表示若mvy大于等于0成立,则令mvy=1,否则,令mvy=0。
示例性的,限制mvx和mvy在[-(1<<bdlimit),(1<<bdlimit)-1]范围内;bdlimit为经验值。
在一个示例中,bdlimit=max(6,bitdepth-6),bitdpth为比特深度,即亮度值所需比特宽度,一般为10或8。
在另一个示例中,bdlimit=max(5,bitdepth-7)。
实施例十一
在一个示例中,在实施例八~实施例十任一实施例的基础上,假设4*4子块中第一个像素点与该4*4子块中心位置的偏移为(-1.5,-1.5),则Δvx(0,0)=-1.5c-1.5d,Δvy(0,0)=-1.5e-1.5f,放大4倍后的偏移矢量的水平分量和垂直分量为分别为:Δvx(0,0)=-6c-6d,Δvy(0,0)=-6e-6f。
实施例十二
在一个示例中,在实施例八~实施例十任一实施例的基础上,假设4*4子块中第一个像素点与该4*4子块中心位置的偏移为(-2,-2),则Δvx(0,0)=-2c-2d,Δvy(0,0)=-2e-2f,放大4倍后的偏移矢量的水平分量和垂直分量为分别为Δvx(0,0)=-8c-8d,Δvy(0,0)=-8e-8f。
实施例十三
在一个示例中,在实施例一~实施例七任一实施例的基础上,子块中各像素点的偏移矢量均可以通过以下公式确定:
Δvx(w,h)=w*N3c+w*N3d-posOffsetX (19)
Δvy(w,h)=w*N3e+w*N3f-posOffsetY (20)
示例性的,N3为偏移矢量的放大倍数,如4;posOffsetX=N4*c+N4*d,posOffsetY=N4*e+N4*f,N4为6或8。
实施例十四
在一个示例中,在前述任一实施例的基础上,基于该子块各像素点的梯度值以及偏移矢量,确定该子块各像素点的预测补偿值,可以通过以下公式实现:
ΔI(i,j)=gx(i,j)*Δvx(i,j)+gy(i,j)*Δvy(i,j) (21)
示例性的,ΔI(i,j)为子块中第i列第j行的像素点的预测补偿值,gx(i,j)为该子块中第i列第j行的像素点的梯度值的水平分量,gy(i,j)为该子块中第i列第j行的像素点的梯度值的垂直分量,Δvx(i,j)为该子块中第i列第j行的像素点的偏移矢量的水平分量,Δvy(i,j)为该子块中第i列第j行的像素点的偏移矢量的垂直分量。
实施例十五
在一个示例中,在前述任一实施例的基础上,若解码块采用单向预测模式,单向(前向或后向)的预测补偿调整可以通过以下公式实现:
mm_dI1=mvx*mm_gradx+mvy*mm_grady (22)
mm_dI2=(mm_dI1+1)>>1 (23)
mm_dI3=(mm_src+mm_dI2)*mm_w (24)
示例性的,mm_dI2为某像素点单向的预测补偿值,mm_dI3为该像素点该方向的最终预测值,mvx为该像素点单向的偏移矢量的水平分量,mvy为该像素点该方向的偏移矢量的垂直分量,mm_gradx为该像素点该方向的梯度值的水平分量,mm_grady为该像素点该方向的梯度值的垂直分量,mm_src为该像素点该方向的预测值,mm_w为该像素点该方向的权重值,单向预测模式下的值为1。
实施例十六
在一个示例中,在前述任一实施例的基础上,若解码块采用双向预测模式,则分别完成前向和后向的预测补偿调整,然后实现解码块的预测补偿调整。
示例性的,前向的预测补偿调整可以通过以下公式实现:
mm_dI01=mvx0*mm_gradx0+mvy0*mm_grady0 (25)
mm_dI02=(mm_dI01+1)>>1 (26)
mm_dI03=(mm_src0+mm_dI02)*mm_w0 (27)
示例性的,mm_dI02为某像素点前向的预测补偿值,mm_dI03为该像素点前向的最终预测值,mvx0为该像素点前向的偏移矢量的水平分量,mvy0为该像素点前向的偏移矢量的垂直分量,mm_gradx0为该像素点前向的梯度值的水平分量,mm_grady0为该像素点前向的梯度值的垂直分量,mm_src0为该像素点前向的预测值,mm_w0为该像素点前向的权重值。
示例性的,后向的预测补偿调整可以通过以下公式实现:
mm_dI11=mvx1*mm_gradx1+mvy1*mm_grady1 (28)
mm_dI12=(mm_dI11+1)>>1 (29)
mm_dI13=(mm_src1+mm_dI12)*mm_w1 (30)
示例性的,mm_dI12为某像素点后向的预测补偿值,mm_dI13为该像素点后向的最终预测值,mvx1为该像素点后向的偏移矢量的水平分量,mvy1为该像素点后向的偏移矢量的垂直分量,mm_gradx1为该像素点后向的梯度值的水平分量,mm_grady1为该像素点后向的梯度值的垂直分量,mm_src1为该像素点后向的预测值,mm_w1为该像素点后向的权重值。
基于解码块各像素点前向和后向的最终预测值,完成加权过程(将前向的最终预测值与后向的最终预测值二者之和除以前向的权重值与后向的权重值二者之和),得到解码块各像素点的最终预测值。
实施例十七
请参见图8,为本申请实施例提供的一种候选运动矢量选择方法的流程示意图,如图8所示,该候选运动矢量选择方法可以包括以下步骤:
步骤S800、确定当前图像块是否满足时域参考帧使用条件。若是,则转至步骤S810;否则,转至步骤S820。
步骤S810、允许使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
步骤S820、拒绝使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
本申请实施例中,考虑到在某些特定情况下,时域参考帧的运动矢量被最终选中的概率较低,为了提高编解码性能,避免在不适用时域参考帧的运动矢量的情况下,将时域参考帧的运动矢量作为候选运动矢量,可以预先设定是否允许使用时域参考帧的运动矢量的条件(本文中称为时域参考帧使用条件)。
相应地,当对当前图像块进行编码/解码时,可以确定当前图像块是否满足时域参考帧使用条件,确定允许使用时域参考帧的运动矢量,用于当前图像块的编码/解码,或,拒绝使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
在一个示例中,上述时域参考帧使用条件,可以包括:
参考帧的尺寸与当前图像块所属帧的尺寸相同。
示例性的,考虑到当参考帧的尺寸与当前图像块所属帧的尺寸不同时,时域参考帧的运动矢量被最终选中的概率较低,因此,为了提高编解码性能,可以将参考帧尺寸与当前图像块所属帧的尺寸相同,作为时域参考帧使用条件,即当参考帧的尺寸与当前图像块所属帧的尺寸相同时,允许使用时域参考帧的运动矢量,用于当前图像块的编码/解码;当参考帧的尺寸与当前图像块所属帧的尺寸不同时,拒绝使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
在另一示例中,上述时域参考帧使用条件,还可以包括:
参考帧不是长期参考帧。
示例性的,长期参考帧是相对与当前图像块所属帧相邻较近的参考帧而言的,一般而言,长期参考帧离当前图像块所属帧较远。
示例性的,考虑到当参考帧的尺寸与当前图像块所属帧的尺寸相同,但参考帧为长期帧时,时域参考帧的运动矢量被最终选中的概率较低,因此,还可以将参考帧不是长期参考帧,作为时域参考帧使用条件,即当参考帧的尺寸与当前图像块所属帧的尺寸相同,且参考帧不是长期参考帧时,允许使用时域参考帧的运动矢量,用于当前图像块的编码/解码;当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期参考帧时,拒绝使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
在一种可能的实施方式中,上述允许使用时域参考帧的运动矢量,用于当前图像块的编码/解码之后,还可以包括:
确定当前图像块是否满足时域参考帧运动矢量缩放使用条件;
若是,则允许缩放使用时域参考帧的运动矢量,用于当前图像块的编码/解码;
否则,拒绝缩放使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
示例性的,考虑到在某些特定情况下,缩放后的时域参考帧的运动矢量被最终选中的概率较低,因此,为了提高编解码性能,避免在不适用缩放后的时域参考帧的运动矢量的情况下,将缩放后的时域参考帧的运动矢量作为候选运动矢量,可以预先设定是否允许使用缩放后的时域参考帧的运动矢量的条件(本文中时域参考帧运动矢量缩放使用条件)。
在一个示例中,上述时域参考帧运动矢量缩放使用条件,可以包括:
参考帧的尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧。
示例性的,考虑到当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期帧时,缩放后的时域参考帧的运动矢量被最终选中的概率较低,因此,可以将参考帧尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧,作为时域参考帧运动矢量缩放使用条件。
当参考帧的尺寸与当前图像块所属帧的尺寸相同,且参考帧不是长期参考帧时,允许使用缩放后的时域参考帧的运动矢量,用于当前图像块的编码/解码;当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期参考帧时,拒绝使用缩放后的时域参考帧的运动矢量,用于当前图像块的编码/解码。
在一种可能的实施方式中,上述确定当前图像块是否满足时域参考帧使用条件之后,还包括:
当满足时域参考帧使用条件时,确定允许使用第一类型预测模式;
当不满足时域参考使用条件时,确定拒绝使用第一类型预测模式,以及第二类型预测模式。
在一个示例中,第一类型预测模式包括涉及到时域运动矢量的模式,如TMVP模式,BDOF模式,DMVR模式等;第二类型预测模式包括涉及到对时域运动矢量进行缩放的模式,如SMVD模式。
需要说明的是,在一个示例中,当满足时域参考帧使用条件时,还可以允许使用第二类型预测模式。
在一种可能的实施方式中,上述确定是否满足时域参考帧运动矢量缩放使用条件之后,还可以包括:
若满足时域参考帧运动矢量缩放使用条件,则允许使用第一类型预测模式以及第二类型预测模式;
若不满足时域参考帧运动矢量缩放使用条件,则拒绝使用第二类型预测模式。
在一个示例中,当不满足时域参考帧运动矢量缩放使用条件时,还可以拒绝使用第二类型预测模式。
实施例十八
请参见图9,为本申请实施例提供的一种候选运动矢量选择方法的流程示意图,如图9所示,该候选运动矢量选择方法可以包括以下步骤:
步骤S900、确定当前图像块是否满足时域参考帧运动矢量缩放使用条件。若是,则转至步骤S910;否则,转至步骤S920。
步骤S910、允许缩放使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
步骤S920、拒绝缩放使用时域参考帧的运动矢量,用于当前图像块的编码/解码。
本申请实施例中,考虑到在某些特定情况下,缩放后的时域参考帧的运动矢量被最终选中的概率较低,因此,为了提高编解码性能,避免在不适用缩放后的时域参考帧的运动矢量的情况下,将缩放后的时域参考帧的运动矢量作为候选运动矢量,可以预先设定是否允许使用缩放后的时域参考帧的运动矢量的条件(本文中时域参考帧运动矢量缩放使用条件)。
在一个示例中,上述时域参考帧运动矢量缩放使用条件,可以包括:
参考帧的尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧。
示例性的,考虑到当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期帧时,缩放后的时域参考帧的运动矢量被最终选中的概率较低,因此,可以将参考帧尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧,作为时域参考帧运动矢量缩放使用条件。
当参考帧的尺寸与当前图像块所属帧的尺寸相同,且参考帧不是长期参考帧时,允许使用缩放后的时域参考帧的运动矢量,用于当前图像块的编码/解码;当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期参考帧时,拒绝使用缩放后的时域参考帧的运动矢量,用于当前图像块的编码/解码。
在一种可能的实施方式中,上述确定是否满足时域参考帧运动矢量缩放使用条件之后,还可以包括:
若满足时域参考帧运动矢量缩放使用条件,则允许使用第一类型预测模式以及第二类型预测模式;
若不满足时域参考帧运动矢量缩放使用条件,则拒绝使用第二类型预测模式。
在一个示例中,第一类型预测模式包括涉及到时域运动矢量的模式,如TMVP模式,BDOF模式,DMVR模式等;第二类型预测模式包括涉及到对时域运动矢量进行缩放的模式,如SMVD模式。
在一个示例中,当不满足时域参考帧运动矢量缩放使用条件时,还可以拒绝使用第二类型预测模式。
实施例十九
请参见图10,为本申请实施例提供的一种预测模式选择方法的流程示意图,如图10所示,该预测模式选择方法可以包括以下步骤:
步骤S1000、确定当前图像块是否满足指定预测模式启用条件。若是,则转至步骤S1010;否则,转至步骤S1020。
步骤S1010、允许启用指定预测模式。
步骤S1020、拒绝启用指定预存模式。
本申请实施例中,考虑到某些特定情况下,使用指定预测模式会降低编解码性能,因此,为了提高编解码性能,避免在不适用指定预测模式的情况下,将指定预测模式作为候选的预测模式,可以预先设定是否允许启用指定预测模式的条件(本文中称为指定预测模式使用条件)。
在一种可能的实施方式中,上述指定预测模式包括第一类型预测模式。
示例性的,第一类型预测模式包括涉及到时域运动矢量的模式,如TMVP模式,BDOF模式,DMVR模式等。
在一个示例中,上述指定预测模式使用条件,可以包括:
参考帧的尺寸与当前图像块所属帧的尺寸相同。
示例性的,考虑到对于参考帧的尺寸与当前图像块所属帧的尺寸不同的情况,使用第一类型预测模式的编解码性能较低,因此,为了提高编解码性能,可以将参考帧的尺寸与当前图像块所属帧的尺寸相同,作为指定预测模式使用条件,即当参考帧的尺寸与当前图像块所属帧的尺寸相同时,允许启用指定预测模式;当参考帧的尺寸与当前图像块所属帧的尺寸不同时,拒绝启用指定预测模式。
在另一个示例中,上述指定预测模式使用条件,还可以包括:
参考帧不是长期参考帧。
示例性的,考虑到当参考帧的尺寸与当前图像块所属帧的尺寸相同,但参考帧为长期帧时,使用第一类型预测模式的编解码性能较低,因此,还可以将参考帧不是长期参考帧,作为指定预测模式使用条件,即当参考帧的尺寸与当前图像块所属帧的尺寸相同,且参考帧不是长期参考帧时,允许启用指定预测模式;当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期参考帧时,拒绝启用指定预测模式。
在另一种可能的实施方式中,上述指定预测模式包括第一类型预测模式,以及第二类型预测模式。
示例性的,第二类型预测模式包括涉及到对时域运动矢量进行缩放的模式,如SMVD模式。
在一个示例中,上述指定预测模式使用条件,可以包括:
参考帧的尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧。
示例性的,考虑到当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期帧时,使用第一类型预测模式和第二类型预测模式进行编解码的性能较低,因此,可以将参考帧尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧,作为指定预测模式使用条件。
当参考帧的尺寸与当前图像块所属帧的尺寸相同,且参考帧不是长期参考帧时,允许启用指定预测模式;当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期参考帧时,拒绝启用指定预测模式。
在另一种可能的实施方式中,上述指定预测模式包括第二类型预测模式。
在一个示例中,上述指定预测模式使用条件,可以包括:
参考帧的尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧。
示例性的,考虑到当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期帧时,使用第二类型预测模式进行编解码的性能较低,因此,可以将参考帧尺寸与当前图像块所属帧的尺寸相同,以及参考帧不是长期参考帧,作为指定预测模式使用条件。
当参考帧的尺寸与当前图像块所属帧的尺寸相同,且参考帧不是长期参考帧时,允许启用指定预测模式;当参考帧的尺寸与当前图像块所属帧的尺寸不同,或/和参考帧为长期参考帧时,拒绝启用指定预测模式。
实施例二十
请参见图11,为本申请实施例提供的一种预测模式选择方法的流程示意图,如图11所示,该预测模式选择方法可以包括以下步骤:
步骤S1100、确定当前图像块是否满足DMVR模式启用条件。若是,则转至步骤S1110;否则,转至步骤S1120。
步骤S1110、允许启用DMVR模式。
步骤S1120、拒绝启用DMVR模式。
本申请实施例中,考虑到在某些特定情况下,使用DMVR模式进行解码的效率较低,因此,为了提高编解码性能,避免在不适用DMVR模式情况下,启用DMVR模式,可以预先设定是否允许启用DMVR模式的条件(本文中称为DMVR模式启用条件)。
相应地,当对当前图像块进行解码时,可以确定当前图像块是否满足DMVR模式启用条件;若是,则允许启用DMVR模式;否则,拒绝启用DMVR模式。
在一个示例中,上述DMVR模式启用条件,可以包括:
当前模式为regular merge/skip模式。
示例性的,Regular merge/skip模式,即传统merge模式和传统skip模式。在传统merge模式或传统skip模式下,从候选运动信息列表中选择一个运动信息,基于该运动信息生成当前图像块块的预测值。
该候选运动信息列表包括:空域相邻块候选运动信息,时域相邻块候选运动信息,空域非相邻块候选运动信息,基于已有运动信息进行组合获取的运动信息,或/和,默认运动信息等等。
示例性的,当确定当前图像块为regular merge/skip模式时,允许启用DMVR模式;否则,决绝启用DMVR模式。
在另一个示例中,上述DMVR模式启用条件,可以包括:
序列级控制DMVR模式的开关为第一取值,帧级控制DMVR模式的开关为第一取值;
当前模式为regular merge/skip模式;
当前图像块采用双向预测模式,两个参考帧一个显示顺序位于当前图像块所属帧之前,另一个显示顺序位于当前图像块所属帧之后,且两个参考帧的与当前图像块所属帧的距离相等;
两个参考帧的加权权重相同;
当前图像块尺寸满足限定条件;
两个参考帧的长宽分别与当前图像块所属帧的长宽相同。
在一个示例中,上述第一取值为1。
在一个示例中,上述当前图像块尺寸满足限定条件,包括:当前图像块的宽大于等于8,当前图像块的高大于等于8,且当前图像块的面积大于等于128。
本申请实施例中,在确定当前图像块各像素点的预测值之后,基于当前图像块各像素点的梯度值以及偏移矢量,确定当前图像块各像素点的预测补偿值,进而,基于当前图像块各像素点的预测值以及预测补偿值,确定当前图像块各像素点的最终预测值,预测补偿调整不需要再限于采用双向预测模式的图像块,且不限于各子块的运动矢量与相应子块中各像素点的运动矢量均相同的图像块,扩展了预测补偿调整的适用范围。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图图12,为本申请实施例提供的一种编解码装置的结构示意图,如图12所示,该编解码装置可以包括:
第一确定单元1210,用于确定当前图像块各像素点的预测值;
第二确定单元1220,用于基于所述当前图像块各像素点的预测值,确定所述当前图像块各像素点的梯度值;
第三确定单元1230,用于确定所述当前图像块各像素点的偏移矢量;
第四确定单元1240,用于基于所述当前图像块各像素点的梯度值以及偏移矢量,确定所述当前图像块各像素点的预测补偿值;
第五确定单元1250,用于基于所述当前图像块各像素点的预测值以及预测补偿值,确定所述当前图像块各像素点的最终预测值。
在一种可能的实施方式中,若所述当前图像块采用单向预测模式;
所述第一确定单元1210,具体用于确定所述当前图像块各像素点单向的预测值;
所述第二确定单元1220,具体用于基于所述当前图像块各像素点单向的预测值,确定所述当前图像块各像素点该方向的梯度值;
所述第三确定单元1230,具体用于确定所述当前图像块各像素点该方向的偏移矢量;
所述第四确定单元1240,具体用于基于所述当前图像块各像素点该方向的梯度值以及偏移矢量,确定所述当前图像块各像素点该方向的预测补偿值;
所述第五确定单元1250,具体用于基于所述当前图像块各像素点该方向的预测值以及预测补偿值,确定所述当前图像块各像素点该方向的最终预测值。
在一种可能的实施方式中,若所述当前图像块采用双向预测模式;
所述第一确定单元1210,具体用于分别确定所述当前图像块各像素点前向和后向的预测值;
所述第二确定单元1220,具体用于分别基于所述当前图像块各像素点前向和后向的预测值,确定所述当前图像块各像素点前向和后向的梯度值;
所述第三确定单元,1230具体用于分别确定所述当前图像块各像素点前向和后向的偏移矢量;
所述第四确定单元1240,具体用于分别基于所述当前图像块各像素点前向和后向的梯度值以及偏移矢量,确定所述当前图像块各像素点前向和后向的预测补偿值;
所述第五确定单元1250,具体用于分别基于所述当前图像块各像素点前向和后向的预测值以及预测补偿值,确定所述当前图像块各像素点前向和后向的最终预测值;基于所述当前图像块各像素点前向和后向的最终预测值,确定所述当前图像块各像素点的最终预测值。
在一种可能的实施方式中,所述第三确定单元1230,具体用于:
对于所述当前图像块的任一子块,确定该子块中指定像素点的偏移矢量;
基于该子块中所述指定像素点的偏移矢量,确定该子块中其余像素点的偏移矢量。
在一种可能的实施方式中,所述第三确定单元1230,具体用于基于该子块中所述指定像素点与该子块的中心位置的偏移,以及仿射参数,确定该子块中所述指定像素点的偏移矢量。
在一种可能的实施方式中,所述第三确定单元1230具体用于:
基于该子块中所述指定像素点与该子块的中心位置的水平方向的偏移、该子块中所述指定像素点与该子块的中心位置的垂直方向的偏移,以及第一仿射参数和第二仿射参数,确定该子块中所述指定像素点的偏移矢量的水平分量;
基于该子块中所述指定像素点与该子块的中心位置的水平方向的偏移、该子块中所述指定像素点与该子块的中心位置的垂直方向的偏移,以及第三仿射参数和第四仿射参数,确定该子块中所述指定像素点的偏移矢量的垂直分量。
在一种可能的实施方式中,对于4参数仿射模型,所述第一仿射参数与所述第四仿射参数相同,均为第一数值与该子块的宽的比值,所述第二仿射参数与所述第三仿射参数相反,且所述第三仿射参数为第二数值与该子块的宽的比值;
其中,所述第一数值为该子块右上控制点的运动矢量的水平分量与左上控制点的运动矢量的水平分量的差值,所述第二数值为该子块右上控制点的运动矢量的垂直分量与左上控制点的运动矢量的垂直分量的差值。
在一种可能的实施方式中,对于6参数仿射模型,所述第一仿射参数为所述第一数值与该子块的宽的比值,所述第二仿射参数为第三数值与该子块的高的比值,所述第三仿射参数为所述第二数值与该子块的宽的比值,所述第四仿射参数为第四数值与该子块的高的比值;
其中,所述第一数值为该子块右上控制点的运动矢量的水平分量与左上控制点的运动矢量的水平分量的差值,所述第二数值为该子块右上控制点的运动矢量的垂直分量与左上控制点的运动矢量的垂直分量的差值,所述第三数值为该子块左下控制点的运动矢量的水平分量与左上控制点的运动矢量的水平分量的差值,所述第四数值为该子块左下控制点的运动矢量的垂直分量与左上控制点的运动矢量的垂直分量的差值。
在一种可能的实施方式中,所述第三确定单元1230,具体用于:
基于该子块中所述指定像素点的偏移矢量的水平分量以及所述第一仿射参数,确定该子块中与所述指定像素点同一行的其余像素点的偏移矢量的水平分量;
基于该子块中所述指定像素点的偏移矢量的垂直分量以及所述第三仿射参数,确定该子块中与所述指定像素点同一行的其余像素点的偏移矢量的垂直分量;
对于该子块中所述指定像素点所在行的任一像素点,基于该像素点的偏移矢量的水平分量以及所述第二仿射参数,确定该子块中与该像素点同一列的其余像素点的偏移矢量的水平分量;以及,基于该像素点的偏移矢量的垂直分量以及所述第四仿射参数,确定该子块中与该像素点同一列的其余像素点的偏移矢量的垂直分量。
在一种可能的实施方式中,所述第二确定单元1220,具体用于对于所述当前图像块的任一子块,对该子块的上下左右边缘分别填充N行/列整像素点;N为正整数;
基于该子块各像素点的预测值,以及所填充的整像素点的像素值,确定该子块中各像素点的梯度值。
在一种可能的实施方式中,所述第二确定单元1220,具体用于:
确定参考帧中与该子块最近的等尺寸整像素块;
将该整像素块周围相邻的N行/列整像素点的像素值分别作为该子块的上下左右边缘的填充值。
在一种可能的实施方式中,所述第二确定单元1220,具体用于:
分别对所述整像素块正上方、正下方、正左侧以及正右侧的N行/列的整像素点进行填充。
在一种可能的实施方式中,当N=1时,所述第二确定单元1220,具体用于:
若该子块中像素点的预测值的分像素垂直分量大于半像素,则对该子块的上边缘填充上方的最近邻整像素点,并对该子块的下边缘填充下方的次近邻整像素点;
若该子块中像素点的预测值的分像素垂直分量小于半像素,则对该子块的上边缘填充上方的次近邻整像素点,并对该子块的下边缘填充下方的最近邻整像素点;
若该子块中像素点的预测值的分像素水平分量大于半像素,则对该子块的左边缘填充左侧的最近邻整像素点,并对该子块的右边缘填充右侧的次近邻整像素点;
若该子块中像素点的预测值的分像素水平分量小于半像素,则对该子块的左边缘填充左侧的次近邻整像素点,并对该子块的右边缘填充右侧的最近邻整像素点。
在一种可能的实施方式中,所述第二确定单元1220,具体用于:
对于该子块中任一像素点,基于该像素点左侧的N个相邻像素点的像素值和右侧的N个相邻像素点的像素值,确定该像素点的梯度值的水平分量,并根据该像素点上方的N个相邻像素点的像素值和下方的N个相邻像素点的像素值,确定该像素点的梯度值的垂直分量。
在一种可能的实施方式中,所述第二确定单元1220,还用于:
确定所述当前图像块是否满足预测补偿调整启用条件;
若是,则确定执行所述基于所述当前图像块各像素点的预测值,确定所述当前图像块各像素点的梯度值的步骤。
在一种可能的实施方式中,所述预测补偿调整启用条件包括所述当前图像块采用指定预测模式,所述指定预测模式下子块的运动矢量与子块中各像素点的运动矢量不完全相同。
在一种可能的实施方式中,所述预测补偿调整启用条件还包括:当前预测的分量为亮度分量。
在一种可能的实施方式中,所述预测补偿调整启用条件还包括:当前预测的分量为色度分量。
在一种可能的实施方式中,所述指定预测模式包括仿射运动模式。
请参见图13,为本申请实施例提供的一种编码端设备的硬件结构示意图。该编码端设备可包括处理器1301、存储有机器可执行指令的机器可读存储介质1302。处理器1301与机器可读存储介质1302可经由系统总线1303通信。并且,通过读取并执行机器可读存储介质1302中与编解码控制逻辑对应的机器可执行指令,处理器1301可执行上文描述的编解码方法。
本文中提到的机器可读存储介质1302可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
请参见图14,为本申请实施例提供的一种解码端设备的硬件结构示意图。该解码端设备可包括处理器1401、存储有机器可执行指令的机器可读存储介质1402。处理器1401与机器可读存储介质1402可经由系统总线1403通信。并且,通过读取并执行机器可读存储介质1402中与编解码控制逻辑对应的机器可执行指令,处理器1401可执行上文描述的编解码方法。
本文中提到的机器可读存储介质1402可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (5)
1.一种解码方法,其特征在于,所述方法包括:
确定当前图像块是否满足DMVR模式的启用条件;
若是,则允许启用DMVR模式;
若否,则拒绝启用DMVR模式;
其中,当所述当前图像块启用DMVR模式时,所述当前图像块至少同时满足以下条件:
当前图像块的当前模式为融合模式或者跳过模式;
控制信息为允许当前图像块启用DMVR模式;
当前图像块采用双向预测模式,两个参考帧的一个显示顺序位于当前图像块所属帧之前,另一个显示顺序位于当前图像块所属帧之后,且两个参考帧与当前图像块所属帧的距离相等;
当前图像块的两个参考帧的加权权重相同;
当前图像块的尺寸满足限定条件;其中,所述当前图像块的尺寸满足限定条件,包括:当前图像块的宽大于等于第一阈值,当前图像块的高大于等于第二阈值,且当前图像块的面积大于等于第三阈值;
当前图像块的两个参考帧的尺寸分别与当前图像块所属帧的尺寸相同;
其中,当前图像块的参考帧是长期参考帧时,拒绝所述当前图像块启用DMVR模式。
2.一种解码装置,其特征在于,所述装置用于:
确定当前图像块是否满足DMVR模式的启用条件;
若是,则允许启用DMVR模式;
若否,则拒绝启用DMVR模式;
其中,当所述当前图像块启用DMVR模式时,所述当前图像块至少同时满足以下条件:
当前图像块的当前模式为融合模式或者跳过模式;
控制信息为允许当前图像块启用DMVR模式;
当前图像块采用双向预测模式,两个参考帧的一个显示顺序位于当前图像块所属帧之前,另一个显示顺序位于当前图像块所属帧之后,且两个参考帧与当前图像块所属帧的距离相等;
当前图像块的两个参考帧的加权权重相同;
当前图像块的尺寸满足限定条件;其中,所述当前图像块的尺寸满足限定条件,包括:当前图像块的宽大于等于第一阈值,当前图像块的高大于等于第二阈值,且当前图像块的面积大于等于第三阈值;
当前图像块的两个参考帧的尺寸分别与当前图像块所属帧的尺寸相同;
其中,当前图像块的参考帧是长期参考帧时,拒绝所述当前图像块启用DMVR模式。
3.一种解码设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
确定当前图像块是否满足DMVR模式的启用条件;
若是,则允许启用DMVR模式;
若否,则拒绝启用DMVR模式;
其中,当所述当前图像块启用DMVR模式时,所述当前图像块至少同时满足以下条件:
当前图像块的当前模式为融合模式或者跳过模式;
控制信息为允许当前图像块启用DMVR模式;
当前图像块采用双向预测模式,两个参考帧的一个显示顺序位于当前图像块所属帧之前,另一个显示顺序位于当前图像块所属帧之后,且两个参考帧与当前图像块所属帧的距离相等;
当前图像块的两个参考帧的加权权重相同;
当前图像块的尺寸满足限定条件;其中,所述当前图像块的尺寸满足限定条件,包括:当前图像块的宽大于等于第一阈值,当前图像块的高大于等于第二阈值,且当前图像块的面积大于等于第三阈值;
当前图像块的两个参考帧的尺寸分别与当前图像块所属帧的尺寸相同;
其中,当前图像块的参考帧是长期参考帧时,拒绝所述当前图像块启用DMVR模式。
4.一种电子设备,其特征在于,包括处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述权利要求1所述解码方法的步骤。
5.一种机器可读存储介质,所述机器可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现上述权利要求1所述解码方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111014067.7A CN113596462B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111014067.7A CN113596462B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN201910901352.7A CN112543331B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910901352.7A Division CN112543331B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113596462A true CN113596462A (zh) | 2021-11-02 |
CN113596462B CN113596462B (zh) | 2022-07-01 |
Family
ID=70220966
Family Applications (22)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111012295.0A Withdrawn CN113784137A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111011707.9A Withdrawn CN113596459A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111014069.6A Withdrawn CN113596464A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN201910901352.7A Active CN112543331B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012193.9A Active CN113784136B (zh) | 2019-09-23 | 2019-09-23 | 解码方法、设备及存储介质 |
CN202111014067.7A Active CN113596462B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111014013.0A Withdrawn CN113784138A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN201911228558.4A Active CN111031317B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012146.4A Withdrawn CN113676735A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111010795.0A Withdrawn CN113630603A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111014014.5A Withdrawn CN113596461A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111012147.9A Withdrawn CN113596460A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111010730.6A Withdrawn CN113596455A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111010773.4A Withdrawn CN113596457A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111014082.1A Withdrawn CN113596465A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111014068.1A Withdrawn CN113596463A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111012014.1A Active CN113784133B (zh) | 2019-09-23 | 2019-09-23 | 解码方法、设备及存储介质 |
CN202111010742.9A Withdrawn CN113747165A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012188.8A Withdrawn CN113784135A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012039.1A Active CN113784134B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、设备及存储介质 |
CN202111010752.2A Active CN113596456B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111010798.4A Withdrawn CN113596458A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111012295.0A Withdrawn CN113784137A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111011707.9A Withdrawn CN113596459A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111014069.6A Withdrawn CN113596464A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN201910901352.7A Active CN112543331B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012193.9A Active CN113784136B (zh) | 2019-09-23 | 2019-09-23 | 解码方法、设备及存储介质 |
Family Applications After (16)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111014013.0A Withdrawn CN113784138A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN201911228558.4A Active CN111031317B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012146.4A Withdrawn CN113676735A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111010795.0A Withdrawn CN113630603A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111014014.5A Withdrawn CN113596461A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111012147.9A Withdrawn CN113596460A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111010730.6A Withdrawn CN113596455A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111010773.4A Withdrawn CN113596457A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111014082.1A Withdrawn CN113596465A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111014068.1A Withdrawn CN113596463A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
CN202111012014.1A Active CN113784133B (zh) | 2019-09-23 | 2019-09-23 | 解码方法、设备及存储介质 |
CN202111010742.9A Withdrawn CN113747165A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012188.8A Withdrawn CN113784135A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111012039.1A Active CN113784134B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、设备及存储介质 |
CN202111010752.2A Active CN113596456B (zh) | 2019-09-23 | 2019-09-23 | 编解码方法、装置及设备 |
CN202111010798.4A Withdrawn CN113596458A (zh) | 2019-09-23 | 2019-09-23 | 编解码方法方法、装置及设备 |
Country Status (10)
Country | Link |
---|---|
US (1) | US20220295094A1 (zh) |
EP (1) | EP4037318A4 (zh) |
JP (2) | JP7511631B2 (zh) |
KR (2) | KR20240133773A (zh) |
CN (22) | CN113784137A (zh) |
AU (1) | AU2020354107B2 (zh) |
BR (1) | BR112022004621A2 (zh) |
CA (1) | CA3149785A1 (zh) |
MX (1) | MX2022003168A (zh) |
WO (2) | WO2021057579A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113784137A (zh) * | 2019-09-23 | 2021-12-10 | 杭州海康威视数字技术股份有限公司 | 编解码方法、装置及设备 |
CN112135127B (zh) | 2019-11-05 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置、设备及机器可读存储介质 |
CN112804534B (zh) * | 2019-11-14 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN111901590B (zh) * | 2020-06-29 | 2023-04-18 | 北京大学 | 一种用于帧间预测的细化运动矢量存储方法及装置 |
CN114339223B (zh) * | 2021-02-23 | 2023-03-31 | 杭州海康威视数字技术股份有限公司 | 解码方法、装置、设备及机器可读存储介质 |
CN113808157B (zh) * | 2021-11-18 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、及计算机设备 |
CN114900691B (zh) * | 2022-07-14 | 2022-10-28 | 浙江大华技术股份有限公司 | 编码方法、编码器及计算机可读存储介质 |
WO2024117693A1 (ko) * | 2022-11-29 | 2024-06-06 | 현대자동차주식회사 | 아핀 모델 기반의 예측에서 움직임 보상 필터를 적응적으로 이용하는 비디오 코딩을 위한 방법 및 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0294956A2 (en) * | 1987-06-09 | 1988-12-14 | Sony Corporation | Motion vector reduction in television images |
CN101005623A (zh) * | 2006-01-21 | 2007-07-25 | 宇龙计算机通信科技(深圳)有限公司 | 确定视频块帧内或帧间编码的方法 |
EP2708268A2 (en) * | 2007-12-05 | 2014-03-19 | OL2, Inc. | Tile-based system and method for compressing video |
EP2826531A2 (en) * | 2007-12-05 | 2015-01-21 | OL2, Inc. | System and method for compressing video by allocating bits to image tiles based on detected intraframe motion or scene complexity |
WO2018193968A1 (ja) * | 2017-04-19 | 2018-10-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN110140355A (zh) * | 2016-12-27 | 2019-08-16 | 联发科技股份有限公司 | 用于视频编解码的双向模板运动向量微调的方法及装置 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0973336A2 (en) * | 1998-07-15 | 2000-01-19 | Sony Corporation | Motion vector detecting, picture encoding and recording method and apparatus |
CN100471277C (zh) * | 2007-02-13 | 2009-03-18 | 武汉大学 | 一种快速实现双帧参考视频流的时域可伸缩编码的方法 |
JP2009089332A (ja) * | 2007-10-03 | 2009-04-23 | Sony Corp | 動き予測方法及び動き予測装置 |
CN101527854A (zh) * | 2009-01-20 | 2009-09-09 | 源见科技(苏州)有限公司 | 帧间模式选择方法 |
CN103907346B (zh) * | 2011-10-11 | 2017-05-24 | 联发科技股份有限公司 | 运动矢量预测子及视差矢量导出方法及其装置 |
AU2013210955B2 (en) * | 2012-01-20 | 2017-11-09 | Nokia Technologies Oy | Method for video coding and an apparatus, a computer-program product, a system, and a module for the same |
US10200709B2 (en) * | 2012-03-16 | 2019-02-05 | Qualcomm Incorporated | High-level syntax extensions for high efficiency video coding |
US10721487B2 (en) * | 2012-04-17 | 2020-07-21 | Texas Instruments Incorporated | Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture |
US20130343459A1 (en) * | 2012-06-22 | 2013-12-26 | Nokia Corporation | Method and apparatus for video coding |
EP2863631A4 (en) * | 2012-07-02 | 2016-03-16 | Samsung Electronics Co Ltd | METHOD AND DEVICE FOR PREDICTING MOTION VECTORS FOR CODING OR DECODING VIDEO CONTENT |
KR101967398B1 (ko) * | 2013-07-09 | 2019-04-09 | 노키아 테크놀로지스 오와이 | 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치 |
CN107027339A (zh) * | 2014-05-06 | 2017-08-08 | 联发科技股份有限公司 | 确定调整大小的参考帧的参考块的位置的视频处理方法和相关视频处理装置 |
CN104333756B (zh) * | 2014-11-19 | 2017-10-24 | 西安电子科技大学 | 基于时域相关性的hevc预测模式快速选择方法 |
CN104853191B (zh) * | 2015-05-06 | 2017-09-05 | 宁波大学 | 一种hevc的快速编码方法 |
CN108965869B (zh) * | 2015-08-29 | 2023-09-12 | 华为技术有限公司 | 图像预测的方法及设备 |
US20180249172A1 (en) * | 2015-09-02 | 2018-08-30 | Mediatek Inc. | Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques |
CN105898296A (zh) * | 2015-12-24 | 2016-08-24 | 乐视云计算有限公司 | 视频编码帧选择方法及装置 |
KR20180129860A (ko) * | 2016-04-25 | 2018-12-05 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측 방법 및 장치 |
CN106484614B (zh) * | 2016-09-29 | 2019-01-22 | 厦门美图之家科技有限公司 | 一种核对图片处理效果的方法、装置及移动终端 |
US10631002B2 (en) * | 2016-09-30 | 2020-04-21 | Qualcomm Incorporated | Frame rate up-conversion coding mode |
US10341659B2 (en) * | 2016-10-05 | 2019-07-02 | Qualcomm Incorporated | Systems and methods of switching interpolation filters |
US10523964B2 (en) * | 2017-03-13 | 2019-12-31 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (BIO) |
US10701390B2 (en) * | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
US10491917B2 (en) * | 2017-03-22 | 2019-11-26 | Qualcomm Incorporated | Decoder-side motion vector derivation |
TW201902223A (zh) * | 2017-03-24 | 2019-01-01 | 聯發科技股份有限公司 | 視頻編碼中重疊分塊運動補償的雙向光流的方法和裝置 |
CN117041563A (zh) * | 2017-06-05 | 2023-11-10 | 松下电器(美国)知识产权公司 | 解码装置、编码装置、存储介质、解码方法和编码方法 |
US11363293B2 (en) * | 2017-07-03 | 2022-06-14 | Vid Scale, Inc. | Motion-compensation prediction based on bi-directional optical flow |
US10291925B2 (en) * | 2017-07-28 | 2019-05-14 | Intel Corporation | Techniques for hardware video encoding |
US11284107B2 (en) * | 2017-08-22 | 2022-03-22 | Google Llc | Co-located reference frame interpolation using optical flow estimation |
WO2019065329A1 (ja) * | 2017-09-27 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、及び復号方法 |
US11750832B2 (en) * | 2017-11-02 | 2023-09-05 | Hfi Innovation Inc. | Method and apparatus for video coding |
US11025950B2 (en) * | 2017-11-20 | 2021-06-01 | Google Llc | Motion field-based reference frame rendering for motion compensated prediction in video coding |
WO2019110120A1 (en) * | 2017-12-08 | 2019-06-13 | Huawei Technologies Co., Ltd. | Template matching function for bi-predictive mv refinement |
US11202079B2 (en) * | 2018-02-05 | 2021-12-14 | Tencent America LLC | Method and apparatus for video decoding of an affine model in an intra block copy mode |
US11523109B2 (en) * | 2019-05-02 | 2022-12-06 | Tencent America LLC | Method and apparatus for improvements of affine prof |
CN113784137A (zh) * | 2019-09-23 | 2021-12-10 | 杭州海康威视数字技术股份有限公司 | 编解码方法、装置及设备 |
CN111050168B (zh) * | 2019-12-27 | 2021-07-13 | 浙江大华技术股份有限公司 | 仿射预测方法及其相关装置 |
-
2019
- 2019-09-23 CN CN202111012295.0A patent/CN113784137A/zh not_active Withdrawn
- 2019-09-23 CN CN202111011707.9A patent/CN113596459A/zh not_active Withdrawn
- 2019-09-23 CN CN202111014069.6A patent/CN113596464A/zh not_active Withdrawn
- 2019-09-23 CN CN201910901352.7A patent/CN112543331B/zh active Active
- 2019-09-23 CN CN202111012193.9A patent/CN113784136B/zh active Active
- 2019-09-23 CN CN202111014067.7A patent/CN113596462B/zh active Active
- 2019-09-23 CN CN202111014013.0A patent/CN113784138A/zh not_active Withdrawn
- 2019-09-23 CN CN201911228558.4A patent/CN111031317B/zh active Active
- 2019-09-23 CN CN202111012146.4A patent/CN113676735A/zh not_active Withdrawn
- 2019-09-23 CN CN202111010795.0A patent/CN113630603A/zh not_active Withdrawn
- 2019-09-23 CN CN202111014014.5A patent/CN113596461A/zh not_active Withdrawn
- 2019-09-23 CN CN202111012147.9A patent/CN113596460A/zh not_active Withdrawn
- 2019-09-23 CN CN202111010730.6A patent/CN113596455A/zh not_active Withdrawn
- 2019-09-23 CN CN202111010773.4A patent/CN113596457A/zh not_active Withdrawn
- 2019-09-23 CN CN202111014082.1A patent/CN113596465A/zh not_active Withdrawn
- 2019-09-23 CN CN202111014068.1A patent/CN113596463A/zh not_active Withdrawn
- 2019-09-23 CN CN202111012014.1A patent/CN113784133B/zh active Active
- 2019-09-23 CN CN202111010742.9A patent/CN113747165A/zh not_active Withdrawn
- 2019-09-23 CN CN202111012188.8A patent/CN113784135A/zh not_active Withdrawn
- 2019-09-23 CN CN202111012039.1A patent/CN113784134B/zh active Active
- 2019-09-23 CN CN202111010752.2A patent/CN113596456B/zh active Active
- 2019-09-23 CN CN202111010798.4A patent/CN113596458A/zh not_active Withdrawn
-
2020
- 2020-09-16 KR KR1020247028196A patent/KR20240133773A/ko active Application Filing
- 2020-09-16 EP EP20869844.9A patent/EP4037318A4/en active Pending
- 2020-09-16 JP JP2022513845A patent/JP7511631B2/ja active Active
- 2020-09-16 MX MX2022003168A patent/MX2022003168A/es unknown
- 2020-09-16 BR BR112022004621A patent/BR112022004621A2/pt unknown
- 2020-09-16 US US17/753,341 patent/US20220295094A1/en active Pending
- 2020-09-16 WO PCT/CN2020/115657 patent/WO2021057579A1/zh active Application Filing
- 2020-09-16 WO PCT/CN2020/115646 patent/WO2021057578A1/zh active Application Filing
- 2020-09-16 AU AU2020354107A patent/AU2020354107B2/en active Active
- 2020-09-16 KR KR1020227007235A patent/KR102699509B1/ko active IP Right Grant
- 2020-09-16 CA CA3149785A patent/CA3149785A1/en active Pending
-
2024
- 2024-02-28 JP JP2024028586A patent/JP2024063099A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0294956A2 (en) * | 1987-06-09 | 1988-12-14 | Sony Corporation | Motion vector reduction in television images |
CN101005623A (zh) * | 2006-01-21 | 2007-07-25 | 宇龙计算机通信科技(深圳)有限公司 | 确定视频块帧内或帧间编码的方法 |
EP2708268A2 (en) * | 2007-12-05 | 2014-03-19 | OL2, Inc. | Tile-based system and method for compressing video |
EP2826531A2 (en) * | 2007-12-05 | 2015-01-21 | OL2, Inc. | System and method for compressing video by allocating bits to image tiles based on detected intraframe motion or scene complexity |
CN110140355A (zh) * | 2016-12-27 | 2019-08-16 | 联发科技股份有限公司 | 用于视频编解码的双向模板运动向量微调的方法及装置 |
WO2018193968A1 (ja) * | 2017-04-19 | 2018-10-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
Non-Patent Citations (3)
Title |
---|
CHEN, ETAL: "Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching", 《JOINT VIDEO EXPLORATION TEAM (JVET)》 * |
HAN HUANG: "Non-CE4: DMVR control by reference picture type", 《JOINT VIDEO EXPERTS TEAM (JVET)》 * |
RU-LING LIAO: "Non-CE9: Simplification of DMVR and BDOF combination", 《JOINT VIDEO EXPERTS TEAM (JVET)》 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113596456B (zh) | 编解码方法、装置及设备 | |
AU2020236452B2 (en) | Encoding and decoding method and device, encoder side apparatus and decoder side apparatus | |
KR102696722B1 (ko) | 인코딩 및 디코딩 방법, 장치 및 이의 기기 | |
RU2820848C2 (ru) | Способ и устройство для кодирования и декодирования, электронное устройство кодирования/декодирования и носитель данных | |
RU2797358C1 (ru) | Способ, устройство и аппарат для кодирования и декодирования |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |