CN114175632B - 对视频编解码模式的块尺寸相关使用 - Google Patents
对视频编解码模式的块尺寸相关使用 Download PDFInfo
- Publication number
- CN114175632B CN114175632B CN202080054200.9A CN202080054200A CN114175632B CN 114175632 B CN114175632 B CN 114175632B CN 202080054200 A CN202080054200 A CN 202080054200A CN 114175632 B CN114175632 B CN 114175632B
- Authority
- CN
- China
- Prior art keywords
- block
- video
- codec
- height
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001419 dependent effect Effects 0.000 title description 10
- 238000000034 method Methods 0.000 claims abstract description 235
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 claims abstract description 50
- 238000005192 partition Methods 0.000 claims description 105
- 230000015654 memory Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims 16
- 238000000638 solvent extraction Methods 0.000 abstract description 72
- 230000011218 segmentation Effects 0.000 abstract description 23
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 105
- 241000023320 Luma <angiosperm> Species 0.000 description 89
- 230000007704 transition Effects 0.000 description 54
- 238000003672 processing method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 230000011664 signaling Effects 0.000 description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 239000011449 brick Substances 0.000 description 7
- 238000009795 derivation Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000011229 interlayer Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Discrete Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
描述了用于对视频编解码或解码的方法、系统和装置,其中,图片分割模式基于块尺寸。一种用于视频处理的示例方法包括:使用虚拟流水线数据单元(VPDU)的维度来确定是否启用一个或多个视频块中的视频块的三叉树(TT)或二叉树(BT)分割,该虚拟流水线数据单元用于包括一个或多个视频区域的视频和该视频的比特流表示之间的转换,该视频区域包括一个或多个视频块;以及基于该确定执行该转换,其中,亮度样点中的该维度等于VSize,其中,亮度样点中的该视频块的维度为CtbSizeY,其中,VSize=min(M,CtbSizeY),并且其中,M是正整数。
Description
相关申请的交叉引用
本申请是于2020年7月27日提交的国际专利申请号PCT/CN2020/104786进入中国国家阶段的申请,其要求于2019年7月26日提交的国际专利申请No.PCT/CN2019/097926以及2019年8月31日提交的国际专利申请No.PCT/CN2019/103892的优先权。以上申请的全部公开内容通过引用而并入,作为本申请的公开的一部分。
技术领域
本文档涉及视频和图像编解码及解码技术
背景技术
数字视频占据了因特网和其他数字通信网络上最大的带宽使用量。随着能够接收和显示视频的连接用户设备数量的增加,预计数字视频使用的带宽需求将持续增长。
发明内容
所公开的技术可以由视频或图像解码器或编码器实施例用来执行对视频的编解码或解码,其中,图片分割模式是基于块尺寸确定的。
在一个示例性方面当中,公开了一种视频处理方法。该方法包括:使用包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度来执行对是否启用对该一个或多个视频块中的视频块的三叉树(TT)或二叉树(BT)分割的确定;以及基于该确定执行该转换,其中,亮度样点中的该维度等于VSize,其中,亮度样点中的该视频块的维度为CtbSizeY,其中,VSize=min(M,CtbSizeY),并且其中,M是正整数。
在另一个示例性方面中,公开了一种视频处理的方法。该方法包括:为包括一个或多个包括一个或多个视频块的视频区域的视频与该视频的比特流表示之间的转换,使用该一个或多个视频块的维度来执行对是否启用三叉树(TT)或二叉树(BT)分割的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换,其中,该确定基于该高度或该宽度与值N之间的比较,其中,N为正整数。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度与变换块的尺寸之间的比较,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的子分区的维度与最大变换尺寸之间的比较来执行(a)为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,是否启用帧内子分区预测(ISP)模式的确定,以及(b)针对该转换对一个或多个允许分割类型的选择;以及基于该确定和该选择执行该转换,其中,在ISP模式中,在应用帧内预测和变换之前,将该一个或多个视频块中的视频块分割成多个子分区。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,将与该编解码工具相关的语法元素从该比特流表示中排除,并且将其推断为指定该编解码工具被禁用的预定值。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,该比特流表示包括与该编解码工具相关的语法元素,将这些语法元素推断为基于该编解码工具被禁用的预定值。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括使用包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度和/或最大变换尺寸来执行对是否启用对该一个或多个视频块中的视频块的隐式(QT)分割的确定;以及基于该确定执行该转换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括子块变换(SBT),其中,该SBT的最大高度或最大宽度基于最大变换尺寸,并且其中,该SBT包括单独应用于该一个或多个视频块中的视频块的一个或多个分割的一个或多个变换。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括变换跳过模式和/或帧内基于块的差分脉码调制(BDPCM)模式,其中,用于该变换跳过模式的最大块尺寸基于最大变换尺寸,其中,该变换跳过模式包括对于对应的编解码工具跳过变换和逆变换处理,并且其中,在BDPCM模式中,使用差分脉冲编解码调制操作对当前视频块的帧内预测的残差进行预测编解码。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:使用视频块的高度或宽度与最大变换尺寸之间的比较,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用合并帧间帧内预测(CIIP)模式的确定;以及基于该确定执行该转换,其中,在CIIP模式中,对该视频块的最终预测基于该视频块的帧间预测和该视频块的帧内预测的加权和。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括:为包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,做出有关分割采用合并帧间帧内预测(CIIP)编解码的该一个或多个视频块中的视频块的确定;以及基于该确定执行该转换,其中,在CIIP模式中,该视频块的最终预测基于该视频块的帧间预测和该视频块的帧内预测的加权和。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定该视频区域中的使用变换编解码被编解码到该比特流表示中的多个视频块的最大块尺寸确定该视频区域中的在不使用变换编解码的情况下被编解码到该比特流表示中的多个视频块的最大块尺寸。
在又一个示例性方面中,公开了一种视频处理的方法。该方法包括根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定在针对该视频区域启用无损编解码时对该视频区域禁用带有色度缩放的亮度映射(LMCS)处理,其中,该视频区域是序列、图片、子图片、条带、片组、片、砖块、编解码树单元(CTU)行、CTU、编解码单元(CU)、预测单元(PU)、变换单元(TU)或子块,并且其中,该LMCS处理包括在第一域和第二域之间对该视频区域的亮度样点整形,并且按照亮度相关方式对色度残差进行缩放。
在又一示例性方面中,可以由包括处理器的视频编码器装置实施上述方法。
在又一示例性方面中,这些方法可以被体现为处理器可执行指令的形式并存储于计算机可读程序介质上。
本文档进一步描述了这些方面以及其他方面。
附图说明
图1示出了取决于视频块尺寸的二叉树(binary-tree,BT)和三叉树(ternary-tree,TT)划分的示例。
图2是用于实施本文档中描述的技术的硬件平台的示例的框图。
图3是可以实施所公开的技术的示例性视频处理系统的框图。
图4是视频处理的示例性方法的流程图。
图5是视频处理的另一示例性方法的流程图。
图6是视频处理的又一示例性方法的流程图。
图7是视频处理的又一示例性方法的流程图。
图8是视频处理的又一示例性方法的流程图。
图9是视频处理的又一示例性方法的流程图。
图10是视频处理的又一示例性方法的流程图。
图11是视频处理的又一示例性方法的流程图。
图12是视频处理的又一示例性方法的流程图。
图13是视频处理的又一示例性方法的流程图。
图14是视频处理的又一示例性方法的流程图。
图15是视频处理的又一示例性方法的流程图。
图16是视频处理的又一示例性方法的流程图。
图17是视频处理的又一示例性方法的流程图。
图18是视频处理的又一示例性方法的流程图。
具体实施方式
本文档提供了图像或视频比特流的解码器可以使用的各种技术,以提高解压缩或解码数字视频或图像的质量。为了简洁起见,“视频”一词在本文当中被用来既包含图片的序列(常规上被称为视频),又包含单独图像。此外,视频编码器还可以在编码过程期间实施这些技术,以便重建用于进一步的编码的解码帧。
本文档中使用了章节标题,其目的是便于理解,而非使实施例和技术局限于对应的章节。如此,来自一个章节的实施例可以与来自其他章节的实施例相结合。
1.概述
本文档涉及视频编解码技术。具体地,本文档关于用于控制视频编解码或解码当中的编解码树单元或变换单元的尺寸的规则。其可以应用于现有的视频编解码标准,如HEVC,或待定案的标准(多功能视频编解码)。其还可以适用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263,ISO/IEC开发了MPEG-1和MPEG-4视觉,并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(Joint Video Exploration Team,JVET)。从那时起,JVET采用了许多新的方法,并将其应用到了名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。JVET会议当前每季度举办一次,并且新型编解码标准以相较于HEVC有50%的比特率下降为目标。该新型编解码标准曾在2018年4月的JVET会议中被正式命名为多功能视频编解码(VVC),并且当时发布了第一版VVC测试模型(VVC test model,VTM)。随着促进VVC标准化的持续努力,在每次JVET会议中都有新的编解码技术被VVC标准采纳。于是,每次会议之后都会更新VVC工作草案和测试模型VTM。现在,VVC项目致力于在2020年7月的会议中实现技术完成(FDIS)。
2.1 VVC中的CTU尺寸
VTM-5.0软件允许4种不同CTU尺寸:16×16、32×32、64×64和128×128。然而,在2019年7月的JVET会议上,因JVET-O0526的采纳而将最小CTU尺寸重新定义为32×32。并且,将VVC工作草案6中的CTU尺寸编码到SPS标头当中的被称为log2_ctu_size_minus_5的UE编码语法元素当中。
下文是定义了虚拟流水线数据单元(virtual pipeline data unit,VPDU)并且采纳了JVET-O0526的VVC草案6中的对应规范修改。
7.3.2.3.序列参数集RBSP语法
seq_parameter_set_rbsp(){ | 描述符 |
… | |
log2_ctu_size_minus5 | u(2) |
… |
7.4.3.3.序列参数集RBSP语义
…
log2_ctu_size_minus5加5规定每一CTU的亮度编解码树块尺寸。比特流一致性的要求是log2_ctu_size_minus5的值小于或等于2。
log2_min_luma_coding_block_size_minus2加2规定最小亮度编解码块尺寸。
如下推导变量CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、IbcBufWidthY、IbcBufWidthC和Vsize:
CtbLog2SizeY=log2_ctu_size_minus5+5
(7-15)
CtbSizeY=1<<CtbLog2SizeY (7-16)
MinCbLog2SizeY=log2_min_luma_coding_block_size_minus2+2 (7-17)
MinCbSizeY=1<<MinCbLog2SizeY (7-18)
IbcBufWidthY=128*128/CtbSizeY (7-19)
IbcBufWidthC=IbcBufWidthY/SubWidthC
(7-20)
VSize=Min(64,CtbSizeY) (7-21)
如下推导分别规定每一色度CTB的阵列的宽度和高度的变量CtbWidthC和CtbHeightC:
-如果chroma_format_idc等于0(单色)或者
separate_colour_plane_flag等于1,那么CtbWidthC和CtbHeightC两者均等于0。
-否则,如下推导CtbWidthC和CtbHeightC:
CtbWidthC=CtbSizeY/SubWidthC (7-22)
CtbHeightC=CtbSizeY/SubHeightC (7-23)
对于处于范围0到4(含端点)内的log2BlockWidth并且对于处于范围0到4(含端点)的范围内的log2BlockHeight,在以1<<log2BlockWidth且1<<log2BlockHeight为输入的情况下调用如条款6.5.2中规定的右上对角线和光栅扫描顺序数组初始化处理,并且将输出赋予
DiagScanOrder[log2BlockWidth][log2BlockHeight]和
RasterScanOrder[log2BlockWidth][log2BlockHeight]。
…
slicelog2_diff_max_bt_min_qt_luma规定当前条带中能够使用二叉树划分进行划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)和CTU的由四叉树划分得到的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_bt_min_qt_luma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeY的范围(含端点)内。当不存在时,如下推断slice_log2_diff_max_bt_min_qt_luma的值:
-如果slice_type等于2(I),那么将slice_log2_diff_max_bt_min_qt_luma的值推断为等于sps_log2_diff_max_bt_min_qt_intra_slice_luma
–否则(slice_type等于0(B)或1(P)),将
slice_log2_diff_max_bt_min_qt_luma的值推断为等于
sps_log2_diff_max_bt_min_qt_inter_slice。
slice_log2_diff_max_tt_min_qt_luma规定当前条带中能够使用三叉树划分进行划分的亮度编解码块的亮度样点中的最大尺寸(宽度或高度)和CTU的由四叉树划分得到的亮度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_tt_min_qt_luma的值应当处于0到CtbLog2SizeY-MinQtLog2SizeY(含端点)的范围内。当不存在时,如下推断slice_log2_diff_max_tt_min_qt_luma的值:
–如果slice_type等于2(I),那么将slice_log2_diff_max_tt_min_qt_luma的值推断为等于sps_log2_diff_max_tt_min_qt_intra_slice_luma
–否则(slice_type等于0(B)或1(P)),将slice_log2_diff_max_tt_min_qt_luma的值推断为等于sps_log2_diff_max_tt_min_qt_inter_slice。
slice_log2_diff_min_qt_min_cb_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下色度CTU的由四叉树划分得到的色度叶块的亮度样点中的最小尺寸的以2为底的对数和在treeType等于DUAL_TREE_CHROMA的情况下色度CU的亮度样点中的最小编解码块尺寸的以2为底的对数之间的差值。slice_log2_diff_min_qt_min_cb_chroma的值应当处于0到CtbLog2SizeY-MinCbLog2SizeY(含端点)的范围内。当不存在时,将slice_log2_diff_min_qt_min_cb_chroma的值推断为等于sps_log2_diff_min_qt_min_cb_intra_slice_chroma。
slice_max_mtt_hierarchy_depth_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下四叉树叶的由多类型树划分得到的编解码单元的最大层次深度。slice_max_mtt_hierarchy_depth_chroma的值应当处于0到CtbLog2SizeY-MinCbLog2SizeY(含端点)的范围内。当不存在时,将slice_max_mtt_hierarchy_depth_chroma的值推断为等于sps_max_mtt_hierarchy_depth_intra_slices_chroma。
slice_log2_diff_max_bt_min_qt_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下能够使用二叉树划分进行划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)和色度CTU的由四叉树划分得到的色度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_bt_min_qt_chroma的值应该处于0到CtbLog2SizeY-MinQtLog2SizeC(含端点)的范围内。当不存在时,将slice_log2_diff_max_bt_min_qt_chroma的值推断为等于sps_log2_diff_max_bt_min_qt_intra_slice_chroma。
slice_log2_diff_max_tt_min_qt_chroma规定当前条带中在treeType等于DUAL_TREE_CHROMA的情况下能够使用三叉树划分进行划分的色度编解码块的亮度样点中的最大尺寸(宽度或高度)和色度CTU的由四叉树划分得到的色度叶块的亮度样点中的最小尺寸(宽度或高度)的以2为底的对数之间的差值。slice_log2_diff_max_tt_min_qt_chroma的值应该处于0到CtbLog2SizeY-MinQtLog2SizeC(含端点)的范围内。当不存在时,将slice_log2_diff_max_tt_min_qt_chroma的值推断为等于sps_log2_diff_max_tt_min_qt_intra_slice_chroma。
如下推导变量MinQtLog2SizeY、MinQtLog2SizeC、MinQtSizeY、MinQtSizeC、MaxBtSizeY、MaxBtSizeC、MinBtSizeY、MaxTtSizeY、MaxTtSizeC、MinTtSizeY、MaxMttDepthY和MaxMttDepthC:
MinQtLog2SizeY=MinCbLog2SizeY+slice_log2_diff_min_qt_min_cb_luma (7-86)
MinQtLog2SizeC=MinCbLog2SizeY+slice_log2_diff_min_qt_min_cb_chroma (7-87)
MinQtSizeY=1<<MinQtLog2SizeY
(7-88)
MinQtSizeC=1<<MinQtLog2SizeC
(7-89)
MaxBtSizeY=1<<(MinQtLog2SizeY+slice_log2_diff_max_bt_min_qt_luma) (7-90)
MaxBtSizeC=1<<(MinQtLog2SizeC+slice_log2_diff_max_bt_min_qt_chroma) (7-91)
MinBtSizeY=1<<MinCbLog2SizeY
(7-92)
MaxTtSizeY=1<<(MinQtLog2SizeY+slice_log2_diff_max_tt_min_qt_luma) (7-93)
MaxTtSizeC=1<<(MinQtLog2SizeC+slice_logg_diff_max_tt_min_qt_chroma) (7-94)
MinTtSizeY=1<<MinCbLog2SizeY
(7-95)
MaxMttDepthY=slice_max_mtt_hierarchy_depthluma (7-96)
MaxMttDepthC=slice_max_mtt_hierarchy_depth_chroma (7-97)
2.2 VVC中的最大变换尺寸
在VVC草案5中,在SPS中信令通知最大变换尺寸,但是其被固定为长度64,并且是不可配置的。然而,在2019年7月的JVET会议中,确定仅借助于SPS层级上的标志使最大亮度变换尺寸能够要么是64,要么是32。最大色度变换尺寸是相对于最大亮度变换尺寸由色度采样比推导的。
下文是采纳了JVET-O05xxx的VVC草案6中的对应规范修改。
7.3.2.3.序列参数集RBSP语法
seq_parameter_set_rbsp(){ | 描述符 |
… | |
sps_max_luma_transform_size_64_flag | u(1) |
… |
7.4.3.3.序列参数集RBSP语义
…
sps_max_luma_transform_size_64_flag等于1规定亮度样点中的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定亮度样点中的最大变换尺寸等于32。
在CtbSizeY小于64对,sps_max_luma_transform_size_64_flag的值必须等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size_64_flag?6:5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY=1<<MaxTbLog2SizeY
(7-30)
…
sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度为32个样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度为64个样点。
MaxSbtSize=Min(MaxTbSizeY,sps_sbt_max_size_64_flag?64:32) (7-31)
…
3.由所公开的技术解决方案解决的技术问题的示例
在最近的VVC工作草案JVET-O2001-v11中有几个问题,下文将对其给出描述。
1)在当前的VVC草案6中,最大变换尺寸和CTU尺寸是单独定义的。例如,CTU尺寸可以是32,而变换尺寸可以是64。希望最大变换尺寸应当等于或小于CTU尺寸。
2)在当前的VVC草案6中,块分割处理取决于最大变换块尺寸而非VPDU尺寸。因此,如果最大变换块尺寸为32×32,那么除了禁用128×128TT划分和64×128垂直BT划分以及128×64水平BT划分以遵守VPDU规则之外,还禁用对64×64块的TT划分,禁用对32×64/16×64/8×64编解码块的垂直BT划分,还禁用对64×8/64×16/64×32编解码块的水平BT划分,从编解码效率来看这样做效率不高。
3)当前VVC草案6允许CTU尺寸等于32、64和128。然而,CTU尺寸可以大于128也是可能的。因而,需要修改一些语法元素。
a)如果允许更大CTU尺寸,那么可以重新设计块分割结构和块划分标志的信令通知。
b)如果允许更大CTU尺寸,那么可以重新设计当前设计(例如,仿射参数推导、IBC预测、IBC缓存尺寸、Merge三角形预测、CIIP、常规Merge模式等)中的一些。
4)在当前草案6中,在SPS层级上信令通知CTU尺寸。然而,由于参考图片重采样(又名自适应分辨率变化)的采纳允许可以采用不同分辨率将图片编解码到一个比特流当中,因而CTU尺寸可以是跨越多个层而不同的。
5)在WD6中,用于MIP和ISP的最大块尺寸取决于最大变换尺寸,而非VPDU尺寸或64×64,从编解码效率来看这样做效率不高。
6)在WD6中,用于变换跳过和帧内BDPCM的最大块尺寸取决于最大变换跳过尺寸,其受到最大变换尺寸限制。
7)在WD6中,用于SBT的最大块尺寸取决于最大SBT尺寸,其受到最大变换尺寸的限制。
8)在WD6中,用于IBC和PLT的编解码块的尺寸局限于64×64,可以根据最大变换尺寸、CTU尺寸和/或VPDU尺寸对其进行调整。
9)在WD6中,用于CIIP的编解码块的尺寸可以大于最大变换尺寸。
10)在WD6中,LMCS启用标志不以变换量化旁路标志为条件。
4.示例实施例和技术
下文对解决方案的列举应被视为解释一些构思的示例。不应狭义地解释这些项目。此外,可以按照任何方式使这些项目相结合。
在本文档中,C=min(a,b)表明C等于a和b当中的最小值。
在本文档中,视频单元尺寸/维度可以是视频单元的高度或者宽度(例如,图片/子图片/条带/砖块/片/CTU/CU/CB/TU/TB的宽度或高度)。如果由M×N表示视频单元尺寸,那么M表示视频单元的宽度,并且N表示视频单元的高度。
在本文档中,“编解码块”可以是亮度编解码块和/或色度编解码块。在本发明中可以采用编解码块的按亮度样点来计的尺寸/维度来表示亮度样点中的尺寸/维度。例如,128×128编解码块(或者以亮度样点来计的编解码块尺寸128×128)可以指示对于4:2:0颜色格式的128×128亮度编解码块和/或64×64色度编解码块。类似地,对于4:2:2颜色格式,其可以指128×128亮度编解码块和/或64×128色度编解码块。对于4:4:4色度格式,其可以指128×128亮度编解码块和/或128×128色度编解码块。
相关的可配置CTU尺寸
1.提出了针对不同的视频单元(诸如层/图片/子图片/条带/片/砖块)可以允许不同的CTU维度(诸如宽度和/或高度)。
a)在一个示例中,可以在视频单元层级(诸如VPS/DPS/SPS/PPS/APS/图片/子图片/条带/条带标头/片/砖块层级)上显式信令通知一组或多组CTU维度。
b)在一个示例中,在允许参考图片重采样(又名自适应分辨率变化)时,CTU维度可以是跨越不同层而不同的。
i.例如,可以根据降采样/升采样缩放因数显式推导层间图片的CTU维度。
1.例如,如果基本层的信令通知CTU维度为M×N(诸如,M=128并且N=128)并且根据在宽度上的缩放因数S和在高度上的缩放因数T对层间编解码图片重采样(其中,S和T可以大于或小于1,例如,S=1/4和T=1/2表示在宽度上以4倍并且在高度上以2倍对层间编解码图片降采样),那么可以将层间编解码图片中的CTU维度推导为(M×S)×(N×T)或者(M/S)×(N/T)。
ii.例如,可以在视频单元层级上针对多个层显式信令通知不同CTU维度,例如,对于层间重采样图片/子图片,可以在VPS/DPS/SPS/PPS/APS/图片/子图片/条带/条带标头/片/砖块层级上信令通知CTU维度,这不同于基本层CTU尺寸。
2.提出了是否允许TT划分或BT划分可以取决于VPDU维度(诸如宽度和/或高度)。假设VPDU具有亮度样点中的维度VSize,并且编解码树块具有亮度样点中的维度CtbSizeY。
a)在一个示例中,VSize=min(M,CtbSizeY)。M是整数值,例如,64。
b)在一个示例中,是否允许TT划分或BT划分可以独立于最大变换尺寸。
c)在一个示例中,在亮度样点中的编解码块宽度或高度大于min(VSize,maxTtSize)时可以禁用TT划分。
i.在一个示例中,在最大变换尺寸等于32×32但是VSize等于64×64时,可以对128×128/128×64/64×128编解码块禁用TT划分。
ii.在一个示例中,在最大变换尺寸等于32×32,但是VSize等于64×64时,可以对64×64编解码块允许TT划分。
d)在一个示例中,在亮度样点中的编解码块宽度小于或等于VSize,但是亮度样点中的其高度大于VSize时,可以禁用垂直BT划分。
i.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对64×128编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64时,可以对32×64/16×64/8×64编解码块允许垂直BT划分。
e)在一个示例中,在编解码块超过亮度样点中的图片/子图片宽度,但是亮度样点中的其高度大于VSize时,可以禁用垂直BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片宽度时可以允许水平BT划分。
f)在一个示例中,在亮度样点中的编解码块宽度大于VSize,但是亮度样点中的其高度小于或等于VSize时,可以禁用水平BT划分。
i.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64的情况下,可以对128×64编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32,但是VPDU尺寸等于64×64的情况下,可以对64×8/64×16/64×32编解码块允许水平BT划分。
g)在一个示例中,在编解码块超过亮度样点中的图片/子图片高度,但是亮度样点中的其宽度大于VSize时,可以禁用水平BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片高度时可以允许垂直BT划分。
h)在一个示例中,在禁用TT划分或BT划分时,可以不信令通知TT或BT划分标志并且将其隐式推导为零。
i.替代性地,在启用TT和/或BT划分时,可以在比特流中显式信令通知TT和/或BT划分标志。
ii.替代性地,在禁用TT或BT划分时,可以信令通知TT或BT划分标志,但是解码器可以将其忽略。
iii.替代性地,在禁用TT或BT划分时,可以信令通知TT或BT划分标志,但是在一致性比特流中其必须为零。
3.提出了CTU维度(诸如宽度和/或高度)可以大于128。
a)在一个示例中,信令通知的CTU维度可以是256,甚至更大(例如,log2_ctu_size_minus5可以等于3或更大)。
b)在一个示例中,所推导的CTU维度可以是256,甚至更大。
i.例如,用于对图片/子图片重采样的推导CTU维度可以大于128。
4.提出了在允许较大CTU维度(例如,CTU宽度和/或高度大于128)时,那么可以将QT划分标志推断为真并且可以递归地应用QT划分,直到经划分的编解码块的维度达到指定值为止(例如,可以将该指定值设置为最大变换块尺寸或128或64或32)。
a)在一个示例中,可以在不信令通知的情况下隐式施行递归QT划分,直到经划分的编解码块尺寸达到最大变换块尺寸为止。
b)在一个示例中,在CTU 256×256适用于双重树时,那么可以不对大于最大变换块尺寸的编解码块信令通知QT划分标志,并且可以强制将QT划分用于该编解码块,直到经划分的编解码块尺寸达到最大变换块尺寸为止。
5.提出了可以针对大于128的CU/PU维度(宽度和/或高度)有条件地信令通知TT划分标志。
a)在一个示例中,可以对256×256CU信令通知水平和垂直TT划分标志两者。
b)在一个示例中,可以对256×128/256×64CU/PU信令通知垂直TT划分,但不信令通知水平TT划分。
c)在一个示例中,可以对128×256/64×256CU/PU信令通知水平TT划分,但不信令通知垂直TT划分。
d)在一个示例中,在对大于128的CU维度禁用TT划分标志时,那么可以不对其信令通知,并且将其隐式推导为零。
i.在一个示例中,可以对256×128/256×64CU/PU禁用水平TT划分。
ii.在一个示例中,可以对128×256/64×256CU/PU禁用垂直TT划分。
6.提出了可以针对大于128的CU/PU维度(宽度和/或高度)有条件地信令通知BT划分标志。
a)在一个示例中,可以针对256×256/256×128/128×256CU/PU信令通知水平和垂直BT划分标志两者。
b)在一个示例中,可以对64×256CU/PU信令通知水平BT划分标志。
c)在一个示例中,可以对256×64CU/PU信令通知垂直BT划分标志。
d)在一个示例中,在对大于128的CU维度禁用BT划分标志时,那么可以不对其信令通知,并且将其隐式推导为零。
i.在一个示例中,可以对K×256CU/PU(例如,在亮度样点中时K等于或小于64)禁用垂直BT划分,并且可以不信令通知垂直BT划分标志,并且将其推导为零。
1.例如,在上述情况下,可以对64×256CU/PU禁用垂直BT划分。
2.例如,在上述情况下,可以禁用垂直BT划分,以避免图片/子图片边界处的32×256CU/PU。
ii.在一个示例中,在编解码块超过亮度样点中的图片/子图片宽度,但是亮度样点中的其高度大于M(例如,在亮度样点中时M=64)时,可以禁用垂直BT划分。
iii.在一个示例中,可以对256×K(例如,在亮度样点中时K等于或小于64)编解码块禁用水平BT划分,并且可以不信令通知水平BT划分标志,并且将其推导为零。
1.例如,在上述情况下,可以对256×64编解码块禁用水平BT划分。
2.例如,在上述情况下,可以禁用水平BT划分,以避免图片/子图片边界处的256×32编解码块。
iv.在一个示例中,在编解码块超过亮度样点中的图片/子图片高度,但是亮度样点中的其宽度大于M(例如,在亮度样点中时M=64)时,可以禁用水平BT划分。
7.提出了仿射模型参数计算可以取决于CTU维度。
a)在一个示例中,经缩放的运动矢量和/或仿射预测中的控制点运动矢量的推导可以取决于CTU维度。
8.提出了帧内块复制(IBC)缓存可以取决于最大可配置/允许CTU维度。
a)例如,亮度样点中的IBC缓存宽度可以等于N×N除以亮度样点中的CTU宽度(或高度),其中,N可以是亮度样点中的最大可配置CTU尺寸,例如,N=1<<(log2_ctu_size_minus5+5)。
9.提出了可以对较大CU/PU禁用一组(多个)指定编解码工具,其中,较大CU/PU是指其中CU/PU宽度或CU/PU高度大于N(例如,N=64或128)的CU/PU。
a)在一个示例中,上文提及的(多个)指定编解码工具可以是调色板和/或帧内块复制(IBC)和/或帧内跳过模式和/或三角形预测模式和/或CIIP模式和/或常规Merge模式和/或解码器侧运动推导和/或双向光流和/或基于预测细化的光流和/或仿射预测和/或基于子块的TMVP等等。
i.替代性地,(多个)屏幕内容编解码工具,诸如调色板和/或帧内块复制(IBC)模式,可以适用于较大CU/PU。
b)在一个示例中,可以显式使用语法约束条件以对较大CU/PU禁用(多个)指定编解码工具。
i.例如,对于不是较大CU/PU的CU/PU可以显式信令通知调色板/IBC标志。
c)在一个示例中,其可以使用比特流约束条件以对较大CU/PU禁用(多个)指定编解码工具。
10.是否允许TT或BT划分可以取决于块维度。
a)在一个示例中,在亮度样点中的编解码块宽度或高度大于N(例如,N=64)时可以禁用TT划分。
i.在一个示例中,在最大变换尺寸等于32×32时,可以针对128×128/128×64/64×128编解码块禁用TT划分。
ii.在一个示例中,在最大变换尺寸等于32×32时,可以对64×64编解码块允许TT划分。
b)在一个示例中,在亮度样点中的编解码块宽度小于或等于N(例如,N=64),但是亮度样点中的其高度大于N(例如,N=64)时,可以禁用垂直BT划分。
i.在一个示例中,在最大变换尺寸为32×32的情况下,可以对64×128编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32的情况下,可以对32×64/16×64/8×64编解码块允许垂直BT划分。
c)在一个示例中,在编解码块超过亮度样点中的图片/子图片宽度,但是亮度样点中的其高度大于64时,可以禁用垂直BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片宽度时可以允许水平BT划分。
d)在一个示例中,在亮度样点中的编解码块宽度大于N(例如,N=64),但是亮度样点中的其高度小于或等于N(例如,N=64)时,可以禁用水平BT划分。
i.在一个示例中,在最大变换尺寸为32×32的情况下,可以对128×64编解码块禁用垂直BT划分。
ii.在一个示例中,在最大变换尺寸为32×32的情况下,可以对64×8/64×16/64×32编解码块允许水平BT划分。
e)在一个示例中,在编解码块超过亮度样点中的图片/子图片高度,但是亮度样点中的其宽度大于N(例如,N=64)时,可以禁用水平BT划分。
i.替代性地,在编解码块超过亮度样点中的图片/子图片高度时可以允许垂直BT划分。
相关的可配置最大变换尺寸
11.提出了最大TU尺寸可以取决于CTU维度(宽度和/或高度),或者CTU维度可以取决于最大TU尺寸。
a)在一个示例中,可以使用最大TU尺寸必须小于或等于CTU维度这一比特流约束条件。
b)在一个示例中,最大TU尺寸的信令通知可以取决于TU维度。
i.例如,在CTU维度小于N(例如,N=64)时,信令通知的最大TU尺寸必须小于N。
ii.例如,在CTU维度小于N(例如,N=64)时,可以不信令通知最大亮度变换尺寸是64还是32的指示(例如,sps_max_luma_transform_size_64_flag),并且可以将最大亮度变换尺寸隐式推导为32。
12.可以针对具有大于变换块尺寸的宽度和/或高度的块启用某一编解码工具。
a)在一个示例中,该某一编解码工具可以是帧内子分区预测(intra sub-partition prediction,ISP)、MIP、SBT或者其他可以将一个CU划分成多个TU或者将一个CB划分成多个TB的编解码工具。
b)在一个示例中,该某一编解码工具可以是不应用变换(或者仅应用恒等变换)的编解码工具,诸如变换跳过模式、BDPCM/DPCM/PCM。
c)该某一工具可以是帧内块复制(IBC)、调色板(PLT)。
d)该某一编解码工具可以是合并帧间帧内预测(combined inter intraprediction,CIIP)。
13.是否启用某一编解码工具可以取决于编解码块维度。
a)在一个示例中,该某一编解码工具可以是帧内子分区预测(ISP)、基于矩阵的帧内预测(matrixed based intra prediction,MIP)、子块变换(Sub-block transform,SBT)、帧内块复制(IBC)、调色板(PLT)等。
b)在一个示例中,在亮度样点中的编解码块宽度和/或高度小于或者等于N(例如,N=64)时,可以允许该某一编解码工具(诸如ISP、MIP)。
i.替代性地,在亮度样点中的编解码块宽度或高度大于N(例如,N=64)时可以禁用该某一编解码工具。
c)是否启用某一编解码工具(诸如ISP、MIP)可以取决于编解码块尺寸和VPDU尺寸之间的关系。
i.在一个示例中,在亮度样点中的编解码块宽度和/或高度小于或者等于VPDU尺寸(诸如32或64)时,可以允许某一编解码工具。
1.替代性地,在亮度样点中的编解码块宽度或高度大于VPDU尺寸(诸如32或64)时,可以禁用某一编解码工具。
d)是否启用帧内子分区预测(ISP)和/或允许哪一种(哪几种)分割类型(例如,划分方向)可以取决于子分区的维度与最大变换块尺寸之间的关系。
i.在一个示例中,如果对于至少一种分割类型而言子分区宽度和/或高度不大于最大变换块尺寸,那么可以启用ISP。1.替代性地,此外,否则,可以禁用IPS。
ii.在一个示例中,如果对于所有允许的分割类型而言子分区宽度和/或高度均不大于最大变换块尺寸,那么可以启用ISP。
1.替代性地,此外,否则,可以禁用ISP。
iii.在一个示例中,分割类型的信令通知(例如,intra_subpartitions_split_flag)可以取决于基于分割类型的对应子分区的宽度和/或高度与最大变换块尺寸之间的关系。
1.在一个示例中,如果只有一个分割类型满足基于划分类型的对应子分区的宽度和/或高度不大于最大变换块尺寸这一条件,那么可以不信令通知和推断分割类型。
e)是否启用某一编解码工具(诸如IBC、PLT)可以取决于编解码块尺寸和最大变换尺寸(诸如32或64)之间的关系。
i.在一个示例中,是否启用某一编解码工具(诸如IBC、PLT)可以不以编解码块维度和固定数值64之间的关系为条件。
ii.在一个示例中,在亮度样点中的编解码块宽度和高度不大于最大变换尺寸时,可以允许某一编解码工具(诸如IBC、PLT)。
1.在一个示例中,在亮度样点中的编解码块宽度和/或高度大于最大变换尺寸时,可以禁用某一编解码工具(诸如IBC、PLT)。
2.在一个示例中,在最大变换尺寸等于32的情况下,可以在亮度样点中的块宽度和/或高度等于64时禁用某一编解码工具(诸如IBC、PLT)
f)如果禁用某一编解码工具,那么可以不信令通知相关语法元素(诸如针对ISP的intra_subpartitions_mode_flag和intra_subpartitions_split_flag,针对MIP的intra_mip_flag和intra_mip_mode,针对IBC的pred_mode_ibc_flag,针对PLT的pred_mode_plt_flag)并且将其推断为0。
g)如果禁用某一编解码工具,那么可以信令通知相关语法元素(诸如针对ISP的intra_subpartitions_mode_flag和intra_subpartitions_split_flag,针对MIP的intra_mip_flag和intra_mip_mode,针对IBC的pred_mode_ibc_flag,针对PLT的pred_mode_plt_flag),但是其在一致性比特流中必须为0。
14.隐式的QT划分可以取决于VPDU尺寸和/或最大变换尺寸。
a)在一个示例中,隐式的QT划分可以不以编解码块维度和固定数值64之间的关系为条件。
b)在一个示例中,可以将编解码块隐式划分成四叉树分割,并且可以对每一子分区递归地隐式划分,直到子分区的宽度和高度均达到VPDU尺寸为止。
c)在一个示例中,可以将编解码块隐式划分成四叉树分割,并且可以对每一子分区递归地隐式划分,直到子分区的宽度和高度两者达到最大变换尺寸为止。
15.用于子块变换(SBT)的最大块宽度和/或高度可以取决于最大变换尺寸。
a)在一个示例中,可以将最大SBT尺寸设置为等于最大变换尺寸。
b)在一个示例中,可以不信令通知与最大SBT尺寸有关的语法元素(例如,sps_sbt_max_size_64_flag)。
i.例如,在最大变换尺寸小于64时,可以不信令通知sps_sbt_max_size_64_flag,并将其推断为0。
ii.例如,在最大变换尺寸小于64时信令通知sps_sbt_max_size_64_flag,但是其在一致性比特流中必须为0。
c)在一个示例中,相关语法元素(例如,cu_sbt_flag)的信令通知可以取决于最大变换尺寸。
d)在一个示例中,相关语法元素(例如,cu_sbt_flag)的信令通知可以独立于最大SBT尺寸。
16.用于变换跳过和/或帧内BDPCM的最大块尺寸可以取决于最大变换尺寸。
a)在一个示例中,可以将最大变换跳过尺寸设置为等于最大变换尺寸。
b)在一个示例中,可以不信令通知与最大变换跳过尺寸有关的语法元素(例如,log2_transform_skip_max_size_minus2)。
17.可以独立地信令通知用于帧内BDPCM的最大块尺寸。
a)在一个示例中,用于帧内BDPCM的最大块尺寸可以不取决于用于变换跳过的最大块尺寸。
b)在一个示例中,可以在比特流中信令通知SPS/VPS/PPS/条带/VPDU/CTU/CU层级标志,以指定用于帧内BDPCM的最大块尺寸。
18.对块启用还是禁用合并帧间帧内预测(CIIP)可以取决于块宽度和/或高度与最大变换尺寸之间的关系。
a)在一个示例中,如果块宽度和/或高度大于最大变换尺寸,那么可以对块禁用CIIP。
b)在一个示例中,如果禁用CIIP,那么可以不信令通知指示CIIP的语法元素(例如,ciip_flag)。
19.在采用CIIP编解码的CU的宽度和高度两者均小于128时,不允许将CU划分成几个子分区,其中,用于第一子分区的帧内预测可以取决于第二子分区的重建,对第二子分区的的帧内预测是在对第一子分区的帧内预测之前执行的。
20.允许将采用CIIP编解码的CU划分成几个子分区,其中,用于第一子分区的帧内预测可以取决于第二子分区的重建,对第二子分区的的帧内预测是在对第一子分区的帧内预测之前执行的。
相关的无损编解码
21.由应用变换的块的最大尺寸(例如,MaxTbSizeY)推导变换跳过编解码块的最大尺寸(例如,不应用变换/仅应用恒等变换)。
a)在一个示例中,将变换跳过编解码块的最大尺寸推断为MaxTbSizeY。
b)在一个示例中,跳过对变换跳过编解码块的最大尺寸的信令通知。
22.在启用无损编解码时,可以在序列/图片/子图片/条带/片组/片/砖块/CTU行/CTU/CU/PU/TU/子块层级内对当前视频单元禁用亮度映射色度缩放(Luma Mapping ChromaScaling,LMCS)。
a)在一个示例中,可以在序列/图片/子图片/条带/片组/片/砖块/CTU行/CTU/CU/PU/TU/子块层级内,以变换量化旁路标志(诸如sps_transquant_bypass_flag、pps_transquant_bypass_flag、cu_transquant_bypass_flag)为条件信令通知LMCS启用标志(诸如sps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flag、lmcs_data等)。
i.在一个示例中,如果变换量化旁路标志等于1,那么可以不信令通知LMCS启用标志,并且将其推断为0。
1.在一个示例中,如果序列层级变换量化旁路标志(诸如sps_transquant_bypass_flag)等于1,那么可以不信令通知序列及其以下层级的LMCS启用标志(诸如sps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flag),并且将其推断为0。
2.在一个示例中,如果序列层级TransquantBypassEnabledFlag等于1,那么可以不信令通知APS层级lmcs_data。
3.在一个示例中,如果PPS层级变换量化旁路标志(诸如pps_transquant_bypass_flag)等于1,那么可以不信令通知条带层级LMCS启用标志(诸如slice_lmcs_enabled_flag、slice_lmcs_aps_id、slice_chroma_residual_scale_flag),并且将其推断为0。
b)在一个示例中,可以应用比特流约束条件,即,在变换量化旁路标志等于1时,LMCS启用标志应当等于0。
5.实施例
将新添加的部分括到粗体双括号当中,例如,{{a}}表示添加了“a”,而从VVC工作草案删除的部分则被括到粗体双方括号当中,例如,[[b]]表示删除了“b”。修改以最新VVC工作草案(JVET-O2001-v11)为基础。
5.1示例实施例#1
下文的实施例是针对所发明的方法的,其使得最大TU尺寸取决于CTU尺寸。
7.4.3.3.序列参数集RBSP语义
…
sps_max_luma_transform_size_64_flag等于1规定亮度样点中的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定亮度样点中的最大变换尺寸等于32。
在CtbSizeY小于64时,sps_max_luma_transform_size_64_flag的值必须等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size_64_flag?6:5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY={{min(CtbSizeY,1<<MaxTbLog2SizeY)}} (7-30)
…
5.2示例实施例#2
下文的实施例是针对所发明的方法的,其使得TT和BT划分处理取决于VPDU尺寸。
6.4.2所允许的二叉树划分处理
如下推导变量allowBtSplit:
…
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALS
–btSplit等于SPLIT_BT_VER
–cbHeight大于[[MaxTbSizeY]]{{VSize}}
–x0+cbWidth大于pic_width_in_luma_samples
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于[[MaxTbSizeY]]{{VSize}}
–y0+cbHeight大于pic_height_in_luma_samples
…
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_VER
–cbWidth小于或等于[[MaxTbSizeY]]{{VSize}}
–cbHeight大于[[MaxTbSizeY]]{{VSize}}
–否则,如果下述条件全部为真,那么将allowBtSplit设置为等于FALSE
–btSplit等于SPLIT_BT_HOR
–cbWidth大于[[MaxTbSizeY]]{{VSize}}
–cbHeight小于或等于[[MaxTbSizeY]]{{VSize}}
6.4.3所允许的三叉树划分过程
…
如下推导变量allowTtSplit:
–如果下述条件中的一者或多者为真,那么将allowTtSplit设置为等于FALSE:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min([[MaxTbSizeY]]{{VSize}},maxTtSize)
–cbHeight大于Min([[MaxTbSizeY]]{{VSize}},maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于pic_width_in_luma_samples
-y0+cbHeight大于pic_height_in_luma_samples
-treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或者等于32
-treeType等于DUAL_TREE_CHROMA,并且modeType等于INTRA
-否则,将allowTtSplit设置为等于真。
5.3示例实施例#3
下文的实施例是针对所发明的方法的,其使得仿射模型参数计算取决于CTU尺寸。
7.4.3.3.序列参数集RBSP语义
…
log2_ctu_size_minus5加5规定每一CTU的亮度编解码树块尺寸。比特流一致性的一个要求是log2_ctu_size_minus5的值小于或等于[[2]]{{3(根据指定可以更大)}}。
…
CtbLog2SizeY=log2_ctu_size_minus5+5
{{CtbLog2SizeY用于指示当前视频单元的亮度样点中的CTU尺寸。在将单一CTU尺寸用于当前视频单元时,通过上述方程计算CtbLog2SizeY。否则,CtbLog2SizeY可以取决于实际CTU尺寸,可以针对当前视频单元对其进行显式信令通知或隐式推导。(一个示例)}}
…
8.5.5.5由相邻块对亮度仿射控制点运动矢量所做的推导处理
…
如下推导变量mvScaleHor、mvScaleVer、dHorX和dVerX:
-如果isCTUboundary等于TRUE,那么以下内容适用:
mvScaleHor=MvLX[xNb][yNb+nNbH-1][0]<<[[7]]{{CtbLog2SizeY}} (8-533)
mvScaleVer=MvLX[xNb][yNb+nNbH-I][I]<<[[7]]{{tbLog2SizeY}} (8-534)
…
-否则(isCTUboundary等于FALSE),那么以下内容适用:
mvScaleHor=CpMvLx[xNb][yNb][0][0]<<[[7]]{{CtbLog2SizeY}}
(8-537)
mvScaleVer=CpMvLX[xNb][yNb][0][1]<<[[7]]{{CtbLog2SizeY}}
(8-538)
…
8.5.5.6针对所构建的仿射控制点运动矢量merging候选的推导处理
…
当availableFlagCorner[0]等于TRUE并且availableFlagCorner[2]等于TRUE时,以下内容适用:
-对于以0或1代替X而言,以下内容适用:
-如下推导变量availableFlagLX:
-如果下述条件全部为TRUE,那么将availableFlagLX设置为等于TRUE:
-predFlagLXCorner[0]等于1
-predFlagLXCorner[2]等于1
-refIdxLXCorner[0]等于refIdxLXCorner[2]
-否则,将availableFlagLX设置为等于FALSE。
-在availableFlagLX等于TRUE时,以下内容适用:
-如下推导第二控制点运动矢量cpMvLXCorner[1]:
cpMvLXCorner[1][0]=(cpMvLXCorner[0][0]<<[[7]]{{CtbLog2SizeY}})+((cpMvLXCorner[2][1]-cpMvLXCorner[0][1])
(8-606)
<<([[7]]{{CtbLog2SizeY}}+Log2(cbHeight/cbWidth)))
cpMvLXCorner[1][1]=(cpMvLXCorner[0][1]<<[[7]]{{CtbLog2SizeY}})+((cpMvLXCorner[2][0]-cpMvLXCorner[0][0])
(8-607)
<<([[7]]{{CtbLog2SizeY}}+Log2(cbHeight/cbWidth)))
8.5.5.9从仿射控制点运动矢量对运动矢量阵列所做的推导过程
如下推导变量mvScaleHor、mvScaleVer、dHorX和dVerX:
mvScaleHor=cpMvLX[0][0]<<[[7]]{{CtbLog2SizeY}}
(8-665)
mvScaleVer=cpMvLX[0][1]<<[[7]]{{CtbLog2SizeY}}
(8-666)
5.4实施例#4,其关于依据块尺寸允许BT和TT划分
如图1所示,可以对具有块尺寸64×64的编解码块允许TT划分,并且可以对块尺寸32×64、16×64、8×64、64×32、64×16、64×8允许BT划分,而不管最大变换尺寸是32×32还是64×64。
图1是依据块尺寸而允许BT和TT划分的示例。
5.5实施例#5,其关于依据VPDU尺寸或64×64而应用ISP
修改以最新VVC工作草案(JVET-O2001-v14)为基础。
编解码单元语法
变换树语法
编解码单元语义
intra_subpartitions_split_flag[x0][y0]规定帧内子分区划分类型是水平的还是垂直的。当intra_subpartitions_split_flag[x0][y0]不存在时,对其作如下推断:
–如果cbHeight大于[[MaxTbSizeY]]{{64(或者另一选项:Vsize)}},那么将intra_subpartitions_split_flag[x0][y0]推断为等于0。
–否则(cbWidth大于[[MaxTbSizeY]]{{64(或另一选项:Vsize)}}),将intra_subpartitions_split_flag[x0][y0]推断为等于1。
5.6实施例#6,其关于依据VPDU尺寸或64×64应用MIP
下文的实施例是针对所发明的方法的,其使得ISP取决于VPDU尺寸。修改以最新VVC工作草案(JVET-O2001-v14)为基础。
编解码单元语法
5.7实施例#7,其关于依据最大变换尺寸应用SBT
序列参数集RBSP语法
编解码单元语法
序列参数集RBSP语义
[[sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度为32个样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度为64个样点。
MaxSbtSize=Min(MaxTbSizeY,sps_sbt_max_size_64_flag?64:32) (7-32)]]
5.8实施例#8,其关于依据最大变换尺寸应用变换跳过
图片参数集RBSP语法
编解码单元语法
变换单元语法
图片参数集RBSP语义
[[log2_transform_skip_max_size_minus2规定用于变换跳过的最大块尺寸,并且必须处于0到3的范围内。
当不存在时,将log2_transform_skip_max_size_minus2的值推断为等于0。
将变量MaxTsSize设置为等于1<<(log2_transform_skip_max_size_minus2+2)。]]
5.9实施例#9,其关于取决于最大变换尺寸的ciip_flag
Merge数据语法
ciip_flag[x0][y0]规定是否对当前编解码单元应用组合式帧间Merge和帧内预测。阵列索引x0、y0规定所考虑的编解码块的左上亮度样点相对于该图片的左上亮度样点的位置(x0,y0)。
在ciip_flag[x0][y0]不存在时,对其作如下推断:
–如果所有以下条件为真,那么推断ciip_flag[x0][y0]等于1:
–sps_ciip_enabled_flag等于1。
–general_merge_flag[x0][y0]等于1。
–merge_subblock_flag[x0][y0]等于0。
–regular_merge_flag[x0][y0]等于0。
–cbWidth小于或等于{{MaxTbSizeY}}。
–cbHeight小于或等于{{MaxTbSizeY}}。
–cbWidth*cbHeight大于或等于64。
–否则,推断ciip_flag[x0][y0]等于0。
5.10实施例#10,其关于取决于CtbSizeY的sps_max_luma_transform_size_64_flag
7.3.2.3序列参数集RBSP语法
7.4.3.3.序列参数集RBSP语义
…
sps_max_luma_transform_size_64_flag等于1规定亮度样点中的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定亮度样点中的最大变换尺寸等于32。
在[[CtbSizeY小于64时,]]{{sps_max_luma_transform_size_64_flag不存在时,}}sps_max_luma_transform_size_64_flag的值[[必须]]{{被推断为}}等于0。
如下推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY:
MinTbLog2SizeY=2 (7-27)
MaxTbLog2SizeY=sps_max_luma_transform_size_64_flag?6:5 (7-28)
MinTbSizeY=1<<MinTbLog2SizeY (7-29)
MaxTbSizeY=1<<MaxTbLog2SizeY
(7-30)
…
图2是视频处理装置200的框图。装置200可以用于实施本文描述的方法中的一者或多者。装置200可以被体现到智能手机、平板电脑、计算机、物联网(Internet of Things,IoT)接收器等当中。装置200可以包括一个或多个处理器202、一个或多个存储器204以及视频处理硬件206。(多个)处理器202可以被配置为实施本文档中描述的一种或多种方法。(一个或多个)存储器204可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件206可以用于在硬件电路系统中实施本文档中描述的一些技术。在一些实施例中,视频处理硬件206可以至少部分地处于处理器202(例如,图形协同处理器)内。
在一些实施例中,可以使用在关于图2描述的硬件平台上实施的装置来实施这些视频编解码方法。
所公开技术的一些实施例包括作出启用视频处理工具或模式的决策或确定。在一个示例中,当视频处理工具或模式被启用时,编码器将在视频块的处理中使用或实施该工具或模式,但不一定基于该工具或模式的使用来修改所得的比特流。也就是说,当基于决策或确定启用视频处理工具或模式时,从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中,当视频处理工具或模式被启用时,解码器将在知道已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说,将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括作出禁用视频处理工具或模式的决策或确定。在一个示例中,当视频处理工具或模式被禁用时,编码器在将视频块转换为视频的比特流表示中将不使用该工具或模式。在另一示例中,当视频处理工具或模式被禁用时,解码器将在知道并未使用曾基于决策或确定启用的视频处理工具或模式对比特流做出修改的情况下处理比特流。
图3是示出了示例视频处理系统300的框图,在该系统中可以实施本文公开的各种技术。各种实施方式可以包括系统300的一些或全部部件。系统300可以包括用于接收视频内容的输入302。视频内容可以是按照原始或未压缩格式接收的,例如8比特或10比特多分量像素值,或者可以具有压缩或编码格式。输入302可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passive optical network,PON)等的有线接口,以及诸如Wi-Fi或蜂窝接口的无线接口。
系统300可以包括编解码部件304,其可以实施本文档中所描述的各种编解码或编码方法。编解码部件304可以降低从输入302到编解码部件304的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码部件304的输出可以被存储,也可以经由所连接的通信进行传输,如通过部件306所表示的。输入302处接收的视频的存储或传达比特流(或经编解码的)表示可由部件308用于生成像素值或发送到显示接口310的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但应当理解的是,编解码工具或操作用在编码器处,并且逆转编解码结果的对应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可体现在各种电子设备中,诸如移动电话、笔记本电脑、智能电话或其他能够执行数字数据处理和/或视频显示的设备。
图4是视频处理方法400的流程图。方法400包括:在操作410中,使用包括一个或多个含有一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度来执行对是否启用对该一个或多个视频块中的视频块的三叉树(TT)或二叉树(BT)分割的确定,该维度在亮度样点中时等于VSize。
方法400包括在操作420中基于该确定执行该转换。
图5是视频处理方法500的流程图。方法500包括,在操作510中,为包括一个或多个包含一个或多个视频块的视频区域的视频与该视频的比特流表示之间的转换,使用该一个或多个视频块的视频块的维度来执行对是否启用三叉树(TT)或二叉树(BT)分割的确定。
方法500包括在操作520中基于该确定执行该转换。
图6是视频处理方法600的流程图。方法600包括:在操作610中,使用视频块的高度或宽度,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定,该确定是基于该高度或该宽度与值N之间的比较,其中,N为正整数。
方法600包括在操作620中基于该确定执行该转换。
图7是视频处理方法700的流程图。方法700包括:在操作710中,使用视频块的高度或宽度与变换块的尺寸之间的比较,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定。
方法700包括在操作720中基于该确定执行该转换。
图8是视频处理方法800的流程图。方法800包括:在操作810中,使用视频块的高度或宽度,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定。
方法800包括在操作820中基于该确定执行该转换。
图9是视频处理方法900的流程图。方法900包括:在操作910中,使用视频块的子分区的维度与最大变换尺寸之间的比较来执行(a)为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包含该视频块的视频与该视频的比特流表示之间的转换,是否启用帧内子分区预测(ISP)模式的确定,以及(b)为该转换对一个或多个允许的分割类型的选择。
方法900包括在操作920中基于该确定和该选择执行该转换。
图10是视频处理方法1000的流程图。方法1000包括:在操作1010中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括已经被禁用的编解码工具,并且将与该编解码工具相关的语法元素从该比特流表示中排除,并将其推断为指定该编解码工具被禁用的预定值。
图11是视频处理方法1100的流程图。方法1100包括:在操作1110中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括已经被禁用的编解码工具,并且该比特流表示包括与该编解码工具相关的语法元素,将这些语法元素推断为基于该工具被禁用的预定值。
图12是视频处理方法1200的流程图。方法1200包括:在操作1210中,使用包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度和/或最大变换尺寸来执行对是否启用对该一个或多个视频块中的视频块的隐式(QT)分割的确定。
方法1200包括在操作1220中基于该确定执行该转换。
图13是视频处理方法1300的流程图。方法1300包括:在操作1310中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括子块变换(SBT),并且该SBT的最大高度或最大宽度是基于最大变换尺寸。
图14是视频处理方法1400的流程图。方法1400包括:在操作1410中,执行包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,该转换包括变换跳过模式和/或帧内基于块的差分脉码调制(block-based differentialpulse code modulation,BDPCM)模式,并且用于该变换跳过模式的最大块尺寸是基于最大变换尺寸。
图15是视频处理方法1500的流程图。方法1500包括:在操作1510中,使用视频块的高度或宽度与最大变换尺寸之间的比较,为包括一个或多个包含一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用合并帧间帧内预测(CIIP)模式的确定。
方法1500包括在操作1520中基于该确定执行该转换。
图16是视频处理方法1600的流程图。方法1600包括:在操作1610中,为包括一个或多个包含一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,做出有关分割采用合并帧间帧内预测(CIIP)编解码的该一个或多个视频块中的视频块的确定。
方法1600包括在操作1620中基于该确定执行该转换。
图17是视频处理方法1700的流程图。方法1700包括:在操作1710中,根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,该规则规定该视频区域中的使用变换编解码编解码到该比特流表示中的多个视频块的最大块尺寸确定该视频区域中的在不使用变换编解码的情况下被编解码到该比特流表示中的多个视频块的最大块尺寸。
图18是视频处理方法1800的流程图。方法1800包括:在操作1810中,根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,该规则规定在对该视频区域启用无损编解码时对该视频区域禁用带有色度缩放的亮度映射(lumamapping with chroma scaling,LMCS)处理,并且该视频区域是序列、图片、子图片、条带、片组、片、砖块、编解码树单元(CTU)行、CTU、编解码单元(CU)、预测单元(PU)、变换单元(TU)或子块。
在方法400-1800中,在ISP模式当中,在应用帧内预测和变换之前,将一个或多个视频块中的视频块分割成多个子分区。
在方法400-1800中,该SBT包括单独应用于该一个或多个视频块中的视频块的一个或多个分割的一个或多个变换。
在方法400-1800中,该变换跳过模式包括针对对应的编解码工具的跳过变换和逆变换处理,并且在BDPCM模式中,使用差分脉冲编解码调制操作对当前视频块的帧内预测的残差进行预测编解码。
在方法400-1800中,在CIIP模式中,对该视频块的最终预测是基于该视频块的帧间预测和该视频块的帧内预测的加权和。
在方法400-1800中,该LMCS处理包括在第一域和第二域之间对该视频区域的亮度样点整形(reshape),并且按照亮度相关方式对色度残差进行缩放。
在一些实施例中,可以实施以下技术解决方案。
A1.一种视频处理方法,包括:使用包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度来执行对是否启用对该一个或多个视频块中的视频块的三叉树(TT)或二叉树(BT)分割的确定;以及基于该确定执行该转换,其中,亮度样点中的该维度等于VSize,其中,亮度样点中的该视频块的维度为CtbSizeY,其中,VSize=min(M,CtbSizeY),并且其中,M是正整数。
A2.根据解决方案A1所述的方法,其中,M=64。
A3.根据解决方案A1或A2所述的方法,其中,该VPDU的维度为高度或宽度。
A4.根据解决方案A1所述的方法,其中,该确定独立于最大变换尺寸。
A5.根据解决方案A1到A4中的任何解决方案所述的方法,其中,VSize为预定值。
A6.根据解决方案A5所述的方法,其中,VSize=64。
A7.根据解决方案A1所述的方法,其中,对TT分割的确定基于该视频块的亮度样点中的宽度或高度大于min(VSize,maxTtSize),并且其中,maxTtSize是最大变换尺寸。
A8.根据解决方案A1所述的方法,其中,对TT分割的确定基于该视频块的亮度样点中的宽度或高度大于VSize。
A9.根据解决方案A7所述的方法,其中,maxTtSize为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为128×128、128×64或者64×128时禁用TT分割。
A10.根据解决方案A7所述的方法,其中,maxTtSize为32×32并且VSize为64×64,并且其中,在该视频块的尺寸为64×64时启用TT分割。
A11.根据解决方案A1所述的方法,其中,对垂直BT分割的确定基于该视频块的亮度样点中的宽度小于或等于VSize并且该视频块的亮度样点中的高度大于VSize。
A12.根据解决方案A11所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为64×128时禁用垂直BT分割。
A13.根据解决方案A11所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为32×64、16×64或8×64时启用垂直BT分割。
A14.根据解决方案A1所述的方法,其中,在(i)亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片宽度或者包括该视频块的子图片的宽度,并且(ii)该视频块的亮度样点中的高度大于VSize时,禁用垂直BT分割。
A15.根据解决方案A1所述的方法,其中,在亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片宽度或者包括该视频块的子图片的宽度时启用水平BT分割。
A16.根据解决方案A1所述的方法,其中,对水平BT分割的确定基于该视频块的亮度样点中的宽度大于VSize并且该视频块的亮度样点中的高度小于或等于VSize。
A17.根据解决方案A16所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为128×64时禁用水平BT分割。
A18.根据解决方案A16所述的方法,其中,最大变换尺寸为32×32,并且VSize为64×64,并且其中,在该视频块的尺寸为64×8、64×16或64×32时启用水平BT分割。
A19.根据解决方案A1所述的方法,其中,在(i)亮度样点中的该视频块的高度与该视频块的左上亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度,并且(ii)该视频块的亮度样点中的宽度大于VSize时,禁用水平BT分割。
A20.根据解决方案A1所述的方法,其中,在亮度样点中的该视频块的高度与该视频块的左上亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度时启用垂直BT分割。
A21.根据解决方案A1所述的方法,其中,禁用TT或BT分割并且将TT或BT分割的指示从比特流表示中排除,并且其中,将该指示隐式推导为指示禁用TT或BT分割的预定值。
A22.根据解决方案A21所述的方法,其中,该预定值为零。
A23.根据解决方案A1所述的方法,其中,启用TT或BT分割,并且在该比特流表示中信令通知TT或BT分割的指示。
A24.根据解决方案A1所述的方法,其中,禁用TT或BT分割,其中,在该比特流表示中信令通知TT或BT分割的指示,并且其中,该指示被解码器忽略。
A25.根据解决方案A1所述的方法,其中,禁用该TT或BT分割,其中,在该比特流表示中信令通知TT或BT分割的指示,并且其中,该指示基于TT或BT分割被禁用而为零。
A26.一种视频处理方法,包括:为包括一个或多个包含一个或多个视频块的视频区域的视频与该视频的比特流表示之间的转换,使用该一个或多个视频块的视频块的维度来执行对是否启用三叉树(TT)或二叉树(BT)分割的确定;以及基于该确定执行该转换。
A27.根据解决方案A26所述的方法,其中,对TT或BT分割的确定基于该视频块的亮度样点中的高度或宽度大于N,并且其中,N为正整数。
A28.根据解决方案A27所述的方法,其中,N=64。
A29.根据解决方案A27或A28所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为128×128、128×64或者64×128时禁用TT分割。
A30.根据解决方案A27或A28所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为64×64时启用TT分割。
A31.根据解决方案A26所述的方法,其中,对垂直BT分割的确定基于该视频块的亮度样点中的宽度小于或等于N并且该视频块的亮度样点中的高度大于N,其中,N为正整数。
A32.根据解决方案A31所述的方法,其中,N=64。
A33.根据解决方案A31或A32所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为64×128时禁用垂直BT分割。
A34.根据解决方案A31或A32所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为32×64、16×64或8×64时启用垂直BT分割。
A35.根据解决方案A26所述的方法,其中,在(i)亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片的宽度或者包括该视频块的子图片的宽度,并且(ii)该视频块的亮度样点中的高度大于64时,禁用垂直BT分割。
A36.根据解决方案A26所述的方法,其中,在亮度样点中的该视频块的宽度与该视频块的左上亮度样点的水平坐标之和大于亮度样点中的图片宽度或者包括该视频块的子图片的宽度时启用水平BT分割。
A37.根据解决方案A26所述的方法,其中,对水平BT分割的确定基于该视频块的亮度样点中的宽度大于N并且该视频块的亮度样点中的高度小于或等于N,并且其中,N为整数。
A38.根据解决方案A37所述的方法,其中,N=64。
A39.根据解决方案A37或A38所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为128×64时禁用水平BT分割。
A40.根据解决方案A37或A38所述的方法,其中,最大变换尺寸为32×32,并且其中,在该视频块的尺寸为64×8、64×16或64×32时启用水平BT分割。
A41.根据解决方案A26所述的方法,其中,在(i)亮度样点中的该视频块的高度与该视频块的亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度,并且(ii)该视频块的亮度样点中的宽度大于N时,禁用水平BT分割,其中,N为正整数。
A42.根据解决方案A26所述的方法,其中,在亮度样点中的该视频块的高度与该视频块的左上亮度样点的垂直坐标之和大于亮度样点中的图片的高度或者包括该视频块的子图片的高度时启用垂直BT分割。
A43.根据解决方案A1到A42中的任何解决方案所述的方法,其中,该视频块对应于编解码树单元(CTU),编解码树单元表示用于将该视频编解码成该比特流表示的逻辑分割。
A44.根据解决方案A1到A43中的任何解决方案所述的方法,其中,执行该转换包括从该视频区域生成该比特流表示。
A45.根据解决方案A1到A43中的任何解决方案所述的方法,其中,执行该转换包括从该比特流表示生成该视频区域。
A46.一种视频系统中的装置,包括处理器以及其上具有指令的非暂态存储器,其中,这些指令在被该处理器执行时使得该处理器实施根据解决方案A1到A45中的任何解决方案所述的方法。
A47.一种存储在非暂态计算机可读介质上的计算机程序产品,该计算机程序产品包括用于实施根据解决方案A1到A45中的任何解决方案所述的方法的程序代码。
在一些实施例中,可以实施以下技术解决方案。
B1.一种视频处理方法,包括:使用视频块的高度或宽度,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,来执行对是否启用编解码工具的确定;以及基于该确定执行该转换,其中,该确定是基于该高度或该宽度与值N之间的比较,其中,N为正整数。
B2.根据解决方案B1所述的方法,其中,N=64。
B3.根据解决方案B1所述的方法,其中,N=128。
B4.根据解决方案B1到B3中的任何解决方案所述的方法,其中,被禁用的编解码工具包括调色板模式、帧内块复制(IBC)模式和/或合并帧内帧间预测(CIIP)模式。
B5.根据解决方案B1到B4中的任何解决方案所述的方法,其中,该编解码工具还包括帧内跳过模式、三角形预测模式、常规Merge模式、解码器侧运动推导模式、双向光流模式、基于预测细化的光流模式、仿射预测模式和/或基于子块的时域运动矢量预测(TMVP)模式。
B6.根据解决方案B1到B3中的任何解决方案所述的方法,其中,所启用的编解码工具包括调色板编解码模式和/或帧内块复制(IBC)模式。
B7.根据解决方案B1到B3中的任何解决方案所述的方法,其中,该比特流表示包括用于禁用该编解码工具的显式语法约束条件。
B8.根据解决方案B7所述的方法,其中,该显式语法约束条件包括调色板编解码模式标志和/或帧内块复制(IBC)模式标志。
B9.根据解决方案B1到B8中的任何解决方案所述的方法,其中,该视频块包括编解码单元(CU)或预测单元(PU)。
B10.一种视频处理方法,包括:使用视频块的高度或宽度与变换块的尺寸之间的比较,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
B11.根据解决方案B10所述的方法,其中,该编解码工具包括帧内子分区预测(ISP)、基于矩阵的帧内预测(MIP)、子块变换(SBT)或者将与该视频区域相关联的一个编解码单元(CU)划分成多个变换单元(TU)或将与该视频区域相关联的一个编解码块划分成多个变换块(TB)的编解码工具。
B12.根据解决方案B10所述的方法,其中,该编解码工具包括变换跳过模式、基于块的差分脉码调制(BDPCM)、DPCM或PCM。
B13.根据解决方案B10所述的方法,其中,该编解码工具包括帧内块复制(IBC)模式或调色板模式(PLT)。
B14.根据解决方案B10所述的方法,其中,该编解码工具包括合并帧内帧间预测(CIIP)模式。
B15.一种视频处理方法,包括:使用视频块的高度或宽度,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用编解码工具的确定;以及基于该确定执行该转换。
B16.根据解决方案B15所述的方法,其中,该编解码工具包括帧内子分区预测(ISP)、子块变换(SBT)、帧内块复制(IBC)或调色板模式。
B17.根据解决方案B15所述的方法,其中,该编解码工具包括在该视频块的亮度样点中的高度或宽度小于或等于N时启用的帧内子分区预测(ISP),并且其中,N为正整数。
B18.根据解决方案B15所述的方法,其中,该编解码工具包括在该视频块的亮度样点中的高度或宽度大于N时禁用的帧内子分区预测(ISP),并且其中,N为正整数。
B19.根据解决方案B17或B18所述的方法,其中,N=64。
B20.根据解决方案B15所述的方法,其中,该确定基于该视频块的高度或宽度与虚拟流水线数据单元(VPDU)的尺寸之间的比较。
B21.根据解决方案B20所述的方法,其中,在该视频块的亮度样点中的高度或宽度小于或等于VPDU的尺寸时启用该编解码工具。
B22.根据解决方案B20所述的方法,其中,在该视频块的亮度样点中的高度或宽度大于VPDU的尺寸时禁用该编解码工具。
B23.根据解决方案B21或B22所述的方法,其中,该VPDU的尺寸为32或64。
B24.一种视频处理方法,包括:使用视频块的子分区的维度与最大变换尺寸之间的比较来执行(a)为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,对是否启用帧内子分区预测(ISP)模式的确定,以及(b)为该转换,对一个或多个允许分割类型的选择;以及基于该确定和该选择执行该转换,其中,在ISP模式中,在应用帧内预测和变换之前,将该一个或多个视频块中的视频块分割成多个子分区。
B25.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的至少一个,在该视频块的高度或宽度小于或等于最大变换尺寸时,启用ISP模式。
B26.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的至少一个,在该视频块的高度或宽度大于最大变换尺寸时,禁用ISP模式。
B27.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的每一个,在该视频块的高度或宽度小于或等于最大变换尺寸时,启用ISP模式。
B28.根据解决方案B24所述的方法,其中,对于该一个或多个允许分割类型中的每一个,在该视频块的高度或宽度大于最大变换尺寸时,禁用ISP模式。
B29.根据解决方案B24所述的方法,其中,在该比特流表示中信令通知该一个或多个允许分割类型是基于对应子分区的高度或宽度与最大变换尺寸之间的关系。
B30.根据解决方案B24所述的方法,其中,在该比特流表示中信令通知该一个或多个允许分割类型是基于该视频块的高度或宽度与最大变换尺寸之间的关系。
B31.根据解决方案B24所述的方法,其中,启用或禁用编解码工具在该视频块上的应用是基于该视频块的尺寸与最大变换尺寸之间的关系。
B32.根据解决方案B31所述的方法,其中,最大变换尺寸为32或64。
B33.根据解决方案B31或B32所述的方法,其中,在该视频块的高度或宽度小于或等于最大变换尺寸时启用该编解码工具。
B34.根据解决方案B31到B33中的任一解决方案所述的方法,其中,该编解码工具包括帧内块复制(IBC)模式或调色板模式。
B35.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,将与该编解码工具相关的语法元素从该比特流表示中排除,并且将其推断为指定该编解码工具被禁用的预定值。
B36.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括已经被禁用的编解码工具,并且其中,该比特流表示包括与该编解码工具相关的语法元素,将这些语法元素推断为基于该编解码工具被禁用的预定值。
B37.根据解决方案B35或B36所述的方法,其中,该预定值为零。
B38.根据解决方案B35或B36所述的方法,其中,该编解码工具包括帧内子分区预测(ISP),并且其中,这些语法元素指示是否将该一个或多个视频块中的视频块划分成多个子分区(表示为
intra_subpartitions_mode_flag),和/或如何将该视频块划分成多个子分区(表示为intra_subpartitions_split_flag)。
B39.根据解决方案B35或B36所述的方法,其中,该编解码工具包括基于矩阵的帧内预测(MIP),并且其中,这些语法元素指示该一个或多个视频块中的视频块是否使用MIP(表示为intra_mip_flag)和/或MIP模式索引的指示(表示为intra_mip_mode)。
B40.根据解决方案B35或B36所述的方法,其中,该编解码工具包括帧内块复制(IBC)模式,并且其中,这些语法元素指示该一个或多个视频块中的视频块是否使用IBC模式(表示为pred_mode_ibc_flag)。
B41.根据解决方案B35或B36所述的方法,其中,该编解码工具包括调色板模式,并且其中,这些语法元素指示该一个或多个视频块中的视频块是否使用调色板模式(表示为pred_mode_plt_flag)。
B42.一种视频处理方法,包括:使用包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换所用的虚拟流水线数据单元(VPDU)的维度和/或最大变换尺寸来执行对是否启用对该一个或多个视频块中的视频块的隐式(QT)分割的确定;以及基于该确定执行该转换。
B43.根据解决方案B42所述的方法,其中,对该隐式QT分割的每一子分区进行递归分割,直到该子分区的尺寸等于VPDU的尺寸为止。
B44.根据解决方案B42所述的方法,其中,对该隐式QT分割的每一子分区进行递归分割,直到该子分区的尺寸等于最大变换尺寸为止。
B45.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括子块变换(SBT),其中,该SBT的最大高度或最大宽度是基于最大变换尺寸,并且其中,该SBT包括单独应用于该一个或多个视频块中的视频块的一个或多个分割的一个或多个变换。
B46.根据解决方案B45所述的方法,其中,将该SBT的最大高度或最大宽度中的至少一个设置为等于最大变换尺寸。
B47.根据解决方案B45所述的方法,其中,该比特流表示排除与该SBT的最大高度或最大宽度有关的语法元素。
B48.根据解决方案B47所述的方法,其中,该语法元素为sps_sbt_max_size_64_flag,并且将其推断为指示该最大变换尺寸小于64的预定值。
B49.根据解决方案B48所述的方法,其中,该预定值为零。
B50.根据解决方案B47所述的方法,其中,在该比特流表示当中信令通知与SBT有关的语法元素是基于最大变换尺寸。
B51.一种视频处理方法,包括:执行包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,其中,该转换包括变换跳过模式和/或帧内基于块的差分脉码调制(BDPCM)模式,其中,用于该变换跳过模式的最大块尺寸是基于最大变换尺寸,其中,该变换跳过模式包括针对对应的编解码工具的跳过变换和逆变换处理,并且其中,在BDPCM模式中,使用差分脉冲编解码调制操作对当前视频块的帧内预测的残差进行预测编解码。
B52.根据解决方案B51所述的方法,其中,将用于变换跳过模式的最大块尺寸设置为等于最大变换尺寸。
B53.根据解决方案B51所述的方法,其中,该比特流表示排除与用于变换跳过模式的最大块尺寸有关的语法元素。
B54.根据解决方案B51所述的方法,其中,在比特流表示中独立地信令通知用于帧内BDPCM模式的最大块尺寸。
B55.根据解决方案B54所述的方法,其中,用于帧内BDPCM模式的最大块尺寸不是基于用于变换跳过模式的最大块尺寸。
B56.根据解决方案B51所述的方法,其中,在该比特流表示中,在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带标头、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)或编解码单元(CU)中信令通知用于帧内BDPCM模式的最大块尺寸。
B57.一种视频处理方法,包括:使用视频块的高度或宽度与最大变换尺寸之间的比较,为包括一个或多个包括一个或多个视频块的视频区域且该一个或多个视频块包括该视频块的视频与该视频的比特流表示之间的转换,执行对是否启用合并帧间帧内预测(CIIP)模式的确定;以及基于该确定执行该转换,其中,在CIIP模式中,对该视频块的最终预测是基于该视频块的帧间预测和该视频块的帧内预测的加权和。
B58.根据解决方案B57所述的方法,其中,在该视频块的高度和/或宽度大于最大变换尺寸时禁用CIIP模式。
B59.一种视频处理方法,包括:为包括一个或多个包括一个或多个视频块的视频区域的视频和该视频的比特流表示之间的转换,做出有关分割采用合并帧间帧内预测(CIIP)编解码的该一个或多个视频块中的视频块的确定;以及基于该确定执行该转换,其中,在CIIP模式中,该视频块的最终预测基于该视频块的帧间预测和该视频块的帧内预测的加权和。
B60.根据解决方案B59所述的方法,其中,在该编解码单元的高度和宽度小于128时,不对该视频块进行分割。
B61.根据解决方案B59所述的方法,其中,在该编解码单元的高度和宽度小于或等于64时不对该视频块进行分割。
B62.根据解决方案B59所述的方法,其中,将该视频块分割成多个子分区,其中,用于该多个子分区中的第一子分区的帧内预测是基于该多个子分区中的第二子分区的重建,并且其中,对第二子分区的帧内预测是在对第一子分区的帧内预测之前执行的。
B63.根据解决方案B59到B62中的任一解决方案所述的方法,其中,该视频块为编解码单元(CU)。
B64.一种视频处理方法,包括:根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定该视频区域中的使用变换编解码被编解码到该比特流表示中的多个视频块的最大块尺寸确定该视频区域中的在不使用变换编解码的情况下被编解码到该比特流表示中的多个视频块的最大块尺寸。
B65.根据解决方案B64所述的方法,其中,用于变换跳过模式的最大尺寸等于MaxTbSizeY。
B66.根据解决方案B64所述的方法,其中,该比特流表示排除对用于变换跳过模式的最大尺寸的指示。
B67.一种视频处理方法,包括:根据规则执行包括包含多个视频块的视频区域的视频与该视频的比特流表示之间的转换,其中,该规则规定在针对该视频区域启用无损编解码时对该视频区域禁用带有色度缩放的亮度映射(LMCS)处理,其中,该视频区域是序列、图片、子图片、条带、片组、片、砖块、编解码树单元(CTU)行、CTU、编解码单元(CU)、预测单元(PU)、变换单元(TU)或子块,并且其中,该LMCS处理包括在第一域和第二域之间对该视频区域的亮度样点整形,并且按照亮度相关方式对色度残差进行缩放。
B68.根据解决方案B67所述的方法,其中,信令通知与LMCS处理有关的指示基于对于该视频区域的变换量化旁路标志。
B69.根据解决方案B68所述的方法,其中,从该比特流表示中排除与LMCS处理有关的指示并且在变换量化旁路标志等于一时将其推断为零。
B70.根据解决方案B1到B69中的任一解决方案所述的方法,其中,执行该转换包括从该视频区域生成该比特流表示。
B71.根据解决方案B1到B69中的任一解决方案所述的方法,其中,执行该转换包括从该比特流表示生成该视频区域。
B72.一种视频系统中的装置,包括处理器以及其上具有指令的非暂态存储器,其中,这些指令在被该处理器执行时使得该处理器实施根据解决方案B1到B71中的任一解决方案所述的方法。
B73.一种存储在非暂态计算机可读介质上的计算机程序产品,该计算机程序产品包括用于实施根据解决方案B1到B71中的任一解决方案所述的方法的程序代码。
本文档中描述的所公开的以及其他的解决方案、示例、实施例、模块和功能操作可以在数字电子电路系统或者计算机软件、固件或硬件中实施,其包括本文档中所公开的结构及其结构等同物,或其中一者或多者的组合。所公开的实施例和其他实施例可以被实施成一个或多个计算机程序产品,即编码在计算机可读介质上的计算机程序指令的一个或多个模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储衬底、存储器设备、影响机器可读传播信号的物质组成或者它们当中的一者或多者的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,例如包括可编程处理器、计算机或者多个处理器或计算机。除硬件外,该装置还可以包括为所考虑的计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或者它们当中的一者或多者的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成为对信息编码,以便传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以按照任何形式部署,包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本),专用于该程序的单个文件中,或者多个协调文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。可以将计算机程序部署为在一个计算机或多个计算机上执行,该多个计算机位于一个站点上,或者跨越多个站点分布并通过通信网络互连。
本文档中描述的过程和逻辑流可以通过由一个或多个可编程处理器执行一个或多个计算机程序来执行,从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流也可以通过专用逻辑电路系统来执行,并且装置也可以被实施成专用逻辑电路系统,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如,磁盘、磁光盘或光盘,或被操作性地耦接到该一个或多个大容量存储设备以从其接收数据或向其传输数据,或两者兼有。然而,计算机不一定具有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,例如包括半导体存储器设备,例如,EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动盘;磁光盘;以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路系统来补充,或合并到专用逻辑电路系统中。
虽然本专利文档包含许多细节,但不应将其解释为对任何主题或权利要求范围的限制,而应解释为对特定技术的特定实施例专有特征的描述。本专利文档在分离实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反地,在单个实施例的上下文中描述的各种特征也可分离地或者以任何合适的子组合的形式在多个实施例中实施。此外,虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求对其的权利保护,但是来自要求权利保护的组合的一个或多个特征在某些情况下可从该组合中去除,并且要求权利保护的组合可以包含子组合或子组合的变型。
类似地,虽然操作在附图中以特定次序描绘,但不应将这种情况理解为需要以顺序次序或所示的特定次来执行此类操作,或者需要执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例当中对各种系统部件的分离不应被理解为在所有实施例中都要求这样的分离。
仅描述了几种实施方式和示例,并且其他实施方式、增强和变化可以基于本专利文档中描述和说明的内容做出。
Claims (20)
1.一种处理视频数据的方法,包括:
为视频的视频区域和所述视频的比特流之间的转换,基于所述视频区域的第一块的高度和宽度以及所述视频区域的最大变换尺寸,确定对于所述第一块是否允许第一编解码工具,其中,在允许所述第一编解码工具的情况下,所述第一块根据所述第一编解码工具被划分成多个变换块;以及
基于所述确定执行所述转换,
其中,响应于所述第一块的高度或宽度中的至少一个大于所述最大变换尺寸,对于所述第一块不允许所述第一编解码工具;
其中,所述第一编解码工具是子块变换SBT工具;
其中,对于所述视频区域的第二块,响应于所述第二块的高度或宽度中的至少一个大于64,第二编解码工具被禁用;并且
其中,所述第二编解码工具是帧内块复制IBC模式。
2.根据权利要求1所述的方法,其中,指示对于所述第一块是否允许所述第一编解码工具的第一语法元素是否被包括在所述比特流中是基于所述最大变换尺寸。
3.根据权利要求1所述的方法,其中,确定对于所述第一块允许所述第一编解码工具进一步基于所述第一块是用帧间预测模式编解码的并且组合图片间Merge和图片内预测不被应用。
4.根据权利要求1所述的方法,其中,在允许所述第一编解码工具的情况下,所述第一块被划分成两个变换块,并且其中,一个变换块具有残差数据,另一个变换块不具有残差数据。
5.根据权利要求1所述的方法,其中,响应于所述第二块的高度或宽度中的至少一个大于N,指示对于所述第二块是否允许所述第二编解码工具的第二语法元素从所述比特流中排除,并且所述第二语法元素的值被推断为指示对于所述第二块不允许所述第二编解码工具。
6.根据权利要求1所述的方法,其中,对于所述视频区域的第三块,响应于所述第三块的高度或宽度中的至少一个大于M,第三编解码工具被禁用,其中M是正整数;
其中,所述第三编解码工具是调色板预测模式。
7.根据权利要求6所述的方法,其中,M=64。
8.根据权利要求6所述的方法,其中,响应于所述第三块的高度或宽度中的至少一个大于M,指示对于所述第三块是否允许所述第三编解码工具的第三语法元素从所述比特流中排除,并且所述第三语法元素的值被推断为指示对于所述第三块不允许所述第三编解码工具。
9.根据权利要求1所述的方法,其中,对于作为帧内编解码块的第四块,响应于所述第四块的高度或宽度中的至少一个大于S,第四编解码工具被禁用,其中S是正整数;
其中,所述第四编解码工具是帧内子分区预测模式。
10.根据权利要求9所述的方法,其中,响应于所述第四块的高度或宽度中的至少一个大于S,指示对于所述第四块是否允许所述第四编解码工具的第四语法元素和指示所述帧内子分区预测模式的划分类型是水平还是垂直的第五语法元素从所述比特流中排除,并且所述第四语法元素的值被推断为指示对于所述第四块不允许所述第四编解码工具。
11.根据权利要求9所述的方法,其中,S=64。
12.根据权利要求1所述的方法,其中,对于所述视频区域的第五块,响应于所述第五块的高度或宽度中的至少一个大于64,第五编解码工具被禁用;
其中,所述第五编解码工具是组合帧内帧间预测CIIP模式。
13.根据权利要求1所述的方法,其中,所述转换包括将所述视频区域编码到所述比特流中。
14.根据权利要求1所述的方法,其中,所述转换包括从所述比特流解码所述视频区域。
15.一种处理视频数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中,当所述指令由所述处理器执行时,使得所述处理器:
为视频的视频区域和所述视频的比特流之间的转换,基于所述视频区域的第一块的高度和宽度以及所述视频区域的最大变换尺寸,确定对于所述第一块是否允许第一编解码工具,其中,在允许所述第一编解码工具的情况下,所述第一块根据所述第一编解码工具被划分成多个变换块;以及
基于所述确定执行所述转换,
其中,响应于所述第一块的高度或宽度中的至少一个大于所述最大变换尺寸,对于所述第一块不允许所述第一编解码工具;
其中,所述第一编解码工具是子块变换SBT工具;
其中,对于所述视频区域的第二块,响应于所述第二块的高度或宽度中的至少一个大于64,第二编解码工具被禁用;并且
其中,所述第二编解码工具是帧内块复制IBC模式。
16.根据权利要求15所述的装置,其中,指示对于所述第一块是否允许所述第一编解码工具的第一语法元素是否被包括在所述比特流中是基于所述最大变换尺寸;
确定对于所述第一块允许所述第一编解码工具进一步基于所述第一块是用帧间预测模式编解码的并且组合图片间Merge和图片内预测不被应用;
对于所述视频区域的第三块,响应于所述第三块的高度或宽度中的至少一个大于M,第三编解码工具被禁用,其中M是正整数,其中所述第三编解码工具是调色板预测模式;
对于作为帧内编解码块的第四块,响应于所述第四块的高度或宽度中的至少一个大于S,第四编解码工具被禁用,其中S是正整数,其中所述第四编解码工具是帧内子分区预测模式;并且
对于所述视频区域的第五块,响应于所述第五块的高度或宽度中的至少一个大于64,第五编解码工具被禁用,其中所述第五编解码工具是组合帧内帧间预测CIIP模式。
17.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
为视频的视频区域和所述视频的比特流之间的转换,基于所述视频区域的第一块的高度和宽度以及所述视频区域的最大变换尺寸,确定对于所述第一块是否允许第一编解码工具,其中,在允许所述第一编解码工具的情况下,所述第一块根据所述第一编解码工具被划分成多个变换块;以及
基于所述确定执行所述转换,
其中,响应于所述第一块的高度或宽度中的至少一个大于所述最大变换尺寸,对于所述第一块不允许所述第一编解码工具;
其中,所述第一编解码工具是子块变换SBT工具;
其中,对于所述视频区域的第二块,响应于所述第二块的高度或宽度中的至少一个大于64,第二编解码工具被禁用;并且
其中,所述第二编解码工具是帧内块复制IBC模式。
18.一种存储视频的比特流的方法,包括:
为所述视频的视频区域,基于所述视频区域的第一块的高度和宽度以及所述视频区域的最大变换尺寸,确定对于所述第一块是否允许第一编解码工具,其中,在允许所述第一编解码工具的情况下,所述第一块根据所述第一编解码工具被划分成多个变换块;
基于所述确定生成所述比特流;以及
将所述比特流存储到非暂时性计算机可读存储介质中,
其中,响应于所述第一块的高度或宽度中的至少一个大于所述最大变换尺寸,对于所述第一块不允许所述第一编解码工具;
其中,所述第一编解码工具是子块变换SBT工具;
其中,对于所述视频区域的第二块,响应于所述第二块的高度或宽度中的至少一个大于64,第二编解码工具被禁用;并且
其中,所述第二编解码工具是帧内块复制IBC模式。
19.一种视频系统中的装置,包括处理器以及其上具有指令的非暂态存储器,其中,所述指令在被所述处理器执行时使得所述处理器实施根据权利要求2-14中的任一项所述的方法。
20.一种非暂态计算机可读介质,其上存储有计算机代码,其中,所述代码在由处理器执行时使得处理器实施根据权利要求2-14中的任一项所述的方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019097926 | 2019-07-26 | ||
CNPCT/CN2019/097926 | 2019-07-26 | ||
CN2019103892 | 2019-08-31 | ||
CNPCT/CN2019/103892 | 2019-08-31 | ||
PCT/CN2020/104786 WO2021018083A1 (en) | 2019-07-26 | 2020-07-27 | Block size dependent use of video coding mode |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114175632A CN114175632A (zh) | 2022-03-11 |
CN114175632B true CN114175632B (zh) | 2024-07-05 |
Family
ID=74230173
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080054200.9A Active CN114175632B (zh) | 2019-07-26 | 2020-07-27 | 对视频编解码模式的块尺寸相关使用 |
CN202080054122.2A Active CN114175657B (zh) | 2019-07-26 | 2020-07-27 | 基于块尺寸的图片分割模式确定 |
CN202311469575.3A Pending CN117354527A (zh) | 2019-07-26 | 2020-07-27 | 基于块尺寸的图片分割模式确定 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080054122.2A Active CN114175657B (zh) | 2019-07-26 | 2020-07-27 | 基于块尺寸的图片分割模式确定 |
CN202311469575.3A Pending CN117354527A (zh) | 2019-07-26 | 2020-07-27 | 基于块尺寸的图片分割模式确定 |
Country Status (11)
Country | Link |
---|---|
US (4) | US11539949B2 (zh) |
EP (2) | EP3987776A4 (zh) |
JP (3) | JP7369273B2 (zh) |
KR (2) | KR20220036939A (zh) |
CN (3) | CN114175632B (zh) |
AU (1) | AU2020321002B2 (zh) |
BR (1) | BR112022001279A2 (zh) |
CA (1) | CA3148299C (zh) |
MX (1) | MX2022000716A (zh) |
WO (2) | WO2021018083A1 (zh) |
ZA (1) | ZA202201250B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102233431B1 (ko) * | 2016-10-10 | 2021-03-30 | 삼성전자주식회사 | 블록 맵을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치 |
CN114175632B (zh) | 2019-07-26 | 2024-07-05 | 北京字节跳动网络技术有限公司 | 对视频编解码模式的块尺寸相关使用 |
CN110865859B (zh) * | 2019-10-29 | 2021-10-22 | 维沃移动通信有限公司 | 图片显示方法、装置、电子设备及介质 |
US11863786B2 (en) * | 2021-05-21 | 2024-01-02 | Varjo Technologies Oy | Method of transporting a framebuffer |
Family Cites Families (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012080213A (ja) | 2010-09-30 | 2012-04-19 | Mitsubishi Electric Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
CN105872566B (zh) | 2011-01-12 | 2019-03-01 | 三菱电机株式会社 | 图像编码装置和方法、以及图像译码装置和方法 |
CA3208227A1 (en) | 2011-06-24 | 2012-12-27 | Mitsubishi Electric Corporation | Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block |
US20130083852A1 (en) * | 2011-09-30 | 2013-04-04 | Broadcom Corporation | Two-dimensional motion compensation filter operation and processing |
JP2014045434A (ja) | 2012-08-28 | 2014-03-13 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置、画像復号装置及びそれらのプログラム |
MX340434B (es) | 2012-09-10 | 2016-07-08 | Panasonic Ip Corp America | Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes. |
US9948939B2 (en) | 2012-12-07 | 2018-04-17 | Qualcomm Incorporated | Advanced residual prediction in scalable and multi-view video coding |
WO2015012600A1 (ko) * | 2013-07-23 | 2015-01-29 | 성균관대학교 산학협력단 | 영상 부호화/복호화 방법 및 장치 |
KR102258427B1 (ko) | 2014-01-03 | 2021-06-01 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측 |
CN106105212A (zh) | 2014-03-07 | 2016-11-09 | 高通股份有限公司 | 简化的子预测单元(sub‑pu)运动参数继承(mpi) |
US9948933B2 (en) * | 2014-03-14 | 2018-04-17 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
EP3120561B1 (en) * | 2014-03-16 | 2023-09-06 | VID SCALE, Inc. | Method and apparatus for the signaling of lossless video coding |
US9838712B2 (en) | 2014-03-17 | 2017-12-05 | Hfi Innovation Inc. | Method of signaling for depth-based block partitioning |
US9877034B2 (en) | 2014-04-14 | 2018-01-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Pipelined video decoder system |
CN114501033B (zh) | 2014-06-20 | 2023-11-10 | 寰发股份有限公司 | 用于视频编码的调色板预测器信令的方法 |
US20160234510A1 (en) | 2014-06-20 | 2016-08-11 | Mediatek Inc. | Method of Coding for Depth Based Block Partitioning Mode in Three-Dimensional or Multi-view Video Coding |
WO2016074147A1 (en) * | 2014-11-11 | 2016-05-19 | Mediatek Singapore Pte. Ltd. | Separated coding tree for luma and chroma |
WO2016090568A1 (en) | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Binary tree block partitioning structure |
US10306229B2 (en) * | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
WO2016167538A1 (ko) | 2015-04-12 | 2016-10-20 | 엘지전자(주) | 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 |
CN106254870B (zh) * | 2015-06-08 | 2020-08-18 | 财团法人工业技术研究院 | 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质 |
US10390020B2 (en) * | 2015-06-08 | 2019-08-20 | Industrial Technology Research Institute | Video encoding methods and systems using adaptive color transform |
KR102199463B1 (ko) | 2015-08-31 | 2021-01-06 | 삼성전자주식회사 | 스캔 순서를 고려한 영상의 변환 방법 및 그 장치, 및 역변환 방법 및 그 장치 |
US10819987B2 (en) * | 2015-11-12 | 2020-10-27 | Lg Electronics Inc. | Method and apparatus for coefficient induced intra prediction in image coding system |
US10440399B2 (en) * | 2015-11-13 | 2019-10-08 | Qualcomm Incorporated | Coding sign information of video data |
US20170150176A1 (en) | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Linear-model prediction with non-square prediction units in video coding |
US10212444B2 (en) | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
MX2021012481A (es) * | 2016-03-16 | 2022-05-30 | Hfi Innovation Inc | Metodo y aparato de procesamiento de datos de video con tama?o restringido de bloque en codificacion de video. |
CN109479131B (zh) | 2016-06-24 | 2023-09-01 | 世宗大学校产学协力团 | 视频信号处理方法及装置 |
WO2017222331A1 (ko) * | 2016-06-24 | 2017-12-28 | 세종대학교 산학협력단 | 비디오 신호 처리 방법 및 장치 |
WO2018066988A1 (ko) * | 2016-10-04 | 2018-04-12 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
US20180109814A1 (en) * | 2016-10-14 | 2018-04-19 | Mediatek Inc. | Method And Apparatus Of Coding Unit Information Inheritance |
CN116668728A (zh) * | 2016-11-08 | 2023-08-29 | 株式会社Kt | 对视频进行解码和编码的方法、发送压缩数据的方法 |
EP3562154A4 (en) * | 2016-12-26 | 2019-12-25 | Nec Corporation | IMAGE CODING METHOD, IMAGE DECODING METHOD, IMAGE CODING DEVICE, IMAGE DECODING DEVICE AND PROGRAM |
WO2018123315A1 (ja) | 2016-12-26 | 2018-07-05 | 日本電気株式会社 | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム |
RU2019120751A (ru) | 2017-01-12 | 2021-01-13 | Сони Корпорейшн | Устройство для обработки изображений и способ обработки изображений |
CN117201818A (zh) | 2017-05-26 | 2023-12-08 | Sk电信有限公司 | 对视频数据进行编码或解码的方法和发送比特流的方法 |
US20180367818A1 (en) * | 2017-06-15 | 2018-12-20 | Futurewei Technologies, Inc. | Block Partition Structure in Video Compression |
CN109151477B (zh) * | 2017-06-28 | 2020-08-07 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
KR102501105B1 (ko) | 2017-09-20 | 2023-02-17 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
JP2021010046A (ja) | 2017-10-06 | 2021-01-28 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
JP7033946B2 (ja) * | 2017-11-01 | 2022-03-11 | 日本放送協会 | 画像符号化装置及び画像符号化プログラム |
US11039143B2 (en) * | 2017-11-20 | 2021-06-15 | Qualcomm Incorporated | Memory reduction for context initialization with temporal prediction |
EP3732880A4 (en) | 2017-12-29 | 2021-04-28 | Sharp Kabushiki Kaisha | SYSTEMS AND METHODS FOR PARTITIONING VIDEO BLOCKS TO ONE FRAME LIMIT FOR VIDEO ENCODING |
US11470359B2 (en) | 2018-03-30 | 2022-10-11 | Sharp Kabushiki Kaisha | Systems and methods for partitioning video blocks at a boundary of a picture for video coding |
US10284866B1 (en) * | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
US10609403B2 (en) | 2018-07-09 | 2020-03-31 | Tencent America LLC | Method and apparatus for block partition with non-uniform quad split |
US10743029B2 (en) * | 2018-07-30 | 2020-08-11 | Tencent America LLC | Constraints on coding unit partition |
WO2020060376A1 (ko) | 2018-09-22 | 2020-03-26 | 엘지전자 주식회사 | 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
US20200120339A1 (en) | 2018-10-11 | 2020-04-16 | Mediatek Inc. | Intra Prediction For Multi-Hypothesis |
KR20230155014A (ko) | 2018-11-02 | 2023-11-09 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Hmvp 후보 저장을 위한 표 유지 |
CN111434110B (zh) | 2018-11-06 | 2023-06-20 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置和存储介质 |
WO2020094151A1 (en) | 2018-11-10 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Rounding in pairwise average candidate calculations |
CN117528076A (zh) | 2018-11-22 | 2024-02-06 | 北京字节跳动网络技术有限公司 | 用于具有几何分割的帧间预测的构建方法 |
WO2020114404A1 (en) | 2018-12-03 | 2020-06-11 | Beijing Bytedance Network Technology Co., Ltd. | Pruning method in different prediction mode |
US10999594B2 (en) | 2018-12-20 | 2021-05-04 | Qualcomm Incorporated | Virtual search area for current picture referencing (CPR) and intra block copy (IBC) |
US12058311B2 (en) | 2018-12-31 | 2024-08-06 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and apparatus, and recording medium storing bitstream |
KR102657248B1 (ko) | 2019-01-12 | 2024-04-25 | (주)휴맥스 | 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치 |
US20200252608A1 (en) | 2019-02-05 | 2020-08-06 | Qualcomm Incorporated | Sub-partition intra prediction |
CN113396586A (zh) | 2019-02-11 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 条件依赖的视频块分割 |
WO2020164630A1 (en) | 2019-02-17 | 2020-08-20 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of intra block copy merge candidates |
US11159795B2 (en) | 2019-03-04 | 2021-10-26 | Tencent America LLC | Max transform size control |
US11032543B2 (en) * | 2019-03-22 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding |
CN114175632B (zh) | 2019-07-26 | 2024-07-05 | 北京字节跳动网络技术有限公司 | 对视频编解码模式的块尺寸相关使用 |
US11399199B2 (en) * | 2019-08-05 | 2022-07-26 | Qualcomm Incorporated | Chroma intra prediction units for video coding |
-
2020
- 2020-07-27 CN CN202080054200.9A patent/CN114175632B/zh active Active
- 2020-07-27 EP EP20847404.9A patent/EP3987776A4/en active Pending
- 2020-07-27 WO PCT/CN2020/104786 patent/WO2021018083A1/en unknown
- 2020-07-27 CN CN202080054122.2A patent/CN114175657B/zh active Active
- 2020-07-27 BR BR112022001279A patent/BR112022001279A2/pt active IP Right Grant
- 2020-07-27 JP JP2022505204A patent/JP7369273B2/ja active Active
- 2020-07-27 WO PCT/CN2020/104785 patent/WO2021018082A1/en unknown
- 2020-07-27 CA CA3148299A patent/CA3148299C/en active Active
- 2020-07-27 EP EP20847406.4A patent/EP3991429A4/en active Pending
- 2020-07-27 KR KR1020227001503A patent/KR20220036939A/ko unknown
- 2020-07-27 CN CN202311469575.3A patent/CN117354527A/zh active Pending
- 2020-07-27 AU AU2020321002A patent/AU2020321002B2/en active Active
- 2020-07-27 MX MX2022000716A patent/MX2022000716A/es unknown
- 2020-07-27 JP JP2022505205A patent/JP7383119B2/ja active Active
- 2020-07-27 KR KR1020227001472A patent/KR102698191B1/ko active IP Right Grant
-
2022
- 2022-01-24 US US17/582,600 patent/US11539949B2/en active Active
- 2022-01-24 US US17/582,739 patent/US11930175B2/en active Active
- 2022-01-24 US US17/582,690 patent/US11659179B2/en active Active
- 2022-01-26 ZA ZA2022/01250A patent/ZA202201250B/en unknown
-
2023
- 2023-11-06 JP JP2023189116A patent/JP2023184634A/ja active Pending
- 2023-11-27 US US18/519,287 patent/US20240107016A1/en active Pending
Non-Patent Citations (6)
Title |
---|
AHG5: Block size restriction of intra block copy;Sunil Lee,;Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct.–1 Nov. 2013.JCTVC-O0102;1-2 * |
CE1.6.1: Coding large size CUs;Shih-Ta Hsiang et al;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10–18 July 2018,JVET-K0227-v1;1-2 * |
CE8-2.1: Palette mode in HEVC;Yung-Hsuan Chao et a;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3–12 July 2019,JVET-O0119-WD-v2;1-2 * |
Description of Core Experiment 3 (CE3): Intra Prediction and Mode Coding;Geert Van der Auwera;Joint Video Experts Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19–27 March 2019,JVET-N1023-v3;1-2 * |
Non-CE4: Merge Modes Signaling;Han Huang et al;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3–12 July 2019,JVET-O0249;1-2 * |
Shih-Ta Hsiang et al.CE1.6.1: Coding large size CUs.Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI, 10–18 July 2018,JVET-K0227-v1.2018,1-2. * |
Also Published As
Publication number | Publication date |
---|---|
US11659179B2 (en) | 2023-05-23 |
EP3991429A1 (en) | 2022-05-04 |
US20240107016A1 (en) | 2024-03-28 |
JP7369273B2 (ja) | 2023-10-25 |
AU2020321002A1 (en) | 2022-02-24 |
CN114175657B (zh) | 2023-12-26 |
CN114175632A (zh) | 2022-03-11 |
US11539949B2 (en) | 2022-12-27 |
CA3148299A1 (en) | 2021-02-04 |
CN114175657A (zh) | 2022-03-11 |
BR112022001279A2 (pt) | 2022-03-22 |
EP3987776A4 (en) | 2022-10-19 |
MX2022000716A (es) | 2022-02-23 |
US20220150491A1 (en) | 2022-05-12 |
JP2022542139A (ja) | 2022-09-29 |
CA3148299C (en) | 2024-06-04 |
CN117354527A (zh) | 2024-01-05 |
KR20220036938A (ko) | 2022-03-23 |
JP7383119B2 (ja) | 2023-11-17 |
EP3991429A4 (en) | 2022-08-31 |
EP3987776A1 (en) | 2022-04-27 |
WO2021018082A1 (en) | 2021-02-04 |
AU2020321002B2 (en) | 2023-06-01 |
JP2022542138A (ja) | 2022-09-29 |
KR102698191B1 (ko) | 2024-08-26 |
US20220150492A1 (en) | 2022-05-12 |
US20220150544A1 (en) | 2022-05-12 |
JP2023184634A (ja) | 2023-12-28 |
ZA202201250B (en) | 2023-11-29 |
KR20220036939A (ko) | 2022-03-23 |
US11930175B2 (en) | 2024-03-12 |
WO2021018083A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113170116B (zh) | 为帧内模式视频处理使用参考行 | |
CN114175632B (zh) | 对视频编解码模式的块尺寸相关使用 | |
CN114208174B (zh) | 预测过程中的调色板模式编解码 | |
US11388476B2 (en) | Block partitioning method and apparatus | |
CN116671101A (zh) | 编解码视频中量化信息的信令通知 | |
US20240187627A1 (en) | Slice type in video coding | |
CN114175650A (zh) | 视频编解码中的变换尺寸和编解码树单元尺寸的相互依赖 | |
RU2815443C2 (ru) | Определение режима разделения изображения на основе размера блока | |
WO2024092425A1 (zh) | 视频编解码方法、装置、设备、及存储介质 | |
US11997318B2 (en) | Filter parameter signaling in video picture headers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |