CN113906758A - 调色板模式与帧内块复制预测 - Google Patents
调色板模式与帧内块复制预测 Download PDFInfo
- Publication number
- CN113906758A CN113906758A CN202080040060.XA CN202080040060A CN113906758A CN 113906758 A CN113906758 A CN 113906758A CN 202080040060 A CN202080040060 A CN 202080040060A CN 113906758 A CN113906758 A CN 113906758A
- Authority
- CN
- China
- Prior art keywords
- mode
- block
- video
- palette
- codec
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了一种视频处理方法。所述方法包括：对于视频的视频单元和所述视频的编解码表示之间的转换，根据规则确定在所述转换期间使用的代表性值的调色板的最大条目数；以及使用所述调色板执行所述转换，并且其中所述规则根据所述视频单元的特性规定所述最大条目数。
Description
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年5月31日提交的国际专利申请号PCT/CN2019/089506的优先权和利益。出于法律上的所有目的，将前述申请的全部公开以引用方式并入本文，作为本申请公开的一部分。
技术领域
本申请文件涉及视频和图像编码和解码技术。
背景技术
数字视频在因特网和其他数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的已连接用户设备的数目增加，预期对数字视频使用的带宽需求将继续增长。
发明内容
公开的技术可以由视频或图像解码器或编码器实施例使用，其中调色板编解码模式用于编码或解码视频。
在一个示例方面，公开了一种视频处理方法。所述方法包括：对于视频的视频单元和所述视频的编解码表示之间的转换，根据规则确定在所述转换期间使用的代表性值的调色板的最大条目数；以及使用所述调色板执行所述转换，并且其中所述规则根据所述视频单元的特性规定所述最大条目数。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对调色板模式编解码工具的使用来确定用于所述当前视频块的去方块处理的一个或多个编解码参数；以及使用所述一个或多个编解码参数执行所述转换，其中，所述规则规定，与用于其他编解码工具的参数不同地来推导使用调色板模式编解码工具编解码的视频块的一个或多个编解码参数，其中，所述调色板模式编解码工具包括：在编码期间，使用代表性样点值的调色板将所述当前视频块表示为所述编解码表示；或者在解码期间，使用代表性样点值的调色板从所述编解码表示中重建所述当前视频块。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对复合调色板模式(CPM)编解码工具的使用来确定用于应用到所述当前视频块的去方块处理的一个或多个参数；以及使用所述一个或多个参数执行所述转换，并且其中，所述规则规定所述编解码表示包括使用语法元素的所述一个或多个参数的指示，所述语法元素与用于使用另一编解码模式编解码的相邻视频块的语法元素相同，并且其中，所述CPM编解码工具包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：对于视频的当前视频块和所述视频的编解码表示之间的转换，基于规则、基于相邻视频块的编解码模式来确定用于应用至所述当前视频块的去方块处理的参数；以及基于所述确定执行所述转换，并且其中，所述规则规定对于使用与帧内预测模式相结合的调色板模式(PCIP)或另一种编解码模式编解码所述相邻视频块的情形使用相同的参数，并且其中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用与所述当前视频块相关联的调色板信息来细化所述预测块。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：在视频的当前视频块和所述视频的编解码表示之间执行转换，其中，根据编解码模式在所述编解码表示中表示所述当前视频块，所述编解码模式是调色板编解码模式、或与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)；其中，所述编解码表示包括所述当前视频块的标志，所述标志根据规则指示所述当前视频块是否具有非零系数；其中，所述规则规定，所述标志具有根据所述编解码模式或所述当前视频块的所述编解码表示中的逃逸像素的存在的值，其中，所述调色板编解码模式包括使用代表性样点值的调色板来表示或重建所述当前视频块，其中，所述CPM包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块，以及其中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用调色板信息来细化所述预测块。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：对于包括多个视频块的视频和所述视频的编解码表示之间的转换，基于所述多个视频块中与编解码模式相关的每个视频块的条件，确定去方块处理对所述多个视频块中的每个视频块的适用性，所述编解码模式使用代表性值的调色板来编解码对应的视频块，其中，所述编解码模式包括调色板模式、与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)；以及基于所述确定执行所述转换，并且其中，所述调色板模式适用于所述对应的视频块使用分量值的调色板编解码所述对应的视频块的像素，并且其中，所述PCIP适用于所述对应的视频块使用帧内预测推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，并且其中，所述CPM适用于所述对应的视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：在使用复合调色板模式(CPM)编解码的当前视频块和所述当前视频块的编解码表示之间执行转换，其中，所述编解码表示包括在视频区域级别的所述CPM的指示，所述CPM的指示与适用于所述视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示分开，并且其中，所述CPM允许通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相组合来重建所述当前视频块中的样点。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：在视频的颜色分量的当前视频块和所述当前视频块的编解码表示之间执行转换，其中，使用包括与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)的编解码模式来编解码所述当前视频块，其中，基于所述视频的颜色分量的特性、或用于所述当前视频块的分割结构或平面编解码，在所述编解码表示中选择性地包括与所述编解码模式相关的语法元素，并且其中，所述PCIP适用于所述当前视频块使用帧内预测来推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，并且其中，所述CPM适用于所述当前视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：在视频的当前色度块和所述视频的编解码表示之间执行转换，其中，使用编解码模式来编解码所述当前色度块，以及其中，基于与所述当前色度块相对应的亮度块的一个或多个所选区域的编解码信息，所述编解码表示选择性地包括所述编解码模式的指示。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：在包括多个视频块的视频图片和所述视频图片的编解码表示之间执行转换，并且其中，使用编解码模式来编解码视频块，所述编解码模式使用代表性值的调色板编解码所述视频块，并且基于应用于所述当前视频块的一个或多个预测模式的值来信令通知所述编解码模式的语法元素。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：在当前视频块的第一编解码表示与使用复合调色板模式(CPM)编解码的所述当前视频块之间执行第一转换，所述CPM模式允许通过选择性使用代表性条目的调色板来重建所述当前视频块中的样点，其中所述当前视频块具有与所述当前视频块相关联的运动矢量；以及在下一视频块和所述下一视频块的第二编解码表示之间执行第二转换，其中在所述第二转换期间，与所述当前视频块相关联的运动信息被用于预测所述下一视频块的运动信息。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：在当前视频块的第一编解码表示和使用与帧内预测模式相结合的调色板模式(PCIP)编解码的当前视频块之间执行第一转换，所述PCIP模式允许使用帧内预测来推导所述当前视频块的预测块，并且允许使用调色板信息细化当前预测块，其中所述当前视频块具有与所述当前视频块相关联的帧内预测方向；以及在下一视频块和所述下一视频块的第二编解码表示之间执行第二转换，其中在第二转换期间，所述当前视频块的帧内模式被用作所述下一视频块的帧内模式预测因子。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：由于与调色板相关的编解码模式的使用，在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定禁止使用缩放矩阵；以及基于禁止使用所述缩放矩阵的所述确定来执行所述转换。
在另一示例方面，公开了另一种视频处理方法。所述方法包括：由于与调色板相关的编解码模式的使用，在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定允许使用缩放矩阵；以及基于允许使用所述缩放矩阵的所述确定来执行所述转换。
在另一示例方面，上述方法可以由包含处理器的视频解码器装置实施。
在另一示例方面，上述方法可以由包含处理器的视频编码器装置实施。
在又一示例方面，这些方法可以实施为处理器可执行的指令的形式并且存储在计算机可读程序介质上。
本申请文件将进一步描述这些和其他方面。
附图说明
图1示出了帧内块复制的图示。
图2示出空域相邻候选的示例。
图3示出了在调色板模式编解码的块的示例。
图4示出了使用调色板预测器来信令通知调色板条目的示例。
图5示出了水平和垂直来回扫描的示例。
图6示出了调色板索引的编解码的示例。
图7示出了多类型树划分模式的示例。
图8示出了滤波器开/关决策和强/弱滤波器选择涉及的像素的示例。
图9示出了与帧内预测相结合的调色板模式的示例实施方法。
图10示出了复合调色板模式的示例实施。
图11示出用于帧内预测的67种模式(方向)的示例。
图12示出了当前视频块的左邻和上邻的示例。
图13示出了色度块的对应亮度区域的示例。
图14A和图14B是视频处理装置
的示例的方框图。
图15A至15E是基于所述公开技术的一些实施方式的视频处理方法的示例的流程图。
图16A至图16F是基于所述公开技术的一些实施方式的视频处理方法的示例的流程图。
具体实施方式
本申请文件提供能由图像或视频比特流的解码器使用的各种技术，以提高解压缩或解码的数字视频或图像的质量。为简洁起见，术语“视频”在本文中用于包括一连串图片(传统地称为视频)和单个图像两者。此外，视频编码器还可在编码处理期间实施这些技术，以便重建用于进一步编码的解码帧。
在本申请文件中使用章节标题以易于理解，并且不将实施例和技术限于对应的章节。如此，一个章节的实施例可以与其他章节的实施例组合。
1.概述
此专利申请文件涉及视频编解码技术。具体地，此申请文件涉及包括三角形预测模式的合并编解码。其可应用于现有的视频编解码标准，如HEVC，或待定案的标准(多功能视频编解码)。其也可能适用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而发展起来的。ITU-T开发了H.261和H.263，ISO/IEC开发了MPEG-1和MPEG-4视觉，并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC[1]标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测和变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后，JVET采纳了许多新方法并将其引入到名为联合探索模型(JEM)[3][4]的参考软件中。在2018年4月，成立了VCEG(Q6/16)与ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET)，以致力于目标在于相比HEVC降低50％比特率的VVC标准。
可以在以下网址找到最新版本的VVC草案，即多功能视频编解码(草案4)：
phenix.itsudparis.eu/jvet/doc_end_user/current_document.php？id＝5755
可以在以下网址找到名为VTM的VVC的最新参考软件：
vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0
2.1帧内块复制
HEVC屏幕内容编解码扩展(HEVC-SCC)和当前VVC测试模型(VTM-4.0)中采用了帧内块复制(IBC)(又称为当前图片参考)。IBC将运动补偿的概念从帧间编解码扩展到了帧内编解码。如图1所示，.当应用IBC时，当前块由同一图片中的参考块预测。在对当前块进行编码或解码之前，必须已经重建了参考块中的样点。尽管IBC对于大多数摄像机捕获的序列而言效率不高，但它显示了屏幕内容的显着编解码增益。原因是屏幕内容图片中有许多重复图案，例如图标和文本字符。IBC可以有效地消除这些重复图案之间的冗余。在HEVC-SCC中，如果选择当前图片作为其参考图片，则帧间编解码的单元(CU)可以应用IBC。在这种情形下，将MV重命名为块矢量(BV)，并且BV始终具有整数像素精度。为了与主配置文件HEVC兼容，在解码的图片缓冲区(DPB)中将当前图片标记为“长期”参考图片。应当注意的是，类似地，在多视图/3D视频编解码标准中，也将视图间参考图片标记为“长期”参考图片。
在BV找到其参考块之后，通过复制参考块来生成预测。可以通过从原始信号中减去参考像素来得到残差。然后可以像在其他编解码模式中一样应用变换和量化。
图1示出了帧内块复制的图示。
然而，当参考块在图片之外、或与当前块重叠、或在重构的区域之外、或在受某些约束限制的有效区域之外时，则不定义部分或全部像素值。基本上，应对此种问题有两种解决方案。一种是禁止这种情形，例如在比特流一致性方面。另一种是对那些未定义的像素值应用填充。以下子章节详细描述了解决方案。
2.2HEVC屏幕内容编解码中的IBC扩展
在HEVC的屏幕内容编解码扩展中，当块使用当前图片作为参考时，应确保整个参考块在可用的重建的区域内，如以下规范文本所示：
变量offsetX和offsetY的推导如下：
offsetX＝(ChromaArrayType＝＝0)？0：(mvCLX[0]&0x7？2：0) (2-1)
offsetY＝(ChromaArrayType＝＝0)？0：(mvCLX[1]&0x7？2：0) (2-2)
比特流一致性的要求是，当参考图片是当前图片时，亮度运动矢量mvLX应遵守以下约束：
–调用条款6.4.1中规定的z扫描顺序块可用性的推导处理，其中将设置为等于(xCb，yCb)的(xCurr，yCurr)、和设置为(xPb+(mvLX[0]>>2)-offsetX，yPb+(mvLX[1]>>2)-offsetY)的相邻亮度位置(xNbY，yNbY)作为输入，其输出应为TRUE。
–调用条款6.4.1中规定的z扫描顺序块可用性的推导处理，其中将设置为等于(xCb，yCb)的(xCurr，yCurr)、和设置为(xPb+(mvLX[0]>>2)+nPbW-1+offsetX，yPb+(mvLX[1]>>2)+nPbH-1+offsetY)的相邻亮度位置(xNbY，yNbY)作为输入，其输出应等于TRUE。
–以下条件之一或全部应为真：
–(mvLX[0]>>2)+nPbW+xB1+offsetX的值小于或等于0。
–(mvLX[1]>>2)+nPbH+yB1+offsetY的值小于或等于0。
–应当满足以下条件：
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<＝yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (2-3)
因此，将不会发生参考块与当前块重叠或参考块在图片之外的情况。无需填充参考或预测块。
2.3VVC测试模型中的IBC
在当前VVC测试模型(即VTM-4.0设计)中，整个参考块应具有当前编解码树单元(CTU)，并且与当前块不重叠。因此，不需要填充参考或预测块。将IBC标志编解码为当前CU的预测模式。因此，对于每个CU，总共有三种预测模式：MODE_INTRA、MODE_INTER和MODE_IBC。
2.3.1IBCMerge模式
在IBCMerge模式中，从比特流中解析指向IBCMerge候选列表中的条目的索引。可以将IBCMerge列表的构建总结为以下顺序步骤：
·步骤1：推导空域候选
·步骤2：插入HMVP候选
·步骤3：插入成对平均候选
在推导空域Merge候选中，如图2所示，在位于A1、B1、B0、A0和B2所描绘的位置的候选中，最多选择四个Merge候选。推导顺序为A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任意PU不可用(例如，因为其属于另一条带或片)或未使用IBC模式进行编解码时，才考虑位置B2。在添加了位于位置A1的候选之后，其余候选的插入要受到冗余检查，以确保从列表中排除具有相同运动信息的候选，以便提高编解码效率。
在插入空域候选之后，如果IBCMerge列表尺寸仍然小于最大IBCMerge列表尺寸，则可以插入来自HMVP表的IBC候选。当插入HMVP候选时执行冗余检查
最后，将成对平均候选插入IBCMerge列表。
当由Merge候选标识的参考块在图片之外、或者与当前块重叠、或者在重构区域之外、或者在受某些约束限制的有效区域之外时，将该Merge候选称为无效Merge候选。
注意的是，可以将无效的Merge候选插入IBCMerge列表中。
VVC采用了JVET-N0843。在JVET-N0843中，IBC中用于Merge模式和AMVP模式的BV预测因子将共享共同的预测因子列表，该列表由以下元素组成：
·2个空域相邻位置(如图2中的A1，B1)
·5个HMVP条目
·默认的零矢量
对于Merge模式，将使用此列表的前6个条目；对于AMVP模式，将使用此列表的前2个条目。并且列表符合共享的Merge列表区域要求(在SMR内共享相同的列表)。
除了上述的BV预测因子候选列表之外，JVET-N0843还提出简化HMVP候选与现有Merge候选(A1，B1)之间的修剪操作。在简化中，因为其仅将第一个HMVP候选与空域Merge候选进行比较，最多将进行2次修剪操作。
在最新的VVC和VTM5中，在约束于以前的VTM和VVC版本的当前比特流之上，显式使用语法约束来禁用128x128 IBC模式，其使得IBC标志的存在取决于CU尺寸<128x128。
2.3.2IBC AMVP模式
在IBC AMVP模式下，从比特流中解析指向IBC AMVP列表中条目的AMVP索引。可以将IBC AMVP列表的构建总结为以下顺序步骤：
·步骤1：推导空域候选
ο检查A0、A1直到找到可用的候选。
ο检查B0、B1、B2直到找到可用的候选。
·步骤2：插入HMVP候选
·步骤3：插入零候选
在插入空域候选之后，如果IBC AMVP列表尺寸仍然小于最大IBC AMVP列表尺寸，则可以插入来自HMVP表的IBC候选。
最后，将零候选插入到IBC AMVP列表中
2.3.3色度IBC模式
在当前VVC中，在子块级别执行色度IBC模式下的运动补偿。将色度块分割成几个子块。每个子块确定对应的亮度块是否具有块矢量，以及在存在的情况下确定其有效性。当前VTM中具有编码器约束，其中如果当前色度CU中的所有子块都具有有效亮度块矢量，则测试色度IBC模式。例如，对于YUV 420视频，色度块为NxM，然后共位的亮度区域为2Nx2M。色度块的子块尺寸为2x2。执行色度mv推导具有几个步骤，然后执行块复制处理。
1)首先将色度块划分成(N>>1)*(M>>1)个子块。
2)具有左上样点(坐标位于(x，y))的每个子块抓取覆盖相同左上样点(坐标位于(2x，2y))的对应亮度块。
3)编码器检查抓取的亮度块的块矢量(bv)。如果满足以下条件之一，则将bv视为无效。
a.不存在对应亮度块的bv。
b.尚未重构由bv标识的预测块。
c.由bv标识的预测块与当前块部分或全部重叠。
4)将子块的色度运动矢量设置为对应亮度子块的运动矢量。
当所有子块都找到有效的bv时，在编码器处允许IBC模式。
下面列出IBC块的解码处理。在IBC模式中，与色度mv推导相关的部分以粗体加斜体来突出显示。
8.6.1在IBC预测中编解码的编解码单元的一般解码处理
此处理的输入是：
–亮度位置(xCb，yCb)，规定相对于当前图片的左上亮度样点的当前编解码块的左上样点；
–变量cbWidth，规定亮度样点中的当前编解码块的宽度，
–变量cbHeight，规定亮度样点中的当前编解码块的高度，
–变量treeType，规定使用单树还是双树，并且如果使用双树，则它规定当前树是对应于亮度还是色度分量。
此处理的输出是在环路滤波之前的修改的重建的图片。
调用条款8.7.1中规定的量化参数的推导处理，其中，将亮度位置(xCb，yCb)、亮度样点中的当前编解码块的宽度cbWidth和亮度样点中的当前编解码块的高度cbHeight、以及变量treeType作为输入。
在ibc预测模式下编解码的编解码单元的解码处理包括以下顺序步骤：
1.当前编解码单元的运动矢量分量的推导如下：
1.如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA，则适用以下内容：
–调用条款8.6.2.1中规定的运动矢量分量的推导处理，其中将亮度编解码块位置(xCb，yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入以及亮度运动矢量mvL[0][0]作为输出。
–调用条款8.6.2.9中规定的色度运动矢量的推导处理，其中当treeType等于SINGLE_TREE时，将亮度运动矢量mvL[0][0]作为输入、色度运动矢量mvC[0][0]作为输出。
–水平方向和垂直方向的亮度编解码子块的数量numSbX和numSbY均设置为等于1。
1.否则，如果treeType等于DUAL_TREE_CHROMA，则适用以下内容：
–水平方向numSbX和垂直方向numSbY的亮度编解码子块的数量的推导如下：
numSbX＝(cbWidth>>2) (8-886)
numSbY＝(cbHeight>>2) (8-887)
–调用条款8.6.2.9中规定的色度运动矢量的推导处理，其中将mvL[xSbIdx][ySbIdx]作为输入、mvC[xSbIdx][ySbIdx]作为输出。
–比特流一致性的要求是，当参考图片是当前图片时，色度运动矢量mvC[xSbIdx][ySbIdx]应遵守以下约束：：
–当调用条款6.4.X[Ed.(BB)：相邻块可用性的检查处理tbd]中规定的块可用性的推导处理时，其中将设置为等于(xCb/SubWidthC,yCb/SubHeightC)的当前色度位置(xCurr,yCurr)和相邻色度位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5),yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5))作为输入，输出应等于TRUE。
–当调用条款6.4.X[Ed.(BB)：相邻块可用性的检查处理tbd[中规定的块可用性的推导处理时，其中，将设置为等于(xCb/SubWidthC,yCb/SubHeightC)的当前色度位置(xCurr,yCurr)和相邻色度位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5)+cbWidth/SubWidthC-1,yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5)+cbHeight/SubHeightC-1)作为输入，输出应等于TRUE。
–以下条件之一或全部应为真：
–(mvC[xSbIdx][ySbIdx][0]>>5)+xSbIdx*2+2小于或等于0。
–(mvC[xSbIdx][ySbIdx][1]>>5)+ySbIdx*2+2小于或等于0。
2.当前编解码单元的预测样点的推导如下：
–如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA，则按以下方式推导当前编解码单元的预测样点：
·调用条款8.6.3.1中规定的ibc块的解码处理，其中将亮度编解码块位置(xCb，yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、在水平方向numSbX和垂直方向numSbY的亮度编解码子块的数量、亮度运动矢量mvL[xSbIdx][ySbIdx](其中xSbIdx＝0..numSbX-1，且ySbIdx＝0..numSbY–1)和设置为等于1的变量cIdx作为输入，以及预测亮度样点的(cbWidth)x(cbHeight)阵列predSamplesL的帧内块复制(ibc)预测样点(predSamples)作为输出，。
–否则，如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA，则按以下方式推导当前编解码单元的预测样点：
·调用条款8.6.3.1中规定的ibc块的解码处理，其中将亮度编解码块位置(xCb，yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、在水平方向numSbX和垂直方向numSbY的亮度编解码子块的数量、色度运动矢量mvC[xSbIdx][ySbIdx](其中xSbIdx＝0..numSbX-1，且ySbIdx＝0..numSbY–1)和设置为等于1的变量cIdx作为输入，以及色度分量Cb的预测色度样点的(cbWidth/2)x(cbHeight/2)阵列predSamplesCb的ibc预测样点(predSamples)作为输出。
·调用条款8.6.3.1中规定的ibc块的解码处理，其中将亮度编解码块位置(xCb，yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、在水平方向numSbX和垂直方向numSbY的亮度编解码子块的数量、色度运动矢量mvC[xSbIdx][ySbIdx](其中xSbIdx＝0..numSbX-1，且ySbIdx＝0..numSbY–1)和设置为等于2的变量cIdx作为输入，以及色度分量Cr的预测色度样点的(cbWidth/2)x(cbHeight/2)阵列predSamplesCr的ibc预测样点(predSamples)作为输出。
3.将变量NumSbX[xCb][yCb]和NumSbY[xCb][yCb]分别设置为等于numSbX和numSbY。
4.当前编解码单元的残差样点的推导如下：
–调用条款8.5.8中规定的以帧间预测模式编解码的编解码块的残差信号的解码处理，其中当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，将设置为等于亮度位置(xCb，yCb)的位置(xTb0，yTb0)、设置为等于亮度编解码块宽度cbWidth的宽度nTbW、设置为等于亮度编解码块高度cbHeight的高度nTbH、和设置为0的变量cIdxset作为输入，以及数组resSamplesL作为输出。
–调用条款8.5.8中规定的以帧间预测模式编解码的编解码块的残差信号的解码处理，其中当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，将设置为等于色度位置(xCb/2，yCb/2)的位置(xTb0，yTb0)、设置为等于色度编解码块的宽度cbWidth/2的宽度nTbW、设置为等于色度编解码块的高度cbHeight/2的高度nTbH、和设置为1的变量cIdxset作为输入、以及数组resSamplesCb作为输出。
–调用条款8.5.8中规定的以帧间预测模式编解码的编解码块的残差信号的解码处理，其中当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，将设置为等于色度位置(xCb/2，yCb/2)的位置(xTb0，yTb0)、设置为等于色度编解码块的宽度cbWidth/2的宽度nTbW、设置为等于色度编解码块的高度cbHeight/2的高度nTbH、和设置为2的变量cIdxset作为输入、以及数组resSamplesCr作为输出。
5.当前编解码单元的重建的样点的推导如下：
-调用条款8.7.5中规定的颜色分量的图片重建处理，其中当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，将设置为等于(xCb，yCb)的块位置(xB，yB)、设置为等于cbWidth的块宽度bWidth、设置为等于cbHeight的块高度bHeight、设置为0的变量cIdx、设置为等于predSamplesL的(cbWidth)x(cbHeight)数组predSamples、和设置等于resSamplesL的(cbWidth)x(cbHeight)数组resSamples作为输入以及输出为在环路滤波之前的修改后的重建的图片。
–调用条款8.7.5中规定的颜色分量的图片重建处理，其中当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，将设置为等于(xCb/2，yCb/2)的块位置(xB，yB)、设置为等于cbWidth/2的块宽度bWidth、设置为等于cbHeight/2的块高度bHeight、设置为1的变量cIdx、设置为等于predSamplesCb的(cbWidth/2)x(cbHeight/2)数组predSamples、和设置为等于resSamplesCb的(cbWidth/2)x(cbHeight/2)数组resSamples作为输入以及输出为在环路滤波之前的修改后的重建的图片。
–调用条款8.7.5中规定的颜色分量的图片重建处理，其中当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，将设置为等于(xCb/2，yCb/2)的块位置(xB，yB)，设置为等于cbWidth/2的块宽度bWidth、设置为等于cbHeight/2的块高度bHeight、设为2的变量cIdx、设置为等于predSamplesCr的(cbWidth/2)x(cbHeight/2)数组predSamples和设置等于resSamplesCr的(cbWidth/2)x(cbHeight/2)数组resSamples作为输入以及输出是在环路滤波之前的修改后的重建的图片。
2.4自适应运动矢量分辨率(AMVR)
在HEVC中，当条带标头中的use_integer_mv_flag等于0时，以四分之一亮度样点为单位来信令通知(在CU的运动矢量与预测的运动矢量之间的)运动矢量差(MVD)。在VVC中，引入了CU级别的自适应运动矢量分辨率(AMVR)方案。AMVR允许以不同精度来编解码CU的MVD。可以如下自适应地选择当前CU的MVD，其取决于当前CU的模式(正常AMVP模式或仿射AVMP模式)：
–正常AMVP模式：四分之一亮度样点、整数亮度样点或四亮度样点。
–仿射AMVP模式：四分之一亮度样点、整数亮度样点或1/16亮度样点。
如果当前CU具有至少一个非零MVD分量，则有条件地信令通知CU级别的MVD分辨率指示。如果所有MVD分量(即参考列表L0和参考列表L1的水平和垂直MVD)均为零，则推断四分之一亮度样点MVD分辨率。
对于具有至少一个非零MVD分量的CU，信令通知第一标志以指示是否将四分之一亮度样点MVD的精度用于CU。如果第一标志为0，则不需要进一步的信令通知，并且四分之一亮度样点MVD的精度用于当前CU。否则，信令通知第二标志以指示对于正常AMVPCU是否使用整数亮度样点或四亮度样点MVD的精度。相同的第二标志用于指示仿射AMVPCU是使用整数亮度样点还是1/16亮度样点MVD的精度。为了确保重建的MV具有预期的精度(四分之一亮度样点、整数亮度样点或四亮度样点)，CU的运动矢量预测因子在与MVD相加之前，将取整到与MVD相同的精度。运动矢量预测因子将向零来取整(即，负运动矢量预测因子向正无穷来取整，而正运动矢量预测因子向负无穷来取整)。
编码器使用RD检查来确定当前CU的运动矢量分辨率。为了避免始终对每个MVD分辨率执行三次CU级别RD检查，在VTM4中，仅有条件地调用除四分之一亮度样点之外的MVD精度的RD检查。对于正常AVMP模式，首先计算四分之一亮度样点MVD精度和整数亮度样点MV精度的RD成本。然后，将整数亮度样点MVD精度的RD成本与四分之一亮度样点MVD精度的RD成本进行比较，以确定是否有必要进一步检查四亮度样点MVD精度的RD成本。当四分之一亮度样点MVD精度的RD成本远小于整数亮度样点MVD精度的RD成本时，将跳过四亮度样点MVD精度的RD检查。对于仿射AMVP模式，如果在检查仿射合并/跳过模式、合并/跳过模式、四分之一亮度样点MVD精度的正常AMVP模式和四分之一亮度样点MVD精度的仿射AMVP模式的速率失真成本后未选择仿射帧间模式，那么就不检查1/16亮度样点MV精度和1像素MV精度仿射帧间模式。此外，在四分之一亮度样点MV精度仿射帧间模式下获得的仿射参数用作1/16亮度样点和四分之一亮度样点MV精度仿射帧间模式下的起始搜索点。
2.5HEVC屏幕内容编解码扩展(HEVC-SCC)中的调色板模式
调色板模式背后的基本概念是由表示颜色值的小集合来表示CU中的样点。此集合称为调色板。它也可以指示，通过在调色板外信令通知逃逸符号而跟随的(可能是量化的)分量值来指示样点。图3示出了此概念。
在HEVC-SCC的调色板模式中，预测方式用于编解码调色板和索引图。
2.5.1调色板条目的编解码
为了对调色板条目进行编解码，保持了调色板预测器。在SPS中信令通知调色板的最大尺寸以及调色板预测器。在HEVC-SCC中，在PPS中引入了palette_predictor_initializer_present_flag。当该标志为1时，在比特流中信令通知用于初始化调色板预测器的条目。在每个CTU行，每个条带和每个片的开始处初始化调色板预测器。使用PPS中信令通知的调色板预测器的初始化器条目，将调色板预测器重置为0或将其初始化，其取决于palette_predictor_initializer_present_flag的值。在HEVC-SCC中，启用了大小为0的调色板预测器初始化器，以允许在PPS级别上显式禁用调色板预测器初始化。
对于调色板预测器中的每个条目，信令通知复用标志以指示其是否是当前调色板的一部分。此在图4中示出。使用零的运行长度编解码来发送复用标志。此后，使用阶数为0的指数Golomb代码来信令通知新调色板条目的数量。最后，信令通知新调色板条目的分量值。
2.5.2调色板索引的编解码
如图5所示，使用水平和垂直横向扫描来编解码调色板索引。使用palette_transpose_flag在比特流中显式信令通知扫描顺序。本小节的其余部分，假定扫描是水平的。
使用两个主要调色板样点模式对调色板索引进行编解码：'INDEX'和'COPY_ABOVE'。如前所述，也以“INDEX”模式信令通知逃逸符号，并对其分配了等于最大调色板尺寸的索引。使用除顶部行以外的标志或前一个模式为“COPY_ABOVE”时信令通知此模式。在“COPY_ABOVE”模式下，复制上一行中样点的调色板索引。在“INDEX”模式下，显式地信令通知调色板索引。对于“INDEX”和“COPY_ABOVE”模式，都信令通知运行值，该值规定了也使用相同模式进行编解码的后续样点数量。当逃逸符号是“INDEX”或“COPY_ABOVE”模式下运行的一部分时，将为每个逃逸符号信令通知逃逸分量值。图6示出调色板索引的编解码。
此语法顺序按如下内容完成。首先，信令通知CU的索引值的数量。之后，使用截断的二进制编解码来信令通知整个CU的实际索引值。索引数和索引值均以旁路模式进行编解码。这将与索引相关的旁路二进制文件组在一起。然后以交错方式信令通知调色板样点模式(如果需要)和运行。最后，将与整个CU的逃逸样点相对应的分量逃逸值组在一起，并以旁路模式进行编解码。
在信令通知索引值之后，信令通知另外的语法元素last_run_type_flag。此语法元素与序号数量一起，消除了信令通知块中对应于最后一次运行的运行值的需要。
在HEVC-SCC中，还为4：2：2、4：2：0和单色色度格式启用了调色板模式。对于所有色度格式，调色板条目和调色板索引的信令通知几乎相同。如果是非单色格式，则每个调色板条目均由3个分量组成。对于单色格式，每个调色板条目均由单个分量组成。对于子样点的色度方向，色度样点与可被2整除的亮度样点索引相关联。在为CU重建调色板索引之后，如果样点仅与单个分量相关联，则只有调色板条目的第一个分量是使用过的。信令通知的唯一区别在于逃逸分量值。对于每个逃逸样点，信令通知的逃逸分量值的数量可能会有所不同，其取决于与该样点相关联的分量数量。
2.6变换跳过模式下的系数编解码
在JVET-M0464和JVET-N0280中，提出了对变换跳过(TS)模式下的系数编解码的几种修改，以使残差编解码适应变换跳级的统计和信令特性。
提出的修改如下所列。
没有最后显著的扫描位置：由于残差信号反映了预测后的空间残差，并且没有对TS执行通过变换的能量压缩，因此不再给出在变换块的右下角出现尾随零或不显著的级别的更高概率。因此，在这种情形下省略了最后显著的扫描位置的信令通知。
子块CBF：最后显著的扫描位置的信令通知的缺失，需要如下修改用TS的coded_sub_block_flag进行信令通知的子块CBF：
·由于量化，上述不显著的序列可能仍会在变换块内部局部出现。因此，如前所述，去除最后显著的扫描位置，并且除了最后一个CG以外的所有CG的系数为零的情形以外，对所有子块编解码coded_sub_block_flag，因此不需要对最后一个CG编解码coded_sub_block_flag。
·覆盖DC频率位置的子块(左上子块)的coded_sub_block_flag表示一种特殊情况。在VVC草案3中，从不信令通知此子块的coded_sub_block_flag，并且其始终被推断为等于1。当最后显著的扫描位置位于另一子块中时，这意味着DC子块之外至少有一个显著级别。因此，尽管推断该子块的coded_sub_block_flag等于1，但是DC子块只能包含零/非显著级别。在TS中最后扫描位置信息的缺失的情形下，信令通知每个子块的coded_sub_block_flag。除了所有其他coded_sub_block_flag语法元素已经等于0时，这还包括DC子块的coded_sub_block_flag。在这种情形下，推断DC的coded_sub_block_flag等于1(inferDcSbCbf＝1)。由于此DC子块中必须至少有一个显著级别，因此不会信令通知(0,0)处第一位置的sig_coeff_flag语法元素并将推导其等于1(inferSbDcSigCoeffFlag＝1)，反之，所有其他在DC子块中的sig_coeff_flag语法元素等于0。
·更改了coded_sub_block_flag的上下文建模。上下文模型索引算作是当前子块的左侧coded_sub_block_flag与上侧的coded_sub_block_flag的和，而不是二者的逻辑分离。
sig_coeff_flag上下文建模：修改了sig_coeff_flag上下文建模中的本地模板，使其仅包括当前扫描位置的左邻(NB0)和上邻(NB1)。上下文模型偏移量就是有效相邻位置的数量sig_coeff_flag[NB0]+sig_coeff_flag[NB1]。因此，移除了取决于当前变换块内的对角线d的不同上下文集的选择。这产生了设置为编解码sig_coeff_flag标志的三个上下文模型和一个单独的上下文模型。
abs_level_gt1_flag和par_level_flag上下文建模：abs_level_gt1_flag和par_level_flag采用单个上下文模型。
abs_remainder编解码：尽管变换跳过残差绝对水平的经验分布通常仍然适合拉普拉斯(Laplacian)分布或几何(Geometrical)分布，但与变换系数绝对水平相比，存在更大的不稳定性。尤其是，对于残差绝对水平，连续实现的窗口内的方差更高。这促进对abs_remainder语法二进制化和上下文建模进行以下修改：
在二值化中使用较高的截止值，即从使用sig_coeff_flag、abs_level_gt1_flag、par_level_flag和abs_level_gt3_flag进行编解码的转换点到用于abs_remainder的莱斯代码，以及每个二进制文件位置的专用上下文模型会产生更高的压缩效率。增加截止值将导致更多的“大于X”标志，例如引入abs_level_gt5_flag、abs_level_gt7_flag等依此类推，直到达到截止值为止。截止值本身固定为5(numGtFlags＝5)。
修改了莱斯参数(rice parameter)推导的模板，即，仅认为前扫描位置的左邻和上邻与sig_coeff_flag上下文建模的本地模板相似。
coeff_sign_flag上下文建模：由于符号序列内的不稳定性以及预测残差经常有偏差的事实，即使全局经验分布几乎均匀分布，也可以使用上下文模型对符号进行编解码。单个专用上下文模型用于符号的编解码，并且在sig_coeff_flag之后解析符号，以将所有上下文编解码的二进制位(bin)保持在一起。
2.7量化的残差块差分脉冲编解码调制(QR-BDPCM)
在JVET-M0413中，提出了量化的残差块差分脉冲编解码调制(QR-BDPCM)以有效地对屏幕内容进行编解码。
QR-BDPCM中使用的预测方向可以是垂直和水平预测模式。通过在类似于帧内预测的预测方向(水平或垂直预测)上的样点复制来对整个块进行帧内预测。对残差进行量化，并对量化的残差及其预测值(水平或垂直)量化的值之间的增量进行编解码。这可以由以下内容描述：对于大小为M(行)×N(列)的块，使用来自上侧或左侧块边界样点的未经滤波的样点，在水平地(逐行复制整个预测块的左侧相邻像素值)或在垂直地(将上侧相邻行复制到预测块中的每一行)执行帧内预测之后，令ri,j,0≤i≤M-1,0≤j≤N-1为预测残差。令Q(ri,j),0≤i≤M-1,0≤j≤N-1表示残差ri,j的量化的形式，其中残差是原始块与预测块值之间的差值。然后，将块DPCM应用于量化的残差样点，得到用元素
的修改后的M×N阵列
当信令通知垂直的BDPCM时，有：
对于水平的预测，适用类似的规则，并且通过
得到残差量化的样点。
发送残差量化的样点
到解码器。
在解码器侧，将上述计算取反，以产生Q(ri,j),0≤i≤M-1，0≤j≤N-1。对于垂直的预测情形,
对于水平的情形，
将量化的残差的逆Q-1(Q(ri，j))添加到帧内块预测值以产生重建的样点值。
此方案的主要优点在于，只需在解析系数时或在解析之后执行添加预测因子即可动态地完成DPCM的逆。
QR-BDPCM的草案文本更改如下所示。
7.3.6.5编解码单元语法
等于1的bdpcm_flag[x0][y0]规定在包括位置(x0，y0)处的亮度编解码块的编解码单元中存在bdpcm_dir_flag。
等于0的bdpcm_dir_flag[x0][y0]规定bdpcm块中使用的预测方向是水平的，否则是垂直的。
2.8分割结构
在HEVC中，通过使用四叉树结构(表示为编解码树)将CTU划分成CU来适应各种局部特性。在叶子CU级别决定是使用图片间(时域)预测还是图片内(空域)预测对图片区域进行编解码。根据PU的划分类型，每个叶子CU可以进一步划分成一个、两个或四个PU。在一个PU中，应用相同的预测处理，并且相关信息以PU为基础传输到解码器。在基于PU划分类型通过应用预测处理获得残差块后，可以根据与CU的编解码树相似的另一四叉树结构将叶子CU划分成变换单元(TU)。HEVC结构的一个重要特征是它具有多个划分概念，包括CU、PU以及TU。
在VVC中，使用二叉和三叉划分分段结构的嵌套式多类型树的四叉树替代了多个划分单元类型的概念，即，它删除了CU，PU和TU概念的分隔，但需要排除尺寸超过最大变换长度的CU，并支持CU分割形状的更多的灵活性。在编解码树结构中，CU可以具有正方形或矩形形状。首先由四叉树(也称为四叉树)结构划分编解码树单元(CTU)。然后，可以通过多类型树结构进一步划分四叉树叶子节点。如图7所示，多类型树结构中有四种划分类型：垂直二叉划分(SPLIT_BT_VER)，水平二叉划分(SPLIT_BT_HOR)，垂直三叉划分(SPLIT_TT_VER)和水平三叉划分(SPLIT_TT_HOR)。多种类型的树叶子节点称为编解码单元(CU)，并且除非CU对于最大变换长度而言太大，否则该分段可用于预测和变换处理而无需任何进一步的划分。这意味着，在大多数情形下，在具有嵌套式多类型树的编解码块结构的四叉树中，CU，PU和TU具有相同的块尺寸。例外发生在最大支持的变换长度小于CU的颜色分量的宽度或高度时。此外，亮度和色度分量在I片上有单独的划分结构。此外，JVET-K0353和JVET-K0354建出信令通知标志，以确定在CTU/CU级别是否使用单独的划分结构。
2.9VTM-4.0中的去方块方案
注意的是，在下列描述中，pNM表示相对于垂直边缘的第M行中的左侧第N个样点或相对于垂直方向表示第M列中的顶部第N个样点。qNM表示相对于垂直边缘的第M行的右侧第N个样点、或相对于水平边缘的第M列的底部侧第N个样点。在图8示出pNM和qNM的例子。
注意的是，在下列描述中，pN表示相对于垂直边缘的行中的左侧第N个样点或相对于水平边缘的列中的左侧第N个样点。qN表示相对于垂直边缘的行中的第N个样点、或者相对于水平边缘的列中的第N个样点，
以4行为单位完成滤波器开/关的决策。图8示出了涉及滤波器开/关决策的像素。第一个4行的两个红色框中的6个像素用于确定4行的滤波器开/关。第二个4行的两个红色框中的6个像素用于确定第二个4行的滤波器开/关。
在当前的VTM，即VTM-4.0中，使用了JVET-M0471中描述的去方块方案。首先过滤图片中的垂直边缘。然后，将图片中的以垂直边缘过滤处理作为输入而修改后的样点来过滤水平边缘。在编解码单位基础上分别处理每个CTU的CTB中的垂直边缘和水平边缘。从编解码块左手侧的边缘开始按其几何顺序穿过边缘，向编解码块的右手侧过滤编解码单元中的编解码块的垂直边缘。从编解码块上部的边缘开始按以其几何顺序穿过边缘，向编解码块的底部，过滤编解码单元中编解码块的水平边缘。
2.9.1边界决策
滤波应用于8x8块边界。另外，它必须是变换块边界或编解码子块边界(例如，由于仿射运动预测的使用、ATMVP)。对于那些没有这些边界的对象，禁用滤波器。
2.9.2边界强度计算
对于变换块边界/编解码子块边界，如果其位于8x8网格中，则可以对其进行过滤并且此边缘的bS[xDi][yDj](其中[xDi][yDj]表示坐标)的设置的定义如下：
–如果样点p0或q0在以帧内预测模式编解码的编解码单元的编解码块中，则设置bS[xDi][yDj]等于2。
–否则，如果块边缘也是变换块边缘，并且样点p0或q0在包含一个或多个非零变换系数级别的变换块中，则设置bS[xDi][yDj]等于1。
–否则，如果包含样点p0的编解码子块的预测模式与包含样点q0的编解码子块的预测模式不同，则设置bS[xDi][yDj]等于1。
–否则，如果满足以下一个或多个条件，则设置bS[xDi][yDj]等于1：
–均在IBC预测模式中编解码包含样点p0的编解码子块和包含样点q0的编解码子块，并且，以四分之一亮度样点为单位，在两个编解码子块的预测中使用的运动矢量的水平或垂直分量之间的绝对差值大于或等于4。
–使用与包含样点q0的编解码子块的预测不同的参考图片或不同数量的运动矢量预测包含样点p0的编解码子块。
注1–确定用于两个编解码子块的参考图片是相同还是不同，仅取决于参考了哪些图片，而不考虑使用参考图片列表0的索引还是参考图片列表1的索引来形成预测，并且也不必考虑参考图片列表中的索引位置是否不同。
注2–运动矢量的数量用于预测覆盖(xSb，ySb)左上角样点的编解码子块，其等于PredFlagL0[xSb][ySb]+PredFlagL1[xSb][ySb]。
–使用一个运动矢量来预测包含样点p0的编解码子块，以及使用一个运动矢量来预测包含样点q0的编解码子块，并且以四分之一亮度样点为单位，所使用的运动矢量的水平或垂直分量之间的绝对差大于或等于4。
–使用两个运动矢量和两个不同的参考图片来预测包含样点p0的编解码子块，使用两个相同的参考图片的两个运动矢量来预测包含样点q0的编解码子块，并且以四分之一亮度样点为单位，用于对同一参考图片的两个编解码子块的来预测的两个运动矢量，其水平或垂直分量之间的绝对差大于或等于4。
–使用同一参考图片的两个运动矢量来预测包含样点p0的编解码子块，使用同一参考图片的两个运动矢量来预测包含样点q0的编解码子块，并且以下两个条件均为真：
–以四分之一亮度样点为单位，用于预测两个编解码子块的列表0的运动矢量的水平或垂直分量之间的绝对差大于或等于4，或者用于预测两个编解码子块的列表1的运动矢量的水平或垂直分量之间的绝对差大于或等于4。
–以四分之一亮度样点为单位，用于预测包含样点p0的编解码子块的列表0的运动矢量与用于预测包含样点q0的编解码子块的列表1的运动矢量的水平或垂直分量之间的绝对差大于或等于4，或者以四分之一亮度样点为单位，用于预测包含样点p0的编解码子块的列表1的运动矢量和用于预测包含样点q0的编解码子块的列表0的运动矢量的水平或垂直分量之间的绝对差大于或等于4。
–否则，设置变量bS[xDi][yDj]等于0。
表1和表2总结了BS计算规则。
表1.边界强度(禁用SPS IBC时)
表2.边界强度(启用SPS IBC时)
2.9.3亮度分量的去方块方案
本章节描述了解块处理。
仅当条件1，条件2和条件3都为TRUE时，才使用更宽更强的亮度滤波器是。
条件1是“大块条件”。此条件检测P侧和Q侧的样点是否属于大块，分别由变量bSidePisLargeBlk和bSideQisLargeBlk表示。bSidePisLargeBlk和bSideQisLargeBlk的定义如下。
bSidePisLargeBlk＝((边缘类型是垂直的且p0属于宽度>＝32的CU)||(边缘类型是水平的且p0属于高度>＝32的CU))？TRUE：FALSE
bSideQisLargeBlk＝((边缘类型是垂直的，并且q0属于宽度>＝32的CU)||(边缘类型是水平的并且q0属于高度>＝32的CU))？TRUE：FALSE
基于bSidePisLargeBlk和bSideQisLargeBlk，条件1定义如下。
Condition1＝(bSidePisLargeBlk||bSidePisLargeBlk)？TRUE：FALSE
接下来，如果条件1为真，则将进一步检查条件2。首先，推导以下变量：
–如在HEVC中首先推导dp0，dp3，dq0，dq3
–如果(p边大于或等于32)
dp0＝(dp0+Abs(p50-2*p40+p30)+1)>>1
dp3＝(dp3+Abs(p53-2*p43+p33)+1)>>1
–如果(q边大于或等于32)
dq0＝(dq0+Abs(q50-2*q40+q30)+1)>>1
dq3＝(dq3+Abs(q53-2*q43+q33)+1)>>1
条件2＝(d<β)？TRUE：FALSE
其中d＝dp0+dq0+dp3+dq3，如2.2.4节所示。
如果条件1和条件2有效，则进一步检查是否有任何块使用子块：
If(bSidePisLargeBlk)
If(modeblockP＝＝SUBBLOCKMODE)
Sp＝5
else
Sp＝7
else
Sp＝3
If(bSideQisLargeBlk)
If(modeblockQ＝＝SUBBLOCKMODE)
Sq＝5
else
Sq＝7
else
Sq＝3
最后，如果条件1和条件2均有效，则提出的去方块方法将检查条件3(大块强滤波条件)，其定义如下。
在条件3StrongFilterCondition中，推导以下变量：
如在HEVC中推导dpq
如在HEVC中，推导sp3＝Abs(p3-p0)，
如果(p边大于或等于32)
如果(Sp＝＝5)
sp3＝(sp3+Abs(p5-p3)+1)>>1
其他
sp3＝(sp3+Abs(p7-p3)+1)>>1
如在HEVC中，推导sq3＝Abs(q0-q3)
如果(q边大于或等于32)
如果(Sq＝＝5)
sq3＝(sq3+Abs(q5-q3)+1)>>1
其他
sq3＝(sq3+Abs(q7-q3)+1)>>1
如在HEVC中，StrongFilterCondition＝(dpq小于(β>>2)，sp3+sq3小于(3*β>>5)，而且Abs(p0-q0)小于(5*tC+1)>>1)？TRUE:FALSE。
2.9.4用于亮度的更强的去方块滤波器(为更大的块设计的)
当边界任一侧的样点属于大块时，将使用双线性滤波器。定义属于大块的样点为：对于垂直边缘，其宽度>＝32、对于水平边缘，其高度>＝32。
以下列出双线性滤波器。
将从i＝0到Sp-1的块边界样点pi和从j＝0到Sq-1的块边界样点(如在上述HEVC去方块中所述，pi和qi是用于过滤垂直边缘的行中的第i个样点，或过滤水平边缘的列中的第i个样点)接着替换为线性插值，如下所示：
—pi′＝(fi*Middles，t+(64-fi)*Ps+32)>>6)，clippedtopi±tcPDi
—qj′＝(gj*Middles，t+(64-gj)*Qs+32)>>6)，clippedtoqj±tcPDj
其中tcPDi和tcPDj项是2.3.6节中描述的与位置相关的裁剪，并且gj,fi,Middles，t,Ps和Qs如下所示：
2.9.5色度的去方块控制
在块边界的两侧都使用了色度强滤波。此处，当色度边缘的两边都大于或等于8(色度位置)时，选择色度滤波，并满足以下三个条件的决定：第一个是边界强度以及大块的决定。当在色度样点中正交于块边缘的块宽度或高度等于或大于8时，可以应用所提出的滤波器。第二个和第三个基本上与HEVC亮度去方块决定相同，分别是开/关决定和强滤波器决定。
在第一个决定中，对于色度滤波(如表2所示)修改边界强度(bS)。依次检查表2中的条件。如果条件满足，那么将跳过优先权较低的其余条件。
当bS等于2或当检测到大块边界时bS等于1时，执行色度去方块。
第二个和第三条件基本上与如下HEVC亮度强滤波器的决定相同。
在第二条件下：
如在HEVC亮度去方块中，然后推导d。
当d小于β时，第二个条件将为TRUE。
在第三个条件下，StrongFilterCondition的推导如下：
如在HEVC中，推导dpq。
如在HEVC中，推导sp3＝Abs(p3-p0)
如在HEVC中，推导sq3＝Abs(q0-q3)
如在HEVC设计中，StrongFilterCondition＝(dpq小于(β>>2)，sp3+sq3小于(β>>3)，并且Abs(p0-q0)小于(5*tC+1)>>1)。
2.9.6用于色度的强去方块滤波器
以下定义了用于色度的强去方块滤波器：
p2′＝(3*p3+2*p2+p1+p0+q0+4)>>3
p1′＝(2*p3+p2+2*p1+p0+q0+q1+4)>>3
p0′＝(p3+p2+p1+2*p0+q0+q1+q2+4)>>3
所提出的色度滤波器对4x4色度样点网格执行去方块。
2.9.7取决于位置的裁剪
与位置有关的裁剪tcPD应用于包括强滤波器和长滤波器的亮度滤波处理输出的样点，所述强滤波器和长滤波器在边界处修改了7、5和3个样点。假设量化误差分布，提出增加期望具有更高量化噪声的样点的裁剪值，从而期望重建样点值与真实样点值具有更大的偏差。
对于用不对称滤波器滤波的每个P或Q边界，根据2.3.3节中的决策处理的结果，给解码器从提供的两个表(即下表中列出的Tc7和Tc3)中选择与取决于位置的阈值表作为辅助信息：
Tc7＝{6,5,4,3,2,1,1}；
Tc3＝{6,4,2}；
tcPD＝(Sp＝＝3)？Tc3：Tc7；
tcQD＝(Sq＝＝3)？Tc3：Tc7；
对于用短对称滤波器滤波的P或Q边界，应用较低幅度的取决于未知的阈值：
Tc3＝{3,2,1}；
在定义阈值之后，根据tcP和tcQ剪裁值而剪裁过滤的p’i和q’i样点值：
p”i＝Clip3(p’i+tcPi,p’i–tcPi,p’i)；
q”j＝Clip3(q’j+tcQj,q’j–tcQj,q’j)；
其中p’i和q’i是过滤后的样点值，p”i和q”j是剪裁之后输出的样点值，tcPitcPi是从VVCtc参数以及tcPD和tcQD得出的剪裁阈值。函数Clip3是VVC中规定的剪裁函数。
2.9.8子块去方块调整
如在亮度控制中所示，为了能够同时使用长滤波器和子块去方块来友好地并行去方块，将长滤波器限制为在使用子块去方块(AFFINE或ATMVP或DMVR)的一侧，最多修改5个样点用于长滤波器。另外，调整子块去方块，使得限制在8x8网格上接近CU或隐式TU边界的子块边界，以在每一侧最多修改两个样点。
以下适用于与CU边界不对齐的子块边界。
其中，等于0的边缘对应于CU边界，等于2或等于正交长度-2的边缘对应于来自CU边界等的子块边界的8个样点。如果使用TU的隐式划分，则隐式TU为真。
2.9.9亮度/色度的4CTU/2CTU行缓冲器的限制
当水平边缘与CTU边界对齐时，水平边缘的滤波限制了亮度的Sp＝3，色度的Sp＝1和Sq＝1。
2.10与帧内预测相结合的调色板模式(PCIP)
在JVET-M0051中，提出了与帧内预测相相结合的调色板模式。在此方案中，解码器首先基于帧内预测方法来推导预测块。然后，解码器解码调色板和索引图。解码器使用解码调色板信息来细化预测块并重建该块。
图9示出了调色板信息和帧内预测信息相结合的示例。首先，解码器生成预测块(具有像素值A0-A15)。并且，解码器在调色板模式中解码索引图。为重建此块，如果解码序号等于“0”，则将对应像素标记为“P”，如图2-6所示。通过帧内预测块中的像素值来重建标记为“P”的像素。否则，将通过调色板颜色(例如C0，C1)来重建此像素。
2.11复合调色板模式(CPM)
如在JVET-N0259中，当前索引为0时，可通过复制IBC预测中的共位的样点来重建复合调色板模式中的样点。否则，将通过调色板颜色来重建当前样点。图10示出了所提出的调色板模式。
在复合调色板模式中，在亮度块上通过使用第一个可用的Merge候选来生成IBC预测，因此不需要信令通知IBC预测的运动信息。在色度块上，CPM中的运动补偿与VTM4中的运动补偿相同。
另外，还修改了逃逸像素的编解码。信令通知原始样点和共位的IBC预测样点之间的量化的残差。在解码器上，通过组合解码后的残差和IBC预测，重建所提出的调色板模式中的每个逃逸像素。
2.12JVET-N0185中具有67种帧内预测模式的帧内模式编解码
为了捕获自然视频中出现的任意边缘方向，VTM4中的定向帧内模式的数量从HEVC中使用的33扩展到65。不在HEVC中的新定向模式，在图11中用红色虚线箭头表示。并且平面模式和DC模式保持不变。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度的帧内预测。
对于帧内块提出了，不论是否应用了MRL和ISP的编解码工具的统一的6-MPM列表。如图12所示，基于VTM4.0中的左相邻和上相邻块的帧内模式来构建MPM列表。
假设将左侧的模式表示为“左”，并将上侧块的模式表示为“上”，则按照以下顺序步骤构建统一的MPM列表：
–当相邻块的帧内预测模式无效时，默认情况下其帧内模式设置为“平面”。
–如果“左”和“上”相同且都成角度：
MPM列表→{平面，左，左-1，左+1，DC，左-2}
–如果“左”和“上”不同并且都成角度：
在“左”和“上”中将“最大”(Max)模式设置为较大模式
如果“左”和“上”模式的差值在2到62之间(包括2和62)，
MPM列表→{平面，左，上，DC，Max-1，Max+1}
否则
MPM列表→{平面，左，上，DC，Max-2，Max+2}
–如果“左”和“上”不同，并且“左”和“上”模式之一是角度模式，另一是非角度模式：
在“左”和“上”中将“最大”模式设置为较大模式
MPM列表→{平面，左，上，DC，Max-1，Max+1}
–如果“左”和“上”两种模式均为非角度模式：
MPM列表→{平面，DC，V，H，V-4，V+4}
注意的是，当模式索引(例如，Max+2)超出范围[0，6]时，可以用另一有效的模式索引来代替。
与其余的MPM候选分开信令通知第一个MPM候选，即平面模式。
更详细的语法，语义和解码处理的描述如下：
7.3.6.5编解码单位语法
语法元素intra_luma_mpm_flag[x0][y0]，intra_luma_not_planar_flag[x0][y0]，intra_luma_mpm_idx[x0][y0]和intra_luma_mpm_remainder[x0][y0]规定亮度样点的帧内预测模式。数组索引x0，y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当intra_luma_mpm_flag[x0][y0]等于1时，根据条款8.4.2，从相邻的帧内预测编解码单元推断出帧内预测模式。
当intra_luma_mpm_flag[x0][y0]不存在时(例如，启用ISP或启用MRL(参考索引>0))，则推断它等于1。
当intra_luma_not_planar_flag[x0][y0]不存在时(例如，启用了MRL)，则推断它等于1。
8.4.2亮度帧内预测模式的推导处理
此处理的输入是：
–亮度位置(xCb，yCb)规定当前亮度编解码块的左上样点相对于当前图片的左上亮度样点，
–变量cbWidth规定亮度样点中当前编解码块的宽度，
–变量cbHeight规定亮度样点中当前编解码块的高度。
在此处理中，导出亮度帧内预测模式IntraPredModeY[xCb][yCb]。
表8-1规定帧内预测模式IntraPredModeY[xCb][yCb]的值以及其相关名称。
表8-1–帧内预测模式和相关名称的规范
注–：帧内预测模式INTRA_LT_CCLM，INTRA_L_CCLM和INTRA_T_CCLM仅适用于色度分量。
IntraPredModeY[xCb][yCb]的推导如下：
–如果intra_luma_not_planar_flag[xCb][yCb]等于1，则有以下有序步骤：
1.分别设置相邻位置(xNbA，yNbA)为等于(xCb-1，yCb+cbHeight-1)和(xNbB，yNbB)为等于(xCb+cbWidth-1，yCb-1)。
2.对于由A或B替换的X，变量candIntraPredModeX的推导如下：
–调用条款6.4.X[Ed.(BB)：相邻块可用性检查处理tbd]中规定的可用性检查处理，其中将设置为等于(xCb，yCb)的位置(xCurr，yCurr)和设置为等于(xNbX，yNbX)的相邻位置(xNbY，yNbY)作为输入，并且将输出分配给availableX。
–候选帧内预测模式candIntraPredModeX的推导如下：
–如果以下一个或多个条件为真，则设置candIntraPredModeX等于INTRA_PLANAR。
–变量availableX等于FALSE。
–CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且ciip_flag[xNbX][yNbX]不等于1。
–pcm_flag[xNbX][yNbX]等于1。
–X等于B并且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
–否则，设置candIntraPredModeX等于IntraPredModeY[xNbX][yNbX]。
3.x＝0..4的candModeList[x]的推导如下：
–如果candIntraPredModeB等于candIntraPredModeA，并且candIntraPredModeA大于INTRA_DC，则x＝0..4的candModeList[x]推导如下：
candModeList[0]＝candIntraPredModeA (8-10)
candModeList[1]＝2+((candIntraPredModeA+61)％64)(8-12)
candModeList[2]＝2+((candIntraPredModeA-1)％64)(8-13)
candModeList[3]＝INTRA_DC (8-11)
candModeList[4]＝2+((candIntraPredModeA+60)％64)(8-14)
–否则，如果candIntraPredModeB不等于candIntraPredModeA，并且candIntraPredModeA或candIntraPredModeB大于INTRA_DC，则以下条件适用：
–变量minAB和maxAB的导出如下：
minAB＝Min(candIntraPredModeA,candIntraPredModeB)(8-24)
maxAB＝Max(candIntraPredModeA,candIntraPredModeB)(8-25)
–如果candIntraPredModeA和candIntraPredModeB都大于INTRA_DC，则x＝0..4的candModeList[x]的推导如下：
candModeList[0]＝candIntraPredModeA (8-27)
candModeList[1]＝candIntraPredModeB (8-29)
candModeList[2]＝INTRA_DC (8-29)
–如果maxAB-minAB的范围为2到62(包括2和62)，则以下适用：
candModeList[3]＝2+((maxAB+61)％64) (8-30)
candModeList[4]＝2+((maxAB-1)％64) (8-31)
–否则，以下适用：
candModeList[3]＝2+((maxAB+60)％64) (8-32)
candModeList[4]＝2+((maxAB)％64) (8-33)
–否则(candIntraPredModeA或candIntraPredModeB大于INTRA_DC)，则x＝0..4的candModeList[x]的推导如下：
candModeList[0]＝ma (8-65)
candModeList[1]＝INTRA_DC (8-66)
candModeList[2]＝2+((maxAB+61)％64) (8-66)
candModeList[3]＝2+((maxAB-1)％64) (8-67)
candModeList[4]＝2+((maxAB+60)％64) (8-68)
–否则，以下适用：candModeList[0]＝INTRA_DC (8-71)
candModeList[1]＝INTRA_ANGULAR50 (8-72)
candModeList[2]＝INTRA_ANGULAR18 (8-73)
candModeList[3]＝INTRA_ANGULAR46 (8-74)
candModeList[4]＝INTRA_ANGULAR54 (8-75)
4.通过运用以下步骤可以推导出IntraPredModeY[xCb][yCb]：
–如果intra_luma_mpm_flag[xCb][yCb]等于1，则设置IntraPredModeY[xCb][yCb]为等于candModeList[intra_luma_mpm_idx[xCb][yCb]]。
–否则，通过运用以下有序步骤来推导出IntraPredModeY[xCb][yCb]：
1.对于i＝0..3且对于每个i，j＝(i+1)..4，当candModeList[i]大于candModeList[j]时，两个值将按如下交换：
(candModeList[i],candModeList[j])＝Swap(candModeList[i],candModeList[j]) (8-94)
2.通过以下有序步骤推导IntraPredModeY[xCb][yCb]：
i.设置IntraPredModeY[xCb][yCb]为等于intra_luma_mpm_remainder[xCb][yCb]。
ii..将IntraPredModeY[xCb][yCb]的值增加1。
iii..对于等于0到4的i，包括当IntraPredModeY[xCb][yCb]大于或等于candModeList[i]时，将IntraPredModeY[xCb][yCb]的值增加1。
–否则(intra_luma_not_planar_flag[xCb][yCb]等于0)，设置IntraPredModeY[xCb][yCb]为等于INTRA_PLANAR。
设置变量IntraPredModeY[x][y]为等于IntraPredModeY[xCb][yCb](其中x＝xCb..xCb+cbWidth-1且y＝yCb..yCb+cbHeight-1)。
2.13基于历史的Merge候选推导
在空域MVP和TMVP之后，将基于历史的MVP(HMVP)Merge候选添加到Merge列表。此方法中，在表中存储先前编解码的块的运动信息，并且将其用作当前CU的MVP。在编码/解码处理中将保留具有多个HMVP候选的表。当遇到新的CTU行时，重置(清空)此表。只要有非子块帧间编解码的CU，相关联的运动信息就会作为新的HMVP候选添加到表的最后一项。
在VTM5中，将HMVP表的尺寸S设置为5，这表示最多可以将5个基于历史记录的MVP(HMVP)候选添加到表中。当将新的运动候选插入到此表中时，利用约束的先进先出(FIFO)规则，其中首先应用冗余检查以发现表中是否存在相同的HMVP。如果找到，则从表格中删除相同的HMVP，然后将所有HMVP候选向前移动。可以在Merge候选列表构建处理中使用HMVP候选。按顺序检查表中最新的几个HMVP候选，并将其插入到TMVP候选之后的候选列表中。应用冗余检查于HMVP候选到空域Merge候选。
2.14缩放列表
在(逆)量化处理中可以应用缩放列表(c.f.量化矩阵)。在HEVC中，通过PPS信令通知用户定义的缩放值，并且每个可能的TB大小、颜色分量和预测类型(帧内/帧间)都可以有自己的缩放列表，但32x32色度块除外，此色度块仅用于4：4：4RExt色度格式。对于16x16和32x32缩放列表，此用由8x8的值网格规定此列表，此网格的值重复到所需的尺寸，以及用于对应于DC频率位置的条目的值。
3.传统技术的技术局限性示例
在以调色板模式或其变体(例如PCIP或CPM)编解码的块上观察到一些问题。
1.在去方块处理中可能需要特殊对待调色板模式。
2.为了更好的编解码效率，CPM和/或PCIP可以视为帧内预测模式。
3.用CPM编解码的块的MV/BV可以用作后续块的MV/BV预测，以提高编解码效率。
4.用PCIP编解码的块的帧内预测方向可以用作后续块的帧内模式预测，以提高编解码效率。
5.如在VTM中一样，色度CPM需要在子块级别执行运动矢量推导，其提高了复杂性。
6.色度PCIP的信令通知不考虑色度IBC模式的可用性。
4.示例实施例
以下实施例的列表应视为以解释一般概念的示例。这些实施例不应以狭义的方式解释。此外，可以以任何方式组合所列出的技术，例如，以提高编解码效率并降低解码或编解码复杂度。
以下描述的方法可以应用于当前的调色板模式，PCIP，CPM或可能依赖于调色板进行残差编解码的其他编解码方法。
1.在去方块处理中，除了现有的编解码模式(例如，帧内，帧间，IBC)之外，调色板模式还可以视为单独的模式(例如，MODE_PLT)。
a.在一个示例中，如果均以调色板模式编解码P侧和Q侧的块，则边界强度可以设置为0。
b.在一个示例中，如果以调色板模式编解码一侧的块A而未以调色板模式编解码另一侧的块B，则边界强度可能仅取决于块B的信息。
i.在一示例中，以帧内模式编解码块B。在这种情形下，可以将边界强度设置为2。
ii.在一示例中，以IBC模式编解码块B。在这种情形下，如果块B至少具有一个非零系数，则可以将边界强度设置为1。
iii.在一示例中，以IBC模式编解码块B。在这种情形下，如果块B中的所有系数均为0，则可以将边界强度设置为0。
c.在一个示例中，也可以在PCIP，CPM或其他与调色板有关的方法中应用以上方法。
2.在去方块处理(例如边界强度推导)中，可以用与IBC模式相同的方式来对待CPM。
a.可选地，可以在去方块处理(例如，边界强度推导)中以与调色板模式相同的方式来对待CPM。
b.可选地，可以在去方块处理(例如边界强度推导)中以与帧内模式相同的方式来对待CPM。
c.可选地，如何应用去方块滤波器可以取决于CPM的使用。
3.可以在去方块处理(例如边界强度推导)中以与帧内模式相同的方式来对待PCIP。
a.可选地，可以在去方块处理(例如边界强度推导)中以与调色板模式相同的方式来对待PCIP。
b.可选地，如何应用去方块滤波器可以取决于PCIP的使用。
4.调色板编解码块/CPM/PCIP的编解码块标志可以设置为固定值，或者取决于该块中是否存在逃逸像素。
a.在一示例中，可将编解码块标记设置为0。
b.在一示例中，可将编解码块标记设置为1。
c.在一示例中，如果当前块没有任何逃逸像素，则可以将编解码块标记设置为0。
d.在一示例中，如果当前块具有至少一个逃逸像素，则可以将编解码块标记设置为1。
5.可以不对使用调色板模式和/或CPM和/或PCIP编解码的样点去方块。
a.在一个示例中，如果用CPM和/或PCIP来编解码P侧或Q侧的块，则可以不对P侧和/或Q侧的样点去方块。
b.在一个示例中，如果用CPM和/或PCIP来编解码P侧的块，而没有用这些模式编解码Q侧的块，则可以不对P侧的样点去方块，反之亦然。
c.在一个示例中，对于CPM模式，可仅对从IBC预测复制的样点执行去方块滤波。可不对调色板条目中的其他样点去方块。
d.在一个示例中，对于PCIP模式，可仅对从帧内预测复制的样点执行去方块滤波。可不对调色板条目中的其他样点去方块。
6.可将变换单元/预测单元/编解码块/区域的CPM的使用指示与现有的预测模式分开编解码，现有的预测模式可包括帧内模式，帧间模式，IBC模式和调色板模式。
a.在一个示例中，可在CPM的使用指示之前编解码与预测模式相关的语法元素(例如，cu_skip_flag，pred_mode_flag，pred_mode_ibc_flag和cu_palette_flag)。
b.可选地，此外，可基于预测模式有条件地信令通知CPM的使用指示。
1.在一个示例中，当预测模式是帧内块复制模式(即MODE_IBC)时，可以跳过CPM模式的使用指示的信令。此外，如当前预测模式是MODE_IBC时，可推断CPM的使用指示为假。
7.是否信令通知颜色分量的CPM和/或PCIP相关语法可取决于分割结构和/或颜色格式和/或单独的平面编解码。
a.在一个示例中，对于色度分量，如果应用单树，则可以跳过CPM和/或PCIP相关语法的信令。
b.可选地，对于色度分量，如果应用双树，则可以信令通知CPM和/或PCIP相关语法。
c.可选地，如果颜色格式是4：0：0，则对于色度块可以跳过CPM和/或PCIP相关语法的信令。
i.可选地，此外，仍可信令通知它们，但是在解码处理中不使用它们。
8.用于色度块的CPM模式的使用指示的信令可基于对应的亮度块中的一个或多个所选块的编解码信息(例如预测模式)。
a.在一个示例中，当在IBC模式中编解码所选亮度块中的至少一个亮度块，则可信令通知色度块的CPM指示。
i.可选地，当所有选择的亮度块都在IBC模式中编解码时，可信令通知色度块的CPM指示。
ii.可选地，如果未使用帧内块复制模式(即MODE_IBC)编解码所选块，则可不信令通知色度CPM的使用指示。此外，当所选块的预测模式不是MODE_IBC时，可推断CPM的使用指示为默认值(例如假)。
iii.可选地，如果未使用帧内块复制模式(即MODE_IBC)编解码所有选择的块，则可不信令通知色度CPM的使用指示。当所选块的预测模式不是MODE_IBC时，可推断CPM的使用指示为默认值(例如假)。
b.在一个示例中，所选亮度块的尺寸可以是最小的CU/PU/TU尺寸或是用于运动/模式存储的单位(例如4×4)。
c.在一个示例中，选定的亮度块可为覆盖对应的亮度区域的中心、左上、右上、左下或右下的位置的CU/PU/TU。对应的亮度区域的示例如图4-1所示。
i.在一个示例中，假设当前色度块的左上坐标为(x0，y0)，当前色度块的宽度和高度分别为w0和h0。可以根据颜色格式来缩放对应的亮度区域中的左上样点的坐标、对应的亮度区域的宽度和高度。
a)对于4：2：0颜色格式，共位的亮度区域的左上坐标为(2*x0，2*y0)，其宽度和高度分别为2*w0和2*h0。
b)对于4：4：4颜色格式，共位的亮度区域的左上坐标为(x0，y0)，其宽度和高度分别为w0和h0。
ii.假设共位的亮度区域的左上角坐标为(x，y)并且其宽度和高度分别为W和H，则中心位置的坐标可为：
a)(x+W/2，y+H/2)
b)(x+W/2-1，y+H/2-1)
c)(x+W/2，y+H/2-1)
d)(x+W/2-1，y+H/2)
iii.假设共位的亮度区域的左上角坐标为(x，y)，其宽度和高度为W和H，则左上角位置的坐标可为(x，y)。
iv.假设共位的亮度区域的左上角坐标为(x，y)并且其宽度和高度为W和H，则右上角位置的坐标可为：
a)(x+W，y)
b)(x+W-1，y)
v.假设共位的亮度区域的左上坐标为(x，y)，其宽度和高度为W和H，则左下位置的坐标可为：
a)(x，y+H)
b)(x，y+H-1)
vi.假设共位的亮度区域的左上角坐标为(x，y)并且其宽度和高度为W和H，则右下角位置的坐标可为：
a)(x+W，y+H)
b)(x+W，y+H-1)
c)(x+W-1，y+H)
d)(x+W-1，y+H-1)
图13示出了对应的亮度区域的示例。
9.色度PCIP模式的使用的信令可取决于一个或多个所选亮度块的编解码信息。
a.在一个示例中，如果在帧内块复制模式(即MODE_IBC)中编解码对应的亮度块中的所选块，则可不信令通知色度PCIP的使用指示。此外，当对应的亮度块的所选块的预测模式是MODE_IBC时，可以推断PCIP的使用指示为假。
i.可选地，当在IBC模式中编解码所有选择的亮度块时，可不信令通知色度块的PCIP指示。
ii.可选地，当在IBC模式中编解码对应的亮度区域中的所有样点时，可不信令通知色度块的PCIP指示。
b.在一个示例中，所选亮度块的尺寸可以是最小的CU/PU/TU尺寸或是用于运动/模式存储的单位(例如4×4)。
c.在一个示例中，选定的亮度块可为覆盖对应的亮度区域的中心、左上、右上、左下或右下的位置的CU/PU/TU。对应的亮度区域的示例如图4-1所示。
i.在一个示例中，假设当前色度块的左上坐标为(x0，y0)，当前色度块的宽度和高度分别为w0和h0。可以根据颜色格式来缩放对应的亮度区域中的左上样点的坐标、对应的亮度区域的宽度和高度。
a)对于4：2：0颜色格式，共位的亮度区域的左上坐标为(2*x0，2*y0)，其宽度和高度分别为2*w0和2*h0。
b)对于4：4：4颜色格式，共位的亮度区域的左上坐标为(x0，y0)，其宽度和高度分别为w0和h0。
ii.假设共位的亮度区域的左上角坐标为(x，y)并且其宽度和高度分别为W和H，则中心位置的坐标可为：
a)(x+W/2，y+H/2)
b)(x+W/2-1，y+H/2-1)
c)(x+W/2，y+H/2-1)
d)(x+W/2-1，y+H/2)
iii.假设共位的亮度区域的左上角坐标为(x，y)，其宽度和高度为W和H，则左上角位置的坐标可为(x，y)。
iv.假设共位的亮度区域的左上角坐标为(x，y)并且其宽度和高度为W和H，则右上角位置的坐标可为：
a)(x+W，y)
b)(x+W-1，y)
v.假设共位的亮度区域的左上坐标为(x，y)，其宽度和高度为W和H，则左下位置的坐标可为：
a)(x，y+H)
b)(x，y+H-1)
vi.假设共位的亮度区域的左上角坐标为(x，y)并且其宽度和高度为W和H，则右下角位置的坐标可为：
a)(x+W，y+H)
b)(x+W，y+H-1)
c)(x+W-1，y+H)
d)(x+W-1，y+H-1)
10.提出将CPM模式视为除了现有的预测模式之外的单独的预测模式(例如由MODE_PLT_IBC表示)。
a.在一个示例中，预测模式可包括帧内条带/I图片/帧内片组的帧内、帧内块复制、调色板模式和CPM模式。
b.可选地，预测模式可以包括帧内条带/I图片/帧内片组的帧内、调色板模、CPM模式。
c.在一个示例中，预测模式可包括帧间条带/P和/或B图片/帧内片组的帧内、帧间、帧内块复制、调色板模式和CPM模式。
d.可选地，预测模式可以包括帧内、帧间、帧内块复制、调色板模式和CPM模式中的至少两个。
e.在一个示例中，当预测模式是帧间模式(即MODE_INTER)时，可以跳过CPM模式的使用指示的信令。此外，若当前预测模式是MODE_INTER时，可推断CPM模式的使用指示为假。
11.可将CPM视为现有预测模式的特例。在这种情形下，可在现有预测模式的某些使用条件下，进一步信令通知与CPM模式有关的语法。
a.在一个示例中，当预测模式是帧内模式(即MODE_INTRA)时，可跳过与CPM有关的语法的信令通知。此外，若当前预测模式是MODE_INTRA时，可推断CPM模式的使用指示为假。
b.在一个示例中，当预测模式是跳过模式(即跳过标志等于1)时，可跳过与CPM有关的语法的信令通知。此外，若在当前CU上采用跳过模式时，可推断CPM的使用指示为假。
c.在一个示例中，当预测模式是调色板模式(例如MODE_PLT)时，可信令通知CPM的使用指示和与CPM有关的语法。
d.可选地，当预测模式是帧内模式、帧间模式或帧内块复制模式时，可跳过与CPM有关的语法。
e.可选地，当预测模式是帧内模式而不是脉冲编解码调制(PCM)模式时，可信令通知与CPM有关的语法。
f.在一个示例中，当预测模式是调色板模式(例如MODE_PLT)时，可以在PCM模式的使用指示之前或之后，信令通知CPM的使用指示和与CPM有关的语法。在一个示例中，当应用CPM模式时，可信令通知与CPM有关的语法。
g.当预测模式是帧内模式、帧间模式或帧内块复制模式时，可跳过信令通知与CPM有关的语法。
h.可选地，当预测模式是帧内模式而不是脉冲编解码调制(PCM)模式时，可信令通知与CPM有关的语法。
i.在一个示例中，当预测模式是帧内块复制模式时，可信令通知与CPM有关的语法。
j.可选地，当预测模式是调色板模式，帧间模式或帧内模式时，可跳过信令通知与CPM有关的语法。
k.以上方法也可适用于PCIP或其他与调色板相关的方法。
12.用CPM编解码的块的MV也可以用作后续块的MV预测。
a.在一个示例中，用CPM编解码的块的MV可用作其他块的Merge候选。
b.在一个示例中，在用CPM编解码的块的MV可用作其他块的HMVP候选。
i.可选地，此外，在编解码用CPM编解码的块之后可更新HMVP表。
c.在一个示例中，用CPM编解码的块的MV可用作其他块的AMVP候选。
d.可选地，在编解码对一个CPM编解码的块之后，不允许HMVP表的更新处理。
e.可选地，不可允许将CPM编解码的块的BV用作后续块的运动矢量预测因子。
13.用PCIP编解码的块的帧内预测方向也可以用作后续块的帧内模式预测因子。
a.在一个示例中，用PCIP编解码的块的帧内预测方向可以用作后续块的MPM模式。
i.在一个示例中，如果用PCIP编解码的块选择水平方向，则帧内模式可设置为VER_IDX，并且可用作后续块的MPM模式。
ii.在一个示例中，如果用PCIP编解码的块选择垂直方向，则帧内模式可设置为HOR_IDX，并且可用作后续块的MPM模式。
b.可选地，可不允许将CPM编解码的块的帧内预测方向用作后续块的MPM。
14.调色板中将使用的最大条目数可以从一个视频单元(例如CTB，CU，PU，TU)到另一视频单元变化。可以根据将使用的调色板中的最大条目数来更改二值化。
a.在一个示例中，它可取决于编解码信息。
i.在一个示例中，它可取决于块维度。
a)在一个示例中，使用调色板模式编解码的较大块的尺寸可能具有较大的最大条目数，而使用调色板模式编解码的较小块的尺寸可能具有较小的最大条目数。
b)在一个示例中，对于4x4块，可仅允许N0个调色板条目。
c)在一个示例中，对于8×4块和/或4×8块，可仅允许N1个调色板条目。
d)在一个示例中，对于8x8块，可仅允许N2个调色板条目。
e)在一个示例中，对于16x16块，可仅允许N3个调色板条目。
f)在一个示例中，N0，N1，N2和N3是固定的数(例如3、7或15)，并且它们可以是相同的或不同的。
g)在一个示例中，调色板条目的最大值与块维度之间的关系如下表所示，其中W和H分别表示当前块宽度和块高度，而Max是在两个输入之间获得更大的值的运算。
表4-1最大调色板条目与块维度之间的关系的示例
| Max(W,H) | 调色板条目的最大值 |
| 4 | 3 |
| 8 | 7 |
| 16 | 15 |
| 32 | 31 |
| 64 | 31 |
| 128 | 31 |
h)在一个示例中，调色板条目的最大值与块维度之间的关系如下表所示，其中W和H分别表示当前块宽度和块高度，而Max是在两个输入之间获得更大的值的运算。
表4-2最大调色板条目与块维度之间的关系的一个示例
| Max(W,H) | 调色板条目的最大值 |
| 4 | 3 |
| 8 | 15 |
| 16 | 15 |
| 32 | 31 |
| 64 | 31 |
| 128 | 31 |
b.在一个示例中，它可能取决于颜色分量。
i.在一个示例中，用调色板模式编解码的亮度块可能具有较大的最大条目数，而用调色板模式编解码的色度块可能具有较小的最大条目数。
a)在一个示例中，亮度块的最大条目数可以是N，因此色度块的最大条目数可以是M。
i.在一个示例中，M是固定的数(例如3、7或15)，并且M可以小于N。
c.在一个示例中，它可能取决于分割结构，例如双树或单树。
15.提出禁止调色板/CPM/PCIP编解码的块的缩放矩阵(例如，用户定义的缩放矩阵)。
a.可选地，缩放矩阵可以应用于调色板/CPM/PCIP编解码的块。
b.可以以与变换跳过编解码块相同的方式执行如何为调色板/CPM/PCIP编解码的块选择缩放矩阵。
16.是否适用和/或如何采用上述方法可基于：
a.视频内容(例如屏幕内容或自然内容)
b.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大的编解码单元(LCU)/编解码单元(CU)/LCU行/LCU的组/TU/PU块/视频编解码单元中信令通知的消息。
c.CU/PU/TU/块/视频编解码单元的位置。
d.当前块和/或其相邻块的块维度。
i.在一个示例中，仅当当前块的宽度和高度都小于T(例如32或64)时，才可应用以上方法。
e.当前块和/或其相邻块的块形状。
f.当前块的预测模式。
g.当前块和/或其相邻块的帧内模式。
h.当前块和/或其相邻块的运动/块矢量。
i.颜色格式的指示(例如4：2：0、4：4：4)。
j.编解码树结构。
k.条带/片组类型和/或图片类型。
l.颜色分量(例如只能应用于色度分量或亮度分量)。
m.时域层ID。
n.标准的档次/级别/等级。
5.在JVET-N1001-v6之上的实施例
JVET-N1001-v6提供的草案之上的以下更改以粗体斜体来突出显示。在删除的文本的前后放置双括号。
序列参数集RBSP语法
编解码单元语法
预测模式语法
提出将下文中的全部文本和表格为当前版本VVC的新增内容。
调色板语法
以下描述对应于草案中讨论的更改内容。
调色板语义
在以下语义中，数组索引x0，y0规定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。
cu_palette_flag规定在当前编解码单元中使用调色板模式。cu_palette_flag＝＝1表示在当前编解码单元中应用了调色板模式。cu_palette_flag＝＝0表示调色板模式不适用于当前编解码单元。
palette_predictor_run用于确定数组PalettePredictorEntryReuseFlags中非零条目之前的零的数量。
比特流一致性要求：palette_predictor_run的值应在0到(PredictorPaletteSize-predictorEntryIdx)之间的范围内(包括0和(PredictorPaletteSize-predictorEntryIdx))，其中predictorEntryIdx对应于数组PalettePredictorEntryReuseFlags中的当前位置。变量NumPredictedPaletteEntries规定了当前调色板中从预测因子调色板重新使用的条目数。NumPredictedPaletteEntries的值应在0到Palette_max_size(包括0和Palette_max_size)范围内。
num_signalled_palette_entries[startComp]规定当前调色板中条目数，它是由当前调色板表startComp的第一个颜色分量显式信令通知的。
如果不存在num_signalled_palette_entries[startComp]，则推断它等于0。
变量CurrentPaletteSize规定当前调色板的尺寸，并推导如下：
CurrentPaletteSize[startComp]＝NumPredictedPaletteEntries[startComp]+num_signalled_palette_entries[startComp](XX)
CurrentPaletteSize[startComp]的值应在0到palette_max_size的范围内(包括0和palette_max_size)。
new_palette_entries[cIdx][i]规定颜色分量cIdx的第i个信令通知的调色板条目的值。
变量PredictorPaletteEntries[cIdx][i]规定在预测因子调色板中颜色分量cIdx的第i个元素。
变量CurrentPaletteEntries[cIdx][i]规定在当前调色板中颜色分量cIdx的第i个元素，它的推导如下：
当palette_escape_val_present_flag等于1时，规定当前编解码单元包含至少一个逃逸编解码的样点。escape_val_present_flag等于0时对顶当前编解码单元中没有逃逸编解码的样点。如果不存在时，则推断palette_escape_val_present_flag的值等于1。
变量MaxPaletteIndex规定当前编解码单位的调色板索引的最大可能的值。如果cu_palette_ibc_mode为0，则将MaxPaletteIndex的值设置为CurrentPaletteSize+Palette_escape_val_present_flag。否则，如果cu_palette_ibc_mode为1，则将MaxPaletteIndex设置为等于CurrentPaletteSize+Palette_escape_val_present_flag+1
num_palette_indices_minus1加1是当前块显式信令通知的或推断的索引调色板索引的数量。
如果不存在num_palette_indices_minus1，则推断它等于0。
palette_index_idc是由CurrentPaletteEntries表示的数组索引的指示。对于块中的第一个索引，palette_index_idc的值应在0到MaxPaletteIndex(含端点)范围内，对于块中的其余索引，palette_index_idc的值应在0到(MaxPaletteIndex-1)(含端点)范围内。
如果不存在palette_index_idc，则推断它等于0。
变量PaletteIndexIdc[i]存储显式信令通知的或推断的第i个palette_index_idc。数组PaletteIndexIdc[i]的所有元素都初始化为0。
copy_above_indices_for_final_run_flag等于1规定如果使用水平横向扫描，则从上一行的索引调色板索引中，复制编解码单元中最后位置的索引调色板索引。或者如果使用垂直横向扫描，则从左列的索引调色板索引中复制该值。copy_above_indices_for_final_run_flag等于0规定从PaletteIndexIdc[num_palette_indices_minus1]中复制编解码单元中最后位置的索引调色板索引。
如果不存在copy_above_indices_for_final_run_flag，则推断其等于0。
palette_transpose_flag等于1，规定垂直横向扫描用于扫描当前编解码单元中像素的索引。palette_transpose_flag等于0，规定水平横向扫描用于扫描当前编解码单元中像素的索引。
copy_above_palette_indices_flag等于1规定如果使用水平横向扫描，则调色板索引等于上一行中相同位置的调色板索引；如果使用垂直横向扫描，则其在左列相同位置。copy_above_palette_indices_flag等于0规定将样点的调色板索引的指示在比特流中来编解码或来推断。
变量CopyAboveIndicesFlag[xC][yC]等于1规定从上一行(水平扫描)或左列(垂直扫描)中的调色板索引来复制调色板索引。CopyAboveIndicesFlag[xC][yC]等于0规定在比特流中来显式编解码或推断调色板索引。数组索引xC，yC规定样点相对于图片的左上亮度样点的位置(xC，yC)。
变量PaletteIndexMap[xC][yC]规定调色板索引，它是由CurrentPaletteEntries表示的数组的索引。数组索引xC，yC规定样点相对于图片的左上亮度样点的位置(xC，yC)。PaletteIndexMap[xC][yC]的值应在0到MaxPaletteIndex(包括0和MaxPaletteIndex)范围内。
当CopyAboveIndicesFlag[xC][yC]等于1时，变量PaletteRun规定与上一行(水平扫描)或左列(垂直扫描)中的位置相同的调色板索引的连续位置数量减去1。或者当CopyAboveIndicesFlag[xC][yC]等于0时，规定具有相同调色板索引的连续位置的数量减去1。
变量PaletteMaxRun表示PaletteRun的最大可能的值。比特流一致性要求PaletteMaxRun的值应大于或等于0。
palette_run_prefix在PaletteRun的二值化中规定前缀部分。
palette_run_suffix在PaletteRun的二值化中规定后缀部分。如果不存在palette_run_suffix，则推断palette_run_suffix的值等于0。
PaletteRun的值推导如下：
–如果palette_run_prefix小于2，则以下适用：
PaletteRun＝Palette_run_prefix(XX)
–否则(palette_run_prefix大于或等于2)，适用以下条件：
PrefixOffset＝1<<(palette_run_prefix-1)
PaletteRun＝PrefixOffset+Palette_run_suffix
(XX)
palette_escape_val规定分量的量化的逃逸编解码样点值。
变量PaletteEscapeVal[cIdx][xC][yC]规定样点的逃逸值，该样点的PaletteIndexMap[xC][yC]等于(MaxPaletteIndex–1)，并且palette_escape_val_present_flag等于1。数组索引cIdx规定颜色分量。数组索引xC，yC规定样点相对于图片的左上亮度样点的位置(xC，yC)。
比特流一致性要求：PaletteEscapeVal[cIdx][xC][yC]的范围，对于cIdx等于0时，应在0到(1<<((BitDepthY+1))-1(包括两端)的范围内，并且对于cIdx不等于0时，其范围应在0到(1<<(BitDepthC+1))-1。
在帧内预测模式中编解码的编解码单元的一般解码处理
此处理的输入是：
–亮度位置(xCb，yCb)，相对于当前图片的左上亮度样点，规定当前编解码块的左上角样点；
–变量cbWidth，规定亮度样点中当前编解码块的宽度，
–变量cbHeight，规定亮度样点中当前编解码块的高度，
–变量treeType，规定使用单树还是双树，并且如果使用的是双树，则它规定当前树是对应于亮度还是对应于色度分量。
该处理的输出是环路滤波之前的修改后的重建的图片。
调用条款8.4.1中规定的量化参数的推导处理，其中将亮度位置(xCb，yCb)、亮度样点中的当前编解码块的宽度cbWidth和亮度样点中的当前编解码块的高度cbHeight、以及变量treeType作为输入。
当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，亮度样点的解码处理的规定如下：
–如果pcm_flag[xCb][yCb]等于1，则对重建的图像进行如下修改：
SL[xCb+i][yCb+j]＝
pcm_sample_luma[(cbHeight*j)+i]<<(BitDepthY-PcmBitDepthY),(8-1)，
其中i＝0..cbWidth-1,j＝0..cbHeight–1
–否则，如果cu_palette_flag[xCb][yCb]等于1，则以下内容适用：
–如果treeType等于SINGLE_TREE，则以下内容适用
1.用亮度位置(xCb，yCb)来调用条款XXX中规定的调色板块的一般解码处理，其中变量startComp设置为等于0、变量cIdx设置为等于0、变量nTbW设置为等于cbWidth、变量nTbH设置为等于cbHeight。
2.用亮度位置(xCb，yCb)来调用条款8.X.X中规定的调色板块的一般调色板预测器更新处理，其中变量startComp设置为等于0、变量numComps设置为等于1。
–否则，以下内容适用：
1.调用条款8.2.2中规定的亮度帧内预测模式的推导处理，其中将亮度位置(xCb，yCb)、亮度采样中的当前编解码块的宽度cbWidth和当前编解码块的高度和亮度采样cbHeight作为输入。
2.调用条款8.2.4.1中规定的帧内块的一般解码处理，其中将亮度位置(xCb，yCb)、树类型treeType、设置为等于cbWidth的变量nTbW、设置为等于cbHeight的变量nTbH、设置为等于IntraPredModeY[xCb][yCb]的变量predModeIntra和设置为等于0的变量cIdx作为输入，以及其输出是在环路滤波之前的修改后的重建的图片。
当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时，色度样点的解码处理的规定如下：
–如果pcm_flag[xCb][yCb]等于1，则对重建的图像进行如下修改：
SCb[xCb/SubWidthC+i][yCb/SubHeightC+j]＝
pcm_sample_chroma[(cbHeight/SubWidthC*j)+i]<<(BitDepthC-PcmBitDepthC),
其中i＝0..cbWidth/SubWidthC–1和j＝0..cbHeight/SubHeightC-1(8-2)
SCr[xCb/SubWidthC+i][yCb/SubHeightC+j]＝
pcm_sample_chroma[(cbHeight/SubWidthC*(j+cbHeight/SubHeightC))+i]<<
(BitDepthC-PcmBitDepthC),
其中i＝0..cbWidth/SubWidthC-1和j＝0..cbHeight/SubHeightC-1(8-3)–否则，如果cu_palette_flag[xCb][yCb]等于1，则以下内容适用：
–如果treeType等于SINGLE_TREE，则以下内容适用：
1.用亮度位置(xCb，yCb)来调用条款XXX中规定的调色板块的一般解码处理，其中将变量startComp设置为等于0、变量cIdx设置为1、变量nTbW设置为等于(cbWidth/2)、将变量(cbHeight/2)设置为等于cbHeight。
2.用亮度位置(xCb，yCb)来调用条款XXX中规定的调色板块的一般解码处理，其中将变量startComp设置为等于0、变量cIdx设置为2、变量nTbW设置为等于(cbWidth/2)、变量(cbHeight/2)设置为等于cbHeight。
3.用亮度位置(xCb，yCb)来调用条款8.X.X中规定的调色板块的一般调色板预测器更新处理，其中将变量startComp设置为等于0，变量numComps设置为3。
–否则，以下内容适用：
1.用亮度位置(xCb，yCb)来调用条款XXX中规定的调色板块的一般解码处理，其中将变量startComp设置为等于1、变量cIdx设置为等于1、变量nTbW设置为等于(cbWidth/2)、将变量(cbHeight/2)设置为等于cbHeight。
2.用亮度位置(xCb，yCb)来调用条款XXX中规定的调色板块的一般解码处理，其中将变量startComp设置为等于1、变量cIdx设置为2，变量nTbW设置为等于(cbWidth/2)、将变量(cbHeight/2)设置为等于cbHeight。
3.用亮度位置(xCb，yCb)来调用条款XXX中规定的调色板块的一般调色板预测器更新处理，其中将变量startComp设置为等于
1、变量numComps设置为等于2。
–否则，以下内容适用：
1.调用条款8.2.3中规定的色度帧内预测模式的推导处理，其中将亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和当前编解码块中的高度、以及亮度样点cbHeight作为输入。
2.用色度位置(xCb/2，yCb/2)和树类型treeType来调用条款8.2.4.1中规定的帧内块的一般解码处理，其中、设置为等于(cbWidth/2)的变量nTbW，设置为等于(cbHeight/2)的变量nTbH、设置为等于IntraPredModeC[xCb][yCb]的变量predModeIntra、设置为1变量cIdx，以及输出是在环路滤波之前的修改后的重建的图片。
3.用色度位置(xCb/2，yCb/2)和树类型treeType来调用条款8.2.4.1中规定的帧内块的一般解码处理时，其中，、设置为等于(cbWidth/2)的变量nTbW、设置为等于(cbHeight/2)的变量nTbH、设置为等于IntraPredModeC[xCb][yCb]的变量predModeIntra、设置为2的变量cIdx，以及输出是在环路滤波之前的修改后的重建的图片。
调色板模式的解码处理
此处理的输入是：
–位置(xCb，yCb)，规定相对于当前图片的左上亮度样点的，当前块的左上角亮度样点，
–变量startComp规定调色板表中的第一个颜色分量，
–一个变量cIdx，规定当前块的颜色分量，
–两个变量nTbW和nTbH分别规定当前块的宽度和高度。
此处理的输出是一个数组recSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1，其规定此块的重建的样点值。
变量nSubWidth和nSubHeight取决于cIdx的值，它们的推导如下：
–如果cIdx等于0，则nSubWidth设置为1，且nSubHeight设置为1。
–如果startComp等于1，并且如果cIdx>1，则nSubWidth设置为1，且nSubHeight设置为1。
–否则，nSubWidth设置为SubWidthC，且nSubHeight设置为SubHeightC。
–如果cu_palette_ibc_mode[xCb][yCb]等于1，则以下内容适用：
–调用条款8.6.2中规定的运动矢量的推导处理，其中当前亮度编解码块左上样点是相对于于当前图片左上角亮度样点的亮度位置(xCb，yCb)、变量cbWidth规定亮度样点中当前编解码块的宽度、变量cbHeight规定亮度样点中当前编解码块的高度。其输出是1/16分数样点精度mvL中的亮度运动矢量。
-调用条款8.6.3中规定的一般IBC预测处理，其中亮度位置(xCb，yCb)规定当前编解码块的左上样点是相对于当前图片的左上样点、变量cbWidth规定亮度样点中当前编解码块的宽度、变量cbHeight规定亮度样点中当前编解码块的高度、变量numSbX和numSbY规定在水平和垂直方向上亮度编解码子块的数量、运动矢量mv[xSbIdx][ySbIdx]中xSbIdx＝0..numSbX–1且ySbIdx＝0..numSbY–1、变量cIdx规定当前块的颜色分量索引。其输出是预测样点predSamples[x][y]的数组predSamples。
位置(xCb，yCb)上的重建的样点数组recSamples的(nTbWxnTbH)块由recSamples[x][y]表示，其中x＝0..nTbW-1和y＝0..nTbH–1。以及对每个在0到nTbW-1(包括0和nTbW-1)的范围内的x以及每个在0到nTbH-1(包括0和nTbH-1)的范围内的y，recSamples[x][y]的值的推导如下：
–变量xL和yL的推导如下：
xL＝palette_transpose_flag？x*nSubHeight：x*nSubWidth (5-4)
yL＝palette_transpose_flag？y*nSubWidth：y*nSubHeight (5-5)
–变量bIsEscapeSample的推导如下：
–如果PaletteIndexMap[xCb+xL][yCb+yL]等于MaxPaletteIndex，且palette_escape_val_present_flag等于1，则将bIsEscapeSample设置为等于1。
–否则，将bIsEscapeSample设置为等于0。
–如果bIsEscapeSample等于0，则以下内容适用：
–如果cu_palette_ibc_mode[xCb][yCb]等于1，则以下内容适用：
–如果PaletteIndexMap[xCb+xL][yCb+yL]等于0，则以下内容适用：recSamples[x][y]＝predSamples[x][y]
–否则，以下内容适用：
recSamples[x][y]＝CurrentPaletteEntries[cIdx][PaletteIndexMap[xCb+xL][yCb+yL]-1] (5-6)
–否则，以下内容适用：
recSamples[x][y]＝CurrentPaletteEntries[cIdx][PaletteIndexMap[xCb+xL][yCb+yL]] (5-7)
–否则，如果cu_transquant_bypass_flag等于1，则以下内容适用：
recSamples[x][y]＝PaletteEscapeVal[cIdx][xCb+xL][yCb+yL](5-8)
–否则(bIsEscapeSample等于1且cu_transquant_bypass_flag等于0)，适用以下有序步骤：
1.调用量化参数的推导处理，其中，位置(xCb，yCb)规定当前块的左上样点相对于当前图片的左上样点。
2.量化参数qP的推导如下：
–如果cIdx等于0，
qP＝Max(0，Qp'Y) (5-9)
–否则，如果cIdx等于1，
qP＝Max(0，Qp'Cb) (5-10)
–否则(cIdx等于2)，
qP＝Max(0，Qp′Cr) (5-11)
3.变量bitDepth的推导如下：
bitDepth＝(cIdx＝＝0)？BitDepthY:BitDepthC (5-12)
4.规定列表levelScale[]为levelScale[k]＝{40，45，51，57，64，72}，其中k＝0..5。
5.以下内容适用：
tmpVal＝(PaletteEscapeVal[cIdx][xCb+xL][yCb+yL]*levelScale[qP％77])<<(qP/6)+32)>>6 (5-13)
recSamples[x][y]＝Clip3(0，(1<<bitDepth)-1，tmpVal) (5-14)
调色板模式的调色板预测器更新处理
此处理的输入是：
–位置(xCb，yCb)，其规定当前块的左上亮度样点是相对于当前图片的左上亮度样点，
–变量startComp，其规定调色板表中的第一个颜色分量，
–变量numComps，其规定调色板表中颜色分量的数量，
此处理的输出是变量PredictorPaletteSize[startComp]，它规定更新的调色板预测变量的尺寸，以及数组PredictorPaletteEntries[cIdx][i]，其中cIdx＝startComp，…，startComp+numComps-1，i＝0。PredictorPaletteSize-1规定下一个块的更新的调色板预测器。
变量PredictorPaletteSize和数组PredictorPaletteEntries的推导或修改如下
比特流一致性的要求是PredictorPaletteSize的值应在0到PaletteMaxPredictorSize(包括0和PaletteMaxPredictorSize)的范围内。
图14A是视频处理装置1400的框图。装置1400可以用于实施本文描述的一种或多种方法。装置1400可以体现在智能手机，平板电脑，计算机，物联网(IoT)接收器等中。装置1400可以包括一个或多个处理器1402、一个或多个存储器1404和视频处理硬件1406。处理器1402可以被配置为实施本申请文件中描述的一种或多种方法。存储器(或多个存储器)1404可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1406可以用于在硬件电路中实施本申请文件中描述的一些技术。视频处理硬件1406可以以专用硬件或图形处理器单元(GPU)或专用信号处理块的形式部分或完全包括在处理器1402内。
图14B是视频处理系统的框图的另一示例，其中可以实施所公开的技术。图14B是示出示例视频处理系统1410的框图，其中可以实施本文所公开的各种技术。各种实施方式可以包括系统1410的一些或全部组件。系统1410可以包括用于接收视频内容的输入1412。视频内容可以以原始或未压缩的格式接收，例如8位或10位多分量像素值，或者可以以压缩的或编码的格式接收。输入1412可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网，无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统1410可包括编解码组件1414，其可实施本申请文件中所描述的各种编码或解码方法。编解码组件1414可以降低从输入1412到编解码组件1414的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1414的输出可以被存储，也可以通过连接的通信进行传输，如组件1416所示。输入1412处接收的视频的存储或通信比特流(或编解码)表示可由组件1418用于生成像素值或发送到显示接口1420的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但应当理解的是，编解码工具或操作被用于编码器处，并且逆向编码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中所述的技术可实施在各种电子设备中，例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或视频显示的设备。
图15A示出视频处理的实例方法1510。方法1510包括，在步骤1512，对于视频的视频单元和所述视频的编解码表示之间的转换，根据规则确定在所述转换期间使用的代表性值的调色板的最大条目数。方法1510还包括，在步骤1514，使用调色板执行所述转换。在一些实施方案中，所述规则根据视频单元的特性规定所述最大条目数
图15B示出视频处理的实例方法1520。方法1520包括，在步骤1522，对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对调色板模式编解码工具的使用来确定所述当前视频块的去方块处理的一个或多个编解码参数。方法1520还包括，在步骤1524处，使用所述一个或多个编解码参数执行所述转换。在一些实施方案中，所述规则规定，与用于其他编解码工具的参数不同地来推导使用调色板模式编解码工具编解码的视频块的一个或多个编解码参数。在一些实施方案中，所述调色板模式编解码工具包括：在编码期间，使用代表性样点值的调色板将所述当前视频块表示为所述编解码表示；或者在解码期间，使用代表性样点值的调色板从所述编解码表示中重建所述当前视频块。
图15C示出视频处理的实例方法1530。方法1530包括，在步骤1532，对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对复合调色板模式(CPM)编解码工具的使用来确定用于应用到所述当前视频块的去方块处理的一个或多个参数。方法1530进一步包括，在步骤1534，使用所述一个或多个参数执行所述转换。在一些实施方式中，所述规则规定所述编解码表示包括使用语法元素的一个或多个参数的指示，所述语法元素与用于使用另一编解码模式编解码的相邻视频块的语法元素相同。在一些实施方式中，所述CPM编解码工具包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块。
图15D示出视频处理的实例方法1540。方法1540包括，在步骤1542，对于视频的当前视频块和所述视频的编解码表示之间的转换，基于规则、基于相邻视频块的编解码模式来确定用于应用至所述当前视频块的去方块处理的参数。方法1540进一步包括，在步骤1544，基于所述确定执行所述转换。在一些实施方式中，所述规则规定对于使用与帧内预测模式相结合的调色板模式(PCIP)或另一种编解码模式编解码所述相邻视频块的情形使用相同的参数。在一些实施方式中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用与所述当前视频块相关联的调色板信息来细化所述预测块。
图15E示出视频处理的实例方法1550。方法1550包括在步骤1552，在视频的视频单元和所述视频的编解码表示之间执行转换。在一些实施方式中，所述视频单元对应于所述视频的当前视频块。在一些实施方式中，所述根据编解码模式在编解码表示中表示所述当前视频块，所述编解码模式是调色板编解码模式、或与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)，其中，所述编解码表示包括所述当前视频块的标志，所述标志根据规则指示当前视频块是否具有非零系数，其中，所述规则规定，所述标志具有根据所述当前视频块的编解码表示中的所述编解码模式或逃逸像素的存在的值，其中，所述调色板编解码模式包括使用代表性样点值的调色板来表示或重建所述当前视频块，其中，所述CPM包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块，以及其中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用调色板信息来细化所述预测块。
在一些实施方案中，视频单元对应于使用复合调色板模式(CPM)来编解码的当前视频块和当前视频块的编解码表示，其中编解码表示包括在视频区域级别的CPM的指示，该CPM的指示与适用于视频区域的帧内模式，帧间模式，帧内块复制模式或调色板模式的指示分开，并且其中CPM允许通过组合使用代表性条目的调色板与通过帧内块复制模式导出的一个或多个样点来重建当前视频块中的样点。在一些实施方式中，视频单元对应于使用编解码模式编解码的当前色度块，其中，编解码表示基于与当前色度块相对应的亮度块的一个或多个所选区域的编解码信息来选择性地包括编解码模式的指示。在一些实施方式中，视频单元对应于包括多个视频块的视频图片，其中，使用编解码模式对视频块进行编解码，所述编解码模式使用代表值的调色板来对视频块进行编解码，并且基于应用于当前视频块的一个或多个预测模式的值信令通知编解码模式的语法元素。
图16A示出视频处理的实例方法1610。方法1610包括，在步骤1612中，对于包括多个视频块的视频和所述视频的编解码表示之间的转换，基于所述多个视频块中与编解码模式相关的每个视频块的条件，确定去方块处理对所述多个视频块中的每个视频块的适用性，所述编解码模式使用代表性值的调色板来编解码对应的视频块，其中，所述编解码模式包括调色板模式、与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)。方法1610进一步包括，在步骤1614，基于所述确定执行转换。在一些实例方案中，其中，所述调色板模式适用于所述对应的视频块使用分量值的调色板编解码所述对应的视频块的像素，以及其中，所述PCIP适用于所述对应的视频块使用帧内预测推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，以及其中，所述CPM适用于所述对应的视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
图16B示出视频处理的实例方法1620。方法1620包括，在步骤1622，在视频的颜色分量的当前视频块和所述当前视频块的编解码表示之间执行转换，其中，使用包括与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)的编解码模式来编解码所述当前视频块。在一些实施方案中，基于所述视频的颜色分量的特性、或用于所述当前视频块的分割结构或平面编解码，在所述编解码表示中选择性地包括与所述编解码模式相关的语法元素。在一些实施方案中，所述PCIP适用于所述当前视频块使用帧内预测推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，以及其中，所述CPM适用于所述当前视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
图16C示出视频处理的实例方法1630。方法1630包括，在步骤1632，在当前视频块的第一编解码表示与使用复合调色板模式(CPM)编解码的所述当前视频块之间，执行第一转换，所述CPM模式允许通过选择性使用代表性条目的调色板来重建所述当前视频块中的样点，其中所述当前视频块具有与所述当前视频块相关联的运动矢量。方法1630进一步包括，在步骤1634，在下一视频块和所述下一视频块的第二编解码表示之间，执行第二转换，其中在所述第二转换期间，与所述当前视频块相关联的运动信息被用于预测所述下一视频块的运动信息。
图16D示出视频处理的实例方法1640。方法1640包括，在步骤1642，在当前视频块的第一编解码表示和使用与帧内预测模式相结合的调色板模式(PCIP)来编解码当前视频块之间，执行第一转换，所述PCIP模式允许使用帧内预测来推导所述当前视频块的预测块，并且允许使用调色板信息细化当前预测块，其中所述当前视频块具有与所述当前视频块相关联的帧内预测方向。方法1640进一步包括，在步骤1644，在下一视频块和所述下一视频块的第二编解码表示之间执行第二转换，其中在第二转换期间，所述当前视频块的帧内模式被用作所述下一视频块的帧内模式预测因子。
图16E示出视频处理的实例方法1650。方法1650包括，在步骤1652，由于与调色板相关的编解码模式的使用，在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定禁止使用缩放矩阵。方法1650还包括，在步骤1654中，基于禁止使用所述缩放矩阵的所述确定来执行所述转换。
图16F示出视频处理的实例方法1660。方法1660包括，在步骤1662，由于与调色板相关的编解码模式的使用，由于在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定允许使用缩放矩阵。方法1660进一步包括，在步骤1664，基于允许使用所述缩放矩阵的所述确定来执行所述转换。
所公开技术的一些实施例包括做出启用视频处理工具或模式的决策或决定。在一个示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实施该工具或模式，但不一定基于该工具或模式的使用来修改所生产的比特流。也就是说，当基于决策或决定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知道已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或决定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括做出禁用视频处理工具或模式的决策或决定。在一个示例中，当视频处理工具或模式被禁用时，编码器在将视频块转换为视频的比特流表示中将不使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知道未使用基于决策或决定而启用的视频处理工具或模式修改比特流的情况下处理比特流。
在本申请文件中，术语“视频处理”或“视觉媒体处理”可以表示视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。如语法所定义，当前视频块的比特流表示可以例如对应于在比特流内共位的或在比特流内的不同位置扩展的比特。例如，可以根据变换和编解码的误差残差值并且还可以使用标头中的比特和比特流中的其他字段来对宏块进行编码。
可以使用以下基于条款的描述来描述一些实施例。第一组条款描述在前面的章节中所公开技术的具体特征和方面。
1.一种视频编解码方法，包括：基于与视频区域有关的调色板编解码模式条件，在视频的视频区域与所述视频区域的比特流表示之间的转换期间，确定所述视频区域的去方块处理的参数；以及在所述转换期间，使用所选的参数进行去方块处理。
2.根据条款1所述的方法，其中，所述去方块处理的参数与用于使用帧内编解码模式或帧间编解码模式或帧内块复制编解码模式编解码的另一视频区域的转换所使用的参数不同。
3.根据条款1-2中的任一项所述的方法，其中，所述参数包括边界强度值，所述边界强度值是基于是否使用调色板模式编解码所述当前视频块在P侧和Q侧上的相邻视频块而确定的。
4.根据条款3所述的方法，由于使用所述调色板模式编解码P侧和Q侧视频块，所述边界强度等于零。
5.根据条款1-4中任一项所述的方法，其中，所述调色板模式对应于与帧内预测模式相结合的调色板模式(PCIP)或复合调色板模式(CPM)。
在章节4项目1中提供了上述方法的其他示例和实施例。
6.一种视频处理方法，包括：在视频图片和视频图片的比特流表示之间的转换期间，基于分配规则，基于相邻视频块的编解码模式为将去方块处理应用于所述视频图片的视频块选择去方块滤波器参数；以及根据所述分配规则，通过应用所述去方块处理执行转换；其中，所述分配规则规定，在使用复合调色板模式或另一编解码模式来编解码相邻块的情形下，使用相同的参数。
7.根据条款6所述的方法，其中所述另一编解码模式对应于帧内块复制模式。
8.根据条款6所述的方法，其中所述另一编解码模式对应于调色板编解码模式。
在章节4项目2中提供了上述方法的其他示例和实施例。
9.一种视频处理方法，在视频图片和视频图片的比特流表示之间的转换期间，基于分配规则，基于相邻视频块的编解码模式为将去方块处理应用于所述视频图片的视频块选择去方块滤波器参数；以及根据所述分配规则，通过应用所述去方块处理执行转换；其中，所述分配规则规定，在使用与帧内预测模式相结合的调色板模式(PCIP)或另一编解码模式来编解码相邻块的情形下，使用相同的参数。
10.根据条款9所述的方法，其中所述另一编解码模式对应于帧内块复制模式。
11.根据条款9的方法，其中所述另一种编解码模式对应于调色板编解码模式。
在章节4项目3中提供了上述方法的其他示例和实施例。
12.一种视频处理方法，包括：在视频图片的视频块与所述视频块的比特流表示之间，使用调色板编解码模式执行转换，在所述调色板模式中，分量值的调色板被用于编解码对应视频块的像素，其中所述比特流表示中的标志提供所述对应视频块中存在非零系数的指示，并且所述标志被用于信令通知使用调色板编解码模式、与调色板编解码模式相结合的帧内预测(PCIP)模式、或复合调色板模式(CPM)编解码的视频块。
13.根据条款12的方法，其中标志的值取决于所述对应块是否具有逃逸像素。
在章节4项目4中提供了上述方法的其他示例和实施例。
14.一种视频处理方法，包括：在包括多个视频块的视频图片与所述视频图片的比特流表示之间的转换期间，基于与多个视频块中的每个视频块有关的调色板编解码模式的条件，确定去方块处理对所述多个视频块中的每个视频块的适用性；以及在所述转换期间，基于所述适用性选择性地在多个视频块上使用所述去方块处理。
15.根据条款14所述的方法，其中确定所述适用性确定所述去方块处理不适用于使用与帧内预测模式相组合的所述调色板模式(PCIP)或所述复合调色板(CPM)编解码的块。
16.根据条款14所述的方法，其中，确定所述适用性包括：确定在使用所述调色板模式或所述PCIP模式或所述CPM编解码分别编解码P侧块或Q侧块的情形下，P侧样点或Q侧样点不适用。
在章节4项目5中提供了上述方法的其他示例和实施例。
17.一种视频处理的方法，包括：在包括多个视频块的视频帧与使用复合调色板模式(CPM)编解码的所述视频帧的比特流表示之间执行转换；其中，所述比特流表示包括在视频区域级别的所述CPM模式的指示，所述指示与适用于所述视频区域的帧内模式，帧间模式，帧内块复制模式或调色板模式的指示分开。
18.根据条款17所述的方法，其中所述视频区域对应于变换单元或预测单元或编解码块单元。
19.根据条款17-18中的任一项所述的方法，其中所述比特流表示在适用于所述视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示之后包括CPM模式。
在章节4项目6中提供了上述方法的其他示例和实施例。
20.一种视频处理方法，包括：使用编解码模式执行视频图片的视频块与所述视频块的比特流表示之间的转换，在所述编解码模式中，分量值的调色板被用于编解码对应的视频块的像素，其中，基于给定视频块所属的颜色分量的特性，在给定视频块的比特流表示中选择性地包括与所述调色板编解码模式有关的语法元素；其中，所述编解码模式包括调色板编解码模式、与帧内预测模式相结合的调色板编解码(PCIP)模式或复合调色板模式(CPM)。
21.根据所述视频处理的方法，其中，还基于用于给定视频块的分割结构或平面编解码来选择性地包括与所述调色板编解码模式有关的语法元素。
22.根据条款20-21中任一项所述的方法，其中仅对双树分割结构包括所述语法元素。
23.根据条款20-21中任一项所述的方法，其中由于所述视频图片为4：0：0格式，并且所述给定视频块为色度块，跳过语法元素。
在章节4项目7中提供了上述方法的其他示例和实施例。
24.根据条款20所述的方法，其中所述给定视频块对应于色度分量，并且其中，基于对应于给定的视频块的亮度块的一个或多个选定的块的编解码信息，选择性地包括与所述调色板编解码模式有关的语法元素。
25.根据条款24所述的方法，其中所述亮度块的所述一个或多个选定的块对应于最小编解码单元或最小预测单元或最小变换单元尺寸。
在章节4项目8中提供了上述方法的其他示例和实施例。
26.根据条款20-25中的任一项所述的方法，其中，所述编解码模式为PCIP模式。
在章节4项目9中提供了上述方法的其他示例和实施例。
27.一种视频处理方法，包括：在包括多个视频块的视频图片和所述视频图片的比特流表示之间执行转换，其中使用预测性的编解码模式来编解码所述多个块中的至少一些块，并且其中使用复合调色板模式(CPM)来编解码视频块，将所述复合调色板模式与用于编解码所述视频图片的其他视频块的其他预测性的编解码模式来分开标识或将其作为特殊情形。
28.根据条款27所述的方法，其中所述其他预测性的编解码模式包括帧内条带或I图片或帧内片组的帧内模式、帧内块复制，调色板模式和CPM模式。
在章节4项目10中提供了上述方法的其他示例和实施例。
29.根据条款27所述的方法，其中在所述比特流表示中将所述CPM标识为其他预测性的编解码模式的特殊情形，并且基于所述CPM为其特殊情形的所述其他预测性的模式的类型来选择性地信令通知所述CPM的语法元素。
30A.根据条款29所述的方法，其中所述其他预测性的模式的类型是帧内模式，并且其中跳过所述CPM的语法元素的信令。
30B.根据条款29所述的方法，其中所述其他预测性的模式的类型是跳过模式，并且其中跳过所述CPM的语法元素的信令。
在章节4项目11中提供了上述方法的其他示例和实施例。
31.一种视频处理方法，包括：在当前视频块和所述当前视频块的第一比特流表示之间执行第一转换，其中使用复合调色板模式(CPM)来编解码所述当前视频块，所述当前视频块具有与所述当前视频块相关联的运动矢量；以及在下一视频块和下一视频块的第二比特流表示之间执行第二转换，其中，在第二转换期间利用使用与所述当前视频块相关联的所述运动矢量的运动预测。
32.根据条款31所述的方法，其中所述运动预测被用作所述第二转换的Merge候选。
33.根据条款31或32所述的方法，其中所述运动预测被用作所述第二转换期间的基于历史的运动矢量预测因子。
在章节4项目12中提供了上述方法的其他示例和实施例。
34.一种视频处理方法，包括：在当前视频块和所述当前视频块的第一比特流表示之间执行第一转换，其中，使用与帧内预测模式组合的模式(PCIP)来编解码所述当前视频块，所述当前视频块具有与所述当前视频块相关联的帧内预测方向；以及在下一视频块和下一视频块的第二比特流表示之间执行第二转换，其中在第二转换期间，使用基于与所述当前视频块相关联的所述帧内预测方向的帧内模式预测因子。
35.根据条款34所述的方法，其中在第二转换期间，将与所述当前视频块相关联的帧内预测方向用作最可能的模式候选。
在章节4项目13中提供了上述方法的其他示例和实施例。
36.一种视频处理方法，包括：确定在视频的当前视频块与所述视频的比特流表示之间的转换期间使用的调色板的最大条目数量，以及使用所述最大数量来执行所述转换，其中，所述比特流表示中的字段信令通知视频单元中所述最大数量的变化。
37.根据条款36所述的方法，其中所述视频单元对应于编解码树块或编解码单元或预测单元或变换单元。
38.根据条款36-37的方法，其中，所述最大数量基于所述当前视频块的编解码信息。
在章节4项目14中提供了上述方法的其他示例和实施例。
39.一种视频处理方法，其包括：由于在包括一个或多个视频块的视频图片和所述视频图片的比特流表示之间的转换期间使用调色板编解码模式，确定禁止使用缩放矩阵；以及基于所述确定禁止使用所述缩放矩阵来执行所述转换。
40.一种视频处理方法，包括：由于在包括一个或多个视频块的视频图片和所述视频图片的比特流表示之间的转换期间使用调色板编解码模式，确定允许使用缩放矩阵；以及基于所述确定允许使用所述缩放矩阵来执行所述转换。
在章节4项目15中提供了上述方法的其他示例和实施例。
41.根据条款1至40中的任一项所述的方法，其中在确定执行所述转换的所述视频的特性时，应用所述方法。
42.根据条款41所述的方法，其中，视频的特性包括所述视频的内容类型。
43.根据条款41所述的方法，其中，视频的特性包括用于所述转换的块维度。
44.根据条款41所述的方法，其中视频的特性包括用于所述转换的分割树结构。
在章节4项目16中提供了上述方法的其他示例和实施例。
45.根据条款1-44中任一项所述的方法，其中，所述转换包括从所述比特流表示中生成所述视频区域的像素值。
46.根据条款1-44中任一项所述的方法，其中，所述转换包括从所述视频区域的像素值中生成所述比特流表示。
47.一种视频处理装置，包括：处理器，被配置成实现条款1到46中的任一项或多项所述的方法。
48.一种计算机可读介质，其上存储有程序代码，所述代码在执行时促使处理器实现条款1至46中任一项或多项所述的方法。
第二组条款描述在前面章节中公开的技术的具体特征和方面，例如，示例实施1至16。
1.一种视频处理方法，包括：对于视频的视频单元和所述视频的编解码表示之间的转换，根据规则确定在所述转换期间使用的代表性值的调色板的最大条目数；以及使用所述调色板执行所述转换，并且其中所述规则根据所述视频单元的特性规定所述最大条目数。
2.根据条款1所述的方法，其中，所述视频单元对应于块、编解码树块或者编解码单元或者预测单元或者变换单元。
3.根据条款1-2中任一项所述的方法，其中，所述特性包括所述视频单元的编解码信息。
4.根据条款1-2中任一项所述的方法，其中，所述视频单元的所述最大数目是基于所述视频单元的维度。
5.根据条款1-2中任一项所述的方法，其中，所述视频单元的所述最大数目是基于所述视频单元的颜色分量。
6.根据条款5所述的方法，其中，对应于亮度块的所述视频单元的所述最大数目大于对应于色度块的另一视频单元的所述最大数目。
7.根据条款6所述的方法，其中，M是固定的数，并且M小于N，其中M是为所述另一视频单元确定的所述最大数目，并且N是为所述视频单元确定的最大数目。
8.根据条款1-2中任一项所述的方法，其中，所述视频单元的所述最大数目是基于用于分割所述视频单元的分割结构。
9.一种视频处理方法，包括：
对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对调色板模式编解码工具的使用来确定用于所述当前视频块的去方块处理的一个或多个编解码参数；以及使用所述一个或多个编解码参数执行所述转换，其中，所述规则规定，与用于其他编解码工具的参数不同地来推导使用调色板模式编解码工具编解码的视频块的一个或多个编解码参数，其中，所述调色板模式编解码工具包括：在编码期间，使用代表性样点值的调色板将所述当前视频块表示为所述编解码表示；或者在解码期间，使用代表性样点值的调色板从所述编解码表示中重建所述当前视频块。
10.根据条款9所述的方法，其中，所述其他编解码工具包括帧内编解码模式或帧间编解码模式或帧内块复制编解码模式。
11.根据条款9-10中任一项所述的方法，其中，用于所述当前视频块的所述一个或多个参数包括边界强度值，所述边界强度值是基于是否使用所述调色板模式编解码所述当前视频块在P侧和Q侧上的相邻视频块而确定的。
12.根据条款11所述的方法，其中，由于使用所述调色板模式编解码P侧和Q侧视频块两者，所述边界强度等于零。
13.根据条款11所述的方法，其中，所述相邻视频块包括使用所述调色板模式编解码的第一视频块和未使用所述调色板模式编解码的第二视频块，并且其中所述边界强度仅取决于第二视频块的信息。
14.根据条款9-13中任一项所述的方法，其中，所述调色板模式对应于与帧内预测模式(PCIP)组合的调色板模式、或复合调色板模式(CPM)。
15.一种视频处理方法，包括：对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对复合调色板模式(CPM)编解码工具的使用来确定用于应用到所述当前视频块的去方块处理的一个或多个参数；以及使用所述一个或多个参数执行所述转换，并且其中，所述规则规定所述编解码表示包括使用语法元素的所述一个或多个参数的指示，所述语法元素与用于使用另一编解码模式编解码的相邻视频块的语法元素相同，并且其中，所述CPM编解码工具包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块。
16.根据条款15所述的方法，其中，所述另一编解码模式对应于调色板模式。
17.根据条款15所述的方法，其中，所述另一编解码模式对应于帧内块复制模式。
18.一种用于视频处理方法，包括：对于视频的当前视频块和所述视频的编解码表示之间的转换，基于规则、基于相邻视频块的编解码模式来确定用于应用至所述当前视频块的去方块处理的参数；以及
基于所述确定执行所述转换，并且其中，所述规则规定对于使用与帧内预测模式组合的调色板模式(PCIP)或另一种编解码模式编解码所述相邻视频块的情形使用相同的参数，并且其中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用与所述当前视频块相关联的调色板信息来细化所述预测块。
19.根据条款18所述的方法，其中，所述另一编解码模式对应于调色板模式，其中，使用代表性样点值的调色板来表示或重建所述当前视频块。
20.根据条款18所述的方法，其中，所述另一编解码模式对应于帧内块复制模式。
21.一种用于视频处理方法，包括：在视频的当前视频块和所述视频的编解码表示之间执行转换，其中，根据编解码模式在所述编解码表示中表示所述当前视频块，所述编解码模式是调色板编解码模式、或与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)；其中，所述编解码表示包括所述当前视频块的标志，所述标志根据规则指示所述当前视频块是否具有非零系数；其中，所述规则规定，所述标志具有根据所述编解码模式或所述当前视频块的所述编解码表示中的逃逸像素的存在的值，其中，所述调色板编解码模式包括使用代表性样点值的调色板来表示或重建所述当前视频块，其中，所述CPM包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块，以及其中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用调色板信息来细化所述预测块。
22.根据条款21所述的方法，其中，所述标志的值为0或1。
23.根据条款21所述的方法，其中，所述标志的值取决于对应的视频块是否具有逃逸像素。
24.一种视频处理方法，包括：对于包括多个视频块的视频和所述视频的编解码表示之间的转换，基于所述多个视频块中与编解码模式相关的每个视频块的条件，确定去方块处理对所述多个视频块中的每个视频块的适用性，所述编解码模式使用代表性值的调色板来编解码对应的视频块，其中，所述编解码模式包括调色板模式、与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)；以及基于所述确定执行所述转换，并且其中，所述调色板模式适用于所述对应的视频块使用分量值的调色板编解码所述对应的视频块的像素，并且其中，所述PCIP适用于所述对应的视频块使用帧内预测推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，并且其中，所述CPM适用于所述对应的视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
25.根据条款24所述的方法，其中，确定所述适用性确定所述去方块处理不适用于使用所述与帧内预测模式相结合的调色板模式(PCIP)或所述复合调色板(CPM)编解码的P侧块或Q侧块。
26.根据条款24所述的方法，其中，确定所述适用性包括：在未使用所述与帧内预测模式相结合的调色板模式(PCIP)或所述复合调色板(CPM)编解码Q侧块的情形下，确定所述去方块处理不适用于使用所述PCIP和所述CPM编解码的P侧块。
27.根据条款24所述的方法，其中，确定所述适用性包括：在未使用所述与帧内预测模式相结合的调色板模式(PCIP)或所述复合调色板(CPM)编解码P侧块的情形下，确定所述去方块处理不适用于使用所述PCIP或所述CPM编解码的Q侧块。
28.根据条款24所述的方法，其中，确定所述适用性包括：确定所述去方块处理适用于从使用复合调色板模式(CPM)编解码的视频块的帧内块复制(IBC)中复制的样点。
29.根据条款24所述的方法，其中，确定所述适用性包括：确定所述去方块处理适用于从使用与帧内预测模式相结合的调色板模式(PCIP)编解码的视频块的帧内预测中复制的样点。
30.一种视频处理方法，包括：在使用复合调色板模式(CPM)编解码的当前视频块和所述当前视频块的编解码表示之间执行转换，其中，所述编解码表示包括在视频区域级别的所述CPM的指示，所述CPM的指示与适用于所述视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示分开，并且其中，所述CPM允许通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相组合来重建所述当前视频块中的样点。
31.根据条款30所述的方法，其中，所述视频区域对应于变换单元或预测单元或编解码块单元。
32.根据条款30-31中的任一项所述的方法，其中，所述编解码表示在适用于所述视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示之后包括所述CPM的指示。
33.根据条款30-31中的任一项所述的方法，其中，基于所述当前视频块的预测模式包括所述CPM的指示。
34.根据条款33所述的方法，其中，对于不是帧内块复制模式的所述预测模式，包括所述CPM的指示。
35.一种视频处理方法，包括：在视频的颜色分量的当前视频块和所述当前视频块的编解码表示之间执行转换，其中，使用包括与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)的编解码模式来编解码所述当前视频块，其中，基于所述视频的颜色分量的特性、或用于所述当前视频块的分割结构或平面编解码，在所述编解码表示中选择性地包括与所述编解码模式相关的语法元素，并且其中，所述PCIP适用于所述当前视频块使用帧内预测来推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，并且其中，所述CPM适用于所述当前视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
36.根据条款35所述的方法，其中在所述当前视频块对应于色度分量并且所述当前视频块具有单树分割结构的情形下，不包括所述语法元素。
37.根据条款35所述的方法，其中在所述当前视频块对应于色度分量并且所述当前视频块具有双树分割结构的情形下，包括所述语法元素。
38.根据条款35所述的方法，其中在所述当前视频块对应于色度分量并且所述当前视频块具有4：0：0颜色格式的情形下，不包括所述语法元素。
39.一种视频处理方法，包括：在视频的当前色度块和所述视频的编解码表示之间执行转换，其中，使用编解码模式来编解码所述当前色度块，以及其中，基于与所述当前色度块相对应的亮度块的一个或多个所选区域的编解码信息，所述编解码表示选择性地包括所述编解码模式的指示。
40.根据条款39所述的方法，其中，所述编解码模式是复合调色板模式(CPM)，其允许通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前色度块中的样点。
41.根据条款39所述的方法，其中，所述编解码模式是与帧内预测模式相结合的调色板模式(PCIP)，其允许使用帧内预测来推导所述色度块的预测块，并且使用与所述当前色度块相关联的调色板信息来细化所述预测块。
42.根据条款39所述的方法，其中，由于使用帧内块复制模式对所述一个或多个所选区域中的至少一个区域进行编解码，所述编解码表示包括所述编解码模式的指示。
43.根据条款39所述的方法，其中，由于使用帧内块复制模式对所述一个或多个所选区域中的所有区域进行编解码，所述编解码表示包括所述编解码模式的指示。
44.根据条款39所述的方法，其中，由于没有使用帧内块复制模式对所述一个或多个所选区域的至少一个区域进行编解码，所述编解码表示不包括所述编解码模式的指示。
45.根据条款39所述的方法，其中，由于没有使用帧内块复制模式对所述一个或多个所选区域的所有区域进行编解码，所述编解码表示不包括所述编解码模式的指示。
46.根据条款39所述的方法，其中，所选区域具有与用于运动或模式的编解码单元或预测单元或变换单元或存储单元的最小尺寸相对应的尺寸。
47.根据条款39所述的方法，其中，所选区域对应于覆盖所述对应的亮度块的特定位置的编解码单元或预测单元或变换单元。
48.一种视频处理方法，包括：在包括多个视频块的视频图片和所述视频图片的编解码表示之间执行转换，并且其中，使用编解码模式来编解码视频块，所述编解码模式使用代表性值的调色板来编解码所述视频块，并且基于应用于所述当前视频块的一个或多个预测模式的值来信令通知所述编解码模式的语法元素。
49.根据条款48所述的方法，其中，所述编解码模式对应于复合调色板模式(CPM)、与帧内预测模式相结合的调色板模式(PCIP)、或其它调色板相关的方法。
50.根据条款48所述的方法，其中，所述一个或多个预测模式包括用于帧内条带或I图片或P和/或B图片或帧内片组的帧内模式、帧间模式、帧内块复制、调色板模式和CPM模式中的至少两种。
51.根据条款48所述的方法，其中，所述一个或多个预测模式的类型包括帧间模式，并且其中跳过与所述调色板模式相关的语法元素的信令。
52.根据条款49所述的方法，其中，基于所述一个或多个预测模式的值来选择性地信令通知所述编解码表示中的所述CPM模式的所述语法元素。
53.根据条款52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，并且其中跳过所述语法元素的信令。
54.根据条款52所述的方法，其中，所述一个或多个预测模式的类型包括跳过模式，并且其中由于所述一个或多个预测模式的类型是所述跳过模式，跳过所述语法元素的信令。
55.根据条款52所述的方法，其中，所述一个或多个预测模式的类型包括调色板模式，并且其中信令通知所述语法元素。
56.根据条款52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，帧间模式或帧内块复制模式，并且其中信令通知所述语法元素。
57.根据条款52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，但是不包括脉冲编解码调制(PCM)模式，并且其中信令通知所述语法元素。
58.根据条款52所述的方法，其中，所述一个或多个预测模式的类型包括调色板模式，并且其中在脉冲编解码调制(PCM)模式的使用指示之前或之后信令通知所述语法元素。
59.根据条款52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，并且其中信令通知所述语法元素。
60.根据条款52所述的方法，其中所述一个或多个预测模式的类型包括调色板模式、帧间模式或帧内模式，并且其中跳过所述语法元素的信令。
61.一种视频处理方法，包括：在当前视频块的第一编解码表示与使用复合调色板模式(CPM)编解码的所述当前视频块之间执行第一转换，所述CPM模式允许通过选择性使用代表性条目的调色板来重建所述当前视频块中的样点，其中所述当前视频块具有与所述当前视频块相关联的运动矢量；以及在下一视频块和所述下一视频块的第二编解码表示之间执行第二转换，其中在所述第二转换期间，与所述当前视频块相关联的运动信息被用于预测所述下一视频块的运动信息。
62.根据条款61所述的方法，其中，所述运动预测被用作所述第二转换的Merge候选。
63.根据条款61所述的方法，其中，所述运动预测在所述第二转换期间被用作基于历史运动矢量预测(HMVP)。
64.根据条款61所述的方法，其中，所述运动预测被用作所述第二转换的高级运动矢量预测(AMVP)候选。
65.根据条款61所述的方法，其中，在所述第一转换之后，不允许基于历史运动矢量预测(HMVP)表的更新处理，所述HMVP表包括与一个或多个先前编解码的块的运动信息相对应的一个或多个条目。
66.根据条款61所述的方法，其中，不允许将所述当前视频块的运动矢量(bv)用作所述第二转换的运动预测。
67.一种视频处理方法，包括：在当前视频块的第一编解码表示和使用与帧内预测模式相结合的调色板模式(PCIP)编解码的当前视频块之间执行第一转换，所述PCIP模式允许使用帧内预测来推导所述当前视频块的预测块，并且允许使用调色板信息细化当前预测块，其中所述当前视频块具有与所述当前视频块相关联的帧内预测方向；以及在下一视频块和所述下一视频块的第二编解码表示之间执行第二转换，其中在第二转换期间，所述当前视频块的帧内模式被用作所述下一视频块的帧内模式预测因子。
68.根据条款67所述的方法，其中，在所述第二转换期间，与所述当前视频块相关联的所述帧内预测方向被用作最可能的模式候选。
69.根据条款67所述的方法，其中，在所述第二转换期间，与所述当前视频块相关联的所述帧内预测方向不允许被用作最可能的模式候选。
70.一种视频处理方法，包括：由于与调色板相关的编解码模式的使用，在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定禁止使用缩放矩阵；以及
基于禁止使用所述缩放矩阵的所述确定来执行所述转换。
71.一种视频处理方法，包括：由于与调色板相关的编解码模式的使用，在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定允许使用缩放矩阵；以及
基于允许使用所述缩放矩阵的所述确定来执行所述转换。
72.根据条款1所述的方法，其中，与所述调色板相关的编解码模式对应于调色板模式，复合调色板模式(CPM)或与帧内预测模式相结合的调色板模式(PCIP)。
73.根据条款1至72中任一项所述的方法，其中，在确定正执行所述转换的所述视频的特性时，应用所述方法。
74.根据条款73所述的方法，其中，所述视频的所述特性包括所述视频的内容类型。
75.根据条款73所述的方法，其中，所述视频的所述特性包括编解码单元、预测单元、变换单元或所述当前视频块的位置。
76.根据条款73所述的方法，其中，所述视频的所述特性包括用于所述转换的所述当前视频块或相邻块的块维度和/或块形状。
77.根据条款73所述的方法，其中，所述视频的所述特性包括所述当前视频块或相邻块的预测模式和/或帧内模式。
78.根据条款73所述的方法，其中，所述视频的所述特性包括所述当前视频块或相邻块的运动矢量和/或块矢量。
79.根据条款73所述的方法，其中，所述视频的所述特性包括所述视频的颜色格式或颜色分量。
80.根据条款73所述的方法，其中，所述视频的所述特性包括应用于所述当前视频块的编解码树结构。
81.根据条款1-80中任一项所述的方法，其中，所述转换包括从所述编解码表示生成所述视频区域的像素值。
82.根据条款1-80中任一项所述的方法，其中，所述转换包括从所述视频区域的像素值生成所述比特流表示。
83.一种视频处理装置，包括处理器，所述处理器被配置成实现根据条款1至82中的任一项或多项所述的方法。
84.一种计算机可读介质，其存储程序代码，所述代码在执行时使处理器实现根据条款1至82中任一项或多项所述的方法。
本申请文件中描述的公开和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明书中公开的内容和其他实施例可以实施为一个或多个计算机程序产品，即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本组件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CDROM和DVDROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。
Claims (84)
1.一种视频处理方法，包括：
对于视频的视频单元和所述视频的编解码表示之间的转换，根据规则确定在所述转换期间使用的代表性值的调色板的最大条目数；以及
使用所述调色板执行所述转换，并且
其中所述规则根据所述视频单元的特性规定所述最大条目数。
2.根据权利要求1所述的方法，其中，所述视频单元对应于块、编解码树块或者编解码单元或者预测单元或者变换单元。
3.根据权利要求1-2中任一项所述的方法，其中，所述特性包括所述视频单元的编解码信息。
4.根据权利要求1-2中任一项所述的方法，其中，所述视频单元的所述最大数目是基于所述视频单元的维度。
5.根据权利要求1-2中任一项所述的方法，其中，所述视频单元的所述最大数目是基于所述视频单元的颜色分量。
6.根据权利要求5所述的方法，其中，对应于亮度块的所述视频单元的所述最大数目大于对应于色度块的另一视频单元的所述最大数目。
7.根据权利要求6所述的方法，其中，M是固定的数，并且M小于N，其中M是为所述另一视频单元确定的所述最大数目，并且N是为所述视频单元确定的最大数目。
8.根据权利要求1-2中任一项所述的方法，其中，所述视频单元的所述最大数目是基于用于分割所述视频单元的分割结构。
9.一种视频处理方法，包括：
对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对调色板模式编解码工具的使用来确定用于所述当前视频块的去方块处理的一个或多个编解码参数；以及
使用所述一个或多个编解码参数执行所述转换，
其中，所述规则规定，与用于其他编解码工具的参数不同地来推导使用调色板模式编解码工具编解码的视频块的一个或多个编解码参数，
其中，所述调色板模式编解码工具包括：
在编码期间，使用代表性样点值的调色板将所述当前视频块表示为所述编解码表示；或者
在解码期间，使用代表性样点值的调色板从所述编解码表示中重建所述当前视频块。
10.根据权利要求9所述的方法，其中，所述其他编解码工具包括帧内编解码模式或帧间编解码模式或帧内块复制编解码模式。
11.根据权利要求9-10中任一项所述的方法，其中，用于所述当前视频块的所述一个或多个参数包括边界强度值，所述边界强度值是基于是否使用所述调色板模式编解码所述当前视频块在P侧和Q侧上的相邻视频块而确定的。
12.根据权利要求11所述的方法，其中，由于使用所述调色板模式编解码P侧和Q侧视频块两者，所述边界强度等于零。
13.根据权利要求11所述的方法，其中，所述相邻视频块包括使用所述调色板模式编解码的第一视频块和未使用所述调色板模式编解码的第二视频块，并且其中所述边界强度仅取决于第二视频块的信息。
14.根据权利要求9-13中任一项所述的方法，其中，所述调色板模式对应于与帧内预测模式(PCIP)相结合的调色板模式、或复合调色板模式(CPM)。
15.一种视频处理方法，包括：
对于视频的当前视频块与所述视频的编解码表示之间的转换，根据规则基于所述当前视频块对复合调色板模式(CPM)编解码工具的使用来确定用于应用到所述当前视频块的去方块处理的一个或多个参数；以及
使用所述一个或多个参数执行所述转换，并且
其中，所述规则规定所述编解码表示包括使用语法元素的所述一个或多个参数的指示，所述语法元素与用于使用另一编解码模式编解码的相邻视频块的语法元素相同，并且
其中，所述CPM编解码工具包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块。
16.根据权利要求15所述的方法，其中，所述另一编解码模式对应于调色板模式。
17.根据权利要求15所述的方法，其中，所述另一编解码模式对应于帧内块复制模式。
18.一种用于视频处理方法，包括：
对于视频的当前视频块和所述视频的编解码表示之间的转换，基于规则、基于相邻视频块的编解码模式来确定用于应用至所述当前视频块的去方块处理的参数；以及
基于所述确定执行所述转换，并且
其中，所述规则规定对于使用与帧内预测模式组合的调色板模式(PCIP)或另一种编解码模式编解码所述相邻视频块的情形使用相同的参数，并且
其中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用与所述当前视频块相关联的调色板信息来细化所述预测块。
19.根据权利要求18所述的方法，其中，所述另一编解码模式对应于调色板模式，其中，使用代表性样点值的调色板来表示或重建所述当前视频块。
20.根据权利要求18所述的方法，其中，所述另一编解码模式对应于帧内块复制模式。
21.一种用于视频处理方法，包括：
在视频的当前视频块和所述视频的编解码表示之间执行转换，
其中，根据编解码模式在所述编解码表示中表示所述当前视频块，所述编解码模式是调色板编解码模式、或与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)；
其中，所述编解码表示包括所述当前视频块的标志，所述标志根据规则指示所述当前视频块是否具有非零系数；
其中，所述规则规定，所述标志具有根据所述编解码模式或所述当前视频块的所述编解码表示中的逃逸像素的存在的值，
其中，所述调色板编解码模式包括使用代表性样点值的调色板来表示或重建所述当前视频块，
其中，所述CPM包括通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前视频块，以及
其中，所述PCIP包括使用帧内预测来推导所述当前视频块的预测块，以及使用调色板信息来细化所述预测块。
22.根据权利要求21所述的方法，其中，所述标志的值为0或1。
23.根据权利要求21所述的方法，其中，所述标志的值取决于对应的视频块是否具有逃逸像素。
24.一种视频处理方法，包括：
对于包括多个视频块的视频和所述视频的编解码表示之间的转换，基于所述多个视频块中与编解码模式相关的每个视频块的条件，确定去方块处理对所述多个视频块中的每个视频块的适用性，所述编解码模式使用代表性值的调色板来编解码对应的视频块，其中，所述编解码模式包括调色板模式、与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)；以及
基于所述确定执行所述转换，并且
其中，所述调色板模式适用于所述对应的视频块使用分量值的调色板编解码所述对应的视频块的像素，并且
其中，所述PCIP适用于所述对应的视频块使用帧内预测推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，并且
其中，所述CPM适用于所述对应的视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
25.根据权利要求24所述的方法，其中，确定所述适用性确定所述去方块处理不适用于使用所述与帧内预测模式相结合的调色板模式(PCIP)或所述复合调色板(CPM)编解码的P侧块或Q侧块。
26.根据权利要求24所述的方法，其中，确定所述适用性包括：在未使用所述与帧内预测模式相结合的调色板模式(PCIP)或所述复合调色板(CPM)编解码Q侧块的情形下，确定所述去方块处理不适用于使用所述PCIP和所述CPM编解码的P侧块。
27.根据权利要求24所述的方法，其中，确定所述适用性包括：在未使用所述与帧内预测模式相结合的调色板模式(PCIP)或所述复合调色板(CPM)编解码P侧块的情形下，确定所述去方块处理不适用于使用所述PCIP或所述CPM编解码的Q侧块。
28.根据权利要求24所述的方法，其中，确定所述适用性包括：确定所述去方块处理适用于从使用复合调色板模式(CPM)编解码的视频块的帧内块复制(IBC)中复制的样点。
29.根据权利要求24所述的方法，其中，确定所述适用性包括：确定所述去方块处理适用于从使用与帧内预测模式相结合的调色板模式(PCIP)编解码的视频块的帧内预测中复制的样点。
30.一种视频处理方法，包括：
在使用复合调色板模式(CPM)编解码的当前视频块和所述当前视频块的编解码表示之间执行转换，
其中，所述编解码表示包括在视频区域级别的所述CPM的指示，所述CPM的指示与适用于所述视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示分开，并且
其中，所述CPM允许通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相组合来重建所述当前视频块中的样点。
31.根据权利要求30所述的方法，其中，所述视频区域对应于变换单元或预测单元或编解码块单元。
32.根据权利要求30-31中的任一项所述的方法，其中，所述编解码表示在适用于所述视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示之后包括所述CPM的指示。
33.根据权利要求30-31中的任一项所述的方法，其中，基于所述当前视频块的预测模式包括所述CPM的指示。
34.根据权利要求33所述的方法，其中，对于不是帧内块复制模式的所述预测模式，包括所述CPM的指示。
35.一种视频处理方法，包括：
在视频的颜色分量的当前视频块和所述当前视频块的编解码表示之间执行转换，其中，使用包括与帧内预测模式相结合的调色板模式(PCIP)、或复合调色板模式(CPM)的编解码模式来编解码所述当前视频块，
其中，基于所述视频的颜色分量的特性、或用于所述当前视频块的分割结构或平面编解码，在所述编解码表示中选择性地包括与所述编解码模式相关的语法元素，并且
其中，所述PCIP适用于所述当前视频块使用帧内预测来推导所述对应的视频块的预测块，并且使用调色板信息来细化所述预测块，并且
其中，所述CPM适用于所述当前视频块通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述对应的视频块内的样点。
36.根据权利要求35所述的方法，其中在所述当前视频块对应于色度分量并且所述当前视频块具有单树分割结构的情形下，不包括所述语法元素。
37.根据权利要求35所述的方法，其中在所述当前视频块对应于色度分量并且所述当前视频块具有双树分割结构的情形下，包括所述语法元素。
38.根据权利要求35所述的方法，其中在所述当前视频块对应于色度分量并且所述当前视频块具有4：0：0颜色格式的情形下，不包括所述语法元素。
39.一种视频处理方法，包括：
在视频的当前色度块和所述视频的编解码表示之间执行转换，其中，使用编解码模式来编解码所述当前色度块，以及
其中，基于与所述当前色度块相对应的亮度块的一个或多个所选区域的编解码信息，所述编解码表示选择性地包括所述编解码模式的指示。
40.根据权利要求39所述的方法，其中，所述编解码模式是复合调色板模式(CPM)，其允许通过将代表性条目的调色板的使用与通过帧内块复制模式推导的一个或多个样点相结合来表示或重建所述当前色度块中的样点。
41.根据权利要求39所述的方法，其中，所述编解码模式是与帧内预测模式相结合的调色板模式(PCIP)，其允许使用帧内预测来推导所述色度块的预测块，并且使用与所述当前色度块相关联的调色板信息来细化所述预测块。
42.根据权利要求39所述的方法，其中，由于使用帧内块复制模式对所述一个或多个所选区域中的至少一个区域进行编解码，所述编解码表示包括所述编解码模式的指示。
43.根据权利要求39所述的方法，其中，由于使用帧内块复制模式对所述一个或多个所选区域中的所有区域进行编解码，所述编解码表示包括所述编解码模式的指示。
44.根据权利要求39所述的方法，其中，由于没有使用帧内块复制模式对所述一个或多个所选区域的至少一个区域进行编解码，所述编解码表示不包括所述编解码模式的指示。
45.根据权利要求39所述的方法，其中，由于没有使用帧内块复制模式对所述一个或多个所选区域的所有区域进行编解码，所述编解码表示不包括所述编解码模式的指示。
46.根据权利要求39所述的方法，其中，所选区域具有与用于运动或模式的编解码单元或预测单元或变换单元或存储单元的最小尺寸相对应的尺寸。
47.根据权利要求39所述的方法，其中，所选区域对应于覆盖所述对应的亮度块的特定位置的编解码单元或预测单元或变换单元。
48.一种视频处理方法，包括：
在包括多个视频块的视频图片和所述视频图片的编解码表示之间执行转换，并且
其中，使用编解码模式来编解码视频块，所述编解码模式使用代表性值的调色板来编解码所述视频块，并且基于应用于所述当前视频块的一个或多个预测模式的值来信令通知所述编解码模式的语法元素。
49.根据权利要求48所述的方法，其中，所述编解码模式对应于复合调色板模式(CPM)、与帧内预测模式相结合的调色板模式(PCIP)、或其它调色板相关的方法。
50.根据权利要求48所述的方法，其中，所述一个或多个预测模式包括用于帧内条带或I图片或P和/或B图片或帧内片组的帧内模式、帧间模式、帧内块复制、调色板模式和CPM模式中的至少两种。
51.根据权利要求48所述的方法，其中，所述一个或多个预测模式的类型包括帧间模式，并且其中跳过与所述调色板模式相关的语法元素的信令。
52.根据权利要求49所述的方法，其中，基于所述一个或多个预测模式的值来选择性地信令通知所述编解码表示中的所述CPM模式的所述语法元素。
53.根据权利要求52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，并且其中跳过所述语法元素的信令。
54.根据权利要求52所述的方法，其中，所述一个或多个预测模式的类型包括跳过模式，并且其中由于所述一个或多个预测模式的类型是所述跳过模式，跳过所述语法元素的信令。
55.根据权利要求52所述的方法，其中，所述一个或多个预测模式的类型包括调色板模式，并且其中信令通知所述语法元素。
56.根据权利要求52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，帧间模式或帧内块复制模式，并且其中信令通知所述语法元素。
57.根据权利要求52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，但是不包括脉冲编解码调制(PCM)模式，并且其中信令通知所述语法元素。
58.根据权利要求52所述的方法，其中，所述一个或多个预测模式的类型包括调色板模式，并且其中在脉冲编解码调制(PCM)模式的使用指示之前或之后信令通知所述语法元素。
59.根据权利要求52所述的方法，其中，所述一个或多个预测模式的类型包括帧内模式，并且其中信令通知所述语法元素。
60.根据权利要求52所述的方法，其中所述一个或多个预测模式的类型包括调色板模式、帧间模式或帧内模式，并且其中跳过所述语法元素的信令。
61.一种视频处理方法，包括：
在当前视频块的第一编解码表示与使用复合调色板模式(CPM)编解码的所述当前视频块之间执行第一转换，所述CPM模式允许通过选择性使用代表性条目的调色板来重建所述当前视频块中的样点，其中所述当前视频块具有与所述当前视频块相关联的运动矢量；以及
在下一视频块和所述下一视频块的第二编解码表示之间执行第二转换，其中在所述第二转换期间，与所述当前视频块相关联的运动信息被用于预测所述下一视频块的运动信息。
62.根据权利要求61所述的方法，其中，所述运动预测被用作所述第二转换的Merge候选。
63.根据权利要求61所述的方法，其中，所述运动预测在所述第二转换期间被用作基于历史运动矢量预测(HMVP)。
64.根据权利要求61所述的方法，其中，所述运动预测被用作所述第二转换的高级运动矢量预测(AMVP)候选。
65.根据权利要求61所述的方法，其中，在所述第一转换之后，不允许基于历史运动矢量预测(HMVP)表的更新处理，所述HMVP表包括与一个或多个先前编解码的块的运动信息相对应的一个或多个条目。
66.根据权利要求61所述的方法，其中，不允许将所述当前视频块的运动矢量(bv)用作所述第二转换的运动预测。
67.一种视频处理方法，包括：
在当前视频块的第一编解码表示和使用与帧内预测模式相结合的调色板模式(PCIP)编解码的当前视频块之间执行第一转换，所述PCIP模式允许使用帧内预测来推导所述当前视频块的预测块，并且允许使用调色板信息细化当前预测块，其中所述当前视频块具有与所述当前视频块相关联的帧内预测方向；以及
在下一视频块和所述下一视频块的第二编解码表示之间执行第二转换，其中在第二转换期间，所述当前视频块的帧内模式被用作所述下一视频块的帧内模式预测因子。
68.根据权利要求67所述的方法，其中，在所述第二转换期间，与所述当前视频块相关联的所述帧内预测方向被用作最可能的模式候选。
69.根据权利要求67所述的方法，其中，在所述第二转换期间，与所述当前视频块相关联的所述帧内预测方向不允许被用作最可能的模式候选。
70.一种视频处理方法，包括：
由于与调色板相关的编解码模式的使用，在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定禁止使用缩放矩阵；以及
基于禁止使用所述缩放矩阵的所述确定来执行所述转换。
71.一种视频处理方法，包括：
由于与调色板相关的编解码模式的使用，在包括一个或多个视频块的视频图片和所述视频图片的编解码表示之间的转换期间，确定允许使用缩放矩阵；以及
基于允许使用所述缩放矩阵的所述确定来执行所述转换。
72.根据权利要求1所述的方法，其中，与所述调色板相关的编解码模式对应于调色板模式，复合调色板模式(CPM)或与帧内预测模式相结合的调色板模式(PCIP)。
73.根据权利要求1至72中任一项所述的方法，其中，在确定正执行所述转换的所述视频的特性时，应用所述方法。
74.根据权利要求73所述的方法，其中，所述视频的所述特性包括所述视频的内容类型。
75.根据权利要求73所述的方法，其中，所述视频的所述特性包括编解码单元、预测单元、变换单元或所述当前视频块的位置。
76.根据权利要求73所述的方法，其中，所述视频的所述特性包括用于所述转换的所述当前视频块或相邻块的块维度和/或块形状。
77.根据权利要求73所述的方法，其中，所述视频的所述特性包括所述当前视频块或相邻块的预测模式和/或帧内模式。
78.根据权利要求73所述的方法，其中，所述视频的所述特性包括所述当前视频块或相邻块的运动矢量和/或块矢量。
79.根据权利要求73所述的方法，其中，所述视频的所述特性包括所述视频的颜色格式或颜色分量。
80.根据权利要求73所述的方法，其中，所述视频的所述特性包括应用于所述当前视频块的编解码树结构。
81.根据权利要求1-80中任一项所述的方法，其中，所述转换包括从所述编解码表示生成所述视频区域的像素值。
82.根据权利要求1-80中任一项所述的方法，其中，所述转换包括从所述视频区域的像素值生成所述比特流表示。
83.一种视频处理装置，包括处理器，所述处理器被配置成实现根据权利要求1至82中的任一项或多项所述的方法。
84.一种计算机可读介质，其存储程序代码，所述代码在执行时使处理器实现根据权利要求1至82中任一项或多项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019089506 | 2019-05-31 | ||
| CNPCT/CN2019/089506 | 2019-05-31 | ||
| PCT/US2020/034913 WO2020243295A1 (en) | 2019-05-31 | 2020-05-28 | Palette mode with intra block copy prediction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113906758A true CN113906758A (zh) | 2022-01-07 |
Family
ID=73553923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080040060.XA Pending CN113906758A (zh) | 2019-05-31 | 2020-05-28 | 调色板模式与帧内块复制预测 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11765367B2 (zh) |
| EP (1) | EP3954125A4 (zh) |
| JP (1) | JP7436519B2 (zh) |
| KR (1) | KR20220013938A (zh) |
| CN (1) | CN113906758A (zh) |
| WO (1) | WO2020243295A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020264456A1 (en) | 2019-06-28 | 2020-12-30 | Bytedance Inc. | Chroma intra mode derivation in screen content coding |
| US11627327B2 (en) * | 2019-08-05 | 2023-04-11 | Qualcomm Incorporated | Palette and prediction mode signaling |
| WO2021040319A1 (ko) * | 2019-08-23 | 2021-03-04 | 엘지전자 주식회사 | 비디오/영상 코딩 시스템에서 라이스 파라미터 도출 방법 및 장치 |
| CN114930833A (zh) * | 2019-10-10 | 2022-08-19 | 北京达佳互联信息技术有限公司 | 使用调色板模式的视频编解码的方法和装置 |
| CN116418983B (zh) | 2019-12-30 | 2023-10-31 | 阿里巴巴（中国）有限公司 | 用于在调色板模式下对视频数据进行编码的方法和装置 |
| CN113220752A (zh) | 2021-05-06 | 2021-08-06 | 北京字跳网络技术有限公司 | 展示方法、装置和电子设备 |
| CN117769836A (zh) * | 2021-07-01 | 2024-03-26 | 抖音视界有限公司 | 用于视频处理的方法、设备和介质 |
| US20230132329A1 (en) * | 2021-10-21 | 2023-04-27 | Tencent America LLC | Interdependence Between Adaptive Resolution of Motion Vector Difference and Signaling/Derivation of Motion Vector-Related Parameters |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2557792A4 (en) | 2010-04-09 | 2014-08-13 | Mitsubishi Electric Corp | VIDEO CODING DEVICE AND VIDEO CODING DEVICE |
| US20130294524A1 (en) | 2012-05-04 | 2013-11-07 | Qualcomm Incorporated | Transform skipping and lossless coding unification |
| WO2015139040A2 (en) | 2014-03-14 | 2015-09-17 | Vid Scale, Inc. | Palette coding for screen content coding |
| US9826242B2 (en) * | 2014-03-14 | 2017-11-21 | Qualcomm Incorporated | Palette-based video coding |
| BR112016021529B1 (pt) | 2014-03-27 | 2023-02-28 | Microsoft Technology Licensing, Llc | Dispositivo de computação, método e meio legível por computador para ajuste de quantização/escalada e quantização/escalada inversa ao alternar áreas de cor |
| US10264285B2 (en) * | 2014-05-22 | 2019-04-16 | Qualcomm Incorporated | Coding runs in palette-based video coding |
| US9900617B2 (en) | 2014-06-20 | 2018-02-20 | Qualcomm Incorporated | Single color palette mode in video coding |
| CN105874795B (zh) | 2014-09-30 | 2019-11-29 | 微软技术许可有限责任公司 | 在波前并行处理被启用时对图片内预测模式的规则 |
| EP3723378A1 (en) | 2014-10-06 | 2020-10-14 | VID SCALE, Inc. | Improved palette coding for screen content coding |
| KR102144154B1 (ko) * | 2014-11-12 | 2020-08-13 | 에이치에프아이 이노베이션 인크. | 인덱스 맵 코딩에서의 이스케이프 픽셀 코딩의 방법들 |
| KR101981725B1 (ko) * | 2014-12-19 | 2019-05-23 | 에이치에프아이 이노베이션 인크. | 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법 |
| CN107211147A (zh) | 2015-01-14 | 2017-09-26 | Vid拓展公司 | 用于非4：4：4屏幕内容视频的调色板编码 |
| WO2016123262A1 (en) | 2015-01-29 | 2016-08-04 | Vid Scale, Inc. | Escape color coding for palette coding mode |
| US9986248B2 (en) | 2015-01-29 | 2018-05-29 | Qualcomm Incorporated | Palette mode coding for video coding |
| CN107431817B (zh) | 2015-01-29 | 2020-03-24 | Vid拓展公司 | 用于调色板译码的方法及装置 |
| CN107409227B (zh) | 2015-03-20 | 2020-01-21 | 联发科技（新加坡）私人有限公司 | 视频编解码方法及装置 |
| JP2018514142A (ja) | 2015-04-08 | 2018-05-31 | 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． | ビデオ符号化におけるパレットモードコンテキスト符号化、および、２値化の方法 |
| KR102583501B1 (ko) | 2015-04-27 | 2023-09-27 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 이를 위한 장치 |
| WO2016190627A1 (ko) * | 2015-05-27 | 2016-12-01 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| US10574993B2 (en) | 2015-05-29 | 2020-02-25 | Qualcomm Incorporated | Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design |
| EP3308540B1 (en) | 2015-06-09 | 2020-04-15 | Microsoft Technology Licensing, LLC | Robust encoding/decoding of escape-coded pixels in palette mode |
| US10097842B2 (en) | 2015-09-18 | 2018-10-09 | Qualcomm Incorporated | Restriction of escape pixel signaled values in palette mode video coding |
| EP3446480A1 (en) | 2016-04-22 | 2019-02-27 | VID SCALE, Inc. | Prediction systems and methods for video coding based on filtering nearest neighboring pixels |
| US11722677B2 (en) | 2016-05-06 | 2023-08-08 | Interdigital Madison Patent Holdings, Sas | Method and system for decoder-side intra mode derivation for block-based video coding |
| ES2935261T3 (es) * | 2016-05-28 | 2023-03-03 | Hfi Innovation Inc | Método y aparato de codificación de modo de paleta para datos de video de color |
| EP3516869B1 (en) | 2016-10-04 | 2022-06-08 | HFI Innovation Inc. | Method and apparatus for intra chroma coding in image and video coding |
| US11025903B2 (en) | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
| US11310517B2 (en) | 2017-12-07 | 2022-04-19 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding using selective information sharing between channels |
| US20190246122A1 (en) | 2018-02-08 | 2019-08-08 | Qualcomm Incorporated | Palette coding for video coding |
| US10694195B2 (en) * | 2018-03-07 | 2020-06-23 | Tencent America LLC | Methods and apparatus for palette coding |
| US11025905B2 (en) * | 2018-09-14 | 2021-06-01 | Tencent America LLC | Method and device for decoding with palette mode |
| US11044492B2 (en) | 2019-02-24 | 2021-06-22 | Tencent America LLC | Residual coding for transform skip mode and block differential pulse-code modulation |
| US11368721B2 (en) | 2019-04-30 | 2022-06-21 | Tencent America LLC | Method and apparatus for interaction between intra prediction mode and block differential pulse-code modulation mode |
| US20200404324A1 (en) | 2019-06-19 | 2020-12-24 | Qualcomm Incorporated | Signaling for intra coding of video data |
| US11330298B2 (en) | 2019-06-25 | 2022-05-10 | Qualcomm Incorporated | Simplified intra chroma mode coding in video coding |
| WO2020264456A1 (en) | 2019-06-28 | 2020-12-30 | Bytedance Inc. | Chroma intra mode derivation in screen content coding |
| CN114026859B (zh) | 2019-06-28 | 2024-06-14 | 字节跳动有限公司 | 在变换跳过模式中修改量化参数的技术 |
| US11218700B2 (en) | 2019-07-01 | 2022-01-04 | Qualcomm Incorporated | Minimum allowed quantization parameter for transform skip mode and palette mode in video coding |
-
2020
- 2020-05-28 WO PCT/US2020/034913 patent/WO2020243295A1/en unknown
- 2020-05-28 KR KR1020217038217A patent/KR20220013938A/ko not_active Application Discontinuation
- 2020-05-28 JP JP2021569246A patent/JP7436519B2/ja active Active
- 2020-05-28 EP EP20814223.2A patent/EP3954125A4/en active Pending
- 2020-05-28 CN CN202080040060.XA patent/CN113906758A/zh active Pending
-
2021
- 2021-10-15 US US17/502,280 patent/US11765367B2/en active Active
-
2023
- 2023-09-18 US US18/469,230 patent/US20240022741A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3954125A1 (en) | 2022-02-16 |
| EP3954125A4 (en) | 2022-06-22 |
| US20220046255A1 (en) | 2022-02-10 |
| KR20220013938A (ko) | 2022-02-04 |
| US20240022741A1 (en) | 2024-01-18 |
| US11765367B2 (en) | 2023-09-19 |
| WO2020243295A1 (en) | 2020-12-03 |
| JP2022532800A (ja) | 2022-07-19 |
| JP7436519B2 (ja) | 2024-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114026859B (zh) | 在变换跳过模式中修改量化参数的技术 | |
| CN114208174B (zh) | 预测过程中的调色板模式编解码 | |
| CN113906758A (zh) | 调色板模式与帧内块复制预测 | |
| KR102684993B1 (ko) | 화면 콘텐츠 코딩에서의 크로마 인트라 모드 도출 | |
| CN114145013B (zh) | 调色板模式编解码的模式确定 | |
| CN114145018B (zh) | 调色板模式的量化处理 | |
| CN113475077B (zh) | 调色板模式使用指示的独立编解码 | |
| CN113475062A (zh) | 确定屏幕内容编解码的条件 | |
| CN113615188B (zh) | 调色板模式使用指示的联合编解码 | |
| CN113678448B (zh) | 调色板模式编码的条目构造 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |