Nothing Special   »   [go: up one dir, main page]

CN108028923B - 视频编码系统中的帧内预测方法和设备 - Google Patents

视频编码系统中的帧内预测方法和设备 Download PDF

Info

Publication number
CN108028923B
CN108028923B CN201680052665.4A CN201680052665A CN108028923B CN 108028923 B CN108028923 B CN 108028923B CN 201680052665 A CN201680052665 A CN 201680052665A CN 108028923 B CN108028923 B CN 108028923B
Authority
CN
China
Prior art keywords
prediction
samples
intra
sample
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680052665.4A
Other languages
English (en)
Other versions
CN108028923A (zh
Inventor
孙银庸
朴胜煜
全勇俊
许镇
具文模
柳先美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108028923A publication Critical patent/CN108028923A/zh
Application granted granted Critical
Publication of CN108028923B publication Critical patent/CN108028923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的一种帧内预测方法包括以下步骤：从比特流获取帧内预测模式信息；导出当前块的相邻样本；基于所述帧内预测模式信息确定用于所述当前块的帧内预测模式；基于所述帧内预测模式和所述相邻样本导出所述当前块的预测样本；基于所述帧内预测模式确定用于所述预测样本的滤波参考样本；以及通过基于所述滤波参考样本对所述预测样本应用滤波来导出滤波后的预测样本。根据本发明，可根据帧内预测模式对预测样本进行自适应滤波，并且可改进帧内预测性能。

Description

视频编码系统中的帧内预测方法和设备
技术领域
本发明涉及视频编码技术，更具体地，涉及视频编码系统中的帧内预测方法和设备。
背景技术
在各个领域中对于诸如HD(高清晰度)图像和UHD(超高清晰度)图像这样的高分辨率、高质量图像的需求不断增加。随着图像数据具有高分辨率和高质量，相对于传统图像数据来说，要发送的信息或比特的量增加。因此，当使用诸如常规有线/无线宽带线这样的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要用于有效地发送、存储并重现高分辨率和高质量图像的信息的非常高效率的图像压缩技术。
发明内容
技术问题
本发明的一个目的在于提供一种用于提高帧间预测效率的方法和设备。
本发明的另一目的在于提供一种用于对帧内预测样本应用滤波的方法和设备。
本发明的又一目的在于提供一种用于根据帧内预测模式来自适应地导出滤波器的类型和/或滤波器系数的方法和设备。
本发明的又一目的在于提供一种用于根据预测样本的位置来自适应地导出滤波器的类型和/或滤波器系数的方法和设备。
技术方案
根据本发明的一个实施方式，提供了一种由解码设备执行的帧内预测方法。该帧内预测方法包括以下步骤：从比特流获取帧内预测模式信息；导出当前块的相邻样本；基于所述帧内预测模式信息确定用于所述当前块的帧内预测模式；基于所述帧内预测模式和所述相邻样本导出所述当前块的预测样本；基于所述帧内预测模式确定用于所述预测样本的滤波参考样本；以及基于所述滤波参考样本对所述预测样本应用滤波以导出滤波后的预测样本。
根据本发明的另一实施方式，提供了一种由编码设备执行的帧内预测方法。该帧内预测方法包括以下步骤：导出当前块的相邻样本；确定用于所述当前块的帧内预测模式；基于所述帧内预测模式和所述相邻样本导出所述当前块的预测样本；基于所述帧内预测模式确定用于所述预测样本的滤波参考样本；基于所述滤波参考样本对所述预测样本应用滤波以导出滤波后的预测样本；以及对指示所述帧内预测模式的帧内预测模式信息进行编码并输出所述帧内预测模式信息。
根据本发明的另一实施方式，提供了一种执行帧内预测方法的解码设备。该解码设备包括：熵解码器，所述熵解码器被配置为从比特流获取帧内预测模式信息；以及预测器，所述预测器被配置为导出当前块的相邻样本，基于所述帧内预测模式信息确定用于所述当前块的帧内预测模式，基于所述帧内预测模式和所述相邻样本导出所述当前块的预测样本，基于所述帧内预测模式确定用于所述预测样本的滤波参考样本，并且基于所述滤波参考样本对所述预测样本应用滤波以导出滤波后的预测样本。
根据本发明的另一实施方式，提供了一种执行帧内预测方法的编码设备。该编码设备包括：预测器，所述预测器被配置为导出当前块的相邻样本，确定用于所述当前块的帧内预测模式，基于所述帧内预测模式和所述相邻样本导出所述当前块的预测样本，基于所述帧内预测模式确定用于所述预测样本的滤波参考样本，并且基于所述滤波参考样本对所述预测样本应用滤波以导出滤波后的预测样本；以及熵编码器，所述熵编码器被配置为对指示所述帧内预测模式的帧内预测模式信息进行编码并输出所述帧内预测模式信息。
有益效果
根据本发明，能够根据帧内预测模式自适应地对预测样本进行滤波并且改进帧内预测性能。
根据本发明，能够根据帧内预测模式所属的类别将使用各种滤波器模式的滤波应用于预测样本，并且根据预测样本位置自适应地确定滤波强度。
因此，根据本发明，能够在使附加辅助信息的传输最小化的同时改进帧内预测性能，因此减少残差信号所需的数据量并提高整体编码效率。
附图说明
图1是例示可应用本发明的视频编码设备的配置的示意图。
图2是例示可应用本发明的视频解码设备的配置的示意图。
图3例示了根据本发明的帧内预测模式。
图4例示了具有水平预测方向的帧内定向模式被应用于当前块的情况。
图5例示了帧内定向模式被等分为四种类别的示例。
图6例示了H-32至H+32和V-32至V+32位移与帧内定向模式之间的对应关系。
图7例示了根据类别的滤波器模式。
图8例示了当前块的边界附近样本与内部样本之间的区别的示例。
图9示意性地例示了根据本发明的编码设备的帧内预测方法的示例。
图10示意性地例示了根据本发明的解码设备的帧内预测方法的示例。
具体实施方式
本发明可按照各种形式进行修改，并且将在附图中描述和说明本发明的具体实施方式。然而，这些实施方式并不旨在限制本发明。以下描述中使用的术语仅用于描述具体实施方式，而不旨在限制本发明。单数的表达包括复数的表达，只要它被明显清楚地读出。诸如“包括”和“具有”这样的术语旨在指示存在在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解的是，不排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性
另一方面，出于便于解释不同的特定功能的目的，独立绘制出本发明中描述的附图中的元件，而并不意味着这些元件由独立的硬件或独立的软件来实现。例如，可将这些元件中的两个或更多个元件组合以形成单个元件，或者可将一个元件划分成多个元件。在不脱离本发明的构思的情况下，将元件组合和/或划分的实施方式属于本发明。
在下文中，将参照附图详细地描述本发明的实施方式。此外，在整个附图中，相同的附图标记被用于指示相同的元件，并且将省略对相同元件的相同描述。
在本说明书中，通常，图片意指表示特定时间处的图像的单元，片(slice)是构成图片的一部分的单元。一张图片可由多个片组成，并且图片和片的术语可根据需要彼此混合。
像素或pel可意指构成一张图片(或图像)的最小单元。此外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素的值，可仅表示亮度分量的像素(像素值)，并且可仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单元。单元可包括特定区域和与该区域有关的信息中的至少一个。可选地，单元可与诸如块、区域等的术语混合。在典型情况下，M×N块可表示以M列和N行排列的样本或变换系数的集合。
图1简要例示了可应用本发明的视频编码设备的结构。
参照图1，视频编码设备100包括图片分割器105、预测器110、减法器115、变换器120、量化器125、重新排列器130、熵编码器135、反量化器140、逆变换器145、加法器150、滤波器255和存储器160。
图片分割器105可将输入图片分割成至少一个处理单元。这里，处理单元可以是编码单元(CU)、预测单元(PU)或变换单元(TU)。编码单元是编码的单元块，并且最大编码单元(LCU)可根据四叉树结构被分割为更深深度的编码单元。在这种情况下，最大编码单元可被用作最终编码单元，或者编码单元可根据需要被递归地分割成更深深度的编码单元，并且具有最佳大小的编码单元可根据视频特性在编码效率的基础上用作最终编码单元。当设置了最小编码单元(SCU)时，编码单元不能被分割成比最小编码单元小的编码单元。这里，最终编码单元是指被划分或分割成预测单元或变换单元的编码单元。预测单元是从编码单元块划分的块，并且可以是样本预测的单元块。这里，预测单元可被划分成子块。变换块可根据四叉树结构从编码单元块分割，并且可以是导出变换系数的单元块和/或从变换系数导出残差信号的单元块。
在下文中，编码单元可被称为编码块(CB)，预测单元可被称为预测块(PB)，并且变换单元可被称为变换块(TB)。
预测块或预测单元可意指图片中的具有块形状的特定区域，并且可包括预测样本的阵列。此外，变换块或变换单元可意指图片中的具有块形状的特定区域，并且可包括变换系数或残差样本的阵列。
预测器110可对处理目标块(在下文中，当前块)执行预测，并且可生成包括当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可确定向当前块应用帧内预测还是应用帧间预测。例如，预测器110可确定以CU为单位应用帧内预测还是应用帧间预测。
在帧内预测的情况下，预测器110可基于当前块所属的图片(在下文中，当前图片)中的当前块外部的参考样本来导出用于当前块的预测样本。在这种情况下，预测器110可基于当前块的相邻参考样本的平均值或插值导出预测样本(情况(i))，或者可基于在关于当前块的相邻参考样本当中的预测样本的特定(预测)方向上存在的参考样本导出预测样本(情况(ii))。情况(i)可被称为非定向模式或非角度模式，而情况(ii)可被称为定向模式或角度模式。在帧内预测中，预测模式可包括例如33种定向模式和至少两种非定向模式。非定向模式可包括DC模式和平面模式。预测器110可通过使用应用于相邻块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可基于由参考图片上的运动向量指定的样本来导出用于当前块的预测样本。预测器110可通过应用跳过模式、合并模式和运动向量预测(MVP)模式中的任何一种来导出用于当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可使用相邻块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，预测样本与原始样本之间的差异(残差)不被发送。在MVP模式的情况下，相邻块的运动向量被用作运动向量预测子(motion vector predictor)，并因此被用作当前块的运动向量预测子以导出当前块的运动向量。
在帧间预测的情况下，相邻块可包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括时间相邻块的参考图片也可被称为并置图片(colPic)。运动信息可包括运动向量和参考图片索引。诸如预测模式信息和运动信息这样的信息可被(熵)编码，然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间相邻块的运动信息时，可将参考图片列表中的最高图片用作参考图片。包括在参考图片列表中的参考图片可基于当前图片与对应的参考图片之间的图片序列号(POC)差来对齐。POC与显示顺序对应并且可以与编码顺序相区分。
减法器115生成作为原始样本与预测样本之间的差异的残差样本。如果应用跳过模式，则不会生成如上所述的残差样本。
变换器120以变换块为单位对残差样本进行变换以生成变换系数。变换器120可基于对应变换块的大小和应用于与该变换块在空间上交叠的编码块或预测块的预测模式来执行变换。例如，残差样本可以在将帧内预测应用于与变换块交叠的编码块或预测块并且变换块是4×4残差阵列的情况下使用离散正弦变换(DCT)来进行变换，而在其它情况下使用离散余弦变换(DST)来进行变换。
量化器125可对变换系数进行量化以生成量化后的变换系数。
重新排列器130对量化后的变换系数进行重新排列。重新排列器130可通过系数扫描方法将量化后的变换系数以块的形式重新排列为一维向量。虽然重新排列器130被描述为单独的组件，但是重新排列器130可以是量化器125的一部分。
熵编码器135可对量化后的变换系数执行熵编码。熵编码可包括编码方法，例如，指数Golomb、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了量化后的变换系数之外，熵编码器135可以对视频重构所需的信息(例如，语法元素值等)一起或单独地执行编码。熵编码后的信息可按照比特流形式来发送或者存储在网络抽象层(NAL)的单元中。
反量化器140对由量化器125量化的值(变换系数)进行反量化，并且逆变换器145对由反量化器135反量化的值进行逆变换以生成残差样本。
加法器150将残差样本添加到预测样本以重构图片。可按块为单位将残差样本添加到预测样本以生成重构块。尽管加法器150被描述为单独的组件，但是加法器150可以是预测器110的一部分。
滤波器155可将去块滤波和/或样本自适应偏移应用于重构图片。可通过去块滤波和/或样本自适应偏移来校正重构图片中的块边界处的伪像(artifact)或量化失真。可在完成去块滤波之后以样本为单位应用样本自适应偏移。滤波器155可将自适应环路滤波(ALF)应用于重构图片。可将ALF应用于已经应用了去块滤波和/或样本自适应偏移的重构图片。
存储器160可存储重构图片或编码/解码所需的信息。这里，重构图片可以是由滤波器155滤波的重构图片。所存储的重构图片可用作用于其它图片的(帧间)预测的参考图片。例如，存储器160可存储用于帧间预测的(参考)图片。这里，可根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2简要例示了可应用本发明的视频解码设备的结构。
参照图2，视频解码设备200包括熵解码器210、重新排列器220、反量化器230、逆变换器240、预测器250、加法器260、滤波器270和存储器280。
当输入包括视频信息的比特流时，视频解码设备200可与在视频编码设备中处理视频信息的处理相关联地重构视频。
例如，视频解码设备200可通过使用在视频编码设备中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是编码单元块、预测单元块或变换单元块。作为解码的单元块，编码单元块可根据四叉树结构从最大编码单元块分割。作为从编码单元块划分出的块，预测单元块可以是样本预测的单元块。在这种情况下，预测单元块可被划分成子块。作为编码单元块，变换单元块可根据四叉树结构来分割，并且可以是用于导出变换系数的单元块或者用于从变换系数导出残差信号的单元块。
熵解码器210可对比特流进行解析以输出用于视频重构或图片重构所需的信息。例如，熵解码器210可基于诸如指数Golomb编码、CAVLC、CABAC等的编码方法对比特流中的信息进行解码，并且可输出用于视频重构所需的语法元素的值以及关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可接收与比特流中的每个语法元素对应的二进制(bin)，使用解码目标语法元素信息以及相邻块和解码目标块的解码信息或者前一步骤中解码的符号/二进制的信息来确定上下文模型，根据所确定的上下文模型预测二进制生成概率，并且执行二进制的算术解码以生成与每个语法元素值对应的符号。这里，CABAC熵解码方法可在确定上下文模型之后使用为下一符号/二进制的上下文模型解码的符号/二进制的信息来更新上下文模型。
在熵解码器210中解码的信息当中的关于预测的信息可被提供给预测器250，并且已经由熵解码器210执行了熵解码的残余值(即，量化后的变换系数)可被输入到重新排列器220。
重新排列器220可将量化后的变换系数重新排列成二维块形式。重新排列器220可执行与由编码设备执行的系数扫描对应的重新排列。尽管重新排列器220被描述为单独的组件，但是重新排列器220可以是量化器230的一部分。
反量化器230可基于(反)量化参数对量化后的变换系数进行反量化以输出变换系数。在这种情况下，可从编码设备用信号通知用于导出量化参数的信息。
逆变换器240可对变换系数进行逆变换以导出残差样本。
预测器250可对当前块执行预测，并且可生成包括当前块的预测样本的预测块。在预测器250中执行的预测的单元可以是编码块，或者可以是变换块或者可以是预测块。
预测器250可基于关于预测的信息来确定是应用帧内预测还是应用帧间预测。在这种情况下，用于确定将使用帧内预测和帧间预测之中的哪一种的单元可以与用于生成预测样本的单元不同。此外，用于生成预测样本的单元在帧间预测和帧内预测中也可不同。例如，可以以CU为单位确定将应用帧间预测和帧内预测之中的哪一种。此外，例如，在帧间预测中，可通过以PU为单位确定预测模式来生成预测样本，而在帧内预测中，可通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器250可基于当前图片中的相邻参考样本导出用于当前块的预测样本。预测器250可通过基于当前块的相邻参考样本应用定向模式或非定向模式来导出用于当前块的预测样本。在这种情况下，可通过使用相邻块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器250可根据运动向量基于参考图片中指定的样本来导出用于当前块的预测样本。预测器250可使用跳过模式、合并模式和MVP模式中的一种来导出用于当前块的预测样本。这里，可基于关于预测的信息获取或导出由视频编码设备提供的用于当前块的帧间预测所需的运动信息，例如，运动向量和关于参考图片索引的信息。
在跳过模式和合并模式中，相邻块的运动信息可被用作当前块的运动信息。这里，相邻块可包括空间相邻块和时间相邻块。
预测器250可使用可用相邻块的运动信息来构建合并候选列表并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动向量。合并索引可由编码设备用信号通知。运动信息可包括运动向量和参考图片。当在跳过模式和合并模式中使用时间相邻块的运动信息时，可将参考图片列表中的最高图片用作参考图片。
在跳过模式的情况下，区别于合并模式，不发送预测样本与原始样本之间的差异(残差)。
在MVP模式的情况下，可使用相邻块的运动向量作为运动向量预测子来导出当前块的运动向量。这里，相邻块可包括空间相邻块和时间相邻块。
当应用合并模式时，例如，可使用重构的空间相邻块的运动向量和/或与作为时间相邻块的并置块(Col block)对应的运动向量来生成合并候选列表。从合并候选列表中选择的候选块的运动向量在合并模式中被用作当前块的运动向量。上述关于预测的信息可包括指示从合并候选列表中所包括的候选块中选择的具有最佳运动向量的候选块的合并索引。这里，预测器250可使用合并索来引导出当前块的运动向量。
当作为另一示例应用MVP(运动向量预测)模式时，可使用重构的空间相邻块的运动向量和/或与作为时间相邻块的并置块对应的运动向量来生成运动向量预测子候选列表。也就是说，重构的空间相邻块的运动向量和/或与作为时间相邻块的Col块对应的运动向量可用作运动向量候选。上述关于预测的信息可包括指示从列表中所包括的运动向量候选中选择的最佳运动向量的预测运动向量索引。这里，预测器250可使用运动向量索引从运动向量候选列表中所包括的运动向量候选中选择当前块的预测运动向量。编码设备的预测器可获得当前块的运动向量与运动向量预测子之间的运动向量差(MVD)，对MVD进行编码并且以比特流的形式输出编码后的MVD。也就是说，可通过从当前块的运动向量中减去运动向量预测子来获得MVD。这里，预测器250可获取包括在关于预测的信息中的运动向量，并且通过将运动向量差与运动向量预测子相加来导出当前块的运动向量。此外，预测器可从上述关于预测的信息中获得或导出指示参考图片的参考图片索引。
加法器260可将残差样本与预测样本相加以重构当前块或当前图片。加法器260可通过以块为单位将残差样本与预测样本相加来重构当前图片。当应用跳过模式时，不发送残差，因此预测样本可成为重构样本。尽管加法器260被描述为单独的组件，但是加法器260可以是预测器250的一部分。
滤波器270可将去块滤波、样本自适应偏移和/或ALF应用于重构图片。这里，可在去块滤波之后以样本为单位应用样本自适应偏移。可在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器280可存储重构图片或解码所需的信息。这里，重构图片可以是由滤波器270滤波的重构图片。例如，存储器280可存储用于帧间预测的图片。这里，可根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可用作其它图片的参考图片。存储器280可按照输出顺序输出重构图片。
如上所述，在视频编码系统中，为了编码效率，可应用帧内预测或帧间预测。当应用帧内预测时，当前图片中的当前块的相邻样本可用作当前块的参考样本。在这种情况下，可根据当前块的帧内预测模式基于相邻参考样本导出当前块的预测样本。编码设备可基于与解码设备相关的率失真优化(RDO)和信号信息来确定帧内预测模式。
例如，帧内预测模式可包括以下35种预测模式。
[表1]
帧内预测模式 关联名称
0 平面内
1 DC内
2、…、34 帧内角度2、…、帧内角度34
这里，帧内预测模式#0指示平面内模式，帧内预测模式#1指示DC内模式。帧内预测模式#2至#34分别指示帧内角度2模式至帧内角度34模式。
这里，平面内模式和DC内模式可被称为内部非定向模式，而帧内角度2模式至帧内角度34模式可被称为内部定向模式。
图3例示了根据本发明的帧内预测模式。
参照图3，帧内预测模式#0和#1不具有方向性，并且可基于相邻样本的双向插值或相邻样本的平均值来导出预测样本。帧内预测模式#2至#34具有如图所示的方向性，并且可基于在预测样本的位置的基础上沿对应预测方向定位的相邻参考样本来导出预测样本。在这种情况下，如果在对应预测方向上不存在以整数样本为单位的相邻样本，则可通过在对应方向上的两个相邻整数样本的插值来生成分数样本，并且可基于分数样本导出预测样本。
当基于诸如帧内预测模式#2至#34这样的帧内定向模式对当前块执行帧内预测时，预测方向上的相邻预测样本具有统一的预测值，而在与预测方向不同的方向上的相邻样本具有不连续的预测值，因此可导出与原始图像不同的不正常的预测结果。
图4例示了具有水平预测方向的帧内定向模式被应用于当前块的示例性情况。
参照图4，使用相邻样本对当前块执行帧内预测。具体地，在当前块的帧内定向模式是水平模式(即，帧内预测模式#10)时，沿预测方向复制当前块的相邻样本当中的位于当前块的左侧的样本的值以生成当前块中的包括预测样本的预测子块(predictor block)。在这种情况下，如上所述，预测子块中的预测样本在预测方向上具有统一的预测值，但是在预测方向之外的方向上具有不连续的预测值。预测子块的预测样本的这种不连续特性影响残差信号并且降低了变换编码效率。因此，本发明提出了一种自适应地应用用于校正预测块的预测样本的这种不连续特性的滤波器(例如，平滑滤波器)以提高视频压缩效率的方法。根据本发明的滤波方法可被称为预测样本后处理滤波方法。
根据本发明，可根据帧内预测模式的预测方向将不同类型的滤波器应用于预测子块。具体地，根据本发明，可将定向模式划分为多个类别，并且可根据当前块的帧内定向模式所属的类别来应用滤波。例如，可根据定向模式的预测方向将定向模式划分为四种类别。
图5例示了将帧内定向模式等分为四种类别的示例。在这种情况下，可根据对应预测方向的角度对帧内定向模式进行等分。也就是说，针对帧内预测考虑的角度可平均分割成四等分，并且可基于分割角度将帧内定向模式划分成四种类别。
参照图5，具有水平方向性的帧内预测模式可基于具有左上对角线预测方向的帧内预测模式#18与具有垂直方向性的帧内预测模式区分开。在图5中，H和V分别指代水平方向性和垂直方向性，数字-32至32指代在样本网格位置处以1/32为单位的位移。
图6例示了H-32至H+32和V-32至V+32位移与帧内定向模式之间的对应关系。
例如，基于中心，方向H+32可与帧内预测模式#2的预测方向对应，方向H+26可与帧内预测模式#3的预测方向对应，并且方向H+21可与帧内预测模式#4的预测方向对应。此外，基于中心，方向V-32可与帧内预测模式#18的预测方向对应，方向V-26可与帧内预测模式#19的预测方向对应，并且方向V-21可与帧内预测模式#20的预测方向对应。
这里，帧内预测模式#2至#17可被认为具有水平方向性，而帧内预测模式#18至#34可被认为具有垂直方向性。在这种情况下，可基于与具有水平预测方向的帧内预测模式#10对应的水平参考角度0°来表示与具有水平方向性的每个帧内预测模式对应的相对角度，并且可基于与具有垂直预测方向的帧内预测模式#26对应的垂直参考角度0°来表示与具有垂直方向性的每个帧内预测模式对应的相对角度。
返回参照图5，当帧内定向模式被等分为四种类别时，四种类别可由类别A至类别D表示。在这种情况下，属于H+32至H+14的范围的方向可被归类为类别D，属于H+13至H-13的范围的方向可被归类为类别A，属于H-14至V-14的范围的方向可被归类为类别C，属于V-13至V+13的范围的方向可被归类为类别B，并且属于V+14至V+32的范围的方向可被归类为类别D。
在这种情况下，可如下表所示导出与每个帧内定向模式对应的类别。
[表2]
类别 帧内预测模式
A 6,7,8,9,10,11,12,13,14
B 22,23,24,25,26,27,28,29,30
C 15,16,17,18,19,20,21
D 2,3,4,5,31,32,33,34
帧内定向模式可被不均匀地划分为四种类别。这可被称为随机划分。在这种情况下，可随机地确定与每个帧内定向模式对应的类别。例如，可基于根据重复测试的统计特性导出与每个帧内定向模式对应的最佳类别。
当帧内定向模式被不均匀地划分为四种类别时，帧内定向模式和与其对应的类别可如下表所示来表示。
[表3]
Figure GDA0003017907170000121
应用于预测子块的滤波器模式可基于前述类别来确定。在这种情况下，可使用所确定的滤波器模式来校正预测子块中的每个预测样本值。例如，当应用3抽头滤波器时，可如下确定根据类别的滤波器模式。
图7例示了根据类别的滤波器模式。具体地，(a)例示了用于类别A的滤波器模式，(b)例示了用于类别B的滤波器模式，(c)例示了用于类别C的滤波器模式，并且(d)例示了用于类别D的滤波器模式。在下文中，用于类别A的滤波器模式可被称为垂直模式，用于类别B的滤波器模式可被称为水平模式，用于类别C的滤波器模式可被称为右上对角线模式，并且用于类别D的滤波器模式可被称为左向上对角线模式。
参照图7，P2指示预测子块中的滤波目标(预测)样本，P1和P3指示用于对目标样本进行滤波的滤波参考样本。具体地，当将类别A应用于当前块时，可使用目标样本的上相邻样本和下相邻样本来对目标样本进行滤波。当将类别B应用于当前块时，可使用目标样本的左相邻样本和右相邻样本来对目标样本进行滤波。当将类别C应用于当前块时，可使用目标样本的左下相邻样本和右上相邻样本来对目标样本进行滤波。当将类别D应用于当前块时，可使用目标样本的左上相邻样本和右下相邻样本来对目标样本进行滤波。
在这种情况下，如果目标样本没有位于当前块(或预测子块)的边界(例如，左边界或上边界)处，则P1和P2可以是当前块(或预测子块)内的预测样本，而如果目标样本位于当前块(或预测子块)的边界(例如，左边界或上边界)处，则P1和P2中的至少一个可以是相邻块的重构样本。例如，当将类别A应用于当前块并且目标样本P2位于当前块的上边界附近时，上相邻样本P1可以是当前块的上相邻块的重构样本。作为另一示例，当将类别B应用于当前块并且目标样本P2位于当前块的左边界附近时，左相邻样本P1可以是当前块的左相邻块的重构样本。作为另一示例，当将类别C应用于当前块并且目标样本P2位于当前块的左边界附近时，左下相邻样本P1可以是当前块的左相邻块或左下相邻块的重构样本，并且当将类别C应用于当前块并且目标样本P2位于当前块的上边界附近时，右上相邻样本P2可以是当前块的上相邻块或右上相邻块的重构样本。作为另一示例，当将类别D应用于当前块并且目标样本P2位于当前块的左边界时，左上相邻样本P1可以是当前块的左相邻块或左下相邻块的重构样本，并且当将类别D应用于当前块并且目标样本P2位于当前块的上边界附近时，右上相邻样本P2可以是当前块的上相邻块或右上相邻块的重构样本。
可在导出关于当前块的预测样本之后将根据本发明的滤波应用于当前块中的每个(预测)样本。当目标样本P2的坐标是(x，y)时，可基于以下滤波操作表达式来执行滤波。
[表达式1]
Figure GDA0003017907170000131
这里，Pred'指示滤波后的预测样本，P2指示目标样本值，P1和P3指示根据滤波器模式的滤波参考样本值，α、β和γ指示滤波器系数。滤波器系数可被预定义，或者可从编码设备用信号通知关于滤波器系数的信息。另选地，可配置多个滤波器系数的集合，并且如稍后将描述的，可根据特定条件从滤波器系数集中选择滤波器系数。
根据本发明，可根据目标样本值的值与相邻参考样本的值之间的差值可选地应用滤波。在这种情况下，只有当目标样本值的值与相邻参考样本的值之间的差值满足特定条件时(例如，当差值属于特定范围时)，才可使用相邻参考样本对目标样本应用滤波。
例如，定义最小阈值Thresmin和最大阈值Thresmax，当|P1-P2|或|P3-P2|大于Thresmin和/或小于Thresmax并且在其它情况下从滤波操作将相邻参考样本排除在外时，使用相邻参考样本。
具体地，当应用根据上述表达式1的3抽头滤波器时，例如，可根据目标样本值的值与相邻参考样本的值之间的差值是否满足特定条件来如下地应用滤波。
[表达式2]
Figure GDA0003017907170000141
这里，情况1表示|P1-P2|和|P3-P2|二者都满足特定条件的情况，情况2表示|P1-P2|满足特定条件而|P3-P2|不满足特定条件的情况，并且情况3表示|P1-P2|不满足特定条件而|P3-P2|满足特定条件的情况。否则，即，在|P1-P2|和|P3-P2|二者都不满足特定条件的情况下，不对目标样本P2进行滤波。也就是说，当|P3-P2|不满足特定条件时，γ被设置为0，并且当|P1-P2|不满足特定条件时，α被设置为0。
具体地，例如，可如下表所示定义上述情况。
[表4]
情况1：Thres<sub>min</sub>&lt;|P1-P2|&lt;Thres<sub>max</sub>并且Thres<sub>min</sub>&lt;|P3-P2|&lt;Thres<sub>max</sub>
情况2：Thres<sub>min</sub>&lt;|P1-P2|&lt;Thres<sub>max</sub>并且|P3-P2|在范围(Thres<sub>min,</sub>Thres<sub>max</sub>)之外
情况3：Thres<sub>min</sub>&lt;|P3-P2|&lt;Thres<sub>max</sub>并且|P1-P2|在范围(Thres<sub>min,</sub>Thres<sub>max</sub>)之外
否则，|P1-P2|和|P3-P2|都在范围(Thres<sub>min,</sub>Thres<sub>max</sub>)之外
也就是说，根据上表，|P1-P2|和|P3-P2|二者都大于Thresmin且小于Thresmax的情况对应于情况1，仅|P1-P2|大于Thresmin且小于Thresmax的情况对应于情况下2，仅|P3-P2|大于Thresmin且小于Thresmax的情况对应于情况3，|P1-P2|和|P3-P2|二者都不大于Thresmin且都不小于Thresmax的情况对应于其它情况。在这种情况下，能够根据上述表达式2来确定用于目标样本的情况并且对目标样本进行滤波。
在根据本发明的滤波应用中，可基于目标(预测)样本的位置来应用其它滤波器系数。
由于帧内预测的特性，相对于靠近当前块的相邻样本的样本的预测准确度高于相对于远离当前块的相邻样本的样本的预测准确度。因此，可将弱滤波器(例如，弱平滑滤波器)应用于距当前块的相邻样本的特定距离内的预测样本，并且可将强滤波器(例如，强平滑滤波器)应用于其它样本。在这种情况下，相邻样本可以位于当前块的左侧和上侧，因此可基于与当前块的左边界和/或上边界的距离来自适应地确定对预测样本应用弱滤波器还是强滤波器。也就是说，可将弱滤波器应用于位于距当前块的左边界和/或上边界的特定距离内的边界附近样本，并且可将强滤波器应用于其它内部样本。
图8例示了当前块的边界附近样本和内部样本之间的区别的示例。图8示出了当前块具有N×N的大小的情况。
参照图8，bh(0≤bh≤N)指示与当前块的左边界的水平距离，并且bv(0≤bv≤N)指示与当前块的上边界的垂直距离。Bh和bv可由编码设备预先确定或者确定，并且可用信号通知相关信息。
当前块中的样本可基于bh和/或bv被划分成至少两个组。例如，在当前块的左上样本的位置的坐标是(0,0)时，可将满足x<bh或y<bv的位置处的样本可归类为第一组样本(例如，边界附近样本)，并且可将满足bh≤x和bv≤y的位置处的样本归类为第二组样本(例如，内部样本)。在这种情况下，可对第一组样本应用弱滤波，并且可对第二组样本应用强滤波。这里，如上所述，应用于弱滤波的滤波器系数可与应用于强滤波的滤波器系数不同。具体地，在上述滤波器系数当中，应用弱滤波时的值β可大于应用强滤波时的值β。作为另一示例，应用弱滤波时的值α和γ可大于应用强滤波时的值α和γ。
此外，是否应用根据本发明的预测样本后处理滤波方法可由标志信息指示。例如，根据本发明的预测样本后处理滤波方法是否被应用于当前块可由编码设备确定并且使用帧内后置滤波器标志信息来指示。例如，可以以CU或PU为单位用信号通知帧内后置滤波器标志信息。
例如，可如下以CU为单位用信号通知帧内后置滤波器标志信息。
[表5]
Figure GDA0003017907170000161
这里，intra_post_filter_flag语法元素与帧内后置滤波器标志信息对应。可基于上下文自适应二进制算术编码(CABAC)对intra_post_filter_flag语法元素进行编码/解码。当将帧内预测应用于当前CU时，解码设备可对来自比特流的intra_post_filter_flag语法元素进行解析，并且基于intra_post_filter_flag语法元素的值来确定是否应用根据本发明的预测样本后处理滤波。当intra_post_filter_flag语法元素的值为1时，解码设备可确定根据本发明的预测样本后处理滤波器被应用于当前块。
另选地，可如下以PU为单位用信号通知帧内后置滤波器标志信息。
[表6]
Figure GDA0003017907170000171
这里，intra_post_filter_flag语法元素与帧内后置滤波器标志信息对应。此外，intra_chroma_post_filter_flag语法元素也可与帧内后置滤波器标志信息对应。在这种情况下，intra_post_filter_flag语法元素指示预测样本后处理滤波是否被应用于亮度分量，并且intra_chroma_post_filter_flag语法元素指示预测样本后处理滤波是否被应用于色度分量。可基于上下文自适应二进制算术编码(CABAC)对intra_post_filter_flag语法元素和intra_chroma_post_filter_flag语法元素进行编码/解码。解码设备可对来自比特流的intra_post_filter_flag语法元素和intra_chroma_post_filter_flag语法元素进行解析，并且确定是否应用根据本发明的预测样本后处理滤波。
当intra_post_filter_flag语法元素的值为1时，解码设备可确定预测样本后处理滤波被应用于当前块的亮度分量(即，亮度样本)。当intra_chroma_post_filter_flag语法元素的值为1时，解码设备可确定预测样本后处理滤波被应用于当前块的色度分量(即，色度样本)。
如上所述，当以PU为单位用信号通知帧内后置滤波器标志信息时，与以CU为单位用信号通知后置滤波器标志信息的情况相比，需要发送的比特的数目增加，而是否对基于CU划分的PU执行滤波能够被独立确定并且是否对色度分量执行滤波能够独立于亮度分量来确定。
例如，可根据下面描述的流程来执行根据本发明的帧内预测方法。
图9示意性地例示了根据本发明的编码设备的帧内预测方法的示例。在图9中示出的方法可由图1中示出的编码设备来执行。具体地，例如，图9中的S900至S940可由编码设备的预测器执行，而S950可由编码设备的熵编码器执行。
参照图9，编码设备导出用于帧内预测的当前块的相邻样本(S900)。例如，当当前块的左上样本位置被视为(0,0)时，左相邻样本p[-1][2N-1]、...、p[-1][0]、左上相邻样本p[-1][-1]和上相邻样本p[0][-1]、...、p[2N-1][-1]可被导出为用于帧内预测的当前块的相邻样本。这里，p[m][n]指示样本位置(m，n)的样本(或像素)。N对应于当前块的宽度和高度。当当前块是变换块时，N可表示为nTbS。如果当前块的宽度是W并且其高度是H，则左相邻样本p[-1][2H-1]、...、p[-1][0]、左上相邻样本p[-1][-1]和上相邻样本p[0][-1]、...、p[2W-1][-1]可被导出为相邻参考样本。
编码设备确定用于当前块的帧内预测模式(S910)。这里，帧内预测模式可以是表1中示出的模式中的一种。另选地，仅当当前块的帧内预测模式是帧内定向模式时，才可应用根据本发明的帧内预测方法。在这种情况下，帧内定向模式可以是表1中所示的帧内角度2模式至帧内角度34模式中的一种。这里，当前块可对应于当前TU。例如，可从当前CU导出至少一个PU和至少一个TU。在这种情况下，可在PU的区域中呈现一个或更多个TU。例如，可在当前CU中确定帧间/帧内预测类型，并且可在PU中确定特定的帧内预测模式。在这种情况下，PU区域中的TU可共享所确定的帧内预测模式。编码设备可基于RD(率失真)成本来确定最佳帧内预测模式。
编码设备基于帧内预测模式和相邻样本导出用于当前块的预测样本(S920)。编码设备可基于预测样本的样本位置使用位于帧内预测模式的预测方向上的相邻样本来导出预测样本。
编码设备基于帧内预测模式确定用于预测样本的滤波参考样本(S930)。编码设备可确定与帧内预测模式对应的类别，并且根据所确定的类别基于与预测样本的相对位置关系来确定滤波参考样本。
例如，编码设备可在根据角度均匀划分或不均匀划分的基础上将多个帧内预测模式划分为多种类别。例如，编码设备可将帧内预测模式划分成四种类别。在这种情况下，编码设备可基于表2或表3来确定与帧内预测模式对应的类别。
编码设备可根据所确定的类别来确定滤波器模式。例如，当帧内预测模式与第一类别对应时，滤波器模式可以是水平模式。在这种情况下，滤波参考样本可包括预测样本的左相邻样本P1和右相邻样本P3。作为另一示例，当帧内预测模式与第二类别对应时，滤波器模式可以是垂直模式。在这种情况下，滤波参考样本可包括预测样本的上相邻样本P1和下相邻样本P3。作为另一示例，当帧内预测模式与第三类别对应时，滤波器模式可以是右上对角线模式。在这种情况下，滤波参考样本可包括预测样本的左下相邻样本P1和右上相邻样本P3。作为另一示例，当帧内预测模式与第四类别对应时，滤波器模式可以是左上对角线模式。在这种情况下，滤波参考样本可包括预测样本的左上相邻样本P1和右下相邻样本P3。
编码设备基于滤波参考样本对预测样本应用滤波以导出滤波后的预测样本(S940)。编码设备可基于根据滤波器模式确定的滤波参考样本使用滤波器系数来导出滤波后的预测样本。
例如，可基于上述表达式1或表达式2导出滤波后的预测样本。
在这种情况下，滤波参考样本的值可与P1和P3对应，而P2可与预测样本的值对应。在这种情况下，当|P1-P2|不满足特定条件时，可将γ设置为0，或者当|P3-P2|不满足特定条件时，可将α设置为0。例如，当|P1-P2|或|P3-P2|大于预定最小阈值并且小于预定最大阈值时，可以满足特定条件。
编码设备可确定对预测样本应用强滤波还是弱滤波。编码设备可基于预测样本的样本位置与当前块的左边界或上边界之间的距离来确定对预测样本应用强滤波还是弱滤波。具体地，编码设备可导出用于滤波强度区分的水平距离和垂直距离，确定当预测样本的样本位置在距左边界的水平距离内或距上边界的垂直距离内时对预测样本应用弱滤波，并且确定当预测样本的样本位置与左边界相隔水平距离或更长并且与上边界相隔垂直距离或更长时对预测样本应用强滤波。
编码设备可根据对预测样本应用强滤波还是弱滤波来导出具有不同值的滤波器系数。具体地，在滤波器系数当中，应用弱滤波时的值β可大于应用强滤波时的值β。作为另一示例，在滤波器系数当中，应用弱滤波时的值α和γ可大于应用强滤波时的值α和γ。
编码设备对指示用于当前块的帧内预测模式的帧内预测模式信息进行编码并将其输出(S1860)。编码设备可对帧内预测模式信息进行编码并且以比特流的形式输出编码后的帧内预测模式信息。比特流可通过网络或存储介质被发送到解码设备。
编码设备可基于用于当前块的滤波后的预测样本和原始样本来生成残差样本。编码设备可对关于残差样本的残差信息进行编码并且以比特流的形式输出编码后的残差信息。残差信息可包括针对当前块的残差样本的量化后的变换系数。
编码设备可对指示是否对当前块应用根据本发明的预测样本后处理滤波的帧内后置滤波器标志进行编码，并且以比特流的形式输出编码后的帧内后置滤波器标志。在这种情况下，可以以CU为单位或者以PU为单位用信号通知帧内后置滤波器标志。当以PU为单位用信号通知帧内后置滤波器标志时，能够独立地指示预测样本后处理滤波是否被应用于当前块的亮度分量和色度分量。
图10示意性地例示了根据本发明的解码设备的帧内预测方法的示例。图10中示出的方法可由图2中示出的解码设备来执行。具体地，例如，图10中的S1000可由解码设备的熵解码器执行，而S1010至S1050可由解码设备的预测器执行。
参照图10，解码设备从比特流获取帧内预测模式信息(S1900)。解码设备可对从编码设备接收的比特流进行解码以获取帧内预测模式信息。比特流可通过网络或存储介质来接收。
解码设备导出用于帧内预测的当前块的相邻样本(S1010)。例如，当当前块的左上样本位置被视为(0,0)时，左相邻样本p[-1][2N-1]、...、p[-1][0]、左上相邻样本p[-1][-1]和上相邻样本p[0][-1]、...、p[2N-1][-1]可被导出为用于帧内预测的当前块的相邻样本。这里，如上所述，p[m][n]指示样本位置(m，n)的样本(或像素)。N对应于当前块的宽度和高度。在当前块是变换块时，N可表示为nTbS。如果当前块的宽度是W并且器高度是H，则左相邻样本p[-1][2H-1]、...、p[-1][0]、左上相邻样本p[-1][-1]和上相邻样本p[0][-1]、...、p[2W-1][-1]可被导出为相邻参考样本。
解码设备基于帧内预测模式信息确定用于当前块的帧内预测模式(S1020)。这里，帧内预测模式可以是表1中示出的模式中的一种。另选地，仅当当前块的帧内预测模式是帧内定向模式时，才可应用根据本发明的帧内预测方法。在这种情况下，帧内定向模式可以是表1中所示的帧内角度2模式の帧内角度34模式中的一种。这里，当前块可与当前TU对应。例如，可从当前CU导出至少一个PU和至少一个TU。在这种情况下，可在PU的区域中呈现一个或更多个TU。例如，可在当前CU中确定帧间/帧内预测类型，并且可在PU中确定特定的帧内预测模式。在这种情况下，PU区域中的TU可共享所确定的帧内预测模式。
解码设备可根据应用MPM(最可能模式)还是剩余模式来确定帧内预测模式。当应用MPM时，可基于用于PU的左相邻块或上相邻块的帧内预测模式来确定MPM列表，并且可基于MPM列表来确定帧内预测模式。在这种情况下，解码设备可从比特流中获取MPM索引，并且导出MPM列表中的候选当中的由MPM索引指示的帧内预测模式候选作为当前块的帧内预测模式。否则，当应用剩余模式时，解码设备可从比特流中获取指示未包括在MPM列表中的剩余模式当中的特定帧内预测模式的信息，并且基于指示特定帧内预测模式的信息来导出当前块的帧内预测模式。
解码设备基于帧内预测模式和相邻样本导出用于当前块的预测样本(S1030)。解码设备可基于预测样本的样本位置使用位于帧内预测模式的预测方向上的相邻样本来导出预测样本。
解码设备基于帧内预测模式确定用于预测样本的滤波参考样本(S1040)。解码设备可确定与帧内预测模式对应的类别，并且根据所确定的类别基于与预测样本的相对位置关系来确定滤波参考样本。
例如，解码设备可在根据角度均匀划分或不均匀划分的基础上将多个帧内预测模式划分成多种类别。例如，编码设备可将帧内预测模式划分成四种类别。在这种情况下，解码设备可基于表2或表3来确定与帧内预测模式对应的类别。
解码设备可根据所确定的类别来确定滤波器模式。例如，当帧内预测模式与第一类别对应时，滤波器模式可以是水平模式。在这种情况下，滤波参考样本可包括预测样本的左相邻样本P1和右相邻样本P3。作为另一示例，当帧内预测模式与第二类别对应时，滤波器模式可以是垂直模式。在这种情况下，滤波参考样本可包括预测样本的上相邻样本P1和下相邻样本P3。作为另一示例，当帧内预测模式与第三类别对应时，滤波器模式可以是右上对角线模式。在这种情况下，滤波参考样本可包括预测样本的左下相邻样本P1和右上相邻样本P3。作为另一示例，当帧内预测模式与第四类别对应时，滤波器模式可以是左上对角线模式。在这种情况下，滤波参考样本可包括预测样本的左上相邻样本P1和右下相邻样本P3。
解码设备基于滤波参考样本对预测样本应用滤波以导出滤波后的预测样本(S1050)。解码设备可基于根据滤波器模式确定的滤波参考样本使用滤波器系数来导出滤波后的预测样本。
例如，可基于上述表达式1或表达式2导出滤波后的预测样本。
在这种情况下，滤波参考样本的值可与P1和P3对应，而P2可与预测样本的值对应。在这种情况下，当|P1-P2|不满足特定条件时，可将γ设置为0，或者当|P3-P2|不满足特定条件时，可将α设置为0。例如，当|P1-P2|或|P3-P2|大于预定最小阈值并且小于预定最大阈值时，可以满足特定条件。
解码设备可确定对预测样本应用强滤波还是弱滤波。解码设备可基于预测样本的样本位置与当前块的左边界或上边界之间的距离来确定对预测样本应用强滤波还是弱滤波。具体地，解码设备可导出用于滤波强度区分的水平距离和垂直距离，确定在预测样本的样本位置在距左边界的水平距离内或距上边界的垂直距离内时对预测样本应用弱滤波，并且确定在预测样本的样本位置与左边界相隔水平距离或更长并且与上边界相隔垂直距离或更长时对预测样本应用强滤波。
解码设备可根据对预测样本应用强滤波还是弱滤波来导出具有不同值的滤波器系数。具体地，在滤波器系数当中，应用弱滤波时的值β可大于应用强滤波时的值β。作为另一示例，在滤波器系数当中，应用弱滤波时的值α和γ可大于应用强滤波时的值α和γ。
解码设备可从比特流中获取残差信息，并且基于残差信息来导出用于当前块的残差样本。解码设备可基于滤波后的预测样本和残余样本来生成重构样本和重构图片。
解码设备可从比特流中获取指示是否对当前块应用根据本发明的预测样本后处理滤波的帧内后置滤波器标志，并且当帧内后置滤波器标志指示1时，对预测样本应用滤波来导出滤波后的预测样本。可以以CU为单位或以PU为单位用信号通知帧内后置滤波器标志。当以PU为单位用信号通知帧内后置滤波器标志时，能够独立地指示预测样本后处理滤波是否被应用于当前块的亮度分量和色度分量。
根据本发明，能够根据帧内预测模式自适应地对预测样本进行滤波并且改进帧内预测性能。
根据本发明，能够根据帧内预测模式所属的类别将使用各种滤波器模式的滤波应用于预测样本，并且能够根据预测样本的样本位置自适应地确定滤波强度。
因此，根据本发明，能够在使附加辅助信息的传输最小化的同时改进帧内预测性能，并因此减少残差信号所需的数据量并且提高编码效率。
本领域技术人员将认识到，可以在不脱离本发明的精神和基本特征的情况下按照与本文所阐述的方式不同的其它特定方式来实施本发明。上述实施方式因此在所有方面都将被解释为说明性的而非限制性的。本发明的范围应该由所附的权利要求及其合法等同物来确定，而不是由上面的描述来确定，并且旨在将落入所附的权利要求的含义和等同范围内的所有改变包含于其中。
以上描述的根据本发明的方法可用软件来实现。根据本发明的编码设备和/或解码设备可被包括在执行图像处理的设备中，例如，用于TV、计算机、智能电话、机顶盒或显示设备。
当以软件实现本发明的实施方式时，可通过执行上述功能的模块(过程、函数等)来实现上述方法。这些模块可被存储在存储器中并由处理器执行。存储器可位于处理器的内部或外部，并且存储器可使用各种众所周知的手段来联接到处理器。处理器可包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理器件。存储器可包括ROM(只读存储器)、RAM(随机存取存储器)、闪速存储器、存储卡、存储介质和/或其它存储设备。

Claims (12)

1.一种由解码设备执行的帧内预测方法，该帧内预测方法包括以下步骤：
从比特流获取帧内预测模式信息；
导出当前块的相邻样本；
基于所述帧内预测模式信息确定用于所述当前块的帧内预测模式；
基于所述帧内预测模式和所述相邻样本导出所述当前块的预测样本；
基于所述帧内预测模式确定用于所述预测样本的滤波参考样本；以及
基于所述滤波参考样本对所述预测样本应用滤波以导出滤波后的预测样本，
其中，确定所述参考样本的步骤包括以下步骤：
确定与所述帧内预测模式对应的类别；以及
根据所确定的类别，基于相对于所述预测样本的相对位置关系来确定所述滤波参考样本，
其中，基于所确定的类别是第一类别，所述滤波参考样本包括所述预测样本的左相邻样本和右相邻样本，
基于所确定的类别是第二类别，所述滤波参考样本包括所述预测样本的上相邻样本和下相邻样本，
基于所确定的类别是第三类别，所述滤波参考样本包括所述预测样本的左下相邻样本和右上相邻样本，
基于所确定的类别是第四类别，所述滤波参考样本包括所述预测样本的左上相邻样本和右下相邻样本，并且
其中，基于所述预测样本没有位于所述当前块的边界的情况，所述滤波参考样本位于所述当前块中。
2.根据权利要求1所述的帧内预测方法，其中，如下确定与所述帧内预测模式对应的类别：
类别A对应于帧内预测模式6, 7, 8, 9, 10, 11, 12, 13, 14；
类别B对应于帧内预测模式22, 23, 24, 25, 26, 27, 28, 29, 30；
类别C对应于帧内预测模式15, 16, 17, 18, 19, 20, 21；并且
类别D对应于帧内预测模式2, 3, 4, 5, 31, 32, 33, 34，
并且，用于所述滤波的滤波器模式取决于所述类别。
3.根据权利要求1所述的帧内预测方法，其中，如下确定与所述帧内预测模式对应的类别：
帧内预测模式2, 3, 4, 32, 33, 34对应于类别D；
帧内预测模式5对应于类别A；
帧内预测模式6对应于类别C；并且
帧内预测模式7, 30, 31对应于类别B，
并且，用于所述滤波的滤波器模式取决于所述类别。
4.根据权利要求1所述的帧内预测方法，其中，基于以下表达式导出所述滤波后的预测样本：
Figure 487057DEST_PATH_IMAGE001
其中，“Pred’”与所述滤波后的预测样本有关，P2与所述预测样本的值有关，P1和P3与所述滤波参考样本的值有关，并且α、β和γ与滤波器系数有关。
5.根据权利要求4所述的帧内预测方法，其中，在|P3-P2|不满足特定条件的情况下，将γ设置为0，或者在|P1-P2|不满足所述特定条件的情况下，将α设置为0。
6.根据权利要求5所述的帧内预测方法，其中，当|P1-P2|或|P3-P2|大于预定最小阈值且小于预定最大阈值时，满足所述特定条件。
7.根据权利要求4所述的帧内预测方法，该帧内预测方法还包括以下步骤：确定对所述预测样本应用强滤波还是弱滤波，
其中，导出取决于对所述预测样本应用强滤波还是弱滤波而具有不同值的滤波器系数。
8.根据权利要求7所述的帧内预测方法，其中，基于所述预测样本的样本位置与所述当前块的左边界或上边界之间的距离来确定对所述预测样本应用强滤波还是弱滤波。
9.根据权利要求8所述的帧内预测方法，该帧内预测方法还包括以下步骤：导出用于滤波强度区分的水平距离和垂直距离，
其中，在所述预测样本的所述样本位置在距所述左边界的所述水平距离内或者在距所述上边界的所述垂直距离内的情况下，对所述预测样本应用弱滤波，并且
在所述预测样本的所述样本位置与所述左边界相隔所述水平距离或更长并且与所述上边界相隔所述垂直距离或更长的情况下，对所述预测样本应用强滤波。
10.根据权利要求1所述的帧内预测方法，该帧内预测方法还包括以下步骤：从所述比特流获取帧内后置滤波器标志，
其中，在所述帧内后置滤波器标志指示1的情况下，对所述预测样本应用滤波以导出所述滤波后的预测样本。
11.根据权利要求10所述的帧内预测方法，其中，以编码单元CU为单位或者以预测单元PU为单位用信号通知所述帧内后置滤波器标志。
12.一种由编码设备执行的帧内预测方法，该帧内预测方法包括以下步骤：
导出当前块的相邻样本；
确定用于所述当前块的帧内预测模式；
基于所述帧内预测模式和所述相邻样本导出所述当前块的预测样本；
基于所述帧内预测模式确定用于所述预测样本的滤波参考样本；
基于所述滤波参考样本对所述预测样本应用滤波以导出滤波后的预测样本；以及
对指示所述帧内预测模式的帧内预测模式信息进行编码并输出所述帧内预测模式信息，
其中，确定所述参考样本的步骤包括以下步骤：
确定与所述帧内预测模式对应的类别；以及
根据所确定的类别，基于相对于所述预测样本的相对位置关系来确定所述滤波参考样本，
其中，基于所确定的类别是第一类别，所述滤波参考样本包括所述预测样本的左相邻样本和右相邻样本，
基于所确定的类别是第二类别，所述滤波参考样本包括所述预测样本的上相邻样本和下相邻样本，
基于所确定的类别是第三类别，所述滤波参考样本包括所述预测样本的左下相邻样本和右上相邻样本，
基于所确定的类别是第四类别，所述滤波参考样本包括所述预测样本的左上相邻样本和右下相邻样本，并且
其中，基于所述预测样本没有位于所述当前块的边界的情况，所述滤波参考样本位于所述当前块中。
CN201680052665.4A 2015-09-10 2016-08-25 视频编码系统中的帧内预测方法和设备 Active CN108028923B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562216376P 2015-09-10 2015-09-10
US62/216,376 2015-09-10
PCT/KR2016/009454 WO2017043786A1 (ko) 2015-09-10 2016-08-25 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
CN108028923A CN108028923A (zh) 2018-05-11
CN108028923B true CN108028923B (zh) 2021-08-20

Family

ID=58240221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680052665.4A Active CN108028923B (zh) 2015-09-10 2016-08-25 视频编码系统中的帧内预测方法和设备

Country Status (6)

Country Link
US (1) US10574984B2 (zh)
EP (1) EP3349448B1 (zh)
JP (1) JP6599552B2 (zh)
KR (1) KR102160667B1 (zh)
CN (1) CN108028923B (zh)
WO (1) WO2017043786A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189678A (zh) * 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
AU2017342627B2 (en) * 2016-10-11 2020-10-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image decoding method and apparatus relying on intra prediction in image coding system
WO2018174617A1 (ko) * 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
CN111543054B (zh) * 2017-10-31 2023-02-28 三星电子株式会社 图像编码方法、图像解码方法及其装置
KR20190106804A (ko) * 2018-03-09 2019-09-18 한국전자통신연구원 샘플 필터링을 이용한 영상 부호화/복호화 방법 및 장치
EP3780603A4 (en) * 2018-03-30 2022-07-06 Nippon Hoso Kyokai INTRA-PREDICTION DEVICE, IMAGE CODING DEVICE, IMAGE DECODING DEVICE AND PROGRAM
CN113243106B (zh) * 2018-06-29 2022-11-01 华为技术有限公司 一种用于视频图像的预测块的帧内预测的设备和方法
CN115988202B (zh) * 2018-06-29 2023-11-03 华为技术有限公司 一种用于帧内预测的设备和方法
CN110677678B (zh) * 2018-07-01 2022-09-23 北京字节跳动网络技术有限公司 依赖形状的帧间编码
US10284844B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US11190764B2 (en) * 2018-07-06 2021-11-30 Qualcomm Incorporated Merged mode dependent intra smoothing (MDIS) and intra interpolation filter switching with position dependent intra prediction combination (PDPC)
WO2020055292A1 (en) 2018-09-16 2020-03-19 Huawei Technologies Co., Ltd. Method and apparatus for prediction
CN117812255A (zh) * 2018-09-20 2024-04-02 Lg电子株式会社 图像解码、编码方法和数据的发送方法及存储介质
WO2020071873A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 그 장치
CN112956191A (zh) 2019-01-02 2021-06-11 Oppo广东移动通信有限公司 帧内预测方法及装置、计算机可读存储介质
CN118921461A (zh) 2019-03-12 2024-11-08 Lg 电子株式会社 图像编码/解码方法和装置，以及发送比特流的方法
WO2020197038A1 (ko) 2019-03-22 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 서브 파티션 기반의 인트라 예측 방법 및 장치
CN114556957A (zh) 2019-08-29 2022-05-27 Lg 电子株式会社 基于环路内滤波的视频编译设备和方法
WO2021040482A1 (ko) * 2019-08-29 2021-03-04 엘지전자 주식회사 적응적 루프 필터링 기반 영상 코딩 장치 및 방법
KR20220044766A (ko) * 2019-08-29 2022-04-11 엘지전자 주식회사 크로스 컴포넌트 필터링 기반 영상 코딩 장치 및 방법
WO2021040484A1 (ko) * 2019-08-29 2021-03-04 엘지전자 주식회사 크로스-컴포넌트 적응적 루프 필터링 기반 영상 코딩 장치 및 방법
CN112565789B (zh) * 2019-11-13 2021-09-17 腾讯科技（深圳）有限公司 视频解码及编码方法、装置、计算机可读介质及电子设备
CN110944211B (zh) * 2019-11-15 2022-07-08 腾讯科技（深圳）有限公司 用于帧内预测的插值滤波方法、装置、介质及电子设备
MX2022005993A (es) 2019-11-18 2022-09-07 Lg Electronics Inc Dispositivo y metodo de codificacion de imagenes para controlar el filtrado en bucle.
US20220303564A1 (en) * 2019-12-23 2022-09-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US12058322B2 (en) * 2020-11-05 2024-08-06 Alibaba Group Holding Limited Methods and apparatuses for filtering intra predicted video blocks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004064406A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
CN103141100A (zh) * 2010-10-01 2013-06-05 高通股份有限公司 用于视频译码的帧内平滑滤波器
CN103780911A (zh) * 2011-06-20 2014-05-07 韩国电子通信研究院 视频解码设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
US8774541B2 (en) 2008-11-05 2014-07-08 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
TWI442777B (zh) * 2009-06-23 2014-06-21 Acer Inc 空間性錯誤隱藏方法
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20110054244A (ko) 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
CN107197257B (zh) * 2010-12-08 2020-09-08 Lg 电子株式会社 由编码装置和解码装置执行的内预测方法
US10142630B2 (en) 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
HUE044405T2 (hu) * 2011-04-25 2019-10-28 Lg Electronics Inc Képen belüli becslési eljárás, és ezt használó kódoló és dekódoló
JP5956572B2 (ja) * 2011-06-28 2016-07-27 サムスン エレクトロニクス カンパニー リミテッド 映像のイントラ予測符号化／復号化方法及び装置
JP2013098713A (ja) * 2011-10-31 2013-05-20 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
KR20140019221A (ko) * 2012-07-17 2014-02-14 한국전자통신연구원 인루프 필터링 방법 및 이를 이용하는 장치
US11240515B2 (en) * 2012-09-10 2022-02-01 Apple Inc. Video display preference filtering
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
CN105981385B (zh) * 2014-01-02 2020-03-13 寰发股份有限公司 帧内预测编码方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004064406A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
CN103141100A (zh) * 2010-10-01 2013-06-05 高通股份有限公司 用于视频译码的帧内平滑滤波器
CN103780911A (zh) * 2011-06-20 2014-05-07 韩国电子通信研究院 视频解码设备

Also Published As

Publication number Publication date
KR20180034665A (ko) 2018-04-04
JP2018530959A (ja) 2018-10-18
JP6599552B2 (ja) 2019-10-30
EP3349448A4 (en) 2019-06-26
KR102160667B1 (ko) 2020-09-28
EP3349448B1 (en) 2020-11-11
CN108028923A (zh) 2018-05-11
US10574984B2 (en) 2020-02-25
WO2017043786A1 (ko) 2017-03-16
EP3349448A1 (en) 2018-07-18
US20190052875A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN108028923B (zh) 视频编码系统中的帧内预测方法和设备
KR102722396B1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
US12003708B2 (en) Method and device for performing image decoding on basis of intra prediction in image coding system
US11627319B2 (en) Image decoding method and apparatus according to block division structure in image coding system
CN108370441B (zh) 在图像编译系统中用于系数引起的帧内预测的方法和装置
US10721479B2 (en) Intra prediction method and apparatus in image coding system
US20200036985A1 (en) Method and apparatus for block partitioning and intra prediction in image coding system
EP3627836A1 (en) Method and device for decoding image according to intra-prediction in image coding system
EP3588952A1 (en) Transform method in image coding system and apparatus for same
US11234003B2 (en) Method and apparatus for intra-prediction in image coding system
US10951908B2 (en) Method and device for decoding image according to intra prediction in image coding system
US10841574B2 (en) Image decoding method and device using intra prediction in image coding system
US10812796B2 (en) Image decoding method and apparatus in image coding system
US11838546B2 (en) Image decoding method and apparatus relying on intra prediction in image coding system
US20200374516A1 (en) Image decoding method and apparatus based on efficient transformation of chroma component in image coding system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant