WO2013077714A1 - 영상 정보 인코딩/디코딩 방법 및 장치 - Google Patents
영상 정보 인코딩/디코딩 방법 및 장치 Download PDFInfo
- Publication number
- WO2013077714A1 WO2013077714A1 PCT/KR2012/010120 KR2012010120W WO2013077714A1 WO 2013077714 A1 WO2013077714 A1 WO 2013077714A1 KR 2012010120 W KR2012010120 W KR 2012010120W WO 2013077714 A1 WO2013077714 A1 WO 2013077714A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- block
- value
- deblocking filtering
- boundary
- determined
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Definitions
- the present invention relates to image information compression technology, and more particularly, to a method of applying a deblocking filter as an in-loop filter.
- High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
- inter prediction and intra prediction may be used.
- the pixel value of the current picture is predicted by referring to information of another picture
- the intra prediction method the pixel value is predicted by using the correlation between pixels in the same picture. do.
- Various methods for making an image identical to an original may be applied to a processing unit, eg, a block, of a predicted image. This allows the decoding apparatus to decode the image more accurately (more consistent with the original), and the encoding apparatus can encode the image so that it can be more accurately reconstructed.
- An object of the present invention is to provide a method and apparatus for effectively reconstructing an image close to an original by effectively removing deblocking artifacts in applying deblocking filtering.
- An object of the present invention is to provide a method and apparatus that can increase the compression efficiency by reducing the complexity in applying the deblocking filtering.
- An object of the present invention is to provide a method and apparatus that can reduce complexity by effectively setting a unit block for determining boundary strength (bS) in applying deblocking filtering.
- An object of the present invention is to provide a method and apparatus that can reduce the complexity by effectively setting the bS values for the luma component and the chroma component in applying deblocking filtering.
- the method of determining bS according to the present invention includes deriving a boundary of a deblocking filtering block, which is a unit block to which deblocking filtering is applied, and bS, a unit block for setting boundary strength (bS, hereinafter 'bS').
- BS setting for each block, and in the bS setting step a bS value may be set for a target boundary corresponding to a boundary of the deblocking filtering unit block as a boundary of the bS setting unit block.
- the value may be a criterion for determining whether deblocking filtering is applied to the luma component and whether or not deblocking filtering is applied to the chroma component.
- the bS value of the target boundary is set to bS2, and at least one of the two blocks bordering the target boundary is intra coding. If the target boundary is the target of deblocking filtering, the bS value of the target boundary is set to bS1. If the target boundary is not the target of deblocking filtering, the bS value of the target boundary is not applied. May be set to bS0, and bS0, bS1, and bS2 may have a relationship of bS0 ⁇ bS1 ⁇ bS2.
- bS when bS is set to bS1, the case where at least one of two blocks bordering the target boundary is not intra-coded, at least one of two blocks bordering the target boundary is not 0 It may include a case including a coefficient and a case in which two blocks bordering the target boundary have different reference pictures or different motion vectors.
- the bS value When deblocking filtering may be applied to the luma component, the bS value may be determined to be greater than bS0. In addition, when the deblocking filtering may be applied to the chroma component, the bS value may be determined to be larger than bS1.
- a quantization parameter may be determined by the set bS value, and a range of sample values to which deblocking filtering is applied may be determined based on the quantization parameter.
- the deblocking filtering method includes deriving a boundary of a deblocking filtering block, which is a unit block to which deblocking filtering is applied, and a unit block for setting a boundary strength (bS).
- the method may include setting bS for each bS block and applying deblocking filtering based on the bS on the basis of the deblocking filtering block.
- the bS setting unit block may be used as a boundary of the bS setting unit block.
- a bS value may be set for a target boundary corresponding to the boundary of the deblocking filtering unit block, and in the applying of the deblocking filtering step, it is determined whether to apply deblocking filtering to the luma component based on the bS value at the target boundary. In addition, it may be determined whether deblocking filtering is applied to the chroma component.
- the bS value of the target boundary is set to bS2, and at least one of the two blocks bordering the target boundary is intra coding. If the target boundary is the target of deblocking filtering, the bS value of the target boundary is set to bS1. If the target boundary is not the target of deblocking filtering, the bS value of the target boundary is not applied. Can be set to bS0, in which case bS0, bS1 and bS2 have a relationship of bS0 ⁇ bS1 ⁇ bS2.
- the bS value is larger than bS0 at the block boundary, it may be determined that deblocking filtering may be applied to the luma component. In addition, when the bS value is greater than bS1 at the block boundary, it may be determined that deblocking filtering may be applied to the chroma component.
- a sample value to which the deblocking filter is applied is within a range determined by a range parameter, and the range parameter may be determined based on a quantization parameter.
- the quantization parameter may be determined based on a bS value.
- the present invention in applying the deblocking filtering, it is possible to effectively remove the deblocking artifacts and to reconstruct the image closer to the original.
- the complexity may be reduced to increase the compression efficiency.
- the complexity in applying the deblocking filtering, the complexity can be reduced by effectively setting the bS values for the luma component and the chroma component.
- FIG. 1 is a block diagram schematically illustrating an encoding apparatus (video encoding apparatus) according to an embodiment of the present invention.
- FIG. 2 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
- FIG. 3 is a flowchart schematically illustrating a method of applying a deblocking filter according to the present invention.
- FIG. 4 is a diagram schematically illustrating a method of deblocking filtering according to the present invention.
- FIG. 5 is a flowchart schematically illustrating an example of a method of obtaining bS.
- FIG. 6 is a diagram schematically illustrating an example of a method of determining a bS value.
- FIG. 7 and 8 schematically illustrate another example of a method of determining a bS value.
- FIG. 9 schematically illustrates an example of a method of determining bS when a boundary of a deblocking application unit block coincides with a boundary of a bS determination unit block.
- FIG. 10 is a diagram schematically illustrating another example of a method of determining a representative bS value in a unit block for performing deblocking filtering.
- FIG. 11 is a flowchart schematically illustrating another example of a method of determining bS.
- 12 to 14 are flowcharts schematically illustrating examples of a method of determining a bS value as one of three values.
- 15 and 16 are examples of a bS decision tree applied when OMBC is applied, and are flowcharts schematically illustrating a method of determining bS.
- 17 and 18 are diagrams schematically illustrating examples of a method of determining bS to apply deblocking filtering.
- 19 is a flowchart schematically illustrating an example of a method of determining a representative bS.
- 20 is a flowchart schematically illustrating another example of a method of determining a representative bS.
- 21 is a flowchart schematically illustrating a method of simplifying a bS decision tree.
- 22 is a flowchart schematically illustrating a method of encoding an image according to the present invention.
- 23 is a flowchart schematically illustrating a method of decoding an image according to the present invention.
- 24 is a flowchart schematically illustrating an example of a method of deriving bS and applying deblocking filtering according to the present invention.
- each of the components in the drawings described in the present invention are shown independently for the convenience of description of different characteristic functions in the image encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
- two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
- Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
- the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
- the picture dividing unit 105 may divide the input picture into at least one processing unit block.
- the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
- the processing unit blocks divided by the picture divider 105 may have a quad-tree structure.
- the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
- the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
- the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
- the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
- the processing unit in which the prediction is performed and the processing unit in which the details of the prediction method and the prediction method are determined may be different.
- the prediction method and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
- a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
- a prediction block may be generated by performing prediction based on pixel information in a current picture.
- a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
- a reference picture may be selected for a PU and a reference block having the same size as the PU may be selected.
- the reference block may be selected in integer pixel units.
- a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
- the prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
- the motion vector may also be expressed in units of integer pixels or less. For example, it may be expressed in units of 1/4 pixels for luminance samples and in units of 1/8 pixels for chrominance samples.
- the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
- a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
- the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
- the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
- a prediction block may be generated after applying a filter to a reference sample.
- whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
- the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
- the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
- the PU of the N ⁇ N block size may be set to apply only in a specific case.
- the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
- PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
- the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
- the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
- the transform unit 115 performs transform on the residual block in units of transform blocks and generates transform coefficients.
- the transform block is a rectangular block of samples to which the same transform is applied.
- the transform block can be a transform unit (TU) and can have a quad tree structure.
- the transformer 115 may perform the transformation according to the prediction mode applied to the residual block and the size of the block.
- the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
- DST discrete sine transform
- DCT discrete cosine transform
- the transform unit 115 may generate a transform block of transform coefficients by the transform.
- the quantization unit 120 may generate quantized transform coefficients by quantizing the residual values transformed by the transform unit 115, that is, the transform coefficients.
- the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
- the reordering unit 125 rearranges the quantized transform coefficients provided from the quantization unit 120. By rearranging the quantized transform coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
- the reordering unit 125 may rearrange the quantized transform coefficients in the form of a 2D block into a 1D vector form through a coefficient scanning method.
- the reordering unit 125 may increase the entropy encoding efficiency of the entropy encoding unit 130 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
- the entropy encoding unit 130 may perform entropy encoding on the quantized transform coefficients rearranged by the reordering unit 125.
- Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
- the entropy encoding unit 130 may include quantized transform coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, and motion vector of the CUs received from the reordering unit 125 and the prediction unit 110.
- Various information such as information, reference picture information, interpolation information of a block, and filtering information may be encoded.
- the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
- the inverse quantizer 135 inversely quantizes the quantized values (quantized transform coefficients) in the quantizer 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantizer 135.
- the reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
- a reconstructed block is generated by adding a residual block and a prediction block through an adder.
- the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
- the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
- ALF adaptive loop filter
- SAO sample adaptive offset
- the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
- the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
- the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
- the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
- the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
- the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
- the image decoding apparatus 200 may include an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
- Memory 240 may be included.
- the input bitstream may be decoded according to a procedure in which image information is processed in the image encoding apparatus.
- variable length coding such as CAVLC (VLC)
- VLC variable length coding
- the entropy decoding unit 210 also uses the VLC used in the encoding apparatus. Entropy decoding may be performed by implementing the same VLC table as the table.
- CABAC CABAC is used to perform entropy encoding in the image encoding apparatus
- the entropy decoding unit 210 may perform entropy decoding using CABAC correspondingly.
- Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the predictor 230, and a residual value where entropy decoding is performed by the entropy decoding unit 210, that is, a quantized transform coefficient It may be input to the reordering unit 215.
- the reordering unit 215 may reorder the information of the bitstream entropy decoded by the entropy decoding unit 210, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
- the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
- the reordering unit 215 may generate an array of coefficients (quantized transform coefficients) in the form of a 2D block by scanning coefficients based on the prediction mode applied to the current block (transform block) and the size of the transform block.
- the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
- the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the image encoding apparatus.
- the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
- the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transform unit 225 of the decoding apparatus is configured in the transformation unit of the encoding apparatus.
- Inverse transformation may be performed based on the performed transformation information.
- the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
- intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
- inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
- motion information required for inter prediction of the current PU provided by the image encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
- the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
- FIG. 2 it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder.
- the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
- the residual is not transmitted and the prediction block may be a reconstruction block.
- the reconstructed block and / or picture may be provided to the filter unit 235.
- the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
- SAO sample adaptive offset
- the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
- the filter unit of the encoding device and the decoding device may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) as an in-loop filter.
- ALF adaptive loop filter
- SAO sample adaptive offset
- the deblocking filter removes artifacts between blocks due to block-by-block prediction, transformation, and quantization.
- the deblocking filter is applied to the prediction unit edge or the transform unit edge, and can set a predetermined minimum block size for applying the deblocking filter.
- a block boundary strength (hereinafter, referred to as bS) of a horizontal or vertical filter boundary is determined. Based on the bS, whether to perform filtering is determined in units of blocks and a threshold for determining filtering boundaries is derived. If you decide to perform filtering, decide which filter to apply.
- the filter to be applied may be selected from a weak filter and a strong filter.
- the filtering unit applies the selected filter to the boundary of the corresponding block.
- the adaptive loop filter may be applied after performing the SAO described later.
- ALF compensates for encoding errors by using a Wiener filter, and unlike SAO, ALF is applied globally in a slice.
- ALF may be applied only in the case of HE (High Efficiency).
- SAO is a procedure for restoring the offset difference from the original image on a pixel-by-pixel basis for the deblocking filtering image.
- a coding error may be compensated for through SAO, and the coding error may be due to quantization.
- SAO There are two types of SAO: band offset and edge offset.
- block distortion may occur at a boundary between reconstructed blocks.
- the deblocking filter may be applied to prevent block distortion, and the deblocking filter may be applied by distinguishing a position where block distortion easily occurs and a position where block distortion does not easily occur within the same image or picture.
- the deblocking filter may be applied in different ways to positions where block distortion is likely to occur and positions where block distortion is unlikely to occur.
- the bS for the boundary between blocks is determined in consideration of whether the boundary between blocks corresponds to a boundary to which the deblocking filter is to be applied, whether neighboring blocks are intra coded blocks, and the like. Filtering can be applied.
- the CU is an I_PCM CU, that is, a PCM (Pulse Coding Modulation) CU to which intra prediction is applied
- deblocking filtering may not be applied.
- the current block is not reconstructed through the prediction using the neighboring block.
- the I_PCM mode since the quantization and transformation processes are not performed, the same value as the original data is restored.
- the in-loop filter may not be applied to the CU to which the I_PCM mode is applied (I_PCM CU).
- the deblocking filtering process may set the quantization parameter qP for the I_PCM CU to zero to prevent the deblocking filter from being applied to the I_PCM CU.
- whether to apply the deblocking filter may be transmitted to the decoding apparatus. For example, a flag indicating whether to apply an in-loop filter for the PCM mode in a sequence parameter set (SPS) may be transmitted.
- SPS sequence parameter set
- FIG. 3 is a flowchart schematically illustrating a method of applying a deblocking filter according to the present invention.
- the deblocking filtering described in FIG. 3 may be performed in the encoding apparatus and the decoding apparatus.
- the filtering unit of FIGS. 1 and 2 may perform the deblocking filtering described in FIG. 3.
- Deblocking filtering is applied first to a vertical edge between blocks in the current picture and then to a horizontal edge between blocks in the current picture. Deblocking filtering is applied to the horizontal edges in the current picture with the modified sample by deblocking filtering of vertical edges.
- the deblocking filtering procedure described in FIG. 3 may be applied to the vertical edge in the current picture and then to the horizontal edge in the current picture.
- a block boundary is derived to apply deblocking filtering (S310).
- the filter unit sets the size of a current coding block or a current large coding unit (LCU) (hereinafter, referred to as a coding block in the present specification for convenience of description), and the boundary of the current coding block is It may be determined whether the boundary of the current coding block is not the picture boundary, the boundary of the current coding block is the boundary to which the deblocking filter is applied as the boundary of the tile, and the boundary of the current coding block is the boundary to which the deblocking filter is applied as the boundary of the slice.
- LCU current large coding unit
- the left boundary of the current coding block may be excluded from the object of the deblocking filtering. If the left boundary of the current coding block is the left boundary of the current tile and you decide not to apply a filter to the edges of the current tile, or if the left boundary of the current coding block is the left boundary of the current slice and you decide not to apply the filter to the edges of the current slice. In this case, the left boundary of the current coding block may be excluded from the object of deblocking filtering. Therefore, in the deblocking filtering for the vertical edge, the deblocking filtering may be applied to the left boundary of the current coding block if not the case.
- the deblocking filter when the deblocking filter is applied to the horizontal edge, if a top boundary of the current coding block is an upper boundary of the current picture, the upper boundary of the current coding block may be excluded from the object of the deblocking filtering. If the upper boundary of the current coding block is the upper boundary of the current tile and you decide not to apply a filter to the edges of the current tile, or the upper boundary of the current coding block is the upper boundary of the current slice and you decide not to apply the filter to the edges of the current slice. In this case, the upper boundary of the current coding block may be excluded from the object of deblocking filtering. In the deblocking filtering on the horizontal edge, if not the case, the deblocking filtering may be applied to the upper boundary of the current coding block.
- applying filtering to a boundary means performing filtering on predetermined samples located at both sides of the boundary.
- the filter unit may induce a block boundary with respect to the vertical edges of the transform block and the prediction block when the deblocking filtering is applied to the vertical edges in the picture, and when the deblocking filtering is applied to the horizontal edges in the picture, the filter block And a block boundary for the horizontal edge of the prediction block.
- the edge of the transform block may be derived depending on whether the deblocking filtering is applied to the corresponding edge of the coding block.
- a boundary may be derived for each block to be divided.
- the filter unit may induce a boundary for each partition of the prediction block.
- the partitions of the prediction block are 2NxN pixel blocks, NxN pixel blocks, 2NxnU pixel blocks, 2NxnD pixel blocks (N, U, and D are integers corresponding to the number of pixels, and n is an integer corresponding to the number of prediction blocks in the coding block. ), Edges can be derived for each partition.
- bS for a block boundary to which the deblocking filter is applied is derived (S320).
- bS is determined for each edge in the current coding block.
- bS may be derived for each vertical edge.
- bS may be derived for each horizontal edge.
- bS may be derived per edge of the transform block or may be derived per edge of the prediction block.
- bS may be derived in units of blocks of a predetermined size, for example, in units of 8x8 pixel blocks or 4x4 pixel blocks.
- bS may be derived for an edge of a block satisfying a specific condition among a transform block, a prediction block, and a predetermined size block in the current coding block.
- bS may be derived for the smaller of the transform block (e.g., TU) and the predictive block (e.g., PU) and the larger of the predetermined sized block (e.g., 8x8 pixel block).
- bS is a pixel unit corresponding to the size of a block that is a unit of bS determination at the boundary of a block to which deblocking is applied (for example, L pixel unit if the unit of bS determination is an LxL pixel block (L is an integer)). Can be determined. Derivation of specific values of bS will be described later.
- deblocking filtering may not be applied to the edge.
- deblocking filtering may not be applied to the edge.
- deblocking filtering may not be applied to the edge.
- the reference bS bS th1 and bS th2 may be set identically or differently.
- an additional threshold value (called Th1 for convenience of description) may be set. For example, when the reference bS value is set to 0, when the bS value for the target edge is larger than 0, Th1 may be used to determine whether to turn on / off the deblocking filtering at the block level. For example, the deblocking filter may be applied to the target edge when the value derived from the target edge is larger than Th1.
- deblocking filtering is applied to vertical edges in a picture is a value derived from the target vertical edge for comparison with Th1, which is defined in two blocks bounded by the corresponding vertical edge in a specific sample row.
- the difference between the samples to be filtered may be considered. For example, for samples in the k th sample row (k is an integer), the sum of the differences between the samples to be filtered adjacent to the vertical edge in the left block of the vertical edge, DL k (eg, a deblocking filter is applied).
- the sum of the difference between the first sample from the vertical edge and the second sample from the vertical edge and the difference between the third sample from the vertical edge and the second sample from the vertical edge The sum of the difference between the samples to be filtered adjacent to the vertical edge in the right block (current block) of the vertical edge DR k (e.g., if the deblocking filter is applied, three samples from the vertical edge are subject to filtering).
- the first sample from the vertical edge and the second sample from the vertical edge and the third sample from the vertical edge and the second sample from the vertical edge The sum of the differences of the players).
- the sum D k of the DL k and the DR k may be compared with the Th1 to apply the deblocking filtering to the corresponding vertical edge when the D k is smaller than the Th1. If D k is less than Th1, then considering the quantization parameter, it is considered that the vertical boundary is not an effective boundary (e.g., the actual boundary of the image in the original picture, etc.) and does not apply the deblocking filter. It can be judged to be close to the original.
- the D value may be derived by collecting the absolute values of the sums of the differences between the samples to be filtered for each sample row and each block.
- the D value considering the k th sample row and the k + j th sample rows of the left block L and the right block R with respect to the vertical edge may be derived as in Equation 1 below.
- DL K is the sum of the differences between the samples to be filtered adjacent to the vertical edge in the k th sample row of the left block. If deblocking filtering is applied to three samples adjacent to the vertical edge, then DL K is perpendicular to the difference between the first sample from the vertical edge and the second sample from the vertical edge in the kth sample row of the left block of the vertical edge. It can be derived as the sum of the difference between the third sample from the edge and the second sample from the vertical edge. DR K is the sum of the differences between samples to be filtered adjacent to the vertical edge in the k th sample row of the right block.
- DR K is the difference between the first sample from the vertical edge and the second sample from the vertical edge in the kth sample row of the right edge of the vertical edge. And the sum of the difference between the third sample from the vertical edge and the second sample from the vertical edge.
- D k may be defined as Equation 2 considering only k sample rows.
- D is less than Th1 and D k and k + 3 for the k th sample row. If D k + 3 for the first sample row is smaller than half of Th1 (Th1 / 2), respectively, strong filtering may be applied to the corresponding vertical edge. Alternatively, if D is less than Th1, but D k is not less than Th1 / 2 or D k + 3 is not less than Th1 / 2, weak filtering may be applied to the corresponding vertical edge.
- the filtering may be applied only to a specific sample among the samples to be filtered, and in this case, the filter coefficient may be different from the strong filtering.
- the samples to be filtered are six samples (three samples on the left and three samples on the right) positioned to the left and right of the vertical edge, while the strong filtering is applied to all the samples to be filtered.
- the filtering may be applied to two samples located on the left side of the target edge and two samples located on the right side of the target edge.
- the filter coefficients of the strong filtering and the weak filtering may also be different.
- the sum DT k of the difference between the samples to be filtered adjacent to the horizontal edge in the upper block of the horizontal edge e.g, If a deblocking filter is applied, the difference between the first sample from the horizontal edge and the second sample from the horizontal edge and the third sample from the horizontal edge and the second sample from the horizontal edge, The sum of the differences) and the sum of the differences between the samples to be filtered adjacent to the horizontal edge in the lower block (current block) of the horizontal edge DB k (e.g., three samples from the horizontal edge if a deblocking filter is applied).
- the samples are three times from the horizontal edge and the difference between the first sample from the horizontal edge and the second sample from the horizontal edge. From the sample and a horizontal edge it can be derived the sum of two difference in the second sample). Compare DT k D k and the sum of k and the DB Th1, it could be to apply a deblocking filter to the horizontal edges in the case where D k is less than Th1.
- the sample row considered for the vertical edge and the sample column considered for the horizontal edge may be the sample row and the sample column corresponding to each other. For example, if the 0th sample row and the 3rd sample row are targeted for the vertical edge, the 0th sample column and the 3rd sample column may be targeted for the horizontal edge.
- an absolute value may be respectively applied to the sums of differences between the sample column and the sample to be filtered for each block.
- the D value considering the k-th sample column and the k + j-th sample column of the upper block T and the lower block B with respect to the horizontal edge may be derived as in Equation 3 below.
- DT K is the sum of the differences between the samples to be filtered adjacent to the horizontal edges in the k-th sample column of the upper block. If deblocking filtering is applied to three samples adjacent to the horizontal edge, DT K is the horizontal difference between the first sample from the horizontal edge and the second sample from the horizontal edge in the kth sample column of the block above the horizontal edge. It can be derived as the sum of the difference between the third sample from the edge and the second sample from the horizontal edge. DB K is the sum of the differences between the samples to be filtered adjacent to the horizontal edge in the k th sample column of the lower block.
- DB K is the difference between the first sample from the horizontal edge and the second sample from the horizontal edge in the kth sample column of the horizontal edge lower block. And the sum of the difference between the third sample from the horizontal edge and the second sample from the horizontal edge.
- the deblocking filtering can be applied more effectively by considering the sum of the differences between adjacent samples to be filtered for each sample column.
- D k may be defined as Equation 4 by considering only k sample columns.
- the filtering may be applied only to a specific sample among the samples to be filtered.
- the filter coefficient may be applied differently from the strong filter. For example, consider the case where the samples to be filtered are six samples located above and below the horizontal edge (three samples on the edge and three samples on the edge), while strong filtering is applied to all the samples to be filtered. The filtering may be applied to two samples located above the target edge and two samples located below the target edge. In this case, the filter coefficients of the strong filtering and the weak filtering may also be different.
- Strong and weak filtering may be applied to the vertical and horizontal edges in the same way (eg, with the same filter coefficients or offsets).
- a predetermined method for example, , Deblocking filter can be applied according to the filter coefficient or offset.
- Deblocking filter can be applied according to the filter coefficient or offset.
- FIG. 3 illustrates a method of applying deblocking filtering in large steps such as derivation of block boundaries (S310), derivation of bS (S320), and filtering application (S330), a process of applying filtering from determination of bS is described. The above description may be divided into more detailed steps.
- the bS determination target edge is the edge for the smaller block of the TU and the PU. It may be an edge of a predetermined unit block (eg, an 8 ⁇ 8 pixel block), and may be an edge of a small unit block among TUs and a PU and a large block among predetermined unit blocks.
- a predetermined sample row of blocks on either side of the boundary (edge) as described above. (E.g., second and fifth sample rows) may be used.
- the bS determination target edge may be the edge for the smaller block of the TU and the PU. It may be an edge of a predetermined unit block (eg, an 8 ⁇ 8 pixel block), or an edge of a smaller unit block of a TU or a PU and a larger block of a predetermined unit block.
- a predetermined sample sequence of blocks on either side of the boundary (edge) can be used.
- deblocking filtering is performed 401 on an edge within a coding block in units of a coding block (eg, LCU). As described above, after performing deblocking filtering (horizontal filtering) on the vertical edge of the entire current picture, deblocking filtering (vertical filtering) on the horizontal edge is performed on the entire current picture.
- deblocking filtering horizontal filtering
- vertical filtering vertical filtering
- FIG. 5 is a flowchart schematically illustrating an example of a method of obtaining bS.
- a current block is represented as a Q block
- a block encoded / decoded before the current block as a block neighboring the current block is represented as a block P.
- FIG. For example, in the case of performing deblocking filtering on the vertical edge, the left block is called block P and the right block is called block Q with respect to the vertical edge.
- the upper block is called block P and the lower block is called block Q with the horizontal edge as a boundary.
- the sample which belongs to the block P is represented by p
- the sample which belongs to the block Q is represented by q.
- a boundary between block P and block Q is a CU boundary (S520).
- the CU boundary may be a boundary of the LCU.
- block P and / or block Q is not intra coded, it is determined whether block P and / or block Q includes a non-zero coefficient (transform coefficient) (S550).
- the filter unit may determine whether the presence of the non-zero transform coefficient is based on the transform coefficient before dequantization. In addition, the filter unit may determine whether a non-zero transform coefficient exists based on the transform coefficient after dequantization.
- step S550 when the block P and / or the block Q includes a coefficient (a nonzero transform coefficient), bS for a boundary between the block P and the block Q is determined as 2 (S560).
- bS for the boundary between the block P and the block Q is set to 0 (S590).
- S590 a case in which all of the above conditions are not described is described as an example for convenience of description.
- values of variables required for deblocking filtering may be set according to the bS value.
- t C offset is a value set by the user to determine the t C value optimized for the image characteristic.
- t C is one of a threshold value used to quantify the blocking artifact according to the degree of quantization to determine a parameter related to deblocking filtering.
- the block unit and the determination method for determining bS described above with reference to FIGS. 3 and 5 may be modified and applied.
- the bS may be determined in a unit equal to or smaller than a block unit performing the actual deblocking filtering.
- bS when the actual deblocking filtering is performed on a luma sample in units of 8x8 pixels, bS may be determined in units of 4x4 pixels.
- BS can be determined only at the boundary corresponding to In other words, when determining bS for each LxL (L is integer) pixel block, bS is determined in L pixel units at the boundary of a unit block for performing deblocking filtering.
- bS is 4 pixels at the boundary of the 8x8 pixel block in which the deblocking filtering is performed. Determined in units. Therefore, it is not necessary to determine bS for the edge of the 4x4 pixel block inside the 8x8 pixel block, which is a unit of deblocking filtering.
- FIG. 6 is a diagram schematically illustrating an example of a method of determining a bS value.
- the unit block 600 of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block will be described as an example.
- a vertical edge which is a boundary (edge) of the 4x4 pixel block that becomes the unit block of the determination of bS and a boundary of the unit block 600 of the deblocking filtering and There is a horizontal edge.
- the vertical edge in the unit block 600 of the deblocking filtering, there are two vertical edges 610 and 620 to be subjected to bS determination.
- the bS of the first vertical edge 610 and the bS of the second vertical edge 620 are compared to determine the larger bS as the representative bS for the vertical edge of the unit block 600 of the deblocking filtering. .
- the unit block 600 of the deblocking filtering is 2, which is the bS value of the second vertical edge 620. This can be determined by the representative bS value for the vertical edge that is the left boundary of.
- one of the two bS values may be used as the representative bS value.
- the method does not induce bS for the boundary located inside the unit block to which the deblocking filtering is applied, that is, the boundary (edge) of the unit block to which the deblocking filtering is applied and the unit block for determining the bS.
- bS for the boundary located inside the unit block to which the deblocking filtering is applied, that is, the boundary (edge) of the unit block to which the deblocking filtering is applied and the unit block for determining the bS.
- Other examples of the method of deriving bS only for the boundary case will be described in detail.
- FIGS. 7 and 8 are views schematically illustrating another example of a method of determining a bS value.
- a method of allocating a bS value through a two-step process will be described as an example.
- the 4x4 pixel block is a unit of bS determination and the 8x8 pixel block is a deblocking filtering application unit
- bS is determined in 4x4 pixel units
- 8x8 pixel block units Describe how to reallocate.
- FIG. 7 is a diagram schematically illustrating an example of a method of setting bS for each bS determination unit.
- a 4x4 pixel block eg, a TU
- a 16x16 pixel block eg, a CU
- the bS value may be determined for each boundary of each 4x4 pixel block.
- step 1 An example of a specific process (step 1) for determining the bS for every 4x4 pixel block is as follows.
- the position of the luma sample on the upper left side of the current block for example, CU
- CU position of the luma sample on the upper left side of the current picture
- log2CUSize A variable specifying the size of a CU that is the current block
- horEdgeFlags and verEdgeFlags the vertical and horizontal edges at which bS is determined.
- step 1 counting how many 4x4 pixel blocks, which are bS determination units, in the current CU (current block) (how many times the width and length of the current CU are 4 pixels) ((1 ⁇ log2CUSize) >> 2) and assign it as the nE value. Therefore, in step 1, En bSs can be set horizontally and vertically in units of 4 pixels with respect to the current block.
- the bS value set for each bS determination unit may be reassigned for each deblocking filter application unit (step 2).
- bS value may be set for every 8x8 deblocking application unit block.
- step 2 described in FIG. 8 the bSs of the 4 ⁇ 4 pixel block units determined in step 1 are compared to use any one of the bSs for two adjacent edges as the representative bS for the deblocking filter application unit of 8 ⁇ 8.
- a larger value is compared by comparing bS v1 , bS of the upper edge, and bS v2 , bS of the lower edge. It can be used as the bS value (bS v ) for the left vertical edge of 810.
- bS v the bS value
- bS h bS value for the upper horizontal edge of.
- the bS value for the edge located in the 8x8 pixel block, which is a unit block to which the deblocking filter is applied, among the bSs determined in step 1, is not allocated.
- step 2 An example of a specific process (step 2) of reallocating bS for every 8x8 pixel block to perform deblocking filtering is as follows.
- the position of the luma sample on the upper left side of the current block for example, CU
- CU position of the luma sample on the upper left side of the current picture
- log2CUSize variable specifying the size of the CU, which is the current block
- array bS specifies the boundary filtering strength
- Deblocking filtering on the luma edge of the current block may be performed in the following steps.
- the boundary filtering strength bSVer for the vertical edge is derived as follows.
- bSVer Max (bS [0] [xD k ] [yD m + i]). I is 0,. , Seven.
- bS [0] [xD k ] [yD m + i] means a bS value defined based on (xD k , yD m + i) as the boundary filtering intensity for the vertical edge.
- the decision process for the block edge is performed to determine dEdge [0] [k] [m] and an array dS of size 8x8 indicating whether to apply strong or weak filtering as the information about the decision.
- the boundary filtering strength bSHor for the horizontal edge is derived as follows.
- bSHor Max (bS [1] [xD k + i] [yD m ]). I is 0,... , 7.
- bS [0] [xD k + i] [yD m ] means a bS value defined based on (xD k + i, yD m ) as the boundary filtering intensity for the horizontal edge.
- the decision process on the block edge is performed to determine dEdge [1] [k] [m] and an array dS of size 8x8 indicating whether to apply strong filtering or weak filtering as information about the decision.
- dSample [1] [m] [(k ⁇ 3) + i] for determining the dEdge value is set to dS [i]. I is 0,. , Seven.
- Deblocking filtering is performed on edges determined to apply deblocking filtering based on a bS value, a dEdge value, and a dSample value.
- log2CUSize-3 is used when deriving nD representing the number of deblocking filtering unit blocks in the current block. That is, in units of 8x8 pixel blocks, the deblocking filter may be applied to the vertical edge and the horizontal edge with respect to the current block (current CU) by the number of 8x8 pixel blocks.
- the bS value for the vertical edge and the bS value for the horizontal edge are set to the largest bS value by contrast for every eight pixels.
- bSVer, bS for the vertical edge is set to Max (bS [0] [xD k ] [yD m + i])
- bSHor, bS for the horizontal edge is Max (bS [1] [xD k + i ] (yD m ]), where i is 0,. , 7
- the largest bS may be set as the bS for the current deblocking filter applied block.
- the largest bS is set to bS for the vertical edge of the current deblocking filtering block, and eight pixels along the horizontal edge.
- the largest bS may be set as the bS for the horizontal edge of the current deblocking filtering applied block.
- step 1 bS is determined at the boundaries of all 4x4 pixel blocks (bS decision unit blocks), but in step 2, bSVer and horizontal edges are bS for vertical edges at the boundaries of 8x8 pixel blocks (deblocking filtering applied unit blocks). Since bSHor is set to bS for, it uses bS determined at the boundary of an 8x8 pixel block.
- a relationship such as j + 4 is used, the present invention is not limited to these equations.
- the bS can be set for each bS determination unit even by applying another relationship indicating this.
- Step 2 of FIG. 7 and FIG. 8 a formula such as log2CUSize-3 is used to clearly describe processing in units of 8 pixels, but the present invention is not limited to these formulas.
- deblocking filtering is applied to a predetermined deblocking filtering unit (8x8 pixel block in the above example), and thus, when bS can be allocated, bS is applied to each deblocking filtering unit even if another bS is applied. Can be reassigned.
- the case in which the current block is a CU as a luma sample is described as an example, but the present invention is not limited thereto, and the case in which the chroma block or the current block is a processing unit other than the CU (eg, a PU or a TU) The same may apply to).
- step 1 the bS value is determined / assigned for every 4x4 pixel block boundary, but in step 2, bSVer and bSHor are obtained at the boundary of the 8x8 pixel block. Therefore, in the examples of FIGS. 7 and 8, it is unnecessary to determine bS for the edge inside the 8 ⁇ 8 pixel block.
- methods for deriving bS may be considered only at the boundary of the deblocking filtering applied unit block and at the boundary of the bS determination unit block.
- a method of determining a bS in a bS determination unit for each deblocking filtering unit block (bS derivation method 1), and a condition for determining a bS for each bS determination unit, but having the bS determination unit at the boundary of the deblocking filtering unit block
- the method of adding (bS derivation method 2) can be considered.
- an example of a method of determining bS in a bS determination unit for each deblocking filtering applied unit block is as follows.
- the position of the luma sample on the upper left side of the current block for example, CU
- CU position of the luma sample on the upper left side of the current picture
- log2CUSize A variable specifying the size of a CU that is the current block
- horEdgeFlags and verEdgeFlags the vertical and horizontal edges at which bS is determined.
- bS may be determined based on (E k , E j ). For example, bS may be determined as bS [filterDir] [E k ] [E j ].
- set bS based on (xE k + r , yEj) for the horizontal edge specify the sample to apply deblocking filtering
- set bS based on (Ek, yE j + r ) for the vertical edge Blocking filtering samples are specified, but r values are limited to 0 and 1.
- bS is determined for an edge that is a boundary of an 8x8 pixel block and a boundary of a 4x4 pixel.
- bS is determined in units of 4 pixels (bS determination unit) at a boundary of an 8x8 pixel block (deblocking filtering applied unit block).
- the position of the luma sample on the upper left side of the current block for example, CU
- CU position of the luma sample on the upper left side of the current picture
- log2CUSize A variable specifying the size of a CU that is the current block
- horEdgeFlags and verEdgeFlags the vertical and horizontal edges at which bS is determined.
- a sample to which deblocking filtering is applied to the horizontal edge and the vertical edge may be determined based on (xE k , yE j ) specifying a set of edge sample positions.
- yE j % 2 is 0,
- p 0 is set as (xC + xE k , yC + yE j -1) of the reconstructed picture after prediction, and ( x 0 can be set by xC + xE k , yC + yE j ), and (3) the deblocking filtering direction becomes a vertical direction.
- yE j % 2 means the remainder obtained by dividing yE j by 2.
- bS may be determined based on (E k , E j ). For example, bS may be determined as bS [filterDir] [E k ] [E j ].
- Method 2 also does not perform bS determination on the edges inside the deblocking application unit block (8x8 pixel block).
- the process of determining bS in units of a 4x4 pixel block (bS decision unit block) is performed, but the bS is determined only when the index of the 4x4 block is even, that is, when the boundary of the 4x4 block becomes the boundary of the 8x8 block.
- bS at each boundary may be determined by the bS determination method described in the example of FIG. 5, or may be determined by a more concise bS determination method as described later.
- FIG. 9 schematically illustrates an example of a method of determining bS when a boundary of a deblocking application unit block coincides with a boundary of a bS determination unit block.
- the example of FIG. 9 schematically illustrates the application results of Method 1 and Method 2 above.
- bS is not determined at an edge located inside the block 910. .
- the edges of the unit block of the deblocking filtering may be derived by deriving only bS for one of the edges of the unit block of the deblocking filtering.
- One may consider applying as a representative bS for the corresponding edge.
- FIG. 10 is a diagram schematically illustrating another example of a method of determining a representative bS value in a unit block for performing deblocking filtering. Also in FIG. 10, the case where the unit block 1000 of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block will be described as an example.
- bS is determined only for the 0 th edge 1010 of the two vertical edges 1010 and 1020 to be determined in the unit block 1000 of the deblocking filtering.
- bS is calculated only for the vertical edge and the horizontal edge of the unit block of the 0th bS determination for each unit block of deblocking filtering, and the calculated bS is used as the representative bS for the unit block of the deblocking filtering.
- the unit block of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block
- bS can be determined only for the vertical edge and the horizontal edge of the 0th block (the upper left block) and used as the representative bS for the unit block of the deblocking filtering.
- the process of determining the bS may be simplified to determine the bS as a process corresponding to one fourth of the existing process, and the memory for storing the bS may be one-quarter of the existing process. Can be reduced.
- the position (edge) for determining bS may be determined using any of the methods described with reference to FIGS. 6 to 10 as described above. In this case, a method of specifically determining bS at the position at which bS is set is as described with reference to FIG. 5.
- the method of determining bS may also be applied to a method simpler than that of FIG. 5.
- the bS values are derived from 0 to 4 as in the example of FIG. 5, the deblocking filtering process may not use the values of bS in detail. For example, only bS> 0 may be determined, only bS> 1 may be determined, or only bS> 2 may be determined.
- the deblocking filtering may be performed by further simplifying the bS decision tree as in the example of FIG. 5.
- FIG. 11 is a flowchart schematically illustrating another example of a method of determining bS.
- block P and / or block Q are intra coded (S1110).
- bS for the boundary between the block P and the block Q is determined as bS3 (S1120).
- the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient to which inverse quantization is applied.
- the bS value for the boundary between P and Q is determined as bS2 (S1140).
- block P and / or block Q does not include coefficients (non-zero transform coefficients) in step S1130, block P and block Q have different reference pictures or block P and block Q may have different motion vectors. It is determined whether to have (S1150).
- bS for the boundary between block P and block Q is determined as bS1 (S1160).
- bS for the boundary between the block P and the block Q is set to bS0 (S1170).
- the bS values determined in steps S1120, S1140, S1160, and S1170 are represented as bS3, bS2, bS1, and bS0, respectively, but are for convenience of description.
- bS3 is determined to be 3/4 in step S1120.
- the bS decision tree may be used to set values of variables required for deblocking filtering.
- t C offset is set to a specific value (for example, 2) for the largest bS value and 0 for other bS values.
- the deblocking filtering may be used by reducing the bS values from three (bS0, bS1, bS2) instead of four (bS0, bS1, bS2, bS3) as in the example of FIG.
- the case where block P and / or block Q is intra coded is determined as bS2, which is the largest bS value, and the bS value for the case where other deblocking filtering can be applied is determined as bS1, and deblocking filtering is applied.
- FIG. 12 is a flowchart schematically illustrating a method of determining a bS value as one of three values as described above.
- block P and / or block Q are intra coded (S1210).
- bS for the boundary between block P and block Q is determined as bS2 (S1220).
- block P and block Q contain nonzero coefficients (transform coefficients), P and Q have different reference pictures, or block P and block Q have different motions It is determined whether the vector has a state (S1230).
- the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient to which inverse quantization is applied.
- block P and block Q contain nonzero coefficients (transform coefficients) in step S1230, or block P and block Q have different reference pictures or block P and block Q have different motion vectors
- block P and block BS for the boundary between Q is set to bS1 (S1240).
- bS1 is a value of bS for the case where the block P and the block Q are not intra-coded and the deblocking filter can be applied.
- the value of bS1 can be set to, for example, 1.
- bS is set to bS0 (S1240).
- the bS decision tree may be used to set values of variables required for deblocking filtering.
- t C offset simply setting t C offset to a specific value (for example, 2) for the largest bS value and 0 for other bS values is simply illustrated as an example.
- FIG. 13 is a flowchart schematically illustrating another method of determining a bS value as one of three values.
- bS determination method bS decision tree
- FIG. 12 an example in which three values bS1, bS2, and bS3 of bS are explicitly set to 0, 1, and 2 is shown for understanding of the invention.
- block P and / or block Q are intra coded (S1310).
- a value of bS for a boundary between block P and block Q is determined as 2 (S1320).
- block P and block Q contain nonzero coefficients (transform coefficients) or block P and block Q have different reference pictures or block P and block Q It is determined whether there is a different motion vector (S1330).
- the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient to which inverse quantization is applied.
- block P and block Q include non-zero coefficients (transform coefficients), block P and block Q have different reference pictures, or block P and block Q have different motion vectors in step S1330, block P and block Q
- the value of bS for the boundary between Q is set to 1 (S1340).
- bS is 1, it is a bS value when the block P and the block Q are not intra-coded and the deblocking filter can be applied.
- the bS decision tree may be used to set values of variables required for deblocking filtering.
- t C offset is set to a specific value (for example, 2) for the largest bS value and 0 for other bS values.
- block P and Q determined in one step in FIG. 12 and FIG. 13 include nonzero coefficients (transform coefficients), P and Q have different reference pictures, or block P and block Q have different motion vectors. It may be possible to divide the judgment as to whether
- FIG. 14 is a flowchart schematically illustrating another method of determining a bS value as one of three values.
- block P and / or block Q are intra coded (S1410).
- the value of bS for the boundary between block P and block Q is determined as 2 (S1420).
- block P and / or block Q are not intra coded, it is determined whether block P and block Q include non-zero coefficients (transform coefficients) (S1430).
- the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient to which inverse quantization is applied.
- the value of bS for the boundary between the block P and the block Q is set to 1 (S1440).
- bS is 1
- the bS value for the case where the block P and the block Q are not intra coded and the deblocking filter can be applied corresponds to the case where bS is 2 in the example of FIG. 5.
- block P and the block Q do not include nonzero coefficients (transform coefficients)
- step S1450 the value of bS for the boundary between block P and block Q is set to 1 (S1460).
- bS is 1
- the case where bS is 1 is a bS value for the case where the block P and the block Q are not intra coded and the deblocking filter can be applied, and corresponds to the case where the bS value is 1 in the example of FIG. 5.
- the bS decision tree may be used to set values of variables required for deblocking filtering.
- t C offset is set to a specific value (for example, 2) for the largest bS value and 0 for other bS values.
- bS specifies the edge to be determined.
- the specification of the edge to determine the bS may be performed using any of the methods described with reference to FIGS. 6 to 10.
- p 0 and q 0 are determined based on (xE k , yE j ) as described above.
- variable bS [filterDir] [xE k ] [yE j ] indicating the boundary filtering strength is determined according to the derived deblocking filtering direction. For example, a value of filterDir of 1 indicates filtering in the vertical direction, and thus bS for a horizontal edge is derived. A value of 0 for filterDir indicates filtering in the horizontal direction, and thus bS for the vertical edge is derived.
- xE k and yE j specify the edges that determine bS.
- the edge that determines bS is between p 0 set to (xC + xE k , yC + yE j ⁇ 1) and q 0 set to (xC + xE k , yC + yE j ) for the horizontal edge.
- bS If the block edge targeted for bS determination is a CU edge, and sample p 0 or q 0 belongs to a CU coded in the intra prediction mode, bS, that is, bS [filterDir] [xE k ] [yE j ] values are set to 4 do.
- the value of bS [filterDir] [xE k ] [yE j ] when deblocking filtering is applied is set to one.
- the deblocking filter is applied.
- BS may be set.
- bS specifies the edge to be determined.
- the specification of the edge to determine the bS may be performed using any of the methods described with reference to FIGS. 6 to 10.
- the reference position (xE k , yE j ) to determine bS, the p left and right samples p 0 and q 0 , the direction of deblocking filtering, and the like, are determined by the specification of the edge at which bS is to be determined.
- variable bS [filterDir] [xE k ] [yE j ] indicating the boundary filtering strength is determined according to the derived deblocking filtering direction. For example, a value of filterDir of 1 indicates filtering in the vertical direction, and thus bS for a horizontal edge is derived. A value of 0 for filterDir indicates filtering in the horizontal direction, and thus bS for the vertical edge is derived.
- xE k and yE j specify the edges that determine bS.
- the edge that determines bS is between p 0 set to (xC + xE k , yC + yE j ⁇ 1) and q 0 set to (xC + xE k , yC + yE j ) for the horizontal edge.
- the value of bS [filterDir] [xE k ] [yE j ] when deblocking filtering is applied is set to one.
- the absolute value difference between the vertical components or the horizontal components of the motion vector used for the PU including p 0 and the motion vector used for the PU including q 0 is 1/4 pixel unit.
- the same bS value may be derived in the same step without inducing bS in four steps.
- Another example of a method of deriving a bS value to any one of three bS values is as follows.
- bS specifies the edge to be determined.
- the specification of the edge to determine the bS may be performed using any of the methods described with reference to FIGS. 6 to 10.
- the reference position (xE k , yE j ) to determine bS, the p left and right samples p 0 and q 0 , the direction of deblocking filtering, and the like, are determined by the specification of the edge at which bS is to be determined.
- variable bS [filterDir] [xE k ] [yE j ] indicating the boundary filtering strength is determined according to the derived deblocking filtering direction. For example, a value of filterDir of 1 indicates filtering in the vertical direction, and thus bS for a horizontal edge is derived. A value of 0 for filterDir indicates filtering in the horizontal direction, and thus bS for the vertical edge is derived.
- xE k and yE j specify the edges that determine bS.
- the edge that determines bS is between p 0 set to (xC + xE k , yC + yE j ⁇ 1) and q 0 set to (xC + xE k , yC + yE j ) for the horizontal edge.
- the value of bS [filterDir] [xE k ] [yE j ] when deblocking filtering is applied is set to one. For example, if the block edges target bS crystal belonging to the TU, including yet TU edge (i) sample p 0 or q transform coefficient level 0 is not zero (level), PU or q 0 containing (ii) p 0 When a PU comprising a has different reference pictures or has a different number of motion vectors, (iii) the vertical component of the motion vector used for the PU including p 0 and the motion vector used for the PU including q 0 (Iv) two motion vectors are used in a PU containing p 0 , and two motion vectors are q 0 if the absolute difference between them or the absolute difference between horizontal components differs by 4 or more in units of 1/4 pixels .
- the absolute difference between the vertical components of the motion vector or the absolute difference between the horizontal components is 1/4 pixel unit. 4 by Difference I can be set to such bS [filterDir] [xE k] [yE j] value 1 if.
- the case where the bS value is derived to 1 may not be limited to the case where the block edge to be bS determination is the edge of the TU.
- Another example of a method of deriving a bS value to any one of three values is as follows.
- bS specifies the edge to be determined.
- the specification of the edge to determine the bS may be performed using any of the methods described with reference to FIGS. 6 to 10.
- the reference position (xE k , yE j ) to determine bS, the p left and right samples p 0 and q 0 , the direction of deblocking filtering, and the like, are determined by the specification of the edge at which bS is to be determined.
- variable bS [filterDir] [xE k ] [yE j ] indicating the boundary filtering strength is determined according to the derived deblocking filtering direction. For example, a value of filterDir of 1 indicates filtering in the vertical direction, and thus bS for a horizontal edge is derived. A value of 0 for filterDir indicates filtering in the horizontal direction, and thus bS for the vertical edge is derived.
- xE k and yE j specify the edges that determine bS.
- the edge that determines bS is between p 0 set to (xC + xE k , yC + yE j ⁇ 1) and q 0 set to (xC + xE k , yC + yE j ) for the horizontal edge.
- the value of bS [filterDir] [xE k ] [yE j ] when deblocking filtering is applied is set to one. For example, (i) If the block edges target bS crystal belonging to the TU, including TU edge while sample p 0 or q transform coefficient level 0 is not zero (level), PU or q 0 containing (ii) p 0 .
- a PU comprising a has different reference pictures or has a different number of motion vectors
- two motion vectors are used in a PU containing p 0 , and the two motion vectors are close to q 0 if the absolute difference between them or the absolute difference between the horizontal components differs by more than 4 in units of 1/4 pixels .
- the absolute difference between the vertical components of the motion vector or the absolute difference between the horizontal components is 1/4 pixel unit. 4 by Difference I can be set to such bS [filterDir] [xE k] [yE j] value 1 if.
- the reference picture is different in the PU including p0 and the PU including q0, which reference picture list is used, and the reference picture index of the reference picture list. Is determined according to which picture is referenced.
- the bS derived as described above can also be applied to the chroma sample.
- the deblocking filtering method for chroma components needs to be modified.
- variable t C is a value that quantifies the blocking artifact according to the degree of quantization, and may be set to be derived based on t C offset or to be mapped on a predetermined table based on other deblocking parameters.
- t C may be determined according to a quantization parameter Q, ⁇ as a reference value for determining whether to apply deblocking filtering, or the like.
- Table 1 shows an example of the correspondence relationship between Q, ⁇ , t C.
- Deblocking filtering for the chroma samples may be performed using the specified parameters based on the values in Table 1.
- deblocking filtering is performed as follows.
- k may have values of 0, ..., 3.
- the deblocking filtering method for chroma samples may be applied as follows.
- variable t C is a value that quantifies the blocking artifact according to the degree of quantization and may be set to be derived based on t C offset or to be mapped on a predetermined table based on other deblocking parameters.
- t C may be determined according to a quantization parameter Q, ⁇ as a reference value for determining whether to apply deblocking filtering, or the like.
- Table 2 shows an example of the correspondence relationship between Q, ⁇ , t C.
- Deblocking filtering for chroma samples may also be performed using specified parameters based on the values in Table 2.
- deblocking filtering is performed as follows.
- k may have values of 0, ..., 3.
- deblocking filtering on the luma sample and deblocking filtering on the chroma sample are more effective and lower. Can be done in complexity
- bS0 may be 0, the value of bS1 may be 1, and the value of bS2 may be 2.
- deblocking filtering may be applied for each block of deblocking filtering applied unit.
- bS> bS0 it is possible to determine whether to apply deblocking to that edge, whether to apply weak filtering or strong filtering, etc.
- Deblocking filtering may be applied. If bS is bS0, deblocking filtering is not applied.
- the value of bS0 may be 0, the value of bS1 may be 1, and the value of bS2 may be 2, so the condition of bS> bS0 may be bS> 0. have.
- deblocking filtering may be applied for each deblocking applied unit block.
- the chroma sample Deblocking filtering (blocking for horizontal edges and deblocking filtering for vertical edges) for the block edges of the above may be applied when the value of bS is greater than bS1.
- the value of bS0 may be 0, the value of bS1 may be 1, and the value of bS2 may be 2, so the condition that the value of bS is greater than bS1 may be The value may be greater than one.
- examples of a method of applying deblocking filtering to a luma sample and examples of a method of applying deblocking filtering to a chroma sample may be applied together.
- deblocking filtering For example, based on the bS value at the target boundary, it may be determined whether deblocking filtering is applied to the luma component, and whether to apply deblocking filtering to the chroma component. In examples using three bS values (bS0, bS1, bS2), it may be determined whether to apply deblocking filtering on the luma component when the bS value at the block boundary is greater than zero. In addition, when the bS value at the block boundary is greater than 1, deblocking filtering may be applied to the chroma component. When the bS value at the block boundary is 0, deblocking filtering is not applied to the luma component or the chroma component.
- the bS value when the bS value is greater than 0 at the block boundary, it may be determined whether to apply strong filtering or weak filtering to the luma component. If the conditions for applying strong filtering and the conditions for applying weak filtering are not satisfied, filtering may not be applied. In this case, when the bS value is greater than 1 at the block boundary, deblocking filtering may be applied to the block boundary for the chroma component.
- deblocking filtering is not applied to the chroma component and deblocking filtering may be applied to the luma component.
- OBMC overlapped block motion compensation
- the above-described bS determination process needs to be modified to suit the OBMC. For example, if motion information between blocks is different, block artifacts may be severe, and one of the criteria for determining values 0 and 1 of bS may be similarity of motion information. However, when using the OBMC technique, block artifacts are reduced at the boundary of the region performing the motion compensation. As a result, unnecessary deblocking filtering can be reduced, but the bS decision process (bS decision tree) needs to be modified to reflect this.
- 15 is a flowchart schematically illustrating a method of determining bS as an example of a bS decision tree applied when OMBC is applied.
- block P and / or block Q are intra coded (S1500).
- the coding block includes a CU and an LCU.
- block P and block Q are not intra coded at step S1500, it is determined whether block P and block Q are in a rectangular or asymmetric partition within a single coding block (eg, CU) (S1540).
- step S1540 if the block P and the block Q are not in a rectangular or asymmetric partition in a single coding block (eg, CU), it is determined whether the block P and / or the block Q include a coefficient (a nonzero transform coefficient) ( S1550).
- the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient after inverse quantization is applied.
- bS is set to bS0
- step S1540 the block P and the block Q are not in a rectangular or asymmetric partition in a single coding block (e.g., CU), or in step S1570, the block P and the block Q have different reference pictures or movements. This includes the case without a vector.
- t C offset is set to a specific value (for example, 2) for the two largest bS values, and t C offset is set to 0 for other bS values.
- block P and block Q are in the same coding block (e.g., CU), while being in a rectangular partition (e.g., prediction block, PU, etc.) or an asymmetric partition (e.g., predictive block, PU, etc.), the value of bS for the boundary between block P and block Q can be determined as 0.
- a rectangular partition e.g., prediction block, PU, etc.
- an asymmetric partition e.g., predictive block, PU, etc.
- block P and block Q are in the same coding block (e.g., CU) and are in a rectangular partition (e.g., prediction block, PU, etc.) or in an asymmetric partition (e.g., predictive block, PU, etc.), If the difference between the motion information and the motion information of the block Q is large, the bS value for the boundary between the block P and the block Q is set to 1; if the difference between the motion information of the block P and the motion information of the block Q is small, The bS for the boundary between the blocks Q may be determined to be zero.
- FIG. 16 is a flowchart schematically illustrating a method of determining bS as another example of a bS decision tree applied when OMBC is applied.
- the coding block includes a CU and an LCU.
- step S1600 when the block P and the block Q are not intra coded, it is determined whether the block P and the block Q are in a rectangular or asymmetric partition in a single coding block (eg, CU) (S1640).
- a single coding block eg, CU
- the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient after inverse quantization is applied.
- step S1640 if block P and block Q are in a rectangular or asymmetric partition in a single coding block (e.g., CU), or in step S1650, block P and / or block Q include coefficients (non-zero transform coefficients). If not, it is determined whether the block P and the block Q have different reference pictures or motion vectors (S1670).
- bS the value of bS.
- the target boundary is the boundary of the coding block (eg, CU)
- bS is determined to be 4. If bS is determined to be 3 on the other boundary, the value of bS is 3 or 4 for all I slices.
- 17 is a diagram schematically illustrating an example of a method of determining bS and applying deblocking filtering.
- bS is determined to apply deblocking filtering (S1710), block-based filtering on / off is determined according to the determined bS (S1720), and a strong filter is applied to a predetermined bS. It is determined whether to apply a weak filter (S1730), and performs a filtering operation (S1740).
- the method of applying the deblocking filter may be the same as or similar to the method described above with reference to FIG. 3.
- the bS value may be determined by distinguishing whether the target boundary is the boundary of the coding block. .
- FIG. 18 is a diagram schematically illustrating another example of a method of determining bS to apply deblocking filtering.
- bS is not separately determined when block P and / or block Q is intra coded (in the case of an I slice).
- block P and / or block Q are intra coded (I slice) in order to apply deblocking filtering (S1810).
- bS is determined as one value (for example, 4), unlike the example of FIG. 17 (S1830).
- the block-based filtering on / off is determined according to the determined bS (S1840), and whether to apply a strong filter or a weak filter to a predetermined bS is determined (S1450).
- a filtering operation is performed (S1860).
- another method of modifying and applying the method of deblocking filtering described above may be considered to perform deblocking filtering by modifying the method of using the representative bS described in the example of FIG. 6.
- 19 is a flowchart schematically illustrating an example of a method of determining a representative bS.
- step S1910 If bS1 is greater than bS2 in step S1910, the representative bS is determined as bS1 (S1920). On the contrary, if bS2 is greater than bS1 in step S1910, the representative bS is determined as bS2 (S1930).
- bS1 and bS2 may be bSs for two vertical edges in a unit block of deblocking filtering, or bSs for two horizontal edges.
- the method of FIG. 15 is performed in the deblocking filtering process for the vertical edge and used to determine the representative bS for the vertical edge, and then used in the deblocking filtering process for the horizontal edge to determine the representative bS for the horizontal edge. Can be.
- the filtering unit may perform deblocking filtering using the determined representative bS.
- FIG. 19 illustrates a method of using bS having a large value as the representative bS as in the example of FIG. 6.
- the method of determining the representative bS may be different to reduce excessive deblocking filtering and reduce the amount of filtering.
- 20 is a flowchart schematically illustrating another example of a method of determining a representative bS.
- step S2010 If bS1 is less than bS2 in step S2010, the representative bS is determined as bS1 (S2020). On the contrary, if bS2 is smaller than bS1 in step S2010, the representative bS is determined as bS2 (S2030).
- bS1 and bS2 may be bSs for two vertical edges in a unit block of deblocking filtering, or bSs for two horizontal edges.
- the method of FIG. 20 is also performed in the deblocking filtering process for the vertical edge and used to determine the representative bS for the vertical edge, and then used in the deblocking filtering process for the horizontal edge to determine the representative bS for the horizontal edge. Can be.
- the filtering unit may perform deblocking filtering using the determined representative bS.
- FIG. 21 is a flowchart schematically illustrating another method of simplifying the bS decision tree (bS decision method).
- a value of bS for a boundary between block P and block Q is determined as 2 (S2120).
- block P and block Q contain nonzero coefficients (transform coefficients) or block P and block Q have different reference pictures or block P and block Q It is determined whether there is a different motion vector (S2130).
- step S2130 If block P and block Q contain nonzero coefficients (transform coefficients) or P and Q have different reference pictures or block P and Q have different motion vectors in step S2130, between block P and block Q The value of bS for the boundary of is set to 1 (S2140).
- the value of bS is set to 0 (S2140).
- the block P and the block Q are predicted in the inter prediction mode. If the motion information is similar, the bS value may be determined as 0. In other cases, that is, when the motion information is not similar or when the block P and / or block Q are coded in the intra prediction mode, bS may be determined to be 1 or 2.
- the deblocking filtering is not applied even if bS is determined to be 0 because the motion information of the blocks P and Q is similar. You may need it. This is because if the non-zero transform coefficient is present and motion information is similar and the application of the deblocking filtering is excluded, subjective loss of the user and objective loss of data may occur.
- the motion information is similar when the reference pictures of two blocks P and Q having the edges are the same and the difference between the motion vector components of the blocks P and Q are smaller than four.
- bS is not zero. If that is, or the difference between the x-component of the MV P MV P0 and MV Q of the x component MV Q0 at least 4, at least the difference between the MV P y component MV P1 and MV Q a y component MV Q1 4, bS is It is set to a nonzero value, for example 1.
- an arbitrary threshold may be set and then the difference between the components of the motion vector may be compared with the threshold. For example, the difference between the x-component of the MV P MV P0 and MV Q of the x component MV Q0 or the threshold value Th or more 0, the difference between the y-component of the MV P MV P1 and MV Q a y component MV Q1 threshold Th If it is 1 or more, bS may be set to 1 (2 when block P and / or block Q is coded in the intra prediction mode). At this time, Th 0 and Th 1 may be the same.
- the threshold value is small, the case where the value of bS becomes 0 is reduced, so that the threshold value Th 0 / Th 1 is set to a value smaller than 4 (2 or 3), thereby reducing the case where the value of bS becomes 0. Can be.
- Equation 7 shows an example of a method for determining whether to set the bS value to 0 or 1 according to the above method.
- Equation 3 (1) calculates the difference between the x component and the y component for the motion vector of the block P and the motion vector of the block Q, and (2) determines whether the difference of each component is greater than the threshold value. It is.
- t C _ offset may be removed.
- the bS value is a predetermined value (for example, Greater than 2, or 1)
- the predetermined value eg, 2 or 1
- a corresponding relationship between the quantization parameter Q value and t C may be specified through a table.
- Table 3 shows an example of a correspondence relationship between the deblocking parameters Q, t C and ⁇ .
- Table 3 refers to Table 8-13 of WD3: Working Draft 3 of High-Efficiency Video Coding (JCTVC-E603_d2).
- the relationship between the deblocking parameters may be represented as in Table 4 below.
- Table 4 shows the relationship between the deblocking parameters (Q, tC, ⁇ ), and refers to Table 8-10 of High Efficiency Video Coding (HEVC) text specification draft 9 (JCTVC-K1003_v9).
- HEVC High Efficiency Video Coding
- t C and ⁇ may be criteria for determining whether to apply strong filtering, and t C may define a range of sample values to which deblocking filtering is applied, as in Equation 6.
- abs (p 3 -p 0 ) + abs (q 0 -q with the additional consideration of samples other than p 0 , p 1 , p 2 and q 0 , q 1 , q 2 , such as p 3 and q 3 3 ) can be judged to be smaller than ( ⁇ >> 3).
- abs (p 0 -q 0 ) is smaller than (5 * t C +1) >> 1.
- the determination may be performed by taking a plurality of columns or rows in the block. For example, a plurality of rows may be selected for vertical edges to determine (1) to (3) for each row, and a plurality of columns for horizontal edges may be selected to determine (1) to (3) for each column. ) Can be judged.
- the quantization parameter Q Clip3 (0, 55, qP L +2) can be set, and t C corresponding to the quantization parameters Q and ⁇ values.
- the values can be obtained from Table 3.
- Q qP L may be set, and t C values corresponding to quantization parameters Q and ⁇ values may be obtained from Table 3.
- the quantization parameter Q value determined after determining the quantization Q value as one value regardless of the bS value is determined.
- the t C value corresponding to the ⁇ value can be obtained from Table 3.
- the quantization parameter Q Clip3 (0, 55, qP L + 2 * bS -2) is determined and the determined quantization parameter is determined.
- the t C values corresponding to the Q and ⁇ values can be obtained from Table 3.
- a more accurate t C value may be obtained by considering the value of t C _offset in addition to the bS value, the quantization parameter of the block P and the block Q, and the bS value.
- the decoder may determine the quantization parameter Q value by reflecting t C _offset information transmitted in the slice header.
- the t C _offset information transmitted in the slice header is a value transmitted for applying an optimized deblocking filter for each slice, and may be represented as slice_tc_offset_div2 as t C _offset information for a slice including q samples adjacent to an edge.
- slice_tc_offset_div2 specifies the value of the default deblocking parameter offset for t C.
- the quantization parameter Q Clip3 (0, 55, qP L + 2 * bS-2 + slice_tc_offset_div2 ⁇ 1) is set, and the variable t C may be determined based on the set quantization parameter Q value and ⁇ value.
- t C may be determined using a table that defines a relationship between quantization parameters Q, ⁇ , and t C , as shown in Table 3, based on the quantization parameter Q and ⁇ value.
- the Q value may be determined as described above based on the t C _offset information (slice_tc_offset_div2) transmitted in the slice header, and the t C value may also be determined based on the ⁇ value and the Q value transmitted from the encoding apparatus.
- the t C value is a value for quantifying the blocking artifact according to the degree of quantization and may be used as a criterion for determining whether to apply strong filtering or weak filtering when deblocking filtering is applied.
- the t C value may be used as a criterion for determining the range (clipping range) of the filtered pixel value, i.
- the deblocking filtered sample value may be determined based on a filtering offset determined within an integer multiple of t C based on the offset reference value.
- the offset reference value may be 0 or may be a sample value before deblocking filtering of the sample to be deblocked filtered.
- the deblocking filtered sample value may be determined within a filtering offset range that is determined within an integer multiple of t C about an offset reference value. That is, if the sample value before the deblocking filtering is used as the offset reference value, the value of the deblocking filtered luma sample within N (N is an integer) times the value of t C based on the luma sample value before the deblocking filtering is performed. Can be determined.
- the luma sample value before deblocking filtering is S
- the deblocking filtered luma sample value S ' may have a relationship of S-t C ⁇ S' ⁇ S + t C.
- N may have a relationship of S ⁇ 2t C ⁇ S ′ ⁇ S + 2t C.
- the deblocking filtered luma sample value may be determined as a value obtained by adding an offset determined within an integer multiple of t C values based on the offset reference value.
- the offset applied to the weak filtering may be determined separately from the offset range applied to the strong filtering. That is, if the offset reference value is set to 0, an offset determined within a range of N (N is an integer) times the value of t C based on 0 and the original luma sample may be determined as the filtered sample value.
- the offset may be determined based on sample values of the sample to be filtered and the surrounding samples.
- the offset ⁇ Y may be determined in the range of ⁇ t C ⁇ ⁇ Y ⁇ t C , and the offset reference value If 0 and the value of N is 2, the offset ⁇ Y may be determined in the range of ⁇ 2t C ⁇ ⁇ Y ⁇ 2t C.
- the deblocking filtered luma sample value is obtained by adding an offset determined within an integer multiple of t C value based on an offset reference value (for example, 0) as shown in Equation 6. Can be determined by a value.
- the offset applied may be determined separately from the offset range for the luma sample applied to the strong filtering and the offset for the luma sample applied to the weak filtering.
- an offset determined within a range of N (N is an integer) times the value of t C based on 0 and the original chroma sample value may be determined as the filtered chroma sample value.
- the offset may be determined based on sample values of the chroma sample to be filtered and the surrounding chroma samples.
- the reference offset value is 0 and if the value of N is 1, the offset ⁇ C may be determined in a range of -t C ⁇ ⁇ C ⁇ t C , offset reference If the value is 0 and the value of N 2, ⁇ offset C may be determined in the range of -2t C ⁇ ⁇ C ⁇ 2t C .
- 22 is a flowchart schematically illustrating a method of encoding an image according to the present invention.
- the encoding apparatus splits an input image and performs prediction on a current block (S2210). Prediction on the current block may be performed by the prediction unit of the encoding apparatus.
- the prediction unit may perform intra prediction on the current block or may perform inter prediction. Whether to perform intra prediction or inter prediction may be determined in consideration of Rate Distortion Optimization (RDO).
- RDO Rate Distortion Optimization
- the prediction unit may generate a prediction signal and generate a residual signal that is a difference between the original signal and the prediction signal.
- the encoding apparatus may convert and quantize the residual signal (S2220). Transformation of the residual signal may be performed in the transform unit, and quantization of the transformed signal (eg, transform coefficient) may be performed in the quantization unit.
- Transformation of the residual signal may be performed in the transform unit, and quantization of the transformed signal (eg, transform coefficient) may be performed in the quantization unit.
- the transformed and quantized signal may be transmitted through an entropy encoding process.
- the encoding apparatus restores the current block by inverse quantization and inverse transformation of the transformed and quantized signal (S2230).
- the inverse quantized and inversely converted signal is added to the residual signal to recover the original signal.
- the encoding apparatus may apply deblocking filtering to the recovered signal (S2240).
- the recovered signal may be recovered to a signal closer to the original by deblocking filtering.
- the deblocking filtering may be performed in the filter unit, and the filter unit may apply SAO (Sample Adaptive Offset) after applying the deblocking filtering.
- the signal to which deblocking filtering is applied is stored in a memory such as a decoded picture buffer (DPB), and may be referred to for prediction of another block or another picture.
- DPB decoded picture buffer
- the generation and transmission of the residual signal by the prediction has been described. However, when the skip mode is applied, the residual signal is not generated / transmitted.
- 23 is a flowchart schematically illustrating a method of decoding an image according to the present invention.
- the decoding apparatus entropy decodes a received bitstream and performs prediction for a current block (S2310). Prediction on the current block may be performed by a prediction unit in the decoding apparatus.
- the prediction unit may perform inter prediction or intra prediction on the current block based on the information signaled from the encoding apparatus.
- the prediction unit generates a prediction signal (prediction block) for the current block by prediction.
- the decoding apparatus reconstructs the current block based on the prediction for the current block (S2320).
- the decoding apparatus generates a residual signal (residual block) from the bitstream received from the encoding apparatus through inverse quantization / inverse transformation, and adds the prediction signal (prediction block) and the residual signal (prediction block) to the reconstruction signal (restored block). ) Can be created.
- the prediction signal is not transmitted, and the prediction signal may be used as a reconstruction signal.
- the decoding apparatus applies deblocking filtering to the reconstruction signal (restoration block) (S2330).
- Deblocking filtering may be performed in a filter unit in the decoding apparatus.
- the filter unit applies the deblocking filtering to the reconstruction block to modify the reconstruction block closer to the reconstruction block.
- the filter unit may apply SAO (Sample Adaptive Offset) to the reconstruction block based on the information received from the encoding apparatus after applying the deblocking filtering.
- SAO Sample Adaptive Offset
- the signal reconstructed through the filter unit may be stored in a memory such as a decoded picture buffer (DPB) to be referred to prediction of another block or another picture, or may be output as a reconstructed picture.
- a decoded picture buffer DPB
- the deblocking filtering may be performed in the encoding apparatus, the decoding apparatus, or may be performed in the filtering unit in the encoding apparatus and the decoding apparatus.
- the filtering unit performs the following operation related to the deblocking filtering.
- the filtering unit induces a boundary for determining bS (S2410).
- the boundary for determining the bS may be a boundary of a unit block to which deblocking filtering is applied.
- the boundary for determining bS may be a boundary of a unit block for determining bS.
- the boundary for determining bS may be a boundary of a unit block to which deblocking filtering is applied and a boundary of a unit block for determining bS.
- the filtering unit sets the bS for each bS setting unit (S2420).
- the bS may be set for each edge corresponding to the boundary of the bS determination unit block while determining the bS.
- the bS may be set for an edge corresponding to the boundary for the bS and corresponding to the boundary of the unit block to which the deblocking filtering is applied.
- the bS may be set for the boundary for determining the bS.
- the method of setting the bS may induce a bS for the boundary with any one of the five bS values, and induce the bS for the boundary with any one of the three bS values. You may.
- methods for inducing bS by reducing complexity may be applied. Specific methods for inducing / determining bS are as described above.
- the filtering unit performs deblocking filtering on the block boundary based on the bS (S2430).
- the filtering unit deblocking filtering on a block boundary based on the derived bS value.
- deblocking filtering is not applied to a block boundary having a bS value of bS0.
- a luma component luma sample
- a chroma component chroma sample
- deblocking filtering may be applied.
- a value of samples to which the deblocking filter is applied may be determined within a range determined by the range parameter t C.
- the range parameter t C may be determined based on the quantization parameter Q as described above.
- the quantization parameter Q may be determined based on the bS value.
- bS is determined with respect to an edge that is a boundary of a bS determination unit block and a boundary of a deblocking filtering applied unit block.
- BS may be determined using a method or the like.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 디블록킹 필터링의 방법과 이를 위해 경계 세기(boundary Strength, 이하 'bS')를 유도하는 방법 및 이를 이용하는 인코딩/디코딩 방법 및 장치에 관한 것으로서, 본 발명에 따른 bS 유도 방법은, 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 블록의 경계를 유도하는 단계 및 bS를 설정하는 단위 블록인 bS 블록별로 bS를 설정하는 단계를 포함하고, 상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정하며, 상기 설정된 bS 값은 루마 성분에 대한 디블록킹 필터링의 적용 여부 및 크로마 성분에 대한 디블록킹 필터링 적용 여부를 결정하는 기준이 될 수 있다.
Description
본 발명은 영상 정보 압축 기술에 관한 것으로, 더 구체적으로는 인-루프 필터(in-loop filter)로서 디블록킹 필터(deblocking filter)를 적용하는 방법에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
예측된 영상의 처리 단위, 예컨대 블록에 대하여는 영상을 원본과 동일하게 만들기 위한 다양한 방법이 적용될 수 있다. 이를 통해 디코딩 장치는 해당 영상을 더 정확하게(원본과 더 일치하게) 디코딩할 수 있으며, 인코딩 장치는 해당 영상이 더 정확하게 복원될 수 있도록 인코딩할 수 있다.
본 발명은 디블록킹 필터링을 적용함에 있어서, 디블로킹 아티팩트를 효과적으로 제거하여 원본에 가깝게 영상을 복원하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서 복잡도를 낮추어 압축 효율을 높일 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서, bS (boundary Strength)를 결정하는 단위 블록을 효과적으로 설정하여 복잡도를 줄일 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서, 루마 성분과 크로마 성분에 대한 bS 값을 효과적으로 설정함으로써 복잡도를 줄일 수 있은 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에 의한 bS 결정 방법은 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 블록의 경계를 유도하는 단계 및 경계 세기(Boundary Strength: bS, 이하 'bS'라 함)를 설정하는 단위 블록인 bS 블록별로 bS를 설정하는 단계를 포함하고, 상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있으며, 상기 설정된 bS 값은 루마 성분에 대한 디블록킹 필터링의 적용 여부 및 크로마 성분에 대한 디블록킹 필터링 적용 여부를 결정하는 기준이 될 수 있다.
상기 bS 설정 단계에서는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고, 상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정할 수 있으며, 상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가질 수 있다.
여기서, bS가 bS1으로 설정되는 경우는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우 및 상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함할 수 있다.
상기 루마 성분에 디블록킹 필터링이 적용될 수 있는 경우에는 bS0보다 큰 값으로 bS 값이 결정될 수 있다. 또한, 크로마 성분에 디블록킹 필터링이 적용될 수 있는 경우에는 bS1보다 큰 값으로 bS 값이 결정될 수 있다.
상기 설정된 bS 값에 의해서 양자화 파라미터가 결정될 수 있으며, 상기 양자화 파라미터를 기반으로 디블록킹 필터링이 적용된 샘플 값의 범위가 결정될 수 있다.
본 발명에 의한 디블록킹 필터링 방법은 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 블록의 경계를 유도하는 단계, 경계 세기(Boundary Strength: bS, 이하 'bS'라 함)를 설정하는 단위 블록인 bS 블록별로 bS를 설정하는 단계 및 상기 디블록킹 필터링 블록을 단위로 상기 bS에 기반하여 디블록킹 필터링을 적용하는 단계를 포함할 수 있으며, 상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있으며, 상기 디블록킹 필터링 적용 단계에서는, 대상 경계에서의 bS 값에 기반하여 루마 성분에 대한 디블록킹 필터링의 적용 여부를 결정하고, 크로마 성분에 대한 디블록킹 필터링 적용 여부를 결정할 수 있다.
상기 bS 설정 단계에서는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고, 상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정할 수 있으며, 이 경우 상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가진다.
상기 블록 경계에서 bS 값이 bS0보다 크면, 상기 루마 성분에 디블록킹 필터링을 적용할 수 있는 것으로 결정할 수 있다. 또한, 상기 블록 경계에서 bS 값이 bS1보다 크면, 상기 크로마 성분에도 디블록킹 필터링을 적용할 수 있는 것으로 결정할 수 있다.
한편, 디블록킹 필터가 적용된 샘플 값은 범위 파라미터에 의해 결정되는 범위 내에 있으며, 상기 범위 파라미터는 양자화 파라미터를 기반으로 결정될 수 있다. 이때, 상기 양자화 파라미터는 bS 값을 기반으로 결정될 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서 디블로킹 아티팩트를 효과적으로 제거하여 원본에 가깝게 영상을 복원할 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서 복잡도를 낮추어 압축 효율을 높일 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서, bS(boundary Strength)를 결정하는 단위 블록을 효과적으로 설정하여 복잡도를 줄일 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서, 루마 성분과 크로마 성분에 대한 bS 값을 효과적으로 설정함으로써 복잡도를 줄일 수도 있다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 본 발명에 따라서 디블록킹 필터를 적용하는 방법을 개략적으로 설명하는 순서도이다.
도 4는 본 발명에 따른 디블록킹 필터링의 진행 방식을 개략적으로 설명하는 도면이다.
도 5는 bS를 구하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 6은 bS 값을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 7 및 도 8은 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 9는 디블록킹 적용 단위 블록의 경계와 bS 결정 단위 블록의 경계가 일치하는 경우에 bS를 결정하는 방법의 예를 개략적으로 나타낸 것이다.
도 10은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 11은 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 12 내지 도 14는 bS 값을 3가지 값 중 어느 하나로 결정하는 방법의 예들을 개략적으로 설명하는 순서도이다.
도 15 및 도 16은 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 예들로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 17 및 도 18은 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 예들을 개략적으로 설명하는 도면이다.
도 19는 대표 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 20은 대표 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 21은 bS 결정 트리를 간소화하는 방법을 개략적으로 설명하는 순서도이다.
도 22는 본 발명에 따라서, 영상을 인코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 23은 본 발명에 따라서 영상을 디코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 24는 본 발명에 따라서 bS를 유도하고 디블록킹 필터링을 적용하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예컨대 휘도 샘플에 대해서는 1/4 픽셀 단위로, 색차 샘플에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 인코딩부(130)에서의 엔트로피 인코딩 효율을 높일 수도 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 영상 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 상술한 바와 같이, 인코딩 장치 및 디코딩 장치의 필터부는 인-루프(in-loop) 필터로서 디블록킹 필터(deblocking filter), ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 적용할 수 있다.
디블록킹 필터는 블록 단위의 예측, 변환, 양자화에 따른 블록 간의 아티팩트(artifacts)를 제거한다. 디블록킹 필터는 예측 유닛 에지(edge) 또는 변환 유닛 에지에 적용되며, 디블록킹 필터를 적용하기 위한 소정의 최저 블록 사이즈를 설정할 수 있다.
디블록킹 필터를 적용하기 위해서, 우선 수평 혹은 수직 필터 경계(boundary)의 블록 경계 강도(Boundary Strength, 이하 bS라 함)를 결정한다. bS를 기반으로, 필터링을 수행할 것인지를 블록 단위로 결정하고 필터링 경계를 결정하기 위한 기준값(threshold)를 유도한다. 필터링을 수행하기로 결정하면, 어떤 필터를 적용할 것인지를 정한다. 적용할 필터는 위크 필터(weak filter)와 스트롱 필터(strong filter) 중에서 선택될 수 있다. 필터링부는 선택된 필터를 해당 블록의 경계에 적용한다.
ALF(Adaptive Loop Filter)는 후술하는 SAO를 수행한 뒤에 적용할 수도 있다. ALF는 빈너 필터(Wiener filter)를 이용하여 부호화 에러를 보상하는 것으로서, SAO와 달리 슬라이스(slice) 내에 글로벌(global)하게 적용된다. ALF는 HE(High Efficiency)의 경우에만 적용되도록 할 수도 있다.
SAO는 디블록킹 필터링을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 절차이다. SAO를 통해서 부호화 에러(coding error)를 보상할 수 있으며, 부호화 에러는 양자화 등에 기인한 것일 수 있다. SAO에는 밴드 오프셋(band offset)과 에지 오프셋(edge offset)의 두 가지 타입이 있다.
상술한 바와 같이, 영상 복원을 블록 단위(예컨대, CU, PU, TU 등)로 수행하는 경우에는, 복원된 블록 사이의 경계에서 블록 왜곡이 발생할 수 있다. 블록 왜곡을 방지하기 위해 디블록킹 필터가 적용될 수 있는데, 디블록킹 필터는 동일한 영상 또는 픽처 내에서도 블록 왜곡이 생기기 쉬운 위치와 블록 왜곡이 생기기 어려운 위치를 구분하여 적용될 수 있다. 예컨대, 블록 왜곡이 생기기 쉬운 위치와 블록 왜곡이 생기기 어려운 위치에 서로 다른 방식으로 디블록킹 필터를 적용할 수 있다.
이를 위해, 블록 사이의 경계가 디블록킹 필터를 적용할 경계에 해당하는지, 이웃하는 블록들이 인트라 코딩이 적용된 블록들인지 등을 고려하여 블록 사이 경계에 대한 bS를 결정하고, 결정된 bS를 기반으로 디블록킹 필터링을 적용할 수 있다.
한편, CU가 I_PCM CU인 경우, 즉 인트라 예측이 적용되는 PCM(Pulse Coding Modulation) CU의 경우에는, 디블록킹 필터링을 적용하지 않을 수도 있다. I_PCM 모드의 경우에는 주변 블록을 이용한 예측을 통해 현재 블록을 복원하지는 않는다. 또한, I_PCM 모드가 적용되면 양자화(quantization), 변환(transformation) 과정을 거치지 않기 때문에, 원본 데이터와 동일한 값이 복원된다.
따라서, 최상의 화질(원본 화질)을 복원하기 위해서 I_PCM 모드가 적용된 CU(I_PCM CU)에 대해서는 인루프 필터를 적용하지 않도록 할 수도 있다. 예컨대, 디블록킹 필터링 프로세스에서 I_PCM CU에 대한 양자화 파라미터(qP)를 0(zero)로 설정하여 I_PCM CU에 디블록킹 필터가 적용되지 않도록 할 수 있다. 혹은 별도의 시그널링을 통해 I_PCM 모드가 적용되는 경우에 디블록킹 필터를 적용할 것인지가 디코딩 장치에 전달될 수도 있다. 예컨대, SPS(Sequence Parameter Set)에서 PCM 모드에 대해 인루프 필터를 적용할 것인지를 지시하는 플래그를 전송할 수 있다.
도 3은 본 발명에 따라서 디블록킹 필터를 적용하는 방법을 개략적으로 설명하는 순서도이다. 도 3에서 설명하는 디블록킹 필터링은 인코딩 장치와 디코딩 장치에서 수행될 수 있다, 예컨대, 도 1 및 도 2의 필터링부가 도 3에서 설명하는 디블록킹 필터링을 수행할 수 있다.
디블록킹 필터링은 현재 픽처 내 블록들 간의 수직 에지(vertical edge)에 먼저 적용된 후 현재 픽처 내 블록들 간의 수평 에지(horizontal edge)에 적용된다. 수직 에지에 적용된 디블록킹 필터링에 의해 수정된 샘플들을 가지고(with the modified sample by deblocking filtering of vertical edges) 현재 픽처 내 수평 에지에 디블록킹 필터링이 적용된다.
따라서, 도 3에서 설명하는 디블록킹 필터링의 절차는 현재 픽처 내의 수직 에지에 적용된 후, 현재 픽처 내의 수평 에지에 적용될 수 있다.
블록 간의 에지에 대하여 도 3을 참조하면, 디블록킹 필터링을 적용하기 위해 블록 경계가 유도된다 (S310).
필터부는 현재 코딩 블록 또는 현재 LCU(Largest Coding Unit)(이하, 설명의 편의를 위해 본 명세서에서 코딩 블록이라 함은 LCU를 포함한다)의 크기를 설정하고, 현재 코딩 블록의 경계(boundary)가 현재 픽처의 경계가 아닌지, 현재 코딩 블록의 경계가 타일의 경계로서 디블록킹 필터가 적용되는 경계인지, 현재 코딩 블록의 경계가 슬라이스의 경계로서 디블록킹 필터가 적용되는 경계인지를 판단할 수 있다.
예컨대, 수직 에지에 디블록킹 필터를 적용하는 경우에, 현재 코딩 블록의 좌측 경계가 현재 픽처의 좌측 경계(left boundary)면 디블록킹 필터링의 대상에서 현재 코딩 블록의 좌측 경계를 제외할 수 있다. 현재 코딩 블록의 좌측 경계가 현재 타일의 좌측 경계이고 현재 타일의 에지에 필터를 적용하지 않도록 결정한 경우나 현재 코딩 블록의 좌측 경계가 현재 슬라이스의 좌측 경계이고 현재 슬라이스의 에지에 필터를 적용하지 않도록 결정한 경우에는, 디블록킹 필터링의 대상에서 현재 코딩 블록의 좌측 경계를 제외할 수 있다. 따라서, 수직 에지에 대한 디블록킹 필터링에 있어서, 상기 경우가 아니라면 현재 코딩 블록의 좌측 경계에 디블록킹 필터링을 적용할 수 있다.
또한, 수평 에지에 디블록킹 필터를 적용하는 경우라면, 현재 코딩 블록의 상측 경계(top boundary)가 현재 픽처의 상측 경계이면 디블록킹 필터링의 대상에서 현재 코딩 블록의 상측 경계를 제외할 수 있다. 현재 코딩 블록의 상측 경계가 현재 타일의 상측 경계이고 현재 타일의 에지에 필터를 적용하지 않도록 결정한 경우나 현재 코딩 블록의 상측 경계가 현재 슬라이스의 상측 경계이고 현재 슬라이스의 에지에 필터를 적용하지 않도록 결정한 경우에는, 디블록킹 필터링의 대상에서 현재 코딩 블록의 상측 경계를 제외할 수 있다. 수평 에지에 대한 디블록킹 필터링에 있어서, 상기 경우가 아니라면 현재 코딩 블록의 상측 경계에 디블록킹 필터링을 적용할 수 있다.
본 명세서에서 경계에 필터링을 적용한다는 것은, 상기 경계 양쪽에 위치하는 소정의 샘플들에 대하여 필터링을 수행한다는 것을 의미한다.
필터부는 픽처 내 수직 에지에 대한 디블록킹 필터링을 적용하는 경우에는 변환 블록과 예측 블록의 수직 에지에 대하여 블록 경계를 유도할 수 있으며, 픽처 내 수평 에지에 대한 디블록킹 필터링을 적용하는 경우에는 변환 블록과 예측 블록의 수평 에지에 대하여 블록 경계를 유도할 수 있다.
변환 블록의 에지가 코딩 블록의 에지라면 해당 에지에 대해서는 코딩 블록의 해당 에지에 대한 디블록킹 필터링 적용 여부에 따라서 변환 블록의 경계를 유도할 수도 있다. 변환 블록이 분할되는 경우에는 분할되는 각 블록에 대하여 경계를 유도할 수 있다.
필터부는 예측 블록의 각 파티션별로 경계를 유도할 수 있다. 예컨대, 예측 블록의 파티션이 2NxN 픽셀 블록, NxN 픽셀 블록, 2NxnU 픽셀 블록, 2NxnD 픽셀 블록(N, U, D는 픽셀 수에 대응하는 정수이며, n은 코딩 블록 내 예측 블록의 개수에 대응하는 정수)인 경우에 각 파티션 별로 에지를 유도할 수 있다.
이어서, 디블록킹 필터를 적용할 블록 경계에 대한 bS가 유도된다(S320). bS는 현재 코딩 블록 내의 에지별로 결정된다. 픽처 내 수직 에지에 대하여 디블록킹 필터링이 적용되는 경우에는 수직 에지별로 bS가 유도되며, 픽처 내 수평 에지에 대하여 디블록킹 필터링이 적용되는 경우에는 수평 에지별로 bS가 유도될 수 있다.
bS의 유도는 소정의 단위별로 수행될 수 있다. 예컨대, bS는 변환 블록의 에지마다 유도될 수도 있고, 예측 블록의 에지마다 유도될 수도 있다. 또한, bS는 소정 사이즈의 블록을 단위로, 예컨대 8x8 픽셀 블록이나 4x4 픽셀 블록을 단위로 유도될 수도 있다.
더 나아가 bS는 현재 코딩 블록 내 변환 블록, 예측 블록, 그리고 미리 설정된 소정 사이즈의 블록 중 특정 조건을 만족하는 블록의 에지에 대해 유도될 수도 있다. 가령, 변환 블록(예컨대 TU)과 예측 블록(예컨대 PU) 중 작은 블록과 미리 정해진 사이즈의 블록(예컨대 8x8 픽셀 블록) 중 더 큰 블록에 대하여 bS가 유도될 수도 있다.
다시 말하면, bS는 디블록킹을 적용할 블록의 경계에서 bS 결정의 단위가 되는 블록의 크기에 대응하는 픽셀 단위(예컨대, bS 결정의 단위가 LxL 픽셀 블록(L은 정수)이면 L 픽셀 단위)로 결정될 수 있다. bS의 구체적인 값을 유도하는 것에 관해서는 후술하도록 한다.
이어서, bS에 따라서 블록 경계에 필터링이 수행된다(S330).
예컨대, 루마(luma) 샘플의 경우에, 대상 에지에 대한bS가 소정의 기준 bS, 예컨대 bSth1 이하이면, 해당 에지에 대해서는 디블록킹 필터링을 적용하지 않도록 할 수 있다. 크로마(chroma) 샘플의 경우에도 대상 에지에 대한bS가 소정의 기준 bS, 예컨대 bSth2 이하인 경우에는 해당 에지에 디블록킹 필터링을 적용하지 않도록 할 수 있다. 기준 bS bSth1과 bSth2는 동일하게 설정될 수도 있고, 상이하게 설정될 수도 있다.
디블록킹 필터링을 효율적으로 적용하기 위해 추가적인 임계값(설명의 편의를 위해 Th1이라 함)을 설정할 수도 있다. 가령, 기준 bS 값을 0으로 설정하면, 대상 에지에 대한 bS 값이 0보다 큰 경우에 Th1을 이용하여 블록 레벨에서의 디블록킹 필터링에 대한 온/오프 여부를 결정할 수 있다. 예컨대, 대상 에지로부터 유도한 값이 Th1보다 큰 경우에 디블록킹 필터를 대상 에지에 적용하도록 할 수도 있다.
디블록킹 필터링이 픽처 내 수직 에지들에 적용되는 경우를 먼저 설명하면, Th1과의 비교를 위해 대상 수직 에지로부터 유도되는 값으로서, 특정 샘플 행(row)에서 해당 수직 에지를 경계로 하는 두 블록 내 필터링 대상 샘플들 간의 차를 고려할 수 있다. 예를 들어, k번째 샘플 행(k는 정수)의 샘플들에 대하여, 수직 에지의 좌측 블록에서 상기 수직 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DL
k(가령, 디블록킹 필터가 적용된다면 수직 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합)을 산출하고, 수직 에지의 우측 블록(현재 블록)에서 상기 수직 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DR
k(가령, 디블록킹 필터가 적용된다면 수직 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합)을 유도할 수 있다. DL
k와 DR
k의 합 D
k를 상기 Th1과 비교하여, D
k 가 Th1보다 작은 경우에 해당 수직 에지에 디블록킹 필터링을 적용하도록 할 수 있다. D
k 가 Th1보다 작은 경우에는 양자화 파라미터를 고려할 때, 상기 수직 경계가 디블록킹 필터링을 적용하지 않는 것이 효과적인 경계(예컨대 원본 픽처 내 영상의 실제 경계 등)는 아닌 것으로 보고 디블록킹 필터를 적용하는 것이 원본에 가깝게 복원된다고 판단할 수 있다.
이때, 수직 에지를 경계로 하는 두 블록 내에서 상술한 바와 같이 하나의 샘플 행(row)에 대해서만 이웃하는 필터링 대상 샘플 간 차이의 합을 고려하지 않고, 복수의 샘플 행에 대하여 이웃하는 필터링 대상 샘플 간 차이의 합을 고려할 수도 있다. 예컨대, 수직 에지를 경계로 하는 두 블록에서 k번째 샘플 행(row)에 대한 필터링 대상 샘플 간 차이의 합 D
k와 k+j 번째 행(j는 정수)에 대한 필터링 대상 샘플 간 차이의 합 D
k+j를 합한 D(= D
k + D
k+j)가 임계값 Th1보다 작은 경우에 해당 수직 에지에 대한 디블록킹 필터를 적용하는 것으로 결정할 수도 있다.
두 샘플 행 사이의 차이j를 3으로 설정한 경우를 예로서 살펴보면, 2번째 샘플 행과 5 번째 샘플 행에 대하여, D(=D
2 + D
5) 가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수 있다. 두 샘플 행 사이의 차이j를 3으로 설정하고, 0번째 샘플 행과 3번째 샘플 행에 대하여 샘플 간 차의 합 D (= D
0 + D
3)를 Th1과 비교하여 D가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수도 있다.
이때, 각 블록과 샘플 행에 따른 특성을 효과적으로 반영하기 위해, 각 샘플 행별 그리고 각 블록별로 구한 필터링 대상 샘플 간 차들의 합에 대한 절대값들을 취합한 D값을 유도할 수도 있다. 이 경우, 수직 에지를 경계로 좌측 블록(L)과 우측 블록(R)의 k 번째 샘플 행과 k+j번째 샘플 행을 고려하는 D 값은 아래의 수식 1과 같이 유도될 수 있다.
<수식 1>
D = abs(DL
k) + abs(DL
k+j) + abs(DR
k) + abs(DR
k+j)
상술한 바와 같이, DL
K는 좌측 블록의 k 번째 샘플 행에서 수직 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 디블록킹 필터링을 적용할 때 수직 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DL
K는 수직 에지 좌측 블록의 k 번째 샘플 행에서 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다. DR
K는 우측 블록의 k 번째 샘플 행에서 수직 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 예컨대, 디블록킹 필터링을 적용할 때 수직 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DR
K는 수직 에지 우측 블록의 k 번째 샘플 행에서 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다.
복수의 샘플 행을 고려하여 상술한 바와 같이 인접하는 필터링 대상 샘플 간 차이 값의 합을 취합하는 경우에도, 각 샘플 행에 대한 인접하는 필터링 대상 샘플 간 차이의 합을 고려함으로써 더 효과적으로 디블록킹 필터링을 적용할 수 있다. 예컨대, 수식 1을 참조하면, k 샘플 행만을 고려하여 D
k를 수식 2와 같이 정의할 수 있다.
<수식 2>
D k = abs (DL
k) + abs (DR
k)
예를 들어, 해당 수직 에지에 대하여, 앞서의 예와 같이, k번째 샘플 행과 k+3번째 샘플 행을 고려하는 경우에, D가 Th1보다 작고 k 번째 샘플 행에 대한 D
k와 k+3 번째 샘플 행에 대한 D
k+3이 각각 Th1의 절반(Th1/2)보다 작은 경우에는 해당 수직 에지에 강한(strong) 필터링을 적용하도록 할 수 있다. 이와 달리, D가 Th1보다 작지만, D
k가 Th1/2보다 작지 않거나 D
k+3이 Th1/2보다 작지 않은 경우에는 해당 수직 에지에 약한(weak) 필터링을 적용하도록 할 수도 있다.
약한 필터링을 적용하는 경우에는 필터링 대상 샘플들 중에서 특정 샘플에 대해서만 필터링을 적용할 수 있으며, 이 경우에 필터 계수를 강한 필터링의 경우와 다르게 적용할 수도 있다. 예컨대, 필터링 대상 샘플들이 수직 에지 좌우에 위치하는 6개의 샘플(에지의 좌측 3개 샘플, 에지의 우측 3개 샘플)인 경우를 생각하면, 강한 필터링이 필터링 대상 샘플들에 모두 적용되는 반면, 약한 필터링은 대상 에지의 좌측에 위치하는 2 개의 샘플과 대상 에지의 우측에 위치하는 2 개의 샘플에 적용될 수 있다. 이때, 강한 필터링과 약한 필터링의 필터 계수 또한 상이할 수 있다.
디블록킹 필터링이 픽처 내 수평 에지들에 적용되는 경우에도, Th1과의 비교를 위해 대상 수평 에지로부터 유도되는 값으로서, 특정 샘플 열(column)에서 해당 수평 에지를 경계로 하는 두 블록 내 필터링 대상 샘플들 간의 차를 고려할 수 있다. 수직 에지의 예에서 설명한 바와 같이, k번째 샘플 열(k는 정수)의 샘플들에 대하여, 수평 에지의 상측 블록에서 상기 수평 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DT
k(가령, 디블록킹 필터가 적용된다면 수평 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합)을 산출하고, 수평 에지의 하측 블록(현재 블록)에서 상기 수평 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DB
k(가령, 디블록킹 필터가 적용된다면 수평 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 샘플들이 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합)을 유도할 수 있다. DT
k와 DB
k의 합 D
k를 상기 Th1과 비교하여, D
k 가 Th1보다 작은 경우에 해당 수평 에지에 디블록킹 필터링을 적용하도록 할 수 있다.
이때, 수평 에지를 경계로 하는 두 블록 내에서 복수의 샘플 열에 대하여 이웃하는 필터링 대상 샘플 간 차이의 합을 고려할 수도 있다. 예컨대, 수평 에지를 경계로 하는 두 블록에서 k번째 샘플 열(column)에 대한 필터링 대상 샘플 간 차이의 합 D
k와 k+j 번째 열(j는 정수)에 대한 필터링 대상 샘플 간 차이의 합 D
k+j를 합한 D (=D
k + D
k+j)가 임계값 Th1보다 작은 경우에 해당 수평 에지에 대한 디블록킹 필터를 적용하는 것으로 결정할 수도 있다.
두 샘플 열 사이의 차이j를 3으로 설정한 경우를 예로서 살펴보면, 2번째 샘플 열과 5 번째 샘플 열에 대하여, D (=D
2 + D
5) 가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수 있다. 두 샘플 열 사이의 차이j를 3으로 설정하고, 0번째 샘플 열과 3번째 샘플 열에 대하여 샘플 간 차의 합 D (=D
0 + D
3)를 Th1과 비교하여 D가 Th1보다 작은 경우에 디블록킹 필터를 해당 수평 에지에 적용하도록 할 수도 있다.
수직 에지에 대해 고려하는 샘플 행과 수평 에지에 대해 고려하는 샘플 열은 서로 대응하는 샘플 행과 샘플 열일 수 있다. 예컨대, 수직 에지에 대하여 0번째 샘플 행과 3번째 샘플 행을 대상으로 하였다면, 수평 에지에 대하여는 0번째 샘플 열과 3번째 샘플 열을 대상으로 할 수 있다.
수직 에지의 경우와 마찬가지로, 각 블록과 샘플 열에 따른 특성을 효과적으로 반영하기 위해, 샘플 열 그리고 각 블록별로 구한 필터링 대상 샘플 간 차들의 합들에 각각 절대값을 취할 수도 있다. 이 경우, 수평 에지를 경계로 상측 블록(T)과 하측 블록(B)의 k 번째 샘플 열과 k+j번째 샘플 열을 고려하는 D 값은 아래의 수식 3과 같이 유도될 수 있다.
<수식 3>
D = abs(DT
k) + abs(DT
k+j) + abs(DB
k) + abs(DB
k+j)
상술한 바와 같이, DT
K는 상측 블록의 k 번째 샘플 열에서 수평 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 디블록킹 필터링을 적용할 때 수평 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DT
K는 수평 에지 상측 블록의 k 번째 샘플 열에서 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다. DB
K는 하측 블록의 k 번째 샘플 열에서 수평 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 예컨대, 디블록킹 필터링을 적용할 때 수평 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DB
K는 수평 에지 하측 블록의 k 번째 샘플 열에서 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다.
수직 에지의 예에서 설명한 바와 같이, 각 샘플 열별로, 서로 인접하는 필터링 대상 샘플 간 차이의 합을 고려함으로써 더 효과적으로 디블록킹 필터링을 적용할 수 있다. 예컨대, 수식 3을 참조하면, k 샘플 열만을 고려하여 D
k를 수식 4와 같이 정의할 수 있다.
<수식 4>
D k = abs(DT
k) + abs(DB
k)
예를 들어, 해당 수평 에지에 대하여, 앞서의 예와 같이, k번째 샘플 열과 k+3번째 샘플 열을 고려하는 경우에, D가 Th1보다 작고 k 번째 샘플 열에 대한 D
k와 k+3 번째 샘플 열에 대한 D
k+3이 각각 Th1의 1/4보다 작은 경우로서 다른 디블로킹 파라미터에 관한 소정의 관계를 만족하는 경우에는 해당 수평 에지에 강한(strong) 필터링을 적용하도록 할 수 있다. 이와 달리, D가 Th1보다 작지만, D
k가 Th1/4보다 작지 않거나 D
k+3이 Th1/4보다 작지 않은 경우로서 소정의 조건을 만족하는 경우에는 해당 수평 에지에 약한(weak) 필터링을 적용하도록 할 수도 있다.
약한 필터링을 적용하는 경우에는 필터링 대상 샘플들 중에서 특정 샘플에 대해서만 필터링을 적용할 수 있으며, 이 경우에 필터 계수를 강한 필터와 달리 적용할 수도 있다. 예컨대, 필터링 대상 샘플들이 수평 에지 상하에 위치하는 6개의 샘플(에지의 상측 3개 샘플, 에지의 하측 3개 샘플)인 경우를 생각하면, 강한 필터링이 필터링 대상 샘플들에 모두 적용되는 반면, 약한 필터링은 대상 에지의 상측에 위치하는 2 개의 샘플과 대상 에지의 하측에 위치하는 2 개의 샘플에 적용될 수 있다. 이때, 강한 필터링과 약한 필터링의 필터 계수 또한 상이할 수 있다.
강한 필터링과 약한 필터링은 수직 에지와 수평 에지에 동일한 방법(예컨대, 동일한 필터 계수나 오프셋 등)으로 적용할 수도 있다.
필터부는 상술한 바와 같이 디블록킹 필터를 적용할 것인지, 스트롱 필터와 위크 필터 중 어떤 필터를 적용할 것인지, 위크 필터를 적용하는 경우라면 어떤 샘플을 대상으로 할 것인지가 결정되면, 미리 정해진 방법(예컨대, 필터 계수나 오프셋 등)에 따라서 디블록킹 필터를 적용할 수 있다. 앞서 설명한 바와 같이, 픽처 내 수직 에지들에 대하여 디블록킹 필터링을 적용한 후 픽처 내 수평 에지들에 대하여 디블록킹 필터링을 적용할 수 있다.
도 3에서는 블록 경계의 유도(S310), bS의 유도(S320), 필터링 적용(S330)과 같은 큰 스텝으로 디블록킹 필터링을 적용하는 방법을 설명하였으나, bS의 결정으로부터 필터링을 적용하는 과정에 대하여, 상술한 내용은 더 세부적인 스텝으로 구분될 수도 있다.
예컨대, 픽처 내 수직 에지에 대한 수평 디블록킹 필터링에 대하여, (1) 코딩 블록(LCU 일 수 있음) 내 수직 에지에 대하여, bS를 결정 - bS 결정 대상 에지는 TU와 PU 중 작은 블록에 대한 에지일 수 있고, 미리 정해진 단위 블록(예컨대, 8x8 픽셀 블록)의 에지일 수 있으며, TU와 PU 중 작은 단위 블록과 미리 정해진 단위 블록 중 큰 블록의 에지일 수 있다. (2) bS가 0보다 큰 에지에 대하여, 블록 레벨에서 디블록킹 필터링의 온(on)/오프(off) 결정 - 이를 위해, 상술한 바와 같이, 경계(에지) 양측의 블록들 중 소정 샘플 행(예컨대, 2번째와 5번째 샘플 행)을 이용할 수 있다. (3) 필터링을 온(on)하는 영역에 대해서 강한(strong) 필터링을 적용할지 약한(weak) 필터링을 적용할지를 결정. (4) 약한 필터링을 적용하는 경우에 추가적인 필터링 온/오프 결정-추가적인 필터링 온/오프는, 앞서 설명한 바와 같이, 특정 샘플별 필터링 온/오프 결정을 포함한다. (5) 현재 픽처 내 다음 코딩 블록(LCU를 포함)로 이동하여 상기 스텝을 반복 - 픽처 내 모든 수직 에지에 대한 디블록킹 필터링 처리를 수행한다.
픽처 내 수평 에지에 대한 수직 디블록킹 필터링에 대하여는, (1) 코딩 블록(LCU 일 수 있음) 내 수평 에지에 대하여, bS를 결정 - bS 결정 대상 에지는 TU와 PU 중 작은 블록에 대한 에지일 수 있고, 미리 정해진 단위 블록(예컨대, 8x8 픽셀 블록)의 에지일 수 있으며, TU와 PU 중 작은 단위 블록과 미리 정해진 단위 블록 중 큰 블록의 에지일 수 있다. (2) bS가 0보다 큰 에지에 대하여, 블록 레벨에서 디블록킹 필터링의 온(on)/오프(off) 결정 - 이를 위해, 상술한 바와 같이, 경계(에지) 양측의 블록들 중 소정 샘플 열(예컨대, 2번째와 5번째 샘플 열)을 이용할 수 있다. (3) 필터링을 온(on)하는 영역에 대해서 강한(strong) 필터링을 적용할지 약한(weak) 필터링을 적용할지를 결정. (4) 약한 필터링을 적용하는 경우에 추가적인 필터링 온/오프 결정-추가적인 필터링 온/오프는, 앞서 설명한 바와 같이, 특정 샘플별 필터링 온/오프 결정을 포함한다. (5) 현재 픽처 내 다음 코딩 블록(LCU를 포함)로 이동하여 상기 스텝을 반복 - 픽처 내 모든 수평 에지에 대한 디블록킹 필터링 처리를 수행한다.
도 4는 본 발명에 따른 디블록킹 필터링의 진행 방식을 개략적으로 설명하는 도면이다. 도 4를 참조하면, 코딩 블록(예컨대, LCU) 단위로 해당 코딩 블록 내의 에지에 대하여 디블록킹 필터링이 진행(401)된다. 앞서 설명한 바와 같이, 현재 픽처 전체에 대하여 수직 에지에 대한 디블록킹 필터링(수평 필터링)을 수행한 후, 현재 픽처 전체에 대하여 수평 에지에 대한 디블록킹 필터링(수직 필터링)을 수행한다.
도 5는 bS를 구하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
설명의 편의를 위해, 본 명세서에서는 디블록킹 필터링 프로세스에 있어서 현재 블록을 Q블록으로 나타내고, 현재 블록에 이웃하는 블록으로서 현재 블록보다 먼저 부호화/복호화된 블록을 블록 P로 나타낸다. 예컨대, 수직 에지에 대한 디블록킹 필터링을 수행하는 경우에는, 수직 에지를 경계로 좌측 블록을 블록 P라고 하고 우측 블록을 블록 Q라고 한다. 또한, 수평 에지에 대한 디블록킹 필터링을 수행하는 경우에는, 수평 에지를 경계로 상측 블록을 블록 P라고 하고 하측 블록을 블록 Q 라고 한다.
또한, 블록 P에 속하는 샘플을 p로 나타내고, 블록 Q에 속하는 샘플을 q로 나타낸다. 예컨대, 블록 P 에 속하며 특정 샘플 행 또는 특정 샘플 열에서 블록 P와 블록 Q 사이의 경계(에지)로부터 i번째 샘플을 pi라고 할 수 있다(i=0,1,2, …). 동일하게, 마찬가지로, 블록 Q 에 속하며 특정 샘플 행 또는 특정 샘플 열에서 블록 P와 블록 Q 사이의 경계(에지)로부터 i번째 샘플을 qi라고 할 수 있다(i=0,1,2, …)
도 5를 참조하면, bS를 결정하기 위해 우선, 블록 P 및/또는 블록 Q가 인트라 코딩되었는지를 판단한다(S510).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우에는, 블록 P와 블록 Q 사이의 경계가 CU 경계인지를 판단한다(S520). 이때, CU 경계는 LCU의 경계일 수도 있다.
S520 단계에서, 블록 P와 블록 Q 사이의 경계가 CU의 경계인 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 4로 결정한다(S530).
S520 단계에서, 블록 P와 블록 Q 사이의 경계가 CU의 경계가 아닌 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 3으로 결정한다(S540)
블록 P및/또는 블록 Q가 인트라 코딩된 경우가 아니라면, 블록 P 및/또는 블록 Q가 0이 아닌 계수(변환 계수)를 포함하는지를 판단한다(S550). 이때, 필터부는 0이 아닌 변환 계수의 존부를 역양자화 전의 변환 계수를 기준으로 판단할 수 있다. 또한, 필터부는 0이 아닌 변환 계수의 존부를 역양자화 후의 변환 계수를 기준으로 판단할 수도 있다.
S550 단계에서, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS를 2로 결정한다(S560).
S550 단계에서, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, 블록 P와 블록 Q가 상이한 참조 픽처 또는 상이한 움직임 벡터를 가지는지를 판단한다(S570).
S570 단계에서, 블록 P와 블록 Q가 서로 상이한 참조 픽처 또는 상이한 움직임 벡터를 가지는 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS를 1로 결정한다(S580).
그 외의 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에 해당하면, 블록 P와 블록 Q 사이의 경계에 대한 bS를 0으로 설정한다(S590). 도 5에서는, bS를 적용하지 않는 경우의 일 예로서, 상술한 조건에 모두 해당하지 않는 경우를 설명의 편의를 위해 예로서 설명하고 있다.
한편, bS 값에 따라서 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다.
예컨대, 도 5에 도시된 tCoffset과 같은 변수의 경우를 예로서 들 수 있다. tCoffset은 영상 특성에 최적화된 tC값을 결정하기 위해 사용자에 의해 설정되는 값이다. tC는 양자화 정도에 따른 블록킹 아티팩트를 정량화하여 디블록킹 필터링과 관련된 파라미터를 결정하는데 이용되는 임계값(threshold value)의 하나이다.
도 5에서는, bS 값이 0, 1 또는 2 인 경우에는 tCoffset을 0으로 설정하고, bS 값이 3 또는 4인 경우에는 tCoffset을 2로 설정되는 일 예를 간단히 나타내고 있다.
한편, 효과적으로 디블록킹 필터링을 적용하기 위해, 앞서 도 3 및 도 5에서 설명한 bS를 결정하는 블록 단위와 결정 방법을 수정하여 적용할 수도 있다.
bS는 실제 디블록킹 필터링을 수행하는 블록 단위와 같거나 작은 단위에서 결정될 수 있다.
예컨대, 루마 샘플에 대하여 실제 디블록킹 필터링을 8x8 픽셀 단위로 수행하는 경우에 bS는 4x4 픽셀 단위로 결정될 수 있다. 이렇게 디블록킹 필터링을 수행하는 단위 블록의 크기가 bS를 결정하는 단위 블록의 크기보다 큰 경우에는, bS를 결정하는 단위 블록의 경계(에지)들 중에서 디블록킹 필터링을 수행하는 단위 블록의 경계(에지)에 해당하는 경계에서만 bS를 결정하도록 할 수 있다. 다시 말하면, LxL (L은 정수) 픽셀 블록별로 bS를 결정하는 경우에, 디블록킹 필터링을 수행하는 단위 블록의 경계에서 L 픽셀 단위로 bS가 결정된다.
구체적으로, bS를 결정하는 블록 단위는 4x4 픽셀 블록이고, 실제 디블록킹 필터링은 8x8 픽셀 블록 단위로 수행하는 경우를 예로서 설명하면, bS는 디블록킹 필터링이 수행되는 8x8 픽셀 블록의 경계에서 4 픽셀 단위로 결정된다. 따라서, 디블록킹 필터링의 단위인 8x8 픽셀 블록 내부의 4x4 픽셀 블록 에지에 대해서는 bS를 결정할 필요가 없다.
도 6은 bS 값을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 6에서는, 디블록킹 필터링의 단위 블록(600)이 8x8 픽셀 블록이고 bS 결정의 단위 블록이 4x4 픽셀 블록인 경우를 예로서 설명한다.
도 6을 참조하면, 디블록킹 필터링의 단위 블록(600) 내에는 bS의 결정의 단위 블록이 되는 4x4 픽셀 블록의 경계(에지)이면서 디블록킹 필터링의 단위 블록(600)의 경계가 되는 수직 에지와 수평 에지가 존재한다.
수직 에지의 경우를 예로서 설명하면, 디블록킹 필터링의 단위 블록(600)에는 bS 결정의 대상이 되는 두 개의 수직 에지(610, 620)가 존재한다. 도 6의 예에서는 첫 번째 수직 에지(610)의 bS와 두 번째 수직 에지(620)의 bS를 비교하여 더 큰 bS를 디블록킹 필터링의 단위 블록(600)의 수직 에지에 대한 대표 bS로 결정한다.
예컨대, 첫 번째 수직 에지(610)의 bS가 1이고, 두 번째 수직 에지(620)의 bS가 2인 경우에는 두 번째 수직 에지(620)의 bS 값인 2를 디블록킹 필터링의 단위 블록(600)의 좌측 경계가 되는 수직 에지에 대한 대표 bS 값으로 결정할 수 있다.
도 6에서는 설명의 편의를 위해 수직 에지에 대한 경우를 예로서 설명하였으나, 수평 에지의 경우에도 동일한 방법을 적용할 수 있다.
도 6의 예에서 두 bS의 값이 동일한 경우에는, 두 bS 값 중 어느 하나를 대표 bS값으로 사용할 수 있음은 물론이다.
도 6과 같이, 디블록킹 필터링을 적용하는 단위 블록의 내부에 위치하는 경계에 대해서는 bS를 유도하지 않는 방법, 즉 디블록킹 필터링을 적용하는 단위 블록의 경계(에지)이면서 bS를 결정하는 단위 블록의 경계인 경우에 대해서만 bS를 유도하는 방법의 다른 예들을 구체적으로 설명한다.
도 7과 도 8은 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 7과 도 8의 예에서는 bS 값을 2 단계의 과정을 거쳐서 할당하는 방법을 예로서 설명한다. 구체적으로, 도 7과 도 8의 예에서는 4x4 픽셀 블록이 bS 결정의 단위이고, 8x8 픽셀 블록이 디블록킹 필터링 적용 단위인 경우에, 4x4 픽셀 단위로 bS를 결정한 후에, 8x8 픽셀 블록 단위로 bS를 재할당하는 방법을 설명한다.
도 7은 bS 결정 단위마다 bS를 설정하는 방법의 일 예를 개략적을 설명하는 도면이다. 도 7을 참조하면, 16x16 픽셀 블록(예컨대, CU)에 bS 결정 단위가 되는 4x4 픽셀 블록(예컨대, TU)가 도시된 바와 같이 존재한다. 각 4x4 픽셀 블록의 경계마다 bS 값이 결정될 수 있다.
4x4 픽셀 블록마다 bS를 결정하도록 하는 구체적인 프로세스의 일 예(단계 1)는 아래와 같다.
<4x4 픽셀 블록 단위로 bS를 설정하는 방법 – 단계 1>
현재 블록, 예를 들어 CU 내 좌상측에 있는 루마 샘플의 위치를 현재 픽처의 좌상측 루마 샘플을 기준으로 특정하면 (xC, yC)라고 하자. 현재 블록인 CU의 사이즈를 특정하는 변수를 log2CUSize라고 하고, bS가 결정되는 수직 에지와 수평 에지는 2차원 어레이(array) horEdgeFlags와 verEdgeFlags에 의해 지시된다고 하자. 이때, 2 차원 어레이의 크기는 nS x nS 이며, nS = 1<<log2CUSize이다.
(xEk, yEj)가 에지 주변 샘플(에지 샘플) 위치들의 집합을 특정한다고 하자. k = 0, …, nE-1이고 j = 0, …, nE-1이며, nE는 ( ( 1 << log2CUSize ) >> 2 )로 설정되고, xE0 = 0, yE0 = 0, xEk+1 = xEk + 4, yEj+1 = yEj + 4의 관계를 가진다.
이 경우, 수평 에지와 수직 에지에 대하여 디블록킹 필터링이 적용되는 샘플이 에지 샘플 위치들의 집합을 특정하는 (xEk, yEj)을 기반으로 결정될 수 있다. 예컨대, 수평 에지에 대하여, (1) 수평 에지임을 지시하는 정보가 해당 에지에 디블록킹 필터링이 적용될 것임(bS가 결정될 것임)을 지시하면(예를 들어, horEdgeFlags[xEk][yEj] = 1), (2) p0를 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj-1)로 설정하고, q0를 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj)로 설정할 수 있으며, (3) 이때, 디블록킹 필터링의 방향은 수직 방향이 된다.
수직 에지에 대해서는 (1) 수직 에지임을 지시하는 정보가 해당 에지에 디블록킹 필터링이 적용될 것임(bS가 결정될 것임)을 지시하면(예를 들어, verEdgeFlags[xEk][yEj] = 1), (2) p0를 예측을 거쳐 복원된 픽처의 (xC+xEk-1, yC+yEj)로 설정하고, q0를 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj)로 설정할 수 있으며, (3) 이때, 디블록킹 필터링의 방향은 수평 방향이 된다.
상술한 방법(단계 1)에 의하면, 현재 CU(현재 블록) 내에 bS 결정 단위인 4x4 픽셀 블록이 몇 개인지(현재 CU의 가로 및 세로가 4 픽셀의 몇 배수인지)를 카운팅((1<<log2CUSize)>>2)해서 nE 값으로 할당한다. 따라서, 스텝 1에서는 현재 블록에 대해서 4 픽셀 단위로 En개의 bS가 가로 및 세로로 설정 가능하다. bS가 4 픽셀 단위로 결정되도록 (xEk, yEj)를 4 픽셀 단위로 증가시킨다(xEk+1 = xEk + 4, yEj+1 = yEj + 4), 즉 현재 블록(현재 CU) 내에서 4x4 픽셀 블록 단위로 bS를 결정하는 프로세스를 진행할 수 있도록 인덱스를 증가시킨다.
상술한 방법(단계 1)에 이어, bS 결정 단위마다 설정된 bS 값을 디블록킹 필터 적용 단위마다 재할당할 수 있다(단계 2).
도 8은 디블록킹 필터 적용 단위마다 bS를 재할당하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 8을 참조하면, 8x8의 디블록킹 적용 단위 블록마다 bS 값이 설정될 수 있다.
도 8에서 설명하는 단계 2에서는, 단계 1에서 결정된 4x4 픽셀 블록 단위의 bS들을 비교하여 인접한 두 에지에 대한 bS들 중에서 어느 한 값을 8x8의 디블록킹 필터 적용 단위에 대한 대표 bS로 이용한다.
예컨대, 도 8에서 현재 CU(800) 내 디블록킹 필터 적용 단위 블록(810)의 좌측 수직 에지에 대하여, 상측 에지의 bS인 bSv1과 하측 에지의 bS인 bSv2를 비교하여 더 큰 값을 블록(810)의 좌측 수직 에지에 대한 bS 값(bSv)으로 이용할 수 있다. 또한, 현재 CU(800) 내 디블록킹 필터 적용 단위 블록(820)의 상측 수평 에지에 대하여, 좌측 에지의 bS인 bSh1과 우측 에지의 bS인 bSh2를 비교하여 더 큰 값을 블록(820)의 상측 수평 에지에 대한 bS 값(bSh)으로 이용할 수 있다. 이때, 단계 1에서 결정된 bS들 중 디블록킹 필터를 적용하는 단위 블록인 8x8 픽셀 블록 내에 위치하는 에지에 대한 bS값은 할당되지 않는다.
8x8 픽셀 블록마다 bS를 재할당하여 디블록킹 필터링을 수행하도록 하는 구체적인 프로세스의 일 예(단계 2)는 아래와 같다.
<8x8 픽셀 블록 단위로 bS가 할당하여 디블록킹 필터링을 수행하는 방법 – 단계 2>
현재 블록, 예를 들어 CU 내 좌상측에 있는 루마 샘플의 위치를 현재 픽처의 좌상측 루마 샘플을 기준으로 특정하면 (xC, yC)라고 하자. 현재 블록인 CU의 사이즈를 특정하는 변수를 log2CUSize라고 하고, 어레이(array) bS는 경계 필터링 세기(boundary filtering strength)를 특정한다.
현재 블록, 예컨대 현재 CU의 루마 에지에 대한 디블록킹 필터링은 다음과 같은 단계로 수행될 수 있다.
(1) 변수 nD를 1<<(log2CUSize-3)으로 설정한다.
(2) 사이즈 (2)x(nD)x(nD)의 삼차원 어레이 dEdge의 모든 엘리먼트(element)들을 0으로 초기화한다.
(3) 사이즈 (2)x(nD)x( 1 << log2CUSize )의 삼차원 어레이 dSample의 모든 엘리먼트들을 0으로 초기화한다.
(4) 사이즈 (2)x(nD)x(nD)의 삼차원 어레이 bStrength의 모든 엘리먼트들을 0으로 초기화한다.
(5) xDk값을 xC+(k<<3)으로 설정한다. 이때, k의 값은 0, …, nD-1이다. 각 xDk 값에 대하여, yDm을 yC+(m<<3)으로 설정하고 아래의 절차를 수행한다. 이때, m의 값은 0, …, nD-1이다.
(5-1) 수직 에지에 대한 경계 필터링 세기 bSVer을 다음과 같이 유도한다. bSVer = Max(bS[0][xDk][yDm+i]). 이때, i는 0, …, 7이다. bS[0][xDk][yDm+i]은 수직 에지에 대한 경계 필터링 세기로서 (xDk, yDm+i)을 기준으로 정의되는 bS값을 의미한다.
(5-2) bStrength[0][k][m]의 값을 bSVer 값으로 설정한다.
(5-3) 현재 CU의 루마 샘플 위치 (xC, yC), 현재 블록의 루마 샘플 위치 (xDk, yDm), 디블록킹 필터가 적용되는 수직 에지임을 지시하는 정보, 경계 필터링 세기 bSVer을 기반으로 루마 블록 에지에 대한 결정 과정을 진행하여, 결정에 관한 정보로서 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 지시하는 dEdge[0][k][m] 과 사이즈 8x8의 어레이 dS를 결정한다.
(5-4) dEdge 값을 결정하기 위한 dSample[0][k][(m<<3)+i]를 dS[i]로 설정한다. 이때, i는 0,…,7이다.
(5-5) 수평 에지에 대한 경계 필터링 세기 bSHor을 다음과 같이 유도한다. bSHor = Max(bS[1][xDk+i][yDm]). 이때, i는 0,…,7이다. bS[0][xDk+i][yDm]은 수평 에지에 대한 경계 필터링 세기로서 (xDk+i, yDm)을 기준으로 정의되는 bS값을 의미한다.
(5-6) bStrength[1][k][m]의 값을 bSVer 값으로 설정한다.
(5-7) 현재 CU의 루마 샘플 위치 (xC, yC), 현재 블록의 루마 샘플 위치 (xDk, yDm), 디블록킹 필터가 적용되는 수직 에지임을 지시하는 정보, 경계 필터링 세기 bSHor을 기반으로 루마 블록 에지에 대한 결정 과정을 진행하여, 결정에 관한 정보로서 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 지시하는 dEdge[1][k][m] 과 사이즈 8x8의 어레이 dS를 결정한다.
(5-8) dEdge 값을 결정하기 위한 dSample[1][m][(k<<3)+i]를 dS[i]로 설정한다. 이때, i는 0, …, 7이다.
(6) 디블록킹 필터링을 적용하기로 결정된 에지들에 대하여, bS 값, dEdge 값 그리고 dSample 값 등을 기반으로 디블록킹 필터링을 수행한다.
상기 단계 2의 방법을 살펴보면, 현재 블록 안에 있는 디블록킹 필터링 적용 단위 블록의 개수를 나타내는 nD를 유도할 때 log2CUSize – 3을 사용하고 있다. 즉, 8x8 픽셀 블록 단위로, 8x8 픽셀 블록의 개수만큼 현재 블록(현재 CU)에 대하여 디블록킹 필터가 수직 에지 및 수평 에지에 적용될 수 있다.
이어서, 수직 에지에 대한 bS 값과 수평 에지에 대한 bS 값을 8 개의 픽셀 별로 대비하여 가장 큰 bS 값으로 설정한다. 예컨대, 수직 에지에 대한 bS인 bSVer은 Max(bS[0][xDk][yDm+i])로 설정되고, 수평 에지에 대한 bS인 bSHor은 Max(bS[1][xDk+i][yDm])으로 설정되며, 이때 i는 0, …, 7이 된다. i 값을 0부터 7까지 변경하며, 8 개의 픽셀들을 기준으로 하는 bS 값들을 비교하여 가장 큰 bS를 현재 디블록킹 필터 적용 블록에 대한 bS로 설정할 수 있다. 예컨대, 수직 에지를 따라 8 개 픽셀을 기준으로 하는 각 bS들을 비교하여, 가장 큰 bS를 현재 디블록킹 필터링 적용 블록의 수직 에지에 대한 bS로 설정하고, 수평 에지를 따라 8 개 픽셀을 기준으로 하는 각 bS들을 비교하여, 가장 큰 bS를 현재 디블록킹 필터링 적용 블록의 수평 에지에 대한 bS로 설정할 수 있다.
따라서, 단계 1에서는 모든 4x4 픽셀 블록(bS 결정 단위 블록)의 경계마다 bS를 결정하지만, 단계 2에서 8x8 픽셀 블록(디블록킹 필터링 적용 단위 블록)의 경계에서 수직 에지에 대한 bS인 bSVer과 수평 에지에 대한 bS인 bSHor을 설정하므로, 8x8 픽셀 블록의 경계에서 결정된 bS를 이용하게 된다.
도 7 및 도 8의 단계 1에서는, 4 픽셀 단위로 처리하는 것을 명확하게 설명하기 위해 ( ( 1 << log2CUSize ) >> 2 ), xEk+1 = xEk + 4, yEj+1 = yEj + 4 등의 관계식을 이용하였으나, 본 발명은 이 수식들에 한정되지 않는다. 예컨대, 소정의 bS 결정 단위(상기 예에서는 4x4 픽셀 블록)로 bS가 결정될 수 있는 경우에는 이를 나타내는 다른 관계를 적용하여서도 bS 결정 단위마다 bS를 설정할 수 있다.
또한, 도 7 및 도 8의 단계 2에서는, 8 픽셀 단위로 처리하는 것을 명확하게 설명하기 위해 log2CUSize – 3 등의 수식을 이용하였으나, 본 발명은 이 수식들에 한정되지 않는다. 예컨대, 소정의 디블록킹 필터링 적용 단위(상기 예에서는 8x8 픽셀 블록)로 디블록킹 필터링이 적용되며, 이에 따라 bS가 할당될 수 있는 경우에는 이를 나타내는 다른 수식을 적용하여서도 디블록킹 필터링 적용 단위마다 bS를 재할당할 수 있다.
도 7과 도 8의 예에서는 루마 샘플로서 현재 블록이 CU인 경우를 예로서 설명하고 있으나, 본 발명은 이에 한정되지 않으며 크로마 샘플인 경우나 현재 블록이 CU 이외의 처리 단위(예컨대, PU 또는 TU)인 경우에도 적용될 수 있다. 또한, 여기서는 bS 결정 단위가 4x4 픽셀 블록이고 디블록킹 필터링 적용 단위가 8x8 픽셀 블록이 아닌 경우에도 동일하게 적용될 수 있다.
한편, 도 7 및 도 8의 예에서, 단계 1에서는 모든 4x4 픽셀 블록의 경계마다 bS 값을 결정/할당하지만, 단계 2에서 8x8 픽셀 블록의 경계에서 bSVer과 bSHor을 구한다. 따라서, 도 7 및 도 8의 예에서 8x8 픽셀 블록 내부의 에지에 대하여 bS를 결정하는 것을 불필요한 과정이 된다.
따라서, 디블록킹 필터링 프로세스의 복잡도를 감소시키기 위해 디블록킹 필터링 적용 단위 블록의 경계이면서, bS 결정 단위 블록의 경계인 경우에만 bS를 유도하는 방법들을 고려할 수 있다. 예컨대, 디블록킹 필터링 적용 단위 블록마다 bS 결정 단위로 bS를 결정하는 방법(bS 유도 방법 1)과, bS 결정 단위마다 bS를 결정하되 bS 결정 단위가 디블록킹 필터링 적용 단위 블록의 경계에 있어야 하는 조건을 부가하는 방법(bS 유도 방법 2)을 생각할 수 있다.
우선, 디블록킹 필터링 적용 단위 블록마다 bS 결정 단위로 bS를 결정하는 방법의 일 예는 다음과 같다.
<bS 유도 방법 1>
현재 블록, 예를 들어 CU 내 좌상측에 있는 루마 샘플의 위치를 현재 픽처의 좌상측 루마 샘플을 기준으로 특정하면 (xC, yC)라고 하자. 현재 블록인 CU의 사이즈를 특정하는 변수를 log2CUSize라고 하고, bS가 결정되는 수직 에지와 수평 에지는 2차원 어레이(array) horEdgeFlags와 verEdgeFlags에 의해 지시된다고 하자. 이때, 2 차원 어레이의 크기는 nS x nS 이며, nS = 1<<log2CUSize이다.
(xEk, yEj)가 에지 주변 샘플(에지 샘플) 위치들의 집합을 특정한다고 하자. k = 0, …, nE-1이고 j = 0, …, nE-1이며, nE는 ( ( 1 << log2CUSize ) >> 3 )로 설정되고, xE0 = 0, yE0 = 0, xEk+1 = xEk + 8, yEj+1 = yEj + 8의 관계를 가진다.
이 경우, 수평 에지와 수직 에지에 대하여 디블록킹 필터링이 적용되는 샘플이 에지 샘플 위치들의 집합을 특정하는 (xEk, yEj)을 기반으로 결정될 수 있다. 예컨대, 수평 에지에 대하여, (1) 수평 에지임을 지시하는 정보가 해당 에지에 디블록킹 필터링이 적용될 것임(bS가 결정될 것임)을 지시하면(예를 들어, horEdgeFlags[xEk][yEj] = 1), (2) (xEk+r, yEj)에 대하여(r=0,1), 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj-1)로 p0를 설정하고, 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj)로 q0를 설정할 수 있으며, (3) 이때, 디블록킹 필터링의 방향은 수직 방향이 된다.
수직 에지에 대해서는 (1) 수직 에지임을 지시하는 정보가 해당 에지에 디블록킹 필터링이 적용될 것임(bS가 결정될 것임)을 지시하면(예를 들어, verEdgeFlags[xEk][yEj] = 1), (2) (xEk, yEj+r)에 대하여(r=0,1), 예측을 거쳐 복원된 픽처의 (xC+xEk-1, yC+yEj)로 p0를 설정하고, 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj)로 q0를 설정할 수 있으며, (3) 이때, 디블록킹 필터링의 방향은 수평 방향이 된다.
필터 방향에 따라서 bS는 (Ek, Ej)를 기준으로 결정될 수 있다. 예컨대, bS는 bS[filterDir][Ek][Ej]로 결정될 수 있다.
상기 bS 유도 방법 1을 보면, 디블록킹 필터링 적용 단위 블록마다 bS를 결정하는 에지를 설정한다. 따라서, 디블록킹 적용 단위 블록의 경계이면서 bS 결정 단위 블록의 경계인 에지에서 bS가 결정된다. bS 유도 방법 1에서는 디블록킹 필터링 적용 단위가 8x8 픽셀 블록이고, bS 가 4 픽셀 단위로 결정되는 경우를 예로서 설명하고 있으므로, 8x8 픽셀 블록의 경계에서 bS를 결정할 에지를 설정한다. 이를 위해, nE = ( ( 1 << log2CUSize ) >> 3 )과 xEk+1 = xEk + 8, yEj+1 = yEj + 8 등의 관계를 적용한다. 또한, 수평 에지에 대하여 (xEk+r, yEj)를 기준으로 bS를 설정하고 디블록킹 필터링 적용 샘플을 특정하며, 수직 에지에 대하여 (Ek, yEj+r)을 기준으로 bS를 설정하고 디블록킹 필터링 적용 샘플을 특정하되, r 값을 0과 1로 한정하고 있다.
이후, bS 결정을 4x4 픽셀 단위로 수행하면, 8x8 픽셀 블록의 경계이면서 4x4 픽셀의 경계인 에지에 대하여 bS가 결정된다. 다시 말하면, 8x8 픽셀 블록(디블록킹 필터링 적용 단위 블록)의 경계에서 4 픽셀 단위(bS 결정 단위)로 bS가 결정되게 된다.
한편, bS 결정 단위마다 bS를 결정하되 bS 결정 단위가 디블록킹 필터링 적용 단위 블록의 경계에 있어야 하는 조건을 부가하는 방법의 일 예는 다음과 같다.
<bS 유도 방법 2>
현재 블록, 예를 들어 CU 내 좌상측에 있는 루마 샘플의 위치를 현재 픽처의 좌상측 루마 샘플을 기준으로 특정하면 (xC, yC)라고 하자. 현재 블록인 CU의 사이즈를 특정하는 변수를 log2CUSize라고 하고, bS가 결정되는 수직 에지와 수평 에지는 2차원 어레이(array) horEdgeFlags와 verEdgeFlags에 의해 지시된다고 하자. 이때, 2 차원 어레이의 크기는 nS x nS 이며, nS = 1<<log2CUSize이다.
(xEk, yEj)가 에지 주변 샘플(에지 샘플) 위치들의 집합을 특정한다고 하자. k = 0, …, nE-1이고 j = 0, …, nE-1이며, nE는 ( ( 1 << log2CUSize ) >> 2 )로 설정되고, xE0 = 0, yE0 = 0, xEk+1 = xEk + 4, yEj+1 = yEj + 4의 관계를 가진다.
이 경우, 수평 에지와 수직 에지에 대하여 디블록킹 필터링이 적용되는 샘플이 에지 샘플 위치들의 집합을 특정하는 (xEk, yEj)을 기반으로 결정될 수 있다. 예컨대, 수평 에지에 대하여, (1) 수평 에지임을 지시하는 정보가 해당 에지에 디블록킹 필터링이 적용될 것임(bS가 결정될 것임)을 지시(예를 들어, horEdgeFlags[xEk][yEj] = 1)하고 yEj%2의 값이 0이면, (2) 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj-1)로 p0를 설정하고, 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj)로 q0를 설정할 수 있으며, (3) 이때, 디블록킹 필터링의 방향은 수직 방향이 된다. 이때, yEj%2는 yEj를2로 나눈 나머지를 의미한다.
수직 에지에 대해서는 (1) 수직 에지임을 지시하는 정보가 해당 에지에 디블록킹 필터링이 적용될 것임(bS가 결정될 것임)을 지시(예를 들어, verEdgeFlags[xEk][yEj] = 1)하고, xEk%2의 값이 0이면, (2) 예측을 거쳐 복원된 픽처의 (xC+xEk-1, yC+yEj)로 p0를 설정하고, 예측을 거쳐 복원된 픽처의 (xC+xEk, yC+yEj)로 q0를 설정할 수 있으며, (3) 이때, 디블록킹 필터링의 방향은 수평 방향이 된다. 이때, xEk%2는 xEk를2로 나눈 나머지를 의미한다.
필터 방향에 따라서 bS는 (Ek, Ej)를 기준으로 결정될 수 있다. 예컨대, bS는 bS[filterDir][Ek][Ej]로 결정될 수 있다.
방법 1와 마찬가지로 방법 2도 디블록킹 적용 단위 블록(8x8 픽셀 블록)의 내부에 있는 에지에 대해서는 bS 결정을 하지 않는다. 방법 2에서는 4x4 픽셀 블록(bS 결정 단위 블록) 단위로 bS를 결정하는 프로세스를 진행하되, 4x4블록의 인덱스가 짝수인 경우, 즉 4x4 블록의 경계가 8x8 블록의 경계가 되는 경우에만 bS를 결정한다. 이때, 각 경계에서의 bS는 도 5의 예로 설명한 bS 결정 방법에 의해 정해질 수도 있고, 후술하는 바와 같이 더 간결한 bS 결정 방법에 의해 정해질 수도 있다.
도 9는 디블록킹 적용 단위 블록의 경계와 bS 결정 단위 블록의 경계가 일치하는 경우에 bS를 결정하는 방법의 예를 개략적으로 나타낸 것이다. 도 9의 예는 상기 방법 1 및 방법 2의 적용 결과를 개략적으로 설명한다.
도 9에서 도시된 바와 같이, 현재 블록(예컨대, CU)에 대하여 8x8 픽셀 블록인 디블록킹 필터링 적용 단위 블록(910)을 고려하면, 블록(910)의 내부에 위치하는 에지에서는 bS를 결정하지 않는다.
한편, bS 결정 절차를 더 단순화하여 복잡도를 줄이고 디블록킹 필터링의 효과를 높이기 위해, 디블록킹 필터링의 단위 블록에 대한 에지들 중에서 하나의 에지에 대한 bS만을 유도하여 디블록킹 필터링의 단위 블록의 에지들 중 해당 에지에 대한 대표 bS로서 적용하는 방법을 고려할 수도 있다.
도 10은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 10에서도, 디블록킹 필터링의 단위 블록(1000)이 8x8 픽셀 블록이고 bS 결정의 단위 블록이 4x4 픽셀 블록인 경우를 예로서 설명한다.
도 10을 참조하면, 디블록킹 필터링의 단위 블록(1000) 내 bS 결정 대상이 되는 두 개의 수직 에지(1010, 1020) 중 0번째 에지(1010)에 대해서만 bS를 결정한다. 다시 말하면, 디블록킹 필터링의 단위 블록마다 0번째 bS 결정의 단위 블록의 수직 에지 및 수평 에지에 대해서만 bS를 산출하고, 산출된 bS 를 해당 디블록킹 필터링의 단위 블록에 대한 대표 bS 로 이용한다. 예컨대, 디블록킹 필터링의 단위 블록이 8x8 픽셀 블록이고, bS 결정의 단위 블록이 4x4 픽셀 블록인 경우에, 디블록킹 필터링의 단위 블록 내에는 네 개의 bS 결정의 단위 블록이 존재한다. 이 중 0번째 블록(좌상측 블록)의 수직 에지 및 수평 에지에 대해서만 bS를 결정하여 디블록팅 필터링의 단위 블록에 대한 대표 bS로 이용할 수 있다.
도 10의 예와 같이 bS를 결정하면, bS를 결정하는 프로세스를 단순화하여 기존 프로세스의 1/4에 해당하는 프로세스로 bS를 결정할 수 있으며, bS를 저장하기 위한 메모리도 기존 프로세스의 1/4로 감축할 수 있다.
bS를 결정하는 위치(에지)는 상술한 바와 같이 도 6 내지 도 10에서 설명한 방법 중 어느 하나를 사용하여 결정할 수 있다. 이때, bS를 설정하는 위치에서 구체적으로 bS를 결정하는 방법은 도 5에서 설명한 바와 같다.
하지만, bS를 결정하는 방법도 도 5보다 더 간단한 방법을 적용하도록 할 수도 있다. 예컨대, 도 5의 예에서와 같이 bS 값을 0부터 4까지 구분하여 유도하더라도, 디블록킹 필터링 프로세스에서는 bS의 값을 세분해서 이용하지 않을 수 있다. 예컨대, bS > 0 인가만을 판단하거나, bS>1인가만을 판단하거나, bS>2인가만을 판단할 수도 있다.
따라서, 도 5의 예와 같은 bS 결정 트리를 더 단순화하여 디블록킹 필터링을 수행할 수도 있다.
도 11은 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 11을 참조하면, 우선 블록 P 및/또는 블록 Q가 인트라 코딩 되었는지를 판단한다(S1110).
P 및/또는 Q가 인트라 코딩되어 있는 경우에는 블록 P와 블록 Q 사이 경계에 대한 bS를 bS3으로 결정한다(S1120).
P및/또는 Q가 인트라 코딩된 경우가 아니라면, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S1130). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
S1130 단계에서, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는, P와 Q 사이 경계에 대한 bS 값을 bS2로 결정한다(S1140).
S1130 단계에서 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, 블록 P와 블록 Q가 서로 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 서로 상이한 움직임 벡터를 가지는지를 판단한다(S1150).
S1150 단계에서 블록 P와 블록 Q가 서로 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 서로 상이한 움직임 벡터를 가지는 경우에는 블록 P와 블록 Q 사이 경계에 대한 bS를 bS1으로 결정한다(S1160).
그 외의 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에 해당하면, 블록 P와 블록 Q 사이의 경계에 대한 bS를 bS0으로 설정한다(S1170)
여기서는, S1120, S1140, S1160, S1170 단계에서 결정되는 bS 값을 각각 bS3, bS2, bS1, bS0으로 나타내었으나 이는 설명의 편의를 위한 것이다. 도 11의 예에서 bS 값을 4가지로 구분하여 유도하는 것을 감안하면, bS0내지 bS3의 값은 도 11에 도시된 바와 같이 bS0=0, bS1=1, bS2=2, bS3=3/4로 설정될 수 있다. 도 11의 예에서는, S1120 단계에서 bS3이 3/4로 결정되는 것으로 설명하고 있는데, 이는 도 5의 예에서 bS 값이 3과 4인 경우가 도 11의 예에서 bS3의 단일 값(예컨대, 3)으로 결정된다는 것을 이해하기 쉽게 나타낸 것이다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 11에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
도 11의 예에 설명된 것보다 결정 분지(decision branch)를 더 줄이는 방법도 고려할 수 있다. 이 경우, bS 값들도 도 11의 예에서와 같이 4개(bS0, bS1, bS2, bS3)가 아니라, 3개(bS0, bS1, bS2) 로부터 줄여서 디블록킹 필터링을 이용할 수 있다.
이 경우, 블록 P 및/또는 블록 Q가 인트라 코딩된 경우를 가장 큰 bS 값인 bS2로 결정하고, 그 외 디블록킹 필터링이 적용될 수 있는 경우에 대한 bS 값을 bS1으로 결정하며, 디블록킹 필터링이 적용되는 않는 경우에 대한 bS 값을 bS0으로 결정할 수 있다. 세 가지 bS 값 중 어느 한 값으로 유도되는 것을 고려하여, bS0, bS1, bS2의 값을 예컨대, bS0=0, bS1=1, bS2=2로 설정할 수 있다.
도 12는 상술한 바와 같이 bS 값을 3가지 값 중 어느 하나로 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 12를 참조하면, 우선 블록 P 및/또는 블록 Q가 인트라 코딩되었는지를 판단한다(S1210).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS를 bS2로 결정한다(S1220). bS2는 도 5의 예에서 bS 값이 3과 4인 경우(bS=3/4)에 대응한다. 3가지 bS 값 중 가장 큰 값이 bS2 이므로, bS2의 값을 예컨대 2로 설정할 수 있다.
블록 P 및/또는 블록 Q가 인트라 코딩된 경우가 아니면, 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하거나 P와 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는지를 판단한다(S1230). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
S1230 단계에서 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하거나 블록 P와 블록 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는 경우에는, 블록 P와 블록 Q 사이의 경계에 대한 bS를 bS1으로 설정한다(S1240). bS1은 블록 P와 블록 Q가 인트라 코딩되지 않은 경우로서 디블록킹 필터를 적용할 수 있는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 1과 2인 경우(bS=1/2)에 대응한다. 3가지 bS 값 중 중간 값이 bS1 이므로, bS1의 값을 예컨대 1로 설정할 수 있다.
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0으로 설정한다(S1240). bS0은 디블록킹 필터를 적용하지 않는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 0인 경우(bS=0)에 대응한다. 3가지 bS 값 중 가장 작은 값이 bS0 이므로, bS0의 값을 예컨대 0로 설정할 수 있다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 12에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
도 13은 bS 값을 3가지 값 중 어느 하나로 결정하는 다른 방법을 개략적으로 설명하는 순서도이다. 도 12에서 설명한 bS 결정 방법(bS 결정 트리)에 있어서, 발명의 이해를 위해, bS의 3 값(bS1, bS2, bS3)을 0, 1, 2로 명확하게 설정한 예를 나타낸 것이다.
도 13을 참조하면, 우선 블록 P 및/또는 블록 Q가 인트라 코딩되었는지를 판단한다(S1310).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 2로 결정한다(S1320). bS가 2인 경우는 도 5의 예에서 bS 값이 3과 4인 경우(bS=3/4)에 대응한다.
블록 P 및/또는 블록 Q가 인트라 코딩된 경우가 아니면, 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하거나 블록 P와 블록 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는지를 판단한다(S1330). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
S1330 단계에서 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하거나 블록 P와 블록 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는 경우에는, 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 1로 설정한다(S1340). bS가 1인 경우는 블록 P와 블록 Q가 인트라 코딩되지 않고 디블록킹 필터를 적용할 수 있는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 1과 2인 경우(bS=1/2)에 대응한다.
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS의 값을 0으로 설정한다(S1340). bS의 값이 0인 경우는 디블록킹 필터를 적용하지 않는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 0인 경우(bS=0)에 대응한다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 13에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
도 12 및 도 13과 같이 bS 값이 세 가지 bS값 중 어느 한 값으로 설정되더라도, 결정 트리의 판단 단계를 2 단계로 한정할 필요는 없다. 더 많은 판단 단계를 거치거나 더 작은 판단 단계를 거치더라도 도 5의 결정 방법에서 사용하는 다섯 가지 bS 값을 더 줄여서 적용할 수 있다. 예컨대, 도 12와 도 13에서 하나의 단계에서 판단하는 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하거나 P와 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는지에 관한 판단을 나누어 수행할 수도 있다.
도 14는 bS 값을 3가지 값 중 어느 하나로 결정하는 또 다른 방법을 개략적으로 설명하는 순서도이다.
도 14를 참조하면, 우선 블록 P 및/또는 블록 Q가 인트라 코딩되었는지를 판단한다(S1410).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 2로 결정한다(S1420). bS가 2인 경우는 도 5의 예에서 bS 값이 3과 4인 경우(bS=3/4)에 대응한다.
블록 P 및/또는 블록 Q가 인트라 코딩된 경우가 아니면, 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하는지를 판단한다(S1430). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하는 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 1로 설정한다(S1440). 이때, bS가 1인 경우는 블록 P와 블록 Q가 인트라 코딩되지 않고 디블록킹 필터를 적용할 수 있는 경우에 대한 bS 값으로서, 도 5의 예에서 bS가 2인 경우에 대응한다.
블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하지 않는 경우에는, 블록 P와 블록 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는지를 판단한다(S1450).
S1450 단계에서 블록 P와 블록 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는 경우에는, 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 1로 설정한다(S1460). bS가 1인 경우는 블록 P와 블록 Q가 인트라 코딩되지 않고 디블록킹 필터를 적용할 수 있는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 1 인 경우에 대응한다.
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS의 값을 0으로 설정한다(S1470). bS의 값이 0인 경우는 디블록킹 필터를 적용하지 않는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 0인 경우(bS=0)에 대응한다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 13에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
이하, bS의 값을 간소화하여 3 가지 값 중 어느 한 값으로 유도하는 경우에, bS 값을 유도하는 방법을 구체적으로 설명한다.
먼저, 발명의 이해를 돕기 위해 도 5 또는 도 11과 같이 bS의 값을 다섯 값 중 어느 한 값으로 유도하는 경우의 방법을 먼저 설명한다.
<bS를 5가지 값 중 어느 한 값으로 유도하는 방법>
우선, bS가 결정될 에지를 특정한다. bS를 결정할 에지의 특정은 도 6 내지 도 10을 참조하여 설명한 방법 중 어느 하나를 이용하여 수행될 수 있다.
도 6 내지 도 10을 참조하여 설명한 바와 같이, bS가 결정될 에지의 특정에 의해 bS를 결정할 기준 위치 (xEk, yEj)와 bS 를 결정할 에지 좌우의 샘플인 p0와 q0, 디블록킹 필터링의 방향 등이 유도된다. p0와 q0는 상술한 바와 같이 (xEk, yEj)를 기반으로 결정된다.
유도된 디블록킹 필터링 방향에 따라서 경계 필터링 세기를 나타내는 변수 bS[filterDir][xEk][yEj]가 결정된다. 예컨대, filterDir의 값이 1이면 수직 방향의 필터링을 지시하며, 따라서 수평 에지에 대한 bS가 유도된다. filterDir의 값이 0이면 수평 방향의 필터링을 지시하며, 따라서 수직 에지에 대한 bS가 유도된다. xEk와 yEj는 bS를 결정하는 에지를 특정한다. 예컨대, bS를 결정하는 에지는, 수평 에지의 경우 (xC+xEk, yC+yEj-1)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있고, 수직 에지의 경우 (xC+xEk-1, yC+yEj)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있다.
bS[filterDir][xEk][yEj]의 값은 다음과 같이 유도될 수 있다.
(1) bS 결정 대상인 블록 에지가 CU 에지이며, 샘플 p0 또는 q0가 인트라 예측 모드로 코딩된 CU에 속하면, bS 즉 bS[filterDir][xEk][yEj] 값은 4로 설정된다.
(2) 샘플 p0 또는 q0가 인트라 예측 모드로 코딩된 CU에 하지만, bS 결정 대상인 블록 에지가 CU 에지가 아니면, bS[filterDir][xEk][yEj] 값은 3으로 설정된다.
(3) bS 결정 대상인 블록 에지가 TU 에지이며, 샘플 p0 또는 q0가 0이 아닌 변환 계수 레벨(level)을 포함하는 TU에 속하면, bS[filterDir][xEk][yEj] 값은 2로 설정된다.
(4) 그 외, 디블록킹 필터링이 적용되는 경우의 bS[filterDir][xEk][yEj] 값은 1로 설정된다. 예컨데, 도 5, 도 11, 도 12, 도 13, 도 14 의 예에서는 설명의 편의를 위해, 샘플 p0또는 q0가 인트라 예측이 적용된 블록에 속하는 경우가 아니면서 디블록킹 필터가 적용되는 경우로서, 블록 P 및/또는 블록 Q가 0이 아닌 변환 계수를 포함하는 경우와 블록 P와 블록 Q가 상이한 움직임 벡터를 가지거나 상이한 참조 픽처를 가지는 경우를 예로서 들었으나, 그 외에도 다양한 경우에 0이 아닌 bS가 설정될 수 있다. 예컨대, (i) 블록 P와 블록 Q가 서로 다른 개수의 움직임 벡터를 가지는 경우, (ii) 블록 P에 사용된 움직임 벡터와 블록 Q에 사용된 움직임 벡터의 수직 성분들 사이의 절대값 차이 또는 수평 성분들 사이의 절대값 차이가 1/4 픽셀 단위로 4 이상 차이 나는 경우에도 bS[filterDir][xEk][yEj] 값을 1로 설정할 수 있다.
(5) (1) 내지 (4)가 아닌 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에는 bS[filterDir][xEk][yEj] 값을 0으로 설정한다.
한편, 상기 bS 값을 5가지 값 중 어느 한 값으로 유도하는 방법의 경우와 달리, 도 12 내지 도 14와 같이 bS 값을 3가지 값 중 어느 한 값으로 유도하여, 더 낮은 복잡도로 간단하게 bS를 유도할 수도 있다.
다음은 bS 값을 3가지 값 중 어느 한 값으로 유도하는 방법의 일 예이다.
<bS를 3 가지 값 중 어느 한 값으로 유도하는 방법 1>
bS가 결정될 에지를 특정한다. bS를 결정할 에지의 특정은 도 6 내지 도 10을 참조하여 설명한 방법 중 어느 하나를 이용하여 수행될 수 있다.
bS가 결정될 에지의 특정에 의해 bS를 결정할 기준 위치 (xEk, yEj)와 bS 를 결정할 에지 좌우의 샘플인 p0와 q0, 디블록킹 필터링의 방향 등이 유도된다.
유도된 디블록킹 필터링 방향에 따라서 경계 필터링 세기를 나타내는 변수 bS[filterDir][xEk][yEj]가 결정된다. 예컨대, filterDir의 값이 1이면 수직 방향의 필터링을 지시하며, 따라서 수평 에지에 대한 bS가 유도된다. filterDir의 값이 0이면 수평 방향의 필터링을 지시하며, 따라서 수직 에지에 대한 bS가 유도된다. xEk와 yEj는 bS를 결정하는 에지를 특정한다. 예컨대, bS를 결정하는 에지는, 수평 에지의 경우 (xC+xEk, yC+yEj-1)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있고, 수직 에지의 경우 (xC+xEk-1, yC+yEj)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있다.
bS[filterDir][xEk][yEj]의 값은 다음과 같이 유도될 수 있다.
(1) 샘플 p0 또는 q0가 인트라 예측 모드로 코딩된 CU에 속하면, bS 즉 bS[filterDir][xEk][yEj] 값은 2로 설정된다.
(2) bS 결정 대상인 블록 에지가 TU 에지이며, 샘플 p0 또는 q0가 0이 아닌 변환 계수 레벨(level)을 포함하는 TU에 속하면, bS[filterDir][xEk][yEj] 값은 1로 설정된다.
(3) 그 외, 디블록킹 필터링이 적용되는 경우의 bS[filterDir][xEk][yEj] 값은 1로 설정된다. 예컨데, 앞서 bS 결정 트리 구조에 관한 도면들과 관련하여 예로서 설명한 (i) p0를 포함하는 PU 또는 q0를 포함하는 PU가 상이한 참조 픽처들을 가지거나, 상이한 개수의 움직임 벡터를 가지는 경우, (ii) p0를 포함하는 PU 에 사용된 움직임 벡터와 q0를 포함하는 PU에 사용된 움직임 벡터의 수직 성분들 사이의 절대값 차이 또는 수평 성분들 사이의 절대값 차이가 1/4 픽셀 단위로 4 이상 차이 나는 경우, (iii) 두 움직임 벡터가 p0를 포함하는 PU에서 사용되고, 두 움직임 벡터가 q0를 포함하는 PU에서 사용된다면, 동일한 참조 픽처들에 대응하는 적어도 하나의 움직임 벡터 쌍에 대하여, 움직임 벡터의 수직 성분들 사이의 절대값 차이 또는 수평 성분들 사이의 절대값 차이가 1/4 픽셀 단위로 4 이상 차이 나는 경우 등에 bS[filterDir][xEk][yEj] 값을 1로 설정할 수 있다.
(4) (1) 내지 (3)이 아닌 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에는 bS[filterDir][xEk][yEj] 값을 0으로 설정한다.
한편, 상술한 바와 같이 4 단계로 bS를 유도하지 않고, 동일한 bS 값은 동일한 단계에서 유도되도록 할 수 있다. bS 값을 3 가지 bS 값 중 어느 한 값으로 유도하는 방법의 다른 예는 다음과 같다.
<bS를 3 가지 값 중 어느 한 값으로 유도하는 방법 2>
bS가 결정될 에지를 특정한다. bS를 결정할 에지의 특정은 도 6 내지 도 10을 참조하여 설명한 방법 중 어느 하나를 이용하여 수행될 수 있다.
bS가 결정될 에지의 특정에 의해 bS를 결정할 기준 위치 (xEk, yEj)와 bS 를 결정할 에지 좌우의 샘플인 p0와 q0, 디블록킹 필터링의 방향 등이 유도된다.
유도된 디블록킹 필터링 방향에 따라서 경계 필터링 세기를 나타내는 변수 bS[filterDir][xEk][yEj]가 결정된다. 예컨대, filterDir의 값이 1이면 수직 방향의 필터링을 지시하며, 따라서 수평 에지에 대한 bS가 유도된다. filterDir의 값이 0이면 수평 방향의 필터링을 지시하며, 따라서 수직 에지에 대한 bS가 유도된다. xEk와 yEj는 bS를 결정하는 에지를 특정한다. 예컨대, bS를 결정하는 에지는, 수평 에지의 경우 (xC+xEk, yC+yEj-1)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있고, 수직 에지의 경우 (xC+xEk-1, yC+yEj)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있다.
bS[filterDir][xEk][yEj]의 값은 다음과 같이 유도될 수 있다.
(1) 샘플 p0 또는 q0가 인트라 예측 모드로 코딩된 CU에 속하면, bS 즉 bS[filterDir][xEk][yEj] 값은 2로 설정된다.
(2) 그 외, 디블록킹 필터링이 적용되는 경우의 bS[filterDir][xEk][yEj] 값은 1로 설정된다. 예컨데, bS 결정 대상인 블록 에지가 TU 에지이면서 (i) 샘플 p0 또는 q0가 0이 아닌 변환 계수 레벨(level)을 포함하는 TU에 속하는 경우, (ii) p0를 포함하는 PU 또는 q0를 포함하는 PU가 상이한 참조 픽처들을 가지거나, 상이한 개수의 움직임 벡터를 가지는 경우, (iii) p0를 포함하는 PU 에 사용된 움직임 벡터와 q0를 포함하는 PU에 사용된 움직임 벡터의 수직 성분들 사이의 절대값 차이 또는 수평 성분들 사이의 절대값 차이가 1/4 픽셀 단위로 4 이상 차이 나는 경우, (iv) 두 움직임 벡터가 p0를 포함하는 PU에서 사용되고, 두 움직임 벡터가 q0를 포함하는 PU에서 사용된다면, 동일한 참조 픽처들에 대응하는 적어도 하나의 움직임 벡터 쌍에 대하여, 움직임 벡터의 수직 성분들 사이의 절대값 차이 또는 수평 성분들 사이의 절대값 차이가 1/4 픽셀 단위로 4 이상 차이 나는 경우 등에 bS[filterDir][xEk][yEj] 값을 1로 설정할 수 있다.
(3) (1) 및 (2)가 아닌 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에는 bS[filterDir][xEk][yEj] 값을 0으로 설정한다.
한편, bS 값이 1로 유도되는 경우를 bS 결정 대상인 블록 에지가 TU의 에지인 경우로 한정하지 않을 수도 있다. bS 값을 3가지 값 중 어느 한 값으로 유도하는 방법의 또 다른 예는 다음과 같다.
<bS를 3가지 값 중 어느 한 값으로 유도하는 방법 3>
bS가 결정될 에지를 특정한다. bS를 결정할 에지의 특정은 도 6 내지 도 10을 참조하여 설명한 방법 중 어느 하나를 이용하여 수행될 수 있다.
bS가 결정될 에지의 특정에 의해 bS를 결정할 기준 위치 (xEk, yEj)와 bS 를 결정할 에지 좌우의 샘플인 p0와 q0, 디블록킹 필터링의 방향 등이 유도된다.
유도된 디블록킹 필터링 방향에 따라서 경계 필터링 세기를 나타내는 변수 bS[filterDir][xEk][yEj]가 결정된다. 예컨대, filterDir의 값이 1이면 수직 방향의 필터링을 지시하며, 따라서 수평 에지에 대한 bS가 유도된다. filterDir의 값이 0이면 수평 방향의 필터링을 지시하며, 따라서 수직 에지에 대한 bS가 유도된다. xEk와 yEj는 bS를 결정하는 에지를 특정한다. 예컨대, bS를 결정하는 에지는, 수평 에지의 경우 (xC+xEk, yC+yEj-1)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있고, 수직 에지의 경우 (xC+xEk-1, yC+yEj)로 설정되는 p0와 (xC+xEk, yC+yEj)로 설정되는 q0 사이의 경계로 특정될 수 있다.
bS[filterDir][xEk][yEj]의 값은 다음과 같이 유도될 수 있다.
(1) 샘플 p0 또는 q0가 인트라 예측 모드로 코딩된 CU에 속하면, bS 즉 bS[filterDir][xEk][yEj] 값은 2로 설정된다.
(2) 그 외, 디블록킹 필터링이 적용되는 경우의 bS[filterDir][xEk][yEj] 값은 1로 설정된다. 예컨데, (i) bS 결정 대상인 블록 에지가 TU 에지이면서 샘플 p0 또는 q0가 0이 아닌 변환 계수 레벨(level)을 포함하는 TU에 속하는 경우, (ii) p0를 포함하는 PU 또는 q0를 포함하는 PU가 상이한 참조 픽처들을 가지거나, 상이한 개수의 움직임 벡터를 가지는 경우, (iii) p0를 포함하는 PU 에 사용된 움직임 벡터와 q0를 포함하는 PU에 사용된 움직임 벡터의 수직 성분들 사이의 절대값 차이 또는 수평 성분들 사이의 절대값 차이가 1/4 픽셀 단위로 4 이상 차이 나는 경우, (iv) 두 움직임 벡터가 p0를 포함하는 PU에서 사용되고, 두 움직임 벡터거 q0를 포함하는 PU에서 사용된다면, 동일한 참조 픽처들에 대응하는 적어도 하나의 움직임 벡터 쌍에 대하여, 움직임 벡터의 수직 성분들 사이의 절대값 차이 또는 수평 성분들 사이의 절대값 차이가 1/4 픽셀 단위로 4 이상 차이 나는 경우 등에 bS[filterDir][xEk][yEj] 값을 1로 설정할 수 있다.
(3) (1) 및 (2)가 아닌 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에는 bS[filterDir][xEk][yEj] 값을 0으로 설정한다.
상기 bS를 3가지 값 중 어느 한 값으로 유도하는 방법들에서 p0를 포함하는 PU와 q0를 포함하는 PU에서 참조 픽처가 상이하다는 것은, 어떤 참조 픽처 리스트를 사용하는지, 참조 픽처 리스트의 참조 픽처 인덱스가 동일한지에 상관 없이, 어떤 픽처가 참조되었는지에 따라서 결정된다.
한편, 지금까지는 루마 샘플에 대하여 설명하였으나, 상술한 바와 같이 유도한 bS를 크로마 샘플에도 적용할 수 있다.
설명한 바와 같이, bS 값의 개수를 줄여서 복잡도를 낮추고 간단하게 bS를 유도하는 경우에는 크로마 성분에 대한 디블록킹 필터링 방법도 수정 적용할 필요가 있다.
bS를 5 가지 값 중 어느 한 값으로 유도하고, 이를 이용하여 크로마 성분(크로마 샘플)에 대한 디블록킹 필터링을 적용하는 방법의 일 예는 다음과 같다.
<크로마 샘플에 디블록킹 필터링을 적용하는 방법 1>
변수 tC를 특정한다. 변수 tC는 양자화 정도에 따른 블록킹 아티팩트를 정량화하는 값으로서, tCoffset을 기반으로 유도되거나 다른 디블록킹 파라미터들을 기반으로 소정의 테이블 상에서 매핑되도록 설정되어 있을 수 있다.
예컨대, 후술하는 표 1과 같이, 양자화 파라미터 Q, 디블록팅 필터링을 적용할 것인지를 결정하는 기준값으로서의 β 등에 따라서 tC가 결정될 수 있다.
크로마 샘플의 에지에 대해서, 상기 <bS를 5가지 값 중 어느 한 값으로 유도하는 방법>에서 설명한 바와 같이, bS를 0부터 4까지의 값으로 유도했을 때, tc 값을 다음과 같이 특정될 수 있다. (1) bS 값이 2보다 크면 라운드(round) 값을 고려한 블록 P와 블록 Q에 대한 양자화 파라미터의 평균값을 qPL이라고 할 때, tC는 양자화 파라미터 Q = Clip(0, 55, qPL) 에 대응하는 값으로 결정된다. (2) bS 값이 2 이하이면 tC는 양자화 파라미터 Q=qPL에 대응하는 값으로 결정된다.
표 1은 Q, β, tC 간 대응 관계의 일 예를 나타낸 것이다.
<표1>
크로마 샘플에 대한 디블록킹 필터링이 표 1의 값을 기반으로 특정된 파라미터들을 이용하여 수행될 수 있다.
우선 수직 에지에 대하여, 각 크로마 샘플 위치 (xC + xB, yC + yB + k)를 기준으로 대하여 다음와 같이 디블록킹 필터링을 수행한다. 이때, k= 0,..., 3이다.
(1) 수직 에지를 경계로 하는 블록 P와 블록 Q에 있어서, 블록 P의 크로마 샘플 pi와 블록 Q의 크로마 샘플 qi (i=0, 1)는 qi = s'[ xC + xB+i, yC + yB + k ], pi = s'[ xC + xB-i-1, yC + yB + k ]로 유도된다.
(2) bS가 2보다 크면, (i)크로마 샘플값 pi 및 qi (i=0,1)에 대하여 필터링 절차가 진행된다. (ii) 필터링된 샘플 값 p0'과 q0'가 샘플 어레이 내에서 대응하는 샘플 위치를 다음과 같이 대체한다. s'[ xC + xB, yC + yB + k ] = q0', s'[ xC + xB, yC + yB + k ] = p0'
수평 에지에 대하여,다음과 같이 크로마 성분의 디블록킹 필터링을 수행한다. 이때, k= 0,..., 3이다.
(1) 블록 P의 크로마 샘플 pi와 블록 Q의 크로마 샘플 qi (i=0. 1)는 qi = s'[ xC + xB+i, yC + yB + k ], pi = s'[ xC + xB-i-1, yC + yB + k ]로 유도된다.
(2) bS가 2보다 크면, (i)크로마 샘플 pi 및 qi (i=0,1)에 대하여 필터링 절차가 진행된다. (ii) 필터링된 샘플 p0'과 q0'가 샘플 어레이 내에서 대응하는 샘플을 다음과 같이 대체한다. s'[ xC + xB, yC + yB + k ] = q0', s'[ xC + xB, yC + yB + k ] = p0'
수평 에지에 대하여는, 다음과 같이 디블록킹 필터링을 수행한다.
(1) 수평 에지를 경계로 하는 블록 P와 블록 Q에 있어서, 블록 P의 크로마 샘플 pi와 블록 Q의 크로마 샘플 qi (i=0, 1)는 qi = s'[ xC + xB + k, yC + yB + i ], pi = s'[ xC + xB + k, yC + yB - i -1 ]로 유도된다. 이때, k는 0, ..., 3의 값을 가질 수 있다.
(2) bS가 2보다 크다면, (i) 각 크로마 샘플 pi 및 qi (i=0,1)에 대하여 디블록킹 필터링을 적용한다. (ii) 필터링된 샘플 p0'과 q0'가 샘플 어레이 내에서 대응하는 샘플을 다음과 같이 대체한다. s'[ xC + xB, yC + yB + k ] = q0', s'[ xC + xB - 1, yC + yB + k ] = p0'
상술한 필터링 과정에서, bS의 값이 2보다 크면, 필터링되는 샘플은 다음 수식 5와 같이 유도된다.
<수식 5>
Δ = Clip3( −tC, tC, ( ( ( ( q0 – p0 ) << 2 ) + p1 – q1 + 4 ) >> 3 ) )
p0’ = Clip1C( p0 + Δ )
q0’ = Clip1C( q0 − Δ )
한편, bS 값의 개수를 줄여서 복잡도를 낮추고 간단하게 유도한 bS를 적용하는 경우에는 크로마 샘플에 대한 디블록킹 필터링 방법을 다음과 같이 적용할 수 있다.
<크로마 샘플에 디블록킹 필터링을 적용하는 방법 2>
변수 tC를 특정한다. 변수 tC는 양자화 정도에 따른 블록킹 아티팩트를 정량화하는 값으로서 tCoffset을 기반으로 유도되거나 다른 디블록킹 파라미터들을 기반으로 소정의 테이블 상에서 매핑되도록 설정되어 있을 수 있다.
예컨대, 후술하는 표 2와 같이, 양자화 파라미터 Q, 디블록팅 필터링을 적용할 것인지를 결정하는 기준값으로서의 β 등에 따라서 tC가 결정될 수 있다.
크로마 샘플의 에지에 대해서, 상기 <bS를 3가지 값 중 어느 한 값으로 유도하는 방법>에서 설명한 바와 같이, bS를 0부터 2까지의 값으로 유도했을 때, tc 값을 다음과 같이 특정될 수 있다. (1) bS 값이 2보다 크면 라운드(round) 값을 고려한 블록 P와 블록 Q에 대한 양자화 파라미터의 평균값을 qPL이라고 할 때, tC는 양자화 파라미터 Q = Clip(0, 55, qPL) 에 대응하는 값으로 결정된다. (2) bS 값이 2 이하이면 tC는 양자화 파라미터 Q=qPL에 대응하는 값으로 결정된다.
표 2는 Q, β, tC 간 대응 관계의 일 예를 나타낸 것이다.
<표2>
이때, 이때, tC = tC′ * ( 1 << ( BitDepthY − 8) ), β = β′ * ( 1 << ( BitDepthY – 8 ) )의 관계에 있을 수 있다.
크로마 샘플에 대한 디블록킹 필터링도 표 2의 값을 기반으로 특정된 파라미터들을 이용하여 수행될 수 있다.
우선 수직 에지에 대하여, 각 크로마 샘플 위치 (xC + xB, yC + yB + k)를 기준으로 대하여 다음와 같이 디블록킹 필터링을 수행한다. 이때, k= 0,..., 3이다.
(1) 수직 에지를 경계로 하는 블록 P와 블록 Q에 있어서, 블록 P의 크로마 샘플 pi와 블록 Q의 크로마 샘플 qi (i=0, 1)는 qi = s'[ xC + xB+i, yC + yB + k ], pi = s'[ xC + xB-i-1, yC + yB + k ]로 유도된다.
(2) bS가 1보다 크면, (i)크로마 샘플값 pi 및 qi (i=0,1)에 대하여 필터링 절차가 진행된다. (ii) 필터링된 샘플 값 p0'과 q0'가 샘플 어레이 내에서 대응하는 샘플 위치를 다음과 같이 대체한다. s'[ xC + xB, yC + yB + k ] = q0', s'[ xC + xB, yC + yB + k ] = p0'
수평 에지에 대하여,다음과 같이 크로마 성분의 디블록킹 필터링을 수행한다. 이때, k= 0,..., 3이다.
(1) 블록 P의 크로마 샘플 pi와 블록 Q의 크로마 샘플 qi (i=0. 1)는 qi = s'[ xC + xB+i, yC + yB + k ], pi = s'[ xC + xB-i-1, yC + yB + k ]로 유도된다.
(2) bS가 1보다 크면, (i)크로마 샘플 pi 및 qi (i=0,1)에 대하여 필터링 절차가 진행된다. (ii) 필터링된 샘플 p0'과 q0'가 샘플 어레이 내에서 대응하는 샘플을 다음과 같이 대체한다. s'[ xC + xB, yC + yB + k ] = q0', s'[ xC + xB, yC + yB + k ] = p0'
수평 에지에 대하여는, 다음과 같이 디블록킹 필터링을 수행한다.
(1) 수평 에지를 경계로 하는 블록 P와 블록 Q에 있어서, 블록 P의 크로마 샘플 pi와 블록 Q의 크로마 샘플 qi (i=0, 1)는 qi = s'[ xC + xB + k, yC + yB + i ], pi = s'[ xC + xB + k, yC + yB - i -1 ]로 유도된다. 이때, k는 0, ..., 3의 값을 가질 수 있다.
(2) bS가 1보다 크다면, (i) 각 크로마 샘플 pi 및 qi (i=0,1)에 대하여 디블록킹 필터링을 적용한다. (ii) 필터링된 샘플 p0'과 q0'가 샘플 어레이 내에서 대응하는 샘플을 다음과 같이 대체한다. s'[ xC + xB, yC + yB + k ] = q0', s'[ xC + xB - 1, yC + yB + k ] = p0'
상술한 필터링 과정에서, bS의 값이 1보다 크면, 필터링되는 샘플은 다음 수식 6과 같이 유도된다.
<수식 6>
Δ = Clip3( −tC, tC, ( ( ( ( q0 – p0 ) << 2 ) + p1 – q1 + 4 ) >> 3 ) )
p0’ = Clip1C( p0 + Δ )
q0’ = Clip1C( q0 − Δ )
bS 값을 3가지 값 중 어느 한 값으로 결정하고, 이를 기반으로 디블록킹 필터링을 적용하는 경우에는, 상술한 바와 같이 루마 샘플에 대한 디블록킹 필터링과 크로마 샘플에 대한 디블록킹 필터링을 더 효과적이고 낮은 복잡도에서 수행할 수 있다.
예컨대, 편의상 bS의 세 가지 값을 bS0, bS1, bS2 라고 하자(bS0 < bS1 < bS2). 상술한 예에서, bS0의 값은 0일 수 있으며, bS1의 값은 1일 수 있고, bS2의 값은 2일 수 있다.
앞서 설명한 <bS를 3 가지 값 중 어느 한 값으로 유도하는 방법>들과 <크로마 샘플에 디블록킹 필터링을 적용하는 방법 2>를 고려하면, 루마 샘플과 크로마 샘플을 포함하는 세 가지 샘플들(루마 Y, 크로마 Cr과 Cb)에 대한 디블록킹 필터링을 세 가지 bS 값(bS0, bS1, bS2)을 가지고 어떻게 적용할 수 있을지를 다시 한번 확인할 수 있다.
앞서 설명한 바와 같이, 루마 샘플의 경우에는 디블록킹 필터링 적용 대상인 블록 에지에 대하여 bS의 값이 bS0보다 크면, 디블록킹 필터링 적용 단위 블록별로 디블록킹 필터링를 적용할 수 있다. 이 경우(bS > bS0)에, 해당 에지에 디블록킹을 적용할 것인지, 약한 필터링(weak filtering)과 강한 필터링(strong filtering) 중 어떤 필터를 적용할 것인지 등을 결정할 수 있으며, 결정에 따라서 블록 에지에 디블록킹 필터링이 적용될 수 있다. bS가 bS0인 경우에는 디블록킹 필터링이 적용되지 않는다. 상술한 바와 같이, 본 명세서의 실시예들에서 bS0의 값은 0일 수 있으며, bS1의 값은 1일 수 있고, bS2의 값은 2일 수 있으므로, bS>bS0의 조건은 bS>0일 수 있다.
크로마 샘플의 경우에는 디블록킹 필터링 적용 대상인 블록 에지에 대하여 bS의 값이 bS1보다 크면, 디블록킹 적용 단위 블록별로 디블록킹 필터링을 적용할 수 있다. 3 가지 bS 값 중 어느 한 값으로 블록 에지에 대한 bS를 결정하여 크로마 샘플에 대한 디블록킹 필터링을 적용하는 예(<크로마 샘플에 디블록킹 필터링을 적용하는 방법 2>)에서 설명한 바와 같이, 크로마 샘플들의 블록 에지에 대한 디블록킹 필터링(수평 에지에 대한 디블록킹 필터링 및 수직 에지에 대한 디블록킹 필터링)은 bS의 값이 bS1보다 큰 경우에 적용될 수 있다. 상술한 바와 같이, 본 명세서의 실시예들에서 bS0의 값은 0일 수 있으며, bS1의 값은 1일 수 있고, bS2의 값은 2일 수 있으므로, bS의 값이 bS1 보다 크다는 조건은 bS 의 값이 1 보다 크다는 것일 수 있다.
한편, 앞서 설명한 루마 샘플에 대하여 디블록킹 필터링을 적용하는 방법의 예들과 크로마 샘플에 대하여 디블록킹 필터링을 적용하는 방법의 예들을 함께 적용할 수 있다.
예컨대, 대상 경계에서의 bS 값에 기반하여, 루마 성분에 대한 디블록킹 필터링의 적용 여부를 결정하고, 크로마 성분에 대한 디블록킹 필터링 적용 여부를 결정할 수 있다. 세 개의 bS 값(bS0, bS1, bS2)을 이용하는 예들에서, 블록 경계에서의 bS 값이 0보다 큰 경우에 루마 성분에 대하여 디블록킹 필터링을 적용할 것인지를 결정할 수 있다. 또한, 블록 경계에서의 bS 값이 1보다 큰 경우에는 크로마 성분에 대하여 디블록킹 필터링을 적용할 수 있다. 블록 경계에서의 bS 값이 0인 경우에는 루마 성분에 대해서도, 크로마 성분에 대해서도 디블록킹 필터링을 적용하지 않는다.
구체적으로, 블록 경계에서 bS 값이 0보다 크면, 루마 성분에 대하여 블록 경계에 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정할 수 있다. 강한 필터링을 적용하는 조건과 약한 필터링을 적용하는 조건을 만족하지 않을 경우에는 필터링을 적용하지 않을 수 있다. 이때, 블록 경계에서 bS 값이 1보다 크면, 크로마 성분에 대하여 블록 경계에 디블록킹 필터링을 적용할 수 있다.
따라서, 예를 들면, 블록 경계에서의 bS 값이 1인 경우에, 크로마 성분에 대해서는 디블록킹 필터링을 적용하지 않으며, 루마 성분에 대해서는 디블록킹 필터링을 적용할 수 있다.
한편, 블록 경계에서 블록킹 아티팩트(blocking artifact)를 유발하는 주 원인 중 하나는 블록 기반의 움직임 보상(block based motion compensation)이다. 이를 극복하기 위해 OBMC(Overlapped Block Motion Compensation)이 사용될 수 있다.
OBMC를 사용하는 경우에는 상술한 bS 결정 과정도, OBMC에 맞게 수정할 필요가 있다. 예컨대, 블록 간의 움직임 정보가 상이하면 블록 아티팩트가 심할 수 있기 때문에, bS의 값 0과 1을 결정하는 기준 중 한 가지는 움직임 정보의 유사성이라고 할 수 있다. 하지만, OBMC 기술을 사용하게 되면, 움직임 보상을 수행하는 영역의 경계에서 블록 아티팩트가 줄어들게 된다. 결과적으로 불필요한 디블록킹 필터링을 줄일 수 있게 되지만, 이를 반영하여 bS 결정 프로세스(bS 결정 트리)를 수정할 필요가 있다.
도 15는 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 일 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 15를 참조하면, 우선 블록 P 및/또는 블록 Q가 인트라 코딩되었는지를 판단한다(S1500).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우에는 블록 Q의 경계, 즉 블록 P와 블록 Q의 경계가 코딩 블록의 경계인지를 판단한다(S1510). 이때, 코딩 블록이라 함은 CU와 LCU를 포함한다.
S1510 단계에서, 블록 P와 블록 Q의 경계가 코딩 블록의 경계인 경우에는 블록 P와 블록 Q 사이 경계에 대한 bS의 값을 bS4(예컨대, bS4 = 4)로 결정한다(S1520).
S1520 단계에서, 블록 P와 블록 Q의 경계가 코딩 블록의 경계가 아닌 경우에는 블록 P와 블록 Q 사이 경계에 대한 bS의 값을 bS3(예컨대, bS3 = 3)으로 결정한다(S1530).
S1500 단계에서, 블록 P 및 블록 Q가 인트라 코딩되지 않는 경우에는 블록 P와 블록 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션(partition) 안에 있는지를 판단한다(S1540).
S1540 단계에서, 블록 P와 블록 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있지 않은 경우에는 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S1550). 이때, 변환 계수는 역양자화가 적용되기 전의 변환 계수일 수도 있고, 역양자화가 적용된 후의 변환 계수일 수도 있다.
S1550 단계에서, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS를 bS2(예컨대, bS2 = 2)로 결정한다(S1560).
S1550 단계에서, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, 블록 P와 블록 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는지를 판단한다(S1570).
S1570 단계에서, 블록 P와 블록 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS를 bS1(예컨대, bS1 = 1)으로 결정한다(S1580).
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0(예컨대, bS0 = 0)으로 설정한다(S1590). bS를 bS0으로 설정하는 경우는, S1540 단계에서 블록 P와 블록 Q가 단일 코딩 블록(예컨대 CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우가 아니거나 S1570 단계에서 블록 P와 블록 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지지 않는 경우를 포함한다.
도 15의 예에서도, 앞선 bS 결정에 관한 예들과 마찬가지로 bS4 > bS3 > bS2 > bS1 > bS0의 관계를 유지한다. 따라서, bS0 ~ bS4의 값을 상기 예로 든 바 및 도시된 바와 같이, bS4 = 4, bS3 = 3, bS2 = 2, bS1 = 1, bS0 = 0으로 설정할 수 있다.
또한, 앞서의 예들과 마찬가지로, bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 15에서는, 가장 큰 두 bS 값에 대해서는 tCoffset를 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 tCoffset를 0으로 설정하는 일 예를 간단히 나타내고 있다.
도 15의 예에서는, 블록 P와 블록 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형(rectangular) 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭(asymmetric) 파티션(예컨대, 예측 블록, PU 등) 안에 있으면 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 0으로 결정할 수 있다.
이와 달리, 블록 P와 블록 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭 파티션(예컨대, 예측 블록, PU 등) 안에 있더라도, 블록 P의 움직임 정보와 블록 Q의 움직임 정보의 차이가 크다면 블록 P와 블록 Q 사이의 경계에 대한 bS 값을 1로 결정하고, 블록 P의 움직임 정보와 블록 Q의 움직임 정보의 차이가 작다면 블록 P와 블록 Q 사이의 경계에 대한 bS를 0으로 결정할 수도 있다.
도 16은 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 다른 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 16을 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S1600).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우에는 블록 Q의 경계, 즉 블록 P와 블록 Q의 경계가 코딩 블록의 경계인지를 판단한다(S1610). 이때, 코딩 블록이라 함은 CU와 LCU를 포함한다.
S1610 단계에서, 블록 P와 블록 Q의 경계가 코딩 블록의 경계인 경우에는 블록 P와 블록 Q 사이 경계에 대한 bS의 값을 bS4(예컨대, bS4 = 4)로 결정한다(S1620).
S1620 단계에서, 블록 P와 블록 Q의 경계가 코딩 블록의 경계가 아닌 경우에는 블록 P와 블록 Q 사이 경계에 대한 bS의 값을 bS3(예컨대, bS3 = 3)으로 결정한다(S1630).
S1600 단계에서, 블록 P 및 블록 Q가 인트라 코딩되지 않는 경우에는 블록 P와 블록 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션(partition) 안에 있는지를 판단한다(S1640).
S1640 단계에서, 블록 P와 블록 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우가 아니라면, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S1650). 이때, 변환 계수는 역양자화가 적용되기 전의 변환 계수일 수도 있고, 역양자화가 적용된 후의 변환 계수일 수도 있다.
S1650 단계에서, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS를 bS2(예컨대, bS2 = 2)로 결정한다(S1660).
S1640 단계에서, 블록 P와 블록 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우이거나, S1650 단계에서, 블록 P 및/또는 블록 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, 블록 P와 블록 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는지를 판단한다(S1670).
S1670 단계에서, 블록 P와 블록 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS를 bS1(예컨대, bS1 = 1)으로 결정한다(S1680).
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0(예컨대, bS0 = 0)으로 설정한다(S1690).
도 16의 예에서도, 앞선 bS 결정에 관한 예들과 마찬가지로 bS4 > bS3 > bS2 > bS1 > bS0의 관계를 유지한다. 따라서, bS0 ~ bS4의 값을 예로 든 바 및 도시된 바와 같이, bS4 = 4, bS3 = 3, bS2 = 2, bS1 = 1, bS0 = 0으로 설정할 수 있다.
상술한 바와 같이, 도 16의 예에서는 블록 P와 블록 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭 파티션(예컨대, 예측 블록, PU 등) 안에 있더라도 블록 P와 블록 Q 사이의 경계에 대한 bS 값을 bS1(예컨대 bS=1)로 결정할 수 있다.
또한, 앞서의 예들과 마찬가지로, bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 16에서는 가장 큰 두 bS 값에 대해서는 tCoffset를 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 tCoffset를 0으로 설정하는 일 예를 간단히 나타내고 있다.
한편, 블록 P 및/또는 블록 Q가 인트라 코딩된 경우에 bS의 값을 구분할 필요가 없을 수도 있다. 예컨대, 도 5, 도 15 또는 도 16의 예와 같이, I 슬라이스(인트라 코딩된 슬라이스)에서 대상 경계가 코딩 블록(예컨대 CU)의 경계인지를 판단하여, 코딩 블록의 경계이면 bS를 4로 결정하고 그 외의 경계이면 bS를 3으로 결정하는 경우라면, 모든 I 슬라이스에 대하여 결국 bS의 값은 3 또는 4로 귀결된다.
이와 관련하여, 도 12 내지 도 14와 같이 bS 결정 트리를 수정하여 복잡도를 낮추는 방법이 적용된다면, 결국 bS의 값은 0보다 큰가 또는 1 이나 2보다 큰지를 고려해서 단순하게 적용될 가능성도 있다. 따라서, bS의 값이 3이냐 4이냐를 구별할 필요가 없을 수도 있다.
도 17은 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 17을 참조하면, 디블록킹 필터링을 적용하기 위해 bS를 결정하고(S1710), 결정된 bS에 따라서 블록 기반의 필터링 온/오프를 결정하고(S1720), 소정의 bS에 대하여 강한(strong) 필터를 적용할 것인지 약한(weak) 필터를 적용할 것인지를 결정하여(S1730), 필터링 동작(filtering operation)을 수행한다(S1740).
도 17의 예에서 디블록킹 필터를 적용하는 방법은 앞서 도 3을 기반으로 설명한 방법과 동일하거나 유사한 것을 확인할 수 있다.
이때, bS 결정 단계(S1710)에서는 도 5, 도 15 또는 도 16와 같이, 블록 P 및/또는 블록 Q가 인트라 코딩된 경우에 대상 경계가 코딩 블록의 경계인지를 구분하여 bS값을 결정할 수도 있다.
도 18은 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 18에서는 도 17과 달리 블록 P 및/또는 블록 Q가 인트라 코딩된 경우(I 슬라이스인 경우)에 bS를 추가적으로 구분하여 결정하지 않는다.
도 18을 참조하면, 디블록킹 필터링을 적용하기 위해 블록 P 및/또는 블록 Q가 인트라 코딩되었는지(I 슬라이스인지)를 판단한다(S1810).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우가 아니라면, 도 17의 예와 같이 bS를 결정하는 일반적인 단계를 수행한다(S1820).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우(I 슬라이스인 경우)라면, 도 17의 예와 달리 bS를 하나의 값(예컨대 4)로 결정한다(S1830).
이어서, 결정된 bS에 따라서 블록 기반의 필터링 온/오프를 결정하고(S1840), 소정의 bS에 대하여 강한(strong) 필터를 적용할 것인지 약한(weak) 필터를 적용할 것인지를 결정하여(S1450), 필터링 동작(filtering operation)을 수행한다(S1860).
도 18의 예 이외에, 앞서 설명한 디블록킹 필터링의 방법을 수정하여 적용하는 또 하나의 방법으로서, 도 6의 예에서 설명한 대표 bS를 이용하는 방법을 수정하여 디블록킹 필터링을 수행하는 것을 고려할 수 있다.
도 6의 예에서는 8x8 픽셀 블록 단위로 디블록킹 필터링을 수행하는 경우에, 4x4 픽셀 단위로 결정되는 두 bS 중 큰 값을 가지는 bS를 대표 bS로 이용하는 방법을 설명하였다.
도 19는 대표 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 19를 참조하면, 대표 bS를 선정하기 위해, 디블록킹 필터링의 단위 블록에서 bS1과 bS2의 크기를 비교한다(S1910).
S1910 단계에서 bS1이 bS2보다 크면 대표 bS를 bS1으로 결정한다(S1920). 반대로, S1910 단계에서 bS2가 bS1보다 크면 대표 bS를 bS2로 결정한다(S1930).
bS1과 bS2는 디블록킹 필터링의 단위 블록에서 두 수직 에지에 대한 bS들일 수도 있고, 두 수평 에지에 대한 bS일 수도 있다. 도 15의 방법은 수직 에지에 대한 디블록킹 필터링 과정에서 수행되어 수직 에지에 대한 대표 bS를 결정하는데 이용된 후에, 수평 에지에 대한 디블록킹 필터링 과정에서 수행되어 수평 에지에 대한 대표 bS를 결정하는데 이용될 수 있다.
결정된 대표 bS를 이용하여 필터링부는 디블록킹 필터링을 수행할 수 있다.
도 19의 예는 도 6의 예와 같이 큰 값을 가지는 bS를 대표 bS로 이용하는 방법을 설명하고 있다. 이와 달리, 과도한 디블록킹 필터링을 줄이고 필터링의 연산량을 감소시키기 위해 대표 bS를 결정하는 방법을 달리할 수도 있다.
도 20은 대표 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 20을 참조하면, 대표 bS를 선정하기 위해, 디블록킹 필터링의 단위 블록에서 bS1과 bS2의 크기를 비교한다(S2010).
S2010 단계에서 bS1이 bS2보다 작으면 대표 bS를 bS1으로 결정한다(S2020). 반대로, S2010 단계에서 bS2가 bS1보다 작으면 대표 bS를 bS2로 결정한다(S2030).
bS1과 bS2는 디블록킹 필터링의 단위 블록에서 두 수직 에지에 대한 bS들일 수도 있고, 두 수평 에지에 대한 bS일 수도 있다. 도 20의 방법 역시 수직 에지에 대한 디블록킹 필터링 과정에서 수행되어 수직 에지에 대한 대표 bS를 결정하는데 이용된 후에, 수평 에지에 대한 디블록킹 필터링 과정에서 수행되어 수평 에지에 대한 대표 bS를 결정하는데 이용될 수 있다.
결정된 대표 bS를 이용하여 필터링부는 디블록킹 필터링을 수행할 수 있다.
한편, 도 17 및 도 18에서 설명한 바와 같이, bS 값을 5가지 값 중 어느 한 값으로 유도하여 적용하더라고, 실제 디블록킹 필터링을 수행하는 경우에는 bS 값이 0보다 큰지, bS 값이 2보다 큰지만을 판단할 수도 있게 된다. 따라서, 3가지의 구별되는 bS 값만 있으면, 픽셀 혹은 블록의 특성에 따라서 디블록킹 필터링을 효과적으로 수행할 수 있다.
도 21은 bS 결정 트리(bS 결정 방법)를 간소화하는 다른 방법을 개략적으로 설명하는 순서도이다.
도 21을 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S2110).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우에는 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 2로 결정한다(S2120).
블록 P 및/또는 블록 Q가 인트라 코딩된 경우가 아니면, 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하거나 블록 P와 블록 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는지를 판단한다(S2130).
S2130 단계에서 블록 P와 블록 Q가 0이 아닌 계수(변환 계수)를 포함하거나 P와 Q가 상이한 참조 픽처를 가지거나 블록 P와 블록 Q가 상이한 움직임 벡터를 가지는 경우에는, 블록 P와 블록 Q 사이의 경계에 대한 bS의 값을 1로 설정한다(S2140).
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS의 값을 0으로 설정한다(S2140).
바꿔 말하면, 디블록킹 필터링을 적용하지 않는 경우인 bS 값이 0인 경우는 P와 Q가 모두 인터 예측 모드로 코딩되었고, 움직임 정보가 유사한 경우이다. 이때, 움직임 정보가 유사하다는 것은 참조 픽처가 동일하고 움직임 벡터의 각 성분 간 차이가 4보다 작은 경우(예컨대, 움직임 벡터의 x 성분들 사이의 차이가 4보다 작고, y 성분들 사이의 차이도 4보다 작은 경우)이다.
이때, 블록 P와 블록 Q에 대한 cbf(Coded Block Flag)가 0이 아닌 경우, 즉 블록 P와 블록 Q에 0이 아닌 변환 계수가 존재하는 경우에도, 블록 P와 블록 Q가 인터 예측 모드로 예측되고, 움직임 정보가 유사하면 bS 값을 0으로 결정할 수 있다. 그 외의 경우, 즉 움직임 정보가 유사하지 않거나 블록 P 및/또는 블록 Q가 인트라 예측 모드로 코딩된 경우 등에서 bS는 1 또는 2로 결정될 수 있다.
하지만, 블록 P와 블록 Q에 0이 아닌 변환 계수가 존재할 때(cbf의 값이 0이 아닐 때), 블록 P와 블록 Q의 움직임 정보가 비슷하여 bS가 0으로 결정되더라도 디블록킹 필터링의 적용이 필요할 수가 있다. 0이 아닌 변환 계수가 존재함에도 움직임 정보가 유사하여 디블록킹 필터링의 적용이 배제된다면, 사용자의 주관적 손실 및 데이터의 객관적 손실이 발생할 수 있기 때문이다.
따라서, 다음과 같이 bS의 값이 0이 되는 경우를 엄격하게 판단할 수도 있다.
예컨대, 상술한 바와 같이, 도 21에서는 에지를 사이에 둔 두 블록 P와 Q의 참조 픽처가 동일하고 블록 P와 블록 Q의 움직임 벡터 성분들 사이의 차이가 4보다 작은 경우를 움직임 정보가 유사한 경우라고 판단하였다. 따라서, 블록 P의 움직임 벡터 MVP와 블록 Q의 움직임 벡터 MVQ에 대하여, 한 성분 사이의 차이가 4 이상이 되어도 bS는 0이 아니게 된다. 즉, MVP의 x 성분 MVP0와 MVQ의 x 성분 MVQ0 사이의 차이가 4이상이거나, MVP의 y 성분 MVP1와 MVQ의 y 성분 MVQ1 사이의 차이가 4이상이면, bS는 0이 아닌 값, 예컨대 1로 설정된다.
따라서, 움직임 벡터의 성분 간 차이를 4보다 작은지 혹은 4와 같거나 4보다 큰지로 판단하지 말고, 임의의 임계값을 설정한 뒤 움직임 벡터의 성분 간 차이를 임계값과 비교하도록 할 수도 있다. 예컨대, MVP의 x 성분 MVP0와 MVQ의 x 성분 MVQ0 사이의 차이가 임계값 Th0 이상이거나, MVP의 y 성분 MVP1와 MVQ의 y 성분 MVQ1 사이의 차이가 임계값 Th1 이상이면 bS를 1(블록 P 및/또는 블록 Q가 인트라 예측 모드로 코딩된 경우는 2)로 설정할 수 있다. 이때, Th0와 Th1는 동일할 수 있다. 예컨대, 임계값이 작으면 bS의 값이 0이 되는 경우가 줄어들게 되므로, 임계값 Th0/Th1를 4보다 작은 값(2 또는 3)으로 설정되어, bS의 값이 0이 되는 경우를 줄일 수 있다.
수식 7은 상기 방법에 따라서, bS 값을 0으로 할 것인지 1로 할 것인지를 결정하는 방법의 일 예를 나타낸 것이다.
<수식 7>
(1) pcMVP0 −= pcMVQ0; pcMVP0 −= pcMVQ0;
(2) uiBs =(pcMVP0.getAbsHor() >= th) | (pcMVP0.getAbsVer() >= th) |
(pcMVP1.getAbsHor() >= th) | (pcMVP1.getAbsVer() >= th);
수식 3에서 (1)은 블록 P의 움직임 벡터와 블록 Q의 움직임 벡터에 대하여 x 성분 사이의 차이와 y 성분 사이의 차이를 구하는 것이며, (2)는 각 성분의 차이가 임계값보다 큰지를 판단하는 것이다.
한편, 디블록킹 필터링의 복잡도를 낮추기 위해 tC_offset을 제거할 수도 있다.
앞서 크로마 성분에 대한 디블록킹 필터링 방법에서 설명한 바와 같이, 라운드(round) 값을 고려한 블록 P와 블록 Q에 대한 양자화 파라미터의 평균값을 qPL이라고 할 때, (1) bS 값이 소정의 값(예컨대, 2 또는 1)보다 크면 tC는 양자화 파라미터 Q = Clip(0, 55, qPL) 에 대응하는 값으로 결정된다. (2) bS 값이 상기 소정의 값(예컨대, 2 또는 1) 이하이면 tC는 양자화 파라미터 Q=qPL에 대응하는 값으로 결정될 수 있다.
이때, 양자화 파라미터Q 값과 tC 사이의 대응 관계는 표(table)를 통해 특정될 수 있다.
표 3은 디블록킹 파라미터들(Q, tC, β) 사이 대응 관계의 일 예를 나타낸 것이다. 표 3은 WD3: Working Draft 3 of High-Efficiency Video Coding(JCTVC-E603_d2)의 Table 8-13를 참조한 것이다.
<표 3>
표 3에서는 설명의 편의를 위해, β와 tC로 나타냈지만, 본 발명은 이에 한정되지 않는다.
예컨대, 디블록킹 파라미터들 사이의 관계는 다음 표 4와 같이 나타낼 수도 있다.
표 4는 디블록킹 파라미터들(Q, tC, β ) 사이의 관계를 나타낸 것으로서, High Efficiency Video Coding (HEVC) text specification draft 9(JCTVC-K1003_v9)의 의 Table 8-10을 참조한 것이다.
<표 4>
표 4를 참조하면, tC와 β는 tC = tC′ * ( 1 << ( BitDepthY − 8) ), β = β′ * ( 1 << ( BitDepthY – 8 ) )를 이용하여 tC’와 β’로부터 유도될 수 있다.
상술한 바와 같이, tC와 β는 강한 필터링을 적용할 것인지를 결정하는 기준이 될 수 있으며, tC는, 수식 6과 같이, 디블록킹 필터링이 적용된 샘플 값의 범위를 한정할 수 있다.
예를 들어, 에지로부터 가장 가까운 P의 세 샘플을 순서대로 p0, p1, p2 라고 하고, 에지로부터 가장 가까운 Q의 세 샘플을 순서대로 q0, q1, q2라고 하면, (1) abs(p2-2p1+p0)+abs(q2-2q1+q0) = dpq라고 할 때 dpq가 (β>>2)보다 작은지를 판단할 수 있다. (2) p0, p1, p2와 q0, q1, q2 이외의 샘플, 예컨대 p3와 q3를 추가로 고려하여 abs(p3-p0)+abs(q0-q3)이 (β>>3)보다 작은지를 판단할 수 있다. (3) 또한, 경계 좌우의 두 샘플 p0와 q0에 대하여, abs(p0-q0)가 (5*tC+1)>>1보다 작은지를 판단할 수 있다. 상술한 바와 같이, 블록 내에서 복수의 열 또는 행을 취하여 판단을 수행할 수 있다. 예컨대, 수직 에지에 대해서는 복수의 행을 선택하여 각각의 행에 대해 (1) 내지 (3)을 판단할 수 있고, 수평 에지에 대해서는 복수의 열을 선택하여 각각의 열에 대해 (1) 내지 (3)을 판단할 수 있다.
수직 에지의 경우에, 복수의 행에 대하여 (1) 내지 (3)의 결과 모두 기준보다 작은 것으로 판단되면 해당 에지에 강한 필터링을 적용하도록 할 수 있다. 수평 에지의 경우, 복수의 열에 대하여 (1) 내지 (3)의 결과 모두 기준보다 작은 것으로 판단되면 해당 에지에 강한 필터링을 적용하도록 할 수 있다.
블록 P에 대한 루마 샘플의 양자화 파라미터 QPP와 블록 Q에 대한 루마 샘플의 양자화 파라미터 QPQ를 이용하여 양자화 파라미터에 관한 변수 qPL을 qPL = ((QPQ + QPP + 1) >> 1)로 정의할 수 있다.
bS를 다섯 개의 값 중 어느 한 값으로 유도할 때, bS가 2보다 크면 양자화 파라미터 Q = Clip3(0, 55, qPL+2)로 설정할 수 있고, 양자화 파라미터 Q 와 β 값에 대응하는 tC 값을 표 3에서 획득할 수 있다. 이때, bS 가 2보다 작거나 같으면, Q = qPL로 설정하고, 양자화 파라미터 Q와 β 값에 대응하는 tC 값을 표 3에서 획득할 수 있다.
반면에, bS를 세 개의 값 중 어느 한 값으로 유도하는 경우(예컨대, 도 12 내지 도 14의 예)에는, 양자화 Q 값을 bS 값에 상관없이 하나의 값으로 결정한 뒤에 결정된 양자화 파라미터 Q 값과 β 값에 대응하는 tC 값을 표 3으로부터 획득할 수 있다. 예컨대, bS 값을 3 개의 값(0, 1, 2) 중 어느 한 값으로 유도하는 경우에는 양자화 파라미터 Q = Clip3(0, 55, qPL + 2*bS -2)로 결정하고, 결정된 양자화 파라미터 Q 값과 β 값에 대응하는 tC 값을 표 3으로부터 획득할 수 있다.
한편, 양자화 파라미터 Q 값을 결정할 때, bS 값, 블록 P와 블록 Q의 양자화 파라미터 및 bS 값 외에 tC_offset의 값을 고려하여, 더 정확한 tC 값을 획득할 수도 있다. 예컨대, 디코더는 슬라이스 헤더에서 전송되는 tC_offset 정보를 반영하여 양자화 파라미터 Q 값을 결정할 수 있다.
슬라이스 헤더에서 전송되는 tC_offset 정보는 슬라이스마다 최적화된 디블록킹 필터를 적용하기 위해 전송되는 값으로서, 에지에 인접한 q 샘플을 포함하는 슬라이스에 대한 tC_offset정보로서, slice_tc_offset_div2라고 나타낼 수 있다. slice_tc_offset_div2는 tC에 대한 디폴트 디블록킹 파라미터 오프셋의 값을 특정한다.
이 경우에, 양자화 파라미터 Q = Clip3(0, 55, qPL + 2*bS-2 + slice_tc_offset_div2<<1 )로 설정되고, 변수 tC는 설정된 양자화 파라미터 Q 값과 β 값에 기반하여 결정될 수 있다. 예컨대, tC는 양자화 파라미터 Q와 β 값에 기반하여, 상기 표 3과 같이 양자화 파라미터 Q, β, tC 사이의 관계를 규정하는 테이블을 이용하여 결정될 수 있다.
따라서, 슬라이스 헤더에서 전송되는 tC_offset 정보(slice_tc_offset_div2)에 기반하여 Q 값을 상술한 바와 같이 결정하고, 역시 인코딩 장치로부터 전송된 β 값과 Q 값을 기반으로 tC 값을 결정할 수 있다. tC 값은 상술한 바와 같이, 양자화 정도에 따른 블록킹 아티팩트를 정량화하는 값으로서 디블록킹 필터링을 적용하는 경우에 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정하는 기준으로서 사용될 수 있다.
또한, tC 값은 필터링된 픽셀 값의 범위(클리핑 범위)를 결정하는 기준, 즉 샘플 값에 대한 범위 파라미터로서 사용될 수도 있다.
예컨대, 오프셋 기준값을 중심으로 tC의 정수 배 범위 내에서 결정되는 필터링 오프셋을 기반으로 디블록킹 필터링된 샘플 값이 결정될 수 있다. 이때, 오프셋 기준값은 0일 수도 있고, 디블록킹 필터링 대상 샘플의 디블록킹 필터링 되기 전 샘플 값일 수도 있다.
예컨대, 루마 샘플에 대하여 강한 필터링이 적용되는 경우에, 디블록킹 필터링된 샘플 값은 오프셋 기준값을 중심으로 tC의 정수 배 범위 내에서 결정되는 필터링 오프셋 범위 내에서 결정될 수 있다. 즉, 디블록킹 필터링 되기 전 샘플 값을 오프셋 기준값으로 사용한다면, 디블록킹 필터링되기 전의 루마 샘플 값을 기준으로 tC 값의 N(N은 정수)배 범위 내에서 디블록킹 필터링된 루마 샘플의 값이 결정될 수 있다. 예컨대, 디블록킹 필터링 되기 전의 루마 샘플 값을 S라고 할 때, N의 값이 1이라면 디블록킹 필터링된 루마 샘플 값 S’은 S - tC ≤ S’ ≤ S + tC 의 관계를 가질 수 있으며, N의 값이 2라면 S - 2tC ≤ S’ ≤ S + 2tC의 관계를 가질 수 있다.
또한, 루마 샘플에 대하여 약한 필터링이 적용되는 경우에, 디블록킹 필터링된 루마 샘플 값은 오프셋 기준값을 기준으로 tC 값의 정수 배 범위 내에서 결정되는 오프셋을 더한 값으로 결정될 수 있다. 이때, 약한 필터링에 적용되는 오프셋은 강한 필터링에 적용되는 오프셋 범위와는 별도로 결정될 수 있다. 즉, 오프셋 기준 값을 0으로 설정한다면, 0을 기준으로 tC 값의 N(N은 정수) 배 범위 내에서 결정되는 오프셋을 원래의 루마 샘플에 더한 값을 필터링된 샘플 값으로 결정할 수 있다. 이때, 오프셋은 필터링 대상 샘플 및 그 주변 샘플들의 샘플 값을 기반으로 결정될 수 있다.
예컨대, 루마 샘플에 대하여 약한 필터링이 적용되는 경우에, 오프셋 기준 값이 0이고 N의 값이 1이라면, 오프셋 ΔY는 -tC ≤ ΔY ≤ tC 의 범위에서 결정될 수 있고, 오프셋 기준 값이 0이고 N의 값이 2라면, 오프셋 ΔY는 -2tC ≤ ΔY ≤ 2tC 의 범위에서 결정될 수 있다.
또한, 크로마 샘플에 대하여 디블록킹 필터링이 적용되는 경우에, 디블록킹 필터링된 루마 샘플 값은 수식 6과 같이 오프셋 기준값(예컨대 0)을 기준으로 tC 값의 정수 배 범위 내에서 결정되는 오프셋을 더한 값으로 결정될 수 있다. 이때 적용되는 오프셋은 강한 필터링에 적용되는 루마 샘플에 대한 오프셋 범위, 약한 필터링에 적용되는 루마 샘플에 대한 오프셋과는 별도로 결정될 수 있다.
오프셋 기준 값을 0으로 설정한다면, 0을 기준으로 tC 값의 N(N은 정수) 배 범위 내에서 결정되는 오프셋을 원래의 크로마 샘플에 더한 값을 필터링된 크로마 샘플 값으로 결정할 수 있다. 이때, 오프셋은 필터링 대상 크로마 샘플 및 그 주변 크로마 샘플들의 샘플 값을 기반으로 결정될 수 있다.
예컨대, 크로마 샘플에 대하여 디블록킹 필터링이 적용되는 경우에, 오프셋 기준 값이 0이고 N의 값이 1이라면, 오프셋 ΔC는 -tC ≤ ΔC ≤ tC 의 범위에서 결정될 수 있고, 오프셋 기준 값이 0이고 N의 값이 2라면, 오프셋 ΔC는 -2tC ≤ ΔC ≤ 2tC 의 범위에서 결정될 수 있다.
도 22는 본 발명에 따라서, 영상을 인코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 22를 참조하면, 인코딩 장치는 입력된 영상을 분할하고, 현재 블록에 대한 예측을 수행한다(S2210). 현재 블록에 대한 예측은 인코딩 장치의 예측부에서 수행할 수 있다. 예측부는 현재 블록에 대하여 인트라 예측을 수행할 수도 있고, 인터 예측을 수행할 수도 있다. 인트라 예측을 수행할 것인지 인터 예측을 수행할 것인지는 RDO(Rate Distortion Optimization) 등을 고려하여 결정될 수 있다.
스킵 모드가 적용되는 경우가 아니면, 예측부는 예측 신호를 생성하고, 원본 신호와 예측 신호의 차인 레지듀얼 신호를 생성할 수 있다.
인코딩 장치는 레지듀얼 신호를 변환 및 양자화 할 수 있다(S2220). 레지듀얼 신호의 변환은 변환부에서 수행될 수 있으며, 변환된 신호(예컨대 변환 계수)의 양자화는 양자화부에서 수행될 수 있다.
변환 및 양자화된 신호는 엔트로피 인코딩 과정을 거쳐 전송될 수 있다.
인코딩 장치는 변환 및 양자화된 신호를 역양자화 및 역변환하여 현재 블록을 복원한다(S2230). 역양자화 및 역변환된 신호는 레지듀얼 신호와 더해져서 원본 신호로 복원된다.
인코딩 장치는 복원된 신호에 디블록킹 필터링을 적용할 수 있다(S2240). 복원된 신호는 디블록킹 필터링에 의해 원본에 더 가까운 신호로 복원될 수 있다. 디블록킹 필터링은 필터부에서 수행될 수 있으며, 필터부는 디블록킹 필터링을 적용한 후 SAO(Sample Adaptive Offset)를 적용할 수도 있다.
디블록킹 필터링의 구체적인 방법은 도면과 함께 앞서 설명한 바와 같다.
디블록킹 필터링이 적용된 신호는 DPB(Decoded Picture Buffer)와 같은 메모리에 저장되며, 다른 블록 또는 다른 픽처의 예측에 참조될 수 있다.
여기서는 예측에 의해 레지듀얼 신호를 생성하고 전송하는 것을 설명하였으나, 스킵 모드가 적용되는 경우에는 레지듀얼 신호를 생성/전송하지 않는다.
도 23은 본 발명에 따라서 영상을 디코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 23을 참조하면, 디코딩 장치는 수신한 비트스트림을 엔트로피 디코딩하고 현재 블록에 대한 예측을 수행한다(S2310). 현재 블록에 대한 예측은 디코딩 장치 내의 예측부에서 수행할 수 있다. 예측부는 인코딩 장치로부터 시그널링된 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하거나 인트라 예측을 수행할 수 있다. 예측부는 예측에 의해 현재 블록에 대한 예측 신호(예측 블록)을 생성한다.
디코딩 장치는 현재 블록에 대한 예측을 기반으로 현재 블록을 복원한다(S2320). 디코딩 장치는 인코딩 장치로부터 수신한 비트스트림으로부터 역양자화/역변환을 통해 레지듀얼 신호(레지듀얼 블록)을 생성하고, 예측 신호(예측 블록)과 레지듀얼 신호(예측 블록)을 더하여 복원 신호(복원 블록)을 생성할 수 있다. 스킵 모드가 적용된 경우에는 레지듀얼 신호가 전송되지 않으며, 예측 신호를 복원 신호로 할 수 있다.
디코딩 장치는 복원 신호(복원 블록)에 디블록킹 필터링을 적용한다(S2330). 디블록킹 필터링은 디코딩 장치 내의 필터부에서 수행될 수 있다. 필터부는 복원 블록에 디블록킹 필터링을 적용하여 복원 블록을 원복 블록에 더 가깝게 수정(modify)한다.
디블록킹 필터링의 구체적인 내용은 앞서 도면과 함께 상세하게 설명했던 바와 같다.
필터부는 디블록킹 필터링을 적용한 후에 인코딩 장치로부터 수신한 정보에 기반하여 복원 블록에 SAO(Sample Adaptive Offset)을 적용할 수도 있다.
필터부를 거쳐 복원된 신호는 DPB(Decoded Picture Buffer)와 같은 메모리에 저장되어 다른 블록 또는 다른 픽처의 예측에 참조될 수 있으며, 복원 영상으로서 출력될 수도 있다.
도 22 및 도 23에서는 발명의 이해를 돕기 위해, 본 발명에 따른 디블록킹 필터링이 인코딩/디코딩 과정에서 적용되는 것을 개략적으로 설명하기 위한 것이며, 앞서 도면과 함께 상세하게 설명하였던 인코딩/디코딩 과정의 프로세스가 함께 적용될 수 있음에 유의한다.
도 24는 본 발명에 따라서 bS를 유도하고 디블록킹 필터링을 적용하는 방법의 일 예를 개략적으로 설명하는 순서도이다. 도 1 및 도 2를 참조하면, 디블록킹 필터링은 인코딩 장치에서 수행될 수도 있고, 디코딩 장치에서 수행될 수도 있으며, 인코딩 장치와 디코딩 장치 내의 필터링부에서 수행될 수도 있다.
여기서는 설명의 편의를 위해, 필터링부에서 디블록킹 필터링에 관한 아래의 동작을 수행하는 것으로 설명한다.
도 24를 참조하면, 필터링부는 bS를 결정하기 위한 경계를 유도한다(S2410). bS를 결정하기 위한 경계는 디블록킹 필터링을 적용하는 단위 블록의 경계일 수 있다. 혹은 bS를 결정하기 위한 경계는 bS를 결정하는 단위 블록의 경계일 수 있다. 혹은 bS를 결정하기 위한 경계는 디블록킹 필터링을 적용하는 단위 블록의 경계이면서 bS를 결정하는 단위 블록의 경계일 수도 있다.
bS를 결정하기 위한 경계가 유도되면, 필터링부는 bS 설정 단위별로 bS를 설정한다(S2420). bS를 결정하기 위한 경계가 디블록킹 필터링을 적용하는 단위 블록의 경계인 경우에, bS를 결정하기 위한 경계이면서 bS 결정 단위 블록의 경계에 해당하는 에지마다 bS가 설정될 수 있다. bS를 결정하기 위한 경계가 bS를 결정하는 단위 블록의 경계인 경우에, bS를 결정하는 경계이면서 디블록킹 필터링을 적용하는 단위 블록의 경계에 해당하는 에지에 대하여 bS가 설정될 수 있다. bS를 결정하기 위한 경계가 디블록킹 필터링을 적용하는 단위 블록의 경계이면서 bS를 결정하는 단위 블록의 경계인 경우에, bS를 결정하는 경계에 대하여 bS가 설정될 수 있다.
bS를 설정하는 방법은 상술한 바와 같이, 5 가지의 bS 값 중 어느 하나의 값으로 해당 경계에 대한 bS를 유도할 수도 있고, 3가지 bS 값 중 어느 하나의 값으로 해당 경계에 대한 bS를 유도할 수도 있다. 그외, 복잡도를 낮춰 bS를 유도하는 방법들이 적용될 수 있다. bS를 유도/결정하는 구체적인 방법은 상술한 바와 같다.
필터링부는 bS를 기반으로 블록 경계에 디블록킹 필터링을 한다(S2430).
3 가지 bS 값(bS0, bS1, bS2, bS0<bS1<bS2) 중 어느 한 값으로 bS 값을 유도하는 경우에 필터링부는 유도된 bS 값을 기반으로 블록 경계에 디블록킹 필터링을 한다. 상술한 바와 같이, bS 값이 bS0인 블록 경계에는 디블록킹 필터링을 적용하지 않는다. 루마 성분(루마 샘플)의 경우에는 bS 값이bS0보다 크면 디블록킹 필터링을 적용할 것인지를 결정하고, 디블록킹 필터링을 적용하기로 결정한 경우에 강한 필터링 혹은 약한 필터링을 적용할 수 있다. 크로마 성분(크로마 샘플)의 경우에는 bS 값이 bS1보다 크면 디블록킹 필터링을 적용할 수 있다.
한편, 디블록킹 필터가 적용된 샘플들의 값은 범위 파라미터 tC에 의해 결정되는 범위 내에서 결정될 수 있다. 범위 파라미터 tC는 상술한 바와 같이, 양자화 파라미터 Q를 기반으로 결정될 수 있다. 이때, 양자화 파라미터 Q는 bS 값을 기반으로 결정될 수 있다.
도 24에서는 설명의 편의를 위해, bS 결정 단위 블록의 경계이면서 디블록킹 필터링 적용 단위 블록의 경계인 에지에 대하여 bS를 결정하는 것을 설명하였으나, 본 발명은 이에 한정되지 않으며, 앞서 설명한 대표 값을 결정하는 방법 등을 이용하여 bS를 결정할 수도 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.
Claims (19)
- 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 블록의 경계를 유도하는 단계;
경계 세기(Boundary Strength: bS, 이하 'bS'라 함)를 설정하는 단위 블록인 bS 블록별로 bS를 설정하는 단계; 및
상기 디블록킹 필터링 블록을 단위로 상기 bS에 기반하여 디블록킹 필터링을 적용하는 단계를 포함하고,
상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정하며,
상기 디블록킹 필터링 적용 단계에서는, 대상 경계에서의 bS 값에 기반하여 루마 성분에 대한 디블록킹 필터링의 적용 여부와 크로마 성분에 대한 디블록킹 필터링 적용 여부를 결정하는 것을 특징으로 하는 디블록킹 필터링 방법. - 제1항에 있어서, 상기 bS 설정 단계에서는,
상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며,
상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용이 가능한 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고,
상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정하며,
상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가지는 것을 특징으로 하는 디블록킹 필터링 방법. - 제2항에 있어서, bS가 bS1으로 설정되는 경우는,
상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우; 및
상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법. - 제3항에 있어서, 상기 디블록킹 필터링 적용 단계에서는,
상기 대상 경계에서bS 값이 bS0보다 크면, 상기 루마 성분에 디블록킹 필터링을 적용할 수 있는 것으로 결정하고,
상기 대상 경계에서bS 값이 bS1보다 크면, 상기 크로마 성분에 디블록킹 필터링을 적용할 수 있는 것으로 결정하는 것을 특징으로 하는 디블록킹 필터링 방법. - 제3항에 있어서, 상기 디블록킹 필터링 적용 단계에서는,
상기 대상 경계에서bS 값이 bS0이면 상기 루마 성분에 디블록킹 필터링을 적용하지 않는 것으로 결정하고,
상기 대상 경계에서bS 값이 bS0 또는 bS1이면 상기 크로마 성분에 디블록킹 필터링을 적용하지 않는 것으로 결정하는 것을 특징으로 하는 디블록킹 필터링 방법. - 제3항에 있어서, 상기 bS0의 값은 0이고, 상기 bS1의 값은 1이며, 상기 bS2의 값은 2인 것을 특징으로 하는 디블록킹 필터링 방법.
- 제2항에 있어서, 상기 디블록킹 필터링 단계에서는,
상기 대상 경계에서bS값이 bS1보다 작으면, 상기 루마 성분에 디블록킹 필터링을 적용하지 않는 것으로 결정하고,
상기 대상 경계에서bS 값이 bS2보다 작으면, 상기 크로마 성분에 디블록킹 필터링을 적용하지 않는 것으로 결정하는 것을 특징으로 하는 디블록킹 필터링 방법. - 제2항에 있어서, 상기 디블록킹 필터링 단계에서는,
상기 대상 경계에서bS 값이 bS1 또는 bS2이면 상기 루마 성분에 디블록킹 필터링을 적용할 수 있는 것으로 결정하고,
상기 대상 경계에서bS 값이 bS2이면 상기 루마 성분에 디블록킹 필터링을 적용할 수 있는 것으로 결정하는 것을 특징으로 하는 디블록킹 필터링 방법. - 제1항에 있어서, 디블록킹 필터가 적용되는 샘플 값은 범위 파라미터에 의해 결정되는 범위 내에 있으며,
상기 범위 파라미터는 양자화 파라미터를 기반으로 결정되는 것을 특징으로 하는 디블록킹 필터링 방법. - 제9항에 있어서, 상기 양자화 파라미터는 bS 값을 기반으로 결정되는 것을 특징으로 하는 디블록킹 필터링 방법.
- 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 블록의 경계를 유도하는 단계; 및
경계 세기(Boundary Strength: bS, 이하 'bS'라 함)를 설정하는 단위 블록인 bS 블록별로 bS를 설정하는 단계를 포함하고,
상기 bS 설정 단계에서는,
상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정하며,
상기 설정된 bS 값은 루마 성분에 대한 디블록킹 필터링의 적용 여부 및 크로마 성분에 대한 디블록킹 필터링 적용 여부를 결정하는 기준이 되는 것을 특징으로 하는 bS 결정 방법. - 제11항에 있어서, 상기 bS 설정 단계에서는,
상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며,
상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고,
상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정하며,
상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가지는 것을 특징으로 하는 bS 결정 방법. - 제12항에 있어서, bS가 bS1으로 설정되는 경우는,
상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우; 및
상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함하는 것을 특징으로 하는 bS 결정 방법. - 제13항에 있어서, 상기 루마 성분에 디블록킹 필터링이 적용될 수 있는 경우에는 대상 경계의bS 값이 bS0보다 큰 값으로 결정되는 것을 특징으로 하는 bS 결정 방법.
- 제12항에 있어서, 크로마 성분에 디블록킹 필터링이 적용될 수 있는 경우에는 대상 경계의 bS 값이 bS1보다 큰 값으로 결정되는 것을 특징으로 하는 bS 결정 방법.
- 제13항에 있어서, bS0의 값은 0이며, bS1의 값은 1이고, bS2의 값은 2인 것을 특징으로 하는 bS 결정 방법.
- 제12항에 있어서, 루마 성분에 디블록킹 필터링의 적용이 가능한 경우에는 대상 경계의 bS 값이 bS0보다 큰 값으로 결정되는 것을 특징으로 하는 bS 결정 방법.
- 제12항에 있어서,
크로마 성분에 디블록킹 필터링이 적용되는 경우에는 크로마 성분에 대한 대상 경계의 bS 값이 bS1보다 큰 값으로 결정되는 것을 특징으로 하는 bS 유도 방법. - 제12항에 있어서, 상기 설정된 bS 값에 의해서 양자화 파라미터가 결정되며, 상기 양자화 파라미터를 기반으로 디블록킹 필터링이 적용된 샘플 값의 범위가 결정되는 것을 특징으로 하는 bS 유도 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161563820P | 2011-11-27 | 2011-11-27 | |
US61/563,820 | 2011-11-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013077714A1 true WO2013077714A1 (ko) | 2013-05-30 |
Family
ID=48470088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2012/010120 WO2013077714A1 (ko) | 2011-11-27 | 2012-11-27 | 영상 정보 인코딩/디코딩 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2013077714A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3598760A1 (en) * | 2015-06-11 | 2020-01-22 | Intellectual Discovery Co., Ltd. | Method for encoding and decoding image using adaptive deblocking filtering, and apparatus therfor |
CN111903124A (zh) * | 2018-03-29 | 2020-11-06 | 索尼公司 | 图像处理装置和图像处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050047871A (ko) * | 2003-11-18 | 2005-05-23 | 삼성전자주식회사 | 동영상 디코딩에서 고속 필터링 방법과 이를 위한 장치 |
KR20080005210A (ko) * | 2005-03-18 | 2008-01-10 | 샤프 래보라토리스 오브 아메리카 인크. | 공간 계위 강화 계층 내의 인접 블록들 간의 블록 경계를특징화하는 방법 및 그 시스템 |
KR20090045035A (ko) * | 2007-11-01 | 2009-05-07 | 경희대학교 산학협력단 | 디블록킹 필터링을 포함하는 코덱 사이의 트랜스코딩 방법 및 장치 |
KR20100014581A (ko) * | 2007-03-27 | 2010-02-10 | 프리스케일 세미컨덕터, 인크. | 메모리 액세스 및 계산적 복잡성을 감소시키기 위한 간략화된 디블록 필터링 |
KR20110114498A (ko) * | 2010-04-13 | 2011-10-19 | 삼성전자주식회사 | 트리 구조 부호화 단위에 기반한 디블록킹 필터링을 수행하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치 |
-
2012
- 2012-11-27 WO PCT/KR2012/010120 patent/WO2013077714A1/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050047871A (ko) * | 2003-11-18 | 2005-05-23 | 삼성전자주식회사 | 동영상 디코딩에서 고속 필터링 방법과 이를 위한 장치 |
KR20080005210A (ko) * | 2005-03-18 | 2008-01-10 | 샤프 래보라토리스 오브 아메리카 인크. | 공간 계위 강화 계층 내의 인접 블록들 간의 블록 경계를특징화하는 방법 및 그 시스템 |
KR20100014581A (ko) * | 2007-03-27 | 2010-02-10 | 프리스케일 세미컨덕터, 인크. | 메모리 액세스 및 계산적 복잡성을 감소시키기 위한 간략화된 디블록 필터링 |
KR20090045035A (ko) * | 2007-11-01 | 2009-05-07 | 경희대학교 산학협력단 | 디블록킹 필터링을 포함하는 코덱 사이의 트랜스코딩 방법 및 장치 |
KR20110114498A (ko) * | 2010-04-13 | 2011-10-19 | 삼성전자주식회사 | 트리 구조 부호화 단위에 기반한 디블록킹 필터링을 수행하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3598760A1 (en) * | 2015-06-11 | 2020-01-22 | Intellectual Discovery Co., Ltd. | Method for encoding and decoding image using adaptive deblocking filtering, and apparatus therfor |
CN113473120A (zh) * | 2015-06-11 | 2021-10-01 | 英迪股份有限公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
US11849152B2 (en) | 2015-06-11 | 2023-12-19 | Dolby Laboratories Licensing Corporation | Method for encoding and decoding image using adaptive deblocking filtering, and apparatus therefor |
CN111903124A (zh) * | 2018-03-29 | 2020-11-06 | 索尼公司 | 图像处理装置和图像处理方法 |
CN111903124B (zh) * | 2018-03-29 | 2023-08-01 | 索尼公司 | 图像处理装置和图像处理方法 |
US12137219B2 (en) | 2018-03-29 | 2024-11-05 | Sony Group Corporation | Image processing apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950055B2 (ja) | 映像情報符号化/復号方法及び装置 | |
KR102047491B1 (ko) | 영상 정보 인코딩/디코딩 방법 및 장치 | |
WO2013077714A1 (ko) | 영상 정보 인코딩/디코딩 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12851872 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12851872 Country of ref document: EP Kind code of ref document: A1 |