JP5770185B2 - 映像符号化方法、映像復号化方法 - Google Patents

Description

本発明は、映像の符号化及び復号化に係り、さらに具体的には、イントラ予測されるデータ単位のサイズによって、イントラ予測モードを選択してイントラ予測を行う映像の符号化／復号化方法及びその装置に関する。

ＭＰＥＧ（moving picture experts group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を符号化するために、１つのピクチャをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能なあらゆる符号化モードで、それぞれのマクロブロックを符号化した後、マクロブロックの符号化に所要するビット率；及び原マクロブロックと、復号化されたマクロブロックとの歪曲程度；によって符号化モードを一つ選択してマクロブロックを符号化する。

高解像度または高画質ビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が高まっている。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された予測モードによって符号化されている。

既存のビデオコーデックによれば、ビデオは所定サイズのマクロブロックに基盤して制限された予測モードによって符号化されている。

本発明は、多様なサイズの階層的符号化単位に基づいて、多様な方向性を有するイントラ予測方法を適用する映像符号化／復号化方法及びその装置を提供する。

本発明によれば、ビデオのコーディング効率が向上する。

本発明の一実施形態による映像符号化装置のブロック図である。 本発明の一実施形態による映像復号化装置のブロック図である。 本発明の一実施形態による階層的符号化単位を図示する図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図である。 本発明の一実施形態によって、深度別符号化情報を図示する図である。 本発明の一実施形態による深度別符号化単位を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による符号化単位のサイズによるイントラ予測モードの個数を図示する表である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。 本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの他の例を説明するための図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。 本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。 本発明の一実施形態による双線形モードを説明するための参照図である。 本発明の一実施形態によって、現在符号化単位のイントラ予測モードの予測値を生成する過程を説明するための図である。 本発明の一実施形態によって、互いに異なるサイズを有する符号化単位間におけるイントラ予測モードのマッピング過程を説明するための参照図である。 本発明の一実施形態によって、互いに異なるサイズを有する符号化単位間におけるイントラ予測モードのマッピング過程を説明するための参照図である。 本発明の一実施形態によって、周辺符号化単位のイントラ予測モードを代表イントラ予測モードのうち一つにマッピングする過程を説明するための参照図である。 本発明の一実施形態による映像のイントラ予測装置を示したブロック図である。 本発明の一実施形態による映像符号化方法を示したフローチャートである。 本発明の一実施形態による映像復号化方法を示したフローチャートである。 本発明によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルと現在ピクセルとの関係を説明するための図である。 本発明によって、現在ピクセルの位置によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルの変化を説明するための図である。 本発明の他の実施形態によって、イントラ予測モード方向を決定する方法について説明するための図である。 本発明の他の実施形態によって、イントラ予測モード方向を決定する方法について説明するための図である。 本発明の一実施形態によって、イントラ予測に利用される現在ピクセルと周辺ピクセルとを図示した図である。

本発明の一実施形態による映像符号化方法は、現在ピクチャを、所定サイズの少なくとも１つのブロックに分割する段階と、符号化される現在ブロックのサイズによって、前記現在ブロックに適用されるイントラ予測モードを決定する段階と、前記決定されたイントラ予測モードによって、前記現在ブロックに対するイントラ予測を行う段階と、を含み、前記イントラ予測モードは、前記現在ブロック内部の各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に近い周辺ブロックのピクセルを利用して予測を行う予測モードを含むことを特徴とする。

本発明の一実施形態による映像復号化方法は、現在ピクチャを、所定サイズの少なくとも１つのブロックに分割する段階と、前記ビットストリームから復号化される現在ブロックに適用されたイントラ予測モード情報を抽出する段階と、前記抽出されたイントラ予測モードによって、前記現在ブロックに対するイントラ予測を行う段階と、を含み、前記イントラ予測モードは、前記現在ブロックの各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に近い周辺ブロックの画素を利用して予測を行う予測モードを含むことを特徴とする。

本発明の一実施形態による映像符号化装置は、符号化される現在ブロックのサイズによって、遂行されるイントラ予測モードを決定するイントラ予測モード決定部と、前記決定されたイントラ予測モードによって、符号化されるブロックに対するイントラ予測を行うイントラ予測遂行部を含み、前記イントラ予測モードは、前記現在ブロック内部の各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に近い周辺ブロックのピクセルを利用して予測を行う予測モードを含むことを特徴とする。

本発明の一実施形態による映像復号化装置は、ビットストリームから、復号化される現在ブロックに適用されたイントラ予測モード情報を抽出するエントロピ復号化部と、前記抽出されたイントラ予測モードによって、前記現在ブロックに対するイントラ予測を行うイントラ予測遂行部と、を含み、前記イントラ予測モードは、前記現在ブロック内部の各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に近い周辺ブロックのピクセルを利用して予測を行う予測モードを含むことを特徴とする。

本発明は、一実施形態による映像符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供する。

本発明は、一実施形態による映像復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、多様なサイズの符号化単位に対して、さあに多様な方向にイントラ予測符号化を遂行することによって、映像の圧縮効率を向上させることができる。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態による映像符号化装置及び映像復号化装置、映像符号化方法及び映像復号化方法について説明する。

本明細書で「符号化単位（coding unit）」は、エンコーダ側で符号化される映像データである符号化データ単位、及びデコーダ側で復号化される映像データである復号化データ単位である。また、「符号化深度（coded depth）」は、符号化単位が符号化された深度を意味する。また、ビデオは、静止映像及び動映像を含む。例示的な実施形態で、「単位（unit）」は、文脈によって、単位のサイズを指すこともある。

まず、図１ないし図１３を参照しつつ、本発明の一実施形態によるビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置について説明する。

図１は、本発明の一実施形態による映像符号化装置のブロック図である。図１を参照するに、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割する。現在ピクチャまたは現在スライスは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２、６４ｘ６４、１２８ｘ１２８、２５６ｘ２５６などのデータ単位であり、縦横にサイズが８より大きい２の二乗である正方形のデータ単位でありうる。分割された映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

本発明の一実施形態によれば、最大符号化単位及び深度（depth）を利用して符号化単位が表現される。最大符号化単位は、現在ピクチャの符号化単位のうちサイズが最も大きい符号化単位を示し、深度は、最大符号化単位から、符号化単位が空間的に分割された回数を示す。深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割され、最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは縮小するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。本発明の一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されていてもよい。

符号化深度決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化深度決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最も小さい符号化誤差が発生する深度を選択して符号化深度に決定する。従って、決定された符号化深度に対応する符号化単位の符号化された映像データが最終的に出力される。また、符号化深度に対応する符号化単位は、符号化された符号化単位と見なされる。

決定された符号化深度及び決定された符号化深度による符号化された映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも１つの符号化深度が決定されてもよい。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位に従って分割される。

従って、一実施形態による符号化深度決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内での同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定されてもよい。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は、５に設定されてもよい。

最大符号化単位の予測符号化及び変換は、最大符号化単位に従って遂行される。最大符号化単位による予測符号化及び変換はまた、最大深度以下の深度によるさらに深い深度の符号化単位に基づいて遂行されてもよい。変換は、直交変換方法または整数変換方法によって行われてもよい。

深度によって最大符号化単位が分割されるたびに、下位深度の符号化単位の個数が増加するために、予測符号化及び変換を含む符号化過程は、深度が深くなるにつれて発生するあらゆる下位深度の符号化単位について遂行される。説明の便宜のために、予測符号化及び変換については、最大符号化単位で、現在深度の符号化単位に基づいて説明する。

符号化装置１００は、映像データを符号化するために、多様なサイズまたは形態のデータ単位を選択することができる。映像データを符号化するために、予測符号化・変換・エントロピ符号化過程のような動作が遂行され、このとき、同じデータ単位があらゆる動作に利用されたり、あるいは各動作ごとに互いに異なるデータ単位が利用されてもよい。

例えば、符号化装置１００は、映像データを符号化するための符号化単位だけではなく、符号化単位内の映像データに係わる予測符号化のために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のために、予測符号化は、符号化深度の符号化単位、すなわち、それ以上下位深度に対応する符号化単位に分割されない符号化単位を基に遂行されてもよい。以下、それ以上分割されずに、予測の基礎になるデータ単位は、「予測単位」とする。予測単位が分割されたパーティションは、予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションのサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮであってもよい。一実施形態によるパーティションタイプは予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位内部に複数の予測単位があるならば、それぞれの予測単位について独立して符号化が遂行され、符号化誤差が最も小さい予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズのデータ単位に基づいて、映像データを変換することができる。

符号化単位の変換のために、符号化単位より小さいか、あるいはそれと同じサイズのデータ単位を基に、変換が行われる。例えば、変換のためのデータ単位は、イントラモードのデータ単位及びインターモードのデータ単位を含んでもよい。

以下、変換の基礎になる処理単位を「変換単位」とする。変換単位についても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位が、現在符号化単位とサイズが同じサイズ２Ｎｘ２Ｎの変換単位であるならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になり、全てで４＾１個に分割されたサイズＮｘＮの変換単位であるならば、変換深度１に、現在符号化単位の高さ及び幅がそれぞれ四分され、全てで４＾２個に分割されたサイズＮ／２ｘＮ／２の変換単位であるならば、変換深度２に設定されてもよい。例えば、変換階層的変換深度によって、上位変換深度の変換単位が、４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定されてもよい。

符号化単位と同様に、符号化単位内の変換単位も、再帰的にさらに小さいサイズの領域に分割され、変換単位は、領域単位で独立して決定される。従って、符号化単位の残存データ（residual data）が、変換深度によって、ツリー構造による変換単位に従って分割される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位深度決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、符号化深度の符号化予測単位を予測単位パーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定することができる。

本発明の一実施形態によって、最大符号化単位のツリー構造による符号化単位とパーティションとを決定する方法は、図３ないし１２を参照しつつ後述する。

符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率−歪曲最適化技法（rate-distortion optimization）を利用して、深度別符号化単位の符号化誤差を測定する。

映像データ符号化部１３０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び符号化深度による符号化モード情報を、ビットストリームに出力する。‘
符号化された映像データは、映像の残存データを符号化して獲得される。

符号化深度による符号化モード情報は、符号化深度、予測単位のパーティション類型に係わる情報、予測モード情報及び変換単位サイズ情報を含んでもよい。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義されてもよい。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用してた符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義されもする。

現在深度が符号化深度ではないならば、符号化は、下位深度の符号化単位に分割された符号化単位について行われる。現在深度の１つの符号化単位には、少なくとも１つの下位深度の符号化単位が存在するために、符号化は、下位深度の各符号化単位について反復的に行われ、同じ深度の符号化単位について再帰的に符号化が遂行される。

１つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも１つの符号化モードについての情報が決定されねばならないなので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なってもよいので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。代案としては、最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、符号化単位別符号化情報と、予測単位別符号化情報とに分類される。符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ＳＰＳ（sequence parameter set）またはビットストリームのヘッダに挿入されてもよい。

映像符号化装置１００で、下位深度の符号化単位は、上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度の符号化単位のサイズは、ＮｘＮである。従って、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、映像符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式で符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を従来のマクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。従って、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する。しかし、本発明の一実施形態による映像符号化装置１００は、映像のサイズを考慮して、符号化単位の最大サイズを増加させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。図２を参照するに、本発明の一実施形態による映像復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。一実施形態による映像復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及び映像符号化装置１００を参照して前述した通りである。

受信部２１０は、ビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、各最大符号化単位別に、ツリー構造の符号化単位に係わる符号化された映像データを抽出し、抽出された映像データを獲得し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、受信された現在ピクチャの符号化単位の最大サイズに係わる情報を、現在ピクチャに係わるヘッダまたはＳＰＳから抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、ビットストリームをパージングし、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。言い換えれば、ビットストリームの映像データは、最大符号化単位に分割され、映像データ復号化部２３０は、各最大符号化単位の映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態による映像符号化装置１００と共に符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させるものであり、決定された符号化深度及び符号化モードについての情報である。従って、映像復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

符号化深度及び符号化モードについての符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同じ符号化深度及び符号化モードについての情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、符号化情報抽出部で抽出された最大符号化単位別符号化深度及び符号化モード情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれたツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び逆変換過程を含んでもよい。逆変換過程は、逆直交変換または逆整数変換の方法によって遂行される。映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位に従って逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用する現在最大符号化単位の少なくとも１つの符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を予測単位の分割タイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同じ符号化モードで復号化する１つのデータ単位と見なされる。

映像復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用されてもよい。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データが復号化される。また、符号化単位の最大サイズは、解像度及び映像データの量を考慮して決定される。

従って、高い解像度の映像、またはデータ量が過度に多くの映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図３ないし図１３を参照しつつ、本発明の一実施形態によって、ツリー構造の符号化単位、予測単位及び変換単位を決定する方法について説明する。

図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照するに、符号化単位の例は、符号化単位のサイズは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０ｘ１０８０、最大符号化単位のサイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０ｘ１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。また、ビデオデータ３３０については、解像度は３５２ｘ２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示している。

解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるから、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるから、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、さらに小さい符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示している。

一実施形態による映像符号化部４００は、前述のビデオ符号化装置１００の符号化深度決定部１２０で、映像データを符号化するのに行う作業を含んで行う。言い換えれば、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用して、インター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて残存値が生成され、生成された残存値は、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、さらに残存値として復元され、復元された残存値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

本発明の一実施形態による映像符号化装置１００に適用するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて、映像符号化過程を処理する。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを考慮して、変換単位のサイズを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を示している。

パージング部５１０は、ビットストリーム５０５から符号化された映像データ、及び復号化のために必要な符号化情報をパージングする。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆量子化されたデータは、逆変換部５４０を経て、空間領域の映像データとして復元される。

イントラ予測部５５０は、空間領域の映像データについて、イントラモードで符号化単位に係わるイントラ予測を行い、動き補償部５６０は、参照ピクチャ５８５を利用して、インターモードで符号化単位に係わる動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域の映像データは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されて出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理された映像データは、参照フレーム５８５として出力される。

本発明の一実施形態による映像復号化装置２００に適用するために、映像復号化装置５００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０は、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて動作を行う。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードに基づいて動作を行い、逆変換部５４０は、符号化単位ごとに、変換単位のサイズに基づいて動作を行う。

図６は、本発明の一実施形態による深度別符号化単位及び予測パーティションを図示している。

一実施形態による映像符号化装置１００及び一実施形態による映像復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定される、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位のサイズが決定されもする。

本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測基盤になる予測単位及びパーティションが図示されている。

符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の最大符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位である。符号化単位６５０の予測単位は、サイズ４ｘ４のパーティションとしてのみ設定される。

一実施形態による映像符号化装置の符号化深度決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個が含むデータについて、深度２の符号化単位は、４個が必要である。従って、同じデータの符号化の結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用して、それぞれ符号化されねばならない。

深度のうち現在深度によって符号化を行うために、符号化単位の階層構造６００の横軸に沿って、現在深度の符号化単位の予測単位ごとに符号化を行い、現在深度の最も小さい符号化誤差が選択されもする。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなるにつれて、それぞれの深度ごとに符号化を行い、深度別最小符号化誤差を比較して最小符号化誤差が検索されもする。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図７は、本発明の一実施形態による、符号化単位７１０及び変換単位７２０の関係を図示している。

映像符号化装置１００及び映像復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位に映像を分割し、符号化したり復号化する。符号化過程において、変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、符号化単位７１０のサイズが６４ｘ６４サイズであるとき、３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択される。

図８は、本発明の一実施形態によって、深度別符号化情報を図示している。

本発明の一実施形態による映像符号化装置１００の符号化情報出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の動き予測のためのデータ単位であり、現在符号化単位の予測単位が、分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち、いずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの動き予測モードを示す。例えば、予測モードについての情報８１０を介して、分割タイプについての情報８００が指すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、動き予測が行われるか否かが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つであってもよい。

本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出して、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化いかんを示すために、分割情報が利用されてもよい。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的比率で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述のように、パーティションタイプは、これに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１個の２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個のＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われねばならない。サイズ２Ｎ＿０ｘＮ＿０、サイズＮ＿０ｘＮ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについて行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０，Ｎ＿０ｘ２Ｎ＿０及びＮ＿０ｘＮ＿０のパーティションタイプ９１２，９１４，９１６，９１８による符号化誤差が比較され、パーティションタイプのうち最も小さい符号化誤差が決定される。もしパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さいならば、予測単位９１０は、それ以上下位深度に分割されない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更して分割しつつ（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度による分割動作は、深度ｄ−１になるまで行われ、分割情報は、０からｄ−２までの深度に対して符号化することができる。すなわち、動作（９７０）で、深度ｄ−２に対応する符号化単位が分割され、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプにおいて、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復して予測符号化を介した符号化が行われてこそ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さくとしても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定されもする。また、最大深度がｄであり、ｄ−１の最下位深度を有する最小符号化単位９８０は、それ以上下位深度に分割されないために、符号化単位９８０について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる最小単位であってもよい。一実施形態による最小単位は、最小符号化単位９８０を４分割して獲得された正方形のデータ単位であってもよい。このような反復的符号化過程を介して、ビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最も小さい符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードを、符号化深度の符号化モードに設定することができる。

かような方法で、深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択され、符号化深度に決定されてもよい。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として、符号化されて伝送されてもよい。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないなので、符号化深度の分割情報のみが０に設定され、符号化深度を除外した深度別分割情報は、１に設定される。

映像復号化装置２００の符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９００を復号化するのに利用することができる。映像復号化装置２００は、深度別分割情報を利用して、分割情報が０である深度を符号化深度に決定し、当該深度に係わる符号化モードについての情報を復号化に利用することができる。

図１０ないし図１２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位１０００に対して、一実施形態による映像符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位１０００の深度が０であるとするならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０３８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、符号化単位１０５２の映像データについては、符号化単位１０５２に比べて小さいサイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０における当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、映像符号化装置１００及び映像復号化装置２００は、同じ符号化単位に係わる予測及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

単位ごとに再帰的に符号化が行われて最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成されもする。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下表１は、ビデオ符号化装置１００及びビデオ復号化装置２００で設定できる一例を示している。

ビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されているか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるから、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義されてもよい。分割情報によって、１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種のサイズ、インターモードで二種のサイズに設定されてもよい。すなわち、変換単位分割情報が０であるならば、変換単位のサイズが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位のサイズはＮｘＮ、非対称型パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定されてもよい。

一実施形態によるツリー構造による符号化単位等の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位間で、それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度等の分布が類推される。

従って、この場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定されてもよい。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定されてもよい。

パーティションタイプ情報が、非対称型パーティションタイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定されてもよい。

図１３を参照するに、変換単位分割情報（ＴＵ size flag）は、０または１を有するが、変換単位分割情報（ＴＵ size flag）は、１ビットに限定されるものではなく、変換単位分割情報（ＴＵ size flag）が０から増加するにつれて、変換単位は、階層的に分割されてツリー構造を有することができる。

この場合、実際に利用される変換単位のサイズは、変換単位の最大サイズ及び最小サイズと共に、変換単位の変換単位分割情報（ＴＵ size flag）を利用して表現されてもよい。一実施形態によれば、符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報（ＴＵ size flag）を符号化することができる。最大変換単位サイズ情報、最小変換単位サイズ情報、最大変換単位分割情報（ＴＵ size flag）を符号化した結果は、ＳＰＳに挿入されてもよい。一実施形態によれば、復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報、最大変換単位分割情報（ＴＵ size flag）を利用して、ビデオを復号化することができる。

以下、図４の本発明の一実施形態による映像符号化装置１００のイントラ予測部４１０及び図５の映像復号化装置２００のイントラ予測部５５０で行われるイントラ予測について具体的に説明する。以下の説明で、符号化単位は、映像の符号化段階で、現在符号化されるブロックを指す用語であり、復号化単位は、映像の復号化段階で、現在復号化されるブロックを指す用語である。符号化単位及び復号化単位という用語は、映像の符号化段階及び復号化段階のうちいずれの段階で指すかという違いがあるのみにであり、符号化段階での符号化単位は、復号化段階での復号化単位と呼ばれる。用語の統一性のために、特別の場合を除いては、符号化段階及び復号化段階で、同一に符号化単位と統一して呼ぶことにする。また、本発明の一実施形態によるイントラ予測方法及びその装置は、一般的な映像コーデックでのイントラ予測にも適用可能であるということは、本発明が属する技術分野で当業者であるならば、明細書を介して理解することができるであろう。

図１４は、本発明の一実施形態による符号化単位のサイズによるイントラ予測モードの個数を図示している。

本発明の一実施形態によれば、符号化単位（復号化段階では、復号化単位）のサイズによって、符号化単位に適用するイントラ予測モードの個数を多様に設定することができる。一例として図１４を参照するに、イントラ予測される符号化単位のサイズをＮｘＮであるとするとき、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４，１２８ｘ１２８サイズの符号化単位それぞれに対して実際行われるイントラ予測モードの個数は、それぞれ５，９，９，１７，３３，５，５個（Example ２の場合）に設定される。このように、符号化単位のサイズによって、実際行われるイントラ予測モードの個数を差別化する理由は、符号化単位のサイズによって、予測モード情報を符号化するためのオーバーヘッドが異なるためである。言い換えれば、小さいサイズの符号化単位の場合、全体映像で占める部分が小さいにもかかわらず、かような小さい符号化単位の予測モードなどの付加情報を伝送するためのオーバーヘッドが増加しうる。従って、小さい符号化単位を多すぎる予測モードで符号化する場合、ビット量が増加して圧縮効率が低下しうる。また、大きいサイズを有する符号化単位、例えば、６４ｘ６４以上のサイズを有する符号化単位は、一般的に、映像の平坦な領域に係わる符号化単位として選択される場合が多いために、かような平坦な領域を符号化するのに多く選択される大きいサイズの符号化単位を、多すぎる予測モードで符号化することも、圧縮効率側面で非効率的である。

従って、図１４で、符号化単位が、Ｎ１ｘＮ１（２≦Ｎ１≦８、Ｎ１は整数）、Ｎ２ｘＮ２（１６≦Ｎ２≦３２、Ｎ２は整数）、Ｎ３ｘＮ３（６４≦Ｎ３、Ｎ３は整数）の少なくとも三種のサイズに大別され、Ｎ１ｘＮ１サイズを有する符号化単位ごとに行われるイントラ予測モードの個数をＡ１（Ａ１は、正の整数）、Ｎ２ｘＮ２サイズを有する符号化単位ごとに行われるイントラ予測モードの個数をＡ２（Ａ２は、正の整数）、Ｎ３ｘＮ３サイズを有する符号化単位ごとに行われるイントラ予測モードの個数をＡ３（Ａ３は、正の整数）であるとするとき、Ａ３≦Ａ１≦Ａ２の関係を満足するように、各符号化単位のサイズによって行われるイントラ予測モードの個数を設定することが望ましい。すなわち、現在ピクチャが、小さいサイズの符号化単位、中間サイズの符号化単位、大きいサイズの符号化単位に大別されるとするとき、中間サイズの符号化単位が、最も多くの数の予測モードを有し、小さいサイズの符号化単位及び大きいサイズの符号化単位は、相対的にさらに少ない数の予測モードを有するように設定することが望ましい。ただし、これに限定されるものではなく、小さいサイズ及び大きいサイズの符号化単位についても、さらに多い数の予測モードを有するように設定することも可能である。図１４に図示された各符号化単位のサイズによる予測モードの個数は、一実施形態に過ぎず、各符号化単位のサイズによる予測モードの個数は変更可能である。

図１５Ａは、本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例について説明するための図である。

図１４及び図１５Ａを参照するに、一例として、４×４サイズを有する符号化単位のイントラ予測時に、垂直（vertical）モード（モード０）、水平（horizontal）モード（モード１）、ＤＣ（direct current）モード（モード２）、対角線左側（diagonal down-left）モード（モード３）、対角線右側（diagonal down-right）モード（モード４）、垂直右側（vertical-right）モード（モード５）、水平下側（horizontal-down）モード（モード６）、垂直左側（vertical-left）モード（モード７）及び水平上側（horizontal-up）モード（モード８）を有することができる。

図１５Ｂは、図１５Ａのイントラ予測モードの方向を示す図 である。図１５Ｂで、矢印の先にある数字は、その方向で予測を行う場合の当該モード値を示す。ここで、モード２は、方向性のないＤＣ予測モードであって、図示されていない。

図１５Ｃは、図１５Ａに図示された符号化単位に係わるイントラ予測方法を図示した図である。図１５Ｃを参照するに、符号化単位のサイズによって決定された利用可能なイントラ予測モードによって、現在符号化単位の周辺画素であるＡ−Ｍを利用して、予測符号化単位を生成する。例えば、図１５Ａのモード０、すなわち、垂直モードによって、４×４サイズの現在符号化単位を予測符号化する動作について説明する。まず、４×４サイズの現在符号化単位の上側に隣接した画素ＡないしＤの画素値を、４×４現在符号化単位の画素値に予測する。すなわち、画素Ａの値を４×４現在符号化単位の最初の列に含まれた４個の画素値に、画素Ｂの値を４×４現在符号化単位の２列目に含まれた４個の画素値に、画素Ｃの値を４×４現在符号化単位の３列目に含まれた４個の画素値に、画素Ｄの値を４×４現在符号化単位の４列目に含まれた４個の画素値にそれぞれ予測する。次に、前記画素ＡないしＤを利用して予測された４×４現在符号化単位と、本来の４×４現在符号化単位に含まれた画素の実際値との誤差値を求めた後、その誤差値を符号化する。

図１６は、本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの他の例について説明するための図である。

図１４及び図１６を参照するに、一例として、２×２サイズを有する符号化単位のイントラ予測時に、垂直（vertical）モード、水平（horizontal）モード、ＤＣ（direct current）モード、プレーン（plane）モード及び対角線右側（diagonal down-right）モードの全てで５個のモードが存在しうる。

一方、図１４に図示されているように、３２ｘ３２サイズを有する符号化単位が、３３個のイントラ予測モードを有するとするとき、３３個のイントラ予測モードの方向を設定する必要がある。本発明の一実施形態では、図１５Ａないし図１５Ｃ及び図１６に図示されているようなイントラ予測モード以外に、多様な方向のイントラ予測モードを設定するために、符号化単位内のピクセルを中心に、参照ピクセルとして利用される周辺ピクセルを選択するための予測方向を、ｄｘ，ｄｙパラメータを利用して設定する。一例として、３３個の予測モードを、それぞれmode Ｎ（Ｎは、０から３２までの整数）と定義するとき、mode ０は、垂直モード、mode １は、水平モード、mode ２は、ＤＣモード、mode ３は、プレーンモードに設定し、mode ４〜mode ３１それぞれは、次の表２に表記されているような（１，−１）、（１，１）、（１，２）、（２，１）、（１，−２）、（２，１）、（１，−２）、（２，−１）、（２，−１１）、（５，−７）、（１０，−７）、（１１，３）、（４，３）、（１，１１）、（１，−１）、（１２，−３）、（１，−１１）、（１，−７）、（３，−１０）、（５，−６）、（７，−６）、（７，−４）、（１１，１）、（６，１）、（８，３）、（５，３）、（５，７）、（２，７）、（５，−７）、（４，−３）のうち１つの値で表現される（ｄｘ，ｄｙ）を利用し、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有する予測モードと定義することができる。

最後のmode ３２は、図１８を利用して後述するように、双線形（bilinear）補間を利用する双線形モードに設定される。

図１７Ａないし図１７Ｃは、本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。

表２を参照して説明した通り、本発明の一実施形態によるイントラ予測モードは、複数個の（ｄｘ，ｄｙ）パラメータを利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の多様な方向性を有することができる。

図１７Ａを参照するに、現在符号化単位内部の予測しようとする現在ピクセルＰを中心に、表２に表記されたモード別（ｄｘ，ｄｙ）の値によって決まるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１５０上に位置した周辺ピクセルＡ，Ｂを、現在ピクセルＰの予測子として利用することができる。このとき、予測子として利用される周辺ピクセルは、以前に符号化されて復元された、現在符号化単位の上側、左側、右上側及び左下側の以前符号化単位のピクセルであることが望ましい。また、延長線１５０が、整数位置の周辺ピクセルではない整数位置周辺ピクセルの間を通過する場合、延長線１５０に近い周辺ピクセルのうち、現在ピクセルＰにさらに近い周辺ピクセルを予測子として利用したり、または延長線１５０に近い周辺ピクセルを利用して予測を行うことができる。例えば、延長線１５０に近い周辺ピクセルの平均値、または延長線１５０の交差点間の距離を考慮した加重平均値を、現在ピクセルＰの予測子として利用することができる。また、図１７Ａに図示されているように、周辺ピクセルＡ，Ｂのように、予測方向によって利用可能なｘ軸上の周辺ピクセルと、ｙ軸上の周辺ピクセルとのうち、いずれのピクセルを利用するかということは、予測単位別にシグナリングされる。

図１７Ｂ及び図１７Ｃは、図１７Ａの延長線１５０が、整数位置の周辺ピクセルではない整数位置周辺ピクセル間を通過する場合、予測子を生成する過程について説明するための参照図である。

図１７Ｂを参照するに、モード別（ｄｘ，ｄｙ）の値によって決まるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１５０が、整数ピクセル位置の周辺ピクセルＡ１５１とＢ１５２との間を通過する場合、前述のように、延長線１５０に近い周辺ピクセルＡ１５１及びＢ１５２と延長線１５０の交差点との距離を考慮した加重平均値を、現在ピクセルＰの予測子として利用することができる。例えば、ｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１５０の交差点と周辺ピクセルＡ１５１との距離をｆ、交差点と周辺ピクセルＢ１５２との距離をｇであるとするならば、現在ピクセルＰの予測子は、（Ａ＊ｇ＋Ｂ＊ｆ）／（ｆ＋ｇ）のように獲得することができる。ここで、ｆ及びｇは、整数で正規化された距離であることが望ましい。実際のソフトウェアやハードウェアで具現するとき、現在ピクセルＰの予測子は、（ｇ＊Ａ＋ｆ＊Ｂ＋２）＞＞２のように、シフト演算を介して具現されてもよい。図１７Ｂに図示されているように、延長線１５０が、整数ピクセル位置の周辺ピクセルＡ１５１と、周辺ピクセルＢ１５２との間を４等分した地点のうち、周辺ピクセルＡ１５１と近い１／４位置を通過する場合、現在ピクセルＰの予測子は、（３＊Ａ＋Ｂ）／４のように獲得される。かような演算は、（３＊Ａ＋Ｂ＋２）＞＞２のように、四捨五入過程を考慮したシフト演算を介して具現されもする。

一方、モード別（ｄｘ，ｄｙ）の値によって決まるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１５０が、整数ピクセル位置の周辺ピクセルＡ１５１とＢ１５２との間を通過する場合、周辺ピクセルＡ１５１及び周辺ピクセルＢ１５２間の区間を所定個数に分割し、各分割された領域別に、周辺ピクセルＡ１５１及び周辺ピクセルＢ１５２と交差点との距離を考慮した加重平均値を予測値として利用することができる。例えば、図１７Ｃを参照するに、周辺ピクセルＡ１５１と周辺ピクセルＢ１５２との間の区間を、図示されているように、５個の区間Ｐ_１ないしＰ_５に分離し、各区間別に、周辺ピクセルＡ１５１及び周辺ピクセルＢ１５２と交差地点との距離を考慮した代表加重平均値を決定し、かような代表加重平均値を、現在ピクセルＰの予測子として利用することができる。具体的には、延長線１５０が区間Ｐ_１を通過する場合、現在ピクセルＰの予測子として周辺ピクセルＡの値を決定することができる。延長線１５０が、区間Ｐ_２を通過する場合、区間Ｐ_２の中間地点と、周辺ピクセルＡ及び周辺ピクセルＢとの距離を考慮した加重平均値である（３＊Ａ＋１＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１５０が、区間Ｐ_３を通過する場合、区間Ｐ_３の中間地点と、周辺ピクセルＡ及び周辺ピクセルＢとの距離を考慮した加重平均値である（２＊Ａ＋２＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１５０が、区間Ｐ_４を通過する場合、区間Ｐ_４の中間地点と、周辺ピクセルＡ及び周辺ピクセルＢとの距離を考慮した加重平均値である（１＊Ａ＋３＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１５０が、区間Ｐ_５を通過する場合、現在ピクセルＰの予測子として、周辺ピクセルＢの値を決定することができる。

また、図示されているように、延長線１５０と出合う上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの２個の周辺ピクセルが存在する場合、上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの平均値を、現在ピクセルＰの予測子として利用したり、あるいはｄｘ＊ｄｙ値が正数である場合には、上側の周辺ピクセルＡを利用してｄｘ＊ｄｙ値が、負数である場合には、左側の周辺ピクセルＢを利用することができる。

表２に表記されたような多様な方向性を有するイントラ予測モードは、符号化端と復号化端とであらかじめ設定され、各符号化単位ごとに設定されたイントラ予測モードの当該インデックスのみを伝送させることが望ましい。

図２９は、本発明の実施形態によって、現在符号化単位２９００と、イントラ予測に利用される周辺ピクセル２９１０，２９２０とを図示した図である。図２９を参照するに、現在符号化単位２９００の上側の周辺ピクセル２９１０及び左側の周辺ピクセル２９２０は、現在符号化単位２９００のイントラ予測のために利用される。図２９で、隣接ピクセル２９２０の下側部分のように、まだ符号化されていない周辺ブロックに含まれた左下側ピクセルも、現在符号化単位２９００のイントラ予測に利用される。現在符号化単位２９００のイントラ予測に利用される周辺ピクセル２９１０，２９２０の個数は、これに限定されるものではなく、現在符号化単位２９００に適用されるイントラ予測モードの方向を考慮して変更可能である。従って、本発明の実施形態によれば、現在符号化単位のイントラ予測に利用される周辺ピクセルは、左側及び上側の周辺ピクセルだけではなく、左下側及び右上側の周辺ピクセルを含んでもよい。

図１８は、本発明の一実施形態による双線形モードについて説明するための参照図である。図１８を参照するに、双線形（bilinear）モードは、現在符号化単位内部の予測しようとする現在ピクセルＰを中心に、現在ピクセルＰのその上下左右境界のピクセル値、現在ピクセルＰの上下左右境界までの距離を考慮した幾何平均値を計算し、その結果値を現在ピクセルＰの予測子として利用するのである。すなわち、双線形モードでは、現在ピクセルＰの予測子として、現在ピクセルＰの上下左右境界に位置したピクセルＡ １６１、ピクセルＢ １６２、ピクセルＤ １６６及びピクセルＥ １６７と、現在ピクセルＰの上下左右境界までの距離の幾何平均値とを利用する。このとき、双線形モードも、イントラ予測モードの一つであるから、予測時の参照ピクセルとして、以前に符号化された後で復元された上側と左側との周辺ピクセルを利用せねばならない。従って、ピクセルＡ １６１及びピクセルＢ １６２として、現在符号化単位内部の当該ピクセル値をそのまま利用するのではなく、上側及び左側の周辺ピクセルを利用して生成された仮想のピクセル値を利用する。

一例として、まず、次の式（１）のように、現在符号化単位に隣接した上側最左側の周辺ピクセル（RightUpPixel）１６４及び左側最下側の周辺ピクセル（LeftDownPixel）１６５の平均値を利用して、現在符号化単位の右側最下端位置の仮想のピクセルＣ １６３を計算することができる。

Ｃ＝０．５（LeftDownPixel＋RightUpPixel） （１）
式（１）は、シフト演算を利用して、次の数式Ｃ＝０．５（LeftDownPixel＋RightUpPixel＋１）＞＞１のように計算されてもよい。

次に、現在ピクセルＰの左側境界までの距離Ｗ１、及び右側境界までの距離Ｗ２を考慮し、現在ピクセルＰを下端に延長したとき、最下側境界線に位置する仮想のピクセルＡ １６１の値は、距離Ｗ１，Ｗ２を考慮して、左側最下側の周辺ピクセル（LeftDownPixel）１６５とピクセルＣとの平均値を利用して設定されてもよい。一例として、ピクセルＡ １６１の値は、次の式（２）のうちいずれか一つとして計算される。

Ａ＝（Ｃ＊Ｗ１＋LeftDownPixel＊Ｗ２）／（Ｗ１＋Ｗ２）；
Ａ＝（Ｃ＊Ｗ１＋LeftDownPixel＊Ｗ２＋（（Ｗ１＋Ｗ２）／２））／（Ｗ１＋Ｗ２） （２）
式（２）で、Ｗ１＋Ｗ２が２＾ｎのように、２の指数乗の値を有する場合、Ａ＝（Ｃ＊Ｗ１＋LeftDownPixel＊Ｗ２＋（（Ｗ１＋Ｗ２）／２））／（Ｗ１＋Ｗ２）は、Ａ＝（Ｃ＊Ｗ１＋LeftDownPixel＊Ｗ２＋２＾（ｎ−１））＞＞ｎのように、シフト演算を介して除算演算なしに計算可能である。

同様に、現在ピクセルＰの上側境界までの距離ｈ１、及び下側境界までの距離ｈ２を考慮し、現在ピクセルＰを右側に延長したとき、最右側境界線に位置する仮想のピクセルＢ １６２の値は、距離ｈ１，ｈ２を考慮し、上側最右側の周辺ピクセル（RightUpPixel）１６４とピクセルＣとの平均値を利用して設定可能である。一例として、ピクセルＢ １６２の値は、次の式（３）のうちいずれか一つのように計算されてもよい。

Ｂ＝（Ｃ＊ｈ１＋RightUpPixel＊ｈ２）／（ｈ１＋ｈ２）；
Ｂ＝（Ｃ＊ｈ１＋RightUpPixel＊ｈ２＋（（ｈ１＋ｈ２）／２））／（ｈ１＋ｈ２） （３）
式（３）で、ｈ１＋ｈ２が２＾ｍのように、２の指数乗の値を有する場合、Ｂ＝（Ｃ＊ｈ１＋RightUpPixel＊ｈ２＋（（ｈ１＋ｈ２）／２））／（ｈ１＋ｈ２）は、Ｂ＝（Ｃ＊ｈ１＋RightUpPixel＊ｈ２＋２＾（ｍ−１））＞＞ｍのように、シフト演算を介して、除算演算なしに計算可能である。

式（１）ないし（３）を利用して、現在ピクセルＰ １６０の下側境界線上の仮想のピクセルＡ １６１、及び右側境界線上の仮想のピクセルＢ １６２の値が決定されれば、Ａ＋Ｂ＋Ｄ＋Ｅの平均値を利用して、現在ピクセルＰ １６０の予測子を決定することができる。具体的には、現在ピクセルＰ １６０の予測子として、前述のＡ＋Ｂ＋Ｄ＋Ｅの平均値を利用したり、あるいは現在ピクセルＰ １６０と、仮想のピクセルＡ １６１，仮想のピクセルＢ １６２，ピクセルＤ １６６及びピクセルＥ １６７との距離を考慮した加重平均値を利用することができる。例えば、図１８で、ブロックサイズが１６ｘ１６であるとするとき、加重平均値を利用する場合、現在ピクセルＰの予測子は、（ｈ１＊Ａ＋ｈ２＊Ｄ＋Ｗ１＊Ｂ＋Ｗ２＊Ｅ＋１６）＞＞５のように獲得される。このように、双線形予測過程は、現在符号化単位内部のあらゆるピクセルに対して適用され、双線形予測モードによる現在符号化単位の予測符号化単位が生成される。

本発明の一実施形態によれば、符号化単位のサイズによって多様に設定されたイントラ予測モードによって、予測符号化を行うことによって、映像の特性によってさらに効率的な圧縮を可能にする。

本発明の一実施形態によれば、符号化単位のサイズによって、従来コーデックで利用されるイントラ予測モードの個数に比べて、多くの個数のイントラ予測モードを利用するために、従来コーデックと互換性が問題になることがある。従来技術によれば、図１３Ａ及び図１３Ｂに図示されているように、最大９個のイントラ予測モードが利用可能である。従って、本発明の一実施形態によって選択された多様な方向のイントラ予測モードを、さらに少ない個数のイントラ予測モードのうち一つとマッピングさせる必要がある。すなわち、現在符号化単位の利用可能なイントラ予測モードの個数をＮ１（Ｎ１は整数）とするとき、現在符号化単位の利用可能なイントラ予測モードと異なるＮ２（Ｎ２は整数）個のイントラ予測モードを有する所定サイズの符号化単位の互換のために、現在符号化単位のイントラ予測モードを、Ｎ２個のイントラ予測モードのうち最も類似した方向のイントラ予測モードにマッピングすることができる。例えば、現在符号化単位について、前述の表２のように、全てで３３個のイントラ予測モードが利用可能であり、現在符号化単位に最終的に適用されたイントラ予測モードは、mode １４、すなわち、（ｄｘ，ｄｙ）＝（４，３）である場合であり、ｔａｎ^−１（３／４）≒３６．８７（°）の方向性を有すると仮定する。この場合、現在ブロックに適用されたイントラ予測モードを、図１５Ａ及び図１５Ｂに図示されているような９個のイントラ予測モードのうち一つとマッチングさせるために、３６．８７（°）の方向性と最も類似した方向を有するmode ４（down_right）モードが選択される。すなわち、表２のmode ４は、図１５Ａに図示されたmode ４にマッピングされてもよい。同様に、現在符号化単位に適用されたイントラ予測モードが、表２の全てで３３個の利用可能なイントラ予測モードにおいて、mode １５、すなわち、（ｄｘ，ｄｙ）＝（１，１１）である場合に選択された場合、現在符号化単位に適用されたイントラ予測モードの方向性は、ｔａｎ^−１（１１）≒８４．８０（°）を有するので、かような方向性と最も類似した図１３Ｂのmode ０（vertical）モードにマッピング可能である。

一方、イントラ予測を介して符号化された符号化単位を復号化するためには、現在符号化単位がいかなるイントラ予測モードを介して符号化されたかに係わる予測モード情報が必要である。従って、映像の符号化時に、現在符号化単位のイントラ予測モードについての情報をビットストリームに付加するが、各符号化単位ごとに、イントラ予測モード情報をそのままビットストリームに付加する場合、オーバーヘッドが増加し、圧縮効率が低くなることがある。従って、現在符号化単位の符号化の結果として決定された現在符号化単位のイントラ予測モードについての情報は、そのまま伝送されるものではなく、周辺符号化単位から予測されたイントラ予測モードの予測値と、実際イントラ予測モードとの差値のみ伝送される。

本発明の一実施形態によって選択された多様な方向のイントラ予測モードを利用する場合、符号化単位のサイズによって利用可能なイントラ予測モードの個数に違いが出ることがある。従って、現在符号化単位のイントラ予測モードを予測するためには、まず、周辺符号化単位のイントラ予測モードを代表イントラ予測モードにマッピングさせる必要がある。ここで、代表イントラ予測モードは、利用可能な周辺符号化単位のイントラ予測モードのうち、さらに少ない個数のイントラ予測モードであるか、あるいは図１９に図示されているような９個のイントラ予測モードであることが望ましい。

図１９は、本発明の一実施形態によって、現在符号化単位のイントラ予測モードの予測値を生成する過程について説明するための図である。図１９を参照するに、現在符号化単位を、Ａ １７０とするとき、現在符号化単位Ａ １７０のイントラ予測モードは、周辺符号化単位で決定されたイントラ予測モードから予測可能である。例えば、現在符号化単位Ａ １７０の左側符号化単位Ｂ １７１の決定されたイントラ予測モードがmode ３であり、上側符号化単位Ｃ １７２のイントラ予測モードがmode ４であるとするならば、現在符号化単位Ａ １７０のイントラ予測モードは、上側符号化単位Ｃ １７２及び左側符号化単位Ｂ １７１の予測モードのうち小さい値を有するmode ３として予測される。もし現在符号化単位Ａ １７０に係わる実際イントラ予測符号化の結果として決定されたイントラ予測モードがmode ４であるならば、イントラ予測モード情報として、周辺符号化単位から予測されたイントラ予測モードの値であるmode ３との差である１だけを伝送し、復号化時、前述のところと同一の方法で、現在復号化単位のイントラ予測モードの予測値を生成し、ビットストリームを介して伝送されたモード差値を、イントラ予測モードの予測値に加算し、現在復号化単位に実際適用されたイントラ予測モード情報を獲得することができる。前述の説明では、現在符号化単位の上側及び左側に位置した周辺符号化単位だけを利用することを中心に説明したが、それ以外にも、図１９のＥ及びＤのような他の周辺符号化単位を利用して、現在符号化単位Ａ １７０のイントラ予測モードを予測できるのである。

一方、符号化単位のサイズによって実際遂行されるイントラ予測モードが異なるために、周辺符号化単位から予測されたイントラ予測モードは、現在符号化単位のイントラ予測モードとマッチングしないこともある。従って、互いに異なるサイズを有する周辺符号化単位から現在符号化単位のイントラ予測モードを予測するためには、互いに異なるイントラ予測モードを有する符号化単位間のイントラ予測モードを統一させるマッピング過程が必要である。

図２０Ａ及び図２０Ｂは、本発明の一実施形態によって、互いに異なるサイズを有する符号化単位間におけるイントラ予測モードのマッピング過程について説明するための参照図である。

図２０Ａを参照するに、現在符号化単位Ａ １８０は、１６ｘ１６サイズ、左側符号化単位Ｂ １８１は、８ｘ８サイズ、上側符号化単位Ｃ １８２は、４ｘ４のサイズを有すると仮定する。また、前述の図１４の第１例（Example １）のように、４ｘ４，８ｘ８，１６ｘ１６サイズの符号化単位で利用可能なイントラ予測モードの個数は、それぞれ９，９，３３個と違いが出ると仮定する。この場合、左側符号化単位Ｂ １８１及び上側符号化単位Ｃ １８２で利用可能なイントラ予測モードと、現在符号化単位Ａ １８０で利用可能なイントラ予測モードとは異なるために、左側符号化単位Ｂ １８１及び上側符号化単位Ｃ １８２から予測されたイントラ予測モードは、現在符号化単位Ａ １８０のイントラ予測モードの予測値として利用するのに適さない。従って、本発明の一実施形態によれば、周辺符号化単位Ｂ １８１及び周辺符号化単位Ｃ １８２のイントラ予測モードを、所定個数の代表イントラ予測モードのうち最も類似した方向の第１代表イントラ予測モード及び第２代表イントラ予測モードにそれぞれ変更し、第１代表イントラ予測モード及び第２代表イントラ予測モードのうちさらに小さいモード値を有する最終的な代表イントラ予測モードとして選択する。そして、現在符号化単位Ａ １８０のサイズによって利用可能なイントラ予測モードから選択された代表イントラ予測モードと最も類似した方向を有するイントラ予測モードを、現在符号化単位のイントラ予測モードとして予測する。

他の例として、図２０Ｂを参照するに、現在符号化単位Ａは、１６ｘ１６サイズ、左側符号化単位Ｂは、３２ｘ３２サイズ、上側符号化単位Ｃは、８ｘ８のサイズを有すると仮定する。また、前述の図１４の第１例（Example １）のように、８ｘ８，１６ｘ１６，３２ｘ３２サイズの符号化単位で利用可能なイントラ予測モードの個数は、それぞれ９，９，３３個と違いが出ると仮定する。また、左側符号化単位Ｂのイントラ予測モードを、mode ４、上側符号化単位Ｃのイントラ予測モードをmode ３１と仮定する。この場合、左側符号化単位Ｂと上側符号化単位Ｃとのイントラ予測モードは、互換されないために、左側符号化単位Ｂと上側符号化単位Ｃとのイントラ予測モードを、それぞれ図２１に図示されているような代表イントラ予測モードのうち一つにマッピングする。表２に記載されたように、左側符号化単位Ｂのイントラ予測モードであるmode ３１は、（ｄｘ，ｄｙ）＝（４，−３）の方向性を有するために、図２１の代表イントラ予測モードのうち、ｔａｎ^−１（−３／４）と最も類似した方向性を有するmode ５にマッピングされ、上側符号化単位Ｃのイントラ予測モードであるmode ４は、図２１の代表イントラ予測モードのうち、mode ４と同じ方向性を有するので、そのままmode ４にマッピングされる。

次に、左側符号化単位Ｂのマッピングされたイントラ予測モードmode ５と、上側符号化単位Ｃのマッピングされたイントラ予測モードmode ４とのうち、さらに小さいモード値を有するmode ４が、現在符号化単位のイントラ予測モードの予測値として決定され、現在符号化単位の実際イントラ予測モードと、予測されたイントラ予測モードとのモード差値のみが、現在符号化単位の予測モード情報として符号化される。

図２１は、本発明の一実施形態によって、周辺符号化単位のイントラ予測モードを代表イントラ予測モードのうち一つにマッピングする過程について説明するための参照図である。図２１では、代表イントラ予測モードとして、垂直モード、水平モード、ＤＣ（direct current）モード、対角線左側モード、対角線右側モード、垂直右側モード、垂直左側モード、水平上側モード及び水平下側モードが設定された場合を図示している。しかし、代表イントラ予測モードは、図示されたところに限定されるものではなく、多様な個数の方向性を有するように設定されてもよい。

図２１を参照するに、あらかじめ所定個数の代表イントラ予測モードを設定し、周辺符号化単位のイントラ予測モードを、最も類似した方向の代表イントラ予測モードにマッピングする。例えば、上側符号化単位Ａの決定されたイントラ予測モードが、ＭＯＤＥ＿Ａ １９０と図示された方向性を有せば、上側符号化単位Ａのイントラ予測モードＭＯＤＥ＿Ａ １９０は、９個の既設定の代表イントラ予測モード１ないし９のうち最も類似した方向を有するＭＯＤＥ １にマッピングされる。同様に左側符号化単位Ｂの決定されたイントラ予測モードが、ＭＯＤＥ＿Ｂ １９１と図示された方向性を有せば、左側符号化単位Ｂのイントラ予測モードＭＯＤＥ＿Ｂ １９１は、９個の既設定の代表イントラ予測モード１ないし９のうち、最も類似した方向を有するＭＯＤＥ ５にマッピングされる。

次に、第１代表イントラ予測モード及び第２代表イントラ予測モードのうち、さらに小さいモード値を有するイントラ予測モードが、最終的な周辺符号化単位の代表イントラ予測モードとして選択される。このように、さらに小さいモード値を有する代表イントラ予測モードを選択する理由は、一般的に、さらに頻繁に発生するイントラ予測モードによって、小さいモード値が設定されているためである。すなわち、周辺符号化単位から互いに異なるイントラ予測モードが予測された場合、さらに小さいモード値を有するイントラ予測モードが、さらに発生確率が大きい予測モードであるために、互いに異なる予測モードが競合する場合、現在符号化単位の予測モードの予測子として、さらに小さいモード値を有する予測モードを選択することが望ましい。

周辺符号化単位から代表イントラ予測モードが選択されても、代表イントラ予測モードを現在符号化単位のイントラ予測モードの予測子としてそのまま利用できない場合がある。前述の図２０のように、現在符号化単位Ａ １８０が３３個のイントラ予測モードを有し、代表イントラ予測モードは、ただ９個のイントラ予測モードを有するならば、代表イントラ予測モードに対応する現在符号化単位Ａ １８０のイントラ予測モードは、存在しない。このような場合、前述の周辺符号化単位のイントラ予測モードを、代表イントラ予測モードにマッピングするように、現在符号化単位のサイズによるイントラ予測モードのうち選択された代表イントラ予測モードと最も類似した方向を有するイントラ予測モードを、現在符号化単位のイントラ予測モード予測子として最終的に選択することができる。例えば、図２１で、周辺符号化単位から最終的に選択された代表イントラ予測モードが、mode １であるとするならば、現在符号化単位のサイズによって利用可能なイントラ予測モードのうち、mode １と最も類似した方向性を有するイントラ予測モードが、現在符号化単位のイントラ予測モードの予測子として最終選択される。

一方、前述の図１５Ａないし図１５Ｃを参照して説明したように、延長線１５０に位置したり、あるいは延長線１５０に近い周辺ピクセルを利用して現在ピクセルＰの予測子を生成する場合、延長線１５０は、実際にｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有するが、かような方向性を計算するためには、（ｄｙ／ｄｘ）の除算演算が必要であるために、ハードウェアやソフトウェアで具現するとき、小数点演算を含んで演算量を増加させる要因になることがある。従って、本発明の他の実施形態によれば、前述の表２に記載されたように、符号化単位内のピクセルを中心に、参照ピクセルとして利用される周辺ピクセルを選択するための予測方向を、ｄｘ，ｄｙパラメータを利用して設定するとき、演算量を減少させることができるように、ｄｘ，ｄｙを設定する過程を開示する。

図２５は、本発明によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルと現在ピクセルとの関係について説明するための図である。図２５を参照するに、現在ピクセルＰの位置をＰ（ｊ，ｉ）、現在ピクセルＰを通過するｔａｎ^−１（ｄｙ／ｄｘ）の方向性、すなわち、傾度を有する延長線２５１０上に位置した上側周辺ピクセルをＡ、左側周辺ピクセルをＢと定義する。上側周辺ピクセルの位置を座標平面上のｘ軸に該当させ、左側周辺ピクセルの位置を座標平面上のｙ軸に該当させると仮定するとき、延長線２５１０は、上側周辺ピクセルＡは、（ｊ＋ｉ＊ｄｘ／ｄｙ，０）上、左側周辺ピクセルＢは、（０，ｉ＋ｊ＊ｄｙ／ｄｘ）上に位置することになる。従って、現在ピクセルＰの予測のために、上側周辺ピクセルＡまたは左側周辺ピクセルＢのうちいずれか一つを決定するためには、ｄｘ／ｄｙまたはｄｙ／ｄｘのような除算演算が必要である。前述のように、かような除算演算は、演算複雑度が高いために、ソフトウェアまたはハードウェアでの具現時、演算速度の低下を招くことがある。

従って、本発明の他の実施形態では、周辺ピクセルを決定するための予測モードの方向性を示すｄｘ及びｄｙのうち、少なくとも１つの値を２の指数乗として決定することができる。すなわち、ｎ，ｍをそれぞれ整数であるとするとき、ｄｘ及びｄｙは、それぞれ２＾ｎ、２＾ｍであってもよい。

図２５を参照するに、現在ピクセルＰの予測子として左側周辺ピクセルＢが利用され、ｄｘが２＾ｎの値を有する場合、左側周辺ピクセルＢの位置である（０，ｉ＋ｊ＊ｄｙ／ｄｘ）を決定するために必要なｊ＊ｄｙ／ｄｘ演算は、（ｉ＊ｄｙ）／（２＾ｎ）であり、かような２の指数乗でもって除算を行う演算は、（ｉ＊ｄｙ）＞＞ｎのように、シフト演算を介して具現可能であるので、演算量が低減する。

同様に、現在ピクセルＰの予測子として上側周辺ピクセルＡが利用され、ｄｙが２＾ｍの値を有する場合、上側周辺ピクセルＡの位置である（ｊ＋ｉ＊ｄｘ／ｄｙ，０）を決定するために必要なｉ＊ｄｘ／ｄｙ演算は、（ｉ＊ｄｘ）／（２＾ｍ）であり、かような２の指数乗でもって除算を行う演算は、（ｉ＊ｄｘ）＞＞ｍのように、シフト演算を介して具現可能である。

図２６は、本発明によって、現在ピクセルの位置によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルの変化について説明するための図である。

現在ピクセルの位置によって、予測に必要な周辺ピクセルは、上側周辺ピクセルまたは左側周辺ピクセルのうち一つが選択される。

図２６を参照するに、現在ピクセルが、図面符号２６１０で図示されたＰ（ｊ，ｉ）であり、図示されているような予測方向に位置した周辺ピクセルを利用して予測されるとするとき、現在ピクセルＰ ２６１０の予測時、上側ピクセルＡが利用され、現在ピクセルを図面符号２６１０で図示されたＱ（ｂ，ａ）であるとする場合、現在ピクセルＱ ２６２０の予測時、左側ピクセルＢが利用される。

もし予測方向を指す（ｄｘ，ｄｙ）のうち、ｙ軸方向のｄｙ成分だけが２＾ｍ形態の２の指数乗値を有するならば、図２４で上側ピクセルＡは、（ｊ＋（ｉ＊ｄｘ）＞＞ｍ，０）のように、除算演算なしにシフト演算で決定可能であるが、左側ピクセルＢは、（０，ａ＋ｂ＊２＾ｍ／ｄｘ）のように、除算演算が必要になる。従って、現在ブロックのあらゆるピクセルに対して、予測子の生成時に除算演算を除外させるために、ｄｘ，ｄｙいずれも２の指数乗形態を有することができる。

図２７及び図２８は、本発明の他の実施形態によって、イントラ予測モード方向を決定する方法について説明するための図である。

一般的に、映像やビデオ信号で現れる直線パターンは、垂直方向や水平方向である場合が多い。従って、（ｄｘ，ｄｙ）のパラメータを利用して、多様な方向性を有するイントラ予測モードを定義するとき、次の通り、ｄｘ，ｄｙの値を定義することにより、映像のコーディング効率を向上させることができる。

具体的には、ｄｙが２＾ｍの値で固定された値を有する場合、ｄｘの絶対値は、垂直方向に近い予測方向間の間隔は、狭く設定され、水平方向に近い予測方向であるほど、予測モード間の間隔が広くなるように設定可能である。例えば、図２７を参照するに、ｄｙが２＾４、すなわち、１６の値を有する場合、ｄｘの値を１、２、３、４、６、９、１２、１６、０、−１、−２、−３、−４、−６、−９、−１２、−１６のように設定することによって、垂直方向に近い予測方向間の間隔は、狭く設定され、水平方向に近い予測方向であるほど、予測モード間の間隔が広くなるように設定可能である。

同様に、ｄｘが２＾ｎの値で固定された値を有する場合、ｄｙの絶対値は、水平方向に近い予測方向間の間隔は、狭く設定され、垂直方向に近い予測方向であるほど、予測モード間の間隔が広くなるように設定される。例えば、図２８を参照するに、ｄｘが、２＾４、すなわち、１６の値を有する場合、ｄｙの値を１、２、３、４、６、９、１２、１６、０、−１、−２、−３、−４、−６、−９、−１２、−１６のように設定することによって、水平方向に近い予測方向間の間隔は、狭く設定され、垂直方向に近い予測方向であるほど、予測モード間の間隔が広くなるように設定される。

また、ｄｘ及びｄｙのうちいずれか１つの値が固定されたとき、固定されていない残りの値は、予測モード別に増加するように設定されてもよい。例えば、ｄｙが固定された場合、ｄｘ間の間隔が所定値ほど増大するように設定されてもよい。また、かような増加幅は、水平方向と垂直方向との間の角度を所定単位で区分し、区分された角度別に設定されてもよい。例えば、ｄｙが固定された場合、ｄｘの値は、垂直軸との角度が１５°以内である区間では、ａという増加幅を有し、１５°と３０°との間では、ｂという増加幅を有し、３０°以上では、ｃという増加幅を有するように設定されてもよい。この場合、前述の図２５のような形態を有するためには、ａ＜ｂ＜ｃになるように設定されてもよい。

一例として、前述の図２３ないし図２８を介して説明された本発明の他の実施形態による予測モードは、次の表３ないし表５に表記されているような（ｄｘ，ｄｙ）を利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有する予測モードとして定義することができる。

図２２は、本発明の一実施形態による映像のイントラ予測装置を示したブロック図である。本発明の一実施形態による映像のイントラ予測装置２０００は、図４の映像符号化装置４００のイントラ予測部４１０、及び図５の映像復号化装置５００のイントラ予測部５５０として動作してもよい。

図２２を参照するに、イントラ予測モード決定部２０１０は、前述のように、最大符号化単位及び深度に基づいて分割された各符号化単位のサイズによって、現在符号化単位に適用するイントラ予測モードを決定する。すなわち、イントラ予測モード決定部２０１０は、多様な方向のイントラ予測モードのうち、現在符号化単位のサイズによって適用されるイントラ予測モード候補を選択する。

イントラ予測モード遂行部２０２０は、決定されたイントラ予測モードを適用し、各符号化単位に係わるイントラ予測を行う。イントラ予測モード遂行部２０２０で、イントラ予測の結果として生成された予測符号化単位と、本来の符号化単位との誤差値に基づいて、最小誤差値を有する最適のイントラ予測モードが、符号化単位の最終イントラ予測モードとして決定される。

一方、図２２に図示されたイントラ予測装置２０００が復号化装置に利用される場合、イントラ予測モード決定部２０１０は、図５のエントロピ復号化部５２０によって符号化されたビットストリームから抽出された最大符号化単位、最大符号化単位の階層的分割情報である深度情報を利用して、現在復号化単位のサイズを決定し、現在復号化単位に適用されたイントラ予測モード情報を利用して遂行されるイントラ予測モードを決定する。また、イントラ予測モード遂行部２０２０は、抽出されたイントラ予測モードによって、復号化単位に係わるイントラ予測を遂行して予測復号化単位を生成する。予測復号化単位は、ビットストリームから復元された残存データと加えられ、復号化単位に係わる復号化が行われる。

図２３は、本発明の一実施形態による映像符号化方法を示したフローチャートである。図２３を参照するに、段階２１１０で、現在ピクチャを少なくとも１つのブロックに分割する。前述のように、現在ピクチャは、最大サイズを有する符号化単位である最大符号化単位、及び最大符号化単位の階層的分割情報である深度に基づいて分割される。

段階２１２０で、分割された現在ブロックのサイズによって、現在ブロックに対して遂行されるイントラ予測モードを決定する。前述のように、本発明の一実施形態によれば、イントラ予測モードは、現在ブロック内部の各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線上に位置するか、あるいは延長線に近い周辺ブロックのピクセルを利用して予測を行う予測モードを含む。

段階２１３０で、決定されたイントラ予測モードによって、現在ブロックに対するイントラ予測を行う。イントラ予測モードのうち、最も小さい予測誤差値を有するイントラ予測モードは、現在ブロックの最終的なイントラ予測モードとして選択される。

図２４は、本発明の一実施形態による映像復号化方法を示したフローチャートである。図２４を参照するに、段階２２１０で、現在ピクチャを、所定サイズの少なくとも１つのブロックに分割する。ここで、現在ピクチャは、ビットストリームから抽出された最大サイズを有する復号化単位である最大復号化単位、及び最大復号化単位の階層的分割情報である深度情報に基づいて分割される。

段階２２２０で、ビットストリームから現在ブロックに適用されたイントラ予測モード情報を抽出する。イントラ予測モードは、現在ブロックの各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に近い周辺ブロックの画素を利用して予測を行う予測モードを含む。図１９ないし２１を参照して説明したように、周辺復号化単位のイントラ予測モードから予測されたイントラ予測モード予測子を利用する場合、現在復号化単位の周辺復号化単位が有するイントラ予測モードを、代表イントラ予測モードにマッピングした後、代表イントラ予測モードのうち、さらに小さいモード値を有する代表イントラ予測モードを、最終代表イントラ予測モードとして選択する。そして、現在復号化単位のサイズによって決定される利用可能なイントラ予測モードのうち、最終代表イントラ予測モードと最も類似した方向を有するイントラ予測モードを、現在復号化単位のイントラ予測モードの予測子として選択し、ビットストリームに備わった実際イントラ予測モードと、イントラ予測モードの予測子との差値を抽出し、これをイントラ予測モードの予測子に加算することによって、現在復号化単位のイントラ予測モードを決定することができる。

段階２２３０で、抽出されたイントラ予測モードによって、復号化単位に係わるイントラ予測を遂行して復号化単位を復号化する。

一方、前述の本発明の実施形態は、コンピュータで実行可能であるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学記録媒体（例えば、ＣＤ−ＲＯＭやＤＶＤ）である。

以上本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならないのである。

Claims (2)

1. 映像符号化方法において、
   映像を最大サイズの最大符号化単位に分割し、前記最大符号化単位を階層構造の符号化単位に分割する段階と、
   前記符号化単位のうち符号化される現在符号化単位の予測を行うための予測単位のイントラ予測モードを決定する段階と、
   前記決定されたイントラ予測モードによって、前記予測単位に対するイントラ予測を行う段階と、を含み、
   前記イントラ予測モードは、
   複数の方向のうち特定方向を指し、前記特定方向は水平方向のピクセルの個数を表すｄｘ（ｄｘは整数）個のピクセル及び垂直方向のピクセルの個数を表すｄｙ（ｄｙは整数）個のピクセルのうち一つによって指され、
   前記イントラ予測を行う段階は、
   前記予測単位の現在ピクセルの位置及び前記イントラ予測モードによって指される前記特定方向によって、前記予測単位の左側及び上側のうち一つに位置した少なくとも一つの周辺ピクセルを獲得し、前記獲得された周辺ピクセルを用いて前記現在ピクセルの予測値を獲得することを特徴とする映像符号化方法。
2. 映像復号化方法において、
   ビットストリームから最大符号化単位のサイズ情報及び現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを表す分割情報を抽出する段階と、
   前記分割情報に基づき、最大符号化単位に含まれた階層構造の符号化単位を決定する段階と、
   前記符号化単位のうち復号化される現在深度の符号化単位の予測を行うための予測単位を決定する段階と、
   前記ビットストリームから、前記予測単位のイントラ予測モード情報を抽出する段階と、
   前記抽出されたイントラ予測モードによって、前記予測単位に対するイントラ予測を行う段階と、を含み、
   前記イントラ予測モードは、
   複数の方向のうち特定方向を指し、前記特定方向は水平方向のピクセルの個数を表すｄｘ（ｄｘは整数）個のピクセル及び垂直方向のピクセルの個数を表すｄｙ（ｄｙは整数）個のピクセルのうち一つによって指され、
   前記イントラ予測を行う段階は、
   前記予測単位の現在ピクセルの位置及び前記イントラ予測モードによって指される前記特定方向によって、前記予測単位の左側及び上側のうち一つに位置した少なくとも一つの周辺ピクセルを獲得し、前記獲得された周辺ピクセルを用いて前記現在ピクセルの予測値を獲得することを特徴とする映像復号化方法。

Images