JP6120902B2 - ビデオ符号化またはビデオ復号化のための動きベクトル決定方法及びその装置 - Google Patents

Description

本発明は、ビデオ符号化／復号化に係り、さらに具体的には、インター予測及び／または動き補償を行うビデオ符号化／復号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり、あるいは復号化するビデオコーデックの必要性が高まっている。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復的に発生するデータを、小サイズのデータに置き換えることにより、データ量を節減している。

本発明は、動きベクトル予測を介して動きベクトルを決定する方法及びその装置を提案し、動きベクトル予測を介したインター予測及び動き補償を伴うビデオ符号化方法及びその装置、動きベクトル予測を介した動き補償を伴うビデオ復号化方法及びその装置を提案する。

本発明の一実施形態によるインター予測のための動きベクトル決定方法は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストを決定する段階と、前記複数の候補ブロックのうち第１候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、前記現在ブロックの参照映像と、前記第１候補ブロックの参照映像とがそれぞれショートターム参照映像（short-term reference picture）であるか、またはロングターム参照映像（long-term reference picture）であるかということに基づいて、前記候補動きベクトルリストにおいて、前記第１候補ブロックの動きベクトルを使用するか否かということを決定する段階と、前記候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、前記現在ブロックの動きベクトルを決定する段階と、を含む。

本発明の多様な実施形態による動きベクトル決定方式によれば、候補ブロックの参照インデックスが示す参照映像が、現在ブロックの参照映像と互いに異なり、現在ブロックと候補ブロックとの参照映像のうち少なくとも一つがロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節するプロセスを省略したり、あるいは候補ブロックの動きベクトルを参照するプロセスを省略し、相対的に予測正確度が高い他の候補ブロックの動きベクトルを参照すべく現在ブロックを予測するように誘導することができる。これにより、動きベクトルの予測プロセスの効率性が向上する。

一実施形態による動きベクトル決定装置のブロック図である。 一実施形態による動きベクトル決定方法のフローチャートである。 一実施形態による、候補ブロックが他映像のコロケーティッドブロックである場合を図示する図面である。 一実施形態による、候補ブロックが同一映像の隣接ブロックである場合を図示する図面である。 一実施形態による、動きベクトル決定方法を伴ったビデオ符号化方法のフローチャートである。 一実施形態による、動きベクトル決定方法を伴ったビデオ復号化方法のフローチャートである。 一実施形態による、動きベクトル決定装置を含むビデオ符号化部のブロック図である。 一実施形態による、動きベクトル決定装置を含むビデオ復号化部のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用してプログラムを記録して読み取るためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングタシステムのネットワーク構造を図示する図面である。

本発明の一実施形態によるインター予測のための動きベクトル決定方法は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストを決定する段階と、前記複数の候補ブロックのうち第１候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、前記現在ブロックの参照映像と、前記第１候補ブロックの参照映像とがそれぞれショートターム参照映像（short-term reference picture）またはロングターム参照映像（long-term reference picture）であるか否かということに基づいて、前記候補動きベクトルリストにおいて、前記第１候補ブロックの動きベクトルを使用するか否かということを決定する段階と、前記候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、前記現在ブロックの動きベクトルを決定する段階と、を含む。

一実施形態による第１候補ブロックは、前記現在ブロックの現在映像内で、前記現在ブロックの隣接ブロック、または前記現在映像よりも先に復元された映像内で、前記現在ブロックと同一位置のコロケーティッドブロック（collocated block）でもある。

一実施形態によって、前記第１候補ブロックの動きベクトルを使用するか否かということを決定する段階は、前記現在ブロックの参照映像と、前記候補ブロックの参照映像とがいずれも前記ロングターム参照映像である場合、前記候補動きベクトルリストにおいて、前記候補ブロックの動きベクトルを維持する段階を含んでもよい。

一実施形態によって、前記第１候補ブロックの動きベクトルを使用するか否かということを決定する段階は、前記現在ブロックの参照映像及び前記第１候補ブロックの参照映像のうちいずれか一つが、前記ショートターム参照映像であり、残りの一つが、前記ロングターム参照映像である場合、前記候補動きベクトルリストにおいて、前記第１候補ブロックの動きベクトルを利用しないように決定する段階を含んでもよい。

本発明によるインター予測のための動きベクトル決定装置は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストで、前記複数の候補ブロックのうち第１候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、前記現在ブロックの参照映像と、前記第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、前記候補動きベクトルリストにおいて、前記第１候補ブロックの動きベクトルを使用するか否かということを決定する候補リスト決定部；及び前記候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、前記現在ブロックの動きベクトルを決定する動きベクトル決定部；を含む。

本発明は、一実施形態による動きベクトル決定方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、図１ないし図４を参照し、一実施形態によって、動きベクトル決定装置及び動きベクトルを決定する方法について開示する。また、図５及び図８を参照し、一実施形態による動きベクトル決定方法を伴うビデオ符号化方法及びビデオ復号化方法、並びにビデオ符号化装置及びビデオ復号化装置について開示する。また、図９ないし図２１を参照し、一実施形態による、ツリー構造の符号化単位に基づいて、一実施形態による動きベクトル決定方法を伴うビデオ符号化技法及びビデオ復号化技法について開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。

まず、図１ないし図４を参照し、一実施形態によって、動きベクトル決定装置及び動きベクトルを決定する方法について開示する。また、図５及び図８を参照し、一実施形態による動きベクトル決定方法を伴うビデオ符号化方法及びビデオ復号化方法、並びにビデオ符号化装置及びビデオ復号化装置について開示する。

図１は、一実施形態による動きベクトル決定装置のブロック図を図示している。一実施形態による動きベクトル決定装置１０は、候補リスト決定部１２及び動きベクトル決定部１４を含む。

インター予測は、現在映像と異なる映像間の類似性を利用する。現在映像よりも先に復元された参照映像内で、現在映像の現在領域と類似した参照領域が検出される。現在領域と参照領域との座標上の距離が動きベクトルでもって表現され、現在領域と参照領域とのピクセル値の差が、残差データとして表現される。従って、現在領域に対するインター予測によって、現在領域の映像情報を直接出力する代わりに、参照映像を示すインデックス、動きベクトル及び残差データが出力されてもよい。

一実施形態による動きベクトル決定装置１０は、ビデオそれぞれの映像のブロック別にインター予測を行うことができる。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位内では、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図９ないし図２１を参照して後述する。

現在映像のインター予測のために利用される参照映像は、現在映像よりも先に復号化された映像でなければならない。一実施形態によるインター予測のための参照映像は、ショートターム参照映像と、ロングターム参照映像とに分類される。復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）は、以前映像の動き補償によって生成された復元映像を保存している。先に生成された復元映像は、他の映像のインター予測のための参照映像に利用される。従って、復号ピクチャバッファ（ＤＰＢ）に保存された復元映像のうち、現在映像のインター予測のための少なくとも１つのショートターム参照映像、または少なくとも１つのロングターム参照映像が選択される。ショートターム参照映像は、現在映像と、復号化順序により、直前または最近復号化された映像である一方、ロングターム参照映像は、現在映像よりかなり前に復号化されたが、他の映像のインター予測のための参照映像に使用されるために選択され、復号ピクチャバッファに保存された映像である。

動きベクトル予測（motion vector prediction）、ブロック併合（ＰＵ merging）またはＡＭＶＰ（advanced motion vector prediction）のために、他のブロックの動きベクトルを参照し、現在ブロックの動きベクトル予測が決定されもする。

一実施形態による動きベクトル決定装置１０は、動きベクトルを決定するために、現在ブロックに、時間的または空間的に隣接する他のブロックの動きベクトルを参照して決定することができる。動きベクトル決定装置１０は、現在ブロックの動きベクトルの参照対象になりうる候補ブロックの動きベクトルを多数含む候補動きベクトルリストを決定することができる。動きベクトル決定装置１０は、候補動きベクトルリスト内から選択された１つの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。

一実施形態による候補ブロックは、現在ブロックの現在映像内で、現在ブロックの隣接ブロック、または現在映像よりも先に復元された映像内で、現在ブロックと同一位置にあるコロケーティッドブロックでもある。

一実施形態による候補リスト決定部１２は、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストで、所定条件を満足する候補動きベクトルをサイズ調節（scaling）したり、あるいは候補動きベクトルリストから除外することができる。

一実施形態による候補リスト決定部１２は、候補動きベクトルリストに含まれた複数の候補ブロックのうち第１候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということを判断することができる。候補リスト決定部１２は、現在ブロックと、第１候補ブロックとの参照映像がそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルをいかように使用するかということを決定することができる。

一実施形態による候補リスト決定部１２は、現在ブロックの参照映像と、候補ブロックの参照映像とがいずれもロングターム参照映像である場合、候補動きベクトルリストで、候補ブロックの動きベクトルを維持することができる。候補ブロックの動きベクトルの大きさをサイズ調節する必要なしに、そのまま候補動きベクトルリストに含めてもよい。

一実施形態による候補リスト決定部１２は、現在ブロックの参照映像、及び第１候補ブロックの参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを利用しないように決定することができる。第１候補ブロックの動きベクトルが使用することができない動きベクトルと表示される。

一実施形態による候補リスト決定部１２は、現在ブロックの参照映像と、第１候補ブロックの参照映像とがいずれもショートターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含めてもよい。その場合、候補リスト決定部１２は、現在映像と現在ブロックの参照映像との距離と、第１候補ブロックの映像と、第１候補ブロックの参照映像との距離との比率に基づいて、第１候補ブロックの動きベクトルをサイズ調節し、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルをサイズ調節された値に更新することができる。

一実施形態による動きベクトル決定部１４は、候補動きベクトルリストに含まれた動きベクトルのうち１つの候補動きベクトルを選択し、選択された候補動きベクトルを利用して、現在ブロックの動きベクトルを決定することができる。動きベクトル決定部１４は、候補動きベクトルをそのままコピーしたり、あるいは変形し、現在ブロックの動きベクトルを決定することができる。

図２は、一実施形態による動きベクトル決定方法のフローチャートを図示している。

一実施形態による動きベクトル決定装置１０によって、現在ブロックに時間的に近いか、あるいは空間的に近いブロックの動きベクトルを利用して、現在ブロックの動きベクトルを予測することができる。また、動きベクトルの予測が可能な多数の候補ブロックを決定し、候補ブロックのうち１つの候補ブロックを選択し、選択された候補ブロックの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。

ただし、一実施形態による動きベクトル決定装置１０は、候補ブロックのうち所定候補ブロックの参照インデックスが示す参照映像が、現在ブロックの参照映像と異なる場合、候補ブロックの動きベクトルを参照し、現在ブロックの動きベクトルを予測するならば、候補ブロックの動きベクトルの大きさを調節して参照するとしても、予測された動きベクトルの正確度が低下してしまう。従って、動きベクトル決定装置１０は、現在ブロックの参照映像と、候補ブロックの参照映像とが異なる場合、当該候補ブロックの動きベクトルの大きさを調節して参照するか、あるいは全く当該動きベクトルを参照しないかということをさらに決定することができる。

以下、段階２１，２３，２５を参照し、動きベクトル決定装置１０が、現在ブロックと候補ブロックとの参照映像が互いに異なる場合、候補ブロックの動きベクトルから、現在ブロックの動きベクトルを予測する方法について詳細に説明する。

段階２１で、動きベクトル決定装置１０が、現在ブロックのために、複数の候補ブロックの動きベクトルを含む候補動きベクトルリストを決定する。

段階２３で、動きベクトル決定装置１０が、複数の候補ブロックのうち第１候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを使用するか否かということを決定する。

一実施形態によって、動きベクトル決定装置１０は、現在ブロックの参照映像がロングターム参照映像であるか否かを示すロングターム参照インデックスを利用して、現在ブロックの参照映像が、ロングターム参照映像であるか否かということを決定することができる。同様に、第１候補ブロックのロングターム参照インデックスを利用して、第１候補ブロックの参照映像が、ロングターム参照映像であるか否かということを決定することができる。

他の例として、動きベクトル決定装置１０は、現在ブロックの参照映像と、第１候補ブロックの参照映像とのＰＯＣ（picture order count）の差値が、第１臨界値を超えれば、第１候補ブロックの参照映像が、ロングターム参照映像であると決定することができる。それと同様に、現在ブロックの現在映像と、現在ブロックの参照映像とのＰＯＣの差値が第２臨界値を超えれば、現在ブロックの参照映像が、ロングターム参照映像であると決定することもできる。

段階２５で、動きベクトル決定装置１０が、候補動きベクトルリストに含まれた動きベクトルのうち選択された候補動きベクトルを利用して、現在ブロックの動きベクトルを決定する。

段階２５で、現在ブロックの参照映像が、ショートターム参照映像であるか、またはロングターム参照映像であるかということにかかわらず、現在ブロックの参照インデックスが示すＰＯＣによって、現在ブロックの参照映像内で決定された現在ブロックの動きベクトルが示す参照ブロックを決定することができる。

段階２３で、現在ブロックと候補ブロックとの参照映像が、いずれもロングターム参照映像である場合、動きベクトル決定装置１０は、候補動きベクトルリストで、候補ブロックの動きベクトルを、サイズ調節なしに維持することができる。現在ブロックと第１候補ブロックとの参照映像のうちいずれか一つが、ショートターム参照映像であり、残りの一つが、ロングターム参照映像である場合には、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを利用しないように決定することができる。現在ブロックと、第１候補ブロックとの参照映像が、いずれもショートターム参照映像である場合、現在映像と現在ブロックの参照映像との距離と、第１候補ブロックの映像と、第１候補ブロックの参照映像との距離との比率に基づいて、大きさが調節された第１候補ブロックの動きベクトルによって、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを更新することができる。

段階２１，２３，２５を介して、動きベクトル決定装置１０は、候補動きベクトルリストをさらに決定することができる。現在ブロックと第１候補ブロックとの参照映像のうちいずれか一つだけロングターム参照映像である場合、動きベクトル決定装置１０は、第１候補ブロックの動きベクトルを候補動きベクトルリストから除外し、参照対象として利用することができない。従って、動きベクトル決定装置１０は、候補動きベクトルリストに含まれた残りの動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。

現在ブロックと、第１候補ブロックとの参照映像が、いずれもロングターム参照映像である場合、動きベクトル決定装置１０は、第１候補ブロックの動きベクトルをサイズ調節せずに、候補動きベクトルリストに含める。従って、動きベクトル決定装置１０は、候補動きベクトルリストに含まれた残りの候補動きベクトル、及び第１候補ブロックの動きベクトルのうち最適の参照動きベクトルを選択し、選択された参照動きベクトルを利用して、現在ブロックの動きベクトルを決定することができる。

現在ブロックと、第１候補ブロックとの参照映像が、いずれもショートターム参照映像である場合、動きベクトル決定装置１０は、第１候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含める。従って、動きベクトル決定装置１０は、候補動きベクトルリストに含まれた残りの候補動きベクトル、及び大きさが調節された第１候補ブロックの動きベクトルのうち最適の参照動きベクトルを選択し、選択された参照動きベクトルを利用して、現在ブロックの動きベクトルを決定することができる。

従って、図１及び２を参照して詳細に説明した一実施形態による動きベクトル決定装置１０及び動きベクトル決定方法によれば、候補ブロックの参照インデックスが示す参照映像が、現在ブロックの参照映像と互いに異なり、現在ブロックと候補ブロックとの参照映像のうち少なくとも一つが、ロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節するプロセスを省略したり、あるいは候補ブロックの動きベクトルを参照するプロセスを省略することができる。

すなわち、現在ブロックの参照映像と、候補ブロックの参照映像とが互いに異なり、現在ブロックと候補ブロックとの参照映像のうち少なくとも一つが、ロングターム参照映像である場合、候補ブロックの動きベクトルを参照し、現在ブロックの動きベクトルを予測するならば、予測された動きベクトルの正確度が低下することがあるので、予測の正確度が低下する候補ブロックの動きベクトルを参照するためのプロセスを省略し、相対的に予測正確度が高い他の候補ブロックの動きベクトルを参照すべく現在ブロックを予測するように誘導することができる。それにより、動きベクトルの予測プロセスの効率性が向上する。

以下、図３及び図４を参照し、候補ブロックの種類による動きベクトル予測方法について詳細に説明する。

図３は、一実施形態によって、候補ブロックが他映像のコロケーティッドブロックである場合を図示している。

コロケーティッド映像３５は、現在映像３０よりも先に復元された映像であり、現在映像３０において、現在ブロック３１のインター予測のために参照される映像である。現在ブロック３１のコロケーティッド・インデックス３２によってコ、ロケーティッド映像３５が決定される。

コロケーティッド映像３５で、現在映像３０の現在ブロック３１の位置と同一位置にあるブロックが、コロケーティッドブロック３６として決定される。一実施形態による動きベクトル決定装置１０は、現在ブロック３１の動きベクトル３４を予測するための参照対象である候補ブロックとして、コロケーティッドブロック３６を利用することができる。従って、コロケーティッドブロック３６の動きベクトル３７を参照し、現在ブロック３１の動きベクトル３４が予測される。

コロケーティッドブロック３６の参照インデックスが示すＰＯＣによって、コロケーティッド参照映像３８が決定される。現在ブロック３１の参照インデックスが示すＰＯＣによって、現在参照映像３３が決定される。

ただし、一実施形態による動きベクトル決定装置１０は、コロケーティッド参照映像３８と、現在参照映像３３とが異なる場合、コロケーティッドブロック３６の動きベクトル３７を参照するか、そうでなければいかように参照するかということをさらに決定することができる。

具体的には、一実施形態による動きベクトル決定装置１０は、コロケーティッドブロック３６の参照インデックスと、現在ブロック３１の参照インデックスとが異なる場合、コロケーティッドブロック３６のロングターム参照インデックスと、現在ブロック３１のロングターム参照インデックスとを利用して、コロケーティッド参照映像３８と、現在参照映像３３とがショートターム参照映像またはロングターム参照映像であるかということを確認することができる。

ただし、一実施形態による動きベクトル決定装置１０は、コロケーティッド参照映像３８と、現在参照映像３３とが異なる場合、コロケーティッドブロック３６の動きベクトル３７を参照するか、そうでなければいかように参照するかということをさらに決定することができる。

確認結果によって、現在参照映像３３と、コロケーティッド参照映像３８とが互いに異なるが、いずれもショートターム参照映像である場合には、コロケーティッド映像３５及びコロケーティッド参照映像３８間の距離Ｔｄと、現在映像３０及び現在参照映像３０間の距離Ｔｂとの比率に基づいて、コロケーティッドブロック３６の動きベクトル３７の大きさを調節することができる。そのとき、現在映像３０及びコロケーティッド参照映像３８間の距離Ｔｄは、現在映像３０と、コロケーティッド参照映像３８とのＰＯＣの差値として決定される。それと同様に、現在映像３０及び現在参照映像３３間の距離Ｔｂも、現在映像３０と、現在参照映像３３とのＰＯＣの差値として決定される。

すなわち、現在参照映像３３と、コロケーティッド参照映像３８とがいずれもショートターム参照映像である場合には、コロケーティッドブロック３６の動きベクトル３７（ＭＶｃｏｌ）に、コロケーティッド映像３５及びコロケーティッド参照映像３８間の距離Ｔｄと、現在映像３０及び現在参照映像３０間の距離Ｔｂとの比率を乗じた値に、候補動きベクトル（ＭＶｃｏｌ’）が更新される（ＭＶｃｏｌ’＝ＭＶｃｏｌ＊Ｔｂ／Ｔｄ）。

従って、動きベクトル決定装置１０は、確認結果によって、現在参照映像３３と、コロケーティッド参照映像３８とが互いに異なるが、いずれもショートターム参照映像である場合には、候補動きベクトルリストに、コロケーティッドブロック３６の動きベクトル３７を、コロケーティッドブロック３６の動きベクトル３７（ＭＶｃｏｌ）に、コロケーティッド映像３５及びコロケーティッド参照映像３８間の距離Ｔｄと、現在映像３０及び現在参照映像３０間の距離Ｔｂとの比率（Ｔｂ／Ｔｄ）を乗じた値（ＭＶｃｏｌ’）に変更することができる。

現在参照映像３３及びコロケーティッド参照映像３８のうち一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合には、コロケーティッドブロック３６の動きベクトル３７に、使用不可（not-available）フラグを割り当てることができる。その場合、現在ブロック３０の候補動きベクトルリストから、コロケーティッドブロック３６の動きベクトル３７を除外することができる。

現在参照映像３３及びコロケーティッド参照映像３８のうちいずれもロングターム映像である場合には、コロケーティッドブロック３６の動きベクトル３７を、そのまま維持することができる。その場合、候補動きベクトルリストで、コロケーティッドブロック３６の動きベクトル３７を、サイズ調節なしに、そのまま維持することができる。

図４は、一実施形態によって、候補ブロックが同一映像の隣接ブロックである場合を図示している。

一実施形態による動きベクトル決定装置１０は、現在ブロック４１の動きベクトル４４を予測するための参照対象である候補ブロックとして、現在映像４０において、現在ブロック４１に隣接する隣接ブロック４６を利用することができる。従って、隣接ブロック４６の動きベクトル４７を参照し、現在ブロック４１の動きベクトル４４が予測される。

隣接ブロック４６の参照インデックスが示すＰＯＣによって、隣接参照映像４８が決定される。現在ブロック４１の参照インデックスが示すＰＯＣによって、現在参照映像４３が決定される。

ただし、一実施形態による動きベクトル決定装置１０は、隣接参照映像４８と、現在参照映像４３とが異なる場合、隣接ブロック４６の動きベクトル４７を参照するか、あるいはいかように参照するかということをさらに決定することができる。

具体的には、一実施形態による動きベクトル決定装置１０は、隣接ブロック４６の参照インデックスと、現在ブロック４１の参照インデックスとが異なる場合、隣接ブロック４６のロングターム参照インデックスと、現在ブロック４１のロングターム参照インデックスとを利用して、隣接ブロック４６と現在参照映像４３とがショートターム参照映像またはロングターム参照映像であるかということを確認することができる。

ただし、一実施形態による動きベクトル決定装置１０は、隣接ブロック４６と、現在参照映像３３とが異なる場合、隣接ブロック４６の動きベクトル４７を参照するか、あるいはいかように参照するかということをさらに決定することができる。

確認結果によって、現在参照映像４３と隣接参照映像４８とが互いに異なるが、いずれもショートターム参照映像である場合には、現在映像４０及び隣接参照映像４８間の距離Ｔｄと、現在映像４０及び現在参照映像４０間の距離Ｔｂとの比率に基づいて、隣接ブロック４６の動きベクトル４７の大きさを調節することができる。現在映像４０及び隣接参照映像４８間の距離Ｔｄは、現在映像４０と隣接参照映像４８とのＰＯＣの差値として決定される。それと同様に、現在映像４０及び現在参照映像４３間の距離Ｔｂも、現在映像４０と現在参照映像４３とのＰＯＣの差値として決定される。

すなわち、現在参照映像４３と隣接参照映像４８とがいずれもショートターム参照映像である場合には、隣接ブロック４６の動きベクトル４７（ＭＶｎｅ）に、現在映像４０及び隣接参照映像４８間の距離Ｔｄと、現在映像４０及び現在参照映像４３間の距離Ｔｂとの比率（Ｔｂ／Ｔｄ））を乗じた値に、候補動きベクトル（ＭＶｎｅ’）が更新される（ＭＶｎｅ’＝ＭＶｎｅ＊Ｔｂ／Ｔｄ）。

従って、動きベクトル決定装置１０は、確認結果によって、現在参照映像４３と、隣接ブロック３８の参照映像４８とが互いに異なるが、いずれもショートターム参照映像である場合には、候補動きベクトルリストに、隣接ブロック４６の動きベクトル４７を、隣接ブロック４６の動きベクトル４７（ＭＶｎｅ）に、隣接ブロック４８及び現在ブロック４０間の距離Ｔｄと、現在映像４０及び現在参照映像４３間の距離Ｔｂとの比率（Ｔｂ／Ｔｄ）を乗じた値（ＭＶｎｅ’）に変更することができる。

現在参照映像４３及び隣接参照映像４８のうち一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合には、隣接ブロック４６の動きベクトル４７に使用不可フラグを割り当てることができる。その場合、現在ブロック４０の候補動きベクトルリストから、隣接ブロック４６の動きベクトル４７を除外することができる。

現在参照映像４３及び隣接参照映像４８のうちいずれもロングターム映像である場合には、隣接ブロック４６の動きベクトル４７をそのまま維持することができる。その場合、候補動きベクトルリストで、隣接ブロック４６の動きベクトル４７をサイズ調節なしにそのまま維持することができる。

図３及び図４の実施形態で、動きベクトル決定装置１０は、現在ブロック３１，４１と、候補ブロック（コロケーティッドブロック３６、隣接ブロック４６）とのロングターム参照インデックスを利用して、現在参照映像３３，４３、候補ブロック３６，４６の参照映像（コロケーティッド参照映像３８、隣接参照映像４８）がそれぞれショートターム参照映像またはロングターム参照映像であるかということを決定し、その結果によって、候補ブロック３６，４６の動きベクトル３７，４７を参照するか、あるいは大きさを調節して参照するかということを決定することができる。

他の実施形態による動きベクトル決定装置１０は、現在ブロック３１，４１と、候補ブロック３６，４６とのロングターム参照インデックスの代わりに、現在参照映像３３，４３と、候補ブロック３６，４６の参照映像３８，４８とのＰＯＣを示す参照インデックスを利用して、候補ブロック３６，４６の動きベクトル３７，４７を参照するか、あるいは大きさを調節して参照するかということを決定することができる。

具体的には、図３で、他の実施形態による動きベクトル決定装置１０は、コロケーティッドブロック３６の参照インデックスと、現在ブロック３１の参照インデックスとの差Ｔｒを第１臨界値（ＴＨｐｏｃｄｉｆｆ１）と比較し、参照インデックス間の差Ｔｒが、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）より大きければ、コロケーティッドブロック３６の動きベクトル３７を参照対象ではないと決定するか、あるいは大きさを調節せずに、参照するように決定することができる。

それと同様に、図４で、他の実施形態による動きベクトル決定装置１０は、隣接ブロック４６の参照インデックスと、現在ブロック３１の参照インデックスとの差Ｔｒを、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）と比較し、参照インデックス間の差Ｔｒが、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）より大きければ、隣接ブロック４６の動きベクトル４７を参照対象ではないと決定するか、あるいは大きさを調節せずに、参照するように決定することができる。

図３及び図４で、他の実施形態による動きベクトル決定装置１０によれば、候補ブロック３６，４６の参照インデックスと、現在ブロック３１の参照インデックスとの差Ｔｒが第１臨界値（ＴＨｐｏｃｄｉｆｆ１）より大きければ、候補ブロック３６，４６の参照インデックスが示す候補参照映像３８，４８、及び現在ブロック３１の参照インデックスが示す現在参照映像３３，４３のうち少なくとも一つがロングターム参照映像であるとみなす。

従って、候補ブロック３６，４６の参照インデックスと、現在ブロック３１の参照インデックスとの差Ｔｒが第１臨界値（ＴＨｐｏｃｄｉｆｆ１）より大きければ、映像距離の比率（Ｔｂ／Ｔｄ）を利用して、候補ブロック３６，４６の動きベクトル３７，４７の大きさを調節する必要なしに、全く参照対象ではないと決定し、候補ブロック３６，４６の動きベクトル３７，４７を、候補動きベクトルリストから除外することができる。または、候補ブロック３６，４６の動きベクトル３７，４７の大きさを調節せずに、そのまま参照し、現在ブロック３１，４１の動きベクトル３４，４４が予測されるように決定することもできる。

さらに他の実施形態による動きベクトル決定装置１０は、現在映像３０，４０と、現在参照映像３３，４３とのＰＯＣの差値を第２臨界値（ＴＨｐｏｃｄｉｆｆ２）と比較した結果によって、候補ブロック３６，４６の動きベクトル３７，４７を参照するか、あるいは大きさを調節して参照するかということを決定することができる。

従って、現在ブロック３１，４１の参照インデックスが示す現在参照映像３３，４３と、現在映像３０，４０とのＰＯＣ間の差Ｔｂが、第２臨界値（ＴＨｐｏｃｄｉｆｆ２）より大きければ、映像距離の比率（Ｔｂ／Ｔｄ）を利用して、候補ブロック３６，４６の動きベクトル３７，４７の大きさを調節する必要なしに、全く参照対象ではないと決定し、候補ブロック３６，４６の動きベクトル３７，４７を、候補動きベクトルリストから除外することができる。または、候補ブロック３６，４６の動きベクトル３７，４７の大きさを調節せずに、そのまま参照し、現在ブロック３１，４１の動きベクトル３４，４４が予測されるように決定することもできる。

第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）は、次の値のうち一つに設定される。ｉ）参照映像の個数；ｉｉ）参照映像の個数の２倍数；ｉｉｉ）ＧＯＰ（group of pictures）の大きさと、参照映像の個数の２倍数との和；ｉｖ）現在映像よりデコーディング順序上先行しており、出力順序上で連続する映像の最大許容個数（ｍａｘ＿ｎｕｍ＿reorder＿ｐｉｃｓ）と、参照映像の個数の２倍数との和；ｖ）復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）に保存された復元映像が出力されるまでの最大遅延時間（ｍａｘ＿output＿delay）と、参照映像の個数の２倍数との和；ｖｉ）ＧＯＰの大きさの２倍数；ｖｉｉ）現在映像よりデコーディング順序上先行し、出力順序上連続する映像の最大許容個数（ｍａｘ＿ｎｕｍ＿reorder＿ｐｉｃｓ）の２倍数；ｖｉｉｉ）復号ピクチャバッファ（ＤＰＢ）に保存された復元映像が出力されるまでの最大遅延時間（ｍａｘ＿output＿delay）の２倍数。

候補ブロックがコロケーティッドブロック３６である場合、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）の大きさは、現在映像３１、現在参照映像３３及びコロケーティッド参照映像３８の相対的な位置によって可変的に設定される。例えば、ｉ）コロケーティッドブロック３６の参照インデックスと、現在ブロック３１の参照インデックスとがいずれも現在映像３０のＰＯＣより大きいか、あるいはいずれも小さい場合（第１の場合）、ｉｉ）コロケーティッドブロック３６の参照インデックスと、現在ブロック３１の参照インデックスとの間に、現在映像３０のＰＯＣがある場合（第２の場合）がある。第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）の大きさは、第１の場合と第２の場合とで、それぞれ異なるように設定される。

また、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）は、現在映像３０の時間予測（temporal prediction）による階層構造の時間深度（temporal depth）に基づいて、可変的に設定される。例えば、現在映像３０のインター予測のために、多数の映像を階層的に参照する場合、何段階まで参照するかということにより、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）の大きさが調節される。

また、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）は、現在映像３０が含まれたＧＯＰ構造において、現在映像３０の位置によって、可変的に大きさが調節される。

また、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）は、現在映像３０が含まれたＧＯＰ構造において、現在映像３０のＰＯＣによって、可変的に大きさが調節される。

ビデオを符号化するときに利用された現在映像３０の第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）は、符号化されてビデオ復号化端に伝送される。例えば、例えば、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）は、シーケンスごとに決定されるか、ピクチャごとに決定されるか、スライスごとに決定されるか、あるいはピクチャによって適応的に決定される。それにより、シーケンス・パラメータセット（ＳＰＳ：sequence parameter set）、ピクチャ・パラメータセット（ＰＰＳ：picture parameter set）、スライスヘッダ（slice header）、適応パラメータセット（ＡＰＳ：adaptation parameter set）に、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）に係わる情報が収録される。

他の例として、ビデオ符号化端及びビデオ復号化端は、現在映像３０の第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）を送受信せずに、予測することができる。例えば、ランダムアクセスまたはローディレイ（low delay）のような現在映像３０の時間予測の階層構造に基づいて、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）が予測される。または、現在映像３０のＰＯＣに基づいて、第１臨界値（ＴＨｐｏｃｄｉｆｆ１）または第２臨界値（ＴＨｐｏｃｄｉｆｆ２）が予測されもする。

以下、図５及び図６を参照し、一実施形態による動きベクトル決定方法を伴うビデオ符号化方法及びビデオ復号化方法について詳細に説明する。

図５は、一実施形態による、動きベクトル決定方法を伴ったビデオ符号化方法のフローチャートを図示している。段階５１で、一実施形態による動きベクトル決定方法によって、現在ブロックの動きベクトルを予測するために参照される複数の候補ブロックの動きベクトルを含む候補動きベクトルリストが決定される。

複数の候補ブロックのうち第１候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを使用するか否かということが決定される。

現在ブロックの参照映像と、候補ブロックの参照映像とがいずれもロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。

現在ブロックの参照映像、及び第１候補ブロックの参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを利用しないように決定される。

現在ブロックの参照映像と、第１候補ブロックの参照映像とがいずれもショートターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。

段階５３で、段階５１で決定された候補動きベクトルリストに含まれた動きベクトルのうち１つの候補動きベクトルを、参照動きベクトルとして選択し、選択された参照動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。参照動きベクトルをそのままコピーしたり、あるいは変形することにより、現在ブロックの動きベクトルが決定される。例えば、動きベクトルの差情報がある場合、参照動きベクトルに、差情報を合成することにより、現在ブロックの動きベクトルが決定される。

現在ブロックの参照映像内で決定された現在ブロックの動きベクトルが示す参照ブロックが決定されれば、参照ブロックと現在ブロックとの残差データが生成される。

段階５５で、段階５３で生成された残差データに対して、変換及び量子化を行い、量子化された変換係数が生成される。

現在映像のブロックごとに、段階５１，５３，５５のインター予測が行われ、変換及び量子化が行われることにより、ブロック別に量子化された変換係数が生成される。また、ブロック別に量子化された変換係数に対して、エントロピー符号化を行い、ビットストリームが生成されて出力されもする。

図５によるビデオ符号化方法は、ビデオ符号化装置によって具現される。図５によるビデオ符号化方法を具現するビデオエンコーディング・プロセッサがビデオ符号化装置内部に搭載されるか、あるいは外部ビデオ符号化装置に連繋して作動することにより、ビデオ符号化装置のインター予測、変換、量子化を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含む。

図６は、一実施形態による、動きベクトル決定方法を伴ったビデオ復号化方法のフローチャートを図示している。段階６１で、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルが受信される。

段階６３で、段階６１で受信された現在ブロックの量子化された変換係数に対して、逆量子化及び逆変換が行われ、現在ブロックの残差データが復元される。

段階６５で、現在ブロックのための候補動きベクトルリストが決定される。複数の候補ブロックのうち第１候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを使用するか否かが決定される。

現在ブロックの参照映像と、候補ブロックの参照映像とがいずれもロングターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。

現在ブロックの参照映像、及び第１候補ブロックの参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを利用しないように決定される。

現在ブロックの参照映像と、第１候補ブロックの参照映像とがいずれもショートターム参照映像である場合、候補ブロックの動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。

段階６７で、段階６５で決定された候補動きベクトルリストに含まれた動きベクトルのうち１つの候補動きベクトル、すなわち、参照動きベクトルを選択し、選択された参照動きベクトルを参照し、現在ブロックの動きベクトルを決定することができる。例えば、動きベクトルの差情報が受信された場合には、参照動きベクトルに差情報を合成することにより、現在ブロックの動きベクトルが決定される。

受信された現在ブロックの参照インデックスが示す現在ブロックの参照映像内で、現在ブロックの動きベクトルが示す参照ブロックが決定される。決定された参照ブロックと現在ブロックとの残差データを合成して現在ブロックが復元される。

ブロック別に、段階６１，６３，６５，６７の動作が遂行されることにより、復元されたブロックを含む現在映像が復元される。映像が復元されることにより、復元映像のシーケンスを含むビデオが復元される。

段階６１，６３，６５，６７のビデオ復号化過程は、ビデオ復号化過程で符号化されたビデオストリームを受信し、ビデオストリームを復号化してビデオを復元するときに遂行される。その場合、段階６１、は受信したビデオストリームをパージングし、ビデオストリームから、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを抽出することができる。

再び図５を参照し、前述のビデオ符号化方法でも、他の映像のインター予測のために参照される復元映像を生成するためにも、段階６１，６３，６５，６７のビデオ復号化過程が遂行される。その場合、段階６１は、インター予測、変換及び量子化を介して生成された現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを受信した後、段階６３，６５，６７が段階的に遂行され、最終的に復元された現在映像が、他の映像のインター予測のための参照映像に利用される。

図６によるビデオ復号化方法は、ビデオ復号化装置によって具現される。図６によるビデオ復号化方法を具現するビデオデコーディング・プロセッサがビデオ復号化装置内部に搭載されるか、あるいは外部ビデオ復号化装置に連繋して作動することにより、ビデオ復号化装置の逆量子化、逆変換、予測／補償を含んだビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ復号化装置、中央演算装置またはグラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含む。

以下、図７及び図８を参照し、一実施形態による動きベクトル決定装置１０を伴うビデオ符号化部７０及びビデオ復号化部８０について詳細に説明する。

図７は、一実施形態による、動きベクトル決定装置を含むビデオ符号化部７０のブロック図を図示している。ビデオ符号化部７０は、インター予測部７１及び変換量子化部７５を含む。インター予測部７１は、一実施形態による動きベクトル決定装置１０及び残差生成部７３を含んでもよい。

動きベクトル決定装置１０は、ブロック別に動きベクトルを決定する。また、動きベクトル予測、ブロック併合またはＡＭＶＰのために、他のブロックの動きベクトルを参照し、現在ブロックの動きベクトルが予測される。動きベクトル決定装置１０は、動きベクトル予測のために、現在ブロックの候補動きベクトルリストを決定することができる。候補動きベクトルリストに含まれた候補動きベクトルのうち１つの参照動きベクトルを決定することができる。

動きベクトル決定装置１０は、現在ブロックの候補動きベクトルリストの複数候補ブロックのうち、第１候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを使用するか否かということを決定することができる。

動きベクトル決定装置１０は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測することができる。

残差生成部７３は、現在ブロックの参照映像内で、現在ブロックの動きベクトルが示す参照ブロックを決定し、参照ブロックと現在ブロックとの残差データを生成することができる。

それにより、インター予測部７１は、ブロック別にインター予測を行った結果、ブロック別に残差データを出力することができる。

変換量子化部７５は、インター予測部７１が出力した残差データに対して、変換及び量子化を行い、量子化された変換係数を生成することができる。変換量子化部７５は、インター予測部７１から受信したブロック別残差データに対して変換及び量子化を行い、ブロック別に量子化された変換係数を生成することができる。

ビデオ符号化部７０は、変換量子化部７５によって生成された量子化された変換係数に対して、エントロピー符号化を行い、符号化されたビットストリームを出力することができる。また、インター予測部７１から、参照インデックス、動きベクトル、ロングターム参照インデックスなども出力された場合、ビデオ符号化部７０は、量子化された変換係数だけではなく、参照インデックス、動きベクトル、ロングターム参照インデックスに対しても、エントロピー符号化を行い、ビットストリームを出力することができる。

図８は、一実施形態による、動きベクトル決定装置を含むビデオ復号化部８０のブロック図を図示する。

ビデオ復号化部８０は、逆量子化逆変換部８１及び動き補償部８３を含む。動き補償部８３は、一実施形態による動きベクトル決定装置１０及びブロック復元部８５を含んでもよい。

ビデオ復号化部８０は、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを受信することができる。逆量子化逆変換部８１は、受信された現在ブロックの量子化された変換係数に対して、逆量子化及び逆変換を行い、現在ブロックの残差データを復元することができる。

動き補償部８３は、インター予測を介して符号化された現在ブロックに対して、動き補償を行うことにより、現在ブロックを復元することができる。

動きベクトル決定装置１０は、ブロック別に動きベクトルを決定する。動きベクトル決定装置１０は、動きベクトル予測のために、現在ブロックの候補動きベクトルリストを決定することができる。候補ブロックは、コロケーティッドブロックや隣接ブロックを含んでもよい。動きベクトル決定装置１０は、候補動きベクトルリストに含まれた候補動きベクトルのうち１つの参照動きベクトルを決定することができる。

動きベクトル決定装置１０は、現在ブロックの候補動きベクトルリストの複数候補ブロックのうち、第１候補ブロックの参照映像が、現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを使用するか否かということを決定することができる。

動きベクトル決定装置１０は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。

ブロック復元部８５は、ビデオ復号化部８０が受信した現在ブロックの参照インデックスが示す現在ブロックの参照映像を決定することができる。動きベクトル決定装置１０で決定された現在ブロックの動きベクトルが参照映像内で示す参照ブロックを決定し、参照ブロックと現在ブロックとの残差データを合成し、現在ブロックを復元することができる。

それにより、動き補償部８３は、ブロック別に動き補償を行った結果、ブロック別に復元し、復元されたブロックを含む現在映像を復元することができる。それにより、ビデオ復号化部８０で、映像が復元されることにより、映像シーケンスを含むビデオが復元される。

ビデオ復号化部８０は、ブロックが復元されることにより、復元された現在ブロック及び復元されたブロックを含む復元映像に対してデブロッキング・フィルタリングを行うインループ・フィルタリング部をさらに含んでもよい。

ビデオ復号化部８０は、符号化されたビデオストリームを受信し、ビデオストリームを復号化してビデオを復元することもできる。その場合、ビデオ復号化部８０は、受信したビデオストリームをパージングし、ビデオストリームから、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを抽出することができる。また、ビデオ復号化部８０は、ビットストリームを受信し、ビットストリームに対してエントロピー復号化を行い、ビットストリームから、現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルをパージングして抽出する受信部をさらに含んでもよい。

再び図７を参照し、前述のビデオ符号化部７０で、他の映像のインター予測のために参照される復元映像を生成するため、ビデオ符号化部７０に、ビデオ復号化部８０が結合されもする。その場合、ビデオ復号化部８０は、ビデオ符号化部７０から、インター予測、変換及び量子化を介して生成して出力した現在ブロックの参照インデックス、量子化された変換係数、及び候補ブロックの動きベクトルを受信し、逆量子化逆変換部８１及び動き補償部８３を介して最終的に復元された現在映像を出力することができる。ビデオ復号化部８０が出力した復元映像は、ビデオ符号化部７０の他の映像のインター予測のための参照映像に利用される。

一実施形態による動きベクトル決定装置１０で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインター予測のための予測単位が利用される場合があるということは、前述の通りである。以下、図９ないし図２２を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいた、ビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置について開示する。

図９は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して呼称する。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domainの映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズが事前に設定されている。

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域あまり最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内衣映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割され、分割されて符号化単位の個数は、増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさ、または形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基盤になる、それ以上分割されない符号化単位を「予測単位」と呼称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいは同サイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位／パーティション、及び変換単位の決定方式については、図１１ないし図２２を参照し、詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果でもある。

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなればならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なりうるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに対する符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットなどを介して出力される。出力部１３０は、図１ないし図８を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図９のビデオ符号化装置１００は、図１を参照して説明した動きベクトル決定装置１０及びビデオ符号化部７０の動作を遂行することができる。

符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、インター予測のためのパーティションを含んで予測単位を決定し、予測単位ごとにインター予測を行うことができる。

符号化単位決定部１２０は、予測単位別に動きベクトルを決定する。また、動きベクトル予測、予測単位併合（ＰＵ merging）またはＡＭＶＰのために、他の予測単位の動きベクトルを参照し、現在予測単位（パーティション）の動きベクトルが予測される。動きベクトル決定装置１０は、動きベクトル予測のために、現在予測単位の候補動きベクトルリストを決定することができる。候補動きベクトルリストに含まれた候補動きベクトルのうち１つの参照動きベクトルを決定することができる。候補予測単位は、現在映像内で、現在予測単位に隣接する隣接予測単位であるか、またはコロケーティッド映像内のコロケーティッド予測単位でもある。

符号化単位決定部１２０は、現在予測単位の候補動きベクトルリストの複数候補予測単位において、第１候補予測単位の参照映像が現在予測単位の参照映像と異なる場合、現在予測単位の参照映像と、第１候補予測単位の参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補予測単位の動きベクトルを使用するか否かということを決定することができる。

現在予測単位と、第１候補予測単位とのロングターム参照インデックスに基づいて、現在予測単位と、第１候補予測単位との参照映像がそれぞれショートターム参照映像またはロングターム参照映像であるかということが決定される。

現在予測単位の参照映像と、候補予測単位の参照映像とが、いずれもロングターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。

現在予測単位の参照映像、及び第１候補予測単位の参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第１候補予測単位の動きベクトルを利用しないように決定される。

現在予測単位の参照映像と、第１候補予測単位の参照映像とが、いずれもショートターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。

符号化単位決定部１２０は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在予測単位の動きベクトルを予測して決定することができる。

符号化単位決定部１２０は、現在予測単位の参照インデックスが示すＰＯＣによって、現在予測単位の参照映像を決定することができる。参照映像がロングターム参照映像またはショートターム参照映像であるか否かということにかかわらず、参照インデックスは、ＰＯＣを示し、ＰＯＣが示す映像を参照映像として決定することができる。

符号化単位決定部１２０は、現在予測単位の参照映像内で、現在ブロックの動きベクトルが示す参照ブロックを決定し、参照予測単位と現在予測単位との残差データを生成することができる。

それにより、符号化単位決定部１２０は、予測単位別にインター予測を行った結果、予測単位別に、残差データを出力することができる。

符号化単位決定部１２０は、予測単位別に残差データを含む符号化単位の変換単位に対して変換及び量子化を行い、量子化された変換係数を生成することができる。符号化単位決定部１２０は、それにより、変換単位別に量子化された変換係数を生成することができる。

また、符号化単位決定部１２０は、予測単位のインター予測のための参照映像を生成するために、図８を参照して説明したビデオ符号化端８０の動作を遂行することもできる。

符号化単位決定部１２０は、受信された現在予測単位の量子化された変換係数に対して逆量子化及び逆変換を行い、現在ブロックの残差データを復元することができる。インター予測を介して符号化された現在予測単位に対して、動き補償を行うことにより、現在予測単位を復元することができる。

符号化単位決定部１２０は、現在予測単位の候補動きベクトルリストを決定し、候補動きベクトルリストの複数の候補予測単位において、第１候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを使用するか否かということを決定することができる。

符号化単位決定部１２０は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。

符号化単位決定部１２０は、受信した現在予測単位の参照インデックスが示す現在予測単位の参照映像を決定することができる。受信した現在予測単位の参照インデックスが示すＰＯＣによって、現在予測単位の参照映像を決定することができる。参照映像がロングターム参照映像またはショートターム参照映像であるかということにかかわらず、参照インデックスは、ＰＯＣを示し、ＰＯＣが示す映像を参照映像として決定することができる。

現在予測単位の動きベクトルが参照映像内で示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。

それにより、符号化単位決定部１２０は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む現在映像を復元することができる。復元された予測単位及び映像は、他の予測単位及び映像の参照対象になりうる。

図１０は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して呼称する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図９及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンス・パラメータセットまたはピクチャ・パラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度、及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであれば、同一符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モーに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。

また、図１０のビデオ復号化装置２００において、映像データ復号化部２３０は、図１を参照して説明した動きベクトル決定装置１０及びビデオ復号化部８０の動作を遂行することができる。

映像データ復号化部２３０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、動き補償のための予測単位を決定し、予測単位ごとに動き補償を行うことができる。

映像データ復号化部２３０は、受信された現在予測単位の量子化された変換係数に対して、逆量子化及び逆変換を行い、現在ブロックの残差データを復元することができる。インター予測を介して符号化された現在予測単位に対して動き補償を行うことにより、現在予測単位を復元することができる。

映像データ復号化部２３０は、現在予測単位の候補動きベクトルリストを決定し、候補動きベクトルリストの複数候補予測単位のうち、第１候補ブロックの参照映像が、前記現在ブロックの参照映像と異なる場合、現在ブロックの参照映像と、第１候補ブロックの参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルを使用するか否かということを決定することができる。候補予測単位は、現在映像内で、現在予測単位に隣接する隣接予測単位であるか、またはコロケーティッド映像内のコロケーティッド予測単位でもある。

現在予測単位と、第１候補予測単位とのロングターム参照インデックスに基づいて、現在予測単位と、第１候補予測単位との参照映像がそれぞれショートターム参照映像またはロングターム参照映像であるかということが決定される。

現在予測単位の参照映像と、候補予測単位の参照映像とが、いずれもロングターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含められる。

現在予測単位の参照映像、及び第１候補予測単位の参照映像のうちいずれか一つがショートターム参照映像であり、残りの一つがロングターム参照映像である場合、候補動きベクトルリストにおいて、第１候補予測単位の動きベクトルを利用しないように決定される。

現在予測単位の参照映像と、第１候補予測単位の参照映像とが、いずれもショートターム参照映像である場合、候補予測単位の動きベクトルの大きさを調節し、候補動きベクトルリストに含められる。

映像データ復号化部２３０は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。

映像データ復号化部２３０は、受信した現在予測単位の参照インデックスが示すＰＯＣによって、現在予測単位の参照映像を決定することができる。参照映像が、ロングターム参照映像またはショートターム参照映像であるかということにかかわらず、参照インデックスは、ＰＯＣを示し、ＰＯＣが示す映像を参照映像として決定することができる。

現在予測単位の動きベクトルが、参照映像内で示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。
そ れにより、映像データ復号化部２３０は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む現在映像を復元することができる。それにより、映像が復元されることにより、映像シーケンスを含むビデオが復元される。また、復元された予測単位及び復元された映像は、他の予測単位及び映像の参照対象になりうる。

結局、ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図１１は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１１に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。

図１２は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

特に、動き推定部４２０は、予測単位併合（ＰＵ merging）またはＡＭＶＰのために、他の予測単位の動きベクトルを参照し、現在予測単位（パーティション）の動きベクトルを予測することができる。動き推定部４２０は、現在予測単位の候補動きベクトルリストの複数候補予測単位のうち、第１候補予測単位の参照映像が、現在予測単位の参照フレーム４９５と異なる場合、現在予測単位の参照フレーム４９５と、第１候補予測単位の参照映像とがそれぞれショートターム参照映像またはロングターム参照映像であるかということに基づいて、候補動きベクトルリストにおいて、第１候補予測単位の動きベクトルを使用するか否かということを決定することができる。

動き推定部４２０は、現在予測単位と、第１候補予測単位との参照映像のうち少なくとも一つが、ロングターム参照映像である場合、候補動きベクトルの大きさを調節する必要なしに、そのまま候補動きベクトルリストに含めるか、あるいは候補動きベクトルリストにおいて、第１候補予測単位の動きベクトルを利用しないように決定することができる。

動き推定部４２０は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、参照動きベクトルを利用して、現在予測単位の動きベクトルを予測して決定することができる。動き推定部４２０は、現在予測単位の参照フレーム４９５内で、現在ブロックの動きベクトルが示す参照ブロックを決定し、参照予測単位と、現在予測単位との残差データを生成することができる。それにより、動き推定部４２０は、予測単位別に残差データを出力することができる。

また、動き補償部４２５も、現在予測単位の候補動きベクトルリストの複数候補予測単位のうち、第１候補ブロックの参照映像が、現在ブロックの参照フレーム４９５と異なる場合、現在ブロックの参照フレーム４９５及び第１候補ブロックの参照映像のうち少なくとも一つが、ロングターム参照映像であるか否かということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルの大きさを調節せずに使用するか、あるいは全く除外するかということを決定することができる。

動き補償部４２５は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。

動き補償部４２５は、参照フレーム４９５内で、現在予測単位の動きベクトルが示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。

それにより、動き補償部４２５は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む現在映像を復元することができる。復元された予測単位及び映像は、他の予測単位及び映像の参照対象になりうる。

図１３は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用してイ、ンターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０において、映像データを復号化するため、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が遂行される。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

特に、動き補償部５６０は、現在予測単位の候補動きベクトルリストの複数候補予測単位のうち、第１候補ブロックの参照映像が、現在ブロックの参照フレーム５８５と異なる場合、現在ブロックの参照フレーム５８５及び第１候補ブロックの参照映像のうち少なくとも一つが、ロングターム参照映像であるか否かということに基づいて、候補動きベクトルリストにおいて、第１候補ブロックの動きベクトルの大きさを調節せずに使用するか、あるいは全く除外するかということを決定することができる。

動き補償部５６０は、候補動きベクトルリストに含まれた動きベクトルのうち最適の候補動きベクトルを選択し、参照動きベクトルを決定し、動きベクトルを利用して、現在ブロックの動きベクトルを予測して決定することができる。

動き補償部５６０は、現在予測単位の参照インデックスによるＰＯＣが示す参照フレーム５８５を決定し、参照フレーム５８５内で、現在予測単位の動きベクトルが示す参照予測単位を決定し、参照予測単位と現在予測単位との残差データを合成し、現在予測単位を復元することができる。

それにより、動き補償部５６０は、予測単位別に動き補償を行った結果、予測単位別に復元し、復元予測単位を含む復元映像を生成することができる。復元された予測単位及び復元映像は、他の予測単位及び映像の参照対象になりうる。

図１４は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によっても適応的に決定され、ユーザの要求によっても多様に設定される。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、及びサイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最下位深度の符号化単位であり、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わななければならない。

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位を一つ含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図１５は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同サイズの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１６は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して送ることができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２）、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場、合現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００の示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図１７は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ、及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１８、図１９及び図２０は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいが、あるいは同じである。

変換単位１０７０において、一部の変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が、符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図２１は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図２１を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２，３，…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」と、最小変換単位サイズを「ＭｉｎTransformSize」と、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」は、下記数式（１）のように定義される。

ＣｕｒｒＭｉｎTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズで「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」でもある。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズを、「ＰＵSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードが、イントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということに留意しなければならない。

図９ないし図２１を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、保存媒体に保存されるか、あるいはネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

説明の便宜のために、前述の図１ないし図２１を参照して説明した動きベクトル決定方法によるビデオ符号化方法は、「本発明のビデオ符号化方法」と呼称する。また、前述の図１ないし図２１を参照して説明した動きベクトル決定方法によるビデオ復号化方法は、「本発明のビデオ復号化方法」と呼称する。

また、前述の図１ないし図２１を参照して説明した動きベクトル決定装置１０、ビデオ符号化部７０、ビデオ復号化部８０、ビデオ符号化装置１００または映像符号化部４００によって構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と呼称する。また、前述の図１ないし図２１を参照して説明した動きベクトル決定装置１０、ビデオ復号化部８０、ビデオ復号化装置２００または映像復号化部５００によって構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」と呼称する。

一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について、以下詳細に説明する。

図２２は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として前述のディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（（登録商標）Blu-ray）ディスク、ＤＶＤ（digital versatile disc）でもある。ディスク２６０００は、多数の同心円のトラックＴｒで構成され、トラックＴｒは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００においる特定領域に、前述の動きベクトル決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２３を参照して説明する。

図２３は、ディスク２６０００を利用して、プログラムを記録して読み取るためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが読み取られ、プログラムがコンピュータシステム２６７００に伝送される。

図２２及び図２３で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。

図２４は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス供給者１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経てインターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２５に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されもする。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずみ、通信網１１４００に直接連結されもする。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）、ＣＤＭＡ（code division multiple access）、Ｗ−ＣＤＭＡ（wideband code division multiple access）、ＧＳＭ（（登録商標）global system for mobile communications）、及びＰＨＳ（personal handyphone system）の各方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送を行うことが可能である。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００に撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。

カメラ１２６００に撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。

また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００で、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画したコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号化して再生させ、個人放送（personal broadcasting）を可能にさせる。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。

図２５及び図２６を参照し、コンテンツ供給システム１１０００における携帯電話１２５００の一実施形態について詳細に説明する。

図２５は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張することができるスマートフォンでもある。

携帯電話１２５００は、無線基地局１２０００と、ＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロホン１２５５０、または他の形態の音響入力部とを含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されるか電子メール（Ｅ−mail）に受信されたり、あるいは他の形態で獲得されたビデオや静止映像と共に、符号化されたり復号化されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を、携帯電話１２５００に装着するためのスロット１２５６０を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。

図２６は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。

ユーザが電源ボタンを動作し、「電源ＯＦＦ」状態から「電源ＯＮ」状態に設定すれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random-access memory）を含む。

携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が、変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードであるとき、マイクロホン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。

データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。

データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述のビデオ符号化装置１００または映像符号化部４００のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロホン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して、送信信号に変換され、アンテナ１２５１０を介して送出される。

携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介してデジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を介して出力される。

データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述のビデオ復号化装置２００または映像復号化部５００のビデオ復号化方式を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。

それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、または本発明のビデオ復号化装置のみを含む受信端末機でもある。

本発明の通信システムは、図２５を参照して説明した構造に限定されるものではない。例えば、図２７は、本発明による通信システムが適用されたデジタル放送システムを図示している。図２７の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

具体的には、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-topbox）１２８７０または他のデバイスによって復号化されて再生される。

再生装置１２８３０で、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載されもする。

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的には、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。

図２８は、本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングタシステムのネットワーク構造を図示している。

本発明のクラウドコンピューティングタシステムは、クラウドコンピュータサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。

クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザに必要とされるサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源、を各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点で所望するほど選んで使用することができる。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００からクラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デストトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia aplayer）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器になる。

クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報、住所、氏名のような個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リスト、再生中の動画リスト、または再生中の動画の停止時点などを含んでもよい。

ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に、所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、前述の図２７を参照して説明した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機への選択によって、最初から再生したり、あるいは以前停止時点から再生するかということによって、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を、最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を停止時点のフレームからストリーミング伝送する。

そのとき、ユーザ端末機は、図１ないし図２３を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１ないし図２３を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１ないし図２３を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。

図１ないし図２１を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について図２２ないし図２８で説明した。しかし、図１ないし図２１を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図２２ないし図２８の実施形態に限定されるものではない。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims (4)

1. インター予測のための動きベクトル決定方法において、
   ビットストリームからパージングされたパーティションタイプについての情報を用いて符号化単位から分割された少なくとも一つの予測単位を決定する段階と、
   前記ビットストリームからパージングされた変換単位分割情報及び変換深度に基づいて前記符号化単位から分割された少なくとも一つの変換単位を決定する段階と、
   前記少なくとも一つの予測単位に含まれた現在予測単位の動きベクトルを予測するために参照される複数の候補ブロックのうち前記現在予測単位に空間的に隣接する候補ブロックの参照映像が前記現在予測単位の参照映像と同一映像であるかを決定する段階と、
   前記候補ブロックの参照映像が前記現在予測単位の参照映像と同一映像でない場合、前記候補ブロックの参照映像と前記現在予測単位の参照映像がそれぞれロングターム参照映像であるかを決定する段階と、
   前記候補ブロックの参照映像及び前記現在予測単位の参照映像が両方ロングターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングせずに空間的動きベクトル予測候補と決定する段階と、
   前記現在予測単位の参照映像及び前記候補ブロックの参照映像が互いに異なるショートターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングして前記空間的動きベクトル予測候補と決定する段階と、
   前記空間的動きベクトル予測候補を含む動きベクトル予測候補のうち前記現在予測単位の動きベクトル予測を決定する段階と、
   前記動きベクトル予測を用いて前記現在予測単位の動きベクトルを生成する段階と、
   を含み、
   映像は、複数の最大符号化単位で分割され、前記最大符号化単位は分割情報によって現在深度と下位深度のうち少なくとも一つを含む深度の符号化単位で階層的に分割され、
   前記分割情報が現在深度で分割されることを示す場合、前記現在深度の符号化単位は隣接符号化単位と独立して正方形の下位深度の符号化単位で４分割され、
   前記分割情報が前記現在深度で分割されないことを示す場合、前記現在予測単位を含む少なくとも一つの予測単位は前記現在深度の符号化単位から獲得され、
   前記少なくとも一つの変換単位は、前記現在深度の符号化単位と同じサイズのブロック及び前記現在深度の符号化単位の高さ及び幅を分割して獲得されたブロックのうち一つのブロックを含み、
   前記少なくとも一つの予測単位は、前記現在深度の符号化単位と同じサイズのブロック及び前記現在深度の符号化単位の高さ及び幅のうち少なくとも一つを分割して獲得されたブロックのうち一つのブロックを含み、
   前記ビットストリームからパージングされた最大符号化単位のサイズについての情報に基づいて前記最大符号化単位のサイズを決定する
   ことを特徴とする動きベクトル決定方法。
2. 前記動きベクトル決定方法は、
   前記現在予測単位の参照映像及び前記候補ブロックの参照映像のうち一つが前記ショートターム参照映像であり、残りの一つが前記ロングターム参照映像である場合、動きベクトル予測候補リストで前記候補ブロックの動きベクトルを利用しないように決定する段階、
   をさらに含むことを特徴とする請求項１に記載の動きベクトル決定方法。
3. 前記現在予測単位の参照映像及び前記候補ブロックの参照映像のうち一つが前記ショートターム参照映像であり、残りの一つが、前記ロングターム参照映像である場合に、前記候補ブロックによる動きベクトル予測候補を０と決定する段階、
   をさらに含むことを特徴とする請求項１に記載の動きベクトル決定方法。
4. インター予測のための動きベクトル決定装置において、
   ビットストリームからパージングされたパーティションタイプについての情報を用いて符号化単位から分割された少なくとも一つの予測単位を決定し、前記ビットストリームからパージングされた変換単位分割情報及び変換深度に基づいて前記符号化単位から分割された少なくとも一つの変換単位を決定する符号化情報抽出部と、
   前記少なくとも一つの予測単位に含まれた現在予測単位の動きベクトルを予測するために参照される複数の候補ブロックのうち前記現在予測単位に空間的に隣接する候補ブロックの参照映像が前記現在予測単位の参照映像と同一映像であるかを決定し、前記候補ブロックの参照映像が前記現在予測単位の参照映像と同一映像でない場合、前記候補ブロックの参照映像と前記現在予測単位の参照映像がそれぞれロングターム参照映像であるかを決定し、
   前記候補ブロックの参照映像及び前記現在予測単位の参照映像が両方ロングターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングせずに空間的動きベクトル予測候補と決定し、前記現在予測単位の参照映像及び前記候補ブロックの参照映像が互いに異なるショートターム参照映像である場合、前記候補ブロックの動きベクトルをスケーリングして前記空間的動きベクトル予測候補と決定し、前記空間的動きベクトル予測候補を含む動きベクトル予測候補のうち前記現在予測単位の動きベクトル予測を決定し、前記動きベクトル予測を用いて前記現在予測単位の動きベクトルを生成する映像データ復号化部と、
   を備え、
   映像は、複数の最大符号化単位で分割され、前記最大符号化単位は分割情報によって現在深度と下位深度のうち少なくとも一つを含む深度の符号化単位で階層的に分割され、
   前記分割情報が現在深度で分割されることを示す場合、前記現在深度の符号化単位は隣接符号化単位と独立して正方形の下位深度の符号化単位で４分割され、
   前記分割情報が前記現在深度で分割されないことを示す場合、前記現在予測単位を含む少なくとも一つの予測単位は前記現在深度の符号化単位から獲得され、
   前記少なくとも一つの変換単位は、前記現在深度の符号化単位と同じサイズのブロック及び前記現在深度の符号化単位の高さ及び幅を分割して獲得されたブロックのうち一つのブロックを含み、
   前記少なくとも一つの予測単位は、前記現在深度の符号化単位と同じサイズのブロック及び前記現在深度の符号化単位の高さ及び幅のうち少なくとも一つを分割して獲得されたブロックのうち一つのブロックを含み、
   前記ビットストリームからパージングされた最大符号化単位のサイズについての情報に基づいて前記最大符号化単位のサイズを決定する
   ことを特徴とする動きベクトル決定装置。

Images