JP5616984B2 - 画像復号化装置 - Google Patents

Description

本発明は、画像信号の符号化及びその符号化データの復号化に関する。

ITU-T H.264に代表される動画像符号化方式では、画面全体を１６画素×１６画素のマクロブロックと呼ばれる符号化単位に分割して符号化を行う。

H.264では、符号化対象のマクロブロックに対して、周辺の画素や前後のピクチャを用いて符号化対象マクロブロック内の画素値の予測値を決定し、符号化対象画素と予測値との予測誤差をエントロピー符号化する。

上記のマクロブロック内の画素値の予測の際には、周辺画素から予測するイントラ予測と、前後のピクチャの画素から予測するインター予測とを、マクロブロック内の絵柄に応じてマクロブロック毎に選択することができる。また、１６画素×１６画素よりも小さな予測ブロックに分割して予測を行うことができる。例えば、図2で示すように、H.264のイントラ予測では１６画素×１６画素のマクロブロックを、１６個の４画素×4画素の予測ブロックに分割し、個々の予測ブロックに対して図2のインデックス０から８に示す９種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。

また、図3で示すように、マクロブロックを分割せずに、１６画素×１６画素の予測ブロックで、図3のインデックス０から３で示される４種類の向きに周辺画素をコピーすることにより、予測ブロック内の画素を予測することができる。

また、H.264のインター予測に関しても同様にマクロブロック内で、より小さな予測ブロックに分割して個々の予測ブロックに対して動きベクトルを設定することができる。例えば、図4で示すように、過去のピクチャからの動きを予測する場合、１６画素×１６画素、１６画素×８画素、８画素×１６画素、８画素×８画素（この場合、さらに、個々の予測ブロックを８画素×４画素、４画素×８画素、４画素×４画素に分割可能）の予測ブロックに分割し、ここの予測ブロックに対してそれぞれ異なる動きベクトルを設定することができる。

上記のように、マクロブロックの内部を予測ブロックに分割して個々に予測を行うことにより、マクロブロック内に異なる絵柄の境界があるときなどで予測精度が向上し、圧縮率の向上につながる。

しかし、H.264に代表される従来技術では、マクロブロックのサイズが１６画素×１６画素以下に限定されており、これよりも大きなサイズを単位として予測することはできない。

また、イントラ予測かインター予測かの選択はマクロブロック単位でしか設定できないため、１６画素×１６画素よりも小さな単位でイントラ予測とインター予測とを選択することもできない。

そこで近年、マクロブロックのサイズそのものに柔軟性を持たせ、１６画素×１６画素よりも大きい、もしくは小さなサイズを単位として予測ブロックを設定する技術が開示されている（特許文献１、非特許文献１）。

特表２００７−５０３７８４号公報

Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124 April, 2010.

しかしながら、特許文献１及び非特許文献１に記載されるような動画像符号化におけるマクロブロックのサイズの拡大及び縮小は、そのマクロブロックのサイズ情報を記述するための情報量が増えてしまうため、圧縮率が低下するという課題があった。

本発明の目的は、マクロブロックの拡大及び縮小をともなう画像符号化・復号化処理において、マクロブロックのサイズ情報を記述するための情報量を削減することである。

上記課題を解決する手段を本願は複数含む。その代表例を挙げるならば、以下の通りである。

本発明の画像復号化装置は、CU分割部とCUサイズ格納部を備え、CUサイズ格納部には、格納される符号化対象ピクチャ内の符号化済みのCUのサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUのサイズ情報とを格納し、さらにCU分割部は、CUサイズ格納部に格納されたCUサイズ情報を用いて符号化対象位置のCUサイズを予測し、最終的な符号化対象CUのCUサイズを決定する。

本発明によれば、CUの拡大または縮小をともなう画像符号化・復号化処理において、CUのサイズを記述する情報量を削減することにより、圧縮率を向上させることができるようになる。

実施例１による画像符号化装置の概略構成を示す図である。 従来技術のイントラ予測処理の一例を説明するための図である。 従来技術のイントラ予測処理の一例を説明するための図である。 従来技術のインター予測処理の一例を説明するための図である。 CU分割の概念を説明するための図である。 ４分木構造のCU分割の一例を説明するための図である。 CU分割予測による符号化ストリーム内のシンタックスの一例を説明するための図である。 CU分割部（符号化装置内）の概略構成を示す図である。 分割予測処理の流れを示すフローチャートである。 イントラ分割予測処理の流れを示すフローチャートである。 イントラ分割予測処理を説明するための図である。 イントラ分割予測処理の一例を説明するための図である。 ピクチャ境界、スライス境界付近でのイントラ分割予測処理を説明するための図である。 分割予測方法の判定処理の流れを示すフローチャートである。 分割予測方法の判定処理の一例を説明するための図である。 インター分割予測処理の流れを示すフローチャートである。 インター分割予測処理の一例を説明するための図である。 インター分割予測処理の一例を説明するための図である。 実施例１による画像復号化装置の概略構成を示す図である。 CU分割部（復号化装置内）の概略構成を示す図である。 実施例２による符号化ストリーム内のシンタックスの一例を説明するための図である。

本発明は、原画像を符号化し、符号化された画像を復号化する画像符号化復号化技術で用いられる画像符号化装置及び画像復号化装置に関するものである。

この画像符号化装置は、CU分割部とCUサイズ格納部を備える。ここでCU(Coding Unit)とは符号化単位ブロックであり、従来技術のマクロブロックの概念に相当する。CUサイズ格納部には、格納される符号化対象ピクチャ内の符号化済みのCUのサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUのサイズ情報とが格納される。CU分割部は、CUサイズ格納部に格納されたCUサイズ情報を用いて符号化対象位置のCUサイズを予測し、最終的な符号化対象CUのCUサイズを決定する。

この画像符号化装置が出力する符号化ストリームには、個々の符号化対象CUに対し、予測されたCUサイズと一致するかしないかのフラグ情報が格納される。このフラグ情報が１（予測サイズと一致する）の場合には、CUサイズ情報は符号化ストリーム内に含まれない。一方、フラグ情報が０（予測サイズと一致しない）の場合には、CUサイズ情報は符号化ストリーム内に含まれる。いいかえると、予測するモード（１）と符号化ストリームからCUサイズ情報を取り出すモード（０）とを示すフラグが符号化ストリームに入っている。

画像復号化装置は、CU分割部とCUサイズ格納部を備える。CUサイズ格納部には、格納される符号化対象ピクチャ内の復号済みのCUサイズ情報と、予測に用いられる前後のピクチャにおける全てのCUサイズ情報とを格納する。CU分割部は、上記符号化ストリーム内に含まれるフラグ情報が１（予測サイズと一致する）の場合、符号化ビットストリームからCUサイズ情報を取り出そうとせずに、CUサイズ格納部に格納されたCUサイズ情報を用いて復号化対象位置のCUサイズを予測し、最終的な復号化対象CUのCUサイズを決定する。上記符号化ストリーム内に含まれるフラグ情報が０（予測サイズと一致しない）の場合、符号化ストリーム内に含まれるCUサイズ情報により復号化対象CUのCUサイズを決定する。

このような画像符号化装置と画像復号化装置の詳細な構成を、以下の実施例で説明する。なお、本発明はこの実施例のみに限定されるものではない。

＜画像符号化装置の構成＞
図1は、実施例１による画像符号化装置の概略構成を示す図である。図1に示す通り、この画像符号化装置は、符号化済みCUサイズ情報が格納されているCUサイズ格納部116と、CUサイズ格納部116に格納される符号化済みCUサイズ情報を基に、入力画像114のうちの符号化対象CUとすべきCUサイズを予測し、CUサイズを決定するCU分割部100と、予測画像が格納される予測画像格納部107と、予測画像格納部107に格納される予測画像と入力画像114との予測差分画像を生成する差分器101、前記予測差分画像をＤＣＴなどの直交変換を行う変換部102、変換後の信号を量子化する量子化部103、量子化後の信号を符号化する可変長符号化部104を有し、符号化ストリーム115を出力する。CU分割部100におけるCUサイズ予測処理については後述する。

この動画像符号化装置は、予測画像を生成するために２系統の予測処理系統を有する。第１の系統はインター予測によるもので、次の入力画像のための参照画像を得るため、量子化部103で出力された量子化信号を逆量子化する逆量子化部109、逆量子化信号を逆変換して予測差分画像を得る逆変換部108、逆変換後の予測差分画像と予測画像格納部107からの予測画像を加算する加算器111、加算後の画像からブロックノイズを除去した参照画像を得るデブロック処理部112を有する。そして、得られた参照画像を格納する参照画像格納部113、参照画像格納部113に格納される参照画像と入力画像114との間の動き予測を行うインター予測部106を有する。第２の系統はイントラ予測によるもので、入力画像114から画面内予測を行うイントラ予測部105を有する。

予測モード決定部110では上記２系統の予測処理系統、すなわち、インター予測部106からのインター予測画像及びイントラ予測部105からの画面内予測画像のうち、最も予測効率が高いとして評価された予測画像を選択する。予測効率の評価指標としては、予測誤差エネルギーを用いたが、近傍のCUの予測方式（画面間予測か画面内予測か）との類似性を考慮して予測画像（すなわち予測モード）を用いてもよい。選択された予測画像は予測画像格納部113に格納され、入力画像114との予測差分画像を生成するために用いられる。なお、予測モード決定部110で選択した予測モード（インター予測とイントラ予測の種別と、予測単位ブロックのサイズの組み合わせ）に関する情報は可変長符号化部104に送られ、符号化ストリーム115の一部に格納される。

本実施例では、CU分割部100とCUサイズ情報格納部116を有する構成に特徴があり、以下詳細に説明する。

＜CU分割部の処理内容（符号化側）＞
以下、図面を参照して、CU分割部100の処理内容について詳細に説明する。

図5は、CUの概念を説明する図である。本実施例では従来技術のマクロブロックに相当する符号化処理単位ブロックを、CU（Coding Unit）と記す。本実施例においてCUに対して以下のような性質を有するものとするが、この性質に限定されるものではない。
（１）CUを正方形とする。（CUを長方形としてもよい。）
（２）CUの最大サイズと最小サイズとが符号化ストリーム中に記載されるか、規格として定義されることにより符号化側と復号化側とで共有されるものとする。
（３）４分木構造によって最大CUを3回階層的に４分割可能と（全4階層の木構造）する。（適用できる木構造と階層を一般化すると、ｍ分木構造（ｍ＝任意整数）、ｎ階層（ｎ＝2以上の整数）となる。）
図5において、最大サイズのCUをLCU(Largest Coding Unit)と記し、そのサイズ（LCUの縦もしくは横方向の画素数）をLCU sizeと記す。なお、本実施例ではLCU sizeは２のべき乗とするが、これに限定されない。

図5で示すように、一つのピクチャはLCU単位で分割される。連続するLCUの集まりをスライスと定義する。この概念は従来技術のマクロブロックに相当する。個々のLCUは４分木構造により階層的になっている。

図6は４分木構造により構成されたCU分割の一例を示す図である。同図で示すようにLCUが4つのCU₀、CU₁、CU₂、CU₃に分割されている。CU₀は分割されず最終的にCUとして確定している。CU₁はCU₁₀、CU₁₁、CU₁₂、CU₁₃に、CU₂はCU₂₀、CU₂₁、CU₂₂、CU₂₃に、CU₃はCU₃₀、CU₃₁、CU₃₂、CU₃₃にそれぞれ４分割されている。これらのうち、CU₁₁がさらに、CU₁₁₀、CU₁₁₁、CU₁₁₂、CU₁₁₃に、CU₁₂がCU₁₂₀、CU₁₂₁、CU₁₂₂、CU₁₂₃へ、CU₃₀はCU₃₀₀、CU₃₀₁、CU₃₀₂、CU₃₀₃へそれぞれ４分割されており、それ以外のCUは最終的にCUとして確定している。このようにLCUから階層的に４分割していき、CUのサイズが最小サイズになるまで分割を行うことができる。

上記の４分木構造の場合、最大サイズ／最小サイズの比が2^N（２のN乗）であった場合に、従来技術のように個々のCUを分割するかしないかのフラグを1bitで表記するとした場合、個々のLCUに対して最大(4^N)bitの情報量を要することとなる。このため、CUの最大サイズと最小サイズの比が大きくなるほど、CUのサイズ情報を示すための情報量が大きくなる。

そこで、本実施例では、個々のCUに対して、周囲のCU（空間的に周囲のCU）や前後ピクチャのCU（時間的に周囲のCU（Co-located Cuとその周囲のCU））のサイズ情報を用いて、現CUを４分割するかしないかの予測を行い、この予測結果に従って分割することを特徴とする。これによりCUのサイズ情報、すなわち上記のフラグが不要となるため、情報量の削減が期待できる。

図7を用いて本実施例におけるCUの符号化ストリームのシンタックスの一例を説明する。同図中、currCUSizeは符号化対象CUのサイズ（1辺の画素数）、関数coding_unit()は、(x0,y0)の画素位置かつ、currCUSizeが示すサイズのCUの符号化シンタックスを示している。なお、PicWidthはピクチャ幅（画素数）、PicHeightはピクチャ高（画素数）、MinCUSizeはCUの最小サイズである。

use_pred_split_flagは、現LCUに対し、予測したCU分割パターンを適用する(「1」)か否(「0」)かで示される１ビットのフラグであり、現CUがLCUである場合にのみ格納される（L700）。

use_pred_split_flagが１の場合には、pred_split_flagをsplit_flagに代入する(L701)。ここでpred_split_flagは、現CUを分割する(1)か否か(0)の予測値を示すフラグ、split_flagは現CUを分割する(1)か否か(0)を示すフラグであり、いずれも1ビットで表現される。すなわちuse_pred_split_flagが１の場合は、予測した分割パターンによって現CUを分割するため、split_flagの情報が不要となる。現CUを分割するか否かの予測方法は後述する。

もしも、use_pred_split_flagが０の場合には、split_flagの1ビットの情報を符号化ストリームに格納する(L702)。

split_flagが１の場合、現CUは4分割される。この場合、分割CUのサイズsplitCUSizeは、現CUのサイズcurrCUSizeの1/2とし、横方向の分割位置x1と、縦方向の分割位置y1とをそれぞれ、x1 = x0 + splitCUSize、y1 = y0 + splitCUSizeとする（L7203）。そして、４つの分割CU（CU₀〜CU₃）が、coding_unit()を再帰的に呼び出すことによって格納される（L704〜L707）。個々の４つの分割CU内でも、同様にuse_pred_split_flagかsplit_flagによって、さらに分割を行うかどうか指定される。このような再帰呼び出しがCUサイズがMinCUSize以上である限り行われる。

もしも、split_flagが０の場合には、このCUが符号化単位として確定し、符号化の主な処理である、予測処理の情報(関数prediction_unit())(L708)と、予測誤差の直交変換情報(関数transform_unit())(L709)とが格納される。予測処理や直交変換処理の詳細については、省略する。

＜ブロック分割部の処理内容＞
次に、実施例１によるブロック分割部100の処理内容について説明する。ブロック分割部100は、ピクチャ内の各LCU内の分割パターンを、その周辺のCUサイズや前後のピクチャのCUサイズを用いて予測することにより決定する。
（１）処理全体の概要
図8は、ブロック分割部100の構成を示す図である。

ブロック分割部100は、分割決定部800と分割予測部801とを有する。分割決定部800は、入力画像114を元に最適なブロック分割パターンを決定する。そして、分割予測部801で予測されたブロック分割パターンと、最適なブロック分割パターンとを比較し、予測されたブロック分割パターンを用いるか、別のブロック分割パターンを用いるかを決定する。
（２）分割決定部の概要
分割決定部800では、まず入力画像114を元に最適なCU分割パターンを決定する。本実施例では最適なCU分割パターンの決定方法は限定しないが、例えば特許文献１で示されるように、あるCUに対し、分割した場合の分散を計算し、閾値判定を行うことにより、分割するかしないかを決定していくことで最適な分割パターンを決定する方法をとることができる。もしくは多大な演算処理量を許容される場合には、全ての分割パターンで予測処理を行い、予測誤差が最小となるように、最適な分割パターンを決定してもよい。

次に、分割予測部801で予測されたブロック分割パターンを評価し、予測されたCU分割パターンを分割パターンとするか、上記の最適な分割パターンを分割パターンとするかのいずれかを判定する。

この判定方法の一例としては、予測ブロックのパターンと最適ブロックパターンとで、分割の有無が異なる場合、その分割CUの分散値を閾値評価し、分割するかしないかを決定することで、いずれかを選択するという方法が挙げられる。
（３）分割予測部の詳細
分割予測部801におけるCU分割予測処理について以下に説明する。

図9は、分割予測処理の流れを示すフローチャートである。CUの分割パターンの予測方法としては、同一ピクチャ内の周囲の符号化済CUのサイズ情報を用いるイントラ分割予測と、前後のピクチャの符号化済CUのサイズ情報を用いるインター分割予測方法とに分けられる。

図9においてステップS900にて分割予測処理を開始後、ステップS901にて、現在のピクチャがIピクチャか否かを判定する。もしも、Iピクチャであった場合、CUは全て、後述するイントラ分割予測処理を行う（ステップS902）。もしも、Iピクチャ以外（PピクチャやBピクチャ）であった場合は、後述する分割判定予測処理を行うかの判定を行う（ステップS903）。ステップS903においてイントラ分割予測と判定された場合には、イントラ分割予測を行う（ステップS902）。ステップS903において、インター分割予測と判定された場合には、インター分割予測を行い（ステップS905）、分割予測処理を終了する（ステップS906）。
（４）イントラ分割予測（ステップS902）の詳細
次に、図9中のステップS902における、イントラ分割予測処理について図10を用いて説明する。ステップS902における処理は、以下のフローが実行される。

まず、LCUから分割判定処理を行う。このためステップS1001において現在のCUサイズcurrCUSizeをLCUのサイズに設定する。次に、currCUSizeであるCUの全てに対して、後述するイントラ分割判定処理（ステップS1003）を行う。その後、currCUSizeを1/2にする（ステップS1004）。もしも、currCUSizeがCUの最小サイズMinCUSizeよりも大きければ（ステップS1005）、ステップS1002に戻り、全てのcurrCUSizeのサイズのCUに対して後述するイントラ分割判定処理（ステップS1003）を行う。もしも、currCUSizeがCUの最小サイズMinCUSize以下であれば、これ以上の分割処理は行わず、イントラ分割予測処理を終了する（ステップS1006）。

次に図11と図12を参照して、イントラ分割判定処理（ステップS1003）の一例を説明する。図11は、本実施例1における符号化対象のCUと、イントラ分割判定処理を行うために参照されるCUの位置関係を示している。同図に示すように、符号化対象CU（X）の、左CU（同図中A）、上CU（同図中B）、左上CU（同図中C）の３つの同一サイズのCUを参照し、符号化対象CU（X）の分割の有無を判定する。本実施例、ではこの符号化対象CU（X）の分割の有無を判定する方法として、左CU、上CU、左上CUがそれぞれ分割されているかの有無を判定し、多い方を符号化対象CUに適用する、という方法を採用したが、周囲の符号化済のCUの分割の有無を用いて判定を行うことができれば他の方法でもかまわない。

図12を用いて、ステップS902におけるイントラ分割予測の具体例を説明する。まず、あるLCUとその周囲の同一サイズのCU（すなわちLCU）が、同図（A）で示される分割状態であり、LCUSize=32、MinCUSize=8であるとした。

図12（A）の場合、符号化対象CUの左と左上のLCUが分割され、上のLCUが分割されていない。そこで上記で述べた多数決により、符号化対象CUを分割する（同図（B））。CUサイズが32のCUはLCU唯一であるため、currCUSizeを1/2してcurrCUSize=16(図10中ステップS1004)とする。currCUSize=16はMinCuSize=8よりも大きいため（図10中ステップS1005）、CUサイズが16のCUの処理を開始する（図10中ステップS1002、S1003）。

図12（B）にて、分割された符号化対象CUの左上CU（CUサイズ=16）を次の符号化対象CUとする。図12（C）にて、符号化対象CUは、左CUと左上CUとが分割されているので、多数決により、「分割する」と判定されている。そして、符号化対象CUをラスタスキャン順で右に移動する。

次に、図12（D）にて、符号化対象CUは、左CUが分割され、左上CUと上CUとは分割されていないため、多数決により、「分割しない」と判定されている。そして、符号化対象CUをラスタスキャン順で左下に移動する。

次に図12（E）にて、符号化対象CUは、左CUが非分割、左上CUと上CUとは分割されているため、多数決により、「分割する」と判定されている。そして、符号化対象CUをラスタスキャン順で右下に移動する。

次に図12（F）には、符号化対象CUは、左CUと左上CUとが分割され、上CUが非分割であるため、多数決により、「分割する」と判定されている。

CUサイズが16のCUはこれ以上存在しない（図10中ステップS1002）ため、currCUSizeを1/2してcurrCUSize=8(図10中ステップS1004)とする。currCUSize=8はMinCuSize=8と等しいため（図10中ステップS1005）、イントラ分割予測処理を終了する。

以上のような流れにより、イントラ分割予測処理により、符号化対象LCUの周囲のLCUのサイズ情報から、符号化対象LCUの分割パターンを予測することができる。

上記の例は、符号化対象LCUの左、左上、上の3つのCUが全て存在する場合について説明したが、ピクチャ境界やスライス境界では、上記のイントラ分割予測のために3つ全てのCUが参照することができない場合がある。

図13は、ピクチャ境界やスライス境界においてイントラ分割予測のために用いるLCUを説明するための図である。ここでは、スライスとは連続するLCUの集合であり、異なるスライスに跨って予測をしないこととした。ただし、必ずしも跨って予測をしてはいけないわけではない。

図13中、Pで示される位置（左、上、左上にＬＣＵが無い場合）のLCUは、左LCU、上LCU、左上LCUのいずれも存在しない。このためPの位置のLCUではイントラ分割予測は行わない。

図13中、Qで示される位置（上のＬＣＵが無い場合）のLCUは、上LCUと左上LCUが存在しない。このためQの位置のLCUでは左LCUの分割パターンのみを用いてイントラ分割予測を行う。

図13中、Rで示される位置（左、上、左上のいずれにもＬＣＵが無い場合）のLCUは、左LCUと左上LCUが存在しない。このためRの位置のLCUでは上LCUの分割パターンのみを用いてイントラ分割予測を行う。

図13中、Sで示される位置のLCUは、左上LCUが存在しない。このためSの位置のLCUでは左LCUと上LCUの分割パターンを用いてイントラ分割予測を行う。ただし、LCUの左上に位置するCU（CUサイズはLCUSize/2）では、上LCUと左LCUの２つしか参照できないため、双方の分割パターンが異なる場合には多数決をとることができない。このような場合には、どちらの分割パターンを用いるかを予めルール付けしておく（本実施例では、左LCUを優先する）。
（５）分割予測方法判定（ステップS903）の詳細
次に、図9中のステップS903における、分割予測方法判定処理について説明する。ステップS903における処理は、以下のような流れで実行される。

図14は、分割予測方法判定（ステップS903）処理の流れを示すフローチャートである。

あるLCUの分割予測方法判定処理が開始されると（ステップS1400）、まず、このLCUに隣接する全てのCUの予測モード情報を取得する。図15は、予測モード情報の取得処理を説明するための図である。同図中、イントラ予測が行われているCUは‘I’、前方向のインター予測が行われているCUは‘P’、双方向のインター予測が行われているCUは‘B’と記されている。これらのCUのサイズは異なっていても良いが、予測モードの数をカウントする際には同じCUサイズに換算してカウントする。例えば、同図中では、８画素×８画素のCUではIが1つ、Pが２つ存在する。１６画素×１６画素のCUではPが２つ、Bが1つ存在する。このようにCUサイズが異なる場合は、８画素×8画素のCUの数に換算し、１６画素×１６画素のCUの２つのPは、８画素×８画素のCUでは４つのPと換算する。同様に、１６画素×１６画素のCUの１つのBは、８画素×８画素のCUでは２つのBと換算する。

次に、図14中、ステップS1402においてインター予測モード数とイントラ予測モード数の比較を行う。上記の例では、IのCUがイントラ予測モード、P、及びBのCUがインター予測モードであるため、インター予測モード数が８、イントラ予測モード数が１と得られる。そして、ステップS1402にて、イントラ予測モード数がインター予測モード数以上であれば、分割予測方法として、イントラ分割予測を選択する（ステップS1403）。イントラ予測モード数がインター予測モード数未満であれば、分割予測方法として、インター分割予測を選択する（ステップS1404）。

すなわち、分割予測方法判定処理（ステップS903）においては、周囲のCUがイントラ予測モードが選択されているか、インター予測モードが選択されているかの情報を収集し、多い方の予測モードに合わせて、分割予測方法を選択している。ただし、上記の選択方法は一例であり、周囲のCUの情報を参照して、符号化対象LCUの分割予測方法を決めることができれば、他の選択方法でもよい。また、周囲のCUの情報のみならず、前後のピクチャのCUの情報を参照して、符号化対象LCUの分割予測方法を決めてもよい。
（６）インター分割予測（ステップS905）の詳細
次に、図16を用いて、図9中のステップS905における、インター分割予測処理について説明する。ステップS905における処理は、以下のフローで実行される。

まず、LCUから分割判定処理を行う。このためステップS1601において現在のCUサイズcurrCUSizeをLCUのサイズに設定する。次に、currCUSizeであるCUの全てに対して、後述するインター分割判定処理（ステップS1603）を行う。その後、currCUSizeを1/2にする（ステップS1604）。もしも、currCUSizeがCUの最小サイズMinCUSizeよりも大きければ（ステップS1605）、ステップS1602に戻り、全てのcurrCUSizeのサイズのCUに対して後述するインター分割判定処理（ステップS1603）を行う。もしも、currCUSizeがCUの最小サイズMinCUSize以下であれば、これ以上の分割処理は行わず、インター分割予測処理を終了する（ステップS1606）。

次に、図17を参照して、インター分割判定処理（ステップS1603）の一例を説明する。同図(A)では符号化対象LCUにおいて、周囲の符号化済の動きベクトルを基に符号化対象LCUの動きベクトルを予測し、この予測された動きベクトルをPMVと記している。同図(A)では、矢印が動きベクトルを表しており、矢印に括弧で付記された（F）は前方ピクチャを参照する動きベクトル、（B）は後方ピクチャを参照する動きベクトルであることを表す。なお、同図(A)では、CU内部のインター予測処理においては、CUをさらに縦横比で２×２、２×１、１×２の予測単位に分割し、個々の予測単位にて動きベクトルを設定できるようになっている。ただし、この予測単位の分割の規則は一例である。同図(A)では、CU(P₀)、CU(P₁)、CU(P₂)は８画素×８画素の予測単位で動きベクトルが設定されている。CU(P₃)は８画素×１６画素の予測単位で前ピクチャを参照する動きベクトルが設定されている。CU(B₀)は１６画素×１６画素の予測単位で双方向予測が行われており、前方ピクチャを参照するベクトルと、後方ピクチャを参照するベクトルとが設定されている。

同図(A)に示すような周囲CUの動きベクトルから、符号化対象LCUの動きベクトルを予測する方法の一例としては、周囲CUの動きベクトルのうち、前方参照か後方参照かのいずれかの参照方向を選択し、選択された参照方向の動きベクトルの中央値を予測値とする方法が挙げられる。すなわち、同図(A)の例では、Pと記された前方ピクチャ参照の動きベクトルの方が多いため、PMVとしては前方ピクチャ参照方向と選択する。そして、CU(P₀)、CU(P₁)、CU(P₂)、CU(P₃)、CU(B₀)の前方ピクチャを参照する動きベクトルの全てのうち、その中央値をPMVとする。すなわち、全ての動きベクトルのX成分の中央値と、Y成分の中央値との組をPMVとする。この際、動きベクトルの予測単位のサイズを考慮してもよい。すなわちCU(P₀)からCU(P₃)は８画素サイズの予測単位で符号化対象LCUに隣接しているが、CU(B₀)は１６画素サイズの予測単位で符号化対象LCUに隣接している。このため、CU(B₀)における動きベクトルは、８画素サイズの予測単位の動きベクトルが２個存在するものと解釈してもよい。

上記の例では、中央値によってPMVを決定したが、例えば、全ての動きベクトルの平均を求め、これをPMVとしてもよい。PMVの決定方法としては周囲の符号化済CUの動きベクトルから一意に求めることができる方法であれば、他の方法を用いてもよい。

同図(B)は、上記のように決定された符号化対象LCUのPMVを用いて、符号化対象LCUの分割を行うか否かを予測する方法の一例を示している。同図では、LCUの中心座標を(X₀,Y₀)とし、(X₀,Y₀)位置からPMVの分だけ移動した位置（以降、参照位置と記す）の、参照ピクチャ上の位置の画素が含まれるCUのサイズを参照する。この参照位置のCUサイズが、符号化対象のCUのサイズよりも小さければ分割すると判定する。参照位置のCUサイズが、符号化対象のCUのサイズ以上であれば分割しないと判定する。同図(B)では現ピクチャのLCUの参照位置は、参照ピクチャ上ではLCUサイズよりも小さいサイズに分割されている（同図(B)中、濃いグレーの部分）。このため符号化対象LCUを分割する、と判定する。なお、参照ピクチャにおけるCUサイズ情報は、ブロックサイズ格納部116に格納されている。

図18を参照して、分割されたCU（LCUよりも小さいサイズのCU）について、インター分割判定処理（ステップS1603）を適用する場合の一例を説明する。

同図の例では、上記で決定された符号化対象LCUのPMVを用いて、個々の分割CUの、PMVによる参照位置のCUサイズを参照して、個々のCUをさらに分割するか否かを決定する。すなわち個々の分割CUの中心座標をそれぞれ(X₁₀,Y₁₀)、(X₁₁,Y₁₁)、(X₁₂,Y₁₂)、(X₁₃,Y₁₃)とし、それぞれの中心座標からPMVだけずれた参照位置のCUサイズを参照し、上記のLCUにおける判定と同様に、個々の分割CUをさらに分割するか否かを判定する。

もしも、上記PMVによる参照位置がピクチャの外部を示している場合には、近傍の画素位置に置き換えればよい。例えば、参照位置のX座標が0未満、もしくは最大値(PicWidth-1)以上であれば、参照位置のX座標をそれぞれ0、もしくはPicWidth-1と置き換えればよい。同様に、参照位置のY座標が0未満、もしくは最大値(PicHeight-1)以上であれば、参照位置のY座標をそれぞれ0、もしくはPicHeight-1と置き換えればよい。

以上により、インター分割予測（ステップS905）では、隣接する符号化済みCUの動きベクトル情報を参照して符号化対象LCU内部の分割パターンを予測する。なお、上記で述べた予測方法は一例であり、隣接する符号化済みCUの動きベクトル情報を用いた予測方法であれば、適用可能である。また、動きベクトルをゼロとみなし、符号化対象CUと同一な参照位置におけるCUサイズを参照してもよい。

以上により、本実施例による画像符号化装置におけるブロック分割部100では、周囲のCUや参照ピクチャ上のCUの情報を参照して、符号化対象LCUの分割パターンを予測し、この予測パターンにより符号化対象LCUが分割されている場合には、その旨を示すフラグ情報のみを符号化ストリームに格納する。これにより、符号化対象LCUの分割パターン情報を削減することで、圧縮率の向上が実現できる。

＜画像復号化装置の構成＞
図19は、実施例１の画像復号化装置の概略構成を示す図である。図19において、画像復号化装置は、符号化ストリーム1900を入力とし、これを復号する可変長復号化部1901と、CUサイズ格納部1903に格納される符号化済みCUサイズ情報を基に符号化対象CUのCUサイズを予測し、CUサイズを決定するブロック分割部1902と、前記CU内の、変換量子化された予測誤差画像を逆量子化する逆量子化部1904と、逆量子化部1904で逆量子化されることで得られた変換された予測画像を逆変換して予測誤差画像を出力する逆変換部1905と、予測画像格納部1910に格納される予測画像と、逆変換部1905から出力される予測誤差画像とを加算する加算器1906と、加算結果の画像に対してデブロック処理を行うデブロック処理部1907を有し、出力画像1913を出力する。

実施例１の動画像復号化装置は、上記の予測画像を生成するために、2系統の予測処理系統を有する。第一の系統はイントラ予測によるもので、CU単位で逐次格納される復号済みCUの画像信号（デブロック処理前）を用いてイントラ予測を行うイントラ予測部1908を有する。第二の系統はインター予測によるもので、出力画像を格納する参照画像格納部1911と、参照画像格納部1911に格納される参照画像と、可変長復号部1901で復号された動きベクトルを用いて動き補償を行い、インター予測画像を得る、インター予測部1912を有する。予測選択部1909では、可変長復号化部1901で復号された予測モード情報に従い、上記の2系統のうちのどちらかで生成された予測画像を選択し、予測画像格納部1909に格納する。

＜CU分割部の処理内容（復号化側）＞
以下、図面を参照して画像復号化側のCU分割部1902の処理内容について説明する。

図20は、CU分割部1902の内部構成を示す図である。分割決定部2000は、可変長復号部1901で復号されたCU分割情報に基づいて、符号化対象LCU内の分割パターンを決定する。CU分割情報の具体例としては、図7におけるuse_pred_split_flagとsplit_flagの情報が挙げられる。もしも、use_pred_split_flagが0の場合は、split_flagの情報に従い、split_flagが１のときは符号化対象CUを分割する、split_flagが０のときは符号化対象CUを分割しない。

もしも、use_pred_split_flagが１の場合は、分割予測部2001にて符号化対象CUの分割パターンを予測する。分割予測部2001における処理内容は、符号化装置における分割予測部801と同様であるため、説明を省略する。また、CUサイズ格納部1903も、符号化装置におけるCUサイズ格納部116と同様の機能を有する。

可変長復号化部1901では、分割決定部2000にて決定された分割有無パターンに基づいて符号化対象CUの可変長復号処理を行う。

以上により、本実施例による画像復号化装置におけるCU分割部1902では、符号化ストリームのフラグ情報に従い、周囲のCUや参照ピクチャ上のCUの情報を参照して、符号化対象LCUの分割パターンを予測する。これにより符号化ストリーム中における符号化対象LCUの分割パターン情報を削減できるため、圧縮率の向上が実現できる。

本発明の実施例２による画像符号化装置では、符号化対象LCUの分割パターンを予測する際、イントラ分割予測を行うか、インター分割予測を行うかの情報を符号化ストリーム中に含める点が実施例１と異なる以外は、実施例１と同様である。

図21に示す符号化ストリームでは、実施例１の符号化ストリームと比べ、use_intra_split_pred_flagの1bit情報が付与されており、このuse_intra_split_pred_flagが１の場合は、イントラ分割予測を行う、use_intra_split_pred_flagが０の場合は、インター分割予測を行うことを意味する。

また、実施例２による画像復号装置では、実施例１におけるCU分割部1902内の分割予測部2001においては、use_intra_split_pred_flagのフラグに従ってイントラ分割予測とインター分割予測処理を切り替えればよい。このため、実施例１と比べて、図14で示される分割予測方法判定処理を簡略化しながらも、同様な情報量削減を実現できる。

実施例２による画像符号化装置は、実施例１と同様な分割予測方法判定処理（図14）を行い、符号化ストリーム中のuse_intra_split_pred_flagに判定結果を格納すればよい。

＜まとめ＞
以上のように、符号化対象CUに隣接する符号化済みCUのサイズ情報や、前後の符号化済みCUのサイズ情報を基に符号化対象CUのCUサイズを予測し、符号化対象CUのサイズが予測したサイズと一致した場合には、画像符号化装置はCUのサイズ情報を送らずに、画像復号化装置で同様の予測処理を行うことによりCUサイズを復元することにより、情報量を削減することができる。

なお、実施例１、実施例２の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し、システムや装置の制御部と協調することにより機能を実現する。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。

また、前述した機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

100…CU分割部
116…CUサイズ格納部
105…イントラ予測部
106…インター予測部
102…変換部
103…量子化部
104…可変長符号化部
800…分割決定部
801…分割予測部
1901…可変長復号化部
1902…CU分割部
1903…CUサイズ格納部
1904…逆量子化部
1905…逆変換部
1908…イントラ予測部
1909…インター予測部
2000…分割決定部
2001…分割予測部

Claims (11)

1. 入力された符号化ストリームを可変長復号化し、符号化単位で逆量子化、逆変換して予測差分画像とし、予測画像と加算して画像を出力する動画像復号化装置において、
   前記符号化単位の分割サイズを決定するＣＵ分割部と、
   前記符号化単位の分割サイズを格納するＣＵサイズ格納部と、を備え、
   前記ＣＵ分割部は、前記ＣＵサイズ格納部に格納された復号化済みの符号化単位のサイズ情報を用いて復号化対象の符号化単位の分割サイズを予測するものであり、
   前記ＣＵ分割部は、前記復号化対象がＰピクチャまたはＢピクチャである場合には、前または後または双方のピクチャの復号化済みの符号化単位のサイズ情報を用いて前記復号化対象である符号化単位の分割サイズを予測する、インター分割予測処理を行うことを特徴とする画像復号化装置。
2. 請求項１において、
   前記ＣＵ分割部は、前記復号化対象である符号化単位がＩピクチャである場合、前記復号化対象である符号化単位があるピクチャ内の、前記復号化対象である符号化単位に隣接する復号化済みの符号化単位のサイズ情報を用い、分割サイズを予測するイントラ分割予測処理を行うことを特徴とする画像復号化装置。
3. 請求項２において、
   前記復号化対象である符号化単位に隣接する復号化済みの符号化単位は、前記復号化対象の符号化単位の上、左、斜め上に隣接する符号化単位を含むことを特徴とする画像復号化装置。
4. 請求項３において、
   前記隣接する復号化済み符号化単位が複数ある場合に、それぞれの符号化単位におけるサイズ情報から多数決で前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
5. 請求項４において、
   前記復号化対象である符号化単位の左、上、左上に最大分割符号化単位がいずれにもない場合、前記復号化対象である符号化単位に対して、イントラ分割予測を用いずにサイズ情報を決めることを特徴とする画像復号化装置。
6. 請求項４において、
   前記復号化対象である符号化単位の左に最大分割符号化単位があるが、前記復号化対象である符号化単位の上と左上に最大分割符号化単位がない場合、
   前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の左にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
7. 請求項４において、
   前記復号化対象である符号化単位の上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左と左上に最大分割符号化単位がない場合、
   前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
8. 請求項４において、
   前記復号化対象である符号化単位の左、上に最大分割符号化単位があるが、前記復号化対象である符号化単位の左上に最大分割符号化単位がない場合、
   前記復号化対象である符号化単位に対して、前記復号化対象である符号化単位の左および上にある最大分割符号化単位のサイズ情報を用いて前記復号化対象である符号化単位のサイズ情報を決めることを特徴とする画像復号化装置。
9. 請求項８において、
   前記復号化対象である符号化単位の左にある最大分割符号化単位のサイズ情報を用いることを特徴とする画像復号化装置。
10. 請求項１において、
    前記復号化対象である前記符号化単位がＰピクチャであり、インター分割予測を選択した場合、前方向のみ参照することを特徴とする画像復号化装置。
11. 請求項１において、
    前記復号化対象である前記符号化単位がＢピクチャであり、インター分割予測を選択した場合、前方向と後方向を参照し、前方向を参照する動きベクトルまたは後方向を参照する動きベクトルの多数ある方で参照方向を決定し、この決定した参照方向の複数ある動きベクトルの中から選択された動きベクトルで参照する画素が含まれる符号化単位のサイズ情報を前記復号化対象である符号化単位のサイズ情報とすることを特徴とする画像復号化装置。