JP5422124B2 - 参照ピクチャ選択方法、画像符号化方法、プログラム、画像符号化装置および半導体装置 - Google Patents

Description

本発明は、あらゆるマルチメデイア符号化に用いることができ、特にインターレースビデオソースの動き予測フィールド符号化のための複数参照ピクチャに対応するビデオ符号化に用いられる。

圧縮されていないビデオソースは、プログレッシブ又はインターレース・スキャンフォーマットのいずれかのフォーマットでキャプチャーすることができる。プログレッシブ・スキャンフォーマットでは、サンプルラインすべてが同じ時刻にキャプチャーされる。一方、インターレース・スキャンフォーマットは、サンプルラインが交互に異なる時刻にキャプチャーされる。図１は、フィールドピクチャペアを示す説明図である。同図のように、早い時刻ｔにキャプチャーされたサンプルラインは、トップフィールドピクチャを構成する。遅い時刻ｔ＋１にキャプチャーされたサンプルラインは、ボトムフィールドピクチャを構成する。トップフィールドピクチャとそれに対応するボトムフィールドピクチャは、フィールドピクチャペアと呼ばれる。圧縮されていないフィールドピクチャはフレーム符号化またはフィールド符号化を用いて符号化できる。フレーム符号化では、トップフィールドピクチャとボトムフィールドピクチャの２つで１枚のピクチャとして符号化される。フィールド符号化では、トップフィールドピクチャは、ボトムフィールドピクチャとは別のピクチャとして符号化される。なお、以下、フィールドピクチャを単にフィールドと呼ぶ。

一般的に、ISO/IEC14496-2 Part 10 International Standard等のビデオ符号化アルゴリズムのほとんどは主に２つの符号化タイプを用いる。画面内符号化は１つのピクチャ内で他のピクチャを用いずに行われる。よって、画面内符号化されたサンプル画素のみを含むピクチャは画面内ピクチャまたは単にＩピクチャと呼ばれる。一方、画面間符号化では、他のピクチャからのサンプル画素を参照することによって、ビデオピクチャ間の時間相関を用いる。単予測画面間ピクチャ（以下Ｐピクチャと呼ぶ。）は他の１枚のピクチャから予測し、双予測画面間ピクチャ（以下Ｂピクチャと呼ぶ。）は２枚の他のピクチャから予測する。

３つのピクチャのタイプ（画面内、単予測、双予測）がビデオエンコーダによって、用途における必要に応じて柔軟に用いられる。符号化及び復号化処理の順序（以下、符号化順序とよぶ）は、通常、ソースピクチャのキャプチャー順序や表示のためのデコーダからの出力順序（以下、表示順序とよぶ）と同じではない。画面間ピクチャの符号化及び復号化処理が、その符号化及び復号化処理で参照された他の符号化済みピクチャ（以下、参照ピクチャとよぶ）よりも後に行われるように符号化順序が配列される。
ISO/IEC14496-2 Part 10 International Standard

ところで、Ｈ．２６４（ＭＰＥＧ-４ ＡＶＣ）では、画面間符号化の符号化効率を改善するため、符号化処理中により多くの参照ピクチャが使用可能になっている。つまり、ＭＰＥＧ−２では参照ピクチャとして使用可能なピクチャはＩピクチャおよびＰピクチャであるのに対して、Ｈ．２６４ではＩピクチャおよびＰピクチャに加えてＢピクチャも参照ピクチャとして使用可能になっている。また、エンコーダは、ピクチャ内の異なるブロックを符号化する際に、異なる参照ピクチャを使用してもよい。「ブロック」という言葉は、画素の集まりである矩形を示し、４ｘ４、８ｘ４及び８ｘ１６などのブロックサイズがある。エンコーダは、多くの使用可能な参照ピクチャの中からブロック毎に最適な参照ピクチャを選択することによって、符号化効率を高めることが可能である。

しかしながら、使用可能な参照ピクチャの全てを調査して、ブロック毎に最適な参照ピクチャを選択することは、符号化効率の点からは好ましいが、処理量の点からは好ましくない。特に、インターレース・スキャンフォーマットでは、２つ目以降のＢピクチャ、つまり、符号化済のＢピクチャ（特にボトムフィールド）を参照可能なＢピクチャは、参照可能なピクチャが多数あるので、最適な参照ピクチャを選択する処理量が多く、そのための参照メモリの管理も複雑である。

図２Ａは、ピクチャの符号化順序の一例を示している。図２Ｂは、その同じピクチャの表示順序を示している。フィールドペア２００及び２０６は、ＩピクチャかＰピクチャのいずれかである。フィールドペア２１２及び２１８は、Ｂピクチャである。これらのフィールド中、ボトムフィールド２２２の符号化において参照可能なフィールドの数は、先行して符号化されるフィールド２０２、２０４、・・・２１６、２２０よりも多い。ボトムフィールド２２２の各ブロックの符号化には、フィールド２０２、２０４、２１４、２１６又は２２０のうちの１つを第１の方向の参照に、フィールド２０８または２１０のうちの１つを第２の方向の参照に用いることができる。ビデオエンコーダは、ボトムフィールド２２２の符号化処理において、１枚の参照フィールド（単予測符号化の場合）か、２枚の参照フィールド（双予測符号化の場合）を各ブロックの予測参照として選択する。

ボトムフィールド２２２の符号化における参照ピクチャの選択は、良質なビデオ画質を維持しながら符号化効率が最適であるように行われなければならない。この選択の方法の１つに、上述したように、使用可能な参照ピクチャすべてを調べる方法がある。残念ながら、この方法は、繰り返しやメモリーアクセスが多く非常に複雑である。よって、処理量の観点および参照メモリの管理の観点からは、この方法を適用するのは好ましくない。

処理量を低減するために、エンコーダによっては、すべての利用可能な参照ピクチャのうちの１つの適切なサブセットのみを調べる方法がある。このサブセットに属するピクチャを、以下、参照ピクチャ候補と呼ぶ。たとえば、図２Ｂに示すように、符号化対象のボトムフィールド２２２の参照ピクチャとして使用可能な全てのピクチャからトップフィールド２２０を除外したサブセットを参照ピクチャ候補とする。こうすれば、最適な参照ピクチャを選択するための処理量を低減することができる。しかしその反面、もし、除外されたピクチャが最適な参照ピクチャであったなら、符号化効率を十分に向上させることが出来ない。サブセットのみを調べる方法は、所領低減の観点からは好ましいが、符号化効率の観点からは好ましいとはいえない。

本発明は、参照ピクチャを決定する処理量の削減し、かつ、参照ピクチャ候補の制限がない場合と同程度の符号化効率を達成する参照ピクチャ選択方法、および装置を提供することを目的とする。

上記課題を解決するため本発明の参照ピクチャ選択方法は、インターレースビデオの符号化において、符号化対象のボトムフィールドのための参照ピクチャを選択する方法であって、前記符号化対象のボトムフィールドよりも符号化順で先行する特定フィールドを用いて、前記符号化対象のボトムフィールドの動きの大きさを予測し、予測した動きの大きさに応じて、前記インターレースビデオに含まれる複数のピクチャの中から、前記符号化対象のボトムフィールドの符号化に適したピクチャのみを選択して、選択されたピクチャを参照ピクチャ候補として設定するとともに、前記符号化対象のボトムフィールドの符号化に適していないピクチャを前記参照ピクチャ候補から排除し、設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照ピクチャを選択し、前記動きの大きさの予測結果に応じて、前記符号化対象のボトムフィールドよりも符号化順で直前の双予測符号化フィールドペア内のボトムフィールドである空間的直近フィールドを前記参照ピクチャ候補に含める。

この構成によれば、第１に、参照可能な全てのピクチャを調査する必要がなく、参照ピクチャ候補のみを調査すればよいので、参照ピクチャを決定する処理量を削減することができる。しかも、第２に、予測した動きの大きさに応じて、符号化対象のボトムフィールドの符号化に適した参照ピクチャ候補が設定されるので、参照ピクチャ候補の制限がない場合と同程度の符号化効率を達成することができる。

また、この構成によれば、空間的直近フィールドを動きの大きさに応じて適応的に参照ピクチャ候補として設定することができる。

ここで、前記特定フィールドは、前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールドであり、第１参照ピクチャは、前記特定フィールドと同じフィールドペア内のトップフィールドであり、第２参照ピクチャは、前記特定フィールドよりも符号化順で直前のフィールドペア内のボトムフィールドであり、前記動きの大きさの予測において、前記特定フィールドの符号化において、前記第１参照ピクチャを用いたブロックの個数である第１カウント数と、前記第２参照ピクチャを用いたブロックの個数である第２カウント数とをカウントし、前記符号化対象のボトムフィールドの動きの大きさとして、前記第１カウント数と前記第２カウント数との比または差分を算出するようにしてもよい。

この構成によれば、符号化対象のボトムフィールドの動きの大きさを、特定フィールド（ここでは、前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールド）の符号化のプロセスから容易に取得可能な情報（参照ピクチャを示す情報）から第１および第２カウント数をカウントすることによって、簡単な処理で予測することができる。動きの大きさは、第１カウント数と第２カウント数との比（又は差分）、つまり、第１参照ピクチャを参照した回数と第２参照ピクチャを参照した回数との比（又は差分）として、適切に予測することができる。つまり、この比又は差分が大きいほど動きが大きいと予測できる。

ここで、前記参照ピクチャ候補の設定において、前記第１カウント数と前記第２カウント数との比または差分としきい値とを比較し、前記比較結果に応じて、前記空間的直近フィールドを前記参照ピクチャ候補に含めるようにしてもよい。

この構成によれば、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候補を適切に設定することができる。

ここで、前記特定フィールドは、前記符号化対象のボトムフィールドの属するフィールドペアから符号化順でＮ個前のフィールドペア内のボトムフィールドであり、前記Ｎは１ないし３から選ばれるようにしてもよい。

この構成によれば、符号化対象のボトムフィールドの属するフィールドペアから符号化順でＮ個前のフィールドペア内のボトムフィールドを用いることにより、符号化対象のボトムフィールドの動きを簡単に予測することができる。

ここで、前記特定フィールドは、前記符号化対象のボトムフィールドよりも符号化順で先行するトップフィールドであり、前記動きの大きさの予測において、前記特定フィールドの符号化において、イントラ符号化されたブロックの個数である第１カウント数と、イントラ以外で符号化されたブロックの個数である第２カウント数とをカウントし、前記符号化対象のボトムフィールドの動きの大きさとして、前記第１カウント数と前記第２カウント数との比または差分を算出するようにしてもよい。

この構成によれば、符号化対象のボトムフィールドの動きの大きさを、特定フィールド（ここでは、前記符号化対象のボトムフィールドよりも符号化順で先行するトップフィールド）の符号化のプロセスから容易に取得可能な情報（イントラ符号化か否かを示す情報）から第１および第２カウント数をカウントすることによって、簡単な処理で予測することができる。動きの大きさは、第１カウント数と第２カウント数との比（又は差分）、つまり、イントラ符号化されたブロックの個数とそうでないブロックの個数との比（又は差分）として、適切に予測することができる。

ここで、前記参照ピクチャ候補の設定において、前記第１カウント数と前記第２カウント数との比または差分としきい値とを比較し、前記比較結果に応じて、前記空間的直近フィールドを前記参照ピクチャ候補に含めるようにしてもよい。

この構成によれば、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候補を適切に設定することができる。

ここで、前記特定フィールドは、前記符号化対象のボトムフィールドの属するフィールドペアから符号化順でＮ個前のフィールドペア内のボトムフィールドであり、前記Ｎは０ないし３から選ばれるようにしてもよい。

この構成によれば、符号化対象のボトムフィールドの属するフィールドペアから符号化順でＮ個前のフィールドペア内のトップフィールドを用いることにより、符号化対象のボトムフィールドの動きを簡単に予測することができる。

ここで、前記特定フィールドは第１のフィールド、第２のフィールドの一方であり、前記第１のフィールドは前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールドであり、前記第２のフィールドは当該フィールドペア内のトップフィールドであり、前記動きの大きさの予測において、前記動きの大きさとして、第１および第２の相関性を算出し、第１の相関性は、前記符号化対象のボトムフィールドと前記第１のフィールドとの相関性であり、第２の相関性は、前記符号化対象のボトムフィールドと前記第２のフィールドとの相関性であり、前記参照ピクチャ候補の設定において、第１の相関性と第２の相関性との比または差分に応じて、前記参照ピクチャ候補に設定するようにしてもよい。

この構成によれば、符号化対象のボトムフィールドの動きの大きさを、第１の相関性と第２の相関性と算出することによって、予測することができる。

ここで、前記参照ピクチャ候補の設定において、第１の相関性と第２の相関性との比または差分に応じて、前記空間的直近フィールドを前記参照ピクチャ候補に含めるようにしてもよい。

この構成によれば、２つの相関性の比較という簡単な処理で、参照ピクチャ候補を適切に設定することができる。

ここで、前記特定フィールドは第１のフィールド、第２のフィールドの一方であり、前記第１のフィールドは前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のトップフィールドであり、前記第２のフィールドは当該フィールドペア内のボトムフィールドであり、前記動きの大きさの予測において、前記第１のフィールド、前記第２のフィールドおよび前記符号化対象のボトムフィールドそれぞれの縮小画像を生成し、縮小画像を用いて、前記第１のフィールドに対する符号化対象のボトムフィールドの動きを検出し、縮小画像を用いて、前記第２のフィールドに対する符号化対象のボトムフィールドの動きを検出するようにしてもよい。

この構成によれば、符号化対象のボトムフィールドの動きの大きさを、第１、第２のフィールドおよび前記符号化対象のボトムフィールドそれぞれの縮小画像を用いて検出することによって、予測することができる。

ここで、前記参照ピクチャ候補の設定において、検出された２つの動きに基づいて、前記空間的直近フィールドを前記参照ピクチャ候補に含めるようにしてもよい。

この構成によれば、縮小画像から得られた動きの比較という簡単な処理で、参照ピクチャ候補を適切に設定することができる。

ここで、前記符号化対象のボトムフィールドは双予測画面間符号化されたピクチャを参照可能なフィールドペアに属し、前記参照ピクチャ候補の設定において、予測された動きに応じて、参照可能な全てのピクチャから選ばれた参照ピクチャ候補からなる第１のサブセットおよび第２のサブセットの一方を選択し、前記第１のサブセットは、前記符号化対象フィールドと同じフィールドペア内のトップフィールドである時間的直近フィールドを含み、前記空間的直近フィールドを含まず、前記第２のサブセットは前記空間的直近フィールドを含み前記時間的直近フィールドを含まないようにしてもよい。

この構成によれば、予測された動きに応じて第１のサブセットと第２のサブセットからより適切なサブセットを適応的に参照ピクチャ候補として設定することができる。

ここで、前記参照ピクチャ選択方法は、さらに、参照ピクチャ候補に前記空間的直近フィールドが含まれているとき、当該空間的直近フィールドに最小のビット数で表される参照インデックスを付与するようにしてもよい。

この構成によれば、参照ピクチャ候補のうち最も使用されるであろう空間的直近フィールドには、最小ビット数の参照インデックスが割り当てられるので、符号化効率を向上させることができる。

また、本発明の画像符号化方法、プログラム、半導体装置、画像符号化装置、ストリームデータは、上記と同様に構成され、同様の作用効果を奏する。

本発明によれば、インターレースビデオの符号化において参照ピクチャを決定する処理量を削減することができ、かつ、参照ピクチャ候補の制限がない場合と同程度の符号化効率を達成することができる。

（実施の形態１）
本発明の参照ピクチャ選択方法は、符号化対象のボトムフィールドよりも符号化順で先行する特定フィールドを用いて、符号化対象のボトムフィールドの動きの大きさを予測し、予測した動きの大きさに応じて、符号化対象のボトムフィールドの符号化に適した参照ピクチャ候補を設定し、設定された参照ピクチャ候補の中から、符号化対象のボトムフィールドの参照ピクチャを選択する。参照ピクチャを選択する処理は、参照可能な全てのピクチャを調査する必要がなく、参照ピクチャ候補のみを調査すればよい。これにより参照ピクチャを決定する処理量を削減することができる。また、予測した動きの大きさに応じて、符号化対象のボトムフィールドの符号化に適した参照ピクチャ候補が設定されるので、参照ピクチャ候補の制限がない場合と同程度の符号化効率を達成することができる。

上記の特定フィールドは実施の形態によって異なるピクチャが定義される。実施の形態１では、特定フィールドとは、符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールドをいう。例えば、図５のボトムフィールド３１６が符号化対象フィールドである場合、ボトムフィールド３１０が特定フィールドである。前記特定フィールドと同じフィールドペア内のトップフィールドを第２参照ピクチャと呼ぶ。特定フィールドよりも符号化順で直前のフィールドペア内のボトムフィールドを第１参照ピクチャと呼ぶ。例えば、図５のボトムフィールド３１０が特定フィールドである場合、トップフィールド３０８が第２参照ピクチャであり、ボトムフィールド３０４が第１参照ピクチャである。

また、上記の符号化対象のボトムフィールドの動きの大きさの予測は、間接的に行なわれる。つまり、上記の予測では、特定フィールドの符号化において、第１参照ピクチャを用いたブロックの個数である第１カウント数と、前記第２参照ピクチャを用いたブロックの個数である第２カウント数とをカウントし、符号化対象のボトムフィールドの動きの大きさとして、前記第１カウント数と前記第２カウント数との比または差分を算出する。この比又は差分が小さい程動きが大きいことを意味する。

なお、図５における第１、第２参照ピクチャの呼称は請求項中の第１、第２参照ピクチャとは逆になっている。この場合、第１カウント数と第２カウント数との比または差分の意味が逆になる点に注意すべきである。つまり、第１、第２参照ピクチャの呼称を逆にすることによって、比または差分が大きいほど、動きが小さいか大きいかが異なる。第１、第２参照ピクチャの呼称を逆でも、動きを予測できる点では同じ効果を奏する。

図３Ａ、図３Ｂは、参照ピクチャ候補からなる第１、第２のサブセットの一例を示す図である。図３Ａにおいて、実線の矢線は、符号化対象のボトムフィールド３１６の符号化に用いられる参照ピクチャ候補からなる第１のサブセットを示している。図３Ｂにおいて、実線の矢線は、符号化対象のボトムフィールド３１６の符号化に用いられる参照ピクチャ候補からなる第２のサブセットを示している。上記の参照ピクチャ候補の設定において、予測した動きの大きさに応じて第１のサブセットまたは第２のサブセットが設定される。

トップフィールド３１４は、符号化対象のボトムフィールド３１６と時間的に最も近いフィールドである（時間的直近フィールドと呼ぶ。）。予測した動きが大きいときは、時間的直近フィールドを参照ピクチャの候補とすることが望ましい。ボトムフィールド３１０は、符号化対象のボトムフィールド３１６と空間的に最も近いフィールドである（空間的直近フィールドと呼ぶ。）。予測した動きが小さいときは、空間的直近フィールドを参照ピクチャの候補とすることが望ましい。

図３Ａ、図３Ｂの例では、第１のサブセットは空間的直近フィールドを含み時間的直近フィールドを含まない。第２のサブセットは時間的直近フィールドを含み空間的直近フィールドを含まない。なお、図３Ａ、図３Ｂにおいて破線の矢線は、トップフィールド３１４の符号化に用いられる参照ピクチャ候補からなるサブセットを示している。同図のように、トップフィールド３１４の符号化用のサブセットは、ボトムフィールドの第１、第２のサブセットと連動して選択してもよい。

図３Ｃは、第２サブセットにおいて参照ピクチャ候補から排除されるピクチャの一例を示す図である。図中のＮＧを付した実線の矢線は、第２サブセットからフィールド３０８、３１０を排除することが望ましいことを意味する。これにより、符号化対象のボトムフィールドの符号化において、フィールドペア３０６は、もはや参照ピクチャとして不要となるので、参照ピクチャメモリから削除することができる。また、図中のＮＧを付した破線の矢線は、トップフィールド３１４の符号化用のサブセットからフィールド３０８、３１０を排除するようにしてもよい。こうすれば、トップフィールド３１４の符号化においてもフィールドペア３０６を参照ピクチャメモリから削除することができる。

なお、第１、第２のサブセット中の参照ピクチャ候補の数は２つ以上であってもよい。また、空間的直近フィールドが両方のサブセットに含まれ、かつ時間的直近フィールドが一方のサブセットに含まれるようにしてもよい。

以下、実施の形態１における参照ピクチャ選択方法を行なう画像符号化装置について説明する。

図４は、実施の形態１における画像符号化装置の主要部の構成を示すブロック図である。同図のように、画像符号化装置は、入力ピクチャメモリ１０１、減算器１０２、直交変換・量子化部１０３、可変長符号化部１０４、逆直交変換・逆量子化部１０７、参照ピクチャ生成部１０８、参照ピクチャメモリ１０９、画面間予測部１１０、制御部１１１を備える。

入力ピクチャメモリ１０１は、インターレースビデオ信号が入力され、少なくとも１つのフィールドペアを一時的に保持する。

減算器１０２は、入力ピクチャメモリ１０１からの符号化対象ブロックと、画面間予測部１１０からの予測画像との差分を求め、その差分を予測残差として直交変換・量子化部１０３出力する。

直交変換・量子化部１０３は、減算器１０２からの予測残差を直交変換することによって周波数係数からなる係数ブロックを求め、さらに係数ブロックを量子化する。

可変長符号化部１０４は、量子化された係数ブロックを可変長符号化することによってビデオストリームを出力する。

逆直交変換・逆量子化部１０７は、量子化された係数ブロックを逆量子化して逆直交変換することによって、予測残差を求める。

参照ピクチャ生成部１０８は、逆直交変換・逆量子化部１０７と画面間予測部１１０からの予測画像とを加算することによって、符号化対象ピクチャを再構成する。

参照ピクチャメモリ１０９は、再構成された符号化対象ピクチャを、参照ピクチャとして一時的に記憶する。

画面間予測部１１０は、符号化対象ピクチャをブロック毎に、参照ピクチャ１０９中の参照ピクチャを用いた単予測または双予測によって予測画像を生成する。その際、画面間予測部１１０は、上記の参照ピクチャ選択方法を用いて制御部１１１によって設定された参照ピクチャ候補の中から、１つまたは２つの参照ピクチャをブロック毎に選択する。

制御部１１１は、画像符号化装置全体を制御し、特に、参照ピクチャ選択方法による参照ピクチャの候補を設定する。

図５は、参照ピクチャ選択方法および画像符号化装置に関するピクチャ（符号化順）の例を示す図である。フィールドペア３００、３０６、３１２および３１８は、単予測または双予測ピクチャである。例えば、フィールドペア３００、３０６、３１２および３１８の符号化タイプは、Ｐ、Ｂ、Ｂ、Ｂである。フィールドペア３００および３０６は、符号化済であり、参照ピクチャとして参照ピクチャメモリ１０９にすでに格納されているものとする。フィールドペア３１２は、現在の符号化対象とする。フィールドペア３００および３０６との間、またはフィールドペア３０６および３１２の間に、１以上の非参照フィールドペアが存在してもよい。

符号化対象フィールドの動きの大きさを間接的に予測するために、符号化順で直前の参照フィールドペア３０６のボトムフィールド３１０からの予測情報を分析する。この分析結果は、符号化対象フィールドの動きの大きさを示し、空間的直近フィールドと時間的直近フィールドのうち、どちらが対象フィールドペア３１２のボトムフィールド３１６を符号化するためにより適当であるかを決定するのに用いられる。

直前の参照フィールドペア３０６のボトムフィールド３１０の符号化において、以下の第１、第２参照ピクチャが参照ピクチャ候補として利用可能であるものとする。符号化順の直前の参照フィールドペア３０６に先行する参照フィールドペア３００のボトムフィールド３０４（第１参照ピクチャ）、および直前の参照フィールドペア３０６のトップフィールド３０８（以下、第２参照ピクチャと称する）。上述の空間的−時間的決定は、対象フィールドペア３１２のボトムフィールド３１６の符号化のための参照ピクチャ候補として、対象フィールドペア３１２のトップフィールド３１４を含めるまたは除外するために用いられる。

なお、上記の決定は、符号化順で対象フィールドペア３１２に後続するフィールドペア（フィールドペア３１８など）の符号化のために、後で用いられてもよい。

図６は、画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図５に示したフィールド３０８、３１０、３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理とを示している。

まず、モジュール４００にて、符号化順で直前のフィールドペア３０６のトップフィールド３０８を符号化する。次に、モジュール４０２にて、参照ピクチャ候補として第１および第２の参照ピクチャを用いて、符号化順で直前のフィールドペア３０６のボトムフィールド３１０を符号化する。ボトムフィールド３１０の予測情報は、符号化モジュール４０２から分析ジュール４０４へ渡される。この予測情報は、各マクロブロック符号化後、各スライスを符号化後、または全フィールド符号化後に、渡されてもよい。

モジュール４０４では、空間的直近フィールドと時間的直近フィールドのうち、どちらがより適切であるか否か、空間的−時間的決定を行う。モジュール４０４の空間的−時間的決定に基づいて、モジュール４０６にて、対象フィールドペア３１２のトップフィールド３１４（すなわち時間的直近フィールド）を、対象フィールドペア３１２のボトムフィールド３１６を符号化のための参照ピクチャ候補として、含むかまたは除外する。そして、モジュール４０６にて設定された参照ピクチャ候補を用いて、モジュール４０８では、対象フィールドペア３１２のトップフィールド３１４を符号化し、一方、モジュール４１０にて、対象フィールドペア３１２のボトムフィールド３１６を符号化する。この符号化において、参照ピクチャ候補の中から最適な参照ピクチャをブロック毎に選択する。

図７は、図６中のモジュール４０４の分析処理を詳細に示すフローチャートである。

まず、モジュール５００にて、第１参照カウンタおよび第２参照カウンタの値をゼロに設定する。次に、入力されたスライス／ピクチャの各マクロブロックの符号化タイプを、モジュール５０４にて判断する。符号化タイプが画面間符号化でない場合、モジュール５１８に示すように、ピクチャにおける次のマクロブロックのループ処理を続ける。符号化タイプが画面間符号化である場合（単予測または双予測である場合）、マクロブロック内のブロックごとに用いられる参照ピクチャを判断する。４ｘ４または８ｘ８のような固定サイズが、ブロックのサイズとして選択される。

モジュール５０８では、ブロックが第１参照フィールドから予測されるか否かを判断する。そうである場合は、モジュール５１０にて第１参照カウンタを１増加し、マクロブロック内の次のブロックのループ処理を続ける。一方、ブロックが第１参照ピクチャから予測されない場合は、モジュール５１２にて当ブロックが第２参照ピクチャから予測されるか否かを判断する。そうである場合は、モジュール５１４にて第２参照カウンタを１増加し、マクロブロック内の次のブロックのループ処理を続ける。モジュール５１８に示すように、本判断処理は、入力されたスライス／ピクチャの複数のマクロブロック内の全てのブロックについて繰り返される。

全マクロブロックが判断されると、モジュール５２０にて、第２参照カウンタの値に対する第１参照カウンタの値の比率を閾値（第１の閾値と呼ぶ）と比較する。この比率は、符号化対象ボトムフィールドの動きの大きさの予測結果を意味する。すなわち、比率が小さいほど、符号化対象ボトムフィールドの動きが大きいと予測され、比率が大きいほど、符号化対象ボトムフィールドの動きが小さいと予測される。比率が第１の閾値より小さい場合は、時間的直近フィールドは空間的直近フィールドよりも参照ピクチャ候補として適当であると決定する。一方、比率が第１の閾値以上である場合は、空間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適当であると決定する。本決定後、分析処理を終了する。

なお、モジュール５２０において、上記比率の代わりに、第１参照カウンタの値と第２参照カウンタの値との差分を用いてもよい。この場合、差分が小さいほど、符号化対象ボトムフィールドの動きが大きいと予測され、差分が大きいほど、符号化対象ボトムフィールドの動きが小さいと予測される。差分が第２の閾値（上記比率用の第１の閾値とは異なる）より小さい場合は、時間的直近フィールドは空間的直近フィールドよりも参照ピクチャ候補として適当であると決定する。一方、差分が第２の閾値以上である場合は、空間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適当であると決定する。

また、上記モジュール５２０において、第２参照カウンタの値に対する第１参照カウンタの値の比率の代わりに、第１参照カウンタの値に対する第２参照カウンタの値の比率を用いてもよい。この場合、（第２参照カウンタの値／第１参照カウンタの値）の比率が所定の閾値よりも大きい場合は、時間的直近フィールドの方が適切と決定し、所定の閾値よりも小さい場合は、空間的直近フィールドの方が適切と決定すればよい。

図８は、図６中のモジュール４０６の参照ピクチャ候補設定処理を詳細に示すフローチャートである。

まず、モジュール６００にて、符号化順で直前のフィールドペア３０６のボトムフィールド３１０（すなわち空間的直近フィールド）を、対象フィールドペア３１２のボトムフィールド３１６を符号化のためのデフォルトの参照ピクチャ候補として設定する。対象フィールドペア３１２の直前のフィールドペアが参照フィールドペアでない時（図５例のフィールドペア３０６として示すように）、符号化順で対象フィールドペア３１２の直前の最も近い参照フィールドペアのボトムフィールドは、空間的直近フィールドとみなされ、モジュール６００にてデフォルトの参照ピクチャ候補として設定される。

次に、モジュール６０２において空間的−時間的決定を判断する。時間的直近フィールドがより適当でない場合は、参照用ピクチャ選択方法を終了する。そうでない場合は（時間的直近フィールドより適当である場合は）、対象フィールドペア３１２のトップフィールド３１４（すなわち時間的直近フィールド）は、モジュール６０４にて参照ピクチャ候補として設定される。

そして、モジュール６０６にて、空間的直近フィールドおよび時間的直近フィールド両方が、画像処理装置の仕様、処理能力または設定上の観点から、同時に参照ピクチャ候補として可能であるか否かを判断する。そうである場合は、参照ピクチャ選択方法を終了する。そうでない場合は、モジュール６０８にて、符号化順で直前のフィールドペア３０６のボトムフィールド３１０（すなわち空間的直近フィールド）を参照ピクチャ候補のサブセットから除外し、参照ピクチャ候補設定方法を終了する。

以上説明したように、本実施の形態における参照ピクチャ選択方法によれば、符号化対象のボトムフィールドの動きの大きさを、特定フィールド（ここでは、前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールド）の符号化のプロセスから容易に取得可能な予測情報（参照ピクチャを示す情報）から第１および第２カウント数をカウントすることによって、簡単な処理で予測することができる。

動きの大きさは、第１カウント数と第２カウント数との比（又は差分）、つまり、第１参照ピクチャを参照した回数と第２参照ピクチャを参照した回数との比（又は差分）として、適切に予測することができる。つまり、この比または差分が小さいほど動きが大きいことを意味する。また、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候補を適切に設定することができる。

これにより、参照ピクチャ選択の処理量を削減し、かつ参照ピクチャ候補が制限されていない場合と同程度の符号化効率を実現することができる。

なお、図６のモジュール４０６において、図３Ａ、図３Ｂに示した第１サブセットまたは第２サブセットを設定するようにしてもよい。

また、図５における第１参照ピクチャと第２参照ピクチャを逆にしてもよい。つまり、トップフィールド３０８を第１参照ピクチャ、ボトムフィールド３０４２を第２参照ピクチャとしてもよい。このとき、図７に示したモジュール５２０のＹとＮは逆にすればよい。この場合のモジュール５２０の比率（第１参照カウンタの値／第２参照カウンタの値の）は大きいほど、符号化対象ボトムフィールドの動きが大きいと予測され、比率が小さいほど符号化対象ボトムフィールドの動きが小さいと予測される。

（実施の形態２）
本実施の形態では、実施の形態１と比較して、特定フィールドが異なるピクチャである点と、予測情報が異なる情報である点とが異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。

本実施の形態における特定フィールドは、符号化対象のボトムフィールドの直前のフィールドペアに属するトップフィールドをいう。また、予測情報は、実施の形態１では、特定フィールドの各ブロックの符号化において、参照ピクチャが第１／第２参照ピクチャであるか示す情報であるが、実施の形態２では、特定フィールドの各ブロックの符号化において、イントラ符号化されたか否かを示す情報を用いる。

実施の形態２の画像符号化装置の概略構成は図４と同じである。また、適応的参照ピクチャ選択方法及び画像符号化装置に用いられる符号化順のピクチャの一例を、実施の形態１と同様に、図５に示す。対象フィールドペア３１２のボトムフィールド３１６の動きの大きさを間接的に予測するために、符号化順で前の参照フィールドペア３０６のトップフィールド３０８（つまり特定フィールド）の符号化過程で得られる予測情報を分析する。この予測情報は、特定フィールドの各ブロックの符号化において、イントラ符号化されたか否かを示す。分析結果は、符号化対象ボトムフィールドの動きの大きさを間接的に示し、空間的−時間的（spatial-temporal）決定に利用される。この空間的−時間的決定は、次に対象フィールドペア３１２のボトムフィールド３１６を符号化するための参照ピクチャ候補として、対象フィールドペア３１２のトップフィールド３１４（つまり時間的直近フィールド）を含むか含まないかの判定に用いられる。なお、同一の決定が、後に、符号化順で対象フィールドペア３１２に後続するフィールドペア（例えば、フィールドペア３１８）の符号化に用いられてもよい。

図９は、実施の形態２における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図５に示したフィールド３０８、３１０、３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理とを示している。モジュール４００、４０２、４０６、４０８、及び４１０は、実施の形態１の図６に示されるものと同一である。

まず、モジュール４００において、符号化順で前のフィールドペア３０６のトップフィールド３０８を符号化する。トップフィールド３０８の予測情報は符号化モジュール４００から分析モジュール７００に転送される。この予測情報は、特定フィールドの各ブロックの符号化において、イントラ符号化されたか否かを示し、マクロブロックごと、スライスごと、又はフィールド全体の符号化後に転送されてもよい。モジュール７００は、空間的直近フィールドか時間的直近フィールドのどちらがより適切であるかに関する空間的−時間的決定を行う。モジュール７００の空間的−時間的決定に基づき、モジュール４０６は、対象フィールドペア３１２のボトムフィールド３１６を符号化するための参照ピクチャ候補として、対象フィールドペア３１２のトップフィールド３１４（つまり、時間的直近フィールド）を含めるかは含めないかを決定し、決定に従って参照ピクチャ候補（または図３Ａ、３Ｂのようなサブセット）を設定する。

モジュール４０２では符号化順で前のフィールドペア３０６のボトムフィールド３１０を符号化し、モジュール４０８では対象フィールドペア３１２のトップフィールド３１４を符号化する。最後に、モジュール４１０は、モジュール４０６によって設定された参照ピクチャ候補を用いて、対象フィールドペア３１２のボトムフィールド３１６を符号化する。

図１０は、図９中のモジュール７００の分析処理を詳細に示すフローチャートである。

まず、モジュール８００は、第１カウンタ及び第２カウンタの値をゼロに設定する。次に、モジュール８０６において、入力スライス／ピクチャにおけるマクロブロックの各ブロックの符号化タイプを確認する。４×４や８×８のような固定サイズがブロックサイズとして選択される。符号化タイプが画面内符号化である場合、モジュール８０８において、第１カウンタを１増加し、モジュール８１２に示されるように、マクロブロックにおける次のブロックのブロックループ処理を続ける。符号化タイプが画面内符号化でない場合、モジュール８１０において、第１カウンタを１増加し、モジュール８１２に示されるように、マクロブロックにおける次のブロックのブロックループ処理を続ける。マクロブロックの全てのブロックについて確認処理を行った後、モジュール８１４に示されるように、スライス／ピクチャにおける次のマクロブロックのループ処理を続ける。全てのマクロブロックについて確認処理が行われた後、モジュール８１６において、第１カウンタと第２カウンタの比率が閾値（第３の閾値と呼ぶ）と比較される。この比率は、符号化対象ボトムフィールドの動きの大きさの予測結果を意味する。すなわち、比率が大きいほど、符号化対象ボトムフィールドの動きが大きいと予測され、比率が小さいほど、符号化対象ボトムフィールドの動きが小さいと予測される。第３の閾値は、実施の形態１におけるモジュール５２０の第１の閾値とは異なる値である。比率が第３の閾値より大きい場合、時間的直近フィールドが空間的直近フィールドより適切であると判定する。一方、比率が第３の閾値以下である場合、空間的直近フィールドが時間的直近フィールドより適切であると判定する。判定結果が出された後、分析処理を終了する。

なお、モジュール８１６において、上記比率の代わりに、第１カウンタの値と第２カウンタの値との差分を用いてもよい。この差分は符号化対象ボトムフィールドの動きの大きさの予測結果を意味する。つまり、差分が大きいほど、符号化対象ボトムフィールドの動きが大きいと予測され、差分が小さいほど、符号化対象ボトムフィールドの動きが小さいと予測される。差分が第４の閾値（上記比率用の第３の閾値とは異なる）より大きい場合は、時間的直近フィールドは空間的直近フィールドよりも参照ピクチャ候補として適当であると決定する。一方、差分が第４の閾値より以下である場合は、空間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適当であると決定する。

以上説明したように本実施の形態における参照ピクチャ選択方法によれば、符号化対象のボトムフィールドの動きの大きさを、特定フィールド（ここでは、符号化対象のボトムフィールドの直前のフィールドペア内のトップフィールド）の符号化のプロセスで容易に利用可能な予測情報（イントラ符号化か否かを示す情報）を利用して、符号化対象のボトムフィールドの動きの大きさを間接的に予測している。これにより、簡単な処理で、参照ピクチャ候補を適切に設定することができる。

（実施の形態３）
本実施の形態では、実施の形態２と比較して、特定フィールドが異なるピクチャである点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。

本実施の形態における特定フィールドは、符号化対象のボトムフィールドと同じフィールドペアに属するトップフィールドをいう。

実施の形態３の画像符号化装置の概略構成は図４と同じである。また、適応的参照ピクチャ選択方法及び画像符号化装置に用いられる符号化順のピクチャの一例を、実施の形態１、２と同様に、図５に示す。

符号化対象のボトムフィールド３１６の動きの大きさを間接的に予測するために、対象参照フィールドペア３１２のトップフィールド３１４（つまり特定フィールド）の符号化過程で得られる予測情報を分析する。予測情報は、特定フィールドの各ブロックの符号化において、イントラ符号化されたか否かを示す。分析結果は、符号化対象のボトムフィールド３１６の動きの大きさを間接的に示し、空間的直近フィールドと時間的直近フィールドのどちらが参照ピクチャ候補として適しているかの判定（空間的−時間的決定）に利用される。

なお、同一の決定が、後に、符号化順で対象フィールドペア３１２に後続するフィールドペア（例えば、フィールドペア３１８）の符号化に用いられてもよい。

図１１は、実施の形態３における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図５に示したフィールド３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理とを示している。モジュール４０８及び４１０は、実施の形態１および２の図６および９に示されるものと同じである。モジュール７００は、実施の形態２の図９、図１０と同じである。

まず、モジュール４０８において、対象フィールドペア３１２のトップフィールド３１４を符号化する。トップフィールド３１４の予測情報は符号化モジュール４０８から分析モジュール７００に転送される。この予測情報は、マクロブロックごと、スライスごと、又はフィールド全体の符号化後に転送されてもよい。

モジュール７００は、空間的直近フィールドと時間的直近フィールドのどちらがより適切であるかに関する空間的−時間的決定を行う。モジュール７００の空間的−時間的決定に基づき、モジュール９００は、対象フィールドペア３１２のボトムフィールド３１６を符号化するためのトップフィールド３１４として、対象フィールドペア３１２のトップフィールド３１４（つまり、時間的直近フィールド）を含むもしくは含まない。次に、モジュール４１０は、モジュール９００によって設定された参照ピクチャ候補を用いて、対象フィールドペア３１２のボトムフィールド３１６を符号化する。

図１２は、図１１のモジュール９００の参照ピクチャ候補設定処理を詳細に示すフローチャートである。

まず、モジュール６００は、符号化順で前のフィールドペア３０６のボトムフィールド３１０（つまり、空間的直近フィールド）を対象フィールドペア３１２のボトムフィールド３１６の符号化のための参照ピクチャ候補として設定する。対象フィールドペア３１２の直前にあるフィールドペアが参照フィールドペア（図５の例において、フィールドペア３０６と示す）でない場合、符号化順で対象フィールドペア３１２の直前にある最も近い参照フィールドペアのボトムフィールドを空間的直近フィールドとみなし、モジュール６００において、参照ピクチャ候補として設定する。

次に、モジュール６０２において、空間的−時間的決定を確認する。時間的直近フィールドが適切でない場合は、参照ピクチャ選択処理を終了する。そうでない場合（時間的直近フィールドが適切である場合）は、モジュール６０４において、対象フィールドペア３１２のトップフィールド３１４（つまり、時間的直近フィールド）を参照ピクチャ候補として設定する。そして参照ピクチャ候補設定処理を終了する。モジュール６００、６０２、及び６０４は、実施の形態１の図８に記載の内容と同一である。図１２は、図８と異なり、モジュール６０６および６０８を行なっていないので、空間的直近ピクチャと参照ピクチャ候補から除外していない。そのため、最終的な参照ピクチャ候補は、時間的直近ピクチャを含むか除外するかが異なることになる。

なお、図１１のモジュール９００において、図１２の処理の代わりに図８と同じ処理を行なってもよい。

以上説明したように本実施の形態における参照ピクチャ選択方法によれば、符号化対象のボトムフィールドの動きの大きさを、特定フィールド（ここでは、符号化対象のボトムフィールドと同じフィールドペア内のトップフィールド）の符号化のプロセスで容易に利用可能な予測情報（イントラ符号化か否かを示す情報）を利用して、符号化対象のボトムフィールドの動きの大きさを間接的に予測している。これにより、簡単な処理で、参照ピクチャ候補を適切に設定することができる。

（実施の形態４）
本実施の形態では、実施の形態１から３のそれぞれの参照ピクチャ選択方法に対して、さらに、参照インデックスを付与する処理が追加した構成について説明する。ここで、参照インデックスとは、参照可能なピクチャの全てまたは参照ピクチャ候補の全てに割り当てられる符号であり、ストリーム中に参照ピクチャとして実際に用いられたピクチャを指定するために使用される。また、参照インデックスは、符号化対象のピクチャ毎に参照可能なピクチャの全てまたは参照ピクチャ候補の全てに割り当てられる。

参照インデックスを付与する処理では、参照ピクチャ候補に時間的直近フィールドが含まれているとき、当該時間的直近フィールドに最小のビット数で表される参照インデックスを付与し、参照ピクチャ候補に空間的直近フィールドが含まれているとき、当該空間的直近フィールドに最小のビット数で表される参照インデックスを付与するようにしている。つまり、参照ピクチャ候補のうち参照ピクチャとして最も使用されるであろう時間的直近フィールドまたは空間的直近フィールドには、最小ビット数の参照インデックスが割り当てられる。ストリームは、各ブロックの参照ピクチャを指す参照インデックスを含むので、ストリームのビット数を短縮し符号化効率をさらに向上させることができる。

図１３は、実施の形態４における符号化および参照ピクチャ設定処理を示すフローチャートであり、実施の形態１の図６に対して参照インデックス付与処理を追加したフローチャートである。図１３は、図６と比較して、モジュール１１００が追加されている点が異なる。同じ点は説明を省略し異なる点を中心に説明する。参照ピクチャ候補が設定された後、モジュール１１００では、符号化対象ボトムフィールドの参照ピクチャ候補のそれぞれに対して参照インデックスを付与する。その際、参照ピクチャ候補のうち時間的直近フィールドまたは空間的直近フィールドに最小のビット数で表される参照インデックスを付与する。

図１４Ａ、図１４Ｂは、付与された参照インデックスｒｅｆ＿ｉｄｘの例を示す図である。図１４Ａでは、符号化対象のボトムフィールド３１６の参照ピクチャ候補のうち、空間的直近フィールド３１０には、ｒｅｆ＿ｉｄｘ＝０が割り当てられている。この例では、ｒｅｆ＿ｉｄｘ＝０は最小のビット数で表される参照インデックスである。空間的直近フィールド３１０以外の参照ピクチャ候補には、他の値ｒｅｆ＿ｉｄｘ＝１、２、等が割り当てられる。これに対して図１４Ｂでは、符号化対象のボトムフィールド３１６の参照ピクチャ候補のうち、時間的直近フィールド３１４には、ｒｅｆ＿ｉｄｘ＝０が割り当てられている。

図１５は、図１３のモジュール１１００における参照インテックス設定処理の詳細を示すフローチャートである。

まず、モジュール１４００において、空間的−時間的決定が確認される。時間的直近ピクチャが適切である場合、モジュール１４０２は、最小ビット数の参照インデックスを時間的直近ピクチャ（つまり、対象フィールドペア３１２のトップフィールド３１４）を指すように、複数の参照ピクチャ候補の参照インデックスを変更又は再配置する（例えば図１４Ｂ）。時間的直近ピクチャが適切でない場合、モジュール１４０４は、最小ビット数の参照インデックスが空間的直近ピクチャを参照するように、符号化順で前の参照フィールドペア３０６のボトムフィールド３１０のような、複数の参照ピクチャ候補のインデックスを変更又は再配置する（例えば図１４Ａ）。

図１６は、実施の形態４における符号化および参照ピクチャ設定処理の他の例を示すフローチャートであり、実施の形態２の図９に対して参照インデックス付与処理を追加したフローチャートである。図１６は、図９と比較して、モジュール１１００が追加されている点が異なる。モジュール１１００は上述の通りである。

図１７は、実施の形態４における符号化および参照ピクチャ設定処理のさらに他の例を示すフローチャートであり、実施の形態３の図１１に対して参照インデックス付与処理を追加したフローチャートである。図１７は、図１１と比較して、モジュール１１００が追加されている点が異なる。モジュール１１００は上述の通りである。

以上説明したように本実施の形態における、参照ピクチャ選択方法によれば、参照ピクチャ候補のうち参照ピクチャとして最も使用され得る時間的直近フィールドまたは空間的直近フィールドには、最小ビット数の参照インデックスが割り当てられる。ストリームは、各ブロックの参照ピクチャを指す参照インデックスを含むので、ストリームのビット数を短縮し符号化効率をさらに向上させることができる。

（実施の形態５）
本実施の形態では、実施の形態１と比較して、特定フィールドが異なるピクチャである点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。

本実施の形態における特定フィールドは、符号化対象のボトムフィールドの直々前（２つ前）のフィールドペアに属するボトムフィールドをいう。

本実施の形態の画像符号化装置の概略構成は図４と同じである。

図１８は、実施の形態５における参照ピクチャ選択方法及び画像符号化方法に用いられる符号化順のピクチャの一例を示す。フィールドペア２９４、３００、３０６、３１２は、例えば順にＩまたはＰピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャである。符号化対象のボトムフィールド３１６に対して、特定フィールドはボトムフィールド３０４になる。特定フィールドと同じフィールドペア内のトップフィールド３０２は、第２参照ピクチャと呼ぶ。特定フィールド３０４よりも符号化順で直前のフィールドペア２９４内のボトムフィールド２９８は、第１参照ピクチャと呼ぶ。

図１９は、画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図１８に示したフィールド３０２、３０４、３０８、３１０、３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理とを示している。図１９は、図６に示した実施の形態１の参照ピクチャ設定処理と比較して、モジュール３９６、３９８を明記している点と、モジュール４０４がモジュール３９８から予測情報を得ている点が異なっている。図１９のモジュール４００〜４１０は図６と同じ処理を行なう。以下同じ点は省略して異なる点を中心に説明する。

モジュール３９６では、直々前（２つ前）のフィールドペア３００内のトップフィールド３０２の符号化を行なう。モジュール３９８では、直々前（２つ前）のフィールドペア３００内のボトムフィールド３０４の符号化を行なう。ボトムフィールド３０４の予測情報は符号化モジュール３９８から分析モジュール４０４に転送される。この予測情報は、ブロック毎の実際に符号化に用いられた参照ピクチャを示す情報であり、マクロブロックごと、スライスごと、又はフィールド全体の符号化後に転送されてもよい。

モジュール４０４では、モジュール３９８から得られた予測情報を分析する。モジュール４０４、４０６の詳細については既に説明した図７、８と同じである。

以上説明したように本実施の形態における参照ピクチャ選択方法によれば、実施の形態１と同様に、符号化対象のボトムフィールド３１６の動きの大きさを、特定フィールド（ここでは、前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールド３０４）の符号化のプロセスから容易に取得可能な予測情報（参照ピクチャを示す情報）から第１および第２カウント数をカウントすることによって、簡単な処理で予測することができる。

動きの大きさは、第１カウント数と第２カウント数との比（又は差分）、つまり、第１参照ピクチャを参照した回数と第２参照ピクチャを参照した回数との比（又は差分）として、適切に予測することができる。この比または差分が小さいほど動きが大きいことを意味する。また、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候補を適切に設定することができる。

これにより、参照ピクチャ選択の処理量を削減し、かつ参照ピクチャ候補が制限されていない場合と同程度の符号化効率を実現することができる。

（実施の形態６）
本実施の形態では、実施の形態２と比較して、特定フィールドが異なるピクチャである点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。

本実施の形態における特定フィールドは、符号化対象のボトムフィールドの直々前（２つ前）のフィールドペアに属するトップフィールドをいう。

本実施の形態の画像符号化装置の概略構成は図４と同じである。本実施形態においても図１８に示した符号化順のピクチャの一例を用いて説明する。

図２０は、実施の形態６における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図１８に示したフィールド３０２、３０４、３０８、３１０、３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理とを示している。図２０は、図９に示した実施の形態２の参照ピクチャ設定処理と比較して、モジュール３９６、３９８を明記している点と、モジュール７００がモジュール３９６から予測情報を得ている点が異なっている。図２０のモジュール４００〜４１０、７００は図９と同じ処理を行なう。以下同じ点は省略して異なる点を中心に説明する。

モジュール３９６では、直々前（２つ前）のフィールドペア３００内のトップフィールド３０２の符号化を行なう。トップフィールド３０２の予測情報は符号化モジュール３９８から分析モジュール７００に転送される。この予測情報は、ブロック毎にイントラ符号化がなされたか否かを示す情報であり、マクロブロックごと、スライスごと、又はフィールド全体の符号化後に転送されてもよい。モジュール３９８では、直々前（２つ前）のフィールドペア３００内のボトムフィールド３０２の符号化を行なう。

モジュール７００では、モジュール３９６から得られた予測情報を分析する。モジュール７００、４０６の詳細については既に説明した図１０、図８と同じである。

以上説明したように本実施の形態における参照ピクチャ選択方法によれば、実施の形態２と同様に、符号化対象のボトムフィールド３１６の動きの大きさを、特定フィールド（ここでは、前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のトップフィールド３０２）の符号化のプロセスから容易に取得可能な予測情報（イントラ符号化ブロックか否かを示す情報）から第１および第２カウント数をカウントすることによって、簡単な処理で予測することができる。

動きの大きさは、第１カウント数と第２カウント数との比（又は差分）、つまり、第１参照ピクチャを参照した回数と第２参照ピクチャを参照した回数との比（又は差分）として、適切に予測することができる。この比または差分が小さいほど動きが大きいことを意味する。また、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候補を適切に設定することができる。

これにより、参照ピクチャ選択の処理量を削減し、かつ参照ピクチャ候補が制限されていない場合と同程度の符号化効率を実現することができる。

（実施の形態７）
本実施の形態では、実施の形態５と比較して、特定フィールドが異なるピクチャである点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。

本実施の形態における特定フィールドは、符号化対象のボトムフィールドの直々々前（３つ前）のフィールドペアに属するボトムフィールドをいう。

図２１は、実施の形態７における参照ピクチャ選択方法及び画像符号化方法に用いられる符号化順のピクチャの一例を示す。フィールドペア２８８、２９４、３００、３０６、３１２は、例えば順にＩまたはＰピクチャ、Ｐピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャである。符号化対象のボトムフィールド３１６に対して、特定フィールドはボトムフィールド２９８になる。特定フィールド２９８と同じフィールドペア２９４内のトップフィールド２９６は、第２参照ピクチャと呼ぶ。特定フィールド２９８よりも符号化順で直前のフィールドペア２８８内のボトムフィールド２９２は、第１参照ピクチャと呼ぶ。

図２２は、実施の形態７における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図２１に示したフィールド２９０、２９２、３０２、３０４、３０８、３１０、３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理とを示している。図２２は、図１９に示した実施の形態５の参照ピクチャ設定処理と比較して、モジュール３９２、３９４を明記している点と、モジュール４０４がモジュール３９４から予測情報を得ている点が異なっている。図２２のモジュール３９６〜４１０は図１９と同じ処理を行なう。以下同じ点は省略して異なる点を中心に説明する。

ボトムフィールド２９８の予測情報は符号化モジュール３９４から分析モジュール４０４に転送される。この予測情報は、ブロック毎の実際に符号化に用いられた参照ピクチャを示す情報であり、マクロブロックごと、スライスごと、又はフィールド全体の符号化後に転送されてもよい。

モジュール４０４では、モジュール３９４から得られた予測情報を分析する。モジュール４０４、４０６の詳細については既に説明した図７、８と同じである。

以上説明したように、本実施の形態における参照ピクチャ選択方法によれば、上記各実施の形態と同様の効果を、異なる特定フィールドを用いて得ることができる。

（実施の形態８）
本実施の形態では、実施の形態６と比較して、特定フィールドが異なるピクチャである点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。

本実施の形態における特定フィールドは、符号化対象のボトムフィールドの直々々前（３つ前）のフィールドペアに属するトップフィールドをいう。本実施形態においても、図２１に示したピクチャ例を用いて説明する。

図２３は、実施の形態８における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。図２３は、図２０に示した実施の形態２の参照ピクチャ設定処理と比較して、モジュール３９２、３９４を明記している点と、モジュール７００がモジュール３９２から予測情報を得ている点が異なっている。この点以外は、実施の形態６と同様である。

以上説明したように、本実施の形態における参照ピクチャ選択方法によれば、上記各実施の形態と同様の効果を、異なる特定フィールドを用いて得ることができる。

（実施の形態９）
上記各実施の形態では、符号化対象ボトムフィールドの動きの大きさを、特定フィールドの予測情報を用いて間接的に簡易に予測あるいは推定している。これに対して、本実施の形態では、符号化対象ボトムフィールドが、時間的直近フィールドおよび空間的直近フィールドのうち、どちらと相関性が高いかを調べることにより、符号化対象ボトムフィールドの動きの大きさを予測する参照ピクチャ選択方法について説明する。

図２４は、実施の形態９における参照ピクチャ選択方法及び画像符号化方法に用いられる符号化順のピクチャの一例を示す。フィールドペア３０６、３１２は、例えば順にＢピクチャである。符号化対象ボトムフィールド３１６と時間的直近フィールド３１４との相関性は、それらの差分により簡易に算出することができる。同様に、符号化対象ボトムフィールド３１６と空間的直近フィールド３１０との相関性は、それらの差分により簡易に算出することができる。

図２５は、実施の形態９における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図２４に示したフィールド３０８、３１０、３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理（モジュール７２０〜７２４、４０６）とを示している。モジュール４００、４０２、４０６、４０８、及び４１０は、実施の形態１の図６に示されるものと同一である。

モジュール７２０は、直前のボトムフィールド（空間的直近フィールド）３１０と符号化対象ボトムフィールド３１６との相関性（以下、空間的相関性と呼ぶ。）を算出する。ここでは、２つのフィールド間で対応する画素同士の差分を算出し、それらの総和を相関性として算出する。この算出に際して、符号化対象ボトムフィールド３１６の各画素値は入力ピクチャメモリ１０１から読み出され、空間的直近フィールド３１０の各画素値は参照ピクチャメモリ１０９または入力ピクチャメモリ１０１から読み出される。空間的相関性は、上記の差分の総和が小さいほど高い相関性を表す。

モジュール７２２は、トップフィールド（時間的直近フィールド）３１４と符号化対象ボトムフィールド３１６との相関性（以下、時間的相関性と呼ぶ。）を算出する。この算出は、モジュール７２０と同様である。空間的相関性は、差分の総和が小さいほど高い相関性を表す。

モジュール７２４は、２つの相関性に従って空間的−時間的決定を行なう。すなわち、空間的相関性が時間的相関性よりも高い場合には、空間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適していると決定する。逆に、時間的相関性が空間的相関性よりも高い場合には、時間的直近フィールドが空間的直近フィールドよりも参照ピクチャ候補として適していると決定する。

モジュール４０６は、既に図８で説明した通りであり、モジュール７２４の決定に応じて、空間的直近フィールド又は空間的直近フィールドを参照ピクチャ候補として設定する。

以上説明したように、本実施の形態における参照ピクチャ選択方法中の、符号化対象ボトムフィールドの動きの大きさは、空間的相関性と時間的相関性とを求めることによって適切に予測することができる。しかも、差分の総和を求めるというに簡易な計算により実現することができる。

（実施の形態１０）
実施の形態９では２つの相関性を算出することにより、符号化対象ボトムフィールドの動きの大きさを予測した。これに対して、本実施の形態では、符号化対象ボトムフィールドの縮小画像の動きが、時間的直近フィールドの縮小画像および空間的直近フィールドの縮小画像のうち、どちらに対して大きいかを調べることにより、符号化対象ボトムフィールドの動きの大きさを予測する参照ピクチャ選択方法について説明する。

図２６は、実施の形態１０における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。同図では、図２４に示したフィールド３０８、３１０、３１４、３１６の符号化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設定する処理（モジュール７３０〜７３４、４０６）とを示している。モジュール４００、４０２、４０６、４０８、及び４１０は、実施の形態１の図６に示されるものと同一である。

モジュール７３０は、直前のボトムフィールド（空間的直近フィールド）３１０の縮小画像を生成し、符号化対象ボトムフィールド３１６の縮小画像を生成し、２つの縮小画像から符号化対象ボトムフィールド３１６の動きの大きさ（以下、第１の動きの大きさと呼ぶ。）を予測する。縮小画像は、例えば、縦横各１／２、１／３、１／４・・・などでよい。動きの大きさの予測では、縮小画像中のブロック毎に動きベクトルを検出してもよいし、幾つかの代表的なブロックをサンプルして動きベクトルを検出してもよい。このように検出された複数のブロックの動きベクトルの総和、または動きベクトルの絶対値の総和に基づいて「動きの大きさ」を予測する。

モジュール７３２は、直前のトップフィールド（時間的直近フィールド）３１４の縮小画像を生成し、その縮小画像と符号化対象ボトムフィールド３１６の縮小画像とから符号化対象ボトムフィールド３１６の動きの大きさを予測する（以下、第２の動きの大きさと呼ぶ。）。動きの予測は、上記と同じでよい。

モジュール７３４は、第１および第２の動きの大きさに従って空間的−時間的決定を行なう。すなわち、第１の動きの大きさの方が第２の動きの大きさよりも大きい場合には、空間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適していると決定する。逆に、第２の動きの大きさの方が第１の動きの大きさよりも大きい場合には、時間的直近フィールドが空間的直近フィールドよりも参照ピクチャ候補として適していると決定する。

モジュール４０６は、既に図８で説明した通りであり、モジュール７３４の決定に応じて、空間的直近フィールド又は空間的直近フィールドを参照ピクチャ候補として設定する。

以上説明したように、本実施の形態における参照ピクチャ選択方法では、縮小画像を用いることによって、符号化対象ボトムフィールドの動きの大きさを適切に予測することができる。しかも、縮小画像の動きベクトルの検出というに簡易な計算により実現することができる。

なお、上記各実施の形態に示したブロック図の各機能ブロックおよびフローチャートの各モジュールは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、記録媒体やＤＲＡＭなど別構成としても良い。

なお、上記各実施の形態に示したフローチャートにおいて主要な部分はプロセッサおよびプログラムによっても実現される。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

なお、実施の形態５から１０の各参照ピクチャ設定処理に対して、さらに、参照ピクチャ候補のうち時間的直近フィールドまたは空間的直近フィールドに最小のビット数で表される参照インデックスを付与する参照インテックス設定処理（図１５）を追加してもよい。

上記各実施の形態の、参照ピクチャ選択方法では、符号化対象のボトムフィールドの参照ピクチャ候補を設定しているが、加えて、符号化対象トップフィールドの参照ピクチャ候補の設定を行なってもよい。例えば、図３Ａの破線矢印で示す参照ピクチャ候補のサブセットと、図３Ｂの破線矢印で示す参照ピクチャ候補のサブセットの何れかを符号化対象トップフィールドの動きの大きさに応じて設定するようにしてもよい。

上記実施の形態１、４、５、７において、図７に示したモジュール４０４において、第１参照ピクチャを用いたブロックの個数である第１カウント数と、前記第２参照ピクチャを用いたブロックの個数である第２カウント数とをカウントしているが（モジュール５０８〜５１４）、これの代わりに、イントラ符号化されたブロックの個数である第２カウント数と、イントラ以外で符号化されたブロックの個数である第１カウント数とをカウントするようにしてもよい。

上記実施の形態２、３、４、６において、図１０に示したモジュール７００において、イントラ符号化されたブロックの個数である第１カウント数と、イントラ以外で符号化されたブロックの個数である第２カウント数とをカウントしているが（モジュール８１６〜８１０）、この代わりに、第１参照ピクチャを用いたブロックの個数である第１カウント数と、前記第２参照ピクチャを用いたブロックの個数である第２カウント数とをカウントするようにしてもよい。この場合、第１参照ピクチャは、特定フィールドより先行するボトムフィールドとし、第２参照ピクチャは、第１参照ピクチャと同じフィールドペア内のトップフィールドとすればよい。

また、図１８、図２１における第１参照ピクチャと第２参照ピクチャを逆にしてもよい。つまり、トップフィールド３０２、２９６を第１参照ピクチャ、ボトムフィールド２９８、２９２を第２参照ピクチャとしてもよい。このとき、図７に示したモジュール５２０のＹとＮを逆にすればよい。この場合のモジュール５２０の比率（第１参照カウンタの値／第２参照カウンタの値の）は大きいほど、符号化対象ボトムフィールドの動きが大きいと予測され、比率が小さいほど符号化対象ボトムフィールドの動きが小さいと予測される。

本発明は、画像を符号化又は復号化する符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。

図１は、フィールドピクチャペアを示す説明図である。 図２Ａは、ピクチャの符号化順序の一例を示す図である。 図２Ｂは、図２Ａのピクチャの表示順序を示す図である。 図３Ａは、参照ピクチャ候補からなる第１のサブセットの一例を示す図である。 図３Ｂは、参照ピクチャ候補からなる第２のサブセットの一例を示す図である。 図３Ｃは、第２サブセットにおいて参照ピクチャ候補から排除されるピクチャの一例を示す図である。 図４は、実施の形態１における画像符号化装置の主要部の構成を示すブロック図である。 図５は、参照ピクチャ選択方法および画像符号化装置に関するピクチャ（符号化順）の例を示す図である。 図６は、画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図７は、図６中の分析処理を詳細に示すフローチャートである。 図８は、図６中の参照ピクチャ候補設定処理を詳細に示すフローチャートである。 図９は、実施の形態２における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図１０は、図９中の分析処理を詳細に示すフローチャートである。 図１１は、実施の形態３における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図１２は、図１１中の参照ピクチャ候補設定処理を詳細に示すフローチャートである。 図１３は、実施の形態４における符号化および参照ピクチャ設定処理を示すフローチャートである。 図１４Ａは、空間的直近フィールド付与された参照インデックスｒｅｆ＿ｉｄｘの例を示す図である。 図１４Ｂは、時間的直近フィールド付与された参照インデックスｒｅｆ＿ｉｄｘの例を示す図である。 図１５は、図１３中の参照インテックス設定処理の詳細を示すフローチャートである。 図１６は、実施の形態４における符号化および参照ピクチャ設定処理の他の例を示すフローチャートである。 図１７は、実施の形態４における符号化および参照ピクチャ設定処理のさらに他の例を示すフローチャートである。 図１８は、実施の形態５における参照ピクチャ選択方法及び画像符号化方法に用いられる符号化順のピクチャの一例を示す図である。 図１９は、実施の形態５における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図２０は、実施の形態６における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図２１は、実施の形態７における参照ピクチャ選択方法及び画像符号化方法に用いられる符号化順のピクチャの一例を示す図である。 図２２は、実施の形態７における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図２３は、実施の形態８における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図２４は、実施の形態９における参照ピクチャ選択方法及び画像符号化方法に用いられる符号化順のピクチャの一例を示す図である。 図２５は、実施の形態９における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。 図２６は、実施の形態１０における画像符号化装置における符号化および参照ピクチャ設定処理を示すフローチャートである。

符号の説明

１０１ 入力ピクチャメモリ
１０２ 減算器
１０３ 直交変換・量子化部
１０４ 可変長符号化部
１０７ 逆直交変換・逆量子化部
１０８ 参照ピクチャ生成部
１０９ 参照ピクチャメモリ
１１０ 画面間予測部
１１１ 制御部
３０４、２９８、２９２ 第１参照ピクチャ
３０８、３０２、２９６ 第２参照ピクチャ
３１０ 空間的直近フィールド
３１４ 時間的直近フィールド
３１６ 符号化対象ボトムフィールド

Claims (17)

1. インターレースビデオの符号化において、符号化対象のボトムフィールドのための参照ピクチャを選択する方法であって、
   前記符号化対象のボトムフィールドよりも符号化順で先行する特定フィールドを用いて、前記符号化対象のボトムフィールドの動きの大きさを予測し、
   予測した動きの大きさに応じて、前記インターレースビデオに含まれる複数のピクチャの中から、前記符号化対象のボトムフィールドの符号化に適したピクチャのみを選択して、選択されたピクチャを参照ピクチャ候補として設定するとともに、前記符号化対象のボトムフィールドの符号化に適していないピクチャを前記参照ピクチャ候補から排除し、
   設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照ピクチャを選択し、
   前記動きの大きさの予測結果に応じて、前記符号化対象のボトムフィールドよりも符号化順で直前の双予測符号化フィールドペア内のボトムフィールドである空間的直近フィールドを前記参照ピクチャ候補に含める
   ことを特徴とする参照ピクチャ選択方法。
2. 前記特定フィールドは、前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールドであり、
   第１参照ピクチャは、前記特定フィールドと同じフィールドペア内のトップフィールドであり、
   第２参照ピクチャは、前記特定フィールドよりも符号化順で直前のフィールドペア内のボトムフィールドであり、
   前記動きの大きさの予測において、
   前記特定フィールドの符号化において、前記第１参照ピクチャを用いたブロックの個数である第１カウント数と、前記第２参照ピクチャを用いたブロックの個数である第２カウント数とをカウントし、
   前記符号化対象のボトムフィールドの動きの大きさとして、前記第１カウント数と前記第２カウント数との比または差分を算出する
   ことを特徴とする請求項１記載の参照ピクチャ選択方法。
3. 前記参照ピクチャ候補の設定において、
   前記第１カウント数と前記第２カウント数との比または差分としきい値とを比較し、
   前記比較結果に応じて、前記空間的直近フィールドを前記参照ピクチャ候補に含める
   ことを特徴とする請求項２記載の参照ピクチャ選択方法。
4. 前記特定フィールドは、前記符号化対象のボトムフィールドの属するフィールドペアから符号化順でＮ個前のフィールドペア内のボトムフィールドであり、
   前記Ｎは１ないし３から選ばれる
   ことを特徴とする請求項３記載の参照ピクチャ選択方法。
5. 前記特定フィールドは、前記符号化対象のボトムフィールドよりも符号化順で先行するトップフィールドであり、
   前記動きの大きさの予測において、
   前記特定フィールドの符号化において、イントラ符号化されたブロックの個数である第１カウント数と、イントラ以外で符号化されたブロックの個数である第２カウント数とをカウントし、
   前記符号化対象のボトムフィールドの動きの大きさとして、前記第１カウント数と前記第２カウント数との比または差分を算出する
   ことを特徴とする請求項１記載の参照ピクチャ選択方法。
6. 前記参照ピクチャ候補の設定において、
   前記第１カウント数と前記第２カウント数との比または差分としきい値とを比較し、
   前記比較結果に応じて、前記空間的直近フィールドを前記参照ピクチャ候補に含める
   ことを特徴とする請求項５記載の参照ピクチャ選択方法。
7. 前記特定フィールドは、前記符号化対象のボトムフィールドの属するフィールドペアから符号化順でＮ個前のフィールドペア内のボトムフィールドであり、
   前記Ｎは０ないし３から選ばれる
   ことを特徴とする請求項６記載の参照ピクチャ選択方法。
8. 前記特定フィールドは第１のフィールド、第２のフィールドの一方であり、
   前記第１のフィールドは前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のボトムフィールドであり、
   前記第２のフィールドは当該フィールドペア内のトップフィールドであり、
   前記動きの大きさの予測において、
   前記動きの大きさとして、第１および第２の相関性を算出し、
   第１の相関性は、前記符号化対象のボトムフィールドと前記第１のフィールドとの相関性であり、第２の相関性は、前記符号化対象のボトムフィールドと前記第２のフィールドとの相関性であり、
   前記参照ピクチャ候補の設定において、
   第１の相関性と第２の相関性との比または差分に応じて、前記参照ピクチャ候補に設定
   する
   ことを特徴とする請求項１記載の参照ピクチャ選択方法。
9. 前記参照ピクチャ候補の設定において、
   第１の相関性と第２の相関性との比または差分に応じて、前記空間的直近フィールドを前記参照ピクチャ候補に含める
   ことを特徴とする請求項８記載の参照ピクチャ選択方法。
10. 前記特定フィールドは第１のフィールド、第２のフィールドの一方であり、
    前記第１のフィールドは前記符号化対象のボトムフィールドよりも符号化順で先行するフィールドペア内のトップフィールドであり、
    前記第２のフィールドは当該フィールドペア内のボトムフィールドであり、
    前記動きの大きさの予測において、
    前記第１のフィールド、前記第２のフィールドおよび前記符号化対象のボトムフィールドそれぞれの縮小画像を生成し、
    縮小画像を用いて、前記第１のフィールドに対する符号化対象のボトムフィールドの動きを検出し、
    縮小画像を用いて、前記第２のフィールドに対する符号化対象のボトムフィールドの動きを検出する
    ことを特徴とする請求項１記載の参照ピクチャ選択方法。
11. 前記参照ピクチャ候補の設定において、
    検出された２つの動きに基づいて、前記空間的直近フィールドを前記参照ピクチャ候補に含める
    ことを特徴とする請求項１０記載の参照ピクチャ選択方法。
12. 前記符号化対象のボトムフィールドは双予測画面間符号化されたピクチャを参照可能なフィールドペアに属し、
    前記参照ピクチャ候補の設定において、
    予測された動きに応じて、参照可能な全てのピクチャから選ばれた参照ピクチャ候補からなる第１のサブセットおよび第２のサブセットの一方を選択し、
    前記第１のサブセットは、前記符号化対象フィールドと同じフィールドペア内のトップフィールドである時間的直近フィールドを含み、前記空間的直近フィールドを含まず、
    前記第２のサブセットは前記空間的直近フィールドを含み前記時間的直近フィールドを含まない
    ことを特徴とする請求項１記載の参照ピクチャ選択方法。
13. 前記参照ピクチャ選択方法は、さらに、
    参照ピクチャ候補に前記空間的直近フィールドが含まれているとき、当該空間的直近フィールドに最小のビット数で表される参照インデックスを付与する
    ことを特徴とする請求項１記載の参照ピクチャ選択方法。
14. 請求項１記載の参照ピクチャ選択方法を含むことを特徴とする画像符号化方法。
15. 請求項１記載の参照ピクチャ選択方法をコンピュータに実行させることを特徴とするプログラム。
16. インターレースビデオを符号化する画像符号化装置であって、
    符号化対象のボトムフィールドよりも符号化順で先行する特定フィールドを用いて、前記符号化対象のボトムフィールドの動きの大きさを予測する予測手段と、
    予測した動きの大きさに応じて、前記インターレースビデオに含まれる複数のピクチャの中から、前記符号化対象のボトムフィールドの符号化に適したピクチャのみを選択して、選択されたピクチャを参照ピクチャ候補として設定するとともに、前記符号化対象のボトムフィールドの符号化に適していないピクチャを前記参照ピクチャ候補から排除する設定手段と、
    設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照ピクチャを選択する選択手段と、
    選択された参照ピクチャを用いて符号化対象のボトムフィールドを符号化する符号化手段とを備え、
    前記設定手段は、前記動きの大きさの予測結果に応じて、前記符号化対象のボトムフィールドよりも符号化順で直前の双予測符号化フィールドペア内のボトムフィールドである空間的直近フィールドを前記参照ピクチャ候補に含める
    ことを特徴とする画像符号化装置。
17. インターレースビデオを符号化する半導体装置であって、
    符号化対象のボトムフィールドよりも符号化順で先行する特定フィールドを用いて、前記符号化対象のボトムフィールドの動きの大きさを予測する予測手段と、
    予測した動きの大きさに応じて、前記インターレースビデオに含まれる複数のピクチャの中から、前記符号化対象のボトムフィールドの符号化に適したピクチャのみを選択して、選択されたピクチャを参照ピクチャ候補として設定するとともに、前記符号化対象のボトムフィールドの符号化に適していないピクチャを前記参照ピクチャ候補から排除する設定手段と、
    設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照ピクチャを選択する選択手段と、
    選択された参照ピクチャを用いて符号化対象のボトムフィールドを符号化する符号化手段とを備え、
    前記設定手段は、前記動きの大きさの予測結果に応じて、前記符号化対象のボトムフィールドよりも符号化順で直前の双予測符号化フィールドペア内のボトムフィールドである空間的直近フィールドを前記参照ピクチャ候補に含める
    ことを特徴とする半導体装置。

Images