JP2005510984A - デジタルビデオコンテンツのためのピクチャレベルの適応フレーム／フィールド符号化 - Google Patents

Abstract

本発明は、デジタルビデオコンテンツを符号化又は復号する方法に関する。デジタルビデオコンテンツは、イントラピクチャ、予測ピクチャ又は両方向予測ピクチャとすることができるピクチャのストリームからなる。各ピクチャは、マクロブロックからなり、マクロブロックはより小さく分割することができる。この符号化又は復号方法では、ピクチャのストリーム内の各ピクチャをフレームモード又はフィールドモードの何れかで符号化する。

Description

本発明は、デジタルビデオコンテンツの符号化及び復号に関し、より具体的には、本発明は、ＭＰＥＧ−４ Ｐａｒｔ １０ ＡＶＣ／Ｈ．２６４ビデオ符号化規格において使用され、デジタルビデオコンテンツのピクチャレベルにおけるフレームモード符号化及び復号と、フィールドモード符号化及び復号とに関する。

ビデオ圧縮は、多くの既存の製品及び新規の製品において使用されている。ビデオ圧縮は、デジタルテレビジョンセットトップボックス（set-top boxes：ＳＴＢ）、デジタル衛星放送システム(digital satellite systems：ＤＳＳ)、高精細度テレビジョン（high definition television ：ＨＤＴＶ）デコーダ、デジタルバーサタイルディスク（digital versatile disk：ＤＶＤ）プレーヤ、テレビ会議、インターネットビデオ及びマルチメディアコンテンツ、及び他のデジタルビデオの用途において重要である。デジタルビデオコンテンツは、ビデオ圧縮しなければ、非常にデータ量が大きいため、効率よく保存し、伝送し、表示することは不可能又は困難である。

デジタルビデオコンテンツは、テレビジョン受像機、コンピュータモニタ又はデジタルビデオコンテンツを表示可能な他の電子機器に画像として表示されるピクチャのストリームからなる。特定のピクチャの前に表示されるピクチャは、この特定ピクチャの「後方」にある。また、この特定ピクチャの後に表示されるピクチャは、この特定ピクチャの「前方」にある。

ビデオ圧縮は、各ピクチャを１つのフレーム又は２つのフィールドとして符号化するビデオ符号化処理、すなわちコーディング処理において行われる。各フレームは、空間情報の数多くのラインからなる。例えば、一般的なフレームは、４８０本の水平ラインを含む。各フィールドは、１フレームの半分のラインを含んでいる。例えば、フレームが４８０水平ラインからなるときには、各フィールドは２４０水平ラインからなる。代表的な構成では、一方のフィールドは、フレーム内の奇数ラインからなり、他方のフレームは、フレーム内の偶数ラインからなる。以下及び添付の特許請求の範囲では、特別に定義する場合を除いて、偶数ラインからなるフィールドを「トップ」フィールドと呼ぶ。また、以下及び添付の特許請求の範囲では、特別に定義する場合を除いて、奇数ラインからなるフィールドを「ボトム」フィールドと呼ぶ。２つのフィールドは、互いにインタレースされ、インタレースされたフレーム（以下、インタレースフレームという。）が形成される。

包括的に言えば、ビデオ符号化は、デジタルビデオコンテンツデータから「必須でない（non-essential）」データを除去することによって行われる。データ量を削減することにより、放送又は伝送時に必要とされる帯域幅が削減される。圧縮されたビデオデータは、伝送された後、復号又は伸張する必要がある。この処理では、伝送されてきたビデオデータを処理して、符号化処理において除去された「必須でない」データに代えてビデオデータに組み込むための近似データを生成する。

ビデオ符号化は、圧縮されていないデジタルビデオコンテンツよりも少ない容量で保存できるように、また狭い帯域幅で伝送できるように、デジタルビデオコンテンツを圧縮された形式に変換する。圧縮は、ビデオコンテンツのピクチャにおける時間的及び空間的な冗長を利用している。デジタルビデオコンテンツは、例えばハードディスク、ＤＶＤ、他の不揮発性記憶装置等のストレージ媒体に格納することができる。

デジタルビデオコンテンツを圧縮するビデオ符号化方法には数多くのものがある。そのため、ビデオエンコーダ及びビデオデコーダの大半が認識できる形式で圧縮デジタルビデオコンテンツを表現するように、様々なデジタルビデオ符号化方法を標準化するビデオ符号化規格が開発されている。例えば、モーションピクチャエキスパートグループ（Motion Picture Experts Group ：以下、ＭＰＥＧという。）及び国際電気通信連合（International Telecommunication Union：以下、ＩＴＵ−Ｔという。）は、広く使われているビデオ符号化規格化を開発している。これらの規格の例として、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格、ＩＴＵ−Ｔ勧告Ｈ２６１、ＩＴＵ−Ｔ勧告Ｈ．２６３がある。

ＭＰＥＧ及びＩＴＵ−Ｔによって開発された規格を始めとる大部分の最新のビデオ符号化規格は、一つには、動き補償（motion compensation：以下、ＭＣという。）アルゴリズムを有する時間的予測に基づいてる。動き補償を有する時間的予測は、デジタルビデオ放送における連続するピクチャ間の時間的冗長を削減するために、用いられる。

動き補償アルゴリズムを有する時間的予測では、通常、個々のピクチャを符号化するために１つ又は２つの参照ピクチャを用いる。参照ピクチャは、既に符号化されたピクチャである。動き補償アルゴリズムを有する時間的予測では、符号化する特定のピクチャと参照ピクチャとを比較することによって、参照ピクチャと符号化する特定のピクチャ間の時間的冗長を利用し、仮に動き補償アルゴリズムを有する時間的予測を用いなかった場合と比べ、より高い圧縮率でピクチャを符号化することができる。参照ピクチャの一方は、符号化する特定のピクチャの後方にある。他方の参照ピクチャは、符号化する特定のピクチャの前方にある。

しかしながら、より高い解像度、より複雑な画像コンテンツ、より速い伝送速度を実現する要求に応じて、より優れたビデオ圧縮方法が望まれている。このために、現在、新たなビデオ符号化規格が開発されている。この新たなビデオ符号化規格は、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格と呼ばれている。

ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格は、ビデオ圧縮における多くの新たな方法を提案している。例えば、新たに提案されたＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格の特徴の１つとして、参照ピクチャは２つに限定されず、複数参照ピクチャ（multiple reference pictures）を用いることができる。複数参照ピクチャを用いることによって、エンコーダは、符号化するピクチャに最も一致した参照ピクチャを探すことができ、動き補償アルゴリズムを有する時間的予測の性能を向上させることができる。符号化処理において、符号化するピクチャに最も一致した参照ピクチャを用いることによって、ピクチャの符号化において高い圧縮率が実現できる。参照ピクチャは、フレーム及びフィールドバッファに記憶される。

上述したように、エンコーダは、ピクチャを１つのフレーム又は２つのフィールドとして符号化することができる。符号化するピクチャのシーケンスにおいて、幾つかのピクチャをフレームとして符号化し、幾つかのピクチャをフィールドとして符号化することができれば、圧縮率をより高めることができる。

可能な数多くの実施例の１つとして、本発明は、デジタルビデオコンテンツのビットストリームを符号化、復号及び生成する方法を提供する。デジタルビデオコンテンツは、イントラピクチャ、予測ピクチャ又は両方向予測ピクチャとすることができるピクチャのストリームからなる。各ピクチャは、マクロブロックからなり、マクロブロックは更により小さく分割することができる。この符号化又は復号方法では、ピクチャのストリーム内の各ピクチャをフレームモード又はフィールドモードの何れかで符号化する。

本発明は、複数のピクチャのストリーム（以下、ピクチャストリームという。）からなるデジタルビデオコンテンツのピクチャレベルでの適応フレーム／フィールド（以下、ＡＦＦという。）符号化方法を提供する。ピクチャレベルでのＡＦＦ符号化において、符号化するピクチャストリームの各ピクチャは、他のピクチャのフレーム符号化モード又はフィールド符号化モードにかかわらずフレームモード又はフィールドモードで符号化される。ピクチャをフレームモードで符号化する場合、インタレースされたフレームを構成する２つのフィールドを一緒に符号化する。一方、ピクチャをフレームモードで符号化する場合、インタレースされたフレームを構成する２つのフィールドを別々に符号化する。エンコーダは、フレームモード符号化とフィールドモード符号化のうち、どちらのタイプが各ピクチャに対してより有利であるかを判定し、ピクチャの符号化タイプを選択する。フレームモードとフィールドモードとから選択する完全な方法は、本発明において重要でないので、詳細は省略する。

上述のように、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格は、デジタルビデオコンテンツ符号化して圧縮する新たな規格である。引用により本願に援用されるＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格を制定している勧告書は、ジョイントビデオチーム（Joint Video Team：ＪＶＴ）によって２００２年８月１０日に発行された「ジョイントビデオ仕様の共同最終委員会草案（Joint Final Committee Draft (JFCD) of Joint Video Specification）」を包含している（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４＆ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ）。ＪＶＴは、ＩＳＯ又はＭＰＥＧ及びＩＴＵ−Ｔの専門家らによって構成されている。ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格は公に知られているため、本明細書では、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４ビデオ符号化規格の特徴を全て詳細に記載することはしないが、本発明は、この規格の仕様に基づいて実現される。

ここに説明するＡＦＦ符号化法は、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格の定めるガイドラインと互換性があり、これに則した説明を行うが、このＡＦＦ符号化法は、特定の規格又は用途に応じて、適宜変更することができる。

以下、図面を参照して、本発明の好ましい実施例について説明する。

図１は、本発明を実現するために用いることができる３種類のピクチャのシーケンスの具体例を示しており、これらは、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格を始めとする代表的なビデオ符号化法において定義されている。上述のように、エンコーダはピクチャを符号化し、デコーダはピクチャを復号する。エンコーダ又はデコーダは、プロセッサ、特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレー（field programmable gate array ：ＦＰＧＡ）、エンコーダ／デコーダ（coder/decoder：ＣＯＤＥＣ）、デジタルシグナルプロセッサ（digital signal processor：ＤＳＰ）、ピクチャストリームを符号化できる他の電子回路等の何れであってもよいが、以下及び添付の特許請求の範囲において、特別に定義する場合を除き、「エンコーダ」という用語は、ピクチャストリームからなるデジタルビデオコンテンツを符号化する全ての電子回路を含むものとする。また、以下及び添付の特許請求の範囲において、特別に定義する場合を除き、「デコーダ」という言葉は、ピクチャストリームからなるデジタルビデオコンテンツを復号する全ての電子回路を含むものとする。

ビデオ符号化方法に用いることができるピクチャの３つのタイプを図１に示す。３つのピクチャタイプは、記憶されているデジタルビデオコンテンツへのランダムアクセスをサポートし、動き補償を有する時間的予測を使用して、最大の冗長抑圧（the maximum redundancy reduction）を探索するよう定義されている。３つのピクチャタイプには、イントラピクチャ（intra picture：以下、Ｉピクチャという。）（１００）と、予測ピクチャ（predicted picture：以下、Ｐピクチャという。）（１０２ａ、１０２ｂ）と、両方向予測ピクチャ（bi-predicted picture：以下、Ｂピクチャという。）（１０１ａ〜１０１ｄ）とがある。Ｉピクチャ（１００）は、記憶されているデジタルビデオコンテンツにランダムアクセスするためのアクセスポイントになっており、低い圧縮率で符号化される。イントラピクチャ（１００）は、参照ピクチャを参照することなく符号化される。

予測ピクチャ（１０２ａ，１０２ｂ）は、既に符号化されたＩ、Ｐ、Ｂピクチャを参照ピクチャとして用いて符号化される。符号化されるＰピクチャに対して時間的に前方又は後方のピクチャの何れも参照ピクチャとして使用できる。予測ピクチャ（１０２ａ、１０２ｂ）は、イントラピクチャ（１００）よりも高い圧縮率で符号化することができる。

両方向予測ピクチャ（１０１ａ〜１０１ｄ）は、前方参照ピクチャ及び後方参照ピクチャの２つの時間的な参照ピクチャを用いて符号化される。前方参照ピクチャは過去参照ピクチャと呼ばれることもあり、後方参照ピクチャは未来参照ピクチャと呼ばれることもある。本発明の実施例では、前方参照ピクチャ及び後方参照ピクチャが、符号化されるＢピクチャに対して時間的に同一方向にあってもよい。両方向予測ピクチャ（１０１ａ〜１０１ｄ）は、３つのピクチャタイプのうち最も高い圧縮率で符号化することができる。

図１は、３つのピクチャタイプの間の参照関係（１０３）を示している。例えば、Ｐピクチャ（１０２ａ）は、符号化されたＩピクチャ（１００）を参照ピクチャとして用いて符号化することができる。Ｂピクチャ（１０１ａ〜１０１ｄ）は、図１に示すように、符号化されたＩピクチャ（１００）又はＰピクチャ（１０２ａ）を参照ピクチャとして用いて符号化することができる。本発明の原理に基づけば、符号化されたＢピクチャ（１０１ａ〜１０１ｄ）は、符号化する他のＢピクチャの参照ピクチャとして使用することもできる。例えば、図１に示すＢピクチャ（１０１ｃ）は、他の２つのＢピクチャ（１０１ｂ、１０１ｄ）を参照ピクチャとしている。

図１に示すＩピクチャ（１００）、Ｂピクチャ（１０１ａ〜１０１ｄ）、Ｐピクチャ（１０２ａ、１０２ｂ）の各番号及び順序は、ピクチャの配置の一例を示しているに過ぎず、本発明を実現する上で必須要件ではない。特定の応用例に応じて、どのような数のＩピクチャ、Ｂピクチャ、Ｐピクチャをどのような順序で用いてもよい。ＭＰＥＧ−４ Ｐａｒｔ １０ ＡＶＣ／Ｈ．２６４規格は、２つの参照ピクチャ間のＢピクチャの数又は２つのＩピクチャ間のピクチャの数に関して何の制約も課していない。

図２に示すように、各ピクチャ（２００）は、好ましくは複数のスライス（２０２）に分割される。各スライス（２０２）は、一群のマクロブロック（２０１）を含んでいる。マクロブロック（２０１）は、一群の画素である。図２に示すように、好ましいマクロブロック（２０１）のサイズは、１６×１６画素である。

図３（ａ）〜図３（ｆ）は、マクロブロックが更により小さいブロックに分割できることを示している。例えば、図３（ａ）〜図３（ｆ）に示すように、マクロブロックは、更に１６×８画素（図３ａ；３００）、８×１６画素（図３ｂ；３０１）、８×８画素（図３ｃ；３０２）、８×４画素（図３ｄ；３０３）、４×８画素（図３ｅ；３０４）、４×４画素（図３ｆ；３０５）等のブロックサイズに分割することができる。

図４は、本発明の実施例として示す動き補償を有する時間的予測を用いたピクチャ構造の一例を示している。動き補償を有する時間的予測では、現在のピクチャであるピクチャＮ（４００）は、他のピクチャＮ−１（４０１）を平行移動することによって局所的に作る（model）ことができるとみなされる。ピクチャＮ−１は、ピクチャＮ（４００）を符号化するための参照ピクチャであり、ピクチャＮ（４００）に対して時間的に前方にあっても後方にあってもよい。

図４に示すように、各ピクチャは、好ましくは、マクロブロック（２０１ａ、２０１ｂ）を含むスライスに分割される。ピクチャＮ−１（４０１）は、ピクチャＮ（４００）に示される画像（４０３）を含んでいる。図４に示すように、画像（４０３）は、ピクチャＮ（４００）では、ピクチャＮ−１（４０１）における位置とは異なる時間的位置（４０２）になる。ピクチャＮ（４００）の各マクロブロック（２０１ａ）の画像内容は、画像（４０３）がピクチャＮ（４００）における新たな時間的位置（４０２）に移動するために必要とされるピクチャＮ−１（４０１）の各マクロブロック（２０１ｂ）の画像内容の時間的動き量を推測することによって、ピクチャＮ−１（４０１）において一致するマクロブロック（２０１ｂ）の画像内容から予測される。実際には、元の画像（４０２）ではなく、画像（４０２）とこの画像の予測画像である（４０３）との間の差分（４０４）が符号化され、伝送される。

ピクチャＮ（４００）内の各画像（４０２）に対して、時間的予測は、画像（４０３）がピクチャＮ（４００）内の新たな時間的位置（４０２）に移動するときに必要とされる時間的動き量を示す動きベクトルによって表すことができる。動き補償を有する時間的予測に使用される動きベクトル（４０６）は、符号化及び伝送される必要がある。

図４は、ピクチャＮ（４００）内の画像（４０２）が、画像とこの画像の予測値間の差分（４０４）と、関連する動きベクトル（４０６）とによって表現されることを示している。動きベクトルを用いた符号化の完全な方法は、特定の用途に応じて変更することができ、この変更は、当業者にとって容易である。

図５は、本発明に基づき、動き補償を有する時間的予測に複数参照ピクチャを用いることの利点を説明するためのピクチャストリームの具体例を示している。複数参照ピクチャ（multiple reference pictures）を用いることにより、ピクチャＮ（４００）を最も高い圧縮率で符号化できる可能性が増す。この具体例では、ピクチャＮ−１（４０１）、ピクチャＮ−２（５００）、ピクチャＮ−３（５０１）は、既に符号化されている。図５に示すように、ピクチャＮ−３（５０１）内の画像（５０４）は、ピクチャＮ−１（４０１）内の画像（５０２）及びピクチャＮ−２（５００）内の画像（５０２）に比して、ピクチャＮ（４００）内の画像（４０２）により類似している。複数参照ピクチャを使用することにより、ピクチャＮ−１（４００）に代えてピクチャＮ−３（５０１）を参照ピクチャとして用いてピクチャＮ（４００）を符号化することができる。

以下、ピクチャストリームのピクチャレベルでのＡＦＦ符号化について詳細に説明する。インタレースシーケンスのフレームは、トップフィールドとボトムフィールドの２つのフィールドを含み、トップフィールドとボトムフィールドは、インターリーブされており、フィールド周期に対応する時間離れている。フィールド周期は、フレーム周期の半分である。ピクチャレベルでのＡＦＦ符号化において、インタレースされたフレームにおける２つのフィールドは、一緒に又は別々に符号化される。２つのフィールドを一緒に符号化する場合、フレームモード符号化が用いられる。一方、２つのフィールドを別々に符号化する場合、フィールドモード符号化が用いられる。

一方、固定フレーム／フィールド符号化では、ピクチャのストリームにおける全てのピクチャをフレームモード又はフィールドモードの何れか１つのモードで符号化する。そのモードは、フレームモードとすることができ、又はフィールドモードとすることができる。ピクチャレベルでのＡＦＦが固定フレーム／フィールド符号化よりも優れているのは、エンコーダがピクチャストリーム内の各ピクチャを符号化するために、デジタルビデオ素材の内容に基づいてフレームモード又はフィールドモードの何れかのモードを選択できるからである。

フレームモード符号化は、既にフレームとして符号化されたピクチャを参照フレームとして使用する。符号化されたＩフレーム、Ｐフレーム、Ｂフレームの何れも参照フレームとして使用できる。参照フレームは、エンコーダの一部であるフレームバッファに記憶される。本発明の実施例では、図６に具体例を示すように、フレームモードで符号化している現在のピクチャからの距離に基づいて、フレームバッファ内の各参照フレームに固有のフレーム番号を割り当てる。例えば、図６に示すように、フレーム（６００）として符号化する現在のピクチャに対して、フレームバッファ（６０１）内に複数の参照フレーム（０〜５）がある。また、図６には、現在のフレーム（６００）に対応するフィールド（ｆ１、ｆ２）及び参照フレーム（０〜５）も示している。ｆ１として示す破線は、ファーストフィールドであり、ｆ２として示す破線は、セカンドフィールドである。ファーストフィールドは、２つのフィールドからなるピクチャにおいて符号化される最初のフィールドであり、セカンドフィールドは、２つのフィールドからなるピクチャにおいて符号化される２番目のフィールドである。本発明の実施例では、ファーストフィールドは、トップフィールド又はボトムフィールドの何れであってもよい。また、本発明の他の実施例では、セカンドフィールドがトップフィールド又はボトムフィールドの何れであってもよい。フレームは、実線によって表されている。図６に示すように、参照フレーム０は、現在のフレーム（６００）に時間的に最も近接したフレームである。参照フレーム番号の値は、現在のフレーム（６００）から時間的に離れるに従って大きくなる。

本発明の原理に基づけば、フレームとして符号化されるＢピクチャは、前方及び後方の複数参照ピクチャを有することができる。前方及び後方の参照ピクチャに対して固有の番号が割り当てられる。

動き補償アルゴリズムを有する時間的予測においては、フレームとして符号化されたピクチャ内の各画素に対してサブピクセル補間法（sub-pel interpolation）を適用する。フレーム境界の画素を繰り返すことにより、フレームとして符号化された参照ピクチャにパディング処理（Padding）を施すこともできる。動き補償アルゴリズムを有する時間的予測において、パディング処理を行うことが望ましい場合がある。隣接するブロック間の境界において不連続な画素値の原因となるフレームブロックに対しては、ループフィルタリング又は逆ブロック化処理（de-blocking）を適用することができる。

本発明の他の実施例では、Ｐピクチャ内のマクロブロックは、ＡＦＦ符号化においてスキップ（skip）することができる。マクロブロックをスキップすると、そのデータは、ピクチャの符号化において伝送されない。Ｐピクチャ内のスキップされたマクロブロックは、フレームとして時間的に最も近く符号化されたＩ参照ピクチャ又はＰ参照ピクチャ内の動き補償により同じ位置とされた（co-located）マクロブロックをコピーすることによって再構築される。

フィールドモード符号化では、既に符号化されたピクチャを参照フィールドとして用いる。参照フィールドとしては、符号化されたＩフィールド、Ｐフィールド又はＢフィールドの何れも使用することができる。参照フィールドは、エンコーダの一部であるフィールドバッファに記憶される。本発明の実施例では、２つのフィールドとして符号化された現在のピクチャからの距離に応じて、フレームバッファ内の各参照フレームに固有の参照フレーム番号を割り当てる。図７（ａ）及び図７（ｂ）は、参照フィールドの番号付けの具体例を示しており、ここでは、本発明の実施例として、現在のフィールドと同じフィールドパリティの参照フィールドには、対応するセカンドフィールドよりも小さい番号を付している。２つのフィールドは、ともにトップフィールドであるか又はともにボトムフィールドであれば、同じフィールドパリティを有する。図７（ａ）及び図７（ｂ）の具体例では、符号化される現在のピクチャのファーストフィールドがトップフィールドの場合、参照ピクチャのファーストフィールドもまたトップフィールドである。この場合、セカンドフィールドは、ボトムフィールドである。ファーストフィールドは、全てボトムフィールドであってもよく、セカンドフィールドは、全てトップフィールドであってもよい。

図７（ａ）に示すように、フィールド（７００）として符号化する現在のピクチャは、フィールドバッファ（７０１）内に多くの参照フィールド（０〜１０）を有する。ｆ１の符号が付された破線は、ファーストフィールドを示しており、ｆ２の符号が付された破線は、セカンドフィールドを示している。また、図７（ａ）では、これらのフィールドに対応するフレームを実線で示している。図７（ａ）に示すように、現在のフィールド（７００）が、符号化するピクチャのファーストフィールドである場合、フィールドバッファ（７０１）内の最初のピクチャのファーストフィールドには、番号０が割り当てられ、フィールドバッファ（７０１）内の最初のピクチャのセカンドフィールドには、番号１が割り当てられる。参照フィールドの番号は、参照フィールドが現在のフィールド（７００）から時間的に離れるにつれて大きくなる。フィールドバッファ内のピクチャのファーストフィールドには、対応するセカンドフィールドより小さい番号が付される。

図７（ｂ）は、現在のフィールド（７０２）が、２つのフィールドとして符号化するピクチャのセカンドフィールドである場合の参照フィールドの番号付けの具体例を示している。ｆ１の符号が付された破線は、ファーストフィールドを示しており、ｆ２の符号が付された破線は、セカンドフィールドを示している。現在のピクチャのファーストフィールドは、既に符号化されている。図７（ｂ）に示すように、現在のフィールド（７０２）は、セカンドフィールドであるので、フィールドバッファ（７０１）内の最初のピクチャのセカンドフィールドには参照番号０を割り当てる。現在のピクチャにおいて最初に符号化されるフィールドには番号０を割り当てる。参照フィールドの番号は、参照フィールドが現在のフィールド（７０２）から時間的に離れるにつれて大きくなる。フィールドバッファ内のピクチャのファーストフィールドには、対応するセカンドフィールドより小さい番号が付される。

図８は、本発明の実施例に基づくフィールドバッファにおける参照フィールドの番号付けの他の具体例を示している。この具体例では、現在のフィールドと同じフィールドパリティのフィールドに優先順位（favoring）を与えない。例えば、図８に示すように、現在のフィールド（８００）は、ファーストフィールドである。フィールドバッファ内の最も新しく符号化されたピクチャの最も新しく符号化されたフィールドに参照番号０を割り当てる。参照フィールドの番号は、フィールドパリティにかかわらず、参照フィールドが現在のフィールド（８００）から時間的に離れるにつれて大きくなる。

本発明の他の実施例では、エンコーダが特定のＰピクチャに対してフィールド符号化を選択した場合、エンコーダは、参照フィールドとして符号化されたファーストフィールドを用いて、セカンドフィールドを符号化することができる。ピクチャがＢピクチャである場合、符号化されたファーストフィールドは、セカンドフィールドを符号化するための２つの参照フィールドのうちの１つとして用いることができる。

適応両方向予測（adaptive bi-prediction：以下、ＡＢＰという。）では、２つの参照ピクチャをフィールドモードで符号化することができる。この場合、フィールド間隔を用いて、換算動きベクトル（scaled motion vectors）を計算する。ＡＢＰ符号化では、２つの参照ピクチャが同じ時間方向にある。

動き補償アルゴリズムを有する時間的予測では、フィールドモードで符号化されたピクチャ内の各画素に対してサブピクセル補間法を適用する。フレーム境界の画素を繰り返すことにより、フレームとして符号化された参照ピクチャにパディング処理を施すこともできる。動き補償アルゴリズムを有する時間的予測において、パディング処理を行うことが望ましい場合がある。隣接するブロック間の境界において不連続な画素値の原因となるフレームブロックに対しては、ループフィルタリング又は逆ブロック化処理を適用することができる。

本発明の他の実施例では、Ｐピクチャ内のマクロブロックは、ＡＦＦ符号化においてスキップすることができる。マクロブロックをスキップすると、そのデータは、ピクチャの符号化において伝送されない。Ｐピクチャ内のスキップされたマクロブロックは、同じフィールドパリティの時間的に最も近く符号化されたＩ参照フィールド又はＰ参照フィールド内の動き補償により同じ位置とされたマクロブロックをコピーすることによって再構築される。他の実施例では、Ｐピクチャ内のスキップされたマクロブロックは、時間的に最も近くに符号化された参照フィールド内の同じ位置のマクロブロックをコピーすることによって再構築される。この参照フィールドは、異なるフィールドパリティを有していてもよい。

本発明の他の実施例では、Ｂピクチャに対しダイレクトモード符号化（direct mode coding）を行う。ダイレクトモード符号化では、Ｂピクチャ内のマクロブロックの前方動きベクトル及び後方動きベクトルは、後方参照ピクチャの対応するマクロブロック又は後方参照ピクチャの同じ位置のマクロブロックから導出される。２つのピクチャ内の同じ位置のマクロブロックは、両ピクチャにおいて同じ幾何学的位置を占めている。後方参照ピクチャは、前方参照ピクチャとして参照されることがあり、本発明の実施例において、後方参照ピクチャは、符号化されている現在のピクチャに対して時間的に前方にあるというわけではない。

ダイレクトモード符号化が他の符号化方法よりも優れているのは、マクロブロックがインターモード符号化（inter mode coding）において最大１６個の動きベクトルと最大４個の参照フレームを有することができる点である。インターモード符号化では、動き補償を有する時間的予測によってマクロブロックを符号化する。インターモード符号化によってマクロブロックを符号化する場合、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格では、図３（ａ）〜図３（ｆ）に示すより小さな６つのブロックサイズ（１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素）が、それ自体の動きベクトルを有することができる。また、１６×１６画素のブロックサイズもそれ自体の動きベクトルを有することができる。また、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格では、１６×１６画素、１６×８画素、８×８画素のブロックサイズが、それ自体の参照フレームを有することもできる。したがって、マクロブロックは、最大１６個の動きベクトルと最大４個の参照フレームを有することができる。このように、多数の動きベクトルを用いることができるため、後方参照ピクチャにおいて既に算出されている同じ位置のマクロブロックの動きベクトルから、符号化するマクロブロックの動きベクトルを導出するという利点がある。ダイレクトモード符号化において、符号化するマクロブロックの前方動きベクトル及び後方動きベクトルは、後方参照ピクチャ内の同じ位置のマクロブロックの前方動きベクトルの換算値（scaled versions）として算出される。

ピクチャレベルでのＡＦＦ符号化では、Ｂピクチャ及びＢピクチャの後方参照ピクチャは、それぞれフレームモードでもフィールドモードでも符号化することができる。したがって、フレーム及びフィールド符号化モードに関して、Ｂピクチャにおけるマクロブロックと、Ｂピクチャの後方参照ピクチャ内の同じ位置のマクロブロックとの対に対して、４つの異なる組合せが可能である。第１の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフレームモードである場合である。第２の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフィールドモードである場合である。第３の組合せは、現在のマクロブロックがフィールドモードであり、このマクロブロックと同じ位置のマクロブロックがフレームモードである場合である。第４の組合せは、現在のマクロブロックがフレームモードであり、このマクロブロックと同じ位置のマクロブロックがフィールドモードである場合である。符号化するマクロブロックの動きベクトルをダイレクトモードで計算する方法は、４つの組合せ毎に異なっている。Ｂピクチャ内のマクロブロックについてダイレクトモードで動きベクトルを計算する４つの方法を以下に詳細に説明する。

まず、第１の組合せにおけるダイレクトモード動きベクトルの計算について、図９を用いて説明する。図９に示すように、現在のＢピクチャ（９００）は、フレームモードで符号化された後方参照ピクチャ（９０１）及び前方参照ピクチャ（９０２）を参照ピクチャとして使用して、フレームモードで符号化される。図９では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フレームモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。

図９に示すように、現在のＢピクチャ（９００）にはブロック（９０３）が含まれ、後方参照ピクチャ（９０１）にはブロック（９０３）と同じ位置のブロック（９０４）が含まれている。ブロック（９０３）及び同じ位置のブロック（９０４）は、等しい画素範囲を有している。これらの画素範囲は、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、又は４×４画素とすることができる。本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において使用される現在のＢピクチャ（９００）内のブロック（９０３）に対して、２つの動きベクトルを導出する。一方の動きベクトルＭＶ_Ｆは、フレームモードで符号化された前方参照ピクチャ（９０２）を指している。他方の動きベクトルＭＶ_Ｂは、フレームモードで符号化された後方参照ピクチャ（９０１）を指している。これらの２つの動きベクトルは、以下の式（１）及び式（２）によって算出される。

式（１）及び式（２）において、ＴＲ_Ｂは、フレームモードで符号化する現在のＢピクチャ（９００）とフレームモードで符号化された前方参照ピクチャ（９０２）との間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲ_Ｄは、フレームモードで符号化された前方参照ピクチャ（９０２）とフレームモードで符号化された後方参照ピクチャ（９０１）との間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。参照ピクチャ間の時間的距離を計算する好ましい方法については、後述する。ＭＶは、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０４）のために既に算出された動きベクトルであり、フレームモードで符号化された前方参照ピクチャ（９０２）を指している。

次に、第２の組合せにおけるダイレクトモードでの動きベクトルの計算について、図１０及び図１１を用いて説明する。図１０及び図１１に示すように、現在のＢピクチャ（９００）は、フィールドモードで符号化された後方参照ピクチャ（９０１）及び前方参照ピクチャ（９０２）を参照ピクチャとして使用して、フィールドモードで符号化される。図１０及び図１１では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フィールドモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。

図１０に示すように、現在のＢピクチャ（９００）のファーストフィールドにはブロック（９０５）が含まれている。ブロック（９０５）の動きベクトルは、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０６）の前方動きベクトルＭＶ_１から算出される。図１０に示す実施例によれば、同じ位置のブロック（９０６）は、現在のＢピクチャ（９００）内のブロック（９０５）と同じパリティのフィールドにある。ブロック（９０５）及び同じ位置のブロック（９０６）は、等しい画素範囲を有する。これらの画素範囲は、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、又は４×４画素とすることができる。

本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において使用される現在のＢピクチャ（９００）内のブロック（９０５）に対して、２つの動きベクトルを導出する。一方の動きベクトルＭＶ_Ｆ，１は、動きベクトルＭＶ_１が指すフィールドモードで符号化された前方参照ピクチャ（９０２）のフィールドを指している。他方の動きベクトルＭＶ_Ｂ，１は、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０６）のフィールドを指している。これらの２つの動きベクトルは、以下の式（３）及び式（４）によって算出される。

式（３）及び式（４）に示す下付き添字のｉは、フィールド指標（field index）である。ファーストフィールドのフィールド指標は、１であり、セカンドフィールドのフィールド指標は、２である。したがって、図１０に示す具体例では、ファーストフィールドが符号化されているので、フィールド指標は、１である。ＭＶ_ｉは、後方参照ピクチャ（９０１）のフィールドｉにおける同じ位置のマクロブロックの前方動きベクトルである。ＴＲ_Ｂ，ｉは、現在のＢピクチャ（９００）のｉ番目のフィールドとＭＶ_ｉによって指された参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲ_Ｄ，ｉは、後方参照ピクチャ（９０１）とＭＶ_ｉによって指された参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。

図１０に示すように、現在のＢピクチャ（９００）のセカンドフィールドには、他のブロック（９０７）がある。このブロック（９０７）は、後方参照ピクチャ（９０１）のセカンドフィールド内の同じ位置のブロック（９０８）を有している。同じ位置のブロック（９０８）の前方動きベクトルが、その同じ位置のブロック（９０８）の属するピクチャ以外の何れかのピクチャの予め符号化されたフィールドを指している場合、前方動きベクトル及び後方動きベクトルは、フィールド指標を２とした式（３）及び式（４）によって算出される。

なお、本発明の実施例では、後方参照ピクチャ（９０１）のセカンドフィールド内の同じ位置のブロック（９０８）の前方動きベクトルは、図１１に示すように、同じ後方参照ピクチャ（９０１）のファーストフィールドを指すことができる。図１１は、同じ位置のブロック（９０８）が後方参照ピクチャ（９０１）のファーストフィールドを指す前方動きベクトルＭＶ_２を有することを示している。この場合、現在のブロック（９０７）のための２つの動きベクトルは、以下の式によって算出される。

式（５）及び式（６）におけるＴＲ_Ｂ，２は、現在のＢピクチャ（９００）のセカンドフィールドとＭＶ_２によって指された参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲ_Ｄ，２は、後方参照ピクチャ（９０１）のセカンドフィールドとＭＶ_２によって指された参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。この場合、図１１に示すように、両動きベクトルは、後方を指している。

次に、第３の組合せにおけるダイレクトモード動きベクトルの計算について、図１２を用いて説明する。図１２に示すように、現在のＢピクチャ（９００）は、フレームモードで符号化された後方参照ピクチャ（９０１）及び前方参照ピクチャ（９０２）を参照ピクチャとして使用して、フィールドモードで符号化される。図１２では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フレームモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。

図１２に示すように、現在のＢピクチャ（９００）のファーストフィールドには、ブロック（９０５）が含まれる。図１２に示す実施例においては、同じ位置のブロック（９０４）は、フレームモードで符号化されている。本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において使用される現在のＢピクチャ（９００）内のブロック（９０５）に対して、２つの動きベクトルを導出する。図１２に示すように、一方の動きベクトルＭＶ_Ｆ，１は、現在のブロック（９０５）のフィールドパリティと同じパリティを有する前方参照ピクチャ（９０２）のフィールドを指している。図１２に示す具体例では、現在のブロック（９０５）は、現在のＢピクチャ（９００）のファーストフィールドにある。他方の動きベクトルＭＶ_Ｂ，１は、後方参照ピクチャ（９０１）において同じパリティのフィールドを指している。これらの２つの動きベクトルは、以下の式（７）及び式（８）によって算出される。

式（７）及び式（８）において、ＭＶは、同じ位置のブロック（９０４）のフレームベースの前方動きベクトルを垂直方向において２で除算することによって算出される。これにより、現在のブロック（９０５）がフィールドモードであり、同じ位置のブロック（９０４）がフレームモードであるという事実を補正している。下付き添字ｉは、フィールド指標である。ファーストフィールドのフィールド指標は、１であり、セカンドフィールドのフィールド指標は、２である。したがって、図１２に示す具体例では、ファーストフィールドが符号化されているので、フィールド指標は、１である。ＴＲ_Ｂ，ｉは、後方参照ピクチャ（９０１）のｉ番目のフィールドと前方参照フレーム（９０２）のｉ番目のフィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲ_Ｄは、現在のＢピクチャ（９００）のｉ番目のフィールドと後方参照ピクチャ（９０１）内の同じ位置のブロック（９０４）のフレームとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。現在のＢピクチャ（９００）のセカンドフィールド内のブロック（９０７）のための動きベクトルの算出にも同様の数式が用いられる。

第４の組合せにおけるダイレクトモード動きベクトルの計算について、図１３を用いて説明する。図１３に示すように、現在のＢピクチャ（９００）は、フィールドモードで符号化された後方参照ピクチャ（９０１）及び前方参照ピクチャ（９０２）を参照ピクチャとして使用して、フレームモードで符号化される。図１３では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フィールドモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。

図１３に示すように、フレームとして符号化する現在のＢピクチャ（９００）には、ブロック（９０３）が含まれている。このブロック（９０３）の動きベクトルは、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０６）の前方動きベクトルＭＶ_１から算出される。本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において使用される現在のＢピクチャ（９００）内の現在のブロック（９０３）に対して、２つの動きベクトルを導出する。２つの動きベクトルは、以下の式（９）及び式（１０）によって算出される。

式（９）及び式（１０）において、ＭＶ１は、後方参照ピクチャ（９０１）のファーストフィールド内の同じ位置のブロック（９０６）のフィールドベースの動きベクトルを垂直方向に２倍にすることによって算出される。ＴＲ_Ｂは、同じ位置のブロック（９０６）の前方動きベクトルが指している前方参照ピクチャ（９０２）におけるフィールドに対応する参照フレーム間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。図１３では、動きベクトルをＭＶ_１として表している。ＴＲ_Ｄ，１は、後方参照ピクチャ（９０１）のファーストフィールド内の同じ位置のブロック（９０６）の前方動きベクトルが指している前方参照ピクチャ（９０２）におけるフィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。

本発明の他の実施例では、Ｐピクチャに対するダイレクトモード符号化を拡張する。ピクチャレベルでのＡＦＦ符号化では、Ｐピクチャ及びＰピクチャの後方参照ピクチャは、フレームモードでもフィールドモードでも符号化することができる。したがって、フレーム及びフィールド符号化モードに関して、ＰピクチャにおけるマクロブロックとＰピクチャの後方参照ピクチャ内の同じ位置のマクロブロックとの対に対して、４つの異なる組合せが可能である。第１の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフレームモードである場合である。第２の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフィールドモードである場合である。第３の組合せは、現在のマクロブロックがフィールドモードであり、このマクロブロックと同じ位置のマクロブロックがフィールドモードである場合である。第４の組合せは、現在のマクロブロックがフレームモードであり、このマクロブロックと同じ位置のマクロブロックがフィールドモードである場合である。Ｐピクチャ内のブロックは、前方動きベクトルだけを有する。符号化するマクロブロックの動きベクトルをダイレクトモードで計算する方法は、４つの組合せ毎に異なっている。Ｂピクチャ内のマクロブロックについてダイレクトモードで動きベクトルを計算する４つの方法を以下に詳細に説明する。

第１の組合せでは、現在のＰピクチャとこのＰピクチャの後方参照ピクチャがともにフレームモードで符号化される。現在のＰピクチャ内のブロックのための前方参照ピクチャは、後方参照ピクチャ内のこのブロックと同じ位置のブロックによって用いられたのと同じピクチャである。したがって、現在のブロックの前方動きベクトルであるＭＶ_Ｆは、このブロックと同じ位置のブロックの前方動きベクトルと同じである。

第２の組合せでは、ＰピクチャとこのＰピクチャの後方参照ピクチャは、ともにフィールドモードで符号化される。現在のＰピクチャのフィールド内のブロックのダイレクトモード符号化における動きベクトルは、後方参照ピクチャの同じパリティを有するフィールド内の同じ位置のブロックの前方動きベクトルから算出される。現在のＰピクチャのｉ番目のフィールド内のブロックのための前方動きベクトルＭＶ_Ｆ，ｉは、後方参照ピクチャのｉ番目のフィールド内の同じ位置のブロックの前方動きベクトルと同じである。

第３の組合せでは、現在のＰピクチャは、フィールドモードであり、後方参照ピクチャは、フレームモードである。現在のＰピクチャのフィールドの１つにおけるブロックと同じ位置のブロックは、フレーム符号化されているので、現在のＰピクチャのフィールドの１つにおけるブロックの前方動きベクトルは、同じ位置のブロックの動きベクトルを垂直方向において２で除算することで算出される。

第４の組合せでは、現在のＰピクチャは、フレームモードであり、後方参照ピクチャは、フィールドモードである。後方参照ピクチャのファーストフィールド内の同じ位置のブロックは、フレームモードである現在のＰピクチャ内のブロックの前方動きベクトルを算出するために用いられる。フレームモードでの現在のＰピクチャ内のブロックの前方動きベクトルＭＶ_Ｆは、後方参照ピクチャのファーストフィールド内の同じ位置のブロックのフィールドベースの動きベクトルを垂直方向において２倍にすることによって算出される。

本発明の他の実施例として、マルチフレーム補間予測モード（multi-frame interpolative prediction mode：以下、ＭＦＩＰという。）がある。ＭＦＩＰは、包括的なフレーム補間予測のフレームワークである。上述したように、フレームモード又はフィールドモードで符号化されるＢピクチャは、フレームモード又はフィールドモードで符号化された２つの参照ピクチャを有している。２つの参照ピクチャは、図１４に示すように、ともに前方ピクチャとすることができる。図１４は、２つの参照ピクチャを有する、符号化するＢピクチャ（１４０）を示している。参照ピクチャの一方は、前方参照ピクチャ（１４１）であり、他方は、後方参照ピクチャ（１４２）である。図１４に示すように、これらの参照ピクチャは、ともに時間的に前方にある。また、２つの参照ピクチャは、図１５に示すように、ともに時間的に後方にあってもよい。図１５において、Ｂピクチャ（１４０）は、時間的に後方にある前方参照ピクチャ（１４１）と後方参照ピクチャ（１４２）を有している。本発明の他の実施例を図１６に示す。図１６に示すように、Ｂピクチャ（１４０）は、時間的に前方にある前方参照ピクチャ（１４１）と、時間的に後方にある後方参照ピクチャ（１４２）とを有することができる。

ＭＦＩＰでは、予測信号は、動き補償信号を線形補間したものである。ＢピクチャのＭＦＩＰによる予測信号（ｐｒｅｄ）は、以下の式（１１）で算出される。

式（１１）において、変数ｒｅｆ_１及び変数ｒｅｆ_２は、２つの参照ピクチャである。変数ｗ_１及び変数ｗ_２は、重み係数である。変数ｄは、デフォルトではゼロに設定されている。線形補間係数ｗ_１、ｗ_２、ｄは、各マクロブロック毎に明確に決定することができる。参照ピクチャｒｅｆ_１、ｒｅｆ_２がともに前方参照ピクチャ又はともに後方ピクチャであれば、参照ピクチャｒｅｆ_１は、Ｂピクチャに時間的距離でより近い参照ピクチャである。両方向参照ピクチャの場合、参照ピクチャｒｅｆ_１、ｒｅｆ_２は、それぞれ前方参照ピクチャと後方参照ピクチャである。

ＭＦＩＰマクロブロックの両動きベクトルは、互いに関連して符号化される。参照ピクチャｒｅｆ_２の動きベクトルＭＶ_２は、以下の式（１２）を用いて、参照ピクチャｒｅｆ_１の換算動きベクトルＭＶ_１にオフセットＤＭＶを加えることによって生成される。

式（１２）では、変数ＤＭＶは、データ動きベクトル（data motion vector）であり、オフセットを表している。変数ＴＲ_１、ＴＲ_２は、現在のピクチャと、最も近い参照ピクチャｒｅｆ_１及び最も遠い参照ピクチャｒｅｆ_２のそれぞれとの間の時間的距離、時間的距離の近似値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。

ピクチャレベルでのＡＦＦにおいては、Ｂピクチャは、１つのＢフレームピクチャ又は２つのＢフィールドピクチャとして符号化される。符号化する現在のＢピクチャとフィールド構造におけるＢピクチャの参照ピクチャを用いて、フィールドモードでＭＦＩＰを扱う際の規則について以下に示す。

式（１１）によって予測信号が生成されるが、ここでは、ｒｅｆ_１及びｒｅｆ_２は、ｒｅｆ＿ｉｄｘ＿ｆｗｄ及びｒｅｆ＿ｉｄｘ＿ｂｗｄという参照フィールド番号によって示されるフィールドである。フィールドｒｅｆ_１、ｒｅｆ_２は、それぞれトップフィールド又はボトムフィールドの何れであってもよい。重み係数の初期値ｗ_１、ｗ_２は、それぞれ（０．５，０．５，０）及び（２，−１，０）である。

式（１２）によってＭＶ_２が生成される。２つの参照ピクチャは、フィールド構造であるので、ＴＲ_１及びＴＲ_２は、参照フィールドと現在のフィールド間の時間的距離に基づいて決定される。

ＭＦＩＰモードにおける参照フィールド番号ｒｅｆ＿ｉｄｘ＿ｆｗｄ、ｒｅｆ＿ｉｄｘ＿ｂｗｄを表すコード番号は、フィールドピクチャにおける周知及び通常の取り決めに従う。

ＡＦＦ符号化におけるピクチャ間の時間的距離は、時間的参照値（ＴＲ）である変数を用いることによって、又はピクチャ番号をカウントし、ピクチャの差分を計算することによって算出することができる。本発明の実施例では、ピクチャレベルのＡＦＦについて、ＴＲをフィールド毎に１ずつ増加し、定数（例えば、２５６）でリセットする。すなわち、ＴＲは、フィールド間隔（in field interval）である。ここで、フレームインデックス又はフレーム番号をｎとする。変数ｎは、フレーム毎に１ずつ増加する。フレームインデックスｎを有するフレームがフレームモードで符号化されると、このフレームのＴＲは、２ｎになる。また、フレームインデックスｎを有するフレームがフィールドモードで符号化されると、このフレームのファーストフィールドのＴＲは、２ｎになり、セカンドフィールドのＴＲは、２ｎ＋１になる。

上述の説明は、本発明の実施の形態の一例を例示的に示したものであって、発明を完全に包括し限定することを意図したものではない。上述した記載に基づいて、多くの変形及び変更が可能である。

上述の実施の形態は、本発明の原理及び幾つかの実際的な応用例を例示的に示すために選択されたものである。上述の説明により、当業者は、様々な形態で本発明を利用することができ、個々の用途に応じて様々な変形例を想到することができる。本発明は、添付の特許請求の範囲によって定義される。

ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格を始めとする代表的なビデオ符号化規格に規定され、本発明を実施するのに用いられる代表的な３つのピクチャタイプのシーケンスを示す図である。 本発明に基づき、各ピクチャがマクロブロックを含むスライスに分割されることを示す図である。 本発明に基づき、マクロブロックを１６×８画素のブロックに分割できることを示す図である。 本発明に基づき、マクロブロックを８×１６画素のブロックに分割できることを示す図である。 本発明に基づき、マクロブロックを８×８画素のブロックに分割できることを示す図である。 本発明に基づき、マクロブロックを１６×４画素のブロックに分割できることを示す図である。 本発明に基づき、マクロブロックを４×８画素のブロックに分割できることを示す図である。 本発明に基づき、マクロブロックを４×４画素のブロックに分割できることを示す図である。 本発明に基づく動き補償を有する時間的予測を用いたピクチャ構成の具体例を説明する図である。 本発明に基づく動きベクトルを有する時間的予測において複数参照ピクチャを用いることの利点を説明する例示的なピクチャストリームを示す図である。 本発明に基づき、フレームモードで符号化する現在のピクチャからの距離に応じてフレームバッファ内における各参照ピクチャに固有の参照フレーム番号が割り当てられることを説明する図である。 本発明に基づき、現在のフィールドと同じフィールドパリティの参照フィールドに対し、対応するセカンドフィールドよりも小さい番号を与える参照フィールドの番号付けを説明する図である。 現在のフィールドが、２つのフィールドとして符号化するピクチャのセカンドフィールドである場合の参照フィールドの番号付けを説明する図である。 本発明に基づき、フィールドバッファにおける相互参照フィールドの番号付けの他の例を示す図である。 現在のマクロブロックと、同じ位置のマクロブロックとがともにフレームモードにある場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。 現在のマクロブロックと、同じ位置のマクロブロックとがともにフィールドモードにある場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。 現在のマクロブロックと、同じ位置のマクロブロックとがともにフィールドモードにある場合において、動きベクトルをダイレクトモードで算出する他の方法を説明する図である。 現在のマクロブロックがフィールドモードであり、同じ位置のマクロブロックがフレームモードである場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。 現在のマクロブロックがフレームモードであり、同じ位置のマクロブロックがフィールドモードである場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。 本発明の実施例において、時間的に前方にある２つの参照ピクチャを有するＢピクチャを示す図である。 本発明の実施例において、時間的に後方にある２つの参照ピクチャを有するＢピクチャを示す図である。 時間的に前方にある前方参照ピクチャと時間的に後方にある後方参照ピクチャとを有するＢピクチャを示す図である。

Claims (7)

1. より小さいブロックに分割されるマクロブロックを含み、イントラピクチャ、予測ピクチャ又は両方向予測ピクチャとすることができるピクチャのストリームからなるデジタルビデオコンテンツを符号化又は復号する符号化又は復号方法において、
   上記ピクチャのストリーム内の上記各ピクチャをフレームモード又はフィールドモードで符号化するステップを有する符号化又は復号方法。
2. 上記ピクチャのストリーム内の上記両方向予測ピクチャをダイレクトモードで符号化又は復号するステップを更に有する請求項１記載の符号化又は復号方法。
3. 上記ピクチャのストリーム内の上記両方向予測ピクチャに含まれるマクロブロックを分割した更に小さい各ブロックのための前方動きベクトル及び後方動きベクトルを導出するステップを更に有する請求項２記載の符号化又は復号方法。
4. 上記ピクチャのストリームの上記予測ピクチャをダイレクトモードで符号化又は復号するステップを更に有することを特徴とする請求項１記載の符号化又は復号方法。
5. 上記ピクチャのストリームの上記予測ピクチャに含まれるマクロブロックを分割した更に小さい各ブロックのための前方動きベクトル及び後方動きベクトルを導出するステップを更に有する請求項２記載の符号化又は復号方法。
6. 上記動きベクトルの導出に使用される時間的差分を計算するステップ更に有する請求項１記載の符号化又は復号方法。
7. 上記ピクチャのストリームの上記ピクチャをマルチフレーム補完予測モードで符号化するステップを更に有する請求項１記載の符号化又は復号方法。

Images