JP2014014144A - 画像符号化復号化方法および画像符号化復号化装置 - Google Patents

Abstract

【課題】画像復号化において必要なメモリ量を考慮しながら、復号化して表示できないピクチャが生じない画像符号化復号化方法を提供する。
【解決手段】非参照画像である復号化画像が、表示時刻までバッファに格納する必要があるものか否かを判定し（Ｓｔｅｐ１０）、非参照画像である復号化画像が、表示時刻までバッファに格納する必要があると判定された場合は（Ｓｔｅｐ１０のＹｅｓ）、その復号化画像を出力用の画像として出力することなく復号化画像をメモリに保存する（Ｓｔｅｐ１３）。
【選択図】図４

Description

本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化して表示する画像復号化方法に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、MPEG（Moving Picture Experts Group）とは、動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格を対象とする伝送速度が主として約１．５Mbit/sに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２（非特許文献１）では、動画像信号が２〜１５Mbit/sに圧縮される。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。

更に近年、MPEG-4の次世代符号化としてJVTと呼ばれる、ITU-TとISO/IEC共同による新しい画像符号化が標準化中である。

図２４はピクチャの予測構造・復号順序と表示順序を示す図である。ピクチャとはフレームもしくはフィールドのいずれかを指す用語であり、本明細書ではフレームもしくはフィールドの代わりにピクチャという表現を用いる。また、画像もしくは画面という用語もピクチャと同義語である。図２４で斜線のハッチングを施したピクチャは、他のピクチャの符号化・復号化の際に参照されるため、メモリに保存されるピクチャを表す。

I0は画面内符号化ピクチャであり、P3、P6、P9は画面間予測符号化ピクチャ（Pピクチャ）である。JVT標準化案では画面間符号化では、従来のMPEG-1/2/4と異なり、複数の符号化済ピクチャから任意のピクチャを参照ピクチャとして１つ選択して、参照ピクチャから予測画像を生成することができる。たとえば、P9ピクチャは、I0、P3、P6の３つのピクチャから任意の1ピクチャを選択してそのピクチャから予測画像を生成することができる。これにより、従来のMPEG-1/2/4よりも適切な予測画像を選択できる可能性が高まり、圧縮率が向上する。B1、B2、B4、B5、B7、B8は画面間双予測符号化ピクチャ（Bピクチャ）であり、画面間予測ピクチャの予測と異なり、複数（２つ）のピクチャを選択してその選択したピクチャから予測画像を生成し符号化する。特に、時間的に前後の２つのピクチャの平均値を予測画像とする内挿予測をすることで、予測画像の精度を大幅に向上でき圧縮率が大幅に向上することが知られている。以下、画面内符号化ピクチャをI、画面間予測符号化ピクチャをP、画面間双予測符号化ピクチャをBという記号を各ピクチャに付与し、各ピクチャの符号化方法を区別する。

Bピクチャで時間的に前後のピクチャを予測符号化で参照するためには、時間的に後方のピクチャが先に符号化・復号化されていなければならない。これは、ピクチャの並べ替え（リオーダリング）と呼ばれ、従来のMPEG-1/2/4からよく行われている。従って、符号化順序（Stream Order）に対し、符号化されたストリームを復号化して表示する順序（Display Order）は図２４のピクチャの予測構造・復号順序と表示順序を示す図のように並べ替えられることになる。なお、図２４の例におけるBピクチャはストリームを復号化した瞬間に表示されるため、他の画像から参照されない場合はメモリ等に蓄積する必要が無いが、IピクチャやPピクチャは復号化した後、次のBピクチャを復号化した後に表示されるため、メモリに保存する必要がある。

以下、ピクチャの予測構造・復号順序と表示順序を示す図においては、用語およびピクチャの斜線のハッチングの意味は図２４と同じ意味で統一する。

図２５は他のピクチャの予測構造・復号順序と表示順序を示す図である。同図において、図２４との違いは、ピクチャ6がPピクチャで無く、Iピクチャであることである。

図２６は従来の画像符号化方法を実現するための画像符号化装置のブロック図である。以下、図２６の従来の画像符号化方法を実現する画像符号化装置の動作について説明する。

ピクチャ構造決定ユニットPicStructは各ピクチャの符号化タイプ（Iピクチャ、Pピクチャ、Bピクチャ）を決定して参照ピクチャ管理ユニットRefPicCtrlにその符号化タイプおよび符号化で参照可能なピクチャを指示し、またピクチャの符号化順序を並べ替えユニットReOrderに通知する。並べ替えユニットReOrderは入力ピクチャPicInの順序を符号化順序に並べ替えて、動き検出ユニットMEおよび減算ユニットSubに並べ替えたピクチャを出力する。動き検出ユニットMEはピクチャメモリPicMem1に保存されたピクチャを参照して適切な参照ピクチャとその画素位置を指し示す動きベクトルMVとを導出し、可変長符号化ユニットVLCとピクチャメモリPicMem1、動き補償ユニットMCに送出する。ピクチャメモリPicMem1は動きベクトルMVに対応する参照ピクチャの画素を動き補償ユニットMCに出力し、動き補償ユニットMCはピクチャメモリPicMem1から得た参照ピクチャの画素と動きベクトルＭＶとから予測画像を生成する。

減算ユニットSubは並べ替えユニットReOrderで並べ替えたピクチャと予測画像の差を計算し、その差を直交変換ユニットTで周波数係数に変換し、更に量子化ユニットQで周波数係数を量子化し、量子化値Coefとする。

逆量子化ユニットIQは量子化値Coefを逆量子化して周波数係数に復元し、更に逆直交変換ユニットITで周波数係数から画素差分値に逆周波数変換する。加算ユニットAddでは予測画像を画素差分値に加算して復号画像を得る。

参照ピクチャ管理ユニットRefPicCtrlはピクチャの符号化タイプに応じ、参照ピクチャとして参照するためにピクチャメモリPicMem1に保存すべき復号画像か、ピクチャメモリPicMem1から開放（参照ピクチャとして以後参照されない）すべき復号画像があるかを判断し、その動作をメモリ管理コマンドMMCOとして通知する。

スイッチSWは、当該復号画像がメモリ管理コマンドMMCOによって保存が指示された場合にONになり、当該復号画像がピクチャメモリPicMem1に参照ピクチャとして保存される。また、ピクチャメモリPicMem1は、メモリ管理コマンドMMCOによってピクチャメモリPicMem1から開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。

可変長符号化ユニットVLCは、量子化値Coef、動きベクトルMV、メモリ管理コマンドMMCOを符号化し、符号化ストリームStrを出力する。

符号化として周波数変換と量子化を伴う例を示したが、周波数変換や量子化を伴わない符号化（DPCMやADPCM、線形予測符号化など）でもよい。また、周波数変換と量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に量子化を伴わない符号化でもよい。

図２７はメモリ管理コマンドMMCOの符号例である。符号化・復号化の最初や、GOPの先頭ではピクチャメモリを初期化するために、可変長符号化ユニットVLCは全メモリ開放を意味する'000'を符号化する。また、復号化した画像をピクチャメモリに保存する場合には、可変長符号化ユニットVLCは'01'を符号化する。ピクチャメモリに保存したピクチャを開放する場合は、開放するピクチャ番号を指示しなければならないので、可変長符号化ユニットVLCは'001'の次に開放するピクチャ番号を符号化する。なお、同時に複数ピクチャ開放する場合は開放するコマンドを複数回符号化する必要があり、またピクチャを開放するコマンドに加えて、ピクチャを保存する場合もある。そこで、可変長符号化ユニットVLCは複数のメモリ管理コマンドMMCOを続けて符号化し、メモリ管理コマンドMMCOが完了したことを示す'1'を最後に符号化する。以上のようにして、メモリ管理コマンドMMCOが符号化ストリームStrに符号化される。

図２８は従来の画像復号化方法を実現する画像復号化装置のブロック図である。同図において、図２６の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。

可変長復号化ユニットVLDは符号化ストリームStrを復号化し、メモリ管理コマンドMMCO、動きベクトルMV、量子化値Coefを出力する。ピクチャ時刻Timeは外部から入力され、表示するピクチャを指定する信号である。表示すべきピクチャが復号化した当該ピクチャであればセレクタSelで加算ユニットAddの出力が選択され、表示ユニットDispに送出される。表示すべきピクチャがピクチャメモリPicMem1に保存されているピクチャであればそれがピクチャメモリPicMem1から読み出され、セレクタSelで選択され、表示ユニットDispに送出される。

なお、上述の通り、ピクチャメモリPicMem1は動きベクトルMVに対応する画素を動き補償ユニットMCに出力し、動き補償ユニットMCはピクチャメモリPicMem1から得た画素と動きベクトルＭＶとから予測画像を生成する。

また、逆量子化ユニットIQは量子化値Coefを逆量子化して周波数係数に復元し、更に逆直交変換ユニットITで周波数係数から画素差分値に逆周波数変換する。加算ユニットAddはその画素差分値に予測画像を加算して復号画像とする。

また、ピクチャメモリPicMem1は、メモリ管理コマンドMMCOによってピクチャメモリPicMem1での開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。

復号化として逆周波数変換と逆量子化を伴う例を示したが、逆周波数変換や逆量子化を伴わない復号化（DPCMやADPCM、線形予測符号化など）でもよい。また、逆周波数変換と逆量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に逆量子化を伴わない復号化でもよい。

以上の図２８の従来の画像復号化方法を実現する画像復号化装置により、図２４および図２５で示す従来のピクチャ符号化タイプの組み合わせは、図２６の従来の画像符号化方法を実現する画像符号化装置で符号化した符号化ストリームStrを正しく復号化できるこ
とは明らかである。

「ISO/IEC 13818-2,Information technology -- Generic coding of moving pictures and associated audio information: Video」(1996年5月15日)

さて、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討した。

図１はピクチャの従来にはない予測構造・復号順序と表示順序を示す図である。図１ではピクチャ４の前後でBピクチャの予測構造が異なっている。即ち、ピクチャ２のBピクチャは保存されてピクチャ１およびピクチャ３の予測画像として参照されるものである。その結果、各ピクチャの符号化順序および表示順序は図１のようになる。

さて、ピクチャ５とピクチャ６は予測符号化で参照されないので保存されないBピクチャである。しかしながら、図２４の場合と異なり、復号化時点では他のピクチャの表示時刻であり、まだ表示する時刻になっていない。つまり、ピクチャＢ５の復号化時点ではピクチャＰ４を表示しなければならず、ピクチャＢ６の復号化時点ではピクチャＢ５を表示しなければならない。一方、ピクチャＢ５とピクチャＢ６は保存されないため、ピクチャメモリから表示時刻にピクチャＢ５とピクチャＢ６を出力することもできない。従って、予測符号化で参照されないピクチャはピクチャメモリに保存しないため、従来の符号化・復号化の方法ではピクチャＢ５とピクチャＢ６を復号化して表示できないことになる。すなわち、図２４に示す例のように予測符号化で参照されないピクチャを保存しない場合ではピクチャ０、ピクチャ１、ピクチャ２、ピクチャ４、ピクチャ７だけが表示できることになる。

このように、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討すると、復号化して表示できないピクチャが生じてしまうという問題がある。また、表示用に別途、ピクチャメモリを追加し、ピクチャメモリPicMem1に保存されていないピクチャを表示用の別のピクチャメモリに保存すれば表示が可能になるが、この場合、別のピクチャメモリに大きな余分なメモリが必要になる欠点がある。

更に、表示用の別のピクチャメモリを導入したとしても、ストリーム途中からの再生において新たな問題が発生する。図２はピクチャの予測構造・復号順序と表示順序を示す図である。同図において、図２５との違いは、ピクチャ７の前後で完全に予測構造が独立となることである。I7以降のピクチャはI7より前の時刻のピクチャを符号化・復号化で参照しない。従って、I7ピクチャから復号化を開始すればI7ピクチャ以降が正しく復号化できるため、I7ピクチャはストリーム途中から再生可能であるという特徴を有する。このように、ストリーム途中にIピクチャを挿入することが良く行われ、この途中から再生できる構造をMPEG-2に準じてGOP（グループ オブ ピクチャ）と呼ぶことにする。

さて、ストリーム途中から再生するためには、途中から再生した時点でも再生画像が符号化装置と復号化装置との間で一致することを保証しなければならず、そのためにピクチャメモリの全ピクチャ領域を初期化するのが簡単な方法である。しかしながら、ピクチャ6はピクチャ７を復号化した時点ではまだ表示されずにピクチャメモリに格納されているため、単純にピクチャ６の表示前に全てのピクチャメモリを初期化してしまうとピクチャ6の表示時刻にピクチャメモリからピクチャ6を表示できなくなってしまう。

そこで、本発明では、画像の符号化あるいは復号化において必要なメモリ量を考慮しながら、復号化して表示できないピクチャが生じないようにすることを目的とする。

上記目的を達成するために、本発明の画像符号化復号化方法は、複数の画像から構成される動画像を予測符号化する画像符号化方法と、複数の画像から構成される動画像を予測符号化して得られた画像符号化信号を復号化する画像復号化方法とを行う画像符号化復号化方法であって、前記画像符号化方法は、前記動画像の入力画像を符号化する符号化ステップと、符号化された前記入力画像を復号化して、復号化画像を得る第一画像復号化ステップと、前記第一画像復号化ステップにより得られた前記復号化画像が、他の画像を予測符号化する際に参照される参照画像である場合には前記復号化画像をバッファに保存する保存ステップとを有し、前記画像復号化方法は、前記画像符号化信号を復号化して復号化画像を得る第二画像復号化ステップと、前記第二画像復号化ステップにより得られた前記復号化画像が参照画像であるか非参照画像であるかを判定する第一判定ステップと、前記復号化画像が非参照画像であると前記第一判定ステップで判定された場合に、前記復号化画像が表示時刻までバッファに格納する必要があるものか否かを判定する第二判定ステップと、前記復号化画像が参照画像であると前記第一判定ステップで判定された場合、あるいは、前記復号化画像を表示時刻までバッファに格納する必要があるものと前記第二判定ステップで判定された場合に、前記復号化画像を前記バッファに格納する格納ステップと、表示時刻に基づいて、前記バッファに格納されている復号化された参照画像または復号化された非参照画像が出力すべき画像であるか否かを判定する第三判定ステップと、前記バッファに格納されている復号化された参照画像がもはや参照されることのない画像であるか否かを判定する第四判定ステップと、前記バッファに格納された参照画像に対しては、復号化画像として出力した後に、前記第四判定ステップの判定結果に応じて前記バッファを解放すると共に、前記バッファに格納されている非参照画像に対しては、復号化画像として出力した後に、前記バッファを解放する解放ステップとを有する。

上記目的を達成するために、本発明の画像符号化方法は、複数の画像から構成される動画像を予測符号化する画像符号化方法であって、動画像を予測符号化して画像符号化信号を得る符号化ステップと、前記画像符号化信号を復号化して、復号化画像を得る復号化ステップと、前記復号化画像が、他の画像を予測符号化する際に参照される参照画像であるのか、あるいは、参照されることのない非参照画像であるのかを判定する判定ステップと、前記判定ステップにおいて、前記復号化画像が参照画像であると判定された場合は、前記復号化画像をメモリに保存する保存ステップとを有し、前記判定ステップにおいて、前記復号化画像が非参照画像であると判定された場合は、前記画像符号化方法は、非参照画像である前記復号化画像が、表示順序に従い、前記メモリに保存されているすべての未表示の復号化済み画像よりも先行して表示されるべきであるか否かを判定し、非参照画像である前記復号化画像が、前記メモリに保存されているすべての未表示の復号化済み画像よりも先行して表示されるべきではないと判定された場合は、前記復号化画像を出力用の画像として出力することなく前記復号化画像を前記メモリに保存する。

上記目的を達成するため、本発明の画像符号化装置は、ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であって、復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させることを特徴とする。

ここで前記画像符号化方法は、復号化された画像が参照用の画像であるか否かを判定する第１の判定ステップと、復号化された画像が参照用ではなくかつ表示時刻まで保持が必要な出力用の画像であるか否かを判定する第２の判定ステップと、第１の判定ステップにおいて参照用の画像と判定された画像を前記ピクチャバッファに保持させ、第２の判定ステップにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理ステップとを有する構成としても良い。

この構成によれば、復号画像が参照用の画像であるかという判定に加えて、出力用の画像であるかという判定も行って、参照用の画像に加えて予測符号化において参照されないが復号されると同時に表示又は出力することができない画像を出力用画像としてピクチャバッファに格納する。画像符号化に際してこのような判定及びピクチャバッファ管理を行い復号動作を検証しているので、復号化装置において出力用の画像を確実にその表示時刻に表示あるいは出力することができる。

ここで、前記ピクチャバッファは一定のサイズを有し、前記画像符号化方法は、さらに、ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第３の判定ステップと、ピクチャバッファに保持されている出力用の画像が出力済となったか否かを判定する第４の判定ステップとを有し、前記管理ステップにおいて、第３及び第４の判定ステップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する構成としてもよい。

この構成によれば、管理ステップにおいて、前記ピクチャバッファの一定のサイズの範囲内で、参照用の画像と前記出力用の画像とを、画像を保持している領域を再利用して格納するので、メモリを無駄に消費することなく復号画像ピクチャバッファを必要最小限のサイズとすることができる。

さらに、前記画像符号化方法は、複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化ステップを有するようにしてもよい。

この構成によれば、シーケンス毎に前記サイズが一定となるので、シーケンス毎に予測符号化で用いる画像のタイプを柔軟に定めることができる。

また、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第４の判定ステップにおいて出力済になったと判定された出力用の画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて参照用の画像と判定された画像の何れかを格納する構成としてもよい。

この構成によれば、ピクチャバッファに格納された出力用の画像の領域のうち既に出力済の画像が格納されている領域に、新たな画像を格納する。つまり出力済の画像が格納されている領域を再利用するので、出力済でない復号画像の表示をより確実にすることができる。

さらに、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された出力用の画像のうち表示順で古い画像を保持している領域に、第１の判定ステップにおいて参照用の画像と判定された画像および第２の判定ステップにおいて出力用の画像と判定された画像の何れかを保持させる構成としてもよい。

この構成によれば、出力用の画像のうち表示順で古い画像が格納されている領域には出力済の復号画像が格納されている可能性が高いので、個々の復号画像の表示時刻を正確に判断する構成でなくても、出力済でない復号画像の表示をより確実にすることができる。

また、前記画像符号化方法は、さらに、複数の符号化画像を含むシーケンスの途中で入力画像のサイズ変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放ステップを有する構成としてもよい。

この構成によれば、サイズ変更があったとき、出力用の復号画像は復号画像ピクチャバッファに残すことができるので、サイズ変更の時点で出力済でない画像を削除することなくできるだけ多く出力することができる。

以上の様に、本発明によれば従来では正しく表示不可能であったピクチャも、余分なメモリを持つことなく、開放されたメモリ領域を有効に活用することで表示可能となり、その実用的価値は高い。

また本発明の画像復号化方法、画像符号化装置、画像復号化装置、プログラムについても上記と同様の構成、作用、効果を有する。

また、本発明の画像符号化方法又は画像復号化方法は、以下の（１）から（１６）の何れかの構成とすることができる。

（１）復号化されメモリに保存されている復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、前記復号化済画像をメモリから参照して予測画像を生成し、前記予測画像と前記画像信号の差を符号化して符号化ストリームとするステップと、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、所定の復号画像を前記メモリに格納するステップと、前記メモリの全領域を開放して再利用可能とするか否かを示す指示情報を前記符号化ストリームに含めるステップとを含むことを特徴とする画像符号化方法。

（２）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法。

（３）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法。

（４）復号化されメモリに保存されている復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、前記復号化済画像を前記メモリから参照して予測画像を生成し、前記符号化ストリームを復号化して得られる画像信号に前記予測画像を加算して復号画像とし、所定の復号画像をメモリに格納するステップと、前記符号化ストリームを復号化して得られるメモリの全領域を開放して再利用可能とするか否かを示す指示情報を基に、前記指示情報が示す情報に基づいた処理を行う処理ステップとを含むことを特徴とする画像復号化方法。

（５）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法。

（６）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法。

（７）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法。

（８）復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法。

（９）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法。

（１０）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、予測画像生成のために参照される画像および即座に表示不可能な画像をメモリに格納するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果を前記メモリに格納するメモリ手段を備えた画像符号化装置。

（１１）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって復号化装置で復号化済画像として外部に出力済である画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。

（１２）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって復号化済画像として外部に出力済の画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。

（１３）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。

（１４）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。

（１５）復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって開放した順序が早い領域に格納するメモリ手段を備えた画像符号化装置。

（１６）復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって開放した順序が早い領域に格納するメモリ手段を備えた画像復号化装置。

また、本発明の画像符号化方法及び画像復号化方法をコンピュータに実行させるプログラムを格納する記憶媒体は、以下の（１７）から（２３）の何れかとしてもよい。

（１７）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。

（１８）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。

（１９）上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。

（２０）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。

（２１）上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。

（２２）上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。

（２３）上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。

また、本発明の画像符号化装置においてストリーム及び画像復号化装置に対するメモリ拘束条件を定義し、ビデオを符号化する方法は、以下の（Ａ１）から（Ａ２６）の何れかであってもよい。

（Ａ１）ストリーム及び画像復号化装置に対するメモリ拘束条件を定義する、画像符号化方法であって、用いることができる参照ピクチャの最大数を決定するステップと、後方予測参照ピクチャの最大数を設定するステップと、ストリームのヘッダーに後方予測参照ピクチャの前記最大数を入れるステップと、仮想ディスプレイ遅延バッファを生成するステップと、ディスプレイ・カウンタを生成するステップと、前記参照ピクチャに対して十分な記憶空間を割り当てるステップと、前記ビデオを符号化するステップと、を含む画像符号化方法。ここで、仮想・ディスプレイ遅延バッファは、画像符号化装置内のメモリに確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの出力する順序を示す情報（ピクチャ順序番号等）を保持する。ディスプレイ・カウンタは、仮想的にディスプレイに出力されるべきピクチャのピクチャ順序番号を記憶及び更新する。また、十分な記憶空間とは、参照ピクチャと表示用ピクチャを格納する領域をいう。

（Ａ２）参照ピクチャの前記最大数は、デコーダの能力を示すレベル値に応じて決定される、（Ａ１）に記載の画像符号化方法。

（Ａ３）後方予測参照ピクチャの前記最大数は、参照ピクチャの前記最大数よりも少ない、（Ａ１）または（Ａ２）に記載の画像符号化方法。

（Ａ４）ストリーム全体の前記後方予測は、後方予測参照ピクチャの前記最大数によって制限される、（Ａ１）、（Ａ２）または（Ａ３）に記載の画像符号化方法。

（Ａ５）前記仮想・ディスプレイ遅延バッファのサイズは、後方予測参照ピクチャの前記最大数から１を引いたものである、（Ａ１）に記載の画像符号化方法。

（Ａ６）前記仮想・ディスプレイ遅延バッファの物理メモリは、ピクチャの表示順序情報だけを含む、（Ａ１）または（Ａ５）に記載の画像符号化方法。

（Ａ７）前記ディスプレイ・カウンタは、仮想・ディスプレイ遅延バッファから除去されるピクチャの表示順序情報を記憶するために用いられる、（Ａ１）に記載の画像符号化方法。

（Ａ８）前記画像符号化方法は、利用可能な参照ピクチャを用いて符号化対象ピクチャを予測するステップと、前記符号化対象ピクチャを符号化するステップと、前記符号化したピクチャが予測に用いられるかどうかを決定するステップと、前記符号化したピクチャを復号化するステップと、前記復号化したピクチャを前記参照ピクチャ・バッファに記憶するステップと、前記仮想・ディスプレイ遅延バッファを更新するステップと、前記ディスプレイ・カウンタを更新するステップと、を含む（Ａ１）に記載の画像符号化方法。

（Ａ９）ピクチャの前記予測は、前記ピクチャが予測符号化される場合には一つ又は複数の参照ピクチャを用いることができる、（Ａ１）または（Ａ８）に記載の画像符号化方法。

（Ａ１０）前記参照ピクチャは、前記参照ピクチャ・バッファがメモリ拘束条件を満足した場合にのみ用いることができる、（Ａ１）または（Ａ８）に記載の画像符号化方法。

（Ａ１１）前記参照ピクチャは、前記符号化対象ピクチャが参照ピクチャとして用いられる場合に復号化される、（Ａ１）または（Ａ８）に記載の画像符号化方法。

（Ａ１２）前記復号化されたピクチャの記憶は、次のピクチャに対する参照ピクチャ数のメモリ拘束条件を決定するステップと、前記参照ピクチャ・バッファから未使用参照ピクチャを除去するステップと、前記復号化したピクチャを前記参照ピクチャ・バッファに加えるステップと、を含む、（Ａ１）、（Ａ８）または（Ａ１０）に記載の画像符号化方法。

（Ａ１３）次のピクチャに対する参照ピクチャの前記最大数は、ストリームに対する参照ピクチャの最大数から前記仮想・ディスプレイ遅延バッファのピクチャ数を引いた数に等しい、（Ａ１）、（Ａ８）、（Ａ１０）または（Ａ１２）に記載の画像符号化方法。

（Ａ１４）前記未使用参照ピクチャのディスプレイに対する表示順序情報は、ディスプレイに対する前記表示順序情報が前記ディスプレイ・カウンタの値よりも大きい場合に仮想・ディスプレイ遅延バッファに移動される、（Ａ１）、（Ａ８）、（Ａ１０）または（Ａ１２）に記載の画像符号化方法。

（Ａ１５）前記仮想・ディスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ・カウンタの値より大きい場合には、前記ピクチャの前記時間的情報を記憶する、（Ａ１）または（Ａ８）に記載の画像符号化方法。

（Ａ１６）前記仮想・ディスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ・カウンタの値以下である場合には、前記ピクチャの前記表示順序情報を除去する、（Ａ１）、（Ａ８）または（Ａ１５）に記載の画像符号化方法。

（Ａ１７）前記仮想・ディスプレイ遅延バッファの前記ピクチャ数は、前記仮想・ディスプレイ遅延バッファに存在するピクチャの表示順序情報の合計数によって定義される、（Ａ１）、（Ａ８）、（Ａ１０）、（Ａ１２）または（Ａ１３）に記載の画像符号化方法。

（Ａ１８）前記ディスプレイ・カウンタの表示順序情報は、前記仮想・ディスプレイ遅延バッファがフルであるときか又は符号化されたピクチャ数が前記参照ピクチャの最大数に等しいときに更新を開始する、（Ａ１）または（Ａ８）に記載の画像符号化方法。

（Ａ１９）前記ディスプレイ・カウンタの表示順序情報は、前記ディスプレイ・カウンタが更新を開始した後に符号化された各ピクチャの表示順序情報に基づいて更新される、（Ａ１）、（Ａ８）または（Ａ１８）に記載の画像符号化方法。

（Ａ２０）前記画像符号化装置のための画像復号化装置は、ストリーム・ヘッダーから最大ポスト・デコーダ・バッファ・サイズを決定するステップと、必要な参照ピクチャの最小数を決定するステップと、参照ピクチャに対して十分な物理メモリ空間を割り当てるステップと、前記ストリームを復号化するステップと、前記ストリームを出力するステップと、を含む（Ａ１）に記載の画像符号化方法。

（Ａ２１）前記最大ポスト・デコーダ・バッファ・サイズは、前記画像符号化装置によって設定された後方参照ピクチャの最大数である、（Ａ１）または（Ａ２０）に記載の画像符号化方法。

（Ａ２２）必要な参照ピクチャの前記最小数は、同じそのストリームを復号化できる画像復号化装置の能力レベルに対して固定される、（Ａ１）または（Ａ２０）に記載の画像符号化方法。

（Ａ２３）前記画像復号化装置で割り当てられた前記物理メモリ空間は、参照ピクチャ及びポスト・デコーダ・ピクチャの両方を記憶するために用いることができる、（Ａ１）または（Ａ２０）に記載の画像符号化方法。

（Ａ２４）参照ピクチャ及びポスト・デコーダ・ピクチャの両方の合計は、前記割り当てられた物理メモリ空間を超えない、（Ａ１）または（Ａ２０）に記載の画像符号化方法。

（Ａ２５）前記復号化は、復号化されたピクチャの数が前記最大ポスト・デコーダ・バッファ・サイズから１を引いた数に等しいときか又は復号化されたピクチャの合計数が参照ピクチャの前記決定された最小数に等しいときのいずれか早い方に、第１の復号化されたピクチャを出力する、（Ａ１）または（Ａ２０）に記載の画像符号化方法。

（Ａ２６）復号化されたピクチャは、一旦それが出力のために送られたならば前記ポスト・デコーダ・バッファから除去される、（Ａ１）または（Ａ２０）に記載の画像符号化方法。

また、本発明の画像復号化装置においてストリーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリームを復号化する方法は、以下の（Ａ２７）から（Ａ３７）の何れかであってもよい。

（Ａ２７）ストリーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリームを復号化する方法であって、ストリームに用いられる参照ピクチャの最大数を決定するステップと、後方予測参照ピクチャの最大可能数を決定するステップと、ポスト・デコーダ・バッファの最小サイズを計算するステップと、参照ピクチャ・バッファに対して十分な物理メモリ空間を割り当てるステップと、ポスト・デコーダ・バッファに対して十分な物理メモリ空間を割り当てるステップと、ストリームを復号化するステップと、参照ピクチャ・バッファに復号化したピクチャを記憶するステップと、ポスト・デコーダ・バッファに復号化したピクチャを記憶するステップと、復号化したピクチャを出力するステップと、を含む画像復号化方法。ここで、ポスト・デコーダ・バッファは、画像復号化装置内の参照ピクチャメモリにおける表示用領域をいう。

（Ａ２８）参照ピクチャの前記最大数は、ストリームを復号化できる能力のレベルに応じて画像復号化装置に対して固定される、（Ａ２７）に記載の画像復号化方法。

（Ａ２９）後方予測参照ピクチャの前記最大可能数は、参照ピクチャの前記最大数から１を引いた数によって定義される、（Ａ２７）に記載の画像復号化方法。

（Ａ３０）ポスト・デコーダ・バッファの前記最小サイズは、後方予測参照ピクチャの前記最大可能数から１を引いた数として定義される、（Ａ２７）に記載の画像復号化方法。

（Ａ３１）ポスト・デコーダ・バッファの前記最小サイズをストリームから取得する、（Ａ２７）または（Ａ３０）に記載の画像復号化方法。

（Ａ３２）後方予測参照ピクチャの前記最大可能数は、ポスト・デコーダ・バッファの前記最小サイズに１を加えた数によって定義される、（Ａ２７）または（Ａ３１）に記載の画像復号化方法。

（Ａ３３）参照ピクチャ・バッファの前記最小サイズは、参照ピクチャの前記最大数として定義される、（Ａ２７）に記載の画像復号化方法。

（Ａ３４）前記参照ピクチャ・バッファは、参照ピクチャを記憶するためにだけ用いられる、（Ａ２７）または（Ａ３３）に記載の画像復号化方法。

（Ａ３５）前記ポスト・デコーダ・バッファは、非参照ピクチャを記憶するために用いられる、（Ａ２７）、（Ａ３０）または（Ａ３１）に記載の画像復号化方法。

（Ａ３６）参照ピクチャは、それが非参照ピクチャと判定されたときに前記参照ピクチャ・バッファから除去される、（Ａ２７）、（Ａ３２）または（Ａ３３）に記載の画像復号化方法。

（Ａ３７）ポスト・デコーダ・バッファのピクチャは、それが出力された際に前記ポスト・デコーダ・バッファから除去される、（Ａ２７）、（Ａ３０）、（Ａ３１）または（Ａ３５）に記載の画像復号化方法。

以上の構成によればストリーム及び画像復号化装置の両方に対して同じメモリ拘束条件で動作させることで、ストリームを正しく復号化できることが保証できる。もしそうしなければ、画像復号化装置が復号化過程でストリームを復号化するために十分なメモリ空間を確保できない場合が発生する。

本発明の画像符号化装置によれば、復号画像が参照用の画像であるかという判定に加えて、出力用の画像であるかという判定も行って、参照用の画像に加えて予測符号化において参照されないが復号されると同時に表示又は出力することができない画像を出力用画像としてピクチャバッファに格納する。画像符号化に際してこのような判定及びピクチャバッファ管理を行い復号動作を検証しているので、復号化装置において出力用の画像を確実にその表示時刻に表示あるいは出力することができる。

また、前記ピクチャバッファの一定のサイズの範囲内で、参照用の画像と前記出力用の画像とを、画像を保持している領域を再利用して格納するので、メモリを無駄に消費することなく復号画像ピクチャバッファを必要最小限のサイズとすることができる。

さらに、シーケンス毎に前記サイズが一定となるので、シーケンス毎に予測符号化で用いる画像のタイプを柔軟に定めることができる。

また、ピクチャバッファに格納された出力用の画像の領域のうち既に出力済の画像が格納されている領域に、新たな画像を格納する。つまり出力済の画像が格納されている領域を再利用するので、出力済でない復号画像の表示をより確実にすることができる。

さらに、出力用の画像のうち表示順で古い画像が格納されている領域には出力済の復号画像が格納されている可能性が高いので、個々の復号画像の表示時刻を正確に判断する構成でなくても、出力済でない復号画像の表示をより確実にすることができる。

また、入力画像のサイズが変更されたとき、出力用の復号画像は復号画像ピクチャバッファに残すことができるので、サイズ変更の時点で出力済でない画像を削除することなくできるだけ多く出力することができる。

ピクチャの予測構造・復号順序と表示順序を示す図を示す。 ピクチャの予測構造・復号順序と表示順序を示す図を示す。 本発明の画像符号化方法を実現する画像符号化装置のブロック図（実施の形態1）を示す。 本発明の参照ピクチャ管理ユニットの動作を示すフローチャート（実施の形態１）を示す。 （ａ）（ｂ）（ｃ）はいずれもメモリへのピクチャの保存状態を示す状態図を示す。 本発明の画像符号化装置の動作を示すフローチャート（実施の形態２）を示す。 本発明の画像符号化装置の動作を示すフローチャート（実施の形態３）を示す。 本発明の画像符号化装置の動作を示すフローチャート（実施の形態４）を示す。 本発明の画像復号化方法を実現する画像復号化装置のブロック図（実施の形態５）を示す。 本発明における画像復号化装置の動作を示すフローチャート（実施の形態５）を示す。 本発明における画像復号化装置の他の動作を示すフローチャート（実施の形態５）を示す。 本発明における画像復号化装置の更に他の動作を示すフローチャート（実施の形態５）を示す。 本発明における画像復号化装置のまた更に他の動作を示すフローチャート（実施の形態５）を示す。 画像符号化装置の仮想・ディスプレイ遅延バッファの使用のブロック図を示す。 符号化における、ポスト・デコーダ・バッファ動作処理における本発明のブロック図を示す。 復号化における、ポスト・デコーダ・バッファ動作処理における本発明のブロック図を示す。 参照ピクチャの最大数を制限するために画像符号化装置における仮想・ディスプレイ遅延バッファを用いる一例を示す。 第１のピクチャをディスプレイするための時間を決定するために仮想・ディスプレイ遅延バッファを用いる一例を示す。 上記各実施の形態の画像符号化方法及び画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図（実施の形態７）を示す。 コンテンツ供給システムの全体構成を示すブロック図（実施の形態８）を示す。 画像符号化方法及び画像復号化方法を用いた携帯電話の例を示す外観図（実施の形態８）を示す。 携帯電話のブロック図（実施の形態８）を示す。 ディジタル放送用システムの例を示す構成図（実施の形態８）を示す。 ピクチャの予測構造・復号順序と表示順序を示す図を示す。 ピクチャの予測構造・復号順序と表示順序を示す図を示す。 従来の画像符号化方法を実現する画像符号化装置のブロック図を示す。 メモリ管理コマンドMMCOの符号例を示す対応図を示す。 従来の画像復号化方法を実現する画像復号化装置のブロック図を示す。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
本発明の実施の形態１を説明する。

図３は本発明の画像符号化方法を実現する画像符号化装置のブロック図である。同図において、図２６の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。

図２６の従来の画像符号化方法を実現する画像符号化装置のブロック図との違いは、図３では表示ピクチャ管理ユニットDispPicCtrlが追加され、さらに表示ピクチャ管理ユニットDispPicCtrlの指示が参照ピクチャ管理ユニットRefPicCtrlとピクチャメモリPicMem2に出力されていることである。

また、図３に示される画像符号化装置１００では新たに、外部から変更されたピクチャサイズを取得するとともに、ピクチャ構造決定ユニットPicStructから各ピクチャの符号化タイプ（Iピクチャ、Pピクチャ、Bピクチャ）を取得して、Ｉピクチャのタイミングで、変更するピクチャサイズを示す情報を参照ピクチャ管理ユニットRefPicCtrlに出力するピクチャサイズ変更ユニットPicSizeが設けられている。

ピクチャメモリPicMem2はピクチャメモリPicMem1と動作が殆ど同じであるため、異なる動作の部分のみ説明する。

表示ピクチャ管理ユニットDispPicCtrlはピクチャ時刻Timeを取得し、参照されないために本来は保存されないピクチャが即座に表示可能かどうか（ピクチャメモリに表示時刻まで格納する必要があるかどうか）を判断する。ピクチャ時刻Timeは外部から入力され、表示するピクチャを指定する信号である。ピクチャ時刻の取得は、例えばピクチャをパケット等の伝送路で伝送するためのシステムが出力する時刻情報から取得してもよいし、あるいは、ビデオストリームとオーディオストリームとを多重化するためのフォーマット中の時刻情報から取得してもよく、あるいは、ビデオストリームのフォーマット中の時刻情報から取得してもよい。また、これらはピクチャ毎に時刻がわかる絶対時刻であっても、ピクチャ間で時間の前後がわかる相対時刻であってもどちらでもよい。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。

なお、即座に表示が可能である場合とは、加算器Addで加算して得られたピクチャがピクチャ時刻Timeで指示された表示するピクチャと一致する場合である。この場合には、ピクチャメモリPicMem2に、未表示で且つ符号化のために入力されたピクチャより前に表示されるべきピクチャがない場合のことである。即座に表示可能でなければ、参照されない画像であってもピクチャメモリPicMem2に保存するように、表示ピクチャ管理ユニットDispPicCtrlは、参照ピクチャ管理ユニットRefPicCtrlに指示を出す。その結果、即座に表示されないピクチャは参照の有無に関わらず必ずピクチャメモリPicMem2に格納されることになり、復号化装置でピクチャメモリPicMem2からピクチャを表示できるようになる。

図４は本発明における参照ピクチャ管理ユニットRefPicCtrlの動作のフローチャートである。

当該復号画像（ピクチャ）が予測画像として参照されるために保存すべきであるかどうかを判断する（Step10）。参照されるならばStep12に進み、そうでなければStep11に進む。

Step11では当該復号画像が即座に表示可能であるかどうかを判断する。即座に表示可能とは、復号化した時点でそのまま表示できることであり（例えば図１に示すピクチャ１）、即座に表示不可能とは後で表示しなければならない（例えば図１に示すB５）ことである。即座に表示可能であれば終了し、そうでなければStep12に進む。

Step12ではピクチャメモリPicMem2から保存可能な領域を取得し、Step13で取得したピクチャメモリPicMem2の領域に当該復号画像を保存するようにメモリ管理コマンドMMCOで指示を出す。

以上のようにして、即座に表示されないピクチャはピクチャメモリPicMem2に保存し、表示時刻になった時点でピクチャメモリPicMem2からピクチャを表示できるようにすることができる。また、表示用の余分なピクチャメモリを必要とすることがなく、表示のために保存が必要なピクチャを参照用のピクチャメモリに保存することができる。

上述したピクチャメモリPicMem2には、予測画像の生成のために参照される参照ピクチャが保存される参照用領域と、表示用ピクチャが保存される表示用領域が存在する。

ところで、前述したGOP（グループ オブ ピクチャ）毎にピクチャサイズの変更を行うことも可能である。このピクチャサイズの変更は、不要になった参照ピクチャの保存されたメモリの参照用領域を全て開放する（再利用可能の状態にする）場合にのみ行われる。

しかしながら、このようにピクチャサイズの変更が行われる場合に、上述したように、未表示の表示用ピクチャはメモリ領域に保存されているが、この未表示の表示用ピクチャをどのように扱うべきか（消去すべきか、そのまま表示されるまで保存すべきか）に対する対処方法について明確に決定する必要がある。

ここで、ピクチャサイズの変更が行われるときの、メモリへのピクチャの保存状態について段階的に説明する。

図５（ａ）（ｂ）（ｃ）は、メモリへのピクチャの保存状態を段階的に示す状態図である。

図５（ａ）において、ピクチャ２００ａ、２００ｂ、２００ｃは、参照用に保存された参照ピクチャ（予測画像生成のために参照されるピクチャ）であり、ピクチャ２０１ａ，２０１ｂ，２０１ｃ，２０１ｄ，２０１ｅは、表示用に保存されている表示用ピクチャ（未表示のピクチャ）である。

ピクチャ２０１ａ，２０１ｂ，２０１ｃ，２０１ｄ，２０１ｅは、この順番に表示される。

この図５（ａ）には、参照ピクチャ２００ａ、２００ｂ、２００ｃの保存されているメモリ領域が全て開放されて再利用可能な状態とされた状態が示されている。

図５（ｂ）には、図５（ａ）に示す状態の後にピクチャサイズが変更され、参照ピクチャ２００ａの保存されていたメモリ領域に、ピクチャサイズが大きくなるよう変更された参照ピクチャ２０２ａが保存され、さらに表示用ピクチャ２０１ａが表示されて、そのメモリ領域が開放された状態が示されている。

図５（ｃ）は、図５（ｂ）に示す状態の後、さらに表示用ピクチャ２０１ｂの保存されたメモリ領域が開放され、表示用ピクチャ２０１ａ，２０１ｂの保存されていた開放されたメモリ領域に、画像サイズが大きくなるように変更された参照ピクチャ２０２ｂが保存された状態を示しており、小さなメモリ領域２０３が残っている。この状態で、表示用ピクチャ２０１ｃが保存されているメモリ領域を開放しても、新たに参照ピクチャ（ピクチャサイズが大きくなるように変更された）を保存することはできない。

このように、ピクチャサイズが変更されると、メモリ内に異なるピクチャサイズのピクチャが混在する（ピクチャサイズが大きくなるように変更された参照ピクチャと、サイズ変更前の未表示の表示用ピクチャ）ことになる。

それによって、メモリが断片的に使用されるようになり、使用できない小さなメモリ領域が発生してメモリの使用効率が劣化する。また、メモリを断片的に使用しないように、発生した小さなメモリ領域がなくなるようにメモリ内でデータの再配置を行うと、メモリアクセスが非常に大きくなってその間の実時間で符号化・復号化動作を実現することが困難である。

そのため、ピクチャサイズが変更される場合は、第１の方法として、未表示の表示用ピクチャの保存されている表示用領域と、参照ピクチャの保存されている参照用領域を開放して（再利用可能な状態として）、未表示の表示用ピクチャの表示をあきらめるようにする。このようにすることにより、サイズの異なるピクチャの混在により生じるメモリの断片的な使用を防止することができ、メモリの使用効率の劣化を抑えることができる。

上述したピクチャサイズの変更は次のタイミングで行われる。すなわち、図３に示すピクチャサイズ変更ユニットPicSizeが、ピクチャ構造決定ユニットPicStructが決定した各ピクチャの符号化タイプ（Iピクチャ、Pピクチャ、Ｂピクチャ）と、外部から入力される変更するピクチャサイズとをうけて、Ｉピクチャのタイミングでピクチャサイズの変更を行う指令を参照ピクチャ管理ユニットRefPicCtrlに出力する。このＩピクチャは、例えばGOPの最初に挿入される特別なＩピクチャ（ＩＤＲピクチャ）である。

また、ピクチャサイズが変更される場合は、第２の方法として、メモリの全領域を開放して、未表示の表示用ピクチャをあきらめるようにする手段と、あるいは参照ピクチャが保存された参照用領域のみを開放して、符号化信号（ストリーム）を復号する後述する画像復号化装置（デコーダ）の判断により、サイズ変更前のピクチャで未表示の表示用ピクチャについては表示できるものを表示するようにし、未表示の表示用ピクチャの表示を義務付けないようにする手段とを切り替えるようにしている。このとき、画像復号化装置は、未表示のピクチャについて例えば損傷していないピクチャなどの表示可能なピクチャを表示順序に従って表示するようにする。

このような切り替えを行うとき、メモリの全領域を開放する方法と、参照ピクチャが保存された参照用領域のみを開放する方法のいずれの方法で行うかを示す指示情報（フラグ）もしくは他の識別できるような情報を画像符号化装置１００から出力されるストリームStrに含めて配置する。

画像復号化装置側では、ストリームに配置された指示情報に基づいた処理を行う。

この指示情報が示す２つの方法を切り替える際の判断基準の例としては、いずれの方法で行うかをアプリケーションによってコンテンツを作る人が決めるようにするか、メモリに余裕があれば参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない（メモリの全領域を開放することはしない）か、あるいは、ピクチャサイズが小さくなるよう変更される場合は、参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない（メモリの全領域を開放することはしない）などが考えられる。

以上の構成により、従来の課題を解決する画像符号化装置が実現できる。

（実施の形態２）
本発明の実施の形態２について説明する。

本実施の形態では、図３で示した表示ピクチャ管理ユニットDispPicCtrlが、ピクチャメモリPicMem2に対して、開放したメモリにピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチャを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存（上書き）されない限りは直前に保存したピクチャが再生できる。そこで、仮に表示していないピクチャの保存されたメモリ領域が開放されたとしても、そのメモリ領域には新しいピクチャを保存せず、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で、開放されているが、まだ上書きされずに残っている未表示のピクチャを表示することができる。このピクチャメモリの開放されたピクチャ領域にあるピクチャを表示用ピクチャと呼ぶことにする。なお、表示済とは、表示装置への出力済と実質的に同義であり、復号化装置においては実際に表示したこと（あるいは表示装置へ出力したこと）を意味し、符号化装置においては実際には表示（あるいは出力）するわけではなくピクチャ時刻Timeに指定されたときに表示したもの（あるいは出力したもの）とみなして扱うことを意味する。

図６は本実施の形態における画像符号化装置１００の動作を示すフローチャートである。本実施の形態は、開放領域のメモリに保存されているピクチャが表示済みかどうかで、ピクチャの保存を決定することを特徴とする。

まず、Step20で当該復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。

保存する場合には、開放されたピクチャ領域を取得し（Step21）、開放されてピクチャ領域に保存されていたピクチャが表示済であるかどうかを確認する（Step22）。まだ表示されていなければ、Step21に戻り表示済のピクチャが保存されていた開放領域を見つけるまで処理を繰り返す。

表示済のピクチャが保存されていた開放領域を見つけたならば、その領域に復号画像を保存する（Step23）。

このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されている領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。

なお、メモリに保存されているピクチャが表示済みかどうかは、表示ピクチャ管理ユニットDispPicCtrlにおいて表示したかどうかの情報を管理することによって判断することができる。

また、ピクチャ領域が開放領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「ｕｓｅｄ（参照ピクチャとして使用可能）」か「ｕｎｕｓｅｄ（以後、参照ピクチャとして参照されない）」なのかをメモリ管理コマンドMMCOに従ってピクチャメモリPicMem2において保持し、この保持されている情報を参照することにより判断することができる。

以上の構成により、従来の課題を解決する画像符号化装置が実現できる。

以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。

なお、ピクチャサイズが変更になった場合の動作は、実施の形態１と同様なので説明を省略する。

（実施の形態３）
本発明の実施の形態３を説明する。

図７は本発明の実施の形態３における画像符号化装置１００の動作を示すフローチャートである。本実施の形態は、メモリを開放した時刻によってピクチャの保存を決定することを特徴とする。

まず、Step30で当該復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。

保存する場合には、最も古い時刻に開放されたピクチャメモリ領域を取得し（Step31）、その領域に復号画像を保存する（Step32）。

また、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域、あるいは最も表示時刻が古いピクチャの保存されているメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。

表示時刻の情報はシステムが管理するため、画像復号化装置の作り方によっては表示時刻を入手することが困難である。最も古い時刻に保存されたピクチャの領域が、より新しい時刻に保存された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。古い表示時刻のピクチャが既に表示されている可能性が高いのは当然であるため、最も古い時刻に保存されたピクチャは既に表示されている可能性が高い。従って、最も古い時刻に保存されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャを上書きしない可能性が高くなる。また、最も古い時刻がピクチャを符号化した時刻の最も古い時刻である場合、例えば最も古い時刻に符号化されたかどうかはピクチャの予測構造・復号順序から判断することが可能である。

また、これらの最も古い時刻は時刻である必要はなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。

以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。また、ピクチャメモリPicMem2に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチャの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ユニットDispPicCtrlにおいて表示したかどうかの情報を
管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。

なお、ピクチャサイズが変更になった場合の動作は、実施の形態１と同様なので説明を省略する。

（実施の形態４）
本発明の実施の形態４を説明する。

図８は本発明の実施の形態４における画像符号化装置１００の動作を示すフローチャートである。本実施の形態は、メモリを開放した順番によってピクチャの保存を決定することを特徴とする。

まず、Step40で当該復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。

保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し（Step41）、その領域に復号画像を保存する（Step42）。

表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最初に開放されたピクチャの領域が、後で開放された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。

なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「ｕｓｅｄ：開放されていない（参照ピクチャとして使用可能）」か「ｕｎｕｓｅｄ：開放済み（以後、参照ピクチャとして参照されない）」かをメモリ管理コマンドMMCOに従ってピクチャメモリPicMem2において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリPicMem2を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数（またはピクチャ数）の画像が保存される先入れ先出し方式（ＦＩＦＯ）のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。

なお、ピクチャサイズが変更になった場合の動作は、実施の形態１と同様なので説明を省略する。

（実施の形態５）
本発明の実施の形態５を説明する。

図９は本発明の画像復号化方法を実現する画像復号化装置のブロック図である。同図において、図３の本発明の画像符号化方法を実現する画像符号化装置のブロック図および図２８の従来の画像復号化方法を実現する画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。

図９の画像復号化装置１５０において、従来例を示す図２８と異なる点は、図９では、外部から取得した変更するピクチャサイズ、および可変長復号化ユニットVLDから取得したメモリ管理コマンドMMCOを基に、特別なIピクチャ（IDR(Instantaneous Decoding Refresh)ピクチャ）のタイミングでピクチャサイズを変更する指令をピクチャメモリPicMem2に出力するピクチャサイズ変更検出ユニットPicSizeDetと、表示ピクチャ管理ユニットDispPicCtrlが新たに設けられている。

表示ピクチャ管理ユニットDispPicCtrlはピクチャメモリPicMem2における開放した領域に対してピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチャを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存（上書き）されない限りは直前に保存したピクチャのデータがメモリ内に残っており再生できる。そこで、仮に表示していないピクチャが開放されたとしても、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で開放されているがまだ上書きされずに残っている表示されていないピクチャを表示することができる。なお、表示済は、表示装置への出力済と実質的に同義である。

このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されているメモリ領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。

以上の構成により、従来の課題を解決する画像復号化装置が実現できる。なお、画像復号化装置１５０は、実施の形態３、および実施の形態４に示した画像符号化装置１００により符号化された符号化信号を復号するようにしてもよい。その場合にピクチャメモリの利用についての動作は、実施の形態３および実施の形態４に示された画像符号化装置と同様である。即ち、このピクチャメモリで開放された（以後、参照されない）ピクチャの再利用については、実施の形態１から実施の形態３に記載した方法で新たにピクチャを保存する領域の決定方法のいずれかを使うこともできる。

上述した実施の形態３および実施の形態４に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。

最初に、実施の形態３に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。

まず、画像復号化装置１５０における加算ユニットAddより出力される復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。

保存する場合には、最も古い時刻に開放されたピクチャメモリ領域を取得し、その領域に復号画像を保存する。

このとき、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域、あるいは最も表示時刻が古いピクチャの保存されているメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。

表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最も古い時刻に保存されたピクチャの領域が、より新しい時刻に保存された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。古い表示時刻のピクチャが既に表示されている可能性が高いのは当然であるため、最も古い時刻に保存されたピクチャは既に表示されている可能性が高い。従って、最も古い時刻に保存されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャを上書きしない可能性が高くなる。また、最も古い時刻がピクチャを符号化した時刻の最も古い時刻である場合、例えば最も古い時刻に符号化されたかどうかはピクチャの予測構造・復号順序から判断することが可能である。

また、これらの最も古い時刻は時刻である必要はなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。

以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。

また、ピクチャメモリPicMem2に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチャの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ユニットDispPicCtrlにおいて表示したかどうかの情報を管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。

次に、実施の形態４に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。

まず、画像復号化装置１５０の上述した加算ユニットAddより出力される復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。

保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し、その領域に復号画像を保存する。

表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最初に開放されたピクチャの領域が、後で開放された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。

なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「ｕｓｅｄ：開放されていない（参照ピクチャとして使用可能）」か「ｕｎｕｓｅｄ：開放済み（以後、参照ピクチャとして参照されない）」かをメモリ管理コマンドMMCOに従ってピクチャメモリPicMem2において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリPicMem2を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数（またはピクチャ数）の画像が保存される先入れ先出し方式（ＦＩＦＯ）のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。

以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。

尚、表示ユニットDispは画像復号化装置１５０の中に備えるのではなく、画像復号化装置１５０からは表示ユニットDispでピクチャを表示するために必要なデータのみを送出し、表示ユニットDispを画像復号化装置１５０の外部に備えて実現してもよい。

ここで、実施の形態２で説明したピクチャサイズが変更される場合における画像復号化装置１５０の動作を説明する。なお、実施の形態３および４に対する以下の動作も同じなので、説明を省略する。

実施の形態２に示されたピクチャサイズが変更される場合における第１の方法に対応する方法として、画像復号化装置１５０は、ピクチャサイズの変更指令があったときは、メモリの参照ピクチャの保存された参照用領域と表示用ピクチャの保存された表示用領域を含む全領域を開放して初期化を行う。

図１０は、画像復号化装置１５０の動作を示すフローチャートである。

ピクチャサイズ変更検出ユニットPicSizeDetから出力される信号が、ピクチャサイズの変更を示すものかを判定し（Step100）、ピクチャサイズの変更がある場合は（Step100のYes）、ピクチャメモリPicMem2の全メモリ領域を開放して（再利用可能な状態として）初期化し（Step102）、処理を終了する。

一方、ピクチャサイズの変更がない場合（Step100のNo）、可変長復号化ユニットVLDから出力されるメモリ管理コマンドMMCOが、ピクチャメモリPicMem2の全メモリ領域を開放する（初期化する）ことを示すものかを判定し（Step101）、示すものである場合は（Step101のYes）、全メモリ領域を開放し（Step102）、示すものでない場合は（Step101のNo）、参照ピクチャの保存された参照用領域のみを開放して（Step103）、処理を終了する。

このようにメモリの全領域を開放することで、サイズの異なるピクチャが混在することにより生じるメモリの断片的な使用を防止できるため、メモリの使用効率の劣化を抑えることができる。

次に、実施の形態２に示されたピクチャサイズが変更される場合の第２の方法に対応する方法として、画像復号化装置１５０が行う動作について説明する。

ピクチャサイズを変更した場合に、メモリの全領域を開放する方法か、あるいは参照ピクチャが保存された参照用領域のみを開放して、未表示のピクチャについては画像復号化装置１５０が判断して表示できるものを表示する方法かを切り替える。

実施の形態２で説明したように、メモリの全領域を開放するか、参照用領域のみを開放するかを示す指示情報（フラグ）は、画像符号化装置１００から出力されるストリームStrのメモリ管理コマンドMMCOに含まれる。

画像復号化装置１５０は、メモリ管理コマンドMMCOに含まれる指示情報に基づいて、上記２つの方法のうちいずれを行うかを判断する。

図１１は、その判断動作を示すフローチャートである。

まず、指示情報（フラグ）がメモリの全領域を初期化するか否かのいずれを示しているかを判断し（Step150）、全領域の初期化を示している場合は（Step150のYes）、未表示の表示用ピクチャの保存された表示用領域を含むメモリの全領域を開放して初期化を行い（Step151）、そうでない場合は（Step150のNo）、参照用領域のみ開放して初期化を行う（Step152）。

この指示情報（フラグ）が全領域の初期化を示していない場合は、画像復号化装置１５０は、参照用領域のみの開放を行い、参照用領域以外の領域にある未表示のピクチャについては画像復号化装置１５０が判断して表示できるものを表示するようにする。

この参照用領域のみの初期化を行う場合の画像復号化装置１５０の動作を、フローチャートを用いて説明する。

図１２は画像復号化装置１５０（デコーダ）の動作を示すフローチャートである。

ピクチャサイズ変更検出ユニットPicSizeDetから出力される信号が、ピクチャサイズの変更を示すものかを判定し（Step200）、ピクチャサイズの変更でない場合は（Step200のNo）、表示用領域に保存された表示すべき未表示のピクチャを表示する（Step203）。

一方、ピクチャサイズの変更である場合は（Step200のYes）、表示用領域に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し（Step201）、変更前のものでない場合は（Step201のNo）、表示すべき未表示のピクチャを表示する（Step203）。変更前のものである場合は（Step201のYes）、表示用ピクチャが表示可能か否かを判断し、表示可能なピクチャを表示する（Step202）。

この表示可能か否かの判断についての画像復号化装置１５０の動作を説明する。

図１３は、画像復号化装置１５０のピクチャの表示に関する動作を示すフローチャートである。

図１３において図１２と同じものには同じ符号を付している。

表示用に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し（Step201）、変更前のピクチャでない場合は（Step201のNo）、そのピクチャを表示する。一方、変更前のピクチャである場合は（Step201のYes）、表示するピクチャに損傷があるかを判定し（Step211）、損傷がない場合は（Step211のNo）、そのピクチャが表示可能であるとして表示する（Step210）。損傷がある場合は（Step211のYes）、そのピクチャを表示せずに、例えば前のピクチャを表示する。ここで損傷が無いというのは、表示すべきピクチャが格納されているピクチャの一部であっても新しいピクチャのデータを保存するために上書きされていないことを意味する。こうすることで、画像復号化装置１５０は、表示するピクチャに損傷があるかを判定し、損傷がないピクチャを表示可能と判断して表示する。

このように、図１１、図１２、図１３のフローチャートで説明したように、画像復号化装置１５０は、ピクチャサイズの変更があったときに、メモリの全領域を初期化するか否かを示す指示情報（フラグ）に応じた、未表示のピクチャに対する表示を行う。

以上のような画像復号化装置１５０の画像復号化方法により、ピクチャサイズの変更があったときでも、メモリの全領域を初期化するか参照用領域のみを初期化して未表示の表示用ピクチャを表示可能なものは表示するようにするかを切り替えることで、適切な復号化が可能となる。すなわち、例えばメモリの空き容量が少ないときは、メモリの全領域を初期化して再利用可能とし、メモリの空き容量が大きいときは、参照用領域のみを初期化することで、未表示のピクチャの表示を可能とするようにして柔軟に対処することが可能である。

（実施の形態６）
実施の形態６では、次の用語を用いて説明する。すなわち、参照ピクチャバッファは、画像符号化装置内のピクチャメモリPicMem2における参照用領域と表示用領域とを合わせた領域をいう。仮想・ディスプレイ遅延バッファは、画像符号化装置内のピクチャメモリPicMem2に確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの時間的参照番号（ピクチャ番号等）を保持する。参照メモリバッファは、画像復号化装置内のピクチャメモリPicMem2における参照用領域をいう。ポスト・デコーダ・バッファは、画像復号化装置内の参照フレームメモリにおける表示用領域をいう。時間的参照番号は、表示時刻の順序に従ったピクチャの番号をいい、ピクチャ時刻Timeに相当するものでもよい。

まず、画像符号化装置について説明する。仮想・ディスプレイ遅延バッファは、画像符号化装置での予測符号化に用いられる参照ピクチャの最大数を制限するために用いられる。

図１４は、仮想・ディスプレイ遅延バッファと後方参照ピクチャの最大数との間の関係を決定する処理を示す。図１４中の各モジュールは、ピクチャ構造決定ユニットPicStruct、参照ピクチャ管理ユニットRefPicCtrl及び表示ピクチャ管理ユニットDispPicCtrlにおける機能ブロック又は処理ステップを表す。図に示すように、このプロファイル及びレベルに対する、許容された参照ピクチャの最大数ＮＲは、モジュール４０１で決定される。この値は、各プロファイル及びレベル定義されており、エンコーダはNRに相当するプロファイル・レベルの値をストリームの情報として符号化し、デコーダはストリームのプロファイル・レベルの値からNRを取得する。次いで、画像符号化装置は、それがモジュール４０２におけるビデオ・シーケンスを符号化するのに最適な後方参照ピクチャの最大数ＮＢを設定する。このＮＢ値に基づき、仮想・ディスプレイ遅延バッファのサイズを決定することができる。ＮＢが２よりも小さい場合には、仮想・ディスプレイ遅延バッファを必要としない。しかしながら、ＮＢが２以上である場合には、ＮＢ−１ピクチャの仮想・ディスプレイ遅延バッファがモジュール４０４で生成される。仮想・ディスプレイ遅延バッファに格納されているピクチャの情報はメモリ中あるいは何れかのレジスタ中に確保される。この仮想・ディスプレイ遅延バッファは、画像符号化装置に大きな物理メモリ空間を必要としない。それは、画像復号化装置で復号化した画像を表示（出力）する必要がなければ、どのピクチャが表示のために仮想・ディスプレイ遅延バッファに格納されているかを判断するだけでよいため、再構成（復号）ピクチャ・データ全体でなく、どの再構成（復号）ピクチャであるかを特定する参照ピクチャの記述（ピクチャ番号等）のみが仮想・ディスプレイ遅延バッファに格納されるからである。仮想・ディスプレイ遅延バッファ以外には、ディスプレイ・カウンタがモジュール４０５で生成され、その値がメモリ中あるいは何れかのレジスタ中に確保される。このカウンタは、仮想・ディスプレイ遅延バッファから不要なピクチャを除去する判断に用いられる。プロファイル及びレベル定義に基づき、画像符号化装置は、次いで、モジュール４０６に示すように参照ピクチャに対するメモリ空間のＮＲピクチャサイズを生成する。

最大仮想・ディスプレイ遅延バッファ・サイズ ＝ ＮＢ−１ （１）
ここで、ＮＢ＜ＮＲである。

図１５は、画像符号化装置におけるポスト・エンコーディング処理すなわち、符号化後に復号化されたピクチャ（エンコーデッド・ピクチャ又は単にピクチャと呼ぶ）について参照メモリバッファに格納する処理を示す。図中のモジュールは、参照ピクチャ管理ユニットRefPicCtrl及び表示ピクチャ管理ユニットDispPicCtrlにおける機能ブロック又は処理ステップを表す。一つのピクチャがモジュール５０１でエンコードされた後、ピクチャは、それがモジュール５０２で参照ピクチャとして用いられるかどうか判定される。ピクチャが参照ピクチャである場合には、可能な参照ピクチャの最大数が式（２）に基づき計算される。

ＮＭａｘ＝ＮＲ−Ｆｖ （２）

ここで、ＮＭａｘは、可能な参照ピクチャの最大数を表し、ＮＲは、プロファイル及びレベル定義で許容される参照ピクチャの最大数を表す。Ｆｖは、仮想・ディスプレイ遅延バッファ・フルネスつまり、仮想・ディスプレイ遅延バッファのサイズ（NB−１）のうち現に使用されている数を表す。

参照ピクチャ・バッファの参照ピクチャの数がＮＭａｘよりも小さい場合には、エンコーデッド・ピクチャは、モジュール５０６で再構成（復号）されかつモジュール５０７で参照ピクチャ・バッファに記憶される。十分な空きが存在しない場合には、画像符号化装置は、モジュール５０４に示すようにバッファからある未使用参照ピクチャ「unused（以降、参照ピクチャとして参照されない）」を除去することによって参照ピクチャ・バッファに必要な領域を確保する。バッファから除去するような未使用参照ピクチャが存在しない場合には、エンコーデッド・ピクチャは、参照ピクチャとして使用しない。エンコーデッド・ピクチャが参照ピクチャではない場合には、エンコーデッド・ピクチャの時間的参照番号は、モジュール５０５でディスプレイ・カウンタと比較される。非参照ピクチャの時間的参照番号がディスプレイ・カウンタよりも小さい場合には、仮想ディスプレイ遅延バッファは、モジュール５０８で更新される。モジュール５０８では、仮想・ディスプレイ遅延バッファは、ディスプレイ・カウンタに等しいかそれ以前の時間的参照番号を有するピクチャを除去しかつ現行の非参照ピクチャの時間的参照番号をバッファに加える。ディスプレイ・カウンタよりも小さい時間的参照番号を有する仮想・バッファのピクチャ数が、バッファのフルネスになる。ディスプレイ・カウンタは、エンコーデッド・ピクチャの数がＮＢに等しいか又は仮想ディスプレイ・カウンタがフルであるか、どちらかが早いときに、最初に更新動作を開始する。その後、ディスプレイ・カウンタは、モジュール５０９でエンコードされた全てのピクチャに対して符号化される毎に更新される。

図１６は、画像復号化装置におけるポスト・デコーディング処理すなわち画像復号化装置において復号化されたピクチャ（復号化ピクチャ又は単にピクチャと呼ぶ）について参照ピクチャバッファに格納する処理を示す。図中のモジュールは、表示ピクチャ管理ユニットDispPicCtrlにおける機能ブロック又は処理ステップを表す。ピクチャは、モジュール６０１で復号化される。モジュール６０２では、画像復号化装置は、ピクチャを参照ピクチャとして記憶することが必要かどうかを決定する。復号化されたピクチャを参照ピクチャとして記憶する場合には、それは、モジュール６０６で参照ピクチャバッファに記憶される。そうでなければ、画像復号化装置は、モジュール６０３でこのピクチャを表示（出力）する時間であるかどうかをチェックする。復号化されたピクチャをまだ表示（出力）すべき時刻でない場合には、ピクチャは、表示（出力）する時刻までモジュール６０４でポスト・デコーダ・バッファに記憶される。ポスト・デコーダ・バッファと参照ピクチャバッファは、物理的に同じメモリ領域を共用する。換言すると、同じメモリの各領域は、参照ピクチャバッファとしてあるときに用いる場合とポスト・デコーダ・バッファとして用いる場合とを切り替えることができる。

モジュール６０５では、次いで画像復号化装置は、それらのディスプレイ・タイミングに基づき参照ピクチャバッファ又はポスト・デコーダ・バッファから表示（出力）するピクチャを決定する。一旦ポスト・デコーダ・バッファからのピクチャが表示（出力）されると、それは、バッファから除去される。他方、参照ピクチャは、ストリームによって今後参照されないことが示されたときに参照ピクチャバッファから除去されるか又はポスト・デコーダ・バッファに移動されるだけである。

図１７は、各ピクチャ間隔で参照ピクチャの最大数を決定するために仮想・ディスプレイ遅延バッファを用いる方法の一例を示す。この例について、許容される参照ピクチャの最大数ＮＲは、４とする。画像符号化装置は、後方参照ピクチャの最大数ＮＢを３に設定する。それゆえに、二つのピクチャの仮想・ディスプレイ遅延バッファが生成される。ディスプレイ・カウンタは、仮想的に表示（出力）されるピクチャの時間的参照番号を記憶及び更新するために用いられる。図中、参照メモリバッファにおける、空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照用ピクチャが格納されていることを、斜線でハッチングされた領域は表示用ピクチャが格納されていることを示す。また、仮想・ディスプレイ遅延バッファにおける空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照メモリバッファ中の表示用ピクチャに対応する時間的参照番号が格納されていることを、斜線でハッチングされた領域は、表示用ピクチャの格納領域が参照メモリバッファ中に存在しないことを示す。参照メモリバッファにおけるハッチングされた領域に対応した、同数の仮想・ディスプレイ遅延バッファは、表示用ピクチャの時間的参照番号を保持する。

図に示すように、ピクチャＢ２及びＢ３は、参照ピクチャに対して用いられ、それゆえにそれらは、Ｉ０及びＰ４と一緒に参照メモリ・バッファに記憶されかつディスプレイ・カウンタは、ピクチャＢ３が符号化された後に更新が開始される。時間Ｔ６において、Ｂ５は、参照ピクチャとして用いられないが、それは、その時間的参照番号がディスプレイ・カウンタよりも小さいので、仮想・ディスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおける仮想・ディスプレイ遅延バッファのフルネスｆｖは、１でありかつ可能な参照ピクチャの最大数ＮＭａｘは、３である。

同様に時間Ｔ７において、ディスプレイ・カウンタよりも小さいその時間的参照番号によりＢ５をまだ除去することができないが、Ｂ６は、仮想・ディスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおけるＮＭａｘは、２である。参照ピクチャＩ０は、不十分なメモリにより参照メモリ・バッファから除去されなければならない。従って、そのときのＢ７は、Ｐ４及びＰ８からだけで予測することができる。

図１８は、ディスプレイ・カウンタが仮想・ディスプレイ遅延バッファを用いて先に増分されるような一例を示す。この例について、ＮＲは、５であるとする。画像符号化装置は、複数の逆方向参照ピクチャの最大数ＮＢを３に設定する。それゆえに、二つのピクチャの仮想・ディスプレイ遅延バッファが生成される。

図に示すように、Ｂ１、Ｂ２、Ｂ３及びＢ４は、参照ピクチャに用いられないが、Ｂ７及びＢ８が用いられる。それゆえに、Ｂ１及びＢ２は、ディスプレイを待つために時間Ｔ３で仮想・ディスプレイ遅延バッファに記憶される。仮想・ディスプレイ遅延バッファは、時間Ｔ３でフルなので、ディスプレイ・カウンタは、時間Ｔ３で更新することを開始する。ディスプレイ・カウンタが、それが更新することを開始できる前に少なくとも仮想・ディスプレイ遅延バッファがフルになるのを待つことが必要な理由は、それが画像復号化装置で発生すると思われるＢピクチャのリオーダリングを処理することが必要だからである。

図１７に示すように、画像復号化装置は、ポスト・デコーダ・バッファとしてその参照ピクチャバッファの一部をときどき用いる。それゆえに参照ピクチャバッファの固定物理メモリ・サイズに基づき、画像復号化装置は、そのある部分が参照ピクチャに用いられかつ残りがポスト・デコーダ・バッファとして用いられるように参照ピクチャバッファを操作する。例えば、時間Ｔ３で、参照ピクチャバッファ全体は、参照ピクチャを記憶するために用いられる。他方、時間Ｔ７で、参照ピクチャバッファの二つだけがＰ４及びＰ８参照ピクチャを記憶するために用いられる。残りは、ポスト・デコーダ・ピクチャＢ５及びＢ６を記憶するために用いられる。

画像復号化装置側で用いられる参照ピクチャの最大数は、画像符号化装置に対するプロファイル及びレベル定義で規定される。それゆえに、画像符号化装置は、プロファイル及びレベルによって定義された参照ピクチャの最大数まで用いることができる。従って、画像符号化装置は画像復号化装置がこの拘束条件に基づいて動作を行って場合に同様の動作が実現できる（参照ピクチャ数が定義された値を超えない）ように、参照ピクチャの管理を行って符号化を行うことが必要である。

同様に、画像復号化装置は、画像符号化装置と同じ数の参照ピクチャを有する。さらに、追加メモリ空間がポスト・デコーダ・バッファに対して必要である。ポスト・デコーダ・ピクチャの最大数は、式（３）によって定義される。

ＮＰ＝ＮＲ−２ （３）

ここで、ＮＰは、ポスト・デコーダ・ピクチャの最大数を表し、ＮＲは、プロファイル及びレベル定義によって定義された参照ピクチャの最大数を表す。

それゆえに、プロファイル及びレベルに対して適合する画像復号化装置に対して、このポスト・デコーダ・ピクチャの最大数は、画像復号化装置の設計で考慮しなければならない。このポスト・デコーダ・ピクチャの最大数は、式３から計算することができるか又はプロファイル及びレベル定義で特定することができる。一旦ポスト・デコーダ・ピクチャの最大数がプロファイル及びレベル定義で特定されたならば、値は、式（４）に基づいて後方予測ピクチャの最大数が導出できる。

ＮＢ＝ＮＰ＋１ （４）

ここで、ＮＢは、参照ピクチャバッファの後方予測ピクチャの最大数を表す。本実施の形態では、それがプロファイルおよびレベル定義に準拠したストリームを復号化できるように画像復号化装置によって要求される最小メモリ要件になる。

後方予測の数は、画像復号化装置側で参照ピクチャバッファに追加された追加ポスト・デコーダ・ピクチャの数を削減するために制限することも可能である。例えば、後方予測の最大数が２つに制限された場合には、その場合には１つの追加ポスト・デコーダ・ピクチャだけを参照ピクチャバッファに追加することが必要であり、それは、画像復号化装置側においてポスト・デコーダ・ピクチャに余分な物理メモリ空間の割り当てが行われることを避けることができる。

（実施の形態７）
さらに、上記各実施の形態で示した画像符号化方法及び画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１９は、上記各実施の形態の画像符号化方法及び画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１９（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１９（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤ１はケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ１上に割り当てられた領域に、上記プログラムが記録されている。

また、図１９（ｃ）は、フレキシブルディスクＦＤ１に上記プログラムの記録再生を行うための構成を示す。画像符号化方法及び画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤ１に記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブFDDを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法及び画像復号化方法を実現する上記画像符号化方法及び画像復号化方法をコンピュータシステムCs中に構築する場合は、フレキシブルディスクドライブFDDによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムCsに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態８）
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。

図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（登録商標）（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。

その一例として携帯電話について説明する。

図２１は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図２２を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ストリームと音声データの符号化ストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２３に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で放送衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２
２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２２に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

なお、本実施の形態では、本実施では表示すべき順序にピクチャの順序を並べ替えて出力することを表示と表現している。すなわち、復号化画像を表示デバイスに出力するためのプロセスを表示と表現しており、例えば他の記録機器で記録するために復号化画像を出す動作もこの表示の特殊な場合と考えられる。また、表示デバイスが画像メモリを有する場合には、復号化画像を実際の表示時刻よりも早めに表示デバイスに送信することも可能である。

PicStruct ピクチャ構造決定ユニット
PicSize ピクチャサイズ変更ユニット
PicSizeDet ピクチャサイズ変更検出ユニット
RefPicCtrl 参照ピクチャ管理ユニット
DispPicCtrl 表示ピクチャ管理ユニット
PicMem1、PicMem2 ピクチャメモリ
Add 加算ユニット
Sub 減算ユニット
ME 動き検出ユニット
MC 動き補償ユニット
T 直交変換ユニット
IT 逆直交変換ユニット
Q 量子化ユニット
IQ 逆量子化ユニット
ReOrder 並べ替えユニット
VLC 可変長符号化ユニット
VLD 可変長復号化ユニット
Disp 表示ユニット
SW スイッチ
Sel セレクタ

上記目的を達成するために、本発明の画像符号化復号化方法は、複数の画像から構成される動画像を予測符号化する画像符号化方法と、複数の画像から構成される動画像を予測符号化して得られた画像符号化信号を復号化する画像復号化方法とを行う画像符号化復号化方法であって、前記画像符号化方法は、前記動画像の入力画像を符号化する第一符号化ステップと、前記第一符号化ステップで符号化された前記入力画像を復号化して、復号化画像を得る第一画像復号化ステップと、前記第一画像復号化ステップにより得られた前記復号化画像が、他の画像を予測符号化する際に参照される参照画像である場合には前記復号化画像をバッファに保存する保存ステップと、複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化においてバッファが一定のサイズを有することを示すバッファサイズ情報を符号化する第二符号化ステップと、を有し、前記画像復号化方法は、前記画像符号化信号を復号化して、シーケンス毎のバッファサイズ情報を得るステップと、前記画像符号化信号を復号化して復号化画像を得る第二画像復号化ステップと、前記第二画像復号化ステップにより得られた前記復号化画像が参照画像であるか非参照画像であるかを判定する第一判定ステップと、前記復号化画像が非参照画像であると前記第一判定ステップで判定された場合に、前記復号化画像が表示時刻までバッファに格納する必要があるものか否かを判定する第二判定ステップと、前記復号化画像が参照画像であると前記第一判定ステップで判定された場合、あるいは、前記復号化画像を表示時刻までバッファに格納する必要があるものと前記第二判定ステップで判定された場合に、前記復号化画像を前記バッファに格納する格納ステップと、表示時刻に基づいて、前記バッファに格納されている復号化された参照画像または復号化された非参照画像が出力すべき画像であるか否かを判定する第三判定ステップと、前記バッファに格納されている復号化された参照画像がもはや参照されることのない画像であるか否かを判定する第四判定ステップと、前記バッファに格納された参照画像に対しては、復号化画像として出力した後に、前記第四判定ステップの判定結果に応じて前記バッファを解放すると共に、前記バッファに格納されている非参照画像に対しては、復号化画像として出力した後に、前記バッファを解放する解放ステップとを有する。

Claims (2)

1. 複数の画像から構成される動画像を予測符号化する画像符号化方法と、複数の画像から構成される動画像を予測符号化して得られた画像符号化信号を復号化する画像復号化方法とを行う画像符号化復号化方法であって、
   前記画像符号化方法は、
   前記動画像の入力画像を符号化する符号化ステップと、
   符号化された前記入力画像を復号化して、復号化画像を得る第一画像復号化ステップと、
   前記第一画像復号化ステップにより得られた前記復号化画像が、他の画像を予測符号化する際に参照される参照画像である場合には前記復号化画像をバッファに保存する保存ステップとを有し、
   前記画像復号化方法は、
   前記画像符号化信号を復号化して復号化画像を得る第二画像復号化ステップと、
   前記第二画像復号化ステップにより得られた前記復号化画像が参照画像であるか非参照画像であるかを判定する第一判定ステップと、
   前記復号化画像が非参照画像であると前記第一判定ステップで判定された場合に、前記復号化画像が表示時刻までバッファに格納する必要があるものか否かを判定する第二判定ステップと、
   前記復号化画像が参照画像であると前記第一判定ステップで判定された場合、あるいは、前記復号化画像を表示時刻までバッファに格納する必要があるものと前記第二判定ステップで判定された場合に、前記復号化画像を前記バッファに格納する格納ステップと、
   表示時刻に基づいて、前記バッファに格納されている復号化された参照画像または復号化された非参照画像が出力すべき画像であるか否かを判定する第三判定ステップと、
   前記バッファに格納されている復号化された参照画像がもはや参照されることのない画像であるか否かを判定する第四判定ステップと、
   前記バッファに格納された参照画像に対しては、復号化画像として出力した後に、前記第四判定ステップの判定結果に応じて前記バッファを解放すると共に、前記バッファに格納されている非参照画像に対しては、復号化画像として出力した後に、前記バッファを解放する解放ステップとを有する
   ことを特徴とする画像符号化復号化方法。
2. 複数の画像から構成される動画像を予測符号化する画像符号化装置と、複数の画像から構成される動画像を予測符号化して得られた画像符号化信号を復号化する画像復号化装置とから構成される画像符号化復号化装置であって、
   前記画像符号化装置は、
   前記動画像の入力画像を符号化する符号化部と、
   符号化された前記入力画像を復号化して、復号化画像を得る第一画像復号化部と、
   前記第一画像復号化部により得られた前記復号化画像が、他の画像を予測符号化する際に参照される参照画像である場合には前記復号化画像をバッファに保存する保存部とを備え、
   前記画像復号化装置は、
   前記画像符号化信号を復号化して復号化画像を得る第二画像復号化部と、
   前記第二画像復号化部により得られた前記復号化画像が参照画像であるか非参照画像であるかを判定する第一判定部と、
   前記復号化画像が非参照画像であると前記第一判定部で判定された場合に、前記復号化画像が表示時刻までバッファに格納する必要があるものか否かを判定する第二判定部と、
   前記復号化画像が参照画像であると前記第一判定部で判定された場合、あるいは、前記復号化画像を表示時刻までバッファに格納する必要があるものと前記第二判定部で判定された場合に、前記復号化画像を前記バッファに格納する格納部と、
   表示時刻に基づいて、前記バッファに格納されている復号化された参照画像または復号化された非参照画像が出力すべき画像であるか否かを判定する第三判定部と、
   前記バッファに格納されている復号化された参照画像がもはや参照されることのない画像であるか否かを判定する第四判定部と、
   前記バッファに格納された参照画像に対しては、復号化画像として出力した後に、前記第四判定部の判定結果に応じて前記バッファを解放すると共に、前記バッファに格納されている非参照画像に対しては、復号化画像として出力した後に、前記バッファを解放する解放部とを備える
   ことを特徴とする画像符号化復号化装置。

Images