JPH08505024A

JPH08505024A - ビデオおよびオーディオ信号処理システムにおける補助情報のための合理的入力バッファの回路配列

Info

Publication number: JPH08505024A
Application number: JP50157895A
Authority: JP
Inventors: マルカスヘンドリカスフェルトマン
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-06-10
Filing date: 1994-06-10
Publication date: 1996-05-28
Anticipated expiration: 2019-12-22
Also published as: CN1110893A; KR960700606A; JP3605826B2; ES2132406T3; EP0654199A1; AU682045B2; EP0654199B1; AU6936494A; CA2141672A1; WO1994030014A1; DE69418678T2; KR100205494B1; DE69418678D1

Abstract

(57)【要約】非圧縮補助情報と情報ストリームとをマルチプレクスすることによりビットストリームを生成する方法。情報ストリームは、変化する圧縮率で固定長ユニットの情報信号を圧縮することにより得られ、可変長ユニットの情報ストリームを供給する。補助情報は、連続する情報ストリームのデコードにおいて用いられる。補助情報のユニットは情報信号のユニットに対応している。この方法において、情報ストリームは時間的に情報ストリームの部分に分割される。非圧縮補助情報もまた、時間的に補助情報の部分に分割される。情報ストリームの部分および補助情報の部分はインターリーブされ、ビットストリームを供給する。最後に、情報ストリームの分割、補助情報の分割およびインターリーブ工程は仮想的なシステムターゲットデコーダによるビットストリームのデコードをエミュレートすることにより制御される。仮想的なシステムターゲットデコーダは、ビットストリームをデマルチプレクスするデマルチプレクサ、情報ストリームバッファと情報ストリームデコーダの直列回路配列、および、補助情報バッファおよび補助情報プロセッサの直列回路配列を含む。これらの回路配列はそれぞれデマルチプレクサに接続される。情報ストリームの分割工程、補助情報の分割工程およびインターリーブする工程は、情報ストリームバッファおよび補助情報バッファがオーバーフローもアンダーフローもしないように制御される。

Description

【発明の詳細な説明】ビデオおよびオーディオ信号処理システムにおける補助情報のための合理的入力バッファの回路配列技術分野本発明は、ディジタル情報信号の圧縮および伸長に用いられる装置に関するものであり、特に、動的に変化する圧縮率で圧縮された情報信号に含まれる補助情報のバッファリングに関する。背景技術ＣＤ−ＲＯＭ、レーザーディスク（ＬＤｓ）、ビデオテープ、光磁気（ＭＯ）記録媒体、ディジタルコンパクトカセット（ＤＣＣ）、地上または衛星放送、ケーブルシステム、光ファイバ配信システム、電話システム、ＩＳＤＮシステム等の媒体への記録、または、これらを介した配信のためには、ビデオおよびオーディオ信号は圧縮され符号化され、その結果として得られたビデオストリームおよびオーディオストリームは、媒体へ提供するビットストリームを供給するためにマルチプレクス（多重化）される。このビットストリームは、後で媒体から再生され、デマルチプレクスされ、結果として得られたビデオストリームおよびオーディオストリームは、元のビデオおよびオーディオ信号を復元するために復号され、伸長される。媒体への記録、または、媒体を介した配信のためのビデオ信号およびオーディオ信号の圧縮に関する２つの主な国際的標準は、ＭＰＥＧ−１およびＭＰＥＧ− ２として知られている。これらの標準は、国際標準化機構（ＩＳＯ）および国際電気技術委員会（ＩＥＣ）の賛助の下に運営されているモーションピクチャーエキスパートグループ（ＭＰＥＧ）により確立されてきている。これらのＭＰＥＧ標準は、広い用途の範囲において用いられるという前提の下に確立された。その結果として、この標準は、オーディオ信号のサンプリングレートクロックが、ビデオ信号のフレームレートクロックと同じクロックリファレンス（ＳＣＲ）に位相同期している位相同期システムと、オーディオシステムのサンプリングレートクロックと、ビデオシステムのフレームレートクロックとが独立して動作する非位相同期システムとを考慮している。システムが位相同期されているか否かにかかわらず、ＭＰＥG標準は、少なくとも０．７秒ごとにマルチプレクスされたビットストリームへのタイムスタンプの付加、および、エンコーダが、オーディオデコーダおよびビデオデコーダにより用いられる独立したタイムスタンプを供給することを要求する。ＭＰＥＧ標準の目的の１つは、いかなるエンコーダにより供給されたビットストリームも、いかなるデコーダによりうまく復号され得ることを保証しつつ、エンコーダおよびデコーダの設計に最大の柔軟性を提供することである。この互換性が確立されている方法の一つは、システムターゲットデコーダの概念によるものである。ＭＰＥＧ−１およびＭＰＥＧ−２標準に従った代表的なオーディオ・ビデオ信号処理システム１１０が図１に示される。これにおいて、エンコーダ１００がビデオ信号記録媒体２からビデオ信号Ｓ２を受信し、オーディオ信号記録媒体３からのオーディオ信号Ｓ３を受信する。このオーディオ信号Ｓ３は、あるいは（そしてより一般的には）、独立したオーディオ信号記録媒体の代わりにビデオ信号記録媒体２からも受信され得る。エンコーダ１００は、ビデオおよびオーディオ信号を圧縮および符号化し、その結果として得られたオーディオストリームとビデオストリームをマルチプレクスして多重化ビットストリームを提供する。この多重化ビットストリームＳ１００は、記録のため、または、配信のために媒体５によって供給される。この媒体としては、ディジタルビットストリームを記録または配信するために適する、例えばＣＤ−ＲＯＭ、レーザーディスク（ＬＤｓ）、ビデオテープ、光磁気（ＭＯ）記録媒体、ディジタルコンパクトカセット（ＤＣＣ）、地上または衛星放送、ケーブルシステム、光ファイバ配信システム、電話システム、ＩＳＤＮシステムといったいかなる媒体であってもよい。エンコーダ１００は、ピクチャーごとにビデオ信号を圧縮し、符号化する。ビデオ信号のピクチャーそれぞれは、３つの圧縮モードの内の１つで圧縮される。イントラピクチャー圧縮モードで圧縮されたピクチャーは、Ｉピクチャーと呼ばれる。イントラピクチャー圧縮モードにおいては、ピクチャーはそれ自身により、ビデオ信号の他のピクチャーを参照することなしに圧縮される。インターピクチャー圧縮モードにより圧縮されたピクチャーは、ＰピクチャーまたはＢピクチャーと呼ばれる。Ｐピクチャーは、参照ピクチャーとして前方のＩピクチャーまたはＰピクチャー、すなわち、ビデオ信号において前方に生じるピクチャーを用いる前方予測符号化を用いて圧縮される。Ｂピクチャーのブロックそれぞれは、リファレンスブロックとして、前方のＩピクチャーまたはＰピクチャーのブロック、後方のＰピクチャーまたはＩピクチャー（すなわち、ビデオ信号において後方に生じたピクチャー）、または、前方のＩピクチャーまたはＰピクチャーのブロックまたは後方のＩピクチャーまたはＰピクチャーのブロックへの線形処理を行うことにより得られたブロックのいずれを用いてもよい。さらに、Ｂピクチャーのブロックは、イントラピクチャー圧縮モードで圧縮されてもよい。代表的には、Ｉピクチャーには約１５０Ｋビット（１Ｋビット＝１０２４ビット）のビデオストリームが要求され、Ｐピクチャーには７５Ｋビットのビデオストリームが要求され、Ｂピクチャーには５Ｋビットのビデオストリームが要求される。オーディオ・ビデオ信号処理システム１１０はまた、デコーダ６００を含み、デコーダ６００は、その入力信号として媒体５からのビットストリームＳ５を受信する。このデコーダは、エンコーダ１００において実行されたマルチプレクスと逆のデマルチプレクスを行う。このデコーダはまた、得られたオーディオストリームおよびビデオストリームにエンコーダ１００において行われたものと補完的な処理を用いた復号および伸長を適用し、復元されたビデオ信号６Ａおよび復元されたオーディオ信号６Ｂを供給する。復元されたビデオ信号６Ａおよび復元されたオーディオ信号６Ｂは、エンコーダ１００に入力されたビデオ信号Ｓ２およびオーディオ信号Ｓ３にそれぞれ非常に一致している。図１はまた、システムターゲットデコーダ（ＳＴＤ）４００を示しており、システムターゲットデコーダ４００は、エンコーダ１００およびデコーダ６００により行われる処理を定義するために用いられる。実用的なビデオおよびオーディオ信号処理システムにおいては、エンコーダは滅多に実際のシステムターゲットデコーダを含むことはない。しかし、代わりに、システムターゲットデコーダのパラメータを考慮に入れて符号化処理とマルチプレクスとを行う。また、実用的なシステムにおいては、デコーダはターゲットデコーダのそれと同じかそれ以上の性能を有するように設計される。これらのシステムターゲットデコーダ、エンコーダおよびエンコーダの間の関係は、図１において、システムターゲットデコーダとエンコーダとを結ぶＳ４Ａと表記された破線、および、システムターゲットデコーダとデコーダとを結ぶＳ４Ｂと表記された破線により示される。システムターゲットデコーダ４００はまた、仮想システムターゲットデコーダ、システムリファレンスデコーダ、あるいは、リファレンスデコーディングプロセッシングシステムとしても知られる。システムターゲットデコーダは、ＣＣＩＴＴＨ．２６１といった国際標準規格およびＭＰＥＧ−１標準においても定義され、これらの標準のためのビデオ、オーディオデコーダおよびエンコーダの設計者のために指針を提供する。ＭＰＥＧ−１標準においては、システムターゲットデコーダはリファレンスビデオデコーダとリファレンスオーディオデコーダとを含む。さらに、システムターゲットデコーダは、リファレンスビデオデコーダのための入力バッファおよびリファレンスオーディオデコーダのための入力バッファを含む。これらの入力バッファそれぞれのサイズは標準に定義されている。この標準はまた、特に、それぞれのバッファからオーディオストリームおよびビデオストリームをこれらそれぞれのバッファから取り出す方法を考慮して２つのリファレンスデコーダの動作も定義する。システムターゲットデコーダの概念は、以下のような異なった設計のエンコーダとデコーダとの間の適合性を提供する。全てのエンコーダが、システムターゲットデコーダによりうまく復号され得るビットストリームを供給するように設計され、ビットストリームがシステムターゲットデコーダにおいて、それぞれの入力バッファのオーバーフローあるいはアンダーフローの原因とならないように設計されている。さらに、全てのデコーダが、システムターゲットデコーダのために定義された性能パラメータと同じかより良い性能パラメータを有するように設計されている。結果として、全てのこのようなデコーダは、システムターゲットデコーダにより復号され得るビットストリームを生成するように設計されたいかなるエンコーダにより生成されたビットストリームをもうまく復号することができる。このシステムターゲットデコーダによる復号のために生成されたビットストリームは「強制システムパラメータストリーム」と呼ばれる。図１に示された仮想的なシステムターゲットデコーダ４００の構成は以下の通りである。デマルチプレクサ４０１は、概念的にエンコーダ１００からビットストリームＳ１００を受信する。デマルチプレクサ４０１は、ビットストリームをビデオストリームおよびオーディオストリームにデマルチプレクスする。ビデオストリームはビデオ入力バッファ４０２に供給され、その出力はビデオデコーダ４０５に接続される。デマルチプレクサ４０１からのオーディオストリームはオーディオ入力バッファ４０３に入力され、その出力はオーディオデコーダ４０６に接続される。図１に示された例において、ＭＰＥＧ−１標準により規定されているように、ビデオ入力バッファ４０２は４６Ｋバイトの記憶容量を有し、オーディオ入力バッファ４０３は４Ｋバイトの記憶容量を有する。ビデオデコーダ４０５は、ビデオストリームをビデオ入力バッファ４０２から一時に一つのビデオアクセスユニット、すなわち、１つのピクチャーを、ビデオ信号のピクチャーレートに対応するタイミングで、例えばＮＴＳＣシステムにおいては１／２９．９４秒ごとに１回、取り出す。ビデオ入力バッファからピクチャーそれぞれのために取り出されるビデオストリームの量は、ピクチャーそれぞれに適用された異なる圧縮量のため変化する。オーディオデコーダ４０６は、オーディオストリームをオーディオ入力バッファ４０３から予め定められたタイミングで１オーディオアクセスユニットずつ取り出す。システムの構成の観点、および、柔軟性を最大限にするために、実際のデコーダ６００においては、ＳＴＤ内のデマルチプレクサ４０１に対応する素子がスイッチング回路を含み、ＳＴＤ内のビデオデコーダ４０５およびオーディオデコーダ４０６に対応する素子が、高速データ処理動作の実行に適した構造の高速データプロセッサ（ＤＳＰ）を用いて供給されていることが望ましい。このようなプロセッサは、通常、コスト的な理由のため、大きな容量の記憶回路を含むことができない。したがって、ＭＰＥＧ標準はこれらの実用上の考察を考慮し、ビデオ入力バッファ４０２およびオーディオ入力バッファ４０３の記憶容量を、上述のように比較的小さい値とした。図２は、通常、システムターゲットデコーダ４００に供給される拘束的パラメータ（多重）システムビットストリームＣＰＳＰの構造を示す図である。図２に示されるビットストリームはマルチレイヤ構造になっており、種々のヘッダをマルチプレックスレイヤに含み、オーディオストリームとビデオストリームを信号レイヤに含む。この構成においては、複数のパックが経時的に直列的に配列される。パックそれぞれはパックヘッダから始まり、少なくとも１つのビデオパケットと少なくとも１つのオーディオパケットとを含む。ビデオパケットそれぞれはパケットヘッダで始まり、少なくともＩピクチャーの少なくとも一部分のビデオストリームを含む。１ビデオパケットは１つ以上のＢピクチャーのビデオストリームに適応するであろう。しかし、１ピクチャーのビデオストリームに適応するためには、いくつかのビデオパケットが必要とされる。パケットヘッダの直後にピクチャーが始まる必要はなく、ピクチャーはビデオパケットのいかなる位置から開始してもよい。ビデオパケットヘッダは、少なくとも１つの、パケット内で始まる最初のピクチャーの表示時間を示すビデオタイムスタンプを含んでもよい。もし、最初のピクチャーがＩピクチャーまたはＰピクチャーであり、その復号時間がその表示時間と異なるのであれば、デコーディングタイムスタンプもまた含まれてもよい。ビデオタイムスタンプの目的および用途は以下に記されるであろう。オーディオパケットそれぞれは、少なくとも１つのオーディオストリームのアクセスユニットを含み、オーディオパケットヘッダから始まる。オーディオパケットヘッダは、オーディオパケットにおいて最初に始まったオーディオアクセスユニットを復号することにより得られたオーディオ信号の出力タイミングを示す表示タイムスタンプを含んでもよい。オーディオアクセスユニットそれぞれは、ＭＰＥＧ−１においては約３８４バイトである。図２は、ピクチャーｉの終わりのビデオストリームと、少なくともピクチャーｉ＋１の始まりのビデオストリームとを含むビデオパケットトを示す。ピクチャーｉ＋１は、ビデオパケットにおいて始まる最初のピクチャーなので、示されたビデオパケットヘッダに含まれるビデオタイムスタンプｖｔｓは、ピクチャーｉ＋１のビデオタイムスタンプである。図２はまた、アクセスユニットｊの終わりのオーディオ信号を含むオーディオパケット、および、アクセスユニットｊ＋１，ｊ＋２のオーディオ信号を示す。アクセスユニットｊ＋１はオーディオパケットにおいて始まる最初のアクセスユニットなので、オーディオパケットヘッダに含まれるオーディオタイムスタンプａｔｓは、オーディオアクセスユニットｊ＋１のタイムスタンプである。エンコーダ1００は、ビデオ信号Ｓ２を圧縮し、符号化し、少なくともオーディオ信号Ｓ３を符号化し、ビデオストリームとオーディオストリームとをそれぞれ供給し、オーディオストリーム、ビデオストリームおよび種々のヘッダをマルチプレクスし、図２に示されたフォーマットを有する多重化ビットストリームＳ１００を供給する。エンコーダは、送信または記録のために媒体５にマルチプレクスされたビットストリームを供給する。多重化ビットストリームは、もしエンコーダがシステムターゲットデコーダ４００に復号のために多重化ビットストリームを入力していたならば、システムターゲットデコーダが多重されたビットストリームをうまく復号していたであろうような、システムターゲットデコーダのいずれの入力バッファにもオーバーフローおよびアンダーフローが発生していなかったであろうようなものである。多重化ビットストリームＳ１００がシステムターゲットデコーダ４００によりうまく復号され得るという要請ゆえに、エンコーダ１００は少なくともビデオ信号Ｓ２に動的に変化する圧縮および符号化処理を適用する。エンコーダ１００により適用された圧縮の圧縮率は、経時的に変化する。さらに、ビデオ信号Ｓ２のピクチャーを表示するために用いられ得るビデオストリームの量は、ピクチャーが圧縮されている際のシステムターゲットデコーダのビデオ入力バッファの使用率に依存するので、与えられたピクチャーに適用される圧縮量は動的に変化する。与えられたビデオシーケンスから得られたビデオストリームの量は、もし与えられたビデオシーケンスが異なった場合で処理されたのであれば、異なる。したがって、少なくともエンコーダ１００により生成されたビデオストリームの圧縮率は定常的に変化する。以上に示したように、オーディオストリームとビデオストリームは時間多重され、多重化ビットストリームＳ１００を供給する。ビデオ信号の与えられたピクチャーに属するオーディオ信号のオーディオストリームは、多重化ビットストリームにおいて、そのピクチャーのビデオストリームより、いくらかの時間早く、または、遅く位置する。この結果として、実際のデコーダ６００は、ビデオストリームの伸長により復元されたビデオ信号、および、オーディオストリームの伸長により復元されたオーディオ信号との間のタイミングの同期をとらなくてはならない。この同期をとるために、ＭＰＥＧ標準はエンコーダが上述したタイムスタンプを少なくともビデオパケットヘッダとオーディオパケットヘッダのいくつかに付加することを明記している。ビデオタイムスタンプとオーディオタイムスタンプとは、同期したビデオストリームとオーディオストリームの復号を達成するために用いられるクロックを規定するタイミングを示す。ビデオタイムスタンプとオーディオタイムスタンプはまた、ビデオストリームとオーディオストリームのそれぞれのアクセスユニットを伸長することにより復元されたビデオ信号のユニット（すなわちピクチャー）および復元されたオーディオ信号のユニットがデコーダ出力に現れる時間を示す間を示す。このようなタイミング情報は、もしデコーダが失われた、または、劣化したオーディオまたはビデオアクセスユニットを復号できないならば、オーディオ／ビデオ同期エラーの発生を防止するために必要である。これは下に詳述されるであろう。図３にリアルデコーダ６００の構造を示す。デコーダ６００においては、デマルチプレクサ６０１が多重化ビットストリームを媒体５から受信する。デマルチプレクサ６０１は多重化ビットストリームをビデオストリーム、ビデオタイムスタンプ、オーディオストリームおよびオーディオタイムスタンプにデマルチプレクスする。ビデオタイムタンプとオーディオタイムスタンプは、それぞれビデオストリームとオーディオストリームそれぞれの復号用に、それぞれピクチャーレート制御回路６９８およびサンプリングレート制御回路６９９に入力される。デマルチプレクサ６０１の出力からのビデオストリームは、ビデオデコーダ６０５に先立つビデオ入力バッファ６０２に入力される。デマルチプレクサからのオーディオストリームは、オーディオデコーダ６０６に先立つオーディオ入力バッファ６０３に入力される。ビデオデコーダ６０５は、ビデオ入力バッファによりアクセスユニットが受信された順に復号するために、ビデオ入力バッファ６０２からビデオストリームのアクセスユニットそれぞれを取り出す。ビデオデコーダ６０５は、ピクチャーレート制御回路６９８から受信されたタイミング信号に応じて、ビデオ入力バッファ６０２から取り出されたビデオストリームを復号する。ピクチャーレート制御回路は、代わりに、デマルチプレクサ６０１から入力されたタイムスタンプにより制御される。同様に、オーディオデコーダ６０６は、アクセスユニットがオーディオ入力バッファにより受信された順にデコードするために、オーディオストリームのアクセスユニットそれぞれをオーディオ入力バッファ６０３から取り出す。オーディオデコーダ６０６は、サンプリングレート制御回路６９９から受信されたタイミング信号に応じて、オーディオ入力バッファ６０３から取り出されたオーディオストリームを復号する。サンプリングレート制御装置は、代わりに、デマルチプレクサ６０１から入力されたオーディオタイムスタンプにより制御される。ビデオ入力バッファ６０２およびオーディオ入力バッファ６０３は、次に詳細に記述されるであろう。以下の理由により、デコーダに入った基本的なストリームはバッファリングされなければならない。最初の理由は、上述のように、圧縮率が常に変わることである。第２の理由は、それぞれのデコーダへの媒体５からの基本的なストリームの平均伝送レートが、クロックエラーに依存して、それぞれのデコーダへのエレメンタリーストリームの平均入力レートと異なることである。第３の理由は、デコーダは通常、それぞれのストリームを断続的に受信する。それゆえ媒体５からの多重化ビットストリームＳ５における基本的なストリームの瞬間的な伝送レートと、それぞれのデコーダへの基本的なストリームの瞬間的な入力レートが合わないことである。したがって、ビデオ入力バッファ６０２，６０３は、平均伝送レートと平均入力レートとの、および、瞬間的な伝送レートと瞬間的な入力レートとの差を合わせるために、デマルチプレクサ６０１とビデオデコーダ６０５およびオーディオデコーダ６０６との間でそれぞれ用意される。図４Ｂ〜図４Ｄは、媒体５からオーディオ入力バッファ６０３への多重化信号におけるオーディオストリームの伝送、および、オーディオ入力バッファからオーディオデコーダ６０６へのオーディオストリームの入力の時間依存性を示すビットインデックス（ｉｎｄｅｘ；指標）曲線のグラフである。オーディオ入力バッファ６０３およびオーディオデコーダ６０６のオーディオ入力バッファの回路配列は図４Ａに示される。ビットインデックス曲線は、Ｘ軸に示される時間に、回路中の与えられた点を通過した全部のビット数（Ｙ軸に示される）との関係を示す。図４Ｂは、オーディオ入力バッファ６０３の入力の点ＩＡでの平均ビットインデックスを示し、この平均ビットインデックスは、この点における媒体から伝送されてきたオーディオストリームの平均レートを反映する。曲線は、媒体からのオーディオストリームの平均伝送レートが大体一定であることを示している。しかし、クロックの偏移により伝送レートが経時的に変化するので、曲線はまっすぐな線ではない。図４Ｃは、入力バッファ６０７への入力の点ＩＶにおける実際のビットインデックスを示す。マルチプレクサがビデオストリームをビデオバッファに入力しているので、最初は何らのビットもオーディオ入力バッファに入力されない。それから、デマルチプレクサ６０１が最初の多重化ビットストリーム内のオーディオオーディオパケットに遭遇し、その内部に有するオーディオアクセスユニットをオーディオ入力バッファ６０３に入力する。最初のオーディオパケットに続いて、次のビデオパケットをビデオ入力バッファに供給する間、デマルチプレクサはオーディオストリームのオーディオ入力バッファへの伝送を止める。それから、デマルチプレクサ６０１は、多重化ビットストリーム内の他のオーディオパケットに遭遇し、その内部に有するオーディオアクセスユニットをオーディオ入力バッファに供給する。この処理は、復号処理を通じて繰り返される。図４Ｄは、オーディオデコーダ６０６によりオーディオ入力バッファからオーディオストリームが取り出された際のオーディオ入力バッファ６０３の出力における点ＯＡのビットインデックスを示す。オーディオデコーダは、１回に１つのアクセスユニットをオーディオ入力バッファから取り出す。オーディオアクセスユニットの取り出しは、例えば２４ｍ秒ごとに一回、間欠的に発生する。ビデオ信号のピクチャーそれぞれが圧縮され、エンコーダ1００において可変長復号化を受けた時に、上述のように、ビデオ信号が圧縮されたモードに依存して、生成されたビデオストリームの量がピクチャーごとに大きく変化する。したがって、ビデオデコーダ６０５がビデオ入力バッファ６０２からビデオストリームを取り出す入力レートもまた、ピクチャーごとに大きく変化する。その結果として、ビデオ入力バッファ６０２の記憶容量は、オーディオ入力バッファ６０３の記憶容量よりも相当に大きく要求される。例えば、ＭＰＥＧ−１標準はビデオ入力バッファ６０２のサイズ、すなわち、記憶容量に４６Ｋバイトを要求し、一方、標準はオーディオ入力バッファのサイズを４Ｋバイトだけとする。図５Ａ〜図５Ｄは、媒体５からビデオ入力バッファ６０２への多重化信号内のビデオストリーム、および、ビデオ入力バッファからビデオデコーダ６０５へのビデオストリームの入力の伝送の時間依存性を示す３本のビデオインデックス曲線を含む。ビデオ入力バッファ６０２およびビデオデコーダ６０５の回路配列は図５Ａに示される。図５Ｂは、ビデオ入力バッファ６０２の入力の点ＩＶにおける平均ビットインデックスを示し、これはこの位置における媒体から伝送されたビデオストリームの平均レートを反映する。曲線は、媒体から伝送されてきたビデオストリームの平均伝送レートが大体一定であることを示す。しかし、クロック偏移のために伝送レートが次第に変化するので、曲線は真っ直ぐな線ではない。図５Ｃは、実際のビデオ入力バッファ６０２への入力の点ＩＶにおける実際のビデオインデックスを示す。ビデオストリームは、最初に、デマルチプレクサ６０１が最初の多重化ビットストリーム内のオーディオパケットに遭遇するまで、実質上一定の伝送レートでビデオ入力バッファに入力される。マルチプレクサは、オーディオパケットの内容をオーディオ入力バッファ６０３に供給する間、ビデオ入力バッファへのビデオストリームの入力に割り込む。この割り込みの間、ビットインデックスは変化しないままに留まる。最初のオーディオパケットの最後に、デマルチプレクサ６０１は続くビデオパケットのヘッダをデマルチプレクスし、それから、多重化ビットストリーム内の他のオーディオパケットに遭遇するまで、ビデオ入力バッファへのビデオストリームの伝送を再開する。この処理は、復号処理の間ずっと繰り返される。図５Ｄは、ビデオストリームがビデオデコーダ６０５によりビデオ入力バッファから取り除かれる際のビデオ入力バッファ６０２の出力の点ＯＶにおけるビットインデックスを示す。ビデオデコーダは、ビデオ入力バッファからビデオストリームを、一時に１つのアクセスユニット、すなわち、１ピクチャーずつ取り出す。アクセスユニットの取り出しは、ピクチャー周期、例えばＮＴＳＣシステムにおいては３３．４ｍ秒ごとに１回ずつ間欠的に発生する。それぞれの時に取り出されるビデオストリームの量は、エンコーダによりピクチャーが圧縮されたモードに依存する。図５Ｄは、Ｉピクチャーが後に続くＢピクチャーのシーケンスの例を示しており、このＩピクチャーにはＢピクチャーのシーケンスが続いている。ビデオ入力バッファから１つのＩピクチャーのために、１つのＢピクチャーのためよりも非常に多くの量のビデオストリームが取り出されることが見られる。図６Ａと図６Ｂは、ビデオ入力バッファ６０２またはオーディオ入力バッファ６０３により提供されるバッファリングを示す。これらの図において、ビデオ入力バッファ６０２が例として用いられる。これらの図は両方ともビットインデックス曲線である。図６Ａは、ビデオ入力バッファ６０２が、媒体からのビデオストリームの伝送レートとビデオデコーダ６０５へのビデオストリームの入力レートとの間の差を単に適応させるために用いられる理想的なバッファリングを示す。ビデオストリームは、図６ＡにおいてＩＳと表記した直線で示されるように、実質的に一定の伝送レートでデマルチプレクサ６０１からビデオ入力バッファ６０２に入力される。ビデオデコーダは、ビデオ入力バッファから、示したように１回に１つのアクセスユニット、すなわち、１ピクチャーずつビデオストリームを取り出す。いずれか１つのピクチャーのために取り出されたビデオストリームの量は、Ｉピクチャーのための１５０ＫビットからＢピクチャーのための５Ｋビットの間で変化しうる。したがって、ビデオ入力バッファの出力におけるビットストリームビットインデックスは段階的に変わり、この段階のステップサイズは、ＯＳと表記した段階的な曲線により示されるように、ピクチャーそれぞれを符号化するために用いられるビット数に依存する。図６Ａにおいて説明した理想的なバッファリングにおいては、以下の条件の両方が常に満たされている。（ａ）ビデオ入力バッファ６０２に媒体から伝送されるビデオストリームの量と、ビデオ入力バッファ６０２（破線ＳＣで示される）の記憶容量との差が、ビデオエンコーダによりビデオ入力バッファから取り出されるビデオストリームの量を超えない。すなわち、オーバーフローがない。そして、（ｂ）ビデオデコーダ６０５によりビデオ入力バッファから取り出されるビデオストリームの量が、媒体からビデオ入力バッファに伝送されるビデオストリームの量を超えない。すなわち、アンダーフローがない。しかし、図６Ｂにおいて説明したように、オーバーフローまたはアンダーフローはバッファリングにおいて時に発生し得る。図６Ｂにおいて、ビデオストリームが媒体５から受信される伝送レートは時間とともに変化する。そうでなければ、ビデオストリームは図６に示したものと同様になる。始めに、ビデオ入力バッファ６０２はビデオデコーダ６０５により要求されるものに比べて過大な量のビデオストリームを受信し、この結果、文字Ａで示した点においてビデオ入力バッファがオーバーフローする。後には、ビデオ入力バッファにより受信されるビデオストリームの伝送レートはビデオストリームに対するビデオデコーダの要求を下回り、その結果として、文字Ｂで示した点において入力バッファがアンダーフローする。含まれるパラメータの内の１以上を制御することにより、入力バッファオーバーフローまたはアンダーフローは防がれ得る。オーバーフローまたはアンダーフローを防ぐいくつかの方法が、図７Ａ〜図７Ｃに示すビットインデックス曲線において説明される。図７Ａに説明される最初の方法はミディアムスレーブ法と呼ばれる。この方法においては、媒体５からビデオ入力バッファ６０２に伝送されるビデオストリームの量が制御され、オーバーフローまたはアンダーフローの発生を防ぐ。このような制御がなければ、伝送レートは曲線Ｌ１により示される。制御があれば、伝送レートは曲線Ｌ１’により示される。媒体から伝送されたビデオストリームの量は、以下の２つの条件を満たすように制御される。（ａ）媒体からビデオ入力バッファ６０２に伝送されるビデオストリームの量（曲線Ｌ１’により示される）と、ビデオ入力バッファの記憶容量との差が、入力バッファからビデオデコーダ６０５により取り出されるビデオストリームの量（曲線Ｌ３で示される）を超えない。すなわち、オーバーフローがない。（ｂ）ビデオ入力バッファ６０２からビデオデコーダ６０５により取り出されたビデオストリームの量（曲線Ｌ３により示される）がビデオ入力バッファ６０２に伝送されるビデオストリームの量（曲線Ｌ１’により示される）を超えない。すなわち、アンダーフローがない。曲線Ｌ２は、どのように媒体からビデオ入力バッファ６０２に伝送されるビデオストリームの量の制御が、ビデオ入力バッファに伝送されたビデオストリームの量とビデオ入力バッファの記録容量との間の差を制御するかを示す。曲線Ｌ２ ’は、媒体からビデオ入力バッファに伝送されたビデオストリームの量が制御されないときの、この差を示す。図７Ｂに示される第２の方法はデコーダスレーブ法と呼ばれる。この方法においては、ビデオデコーダによりビデオ入力バッファから取り出されたビデオストリームの量を変更するために、ビデオデコーダのピクチャーレートが制御される。ピクチャーレートは、以下の２つの条件の両方が満たされるように制御される（ａ）ビデオ入力バッファ６０２に供給されたビデオストリームの量（曲線Ｌ１により示される）とビデオ入力バッファの記憶容量との間の差であるビデオストリームの量（曲線Ｌ２により示される）が、ビデオデコーダ６０５によりビデオ入力バッファから取り出されたビデオストリームの量を超えない。すなわち、オーバーフローがない。そして、（ｂ）ビデオデコーダによりビデオ入力バッファから取り出されたビデオストリームの量（曲線Ｌ３’により示される）がビデオ入力バッファ６０２に媒体から伝送されたビデオストリームの量（曲線Ｌ１により示される）を超えない。すなわち、アンダーフローがない。ビデオデコーダによりビデオ入力バッファから取り出されたビデオストリームの実際の量は曲線Ｌ３’により示される。以上の説明は、ビデオシステムを参照してなされた。しかし、オーディオデコーダ６０６のオーディオストリームがオーディオ入力バッファ６０３から取り出されるレートを合わせるためにサンプリングレートを変更することにより同様な結果をオーディオストリームについても得られる。図７Ｃに説明される第３の方法は、ビデオデコーダ６０５によりビデオ入力バッファ６０３から取り出されるビデオストリームの量を合わせる。例えば、この方法は、ビデオ入力バッファから取り出されたビデオストリームの量を合わせるために、ビデオデコーダにビデオストリームの復号部分を飛ばさせたり、ビデオストリームの復号部分を反復させたりするであろう。曲線Ｌ３’は、ビデオ入力バッファ６０２から取り出されたビデオストリームの量における変化を示す。シーケンスの始まりの方でのオーバーフローの発生を防ぐために、いくつかのビデオアクセスユニットをビデオ入力バッファから取り出すがこれらを復号しないことによりビデオ入力バッファから取り出されるビデオストリームの量が増やされる。後には、アンダーフローを防ぐために、いくつかのビデオアクセスユニットをビデオ入力バッファから取り出してこれらを１回以上復号することによりビデオ入力バッファから取り出されるビデオストリームの量が減らされる。ここで記したように、ビデオデコーダのピクチャーレート、オーディオデコーダのサンプリングレート、または、媒体５からの多重化ビットストリームの伝送レートを変更することは、望ましくない副作用をオーディオ・ビデオ信号処理システム１１０の外側のシステムに引き起こす原因となる。したがって、ここで記した変更は自由になされ得ず、限られた範囲内でのみ行われてもよい。その結果として、ここで述べた補正に及ばなければならないようになることなく、デコーダにおけるバッファリングの要求が具合よく適合するように、エンコーダにより生成される多重化ビットストリームを制御することが望ましい。バッファリング処理における不具合は復号の開始に最も発生しがちである。もしデコーダが、そのアクセスの全てが媒体から入力バッファへ転送される前に、入力バッファからストリームのアクセスユニットを取り出そうとするならば、アンダーフローが生じるであろう。これを防ぐために、媒体からのビットストリームの伝送が開始してから所定の遅延時間経過後にのみ、復号処理が開始される。これは、それぞれのデコーダが復号のためにオーディオおよびビデオストリームを取り出しを開始する前に、オーディオストリームとビデオストリームとがそれぞれオーディオおよびビデオ入力バッファに蓄積することを許す。図８Ａ〜図８Ｄは、バッファリングにおけるスタートアップ遅延のいくつかの結果を示す。図８Ａは、図６Ａに示したのと同様に、理想的なバッファリングを示す。図８Ｂは、多重化ビットストリームが変化する伝送レートで多重化ビットストリームが媒体から伝送されたときの、適切なスタートアップ遅延の有利な効果を示す。図８Ｂにおいて、スタートアップ遅延は、ビデオデコーダ６０５がビデオ入力バッファからビデオストリームのアクセスユニットを取り出し始める前に、追加のビデオストリームがビデオ入力バッファ６０２に蓄積することを許す。最適なスタートアップ遅延の決定においては、注意が働かされなければならない。図８Ｃは、過剰に長いスタートアップ遅延の結果を示す。図８Ｃにおいて、ビデオデコーダ６０５は、ビデオ入力バッファ６０２からビデオストリームの取り出しを開始する前に、長く待ちすぎる。その結果として、点Ｃでオーバーフローが発生する。図８Ｄは、短すぎるスタートアップ遅延の結果を示す。短いスタートアップ遅延は、ビデオデコーダが復号のためにビデオ入力バッファからビデオストリームの取り出しを開始する前に、充分なビデオストリームがビデオ入力バッファに蓄積することを許さない。その結果として、ビデオデコーダが最初のＩピクチャーＩ２のビデオストリームを取り出そうとする際に、不十分なビデオストリームがビデオ入力バッファに蓄積し、点Ｄでアンダーフローが発生する。図８Ｄはまた、適切なスタートアップ遅延により、アンダーフローを生じずに最初のＩピクチャーＩ２のビデオストリームが取り出され得ることを示す。図９は、いかに媒体５から伝送された多重化ビットストリームがデマルチプレクサ６０１、ビデオ入力バッファ６０２およびビデオデコーダ６０５により処理され、多重化ビットストリーム内のビデオストリームを復号するかを示す。デマルチプレクサ６０１、オーディオ入力バッファ６０３およびビデオデコーダ６０５の回路の回路配列は、図の先頭に示される。多重化ビットストリームの部分の例は、図の左側に示される。デマルチプレクスされたビットストリームの部分は、パックｎの全て、および、パックｎ＋１の最初の部分を含む。パックそれぞれは、パックの復号タイミングを示すクロックリファレンスＳＣＲを含むパックヘッダで始まり、パックヘッダは、パックの復号タイミングを示すクロックリファレンスＳＣＲを含む。パックｎは、パックヘッダ（パックヘッダｎ）で始まり、ピクチャーｉとｉ＋１のビデオストリームを代りに含むビデオパケットｍを含む。ビデオパケットｍは、表示タイムスタンプＰＴＳｍおよび復号タイムスタンプＤＴＳｍを含むビデオパケットヘッダ（Ｖ．パケットＨ）で始まる。パックｎ＋１はパックｎに続き、クロックリファレンスＳＣＲｎ＋１を含むパックヘッダ（パックヘッダｎ＋１）を含む。パックヘッダに続くのはビデオパケットｍ＋１およびｍ＋２、および、可能なより多くのパケットである。ビデオパケットｍ＋１，ｍ＋２それぞれは、復号タイムスタンプＤＴＳおよび１つのピクチャーのビデオストリームを含む。図９はまた、ビデオ入力バッファ６０２の入力（ＩＶと表記される）および出力（ＯＶと表記される）へのビットインデックス曲線を示す。多重化ビットストリーム内の種々のイベントが破線でビットインデックス曲線に関連付けられ、これらはビットインデックス曲線のＸ軸にも示される。ビデオインデックス曲線ＩＶは、デマルチプレクサ６０１を介して媒体５からビデオ入力バッファに伝送されるビデオストリームを表す。ビットインデックス曲線ＯＶは、ビデオデコーダ６０５によりビデオ入力バッファから取り出されたビデオストリームのビットインデックスを表す。多重化ビットストリームは以下のように処理される。パックｎのパケットヘッダ内でクロックリファレンスＳＣＲｎにより示されるタイミングで、パックｎに含まれるビデオストリーム、すなわち、ピクチャーｉ，ｉ＋１のビデオストリームがデマルチプレクサ６０１を介してビデオ入力バッファ６０２に伝送される。それから、クロックリファレンスＳＣＲｎ＋１により示されるタイミングで、パックｎ＋１に含まれていたビデオストリームがデマルチプレクサ６０１を介してビデオ入力バッファ６０２に伝送される。ビデオパケットヘッダのタイムスタンプは、その他のいずこかに記憶される。後に、ビデオパケットｍのヘッダにおいて復号タイムスタンプＤＴＳｍにより示される時間で、ピクチャーｍのビデオストリームがビデオデコーダ６０５によりビデオ入力バッファ６０２から間欠的に取り出される。それから、１ピクチャー期間の後、やはりビデオパケットｍに含まれるピクチャーｉ＋１のビデオストリームがビデオデコーダによりビデオ入力バッファから取り出される。後に、ビデオパケットｍ＋１のパケットヘッダ内に含まれる復号タイムスタンプＤＴＳｍ＋１により示される時間に、ビデオパケットｍ＋１において始まる最初のピクチャーであるピクチャーｉ＋２のビデオストリームがビデオ入力バッファ６０２からビデオデコーダ６０５に取り出される。ビデオパケットヘッダ内のデコーディングタイムスタンプＤＴＳｍ＋２により示される時間に、ビデオパケットｍ＋２において始まる最初のピクチャーであるピクチャーｉ＋３のビデオストリームがビデオデコーダ６０５によりビデオ入力バッファ６０２から取り出される。ピクチャーｉ＋３のビデオストリームの取り出しに続き、そのビデオストリームがビデオパケットｉ＋３内でピクチャーｉ＋３のビデオストリームに続くピクチャーのビットストリームが、復号タイムスタンプＤＴＳｍ＋２により示される時間に１ピクチャー期間ずつ加えた時間にビデオ入力バッファ６０２から取り出される。タイムスタンプにより示されたタイミングは、例えば水晶発振器および９０ＫＨｚのリファレンスクロックを用いた絶対時間として記憶されてもよい。この方法においては、クロックリファレンスとタイムスタンプとの差をスタートアップ遅延として用いることができる。上述のように、ＭＰＥG標準に従ったデコーダがオーディオストリームおよびビデオストリームを復号するために用いられるとき、対応するオーディオストリームおよびビデオストリームのアクセスユニットを復号した結果生じた復号信号それぞれのユニットがデコーダ出力に供給される時間を同期させることが必要である。復号信号ユニットがデコーダ出力に供給される時間は、そのユニットの表示時間と呼ばれる。多重化ビットストリームにおけるタイムスタンプはこの同期を供給するために用いられる。必要な同期を供給する部分はビデオストリームをデコードした結果得られたビデオ信号の並べ替えを含んでいる。これは、図１０において説明される。上述のように、ビデオストリームは、Ｉピクチャー、ＰピクチャーおよびＢピクチャーとして圧縮されたピクチャーのビデオストリームを含んでいる。これらのピクチャーの内、復号時間および表示時間はＢピクチャーにとってのみ同じである。偶発的には、復号時間と表示時間はオーディオストリームにとってもまた同じになる。ＩピクチャーとＰピクチャーとは、復号時間より数ピクチャー期間遅れた表示時間を有する。ビデオデコーダ６０５はＩピクチャーおよびＰピクチャーのビットストリームをビデオ入力バッファ６０２から復号タイムスタンプＤＴＳに示される時間に取り出す。ピクチャーのビデオストリームが復号された後、その結果として得られた復号ビデオ信号は一時的にビデオデコーダ出力バッファ６１１に記憶される。それから、表示タイムスタンプＰＴＳにより示された時間に、ピクチャーのビデオ信号がビデオデコーダ出力バッファからビデオデコーダ６０５の出力に供給され、ビデオ出力信号のピクチャーが供給される。例えば、図１０において、ＩピクチャーＩ２のビデオストリームがビデオ入力バッファ６０２から復号（ディスプレイ）タイムスタンプＤＴＳｍにより示される時間に取り出され、その結果として得られたビデオ信号は、復号されたＩピクチャーおよびＰピクチャーのビデオ信号を一時的に記憶するためにビデオデコーダ６０５内に設けられたビデオデコーダ出力バッファ６１１に記憶される。それから、ビデオデコーダ６０５は、連続的にビデオ入力バッファ６０２からＰピクチャーのビデオビットストリームを取り出し、連続的にこれらを復号し、１ピクチャー周期離れたその出力にその結果として得られたビデオ信号を供給する。次に、ビデオデコーダ６０５はビデオ入力バッファ６０２からＰピクチャーＰ５のビデオストリームを取り出す。ビデオデコーダは間欠的にビデオストリームを復号し、その結果として得られたビデオ信号をビデオデコーダ出力バッファ６１１に記憶する。また、ＰピクチャーＰ５の復号タイムスタンプと同じ値を有するＩピクチャーＩ２の表示タイムスタンプＰＴＳにより示された時間に、ビデオデコーダはピクチャーＩ２のビデオ信号をその出力に供給する。最後に、この例においては、ビデオデコーダ６０５は連続してＢピクチャーＢ３およびＢ４のビデオストリームをビデオ入力バッファ６０２から取り出し、連続して記憶されたピクチャーＩ２およびＰ５を参照ピクチャーとして用いて復号し、その結果として得られたビデオ信号を１ピクチャー周期離れたその出力に供給する。ＩピクチャーおよびＰピクチャーは、それらの復号タイミングおよび表示タイミングにおいて異なるので、それぞれ表示時間および復号時間を示す表示タイムスタンプおよび復号タイムスタンプは、ＩピクチャーまたはＰピクチャーのビデオストリームが始まるビデオパケットのビデオパケットヘッダに含まれる。しかし、タイムスタンプの両方の種類が含まれている必要はない。なぜならば、ＭＰＥＧ復号規則によると、ＩピクチャーまたはＰピクチャーそれぞれの表示時間は続くＩピクチャーまたはＰピクチャーの復号時間と同じだからである。換言すると、復号タイムスタンプは省略可能であり、ＩピクチャーまたはＰピクチャーそれぞれは前方のＩピクチャーまたはＰピクチャーの表示タイムスタンプにより示される時間に復号され得る。図１０はまた、ＭＰＥＧビデオ信号の復号および表示時間の差異の結果を示す。ビットインデックス曲線から、ビデオデコーダが媒体５から入力バッファに伝送された順番に、すなわちシーケンシャルでないピクチャー順番でビデオ入力バッファからピクチャーのビデオストリームを取り出すことが知り得る。しかし、ピクチャーの表示スタンプは表示されるピクチャーを、図の下方に示すそれらのシーケンシャルな順番に表示されるようにする。上に述べたように、タイムスタンプは多重化ビットストリームの多重化レイヤに含まれており、オーディオまたはビデオストリームレイヤにではない。これは、多重化ビットストリームがデコーダにおいてデマルチプレクスされるときに、これらに関係するタイムスタンプとアクセスユニットとの間の相互関係が失われたことを意味する。従って、デコーダは、多重化ビットストリームから抽出されたタイムスタンプを、それらに対応するアクセスユニットそれぞれに関連付ける規定を含まなければならない。１つのアプローチが図１１Ａ、図１１Ｂに示されている。図１１Ａにおいて、デコーダ６００は、デマルチプレクサ６０１は媒体５から多重化ビットストリームを受信するデマルチプレクサ６０１を含む。デマルチプレクサは、ビデオストリームおよびビデオタイムスタンプを多重化ビットストリームからデマルチプレクスし、これらをビデオストリーム再構成ユニット６９２に入力する。デマルチプレクサはまた、オーディオストリームとオーディオタイムスタンプを多重化ビットストリームからデマルチプレクスし、これらをオーディオストリーム再構成ユニット６９３に入力する。ビデオストリーム再構成ユニットの出力は、ビデオデコーダ６０５に先立つビデオ入力バッファ６０２に供給される。ビデオデコーダにおける復号は、ビデオタイムスタンプに応じてピクチャーレート制御回路６９８により制御される。オーディオストリーム再構成ユニット６９３の出力は、オーディオデコーダ６０６に先立つオーディオデコーダ６０６に供給される。オーディオデコーダにおける復号は、オーディオタイムスタンプに応じてサンプリングレート制御回路６９９により制御される。デマルチプレクサ６０１は、媒体５から多重化ビットストリームを受信し、これをビデオストリーム、ビデオタイムスタンプ、オーディオストリームおよびオーディオタイムスタンプに分解する。ビデオストリームおよびビデオタイムスタンプは、ビデオタイムスタンプをビデオストリームに挿入するビデオストリーム再構成ユニット６９２に入力される。例えば、ビデオタイムスタンプが、図１１Ｂに示されるピクチャーｉおよびピクチャーｉ＋１の間に挿入される。図１１Ｂに示されるように再構成されたビデオストリームは、ビデオ入力バッファ６０２に入力され、ここで一時記憶される。ビデオデコーダ６０５は、ビデオ入力バッファにより受信された順番で、ビデオ入力バッファ６０２からビデオタイムスタンプを含むビデオストリームを取り出す。同様な態様で、オーディオストリーム再構成ユニット６９３はオーディオストリームおよびオーディオタイムスタンプをデマルチプレクサ６０１から受信し、オーディオストリームにオーディオタイムスタンプを挿入する。例えば、オーディオタイムスタンプは、アクセスユニットｊおよびオーディオストリームの図１１Ｂに示されるアクセスユニットｊ＋１の間に挿入される。図１１Ｂに示されたように再構成されたオーディオストリームは、それからオーディオストリーム再構成ユニットからオーディオ入力バッファ６０３に入力され、そこで一時的に記憶される。オーディオデコーダ６０６は、オーディオタイムスタンプを含むオーディオストリームをオーディオ入力バッファからオーディオ入力バッファにより受信された順番に取り出す。ビデオデコーダ６０５は、ピクチャーレート制御回路６９８から受信されたタイミング信号に応じてビデオ入力バッファ６０２から取り出されたビデオストリームを復号する。ピクチャーレート制御回路は、代わりに、ビデオデコーダから入力されたタイムスタンプにより制御される。同様に、オーディオデコーダ６０６は、サンプリングレート制御回路６９９から受信されたタイミング信号に応じてオーディオ入力バッファ６０３から取り出されたオーディオストリームを復号する。サンプリングレート制御回路は、代わりに、オーディオデコーダから供給されたオーディオデコーダから入力されたオーディオタイムスタンプにより制御される。ここに記したデコーダは、多重化レイヤ内に含まれるタイムスタンプをこれらが属するビデオおよびオーディオアクセスユニットに関連付ける問題を解決する。しかし、タイムスタンプのオーディオおよびビデオストリームへのはめ込みは、ストリームにおいてもはや標準でないという結果になる。はめ込まれたタイムスタンプを伴うビデオストリームの復号に適したデコーダは、例えば、タイムスタンプが用いられないアプリケーションにおいてはビデオストリームの復号に適さない。したがって、標準でないストリームおよび標準でないデコーダとならない方法で、タイムスタンプをこれらが属するアクセスユニットに関連付けることが望ましい。最近、ＭＰＥＧ標準は、オーディオストリームまたはビデオストリーム以外の情報パケットが多重化ビットストリーム内に含まれることを許容してきた。例えば、ディレクトリ情報のパケットがビットストリームに加えられてもよい。ディレクトリ情報は、多重化ビットストリーム内の連続するアクセスポイントのアドレスを供給することにより、早送り動作の間、ピクチャーが表示されることを許す。アクセスポイントは、他のアクセスユニットがデコーダにあることを要求せずに復号され得るアクセスユニットである。例えば、ビデオアクセスポイントは、全体的にまたは部分的にイントラピクチャー符号化を用いて符号化されたピクチャーである。アクセスポイントは、通常、ＧＯＰ（グループオブピクチャー）の始まりに位置する。ＭＰＥＧ標準は、ディレクトリ情報（ディレィクトリパケット）を内容とするパケットはオーディオパケットおよびビデオパケットとともに多重化ビットストリームにおいてインターリーブされる旨、明記し、そしてまた、ディレクトリ情報バッファがデコーダ中に用意される旨、明記する。しかし、ＭＰＥＧ標準はディレクトリバッファのサイズも動作も定義しない。ＭＰＥＧデコーダ内のプロセッサ内のメモリ不足ゆえに、デコーダの設計者はディレィクトリ情報に比較的少ないメモリを割り当てる。さらに、エンコーダの設計者は、慣習的にディレクトリパケットを比較的大きくしてきた、それゆえディレクトリパケットは多重化ビットストリーム内に比較的稀に発生する。現在のディレクトリバッファのサイズと、ビデオテープレコーダの早送り動作におけるディレクトリパケットのサイズおよび間隔との間の関係の影響は図１２Ａ〜１２Ｅに示される。図１２Ａは、ビデオテープに記録されたときの多重化ビットストリームの部分の配列を示す。ディレクトリパケットは、ディレクトリパケットヘッダ（Ｄｉｒ．Ｐｋｔ．Ｈｄｒ）、これに続くディレクトリエントリのセットで構成され、１つのディレクトリエントリは続くＧＯＰの１つづつに対応する。ディレクトリパケットに続くのは、ＧＯＰのビデオストリームを内容とする複数のビデオパケットである。この例においては、ディレクトリパケットに続く２０個のＧＯＰがあるので、ディレクトリパケットは２０個のディレクトリエントリを含む。これらの図において、図示を簡略化するために、ビデオパケットとインターリーブされたオーディオパケットは省略されている。早送り動作の間、図１２Ｂに示されるように、ディレクトリパケットヘッダが認識され、ディレクトリパケットの内容がテープから読み出されディレクトリバッファに伝送される。しかし、ディレクトリバッファは標準的には約５００ビットの容量を有し、各ディレクトリは１００ビットを要するので、ディレクトリバッファは最初の５つのディレクトリエントリが記憶された後には、オーバーフローする。ディレクトリパケットの内容がテープから再生された後、最初のＧＯＰ（ＧＯＰ０）の始まりのアドレスはディレクトリバッファから読み出され、図１２Ｃに示すように、テープがこのアドレスまで進められて最初のＧＯＰの始まりのアクセスポイントがテープから再生されるのが可能になる。表示のためにこのピクチャーが復号されている間、２番目のＧＯＰ（ＧＯＰ１）の始まりのアドレスがディレクトリバッファから読み出され、テープが進められて、また図１２Ｃに示されるように、２番目のＧＯＰの始めのアクセスポイント、例えばＩピクチャーがテープから再生されるのが可能になる。この処理は、図１２Ｃに示すように、５番目のＧＯＰ（ＧＯＰ５）まで繰り返され、この後、ディレクトリバッファの内容が使い果たされる。それから、テープは、次のディレクトリエントリの５つを再生するためにディレクトリパケットまで巻き戻される。これらのディレクトリエントリは、図１２Ｄに示されるように、ディレクトリバッファに記憶される。テープレコーダは、それから、図１２Ｅに示されるように、これら５つの新たなディレクトリエントリを用い、６番目から１０番目のＧＯＰ（ＧＯＰ５〜ＧＯＰ９）の始まりのピクチャーを通して早送りする。ディレクトリパケットは、２０ＧＯＰ、ＧＯＰ０〜ＧＯＰ１９それぞれの始まりのピクチャーを再生するために、合計４回再生されなければならない。もし、アナログテープレコーダにおける早送りの間の作業のように、早送り動作の間にピクチャーが再生されるとすると、ディレクトリバッファとディレクトリパケットのサイズと間隔との間の不整合は早送り動作を非常に遅いものにする。ＭＰＥＧ標準はディレクトリパケットのサイズおよび動作を定義していないので、より大きいディレクトリバッファを用いることは、（より大きなバッファが問題の深刻さを減じるであろうが）ここで述べた問題の完全な解決策ではない。これゆえに、ディレクトリバッファがいかに大きくされようと、ディレクトリバッファより大きなディレクトリパケットの可能性は常に存在する。デマルチプレクスに続いてタイムスタンプをオーディオおよびビデオストリームにはめ込むことの代わりに、タイムスタンプが必要になるまで記憶するタイムスタンプバッファを設けることが提案されてきた。個別のバッファがオーディオアクセスユニットに対応するタイムスタンプおよびビデオアクセスユニットに対応するタイムスタンプのために設けられてもよい。また一方、ＭＰＥＧ標準はこれらのバッファのサイズと動作に対する直接の仕様を含んでいない。しかし、現行のＭＰＥＧ標準はシステムターゲットデコーダは、ビデオおよびオーディオの両方に、最大限１秒のバッファリング遅延を有することを要求する。これは、タイムスタンプは最大１秒バッファリングのみされることを必要とすることを意味し、これはタイムスタンプバッファの最大のサイズが計算されることを可能にする。もしタイムスタンプがビデオストリームのピクチャーそれぞれに供給されているのであれば、３０タイムスタンプのバッファ容量がビデオタイムスタンプ用に用意されなければならない。同様に、もしタイムスタンプがオーディオアクセスユニットそれぞれに供給されているならば、１１５タイムスタンプのバッファ容量がオーディオタイムスタンプのために用意されなければならない。ここで示した態様において、ＭＰＥＧ標準は間接的にオーディオおよびビデオタイムスタンプバッファの最大のサイズを置いている。しかし、この最大のタイムスタンプバッファのサイズを置く方法は、望ましくない副作用を持つ、すなわち、これは、より長いバッファ遅延が必要なアプリケーションにおける使用に対してＭＰＥＧ標準を適さないようにしている。例えば、図１３に示される低いピクチャーレート、低いビットレートのビデオ信号は、そうでなければＭＰＥＧ標準のビットレートに従ってマルチプレクスされ得るが、約５秒のデコーダバッファ遅延を要求するのでＭＰＥＧ標準によりマルチプレクスされ得ない。ＭＰＥＧ標準は多くのアプリケーションにおいて用いられることを意図しているので、ＭＰＥＧ標準により定義されている最大遅延要求をなくし、代わりにより合理的なタイムスタンプバッファのサイズを適する方法を確立することが望ましい。発明の開示本発明は、非圧縮補助情報を情報ストリームとマルチプレクスしてビットストリームを生成する手法を提供する。情報ストリームは固定サイズのユニットの情報信号を変化する圧縮率で圧縮することによって得られ、可変サイズのユニットの情報ストリームを提供する。補助情報は、情報ストリームを続いてデコードするために用いられる。補助情報のユニットは、情報信号のユニットに対応している。本方法では、情報ストリームは、時間的に、複数の補助情報の部分に分割される。非圧縮補助情報もまた時間的に複数の補助情報の部分に分割される。情報ストリームの部分および補助情報の部分はインターリーブされ、これによってビットストリームが提供される。最終的に、情報ストリームの分割、補助情報の分割およびインターリーブのステップは、仮想システムターゲットデコーダによってビットストリームのデコードをエミュレートすることで制御される。仮想システムターゲットデコーダは、ビットストリームをデマルチプレクスするデマルチプレクサと、情報ストリームバッファおよび情報ストリームデコーダの直列的回路配列と、補助情報バッファおよび補助情報プロセッサの直列的回路配列とを含む。各直列的回路配列はデマルチプレクサと接続されている。情報ストリーム分割、補助情報分割およびインターリーブステップは、情報ストリームバッファおよび補助情報バッファのいずれもがオーバーフローやアンダーフローしないように制御される。デマルチプレクサはビットストリームを受信し、ビットストリームから情報ストリームおよび補助情報を、情報ストリームバッファおよび補助情報バッファにそれぞれ供給するために取り出す。情報ストリームバッファおよび補助情報バッファは、それぞれ第１のターゲットサイズおよび第２のターゲットサイズを有する。情報ストリームデコーダは、可変サイズのユニットの情報ストリームを、情報ストリームバッファから第１のターゲットタイミングで取り出し、補助情報プロセッサは、対応する固定サイズのユニットの補助情報を補助情報バッファから第２のターゲットタイミングで取り出す。本方法によれば、ビットストリームが多層化されたビットストリームであるときに、インターリーブステップはビットストリームの層のうちの共通の層に情報ストリームの部分と補助情報の部分とをインターリブ可能であるか、または、ビットストリームの異なる層に情報ストリームの部分と補助情報の部分とをインターリブ可能である。補助情報は情報ストリームについてのディレクトリ情報となり得、この場合に、情報ストリームは複数のアクセスポイントを含むことができ、ディレクトリ情報の各ユニットはアクセスポイントの一つと関連している。情報ストリームは複数のアクセスユニットを有することができ、補助情報は情報ストリームのアクセスユニットをデコードするためのタイムスタンプの集合となり得る。本発明は、ビットストリームを生成するためのエンコーダを供給することもできる。このエンコーダは、固定サイズのユニットの情報信号を変化する圧縮率で圧縮して可変サイズのユニットの情報ストリームを供給する圧縮器を含む。情報ストリーム分割器は、情報ストリームを時間的に複数の情報ストリームの部分に分割する。補助情報分割器は、非圧縮補助情報を時間的に複数の補助情報の部分に分割する。補助情報は、情報ストリームを続いてデコードするのに用いられる。補助情報の複数のユニットは、情報信号の複数のユニットに対応している。マルチプレクサは、連続的に情報ストリームの部分および補助情報の部分を配置し、これによってビットストリームを供給する。マルチプレクサは、システムターゲットデコーダによってビットストリームのデコードをエミュレートすることで情報ストリーム分割器および補助情報分割器を制御する制御回路を含む。システムターゲットデコーダは、ビットストリームをデマルチプレクスするデマルチプレクサと、情報ストリームバッファおよび情報ストリームデコーダの直列的回路配列と、補助情報バッファおよび補助情報プロセッサの直列的回路配列とを含む。直列的回路配列のそれぞれは、マルチプレクシング手段と接続されている。制御回路は、情報ストリームバッファおよび情報ストリームデコーダのいずれもがオーバーフローおよびアンダーフローしないように、情報ストリーム分割器および補助情報分割器を制御する。本発明は、情報信号を非圧縮補助情報と共にビットストームとして媒体に転送するために圧縮され、また、ビットストリームが媒体から転送され、処理されて、伸張によって情報信号を復元および補助情報を復元する、システムも提供する。補助情報は、情報信号を復元するために用いられる。このシステムは、エンコーダおよびデコーダを含む。エンコーダは、固定サイズのユニットの情報信号を、変化する圧縮率で圧縮し、可変サイズのユニットの情報信号を供給することによって、情報ストリームを供給する情報信号圧縮器を含む。エンコーダは、情報ストリームの時分割された部分および非圧縮補助情報の時分割された部分をシーケンシャルに配置して媒体に転送するためのビットストリームを供給するマルチプレクサをも有する。マルチプレクサは、仮想システムターゲットデコーダによりビットストリームのデコードをエミュレートすることによって、それぞれ時分割された部分への情報ストリームおよび補助情報の分割を決定する制御回路を含む。仮想システムターゲットデコーダは、ビットストリームをデマルチプレクスするデマルチプレクサと、情報ストリームバッファおよび情報ストリームデコーダの直列的回路配列と、補助情報バッファおよび補助情報プロセッサの直列的回路配列とを含む。各直列的回路配列は、デマルチプレクサと接続されている。デコーダは、システムターゲットデコーダに似ており、メディアから転送されたビットストリームから情報ストリームおよび補助情報ストリームを抽出するデマルチプレクサを含む。第１入力バッファは、デマルチプレクス手段から補助情報を受信し、回路が第１入力バッファから補助情報のユニットを取り出す。第１入力バッファは、少なくとも補助情報バッファのサイズのサイズを持つ。第２入力バッファは、デマルチプレクス手段から情報ストリームを受信する。第２入力バッファは少なくとも情報ストリームバッファのサイズのサイズを持つ。デコーダは、第２のバッファのユニットから情報ストリームの可変サイズのユニットを、その取り出された情報ストリームを伸張して情報信号のユニットを復元するために取り出す。本発明は、非圧縮補助情報を情報ストリームとマルチプレクスして得られたビットストリームのためのデコーダをも供給する。情報ストリームは、固定サイズのユニットの情報信号を可変圧縮比で圧縮することで可変サイズのユニットの情報ストリームを供給して得られる。補助情報は、情報ストリームを続いてデコードするために用いられる。補助情報のユニットは、情報信号のユニットと対応している。デコーダは、ビットストリームから情報ストリームおよび補助情報を抽出するデマルチプレクサを含む。第１入力バッファはデマルチプレクサから補助情報を受信し、回路は第１入力バッファ手段から補助情報のユニットを取り除く。第２入力バッファは、デマルチプレクサから情報ストリームを受信する。デコーダは、第２バッファ手段から可変サイズのユニットの情報ストリームの一つを取り除き、取り除かれた情報ストリームのユニットを伸長して情報信号のユニットを復元する。本発明は、さらに、情報信号から多重化ビットストリームを得る方法を提供する。この方法では、エンコーダが供給される。このエンコーダは、情報信号のユニットを圧縮して情報ストリームのアクセスユニットを供給する圧縮器を含む。第１サイズを持つ第１バッファは、情報ストリームのアクセスユニットをバッファリングする。回路は、第１バッファが情報ストリームのアクセスユニットを受信する時間毎に、タイムスタンプを供給する。マルチプレクサは、情報ストリームおよびタイムスタンプをマルチプレクスし、多重化ビットストリームを供給する。多重化ビットストリームをデコードするための仮想システムターゲットデコーダが規定されている。この仮想システムターゲットデコーダは、ビットストリームをデマルチプレクスするためのデマルチプレクサと、情報ストリームバッファおよび情報ストリームデコーダの直列的回路配列と、スタンプバッファおよびタイムスタンププロセッサの直列的回路配列とを含む。各直列的回路配列は、デマルチプレクサと接続されている。第１バッファのサイズおよび第２バッファのサイズは、仮想システムターケットデコーダを用いてビットストリームのデコードをエミュレートすることによって決定される。それから、情報信号が、それぞれ決定工程によって決定されたサイズに設定された第１のバッファのサイズおよび第２のバッファのサイズを有するエンコーダを用いて、エンコードされる。最後に、本発明は、情報信号からビットストリームを得る方法を提供する。この方法では、情報信号のユニットが圧縮され、情報ストリームのユニットを供給する。情報ストリームのユニットは、アクセスポイントを含む。情報ストリーム中のアクセスポイントをポインティングするポインタは、情報ストリームから得られる。そして、情報パケット中に分割された情報ストリームは、ポインタパケットと共にマルチプレクスされ、ビットストリームを供給する。このマルチプレクスは、複数の連続するアクセスポイントを含む情報パケットの集合が、複数の連続するアクセスポイントに対してのみポインングするポインタを含むポインタパケットに隣接してマルチプレクスされるように行われる。図面の簡単な記述図１は、従来技術におけるシステムとシステムターゲットデコーダとの関係を示す、オーディオ信号およびビデオ信号のためのオンコーダ／デコーダシステムのブロック図である。図２は、図１に示されたシステムのエンコーダによって生成された多重化ビットストリームの構成を示す。図３は、図１に示されたシステムのデコーダの構成を示す。図４Ａは、図１に示されたシステムのデコーダの中の入力バッファおよびオーディオデコーダを示す。図４Ｂは、図１に示されたシステムのデコーダの中のオーディオ入力バッファの入力における標準ビットインデックスを示すビットインデックス曲線である。図４Ｃは、図１に示されたシステムのデコーダの中のオーディオ入力バッファの入力における実際のビットインデックスを示すビットインデックス曲線である。図４Ｄは、図１に示されたシステムのデコーダ動作の中のオーディオ入力バッファの出力におけるビットインデックスを示すビットインデックス曲線である。図５Ａは、図１に示されるシステムのデコーダの中のビデオ入力バッファおよびビデオデコーダを示す。図５Ｂは、図１に示されるシステムのデコーダの中のビデオ入力バッファの入力における標準ビットインデックスを示すビットインデックス曲線である。図５Ｃは、図１に示されるシステムのデコーダの中のビデオ入力バッファの入力における実際のビットインデックスを示すビットインデックス曲線である。図５Ｄは、ビデオ入力バッファの出力におけるビットインデックスを示すビットインデックス曲線である。図６Ａは、図１に示されるシステムのデコーダの中のビデオ入力バッファの中の理想的なバッファリングを示す。図６Ｂは、図１に示されるシステムのデコーダの中のビデオ入力バッファによって供給されるバッファリングにおける入力ビットレートの変化の効果を示す。図７Ａ，７Ｂおよび７Ｃは、図１に示されるシステムのデコーダの中のビデオ入力バッファにおけるバッファリングエラーの修正の種々の方法を示す。図８Ａ，８Ｂ，８Ｃおよび８Ｄは、図１に示されるシステムのデコーダ中のビデオ入力バッファによって供給されるバッファリングにおける始動遅延（スタートアップディレー）の効果を示す。図９は、図１に示されるシステムのデコーダ中のビデオ入力バッファの多重化ビットストリームおよび動作の構成間の関係を示す。図１０は、図１に示されるシステムのデコーダの中のビデオ入力バッファのピクチャーエンコードの種々のタイプと動作の間の関係を示す。図１１Ａは、図１に示されるシステムのデコーダの前の選択的な構成を示し、そのなかで、多重化ビットストリームをデマルチプレクスした後に、各タイムスタンプがビデオおよびオーディオストリームに埋め込まれることを示す。図１１Ｂは、図１１Ａに示されるデコーダによって生成される埋め込まれたタイムスタンプと共に、オーディオおよびビデオストリームを示す。図１２Ａから１２Ｂは、ビデオテープレコーダの早送り処理におけるディレクトリパケットのマルチプレクスされたストリーム中へのマルチプレクスの既知の方法の効果を示す。図１３は、ＭＰＥＧ−１標準に課せられたバッファリング遅延リミットに準拠したデコーダを用いてデコードできないロービットレートを示す。図１４は、オーディオ信号およびビデオ信号のための本発明によるエンコーダ／デコーダの第１実施例のブロック図であり、本発明によるシステムターゲットデコーダのシステムと第１実施例との間の関係を示す。図１５は、本発明に関するシステムターゲットデコーダに用いられるエンコーダの種々の構成要素の関連を示す本発明によるエンコーダの第１実施例の構成を示す。図１６Ａは、図１５に示されるエンコーダによって生成される予備的な多重化ビットストリームを示す。図１６Ｂは、図１５に示されるエンコーダによって生成される多重化ビットストリームを示す。図１７は、本発明によるデコーダの第１実施例のブロック図である。図１８は、図１７に示されるデコーダの第１実施例中のビデオ入力バッファにおけるおよびディレクトリ入力バッファの入力および出力におけるビットインデックスを示す。図１９は、図１５に示されるエンコーダの第１実施例によって生成される多重化ビットストリームの構成と、図１７に示されるデコーダの第１実施例中のディレクトリ入力バッファの入力のビットインデックスとの間の関係を示す。図２０は、ビデオテープレコーダの早送り処理における本発明のディレクトリパケットを多重化ビットストリームにマルチプレクスする方法の効果を示す。図２１は、オーディオ信号およびビデオ信号のための本発明によるオンコード／デコードシステムの第２実施例のブロック図であり、本発明によるシステムとターゲットデコーダの第２実施例との間の関係を示す。図２２Ａは、本発明によるシステムターゲットデコーダの第２実施例との関連によって決定されるエンコーダの種々の動作パラメータを示す本発明によるエンコーダの第２実施例の構成を示す。図２２Ｂは、図２２Ａに示されるエンコーダのオペレーショナルパラメータが本発明によるシステムターゲットデコーダの第２実施例を参照して決定される処理を説明するブロック図である。図２３は、本発明のデコーダの第２実施例のブロック図である。図２４Ａは、エンコード／デコードシステムの総ビデオ遅延の構成要素を説明する。図２４Ｂは、本発明によるエンコード／デコードシステムの総ビデオ遅延および総オーディオ遅延の構成要素を説明する。図２５は、図２２Ａに示されるエンコーダの第１実施例によって生成された多重化ビットストリームの構成と、図２３に示されるデコーダの第２実施例中のビデオ入力バッファの入力のビットインデックス、および、ビデオタイムスタンプバッファの入力および出力との間の関係を示す。発明を実施する最良の形態本発明は、システムターゲットデコーダ（ＳＴＤ）の定義を、オーディオストリームのための入力バッファおよびデコーダとビデオストリームのための入力バッファおよびデコーダとに加えて、タイムスタンプおよびディレクトリ情報のような、非圧縮補助情報の各ストリームのための入力バッファおよびデコーダを含むように拡張する。このＳＴＤの再定義の結果、本発明による実際のデコーダは、各オーディオストリームおよびビデオストリームのためのそれぞれの入力バッファおよびデコーダに加えて、補助情報の各ストリームのための入力バッファおよびデコーダを含む。最後に、本発明によるエンコーダは、本発明による修正されたＳＴＤのパラメータを考慮して、オーディオストリーム、ビデオストリームおよび各補助情報ストリームをマルチプレクスする。このアプローチは、補助情報ストリームの多くの異なるタイプが、（ａ）入力バッファおよびデコーダが各補助情報ストリームのためのシステムターゲットデコーダの中で供給され、および、（ｂ）各補助情報ストリームがSＴＤ中の入力バッファのいずれもがオーバーフローあるいはアンダーフローしないように多重化ビットストリーム中に含まれという条件で、多重化ビットストリーム中に含まれることを可能にする。ディレクトリ入力バッファおよびディレクトリデコーダが本発明によってシステムターゲットデコーダ中で供給される、本発明によるエンコード／デコード信号処理システム１０の第１実施例が図１４に示される。この中で、エンコーダ１はビデオ信号記録媒体２からビデオ信号Ｓ２を受信し、オーディオ信号記録媒体３からオーディオ信号Ｓ３を受信する。オーディオ信号Ｓ３は、単独のオーディオ記録媒体からの代わりに、ビデオ信号記録媒体２からも選択的に（通常）受信されることができる。エンコーダ１は、ビデオおよびオーディオ信号を圧縮および符号化し、その結果であるオーディオストリームおよびビデオストリームにマルチプレクスして多重化ビットストリームＳ１を供給し多重化ビットストリームＳ１は、記録または分配のために媒体５に供給される。媒体は記録および分配に適切ないかなる媒体であってもよく、例えば、ＣＤ−ＲＯＭ、レーザディスク（ＬＤ）、ビデオテープ、磁気−光（ＭＯ）記録媒体、ディジタルコンパクトカセット（ＤＣＣ）、地球又は衛星放送システム、ケーブルシステム、光ファイバ分配システム、電話システム、ＩＳＤＮシステムなどである。エンコーダ１は、ビデオ信号をピクチャーごとに圧縮および符号化する。ビデオ信号の各ピクチャーは、３つの圧縮モードで圧縮される。イントラ（intra）ピクチャー圧縮モードで圧縮されたピクチャーは、Ｉピクチャーと呼ばれる。イントラ圧縮モードでは、ピクチャーはビデオ信号の他のピクチャーを参照すること無しにそれ自体で圧縮される。符号間（inter）ピクチャー圧縮モードで圧縮されたピクチャーは、ＰピクチャーあるいはＢピクチャーと呼ばれる。Ｐピクチャーは、参照ピクチャーとしてビデオ信号においてより以前に生じたピクチャーなどの以前のＩピクチャー又はＰピクチャーを使った前方予測符号化（forward pred iction coding）を用いて圧縮される。Ｂピクチャーは、双方向予測符号化（bid irectional prediction coding）を用いて圧縮される。Ｂピクチャーの各ブロックは、以下に示すいずれか一つを参照ブロックとして用いてもよい：以前のＩピクチャー又はＰピクチャーのブロック、後のＰピクチャー又はＩピクチャー（例えば、ビデオ信号中の後に生じるピクチャー）のブロック、又は、以前のＩピクチャー又はＰピクチャーのブロックおよび後のＩピクチャー又はＰピクチャーのブロックに線型処理を行うことによって得られるブロックである。一般的に、ビデオストリームの約１５０Ｋｂｉｔｓ（ＫＢ；１Ｋｂ＝１０２４ｂｉｔｓ）は、Ｉピクチャーのために必要とされ、ビデオストリームの７５ＫｂはＰピクチャーのために必要とされ、ビデオストリームの５ＫｂはＢピクチャーのために必要とされる。ディジタルビデオおよびオーディオ処理システム１０はまた、デコーダ６を含み、このシステムはその入力信号として媒体５からビットストリームＳ５を受信する。デコーダ６は、エンコーダ１によって行われるマルチプレクスと逆のデマルチプレクスを行う。デコーダは、エンコードによる処理を補足する処理を行い、結果として得られたオーディオストリームおよびビデオストリームをデコードおよび伸張し、復元されたビデオ信号Ｓ６Ａおよび復元されたオーディオ信号Ｓ６Ｂをそれぞれ供給する。復元されたビデオ信号Ｓ６Ａおよび復元れたオーディオ信号Ｓ６Ｂは、エンコーダ１に与えられたビデオ信号Ｓ２およびオーディオ信号Ｓ３と良く一致する。図１４は、エンコーダ１およびデコーダ６によって行われる処理を定義するために用いられるシステムターゲットデコーダ（ＳＴＤ）４をも示す。実際のビデオおよびオーディオ信号処理システムでは、エンコーダは、実際のシステムターゲットデコーダを含まないが、その代わりに、システムターゲットデコーダパラメータを考慮したエンコード処理およびマルチプレクスを行う。また、実際のシステムでは、デコーダはシステムターゲットデコーダを考慮して設計されている。システムターゲットデコーダとエンコーダおよびデコーダとの関係は、図１４においてシステムターゲットデコーダ４とエンコーダ１とを内部接続するＳ４Ａが付された破線、および、システムターゲットデコーダ４とデコーダ６とを内部接続するＳ４Ｂが付された破線によって示される。システムターゲットデコーダ４は、参照ビデオデコーダ、参照オーディオデコーダおよびそれらそれぞれの入力バッファを含む。加えて、システムターゲットデコーダは、ディレクトリデコーダおよびディレクトリデコーダのための入力バッファを含む。オーディオ入力バッファのサイズ、ビデオ入力バッファのサイズ、オーディオおよびビデオデコーダの動作は、ＭＰＥＧ標準によって定義される。加えて、本発明は、ディレクトリバッファのサイズおよびディレレクトリデコーダの動作を定義して、それらをＭＰＥＧ標準によって定義された他のバッファのサイズおよび他のデコーダの動作と一致させる。前述したように、システムターゲットデコーダの概念は、後述する異なる設計のエンコーダとデコーダとの間の互換性を与える。全てのエンコーダは、システムターゲットデコーダによってうまくデコード可能で、しかもシステムターゲットデコーダの中の各入力バッファをオーバフローあるいはアンダーフローさせないビットストリームを供給するように設計される。加えて、全てのデコーダは、システムターゲットデコーダのパラメータを考慮して設計される。その結果、全てのそのようなデコーダは、システムターゲットデコーダによってデコード可能なビットストリームを生成するように設計された全てのエンコーダによって生成されたビットストリームをうまくデコード可能になる。ＳＴＤ中にディレクトリバッファおよびディレクトリデコーダを含めることにより、本発明は、付加的な見地で、エンコーダおよびデコーダ、すなわちディレクトリ情報の供給およびデコードを、相互に互換させる。図１４に示される想像上のシステムターゲットデコーダ４の構成は、以下のようである。デマルチプレクサ４１は、概念的に、エンコーダ１からビットストリームＳ１を受信する。デマルチプレクサ４１は、ビットストリームをビデオストリームＳ１Ｖ，オーディオストリームＳ１ＡおよびディレクトリストリームＳ１Ｄにデマルチプレクスする。ビデオストリームは、ビデオ入力バッファ４２に与えられ、その出力はビデオデコーダ４５に接続されている。デマルチプレクサ４１からのオーディオストリームは、オーディオ入力バッファ４３に与えられ、その出力はオーディオデコーダ４６に接続されている。デマルチプレクサ４１からのディレクトリストリームはディレクトリ入力バッファ４４に与えられ、その出力がディレクトリデコーダ４７に接続されている。図１４に示す例では、ビデオ入力バッファ４２およびオーディオ入力バッファ４３は、それぞれＭＰＥＧ標準によって定義される記録容量、すなわち、ＭＰＥＧ−１標準における４６Ｋバイトおよび４Ｋバイトを持つ。本発明によるディレクトリ入力バッファ４４は、１Ｋビットの記録容量を持ち、その結果、１０個のディレクトリエントリを持つことになる。この容量は、現在使われているディレクトリバッファの容量と同じか、それより大きい。これらの容量は、大きな記録を含むことができないプロセッサを用いて実際のデコーダ６を供給することで課せられる実際の制約を考慮して決められる。ビデオデコーダ４５は、ビデオ入力バッファ４２から、一度に１つのビデオアクセスユニットで、すなわち、ビデオ信号のピクチャーレートに相当するタイミングに１つのピクチャーで、例えばＮＴＳＣシステムでは１／２９．９４秒毎に１度で、ビデオストリームを取り出す。各ピクチャーのためのビデオ入力バッファから取り出されたビデオストリームの量は、各ピクチャーに適用される圧縮量の相違によって異なる。オーディオデコーダ４６は、オーディオストリームを、オーディオ入力バッファ４３から、予め決められたタイミングに一つのオーディオアクセスユニットで取り出す。ディレクトリデコーダ４７は、ディレクトリストリームを、ディレクトリ入力バッファから、要求されたタイミング毎に１つのディレクトリエントリで取り出す。例えば、前述した早送りモード（fast-forward mode）では、各ＧＯＰ（ピクチャーのグループ）の開始のアクセスポイントが読み取られた後に、ディレクトリデコーダは、ディレクトリ入力バッファから、次のＧＯＰの開始のアクセスポイントの位置を指示するディレクトリエントリのディレクトリストリームを取り出す。本発明によるエンコーダ１の実施例の構成が図１５に示される。エンコーダは、オーディオ信号およびビデオ信号から媒体５に与える多重化ビットストリームを生成する。エンコーダは、多重化ビットストリーム中にディレクトリ情報も含めて、プログラム選択の配置を可能にし、ピクチャーを早送り、および巻き戻し処理において表示可能にする。多重化ビットストリームでは、ディレクトリ情報の各ディレクトリパケットは、ディレクトリパケット中のディレクトリエントリが所属するビデオストリームを含むビデオパケットの前方に配置されなければならない。しかしながら、ディレクトリパケット中のディレクトリエントリは、ディレクトリパケットに続くビデオストリームから生成される。それ故、ディレクトリエントリは、ビデオ信号が多重化ビットストリーム中にエンコードおよびマルチプレクスされた後に、ディレクトリパケットに付加されるべきである。エンコーダ１は、もし媒体５が時折、ディレクトリエントリをディレクトリパケット中へ書込むことに戻ることができるようなランダムアクセス能力（ハードディスクのような）を持っていればこれを１回のパスのみで行うことができる。もし媒体５がランダムアクセス能力を持っていなければ、あるいは、媒体５が伝送媒体であれば、エンコーダは、２つのパスでディレクトリエントリを含む多重化ビットストリームを供給する。一例として、エンコーダの実施例は、配信媒体（ビデオテープまたはビデオディスクのような）が生産されるマスタテープに記録するために２つのパスで多重化ビットストリームを供給すると記述できる。エンコーダ１では、ディジタルビデオ信号Ｓ２がビデオエンコーダ２０１に与えられ、ディジタルオーディオ信号Ｓ３がオーディオエンコーダ２０２に与えられる。ビデオエンコーダ２０１およびオーディオエンコーダ２０２からのビデオストリームおよびオーディオストリームは、それぞれ、内部のバッファリング（図示されない）後に、マルチプレクス回路２０３中に与えられる。マルチプレクス回路２０３の出力は、ディジタル記録媒体（ＤＳＭ）２１０に接続されており、ここで、結果の予備的な多重化ビットストリームが一時的に記録される。マルチプレクサ２０３は、予備多重化ビットストリームを、要素ストリーム、すなわち、ビデオストリーム、オーディオストリームおよびダミーディレクトリエントリのディレクトリストリームをパケット中に、および、パケットをパック中に時間マルチプレクスすることによって組み立てる。また、マルチプレクサは、マルチプレクス層、すなわち、各パケットのためのパケットヘッダ、および各パックのためのパックヘッダを付加する。マルチプレクサ２０３は、ヘッダジェネレータ２０４からヘッダを受信し、ダミーディレクトリエントリジェネレータ２０５からダミーディレクトリエントリを受信する。また、マルチプレクサ２０３は、予備多重化ビットストリームをディレクトリエントリジェネレータ２３１に与え、それは、予備多重化ビットストリームのビットインデックスをカウントし、各ＧＯＰの開始のアクセスポイントを検出し、各アクセスポイントのためのディレクトリエントリを生成する。ディレクトリエントリジェネレータは、ディレクトリエントリをディレクトリストリーム中に組み合わせ、これを記録のためにディレクトリ記録媒体２３３に供給する。ディレクトリエントリカウンタ２３５は、システムターゲットデコーダ４中のディレクトリ入力バッファ４６の状態を追跡する。ディレクトリエントリカウンタは、マルチプレクサ２０３に与えれるダミーディレクトリエントリ２０５の出力をモニタする。マルチプレクサ２０３中に与えられた各ダミーディレクトリエントリは、ディレクトリエントリカウンタを１つずつ増加させる。ディレクトリエントリカウンタ２３５はまた、ディレクトリストリーム記録媒体２３３に与えられたディレクトリエントリジェネレータ２３１の出力をモニタする。各ディレクトリエントリは、ディレクトリエントリカウンタのカウントを１つずつ減少させる。予め設定された制限が、システムターゲットデコーダ４中のディレクトリ入力バッファ４６のサイズに従ってディレクトリエントリカウンタ２３５に適用される。ディレクトリエントリカウンタのカウントが予め設定されたレベルに達したとき、ディレクトリ入力バッファが一杯であることを示し、ディレクトリエントリカウンタは、ダミーディレクトリエントリジェネレータ２０５にバッファフル割り込みを与える。このバッファフル割り込みは、ディレクトリジェネレータがマルチプレクサ２０３にダミーディレクトリエントリを与えることを止めさせる。ディレクトリバッファが１Ｋビットの容量を持つとき、予め設定された制限は１０個のダミーディレクトリエントリに対応する。ディレクトリエントリカウント２３５のカウントがディレクトリ入力バッファ４６が空であることを示すとき、ディレクトリエントリカウンタはマルチプレクサ２０３にバッファエンプティ割り込み与え、これによって、マルチプレクサに他のダミーディレクトリパッケットを予備多重化ビットストリームにマルチプレクスさせる。エンコード処理の第２ステップの間では、ディレクトリエントリが予備多重化ビットストリームの中のダミーディレクトリエントリに書き込まれて多重化ビットストリームを供給し、ディジタル記録媒体２１０は予備多重化ビットストリームを与え、ディレクトリ記録媒体２３３はディレクトリストリームをディレクトリストリーム挿入回路２５０に与える。ディレクトリストリーム制御回路２５６は、ディジタル記録媒体２１０から読み出された予備ビットストリームを監視し、その中にディレクトリストリームが挿入されるべきディレクトリパケットの予備ビットストリーム中の位置を決定する。それが各ディレクトリパケットヘッダを検出したとき、ディレクトリストリーム制御回路はディレクトリストリーム書込制御信号をディレクトリストリーム書込回路およびディレクトリストリーム記録媒体に与える。ディレクトリストリームカウンタ２５８は、ディレクトリパケット中に書き込まれるディレクトリエントリの数を決定し、ディレクトリパケットが満杯（フル）になったときに、ディレクトリストリーム制御回路に、ディレクトリストリーム書込制御信号の状態を変化させる。ビデオエンコーダ２０１、オーディオエンコーダ２０２、マルチプレクサ２０３、ディレクトリエントリカウンタ２３５およびディレクトリストリームカウンタ２５８は、概念的にシステムターゲットデコーダ４によってデコードされたときに、システムターゲットデコーダの中の入力バッファ４２，４３および４４のいずれもをオーバーフローおよびアンダーフローさせない予備多重化ビットストリームを提供するように全て設計される。この関係は、破線Ｓ４Ａによって示される。エンコーダ１は、次のように動作する。記録の開始時に、マルチプレクサ２０３は、ヘッダジェネレータ２０４に向かって記録の開始のための全てのヘッダを受信し、これらのヘッダをＤＳＭ２１０に与える。そして、マルチプレクサは、ヘッダジェネレータから記録において、最初のパケットのためのパッケットヘッダが続いている最初のパックのためのパックヘッダを受信する。記録の最初のパケットがディレクトリパケットであることから、最初のパケットはディレクトリパケットである。そして、マルチプレクサ２０３は、ダミーディレクトリエントリジェネレータ２０５に対してダミーディレクトリエントリジェネレータからＤＳＭ２１０にダミーディレクトリエントリを与える。マルチプレクサに与えられた各ダミーディレクトリエントリは、ディレクトリエントリカウンタ２３５を１つずつ増加させる。ディレクトリエントリカウンタのカウントが、システムターゲットデコーダ４の中のディレクトリ入力バッファ４６の中に収容可能なディレクトリエントリの数に相当する予め設定された限度に達したとき、ディレクトリエントリカウンタは、バッファフル割り込みを、ダミーディレクトリエントリジェネレータ２０５に与え、これによって、ダミーディレクトリエントリジェネレータがディレクトリエントリをマルチプレクサ中に与えるのを中止する。ディレクトリパケットを、ダミーディレクトリエントリで満たされたディレクトリパケットをＤＳＭ２１０に与えた後に、マルチプレクサ２０３は、ヘッダジェネレータ２０４に向きを戻して第１ビデオパケットのパケットヘッダを受信し、それをＤＳＭ２１０に与える。そして、システムターゲットデコーダ４の中のビデオ入力バッファ４２およびオーディオ入力バッファ４３の各状態を考慮して、マルチプレクサは、さらにまた、ビデオストリームおよびオーディオストリームを共にマルチプレクスし、ＤＳＭ２１０に与えるビデオパケットおよびオーディオパケット供給する。この処理の中で、ディレクトリエントリジェネレータ２３１は、マルチプレクサ２０３からＤＳＭ２１０に与えられた予備的多重化ビットストリームをモニタし、ビットストリーム中の各アクセスポイントを検出する。アクセスポイントは、ビットストリーム中の他のアクセスニットをデコードすることを必要とすることなく、それ自体でデコードされることが可能なアクセスユニットである。例えば、ビデオアクセスポイントは、イントラ符号化を全体的にあるいは部分的に用いて圧縮されたピクチャーである。オーディオアクセスポイントは、任意のオーディオアクセスユニットである。ＭＰＥＧビットストリームでは、アクセスポイントは各ＧＯＰの始めに存在する。また、ディレクトリエントリジェネレータ２３１は、予備的多重化ビットストリームのビットインデックスをカウントする。予備的多重化ビットストリーム中のアクセスポイントを検出する度に、ディレクトリエントリジェネレータは、アクセスポイントのビットインデックスを、例えば、本実施例ではビデオカセットなどの最終的記録媒体上の相対アドレスに変換する。ディレクトリエントリジェネレータは、さらにまた、そのアクセスポイントのためのディレクトリエントリを作成し、それをディレクトリストリームのユニットとして、ディレクトリエントリ記録媒体２３３へ記録のために与える。ディレクトリエントリカウンタ２３５は、ディレクトリエントリジェネレータ２３１によって生成され、ディレクトリエントリ記録媒体２３３に与えられた各ディレクトリエントリに対してカウントを減少し、ディレクトリカウンタの状態が、システムターゲットデコーダ４のディレクトリ入力バッファ４４が空であることを示すとき、ディレクトリエントリカウンタ２３５はバッファエンプティ割り込みをマルチプレクサ２０３に供給する。バッファエンプティ割り込みは、マルチプレクサ２０３に対して、そのマルチプレクサが、そのディレクトリエントリが先行するディレクトリパケット（本実施例では、パックの始めにあるディレクトリパケット）中に記録されるアクセスポイントの全てを受信したこと、及び、それがビデオストリーム中の次のアクセスポイントの前に予備的多重化ビットストリーム中に他のディレクトリパケットを含めなければならないことを示す。従って、バッファエンプティ割り込みに応じて、マルチプレクサ２０３は、現行のビデオパケットおよびそれに続くオーディオパケットがあれば、それらを完成する。この後に、マルチプレクサはヘッダジェネレータ２０４に向かってディレクトリヘッダを受信し、それをＤＳＭ２１０に与える。マルチプレクサは、さらにまた、ダミーディレクトリエントリジェネレータ２０５に向かい、ディレクトリエントリカウンタ２３５からバッファフル割り込みを受信するまで、ＤＳＭ２１０にダミーディレクトリエントリジェネレータからのダミーディレクトリエントリを与える。マルチプレクサは、さらにまた、別のバッファエンプティ割り込みが、他のディレクトリエントリパケットが挿入されるべき旨を示すまで、さらなるビデオストリームおよびオーディオストリームのマルチプレクスを進める。その結果であるＳＭ２１０に記録された予備的多重化ビットストリームが図１６Ａに示される。全ての記録のための予備的多重化ビットストリームおよびディレクトリエントリは、それぞれディジタル記録媒体２１０およびディレクトリ記録媒体２３３に記録され、エンコーディング処理の第２のパスが実行され、予備的多重化ビットストリーム中のディレクトリパケット中のダミーディレクトリエントリが、ディレクトストリームからのディレクトリエントリで置換され、多重化ビットストリームを供給する。予備的多重化ビットストリームは、最初から、ＤＳＭ２１０から再生成され、ディレクトリストリーム挿入回路２５０中に与えられる。ディレクトリストリーム制御回路２５６は、ディレクトリヘッダのための予備的多重化ビットストリームをモニタする。ディレクトリストリーム制御回路がディレクトリヘッダを検出する度に、ディレクトリエントリ挿入信号をディレクトリヘントリ記録媒体２３３およびディレクトリストリーム挿入回路２５０に送り、ディレクトリストリームカウンタ２５８を前述した予め調節された値に初期化する。ディレクトリエントリ挿入信号に応じて、ディレクトリエントリ記録媒体２３３はディレクトリストリームをディレクトリストリーム挿入回路２５０に与える。ディレクトリストリーム挿入回路は、ディレクトリストリーム中の各ディレクトリエントリを、予備的多重化ビットストリーム中のディレクトリヘッダに続くディレクトリパケット中に置く。ディレクトリストリーム挿入回路は、予備的多重化ビットストリーム中のダミーディレクトリエントリを、ディレクトリエントリでオーバライトする。ディレクトリストリーム挿入回路は、その結果として得られた多重化ビットストリームを媒体５（図１４）に与える。ディレクトリストリームカウンタ２５８は、ディレクトリストリーム挿入回路２５０に与えられたディレクトリストリーム中のディレクトリエントリをモニタする。ディレクトリストリーム挿入回路に与えられた各ディレクトリエントリは、ディレクトリストリームカウンタを１つずつ減少する。ディレクトリストリームカウンタがゼロに達したとき、ディレクトリストリームカウンタは、パケットフル信号を、ディレクトリストリーム挿入制御回路２５６に与える。この信号に応じて、ディレクトリストリーム挿入制御回路は、ディレクトリエントリ挿入信号の状態を変化させる。これは、ディレクトリエントリ記録媒体２３３がディレクトリストリームをディレクトリストリーム挿入回路２５０に送ることを止めさせ、また、ディレクトリストリーム挿入回路が、ディレクトリストリーム制御回路が再び予備的多重化ビットストリーム中のディレクトリパケットヘッダを検出するまで、予備的多重化ビットストリームを多重化ビットストリームとして変更せずに与えるようにする。媒体５（図１４）に与えられた、結果として得られた多重化ビットストリームが図１６Ｂに示される。同じ基本回路配列は、選択的に、順送り（forward）モードに加えて、巻き戻し（rewind）モードでピクチャーを供給するために使用される。もし、同じサイズのディレクトリ入力バッファ４４がシステムターゲットデコーダ４中に用いられたとしたら、システムターゲットデコーダ４中のディレクトリ入力バッファの状態に応じたディレクトリパケットのマルチプレクスの制御の結果、ピクチャーが順送り中にのみ供給されるときよりも、予備的多重化ビットストリーム中に挿入されるディレクトリパケットの数が約２倍になる。これは、各ディレクトリパケットが、ディレクトリパケット（早送りモード用）に続くｎ／２アクセスポイントのためおよびディレクトリパケット（巻き戻しモード用）の前のｎ／２アクセスポイントのためのディレクトリエントリを保持すべきだからである。ここで、ｎはシステムターゲットデコーダ４中のディレクトリ入力バッファ４４中に記録可能なディレクトリエントリの数である。図１７は、デコーダ６の構成を示す。デコーダ６は、システムターゲットデコーダ４（図１４）のパラメータを考慮して設計され、エンコーダ１によって生成された図１６Ｂに示される多重化ビットストリームをデコードする。その結果、デコーダ６は、システムターゲットデコーダ４のそれと非常に似た構成を有する。デコーダ６は、デマルチプレクサ６１を含み、媒体５からの多重化ビットストリームＳ５を受信する。デマルチプレクサは、多重化ビットストリームをビデオストリームＳ５Ｖ，オーディオストリームＳ５Ａ及びディレクトリストリームＳ５Ｄにデマルチプレクスする。付随的に、以下に詳細に記述されるように、マルチプレクサはまた、多重化ビットストリームから、ビデオタイムスタンプおよびオーディオタイムスタンプ（図示せず）をデマルチプレクスする。デマルチプレクサ６１の出力からのビデオストリームＳ５Ｖは、ビデオデコーダ６５に先行するビデオ入力バッファ６２中に与えられる。デマルチプレクサからのオーディオストリームＳ５Ａは、オーディオデコーダ６６に先行して、オーディオ入力バッファ中に与えられる。デマルチプレクサからのディレクトリストリームＳ５Ｄは、ディレクトリデコーダ６７に先行して、ディレクトリ入力バッファ６４中に与えられる。ビデオデコーダ６５は、デコーディングのためにビデオ入力バッファ６２からのビデオストリームの各アクセスユニット、換言すればピクチャーを、アクセスユニットがビデオ入力バッファによって受信された順番に取り出す。オーディオデコーダ６６は、デコーディングのためにオーディオ入力バッファ６３からのオーディオストリームの各アクセスユニットを、アクセスユニットがオーディオ入力バッファによって受信された順番に取り出す。ディレクトリデコーダ６７は、ディレクトリ入力バッファ６４からのディレクトリストリームの各ディレクトリエントリを、ディレクトリエントリがディレクトリ入力バッファによって受信された順番に取り出す。入力バッファ６２、６３および６４は、次に詳細に記述される。完全に一致するクロックを用いて多重化ビットストリーム中にマルチプレクスされた基本ストリームをデコードするのは不可能である。この第１の理由は、前述したように、圧縮率が一定して変化するためである。この第２の理由は、媒体５からの基本ストリームの平均転送レートが、サンプリングレートクロック中のエラーによって、デコーダ６５、６６および６７のそれぞれに対しての基本ストリームの平均入力レートと異なるためである。さらに、基本ストリームは、間欠的にデマルチプレクサ６１を介して媒体５から転送され、デコーダは、それら各基本ストリームのアクセスユニットを間欠的に要求する。その結果、媒体５からの基本ストリームの瞬間の転送レートおよびそれら各デコーダ中への基本ストリームの瞬間入力レートは一致しない。それゆえ、入力バッファ６２，６３および６４は、デマルチプレクサ６１と各デコーダ６５，６６および６７との間に供給され、平均転送レートと平均入力レート、および、瞬間転送レートと瞬間入力レートにおける差分を調節する。図１８は、その上部に、媒体５からビデオ入力バッファ６２中へのマルチプレクス信号中のビデオストリームＳ５Ｖの転送の時間依存を示すビットインデックスカーブを示す。デマルチプレクサ６１が先ずディレクトリストリームをディレクトリバッファ６４中に与えるため、ビデオストリームは、先ず、ビデオ入力バッファ中に与えられない。そして、多重化ビットストリーム中の第１のビデオパケットヘッダに続いて、デマルチプレクサは、続くビデオパケット中のビデオストリームを、多重化ビットストリーム中の次のディレクトリパケットヘッダに遭遇するまで、実質的に一定のビットレートで、ビデオ入力バッファ６２中へ転送する。ディレクトリパケットヘッダに応じて、デマルチプレクサは、ディレクトリパケット中のディレクトリストリームをディレクトリ入力バッファ６４中に与えている間、ビデオストリームをビデオ入力バッファ中に与えるのを中断する。この中断の間、ビデオストリームのビットインデックスは不変のままである。ディレクトリパケットの最後において、最初に続くビデオパケットのパケットヘッダに応じて、デマルチプレクサは、多重化ビットストリーム中の他のディレクトリパケットに遭遇するまで、ビデオパケット中に含まれるビデオストリームをビデオ入力バッファ中に転送することを再度開始する。この過程は、デコーディング処理の間ずっと繰り返される。ビデオ入力バッファの出力におけるビットインデックスは、図５Ｄに示されるそれと同じである。ビデオ入力バッファ６２中へのビデオストリームの転送はまた、図４Ｃに示されるように、マルチプレクサが多重化ビットストリーム中のオーディオパケットヘッダに出くわし、続くオーディオパケット中のオーディオストリームをオーディオ入力バッファ６３中へ転送するときに、中断される。これらの中断は、ディレクトリストリームを転送することの中断より頻繁に発生するが、それらは図１８からは省略され、記述を簡略化している。図１８は、その下部において、媒体５からのマルチプレクス信号中のディレクトリストリームＳ５Ｄの、ディレクトリ入力バッファ６４中への転送の時間依存のビットインデックスカーブを示す。デマルチプレクサ６１は、多重化ビットストリームの始まりのディレクトリパケットヘッダを検出し、続くディレクトリパケット中に含まれるディレクトリアクセスユニットを媒体５からディレクトリ入力バッファ６４中に転送する。第１のディレクトリパケットに続いて、デマルチプレクサは、続くビデオパケット中のビデオストリームをビデオ入力バッファ６２中におよび続くオーディオパケット中のオーディオストリームをオーディオ入力バッファ６３中に与える間、ディレクトリストリームをディレクトリ入力バッファ中へ転送するのをやめる。そして、デマルチプレクサ６１は、多重化ビットストリーム中の次のディレクトリパケットヘッダに出くわし、ディレクトリパケットヘッダに続くディレクトリパケット中のディレクトリストリームをディレクトリ入力バッファ中へ与える。この過程は、デコーディング処理中にわたって繰り返される。図１８の下部は、ディレクトリ入力バッファ６４の出力のビットインデックスをも示す。ディレクトリ入力バッファ中へのディレクトリストリームの初期の転送は、多重化ビットストリームの初めにおいて、ディレクトリ入力バッファを容量まで満たしてしまう。そして、ビデオストリームが受信されると、ディレクトリデコーダ６７は、ディレクトリ入力バッファが空になるまで、ディレクトリ入力バッファからディレクトリエントリを１つずつ取り出す。しかしながら、多重化ビットストリームが、ディレクトリ入力バッファおよびディレクトリデコーダの処理を考慮して構築されたため、他のディレクトリパケットが多重化ビットストリーム中で次のアクセスポイントの前に現れる。その結果、次のディレクトリパケット中のディレクトリストリームが、（ａ）ディレクトリ入力バッファが空のときに、これによって、ディレクトリストリームをディレクトリ入力バッファ中に転送することでディレクトリバッファをオーバーフローさせることがない、および、（ｂ）ディレクトリデコーダが他のディレクトリエントリをディレクトリ入力バッファから取り出すことを試みる前に、これによって、ディレクトリエントリを取り除くことがディレクトリ入力バッファをアンダーフローさせることがない、ディレクトリ入力バッファに転送される。図１９は、図１８に示されるビットインデックスが、エンコーダ１（図１４）によって生成される多重化ビットストリームとどの様に関係しているかを示す。図１９では、ビットストリーム中のディレクトリパケットがディレクトリストリームのディレクトリ入力バッファ６４中への転送に実線によってリンクされ、多重化ビットストリームのビデオストリーム中のイベントがビデオ入力バッファ６２中へのビデオストリームの転送に曲がった点線によってリンクされる。また各ＧＯＰの初めにおけるアクセスポイントのビデオ入力バッファ６２への転送は、ビデオ入力バッファ６２のビットインデックス曲線とディレクトリ入力バッファ６４のビットインデックス曲線とに交差する直線破線によってディレクトリ入力バッファからのアクセスポイントのためのディレクトリエントリの取り出しがリンクされる。図２０は、本発明による改造されたシステムターゲットデコーダを用いて多重化ビットストリームのマルチプレクスを制御した結果である多重化ビットストリーム中のディレクトリパケットの合理的なサイズおよび配置のビデオテープレコーダの早送り処理における有利な効果を示す。多重化ビットストリーム中のディレクトリパケットの結果として得られたサイズは、各ディレクトリパケットが、システムターゲットデコーダのディレクトリ入力バッファ４４中に、それゆえにデコーダ６のディレクトリ入力バッファ６４中に収容可能なディレクトリエントリの数だけ含むことを保証する。多重化ビットストリーム中のディレクトリパケットの結果のサイズは、各ディレクトリパケット中に含まれるディレクトリエントリが、ディレクトリパケットに続くおよび次のディレクトリパケットの前のビデオパケット中のビデオストリーム中のアクセスポイントにのみ属することを保証する。その結果、図２０は、ビデオテープレコーダがディレクトリパケットの内容の読み出しに何度も戻る必要がない点で、図１２Ａ〜１２Ｅと相違する。図２０に示される早送り処理の間、ビデオテープレコーダは、第１に、多重化ビットストリームの初めのディレクトリパケットを読み出し、そのディレクトリストリームをディレクトリ入力バッファ６４に転送する。ディレクトリストリームは、ディレクトリ入力バッファを容量まで満たす。ディレクトリデコーダ６７は、次に、ディレクトリ入力バッファから第１のディレクトリエントリを取り出し、ビデオテープレコーダに第１のディレクトリエントリで示されるアドレスにスキップすることを命令する。そのアドレスで、ビデオテープレコーダは、０番目のＧＯＰの始めのアドレスに位置するアクセスポイントでピクチャーのビデオストリームを再生する。ピクチャーのビデオストリームは、それから、表示のためにデコードされる。ディレクトリデコーダは、次に、ディレクトリ入力バッファから第２のディレクトリエントリを取り出し、ビデオテープレコーダに第２のディレクトリエントリによって示されるアドレスにスキップすることを命令する。そのアドレスで、ビデオテープレコーダは、１番目のＧＯＰの始めのアドレスに位置するアクセスポイントでピクチャーのビデオストリームを再生する。ピクチャーのビデオストリームは、それから、表示のためにデコードされる。ここで記述した処理は、ディレクトリデコーダがディレクトリバッファから１０番目のディレクトリエントリを取り出し、９番目のＧＯＰの始めのアクセスポイントのピクチャーが再生および表示されるまで、繰り返される。ディレクトリバッファ６４は現在、空であり、もしディレクトリデコーダ６７が他のディレクトリエントリを取り出そうとしたならば、ディレクトリ入力バッファをアンダーフローさせるだろう。しかしながら、次のディレクトリパケットが次のアクセスポイントの前に置かれる。ビデオテープレコーダは、ディレクトリパケットからディレクトリストリームを再生し、それをディレクトリ入力バッファに転送する、このディレクトリ入力バッファは空であれば、ディレクトリパケット中のディレクトリストリーム全体を格納可能である。ディレクトリデコーダは、それから、ディレクトリ入力バッファから第１のディレクトリエントリを取り出し、ビデオテープレコーダに第１のディレクトリエントリによって示されるアドレスにスキップすることを命令する。そのアドレスで、ビデオテープレコーダは、１０番目のＧＯＰの始めのアドレスに位置するアクセスポイントでピクチャーのビデオストリームを再生する。ピクチャーのビデオストリームは、それから、表示のためにデコードされる。この処理は、早送り処理が止まるまで繰り返す。本発明による変形態様のエンコーダ１は、早送り処理を行う期間において、デコーダ６がエンプティディレクトリ入力バッファからディレクトリエントリを取り除くことを試みなければならない（これは、ディレクトリ入力バッファのアンダーフローに帰着する）、または、ディレクトリ入力バッファが空（エンプティ）でないときに、ディレクトリ入力バッファをディレクトリストリームで満たすことを試みなければならない（これは、ディレクトリ入力バッファのオーバーフロに帰着する）時間がないように本発明によるシステムターゲットデコーダ４を用いて多重化ビットストリームにおけるディレクトリパケットの大きさを決め、配置する。図２１は本発明によるデジタルビデオ・オーディオ信号処理システム１０Ａの第２実施例を示しており、このシステムにおいては、タイムスタンプバッファとタイムスタンプデコーダが、本発明による変形したシステムターゲットデコーダ４Ａに、オーディオタイムスタンプとビデオタイムスタンプの各々に対して設けられている。本発明による変形したシステムターゲットデコーダ４Ａを用いることにより、エンコーダ１Ａは、システムビデオストリームのバッファリング遅延、および、その他のエンコードパラメータを最適化することができ、その結果、１パスシステムにおいてデコードバッファリング遅延を実用的な程度に低く維持する一方で、要求されたビデオビットレートで可能な限り最高の画質を満足するビットストリームを発生する。図２１に示されるシステムにおいて、エンコーダ１Ａはビデオ信号Ｓ２をビデオ信号記録媒体２から受け取り、オーディオ信号Ｓ３をオーディオ信号記録媒体３から受け取る。オーディオ信号Ｓ３は、一方で（そして、より一般的には）、独立したオーディオ記録媒体からの代わりにビデオ信号記録媒体２からも受け取られる。エンコーダ１Ａはビデオおよびオーディオ信号を圧縮し符号化し、その結果のオーディオストリームとビデオストリームをマルチプレクスし、多重化ビットストリームＳ１Ａを提供し、それは記録または配信のために媒体５に供給される。その媒体はデジタルビットストリームを蓄積または配信するために適した任意の媒体でよく、たとえば、ＣＤ−ＲＯＭ、レーザーディスク（ＬＤ）、ビデオテープ、光磁気（ＭＯ）記録媒体、ディジタルコンパクトカセット（ＤＣＣ）、地上または衛星放送システム、ケーブルシステム、光ファイバ配信システム、電話システム、ＩＳＤＮシステムなどでよい。エンコーダ１Ａはビデオ信号をピクチャーごとに圧縮し符号化する。ビデオ信号の各ピクチャーは前述したＩピクチャー、ＰピクチャーまたはＢピクチャーとして圧縮される。デジタルビデオおよびオーディオ処理システム１０Ａはデコーダ６Ａも含み、そのデコーダ６Ａはその入力信号としてビットストリームＳ５Ａを媒体５から受け取る。デコーダ６Ａはエンコーダ１Ａにより実行されたマルチプレクスの逆のデマルチプレクスを実行する。そのデコーダは、エンコーダ１Ａにより実行された処理と補完的な処理を実行し、その結果のオーディオストリームとビデオストリームを復号し、復元されたビデオ信号Ｓ６Ａと復元されたオーディオ信号Ｓ６Ｂを供給する。復元されたビデオ信号Ｓ６Ａと復元されたオーディオ信号Ｓ６Ｂは各々エンコーダ１Ａに供給されたビデオ信号Ｓ２とオーディオ信号Ｓ３と非常によく一致する。図２１はまたエンコーダ１Ａとデコーダ６Ａの処理の特性を定義されていたシステムターゲットデコーダ（ＳＴＤ）４Ａを示す。実際のビデオおよびオーディオ信号処理システムにおいては、エンコーダは実際のシステムターゲットデコーダを含まないが、しかしその代わりに、エンコード処理とマルチプレクスを、システムターゲットデコーダのパラメータを考慮にいれて実行する。実用的なデコーダもまた、ハードウエアコストなどを最小化するためにシステムターゲットデコーダのパラメータを考慮にいれ設計される。これらのシステムターゲットデコーダとエンコーダとデコーダの間の関係は、図２１に、システムターゲットデコーダ４Ａとエンコーダ１Ａを相互接続するＳ４Ａと付された破線と、システムターゲットデコーダ４Ａとデコーダ６Ａとを相互接続するＳ４Ｂと付された破線によって示される。システムターゲットデコーダ４はリファレンスビデオデコーダ４５、リファレンスオーディオデコーダ４６、および、それら各々の入力バッファ４２，４３を含む。加えて、システムターゲットデコーダは、ビデオタイムスタンプ処理モジュール５５、オーディオタイムスタンプ処理モジュール５６、および、それら各々の入力バッファ５２，５３を含む。オーディオ入力バッファのサイズ、ビデオ入力バッファのサイズ、および、オーディオおよびビデオデコーダの処理は前述したＭＰＥＧ標準により定義される。加えて、本発明はビデオタイムスタンプバッファおよびオーディオタイムスタンプバッファのサイズと、タイムスタンプの符号化周波数を定義する。タイムスタンプバッファのサイズおよびタイムスタンプ符号化周波数は、その他の入力バッファの利用を最適化するように定義される。前述したように、本発明による変形したシステムターゲットデコーダの概念は、ただオーディオおよびビデオストリームに関してだけでなく、オーディオおよびビデオタイムスタンプバッファリングに関してもまた、異なる設計のエンコーダとデコーダとの間で互換性を提供することにある。特に、本発明による変形したシステムターゲットデコーダは、バッファリング遅延の最大値を課す必要性なしに、この互換性を提供する。これは、ＭＰＥＧ標準の範囲が低ビットレートのビデオスライドショーなどの用途を包含するように拡大されることを可能にする。図２１中に示されている仮想のシステムターゲットデコーダ４Ａの構造は次の通りである。デマルチプレクサ４１Ａは概念上エンコーダ１ＡからのビットストリームＳ１Ａを受け取る。そのデマルチプレクサ４１Ａはそのビットストリームを、ビデオストリームＳ１Ｖ、オーディオストリームＳ１Ａ、ビデオタイムスタンプＶＴＳ、および、オーディオタイムスタンプＡＴＳにデマルチプレクスする。ビデオストリームＳ１Ｖはビデオ入力バッファ４２に供給され、そのビデオ入力バッファ４２の出力はビデオデコーダ４５に接続されている。デマルチプレクサ４１Ａからのオーディオストリームはオーディオ入力バッファ４３に供給され、そのオーディオ入力バッファ４３の出力はオーディオデコーダ４６に接続されている。デマルチプレクサ４１Ａからのビデオタイムスタンプはビデオタイムスタンプバッファ５２に供給され、そのビデオタイムスタンプバッファ５２の出力はビデオタイムスタンプ処理モジュール５５に接続されている。そのビデオタイムスタンプ処理モジュールは、ビデオデコーダ４５によるビデオストリームのデコードのタイミングを制御する。デマルチプレクサ４１Ａからのオーディオタイムスタンプはオーディオタイムスタンプ入力バッファ５３に供給され、そのオーディオタイムスタンプ入力バッファ５３の出力はオーディオタイムスタンプ処理モジュール５６に接続されている。オーディオタイムスタンプ処理モジュールはオーディオデコーダ４６によるオーディオストリームのデコードのタイミングを制御する。図２１に示した例においては、ビデオ入力バッファ４２とオーディオ入力バッファ４３はＭＰＥＧ標準により定義された、つまり、ＭＰＥＧ１標準であれば４６Ｋバイトおよび４Ｋバイトの、それぞれの記録容量を持っている。これらの容量は、コストの制約のために大容量の記録領域が持てないプロセッサを使用してデコーダ６Ａを提供することにより課せられる実際の制限を考慮してセットされる。ビデオデコーダ４５はビデオストリームをビデオ入力バッファ４２から、一度に１ビデオアクセスユニット、換言すれば一度に１ピクチャーを、ビデオタイムスタンプおよびビデオ信号のピクチャーレートに対応するタイミング、たとえばＮＴＳＣシステムであれば１／２９．９４秒ごとに１回のタイミングで取り出す。各ピクチャーに対してビデオ入力バッファから取り出されるビデオストリームの量は、それぞれのピクチャーに適用された圧縮量の差異のために変化する。オーディオデコーダ４６は、オーディオストリームを、オーディオ入力バッファ４３から、一度に１オーディオアクセスユニット、オーディオタイムスタンプおよび予め決定されたタイミングに対応するタイミングで取り出す。エンコーダ１Ａの構造は図２２Ａに示されている。ビデオ信号Ｓ２のアクセスユニットはビデオエンコーダ２０１Ａの入力に供給され、ビデオエンコーダ２０１Ａはビデオ信号の各アクセスユニット、換言すれば各ピクチャーを圧縮する。その結果のビデオストリームのアクセスユニットはビデオエンコーダの出力からビデオ出力バッファ３００の入力に供給され、そこでそれらは一時的に記憶される。ビデオ出力バッファの出力からのビデオストリームはマルチプレクサ２０３Ａに供給される。ビデオ出力バッファからビデオエンコーダへのフィードバックは、ビデオエンコーダの出力がビデオ出力バッファをオーバフローさせるのを防ぐ。オーディオ信号Ｓ３はオーディオエンコーダ２０２Ａの入力に供給され、オーディオエンコーダ２０２Ａはそれを圧縮する。その結果のオーディオアクセスユニットはオーディオエンコーダの出力からオーディオ出力バッファ３０２の入力へ供給され、そこでそれらは一時的に記憶される。オーディオ出力バッファの出力からのオーディオストリームはマルチプレクサ２０３Ａに供給される。オーディオ出力バッファからオーディオエンコーダへのフィードバックは、オーディオエンコーダの出力がオーディオ出力バッファをオーバフローさせるのを防ぐ。エンコーダ１Ａはまたクロック信号発生回路３０５を包含する。ＭＰＥＧ１システムにおいては、クロック信号発生回路の周波数は９０ｋＨｚ、ＭＰＥＧ２システムにおいてはその周波数は２７ＭＨｚである。クロック信号発生回路の出力はクロックカウンタ３０７に供給され、クロックカウンタ３０７の出力はクロックリファレンス信号を提供する。クロックリファレンス信号はクロック信号の各サイクルに１づつ増加される値を持つ。クロックリファレンス信号はヘッダ発生回路２０４に接続される。ＭＰＥＧ２標準においては、クロックカウンタ３０７もＭＰＥＧ２クロック信号を３００に分割し、９０ｋＨｚのレートで１づつ増加される値を持つタイムスタンプクロックリファレンス信号を供給する。クロックカウンタは、タイムスタンプクロックリファレンス信号をビデオデコードタイムスタンプ発生回路３０９、ビデオプレゼンテーションタイムスタンプ発生回路３１１、および、オーディオプレゼンテーションタイムスタンプ発生回路３１３に供給する。ＭＰＥＧ１においては、クロックカウンタ３０７は、クロックリファレンス信号をビデオデコードタイムスタンプ発生回路３０９、ビデオプレゼンテーションタイムスタップ発生回路３１１、および、オーディオプレゼンテーションタイムスタンプ発生回路３１３に、タイムスタンプクロックリファレンス信号として供給する。ビデオ入力信号S２は、ビデオプレゼンテーションタイムスタンプ発生回路３１１の入力にも供給される。ビデオプレゼンテーションタイムスタンプ発生回路は、ビデオ入力信号およびタイムスタンプクロックレファレンス信号の各ピクチャーに応答して、プレセンテーションタイムスタンプ（ＰＴＳ）を発生する。プレンゼンテーションタイムスタンプは、タイムスタンプ並べ替えバッファ３０４を経てビデオタイムスタンプバッファ３０１に供給される。各ビデオプレゼンテーションタイムスタンプは、ビデオエンコーダがビデオ入力信号のピクチャーの開始を受け取った時点のタイムスタンプクロックリファレンス信号の値である。タイムスタンプ並べ替えバッファ３０４は、並べ替えフラグ信号を、ビデオエンコーダ２０１Ａから各回の後半に受け取り、ビデオ入力信号Ｓ２を圧縮している間に、ビデオ入力信号Ｓ２のアクセスユニットの順序に関係させてビデオストリームのアクセスユニットの順序を変える。並べ替えフラグ信号に応じて、タイムスタンプ並べ替えバッファは、ビデオプレゼンテーションタイムスタンプ発生回路３１１により発生されたプレゼンテーションタイムスタンプの順序を、ビデオエンコーダがビデオ出力バッファ３００に供給するビデオストリームのアクセスユニットの順序に適合するように変える。ビデオエンコーダ２０１Ａは、フラグ信号を、ビデオデコードタイムスタンプ発生回路３０９の入力に、それがビデオ出力バッファ３００へビデオストリームのアクセスユニットのスタートを供給するのと同じ時点で、供給する。各フラグ信号およびタイムスタンプクロックリファレンス信号に応じて、ビデオデコードタイムスタンプ発生回路は、ビデオデコードタイムスタンプ（ビデオＤＴＳ）を発生し、そのビデオＤＴＳをビデオタイムスタンプバッファ３０１に供給する。ビデオデコードタイムスタンプは、エンコーダがビデオ入力バッファへのビデオストリームのアクセスユニットの開始を与えたことをフラグ信号が示した時点のタイムスタンプクロックリファレンス信号の値である。ビデオタイムスタンプバッファ３０１は、ビデオタイムスタンプを一時的に記憶する。ビデオタイムスタンプバッファはまた、ビデオエンコーダ２０１Ａからのポインタを受け取り記憶し、受け取った各ビデオタイムスタンプを、ビデオ出力バッファ３００に記憶された各ビデオアクセスユニットのピクチャーヘッダに関連付けることを可能にする。ビデオタイムスタンプバッファは、その後、ビデオタイムスタンプをマルチプレクサ２０３Ａに供給する。ビデオデコードタイムスタンプは、マルチプレクサに加算回路３１９を経て供給され、その加算回路でそれらは選択ビデオバッファリング遅延値（後により詳細に記述される）増加される。ビデオプレゼンテーションタイムスタンプＰＴＳは、マルチプレクサに加算回路３２１を経て供給され、その加算機でそれらは全ビデオ遅延（後に記述される）の値増加される。マルチプレクサは、ビデオタイムスタンプを、システムターゲットデコーダ４Ａのビデオタイムスタンプバッファ４２の占有により選択的に、多重化ビットストリームのビデオパケットのパケットヘッダに加える。オーディオエンコーダ２０２Ａは、オーディオ出力バッファ３０２へオーディオストリームの各アクセスユニットの開始を供給するのと同時に、フラグ信号をオーディオプレゼンテーションタイムスタンプ発生回路３１３の入力に供給する。このフラグ信号とタイムスタンプクロックリファレンス信号に応答して、オーディオプレゼンテーションタイムスタンプ発生回路はオーディオプレゼンテーションタイムスタンプを発生し、それをオーディオタイムスタンプバッファ３０３に供給する。各オーディオプレゼンテーションタイムスタンプは、オーディオエンコーダがオーディオストリームのアクセスユニットをオーディオ入力バッファに供給したことをフラグ信号が示した瞬間のタイムスタンプクロックリファレンス信号の値である。オーディオタイムスタンブバッファ３０２は、オーディオプレゼンテーションタイムスタンプを一時的に記憶する。オーディオタイムスタンプバッファはまた、オーディオエンコーダ２０２Ａからのポインタを受け取り、受け取った各オーディオタイムスタンプを、オーディオ出力バッファ３０２に記憶されている各オーディオアクセスユニットのヘッダのアドレスに関連付けことを可能にする。オーディオタイムスタンプバッファ３０３は、その後、オーディオプレゼンテーションタイムスタンプをマルチプレクサ２０３Ａに供給する。そのマルチプレクサは、システムターゲットデコーダ４Ａのオーディオタイムスタンプバッファ４３の占有により選択的に、オーディオタイムスタンプを、多重化ビットストリームのオーディオパケットのパケットヘッダに加える。ビデオ出力バッファ３００、ビデオタイムスタンプバッファ３０１、オーディオ出力バッファ３０２、オーディオタイムスタンプバッファ３０３、および、タイムスタンプ並べ替えバッファ３０４は全て先入れ先出し（ＦＩＦＯ）バッファである。タイムスタンプ発生回路３０９，３１１および３１３は、それら各々のビデオおよびオーディオタイムスタンプバッファ３０１および３０２に統合化されてもよい。さらに、シングルクロックリファレンス信号が使用されることも可能であり、タイムスタンプ発生回路においてタイムスタンプクロックリファレンス信号を提供するために３００分割されることも可能である。ヘッダ発生回路２０４は、マルチプレクス層の種々のヘッダ、換言すればパックヘッダおよび種々のパケットヘッダを発生する。ヘッダ発生回路はクロックリファレンスをクロックカウンタ３０７から受け取り、ヘッダをマルチプレクサ２０３Ａに供給する。図２３は、エンコード／デコードシステム１０Ａのデコーダ６Ａの構造を示す。デコーダ６Ａは、システムターゲットデコーダ４Ａ（図２１）のパラメータを考慮して設計され、エンコーダ１Ａにより生成された多重化ビットストリームをデコードする。その結果、デコーダ６Ａは、システムターゲットデコーダ４Ａの構造と非常に似た構造を持つ。デコーダ６Ａは、デマルチプレクサ６１Ａを含み、デマルチプレクサ６１Ａは多重化ビットストリームＳ５を媒体５から受け取る。そのデマルチプレクサは、多重化ビットストリームをビデオストリームＳ５Ｖ、オーディオストリームＳ５Ａ、ビデオタイムスタンプＳ５ＴＶ，および、オーディオタイムスタンプＳ５ＴＡにデマルチプレクスする。デマルチプレクサ６１の出力からのビデオストリームＳ５Ａはビデオ入力バッファ６２に供給され、ビデオ入力バッファ６２はビデオデコーダ６５よりも先行する。デマルチプレクサからのオーディオストリームＳ５Ａはオーディオ入力バッファ６３に供給され、オーディオ入力バッファ６３はオーディオデコーダ６６より先行する。デマルチプレクサからのビデオタイムスタンプＳ５ＴＶはビデオタイムスタンプバッファ７２に供給される。ビデオタイムスタンプは、ビデオタイムスタンプバッファからビデオタイムスタンプ処理モジュール７５に読み出され、ビデオデコーダ６５によるビデオストリームＳ５Ｖのビデオアクセスユニットのデコードのタイミングを制御する。デマルチプレクサからのオーディオタイムスタンプＳ５ＴＡは、オーディオタイムスタンプバッファ７３に供給される。オーディオタイムスタンプは、オーディオタイムスタンプバッファからオーディオタイムスタンプ処理モジュール７６に読み出され、オーディオデコーダ６６によるオーディオストリームＳ５Ａのオーディオアクセスユニットのデコードのタイミングを制御する。ビデオデコーダ６５はデコードのために、ビデオストリームの各アクセスユニット、換言すればピクチャーをビデオ入力バッファ６２からビデオ入力バッファによって受け取られたアクセスユニットの順番で取り出す。オーディオデコーダ６６はデコードのために、オーディオストリームの各アクセスユニットをオーディオ入力バッファ６３からオーディオ入力バッファによって受け取られたアクセスユニットの順番で取り出す。前述したエンコードおよびデコードシステム１０Ａの処理がこれより記述される。もし、静止画がエンコードされるなら、ＭＰＥＧ２標準は次のことを要求する。 −各静止画は、どれくらいの期間そのピクチャーが表示されるかを決定する関係付けられたタイムスタンプを持つ。 −各静止画は、少なくとも２ピクチャー期間の間表示される。その結果、最大静止画レートは、たとえば、ＰＡＬ表示装置であれば２５Ｈｚ／２＝１２．５０Ｈｚ、ＮＴＳＣ表示装置であれば２９．９７Ｈｚ／２＝１４．９９Ｈｚである。 −静止画ビデオはＩピクチャーだけからなる。その結果、エンコーダからビットストリームを受け取るデコーダは、正しいタイミングの静止画ビデオビットストリームを再構成するために、全てのビデオタイムスタンプをバッファし、使用しなければならない。本発明による実際のデコーディングシステムにおいては、独立したビデオタイムスタンプバッファがこの目的のために使用されている。比較的小さいタイムスタンプバッファがこの目的のために使用されるのを許すため、および、そのようなタイムスタンプバッファが決してオーバーフローしないことを保証するために、本発明によるシステムターゲットデコーダも、エンコードシステムの特定のパラメータに影響を及ぼすビデオタイムスタンプバッファ（または、機能的に同等なパラメータの制約）を有する。図２２Ｂ中に示す回路配置を用い、図２２Ａに示される１パスエンコーダは、通常のフルモーションビデオ信号をエンコードすることができるのに加えて、このモデルの制限に従うような形態にすることができる。図２２Ａおよび２２Ｂを参照すると、ＳＴＤビデオタイムスタンプバッファの制限に従うために、エンコーダ１Ａはまず、ブロック３５１で、ＳＴＤビデオタイムスタンプバッファ５２がオーバーフローするのを防ぐＳＴＤビデオストリームバッファリング遅延を決定する。この値は有効遅延と呼ばれる。有効遅延＝ＳＴＤタイムスタンプバッファ５２の大きさ／タイムスタンプ符号化周波数比較的低ビデオビットレートのシステムにおいては（たとえば、多数の静止画用途における）、有効遅延の値よりも長いバッファリング遅延が最適な画質のために必要である。したがって、そのようなシステム中では、タイムスタンプ符合化周波数は（ＭＰＥＧ２標準により静止画ビデオに対して許される程度で）可能な限り小さくされる。同期されたエンコードシステムを用いることはこの目的の達成を助ける。その代わりに、システムターゲットデコーダのビデオタイムスタンプバッファ５２の大きさは、より長い遅延を提供するために増加させられるかもしれない。その他の選択としては、タイムスタンプ符号化周波数が小さくされ、ＳＴＤビデオタイムスタンプバッファのサイズが増加させられるの両方である。たとえば、たとえば５０Ｈｚの表示装置を使う静止画ビデオのためには、エンコーダはタイムスタンプ符号化周波数ｔｓｃｆをこの式を使って計算する：ｔｓｃｆ＝１２．５／Ｎ（Ｎは正の整数）ＭＰＥＧ２標準は、一つのタイムスタンプは各静止画に対して提供されることを要求しているため、静止画ビデオを表わすビットストリームを発生するために使われる時には、ビデオエンコーダ２０１Ａは、もしタイムスタンプ符号化周波数が小さくされているならば、Ｉピクチャーも圧縮されたレート、換言すれば１２．５／ＮＨｚのレートで発生する。Ｎの値はエンコーダのオペレータによりセットされる。ブロック３５３は、ＳＴＤビデオ入力バッファ４２の大きさを使用してワーストケース（換言すれば、可能な最大の）のピクチャーを発生するために必要とされるビデオストリームバッファリング遅延を決定する。この値は大画像遅延と呼ばれる。大画像遅延＝ＳＴＤビデオ入力バッファ４２のサイズ／ビデオストリームのビットレート実際には、ビデオビットストリームを全てのデコーダに対して”安全”にするためには、エンコーダ１Ａは、上式中のシステムターゲットデコーダビデオ入力バッファ４２の実際の大きさよりも小さな値を使うようにする。大画像遅延の値は、ビデオビットレートが比較的低いシステム中においては容易に１秒より長くできる。ブロック３５７は、大画像遅延と有効遅延を比較し、選択されたデコーダビデオバッファリング遅延（選択ビデオバッファリング遅延）の値を決定する。もし、大画像遅延＝＜有効遅延ならば、エンコードシステムは、選択ビデオバファリング遅延の値を大画像遅延にセットする。いくつかの用途においては、大画像遅延は有効遅延よりも大きい。この場合には、全てのＳＴＤ制限を満足するために、エンコーダは選択ビデオバッファリング遅延の値を有効遅延の値と等しくセットする。選択されたバッファリング遅延の値は加算回路３１９およびブロック３６３に供給される。ブロック３５９は、ビデオ出力バッファ３００に要求されるビデオ出力バッファサイズのメモリ量を計算する。ビデオ出力バッファサイズのメモリ量は、選択ビデオバッファリング遅延と利用できるビデオビットレートを使って次のように計算される。ビデオ出力バッファサイズ（バイト）＝選択ビデオバッファリング遅延＊利用できるビデオビットレート／８ブロック３５９は、ビデオ出力バッファサイズの値をビデオ出力バッファ３００に供給する。ブロック３６１は、ビデオタイムスタンプバッファ３０１に要求されるビデオタイムスタンプバッファサイズのメモリ量を計算する。要求されるメモリ量は、下式で与えられるプレゼンテーションタイムスタンプ（ＰＴＳ）およびデコードタイムスタンプ（ＤＴＳ）の数を維持する量である。選択ビデオバッファリング遅延＊タイムスタンプ符号化周波数ブロック３６１は、ビデオタイムスタンプバッファサイズの値を、ビデオタイスタンプバッファ３０１へ供給する。ブロック３６３、３６５および３６７において、エンコーダは、全体のビデオ遅延およびオーディオデコーダバッファリング遅延から、オーディオエンコーダバッファリング遅延（そのオーディオエンコーダバッファリング遅延からオーディオ出力バッファサイズおよびオーディオタイムスタンプバッファサイズが計算される）を計算する。オーディオとビデオの間の端から端までの同期を達成するために、エンコーダとデコーダを通過するビデオストリームおよびオーディオストリームの端から端までの遅延は、図２４Ｂに示されるように等しくなければならない。図２４Ａは、端から端までのシステム遅延の成分、ビデオストリームの全ビデオ遅延を示し、その全ビデオ遅延はブロック３６３で計算される。この遅延は全ビデオ遅延と呼ばれる。全ビデオ遅延＝選択ビデオバッファリング遅延十選択ビデオ並べ替え遅延選択ビデオ並べ替え遅延（ＳＶＲＤ）の値、それも画質に影響を与えるが、その値は通常１つあるいはそれ以上のピクチャー期間である。選択ビデオ並べ替え遅延は２つの構成成分、すなわち、ビデオエンコーダ並べ替え遅延（ｖｅｒｄ）とビデオデコーダ並べ替え遅延（ｖｄｒｄ）の合計である。この例では、ｖｅｒｄはゼロであると仮定され、ｖｄｒｄは１つのピクチャー期間にセットされる。その結果、選択ビデオ並べ替え遅延は１つのピクチャー期間である。選択ビデオバッファリング遅延も、２つの構成成分、すなわち、ビデオエンコーダバッファリング遅延（ｖｅｂｄ）と、ビデオデコーダバッファリング遅延（ｖｄｂｄ）の合計である。ブロック３６３により計算される全ビデオ遅延の値は、加算回路３２１および３２３、および、ブロック３６７に供給される。システムターゲットデコーダ４Ａのオーディオ入力バッファ４３は比較的小さく、オーディオデコーダ４６は比較的に一定レートでオーディオ入力バッファからオーディオストリームを取り出す。その上に、オーディオアクセスユニットは並べ替えられない。ブロック３６５は、ＳＴＤのオーディオストリームのオーディオデコーダバッファリング遅延（ＡＤＢＤ）を以下のように計算する。オーディオデコーダバッファリング遅延＝ＳＴＤオーディオ入力バッファ４３の大きさ／オーディオビットレート実際に、オーディオビットストリームを全てのデコーダに対して”安全”にするためには、エンコーダは、前記式のシステムターゲットデコーダオーディオ入力バッファ４３の実際に大きさよりも小さい値を使うのがよい。オーディオデコーダバファリング遅延は、全ビデオ遅延と比較して小さい。その結果、ブロック３６５により計算されたオーディオデコーダバッファリング遅延（ａｄｂｄ）は、通常比較的短い。オーディオとビデオの間の要求されている端から端までの同期を提供するために、全ビデオ遅延を短くすることは、要求される画質のために、通常可能ではない。したがって、ブロック３６７は、全ビデオ遅延とオーディオデコーダバッファリング遅延から、全オーディオ遅延を全ビデオ遅延に一致させるのに十分大きなオーディオエンコーダバッファ遅延（ａｅｂｄ）の値を、図２４Ｂに示すように、計算する。ブロック３６７により計算されたオーディオエンコーダバッファリング遅延ａｅｂｄを提供するために、ブロック３６９は、オーディオ出力バッファ３０２に要求されるオーディオ出力バッファサイズのメモリ量を以下のように計算する：オーディオ出力バッファサイズ（バイト）＝オーディオエンコーダバッファリング遅延＊オーディオビットレート／８ブロック３６９は、オーディオ出力バッファサイズの値をオーディオ出力バッファ３０２に供給する。ブロック３７１は、オーディオタイムスタンプバッファ３０３に要求される（タイムスタンプの中の）オーディオタイムスタンプバッファサイズのメモリ量を以下のように計算する：オーディオタイムスタンプバッファサイズ（タイムスタンプ）＝オーディオエンコーダバッファリング遅延＊オーディオアクセスユニットレートブロック３７１は、オーディオタイムスタンプバッファの値をオーディオタイムスタンプバッファ３０３に供給する。前記エンコーダセットアップ手続きは、低ビットレート用途に関して記述された。同様の手続きは、通常のフルモーションビデオ、あるいは、プロフェッショナル用のビデオ用途のような、非常に短いバッファリング遅延（たとえば、約０．２秒）が要求される用途に対するエンコーダ１Ａのセットアップに使用されることが可能である。図２２Ａに戻って、エンコーダが丁度記述したパラメータを計算し、これらのパラメータをビデオ出力バッファ３００、ビデオタイムスタンプバッファ３０１、オーディオ出力バッファ３０２、オーディオタイムスタンプバッファ３０３、および、加算回路３１９，３２１および３２３のセットアップに使用した後、エンコーダは、これらのパラメータにより機能し、ビデオ入力信号Ｓ２およびオーディオ入力信号S３に以下のようにエンコードする。ビデオエンコーダ２０１Ａおよびオーディオエンコーダ２０２Ａは、それらのそれぞれの入力信号のエンコードを同時に開始する。一旦エンコード処理がスタートしたら、各入力信号Ｓ２およびＳ３の終了まで、ビデオエンコーダ２０１Ａはビデオアクセスユニットを選択されたピクチャーレートで発生し、それらをビデオ出力バッファ３００に供給し、オーディオエンコーダ２０２Ａはオーディオアクセスユニット（ＡＡＵ）を、選択されたオーディオサンプリングレートおよびＡＡＵ当たりのサンプル数に従って発生し、それらをオーディオ出力バッファ３０２に供給する。ビデオエンコーダ２０１Ａは、ビデオ出力バッファ３００のオーバーフローを防ぐレート制御機構（ビデオ出力バッファとビデオエンコーダを接続するパスにより示される）を有する。前述したように、ビデオ出力バッファサイズの値によりその大きさがセットされたビデオ出力バッファのオーバーフローを防ぐことにより、ビデオエンコーダ２０１Ａは、多重化ビットストリームＳ１Ａを、システムターゲットデコーダ４Ａにより課せられた制限に従わせるのに必要な処理の１つを実行する。エンコードプロセスの間、クロックカウンタ３０７からの３３ビットクロックリファレンス信号は、ＭＰＥＧ１システムにおける９０ｋＨｚのレート、あるいは、ＭＰＥＧ２システムにおける２７ＭＨｚのレートで、連続的に増加する。そしてまた、ＭＰＥＧ２システムにおいては、３３ビットタイムスタンプクロックリファレンス信号が９０ｋＨｚのレートで増加する。ビデオ入力信号S２のアクセスユニットの開始がビデオエンコーダ２０１Ａに到着する各時間、ビデオＰＴＳ発生回路３１１は、クロックカウンタ３０７からのビデオプレゼンテーションタイムスタンプ（ＰＴＳ）としてのタイムスタンプクロックリファレンス信号の値を決定する。ビデオＰＴＳ発生回路は、そのＰＴＳを、タイムスタンプ並べ替えバッファ３０４に供給し、そこで、それは一時的に記憶される。そのＰＴＳは、たとえばビデオエンコーダから受け取ったポインタにより、並べ替えバッファ内の対応するビデオアクセスユニットのピクチャーヘッダのアドレスに関連付けられる。もし、ビデオ入力信号をエンコードする時に、ビデオエンコーダーがビデオ入力信号Ｓ２のビデオアクセスユニットを並べ替えると、ビデオエンコーダは並べ替えフラグをタイムスタンプ並べ替えバッファに供給する。その並べ替えフラグに対する応答として、タイムスタンプ並べ替えバッファは、そのアクセスユニットに帰属するようにそのＰＴＳを並べ替える。換言すれば、タイムスタンプ並べ替えバッファは、そのＰＴＳを、それらのタイムスタンプ並べ替えバッファ３０４の出力時でのそれらの順番がビデオエンコーダ２０１Ａの出力時のビデオアクセスユニットの順番と同じになるように並べ替える。タイムスタンプ並べ替え回路は、ビデオプレゼンテーションタイムスタンプをビデオタイムスタンプバッファ３０１に供給する。ビデオエンコーダ２０１Ａが、ビデオストリームのアクセスユニットをビデオ出力バッファ３００に供給するごとに、ビデオＤＴＳ発生回路３０９は、クロックカウンタ３０７からの、ビデオアクセスユニットのビデオデコーディングタイムスタンプ（ビデオＤＴＳ）としての、タイムスタンプクロックリファレンス信号の値を決定する。ビデオＤＴＳ発生回路は、そのビデオＤＴＳをビデオタイムスタンプバッファ３０１に供給し、そこでそれはタイムスタンプ並べ替えバッファ３０４からのＰＴＳと一緒に記憶される。ビデオタイムスタンプと一緒に、ビデオ出力バッファも、そのタイムスタンプが帰属するビデオアクセスユニットのピクチャーヘッダのビデオ出力バッファ３００中でのアドレスを示すポインタを、ビデオエンコーダ２０１Ａから受け取り記憶する。オーディオエンコーダ２０２Ａが、オーディオストリームのアクセスユニットをオーディオ出力バッファ３０２に供給するごとに、オーディオＰＴＳ発生回路３１３は、クロックカウンタ３０７からの、オーディオアクセスユニットのオーディオプレゼンテーションタイムスタンプ（オーディオＰＴＳ）としてのタイムスタンプクロックリファレンス信号の値を決定する。オーディオＰＴＳはオーディオ出力バッファ３０３に記憶され、そのオーディオタイムスタンプが帰属するアクセスユニットのヘッダのオーディオ出力バッファ３０２中でのアドレスを示すポインタと合わせられる。正しいタイムスタンプ値を発生するために、ピクチャー並べ替え遅延を除いて、ビデオエンコーダ２０１Ａおよびオーディオエンコーダ２０１Ａは理論上、即座に、遅延無しでアクセスユニットを作り出す。その結果、あるピクチャーに対して、タイムスタンプバッファに記憶されたビデオＰＴＳとビデオＤＴＳは、厳密に同じ値を有する。現実のハードウェア上の手段は遅延を伴って処理するために、タイムスタンプが発生された時に、これらの遅延は考慮されなければならない。たとえば、タイムスタンプ発生器３０９，３１１および３１３は、付加的に増加されたタイムスタンプ値を提供することができ、これにより実際の処理の遅延を考慮する。ビデオストリームの開始がビデオ出力バッファ３００に入ったとき、ヘッダ発生回路２０４はヘッダを発生し、マルチプレクサ２０３Ａに供給する。ヘッダ発生回路はクロックリファレンス信号をクロックカウンタ３０７から受け取り、ヘッダのクロックリファレンスフィールド中に、ビデオストリームの先頭がビデオ出力バッファに入った瞬間のクロックリファレンス信号の値を含める。次に、ヘッダ発生回路２０４は、多重化ビットストリームの最初のビデオパケットに対するビデオパケットヘッダを発生し、そのビデオパケットヘッダをマルチプレクサ２０３Ａに供給する。そのビデオパケットヘッダは、そのビデオパケットヘッダに続くビデオストリームのバイト数に依存する値の、長さフィールドを有する。そのビデオパケットの長さは用途とマルチプレクス方法に依存する。もしビデオパケットがアクセスユニットヘッダを有するならば、そのビデオパケットヘッダはタイムスタンプも有するかもしれない。そのビデオパケットヘッダがタイムスタンプを含むことになっているか否かは、（ビデオ出力バッファ３００への現在の読出しポインタおよびビデオパケットの長さにより）ビデオパケットの中に挿入されるべきビデオストリームをチェックすることにより、および、ビデオタイムスタンプバッファ３０１に記憶されているポインタがビデオストリームのこのセグメントを指しているか否かをチェックすることにより、決定され得る。さらにまた、マルチプレクサは、システムターゲットデコーダ内のビデオタイムスタンプバッファ５２の占有状態の追跡をエミュレートする処理を実行する。もしタイムスタンプをビデオパケットヘッダに付け加えることがビデオタイムスタンプバッファにオーバーフローを引き起こすならば、マルチプレクサはタイムスタンプを付け加えない。一方、もしビデオタイムスタンプバッファが空に近づくならば、マルチプレクサは、タイムスタンプが多重化ビットストリームに付け加えられることを可能とするために、あらたなビデオパケットを始めてよい。丁度記述した方法においては、マルチプレクサはビデオタイムスタンプバッファがオーバーフロあるいはアンダーローするのを防ぐ。同様な処理がオーディオタイムスタンプバッファ５３がオーバーフローあるいはアンダーフローするのを防ぐために実行される。デコードタイムスタンプおよびプレゼンテーションタイムスタンプは、それぞれ、ビデオタイムスタンプバッファ３０１からマルチプレクサ２０３Ａに加算回路３１９および３２１を経て供給される。加算回路３２１は、各プレゼンテーションスタンプを、前述した全ビデオ遅延計算回路３６３により計算された全ビデオ遅延の値により増加させ、そして加算回路３１９は、各デコードタイムスタンプを、前述した選択ビデオバッファリング遅延計算回路３５７により計算された選択ビデオバッファリング遅延により増加させる。もし、増加されたＰＴＳおよび増加されたＤＴＳが異なる値を有するならば、マルチプレクサ２０３Ａは、それらの両方をビデオパケットヘッダに挿入する。もし、増加されたＰＴＳおよび増加されたＤＴＳが同じ値ならば（換言すれば、そのピクチャーがＢピクチャーの時は）、ただ一つのタイムスタンプがビデオパケットヘッダに挿入される。ビデオ入力信号Ｓ２がフルモーションビデオ信号の時は、マルチプレクサ２０３Ａは、ビデオパケットに対するビデオストリームをビデオ出力バッファ３００から読み、それを、ビデオパケットヘッダの完成の後、多重化ビットストリームＳ１Ａに挿入する。ビデオストリームがビデオ出力バッファ３００から読まれている間は、ビデオ出力バッファ３００に対するリードポインタはタイムスタンプバッファ３０１のビデオ出力バッファ３００に記憶されているピクチャーヘッダの１つのアドレスを指している最も古いポインタと比較される。これらのポインタが等しい時には、ＰＴＳ、ＤＴＳおよび関連付けられたポインタはビデオタイムスタンプアバッファ３０１から取り出される。これは、ビデオパケットが１つ以上のピクチャーヘッダをゆうしている時に起こる。ビデオ入力信号Ｓ２がＭＰＥＧ形式静止画ビデオ信号の時、各ピクチャーは関連付けられたタイムスタンプを持たなければならないために、エンコーダはタイムスタンプを含む新しいビデオパケットヘッダを各ピクチャーヘッダの直前に挿入する。エンコーダは、ビデオパケットの大きさを小さくし、そして／あるいは、あらたなビデオパケットの多重化ビットストリームへの挿入を、次の事を含む多くの理由のために停止する。１．オーディオパケットを多重化ビットストリームに挿入するため。２．ビデオ出力バッファ３００は空である、または、３．これ以上ビデオストリームが無い。ケース１はオーディオデコーダバッファ遅延ａｄｂｄよりも短い規則的な間隔で発生する。最初のオーディオパケットは、オーディオエンコーダバッファ遅延時間ａｅｂｄが経過するまでは多重化ビットストリームに挿入されないだろう。しかしながら、ダミーオーディオパケット（あるいは、オーディオパケットと同じ大きさのパケットの中に含まれるその他の有効な情報）が多重化ビットストリームに、オーディオパケットの代わりに、この時間が経過する前に挿入されるかもしれない。これがビデオビットレートを意図したビデオビットレートに維持し、ＳＴＤバッファリング制限に反するかもしれないビデオビットレートの一時的な増加を防ぐ。オーディオエンコーダバッファ遅延時間ａｅｂｄが経過した後、実際のオーディオパケットが発生され、ヘッダ発生回路２０４はオーディオパケットヘッダを発生する。もし、オーディオパケットがオーディオアクセスユニットヘッダを含むならば、オーディオタイムスタンプバッファ３０３はそこに記憶されている最も古いオーディオＰＴＳをマルチプレクサ２０３Ａに供給し、マルチプレクサはそのＰＴＳをオーディオパケットヘッダの中に含める。そのオーディオＰＴＳは、加算回路３２３を経て供給され、前述したように、その加算回路は、最も古いオーディオＰＴＳを全ビデオ遅延計算回路３６３によって計算された全ビデオ遅延の値によって増加させる。マルチプレクサ２０３Ａがオーディオストリームをオーディオ出力バッファ３０２から多重化ビットストリームＳ１Ａに移動させる時、オーディオタイムスタンプバッファ３０３は、それらのポインタがオーディオ出力バッファ３０２のリードポインタと等しいオーディオ出力バッファのアドレスを指しているタイムスタンプを捨てる。オーディオエンコーダ２０２Ａによりオーディオ入力信号から発生される全てのオーディオストリームが、多重化ビットストリームＳ１Ａに挿入されるまで、オーディオパケットは発生され続ける。もし、この後、任意のその他の基本ストリームデータが送られる必要があるならば、このストリームデータは、その多重化ビットストリームＳ１Ａに挿入される得る。そうでなければ、ダミーパケットが多重化ビットストリームＳ１Ａに、規則的な間隔で、実際のオーディオパケットの代わりに、意図したビデオビットレートを維持するために、再び挿入される。ケース２に関して、固定ビットレートシステムにおいては、ビデオエンコーダ２０１Ａはビデオ出力バッファ３００の占有をモニタし、通常ビデオ出力バッファ３００が空になるのを防ぐことができる。ビデオエンコーダは、ビデオ出力バッファが空になろうとしている時に、ビデオ出力バッファを再び満たすために、ビデオ圧縮率を小さくすることにより付加的なビデオストリームを発生することができる。もしそのような方法にも関わらず、ビデオ出力バッファ３００が空になる場合には、マルチプレクサ２０３Ａは、その他の有効な情報を、多重化ビットストリームＳ１Ａに、ビデオストリームの代わりに含ませることができる。もしそのような有効な情報が使用可能でない場合は、マルチプレクサはスタッフィングビットを多重化ビットストリームに、目標のビットレートを維持するために含ませることができる。可変ビットレートシステムにおいては、マルチプレクサ２０３Ａは、オーディオパケットを書く時間まで簡単に待つことができ、あるいは、もし早すぎてオーディオパケットを書けないならば、新たなビデオアクセスユニットがビデオ出力バッファ３００に入れられるまで待つことができる。これは、それから新たなビデオパケットの発生を促すことができる。ケース３は、すべてのビデオ入力信号Ｓ２が多重化ビットストリームＳ１Ａに変換され終わった時に生じる。そのエンコーダは、もしそのようなパケットのためのデータストリームがまだＳ１Ａに挿入されることになっているならば、その他のパケットの発生を続けてもよい。図２５は、低ビットレートの多重化ビットストリームに対するデコーダ６Ａの動作を図解する。図２５に示される低ビットレートの多重化ビットストリームは、前に示したＭＰＥＧ２静止画ビデオ要件に従わない。ＭＰＥG標準は、そのピクチャーレートが毎秒約２５または３０フレームの完全分数である通常のピクチャーレートのビデオストリームを含む多重化ビットストリームを提供する（許される最高のピクチャーレートは、通常ピクチャーレートの１．５倍である）。通常のピクチャーレートのビデオ信号を要求する表示装置に供給するために、多重化ビットストリームから通常のピクチャーレートのビデオ信号を抽出するという標準でない処理を実行することを、ＭＰＥＧ標準は、デコーダに任せる。デコーダは、その出力バッファに記憶されたデコードされたピクチャーの各々を複数回通常のピクチャーレートで読み出すことによってこれを実行する。通常以下のピクチャーレートのビデオストリームをデコードすることを要求された付加的な処理は、デコーダの複雑さとコストを増大させる。付加されるデコーダの複雑さは、デコーダに、通常のピクチャーレートを持つ静止画ビデオストリームを供給することにより避けることができる。圧縮されていない静止画ビデオ信号は通常のピクチャーレートの連続的なピクチャーからなる。連続的なピクチャーは、ビデオ信号においてはピクチャー変化点を除いて同じである。そのような信号は、ピクチャー変化の後の最初のピクチャーをＩピクチャーとして符号化することによってエンコードされる。ビデオ信号の全てのその他のピクチャーも符号化される、しかし最低限のＰピクチャーとして。そのようなピクチャーの各々から得られたビデオストリームはヘッダとほとんど同じくらいであり、ほんの数百ビットしか必要としない。その結果、低ビットレートの静止画ビデオは、各ピクチャー変化後の最初のピクチャーの符号化に利用したビット数だけにほんのわずかに縮小した通常のピクチャーレートを有するビデオストリームを用いて提供されることが可能である。デコーダ６Ａにより受け取られる媒体５からの多重化ビットストリームＳ５Ａの構造は、図２５の上部に横断して示される。そのビデオストリームは、標準ピクチャーレート、換言すれば毎秒２５あるいは３０フレームの、複数のピクチャーから成る。ピクチャーはＧＯＰにグループ分けされ、各グループは、ピクチャー変化に続く第１のピクチャー（Ｉピクチャー）で始まり、その第１のピクチャーは複数のＰピクチャーに後続される。Ｐピクチャーの数は、静止画ビデオ信号における各ピクチャー変化間の通常のピクチャー期間の数に相当する。示された例においては、９ピクチャー期間に相当する。各ＧＯＰがタイムスタンプを含むビデオパケットヘッダにより先行されるように、ＧＯＰはビデオストリームに含められる。図２５はまた、上部のビットインデックス曲線においてビデオ入力バッファ６２のビットインデックス、および、下部のビットインデックス曲線においてビデオタイムスタンプバッファ７２のビットインデックスを示す。ビデオストリームの始まりにおいて、最初のビデオパケットヘッダの中のタイムスタンプは、デマルチプレクサ６１Ａからビデオタイムスタンプバッファ７２に供給される。一旦、ビテオパケットヘッダがデマルチブレクスされると、最初のピクチャーのビデオストリームは、実質的に固定レートでビデオ入力バッファに蓄積される（オーディオパケットがオーディオ入力バッファ６３に供給されるたび、および、ビデオパケットヘッダがデマルチプレクスされるたびに生じる流れへの割り込みは明確さのために省略する）。オーディオパケットを規則的な間隔で多重化ビットストリームに含む必要性、および、（ビデオパケットヘッダを要求する）タイムスタンプをビデオストリームの中に少なくとも０．７秒ごとに一回含ませる要求に起因して、ビデオストリームは幾つかのビデオパケットに含まれる。低入力ビットレートに起因して、１つのＩピクチャーのビデオストリームがビデオ入力バッファ６２に蓄積されるのに約１秒かかる。そして、最初のＩピクチャーのビデオストリームがビデオ入力バッファに記憶された後、Ｉピクチャーに続くＰピクチャーのビデオストリームがビデオ入力バッファに供給される。タイムスタンプを含むビデオパケットヘッダに続くビデオストリームの中の最初のピクチャーのピクチャーヘッダがビデオ入力バッファに書き込まれた時に、ピクチャーヘッダのアドレスに対するポインタがビデオタイムスタンプバッファ６２のテーブルに書き込まれる。ビデオストリームのビデオ入力バッファ６２への蓄積の間、下部のビットインデックス曲線中で示されるように、付加されたタイムスタンプがビデオタイムスタンプバッファ７２に蓄積される。エンコーダがビデオストリームへのタイムスタンプの追加をビデオタイムスタンプバッファの占有を考慮して制御していたために、これらのタイムスタンプはビデオタイムスタンプバッファにオーバーフローを引き起こさない。十分なビデオストリームをビデオ入力バッファ６２に蓄積するのを可能にする初期バッファリング遅延の後、最初のＩピクチャーのビデオストリームはビデオ入力バッファから取り出される。示した例においては、初期バッファリング遅延は４秒である。一度、初期バッファリング遅延が経過したら、ビデオデコーダ６５はビデオ入力バッファからビデオストリームのアクセスユニットを通常のピクチャーレートで取り出す。ビデオ入力バッファからのこれらのビデオストリームの取り出しの間、図に示されたビットインデックスは、小さなこれらのピクチャーに起因して、わずかに変化する。ビデオデコーダはまた、ビデオバッファ６２への読出しポインタを使って、ビデオ入力バッファのテーブルをチェックする。そのテーブルから、ビデオデコーダはピクチャーがタイムスタンプを持っているか否かを決定することができる（静止画ビデオにおいては、全てのＩピクチャーはタイムスタンプをもっているが、Ｐピクチャーは全てタイムスタンプを持っているわけではない。フル動画ビデオにおいては、タイムスタンプバッファは全てのピクチャーに対するタイムスタンプを収容するには不十分な大きさであるため、全てのピクチャーがタイムスタンプを持っているわけではない）。もしピクチャーがタイムスタンプを持っているならば、そのピクチャーに対するタイムスタンプはビデオ入力バッファから取り出され、そのピクチャーのデコード時間を決定するために用いられる。もし、ピクチャーにタイムスタンプが欠けていたならば、デコード時間はデコーダクロックにより決定される。その結果としてのデコードされたピクチャーはデコーダの出力に通常のピクチャーレートで供給され、静止画ディスプレイに提供される。相同期システムにおいては、タイムスタンプは、オーディオデコーダおよびビデオデコーダの開始遅延をセットするためだけに要求される。デコーダは共通リファレンスに同期されているために、ビデオデコーダとオーディオデコーダの間の同期を維持するためにタイムスタンプを使う必要がない。そのようなシステムにおいては、最初のオーディオタイムスタンプおよび最初のビデオタイムスタンプは、それぞれ、オーディオ開始遅延およびビデオ開始遅延をセットするために用いられる。その他の全てのタイムスタンプは無視される。本発明に関するこのようなシステムにおいては、システムターゲットデコーダは以下のように定義される。タイムスタンプバッファ５２および５３は１タイムスタンプの容量を有する。ビデオデコーダ５６の動作は、タイムスタンプをビデオタイムスタンプバッファ５３から、多重化ビットストリームの開始の時でその他の時ではない時にだけ取り出すように規定される。オーディオデコーダ５６の処理は、タイムスタンプをオーディオタイムスタンプバッファ５３から、多重化ビットストリームの開始の時でその他の時ではない時にだけ取り出すように規定される。ビデオデコーダ５５およびオーディオデコーダ５６は共通のクロックリファレンスにロックされる。このようなシステムターゲットデコーダを用いることにより、エンコーダは、発生された最初のビデオタイムスタンプおよび発生された最初のオーディオタイススタンプを多重化ビットストリームに付加する。デコーダはこれらのタイムスタンプをタイムスタンプバッファから取り出し、ＳＴＤはそれ以上タイムスタンプを要求しないので、エンコーダはそれ以上多重化ビットストリームにタイムスタンプを付加する必要はない。これは、パケットヘッダからタイムスタンプフィールドを除去する可能性をもたらし、セーブされたビットをその他の目的のためにつかう事を許す。本発明は、オーディオとビデオの両方のストリームが多重化ビットストリームに含まれるシステムに関して記述されてきた。しかしながら、本発明はオーディオストリームあるいはビデオストリームのいずれか一方が他方無しに多重化ビットストリームに含まれるシステムに対しても、同様に満足に適用可能である。本発明は、圧縮されたその他のタイプの情報信号から得られるストリームに対しても適用可能である。本発明は、ＭＰＥＧ１およびＭＰＥＧ２標準に関して記述されてきたが、本発明はＭＰＥＧ標準に従わない情報ストリームおよびビットストリームに対しても同様に満足に適用可能である。

───────────────────────────────────────────────────── 【要約の続き】回路配列を含む。これらの回路配列はそれぞれデマルチプレクサに接続される。情報ストリームの分割工程、補助情報の分割工程およびインターリーブする工程は、情報ストリームバッファおよび補助情報バッファがオーバーフローもアンダーフローもしないように制御される。

Claims

【特許請求の範囲】１．非圧縮補助情報と情報ストリームとをマルチプレクスしてビットストリームを生成する方法であって、前記情報ストリームは、可変長ユニットの情報ストリームを供給するために、変化する圧縮率で固定長ユニットの情報信号を圧縮することにより得られ、前記補助情報は、前記情報ストリームをその後に復号するために使用され、前記補助情報のユニットは前記情報信号のユニットと対応しており、該方法は下記の諸工程、すなわち、前記情報ストリームを複数の情報ストリームの部分に時間的に分割する工程と、前記非圧縮補助情報を複数の補助情報の部分に時間的に分割する工程と、前記情報ストリームの部分および前記補助情報の部分をインターリーブして前記ビットストリームを供給する工程、および、仮想的なシステムターゲットデコーダによる前記ビットストリームの復号をエミュレートすることにより前記情報ストリームの分割の工程、前記補助情報の分割の工程、および、前記インターリーブする工程を制御する工程であって、前記仮想的なシステムターゲットデコーダは、前記ビットストリームをデマルチプレクスするデマルチプレクシング手段、情報ストリームバッファと情報ストリームデコーダとの直列的回路配列及び補助情報バッファと補助情報プロセッサとの直列的回路配列を含み、直列的回路配列のそれぞれは前記デマルチプレクシング手段に接続され、前記情報ストリーム分割の工程、前記補助情報分割の工程、および、インターリーブ工程は、前記情報ストリームバッファおよび前記補助情報バッファがオーバーフローまたはアンダーフローしないように制御されるものを有する方法。２．請求項１に記載に記載の方法であって、該方法中の前記情報ストリーム分割の工程、前記補助情報分割の工程、および、インターリーブ工程を制御する工程において、前記デマルチプレクシング手段は、前記ビットストリームを受け、そこから前記情報ストリームおよび前記補助情報を抽出して、これらの情報を前記情報ストリームバッファと前記補助情報バッファにそれぞれ供給し、前記情報ストリームバッファは、第１のターゲットサイズを有し、前記補助情報バッファは、第２のターゲットサイズを有し、前記情報ストリームデコーダは、第１のターゲットタイミングで前記情報ストリームバッファから可変長ユニットの前記情報ストリームを取り出し、前記補助情報プロセッサは、第２のターゲットタイミングで前記補助情報バッファから対応する固定長ユニットの前記補助情報を取り出す方法。３．請求項２に記載に記載の方法であって、該方法中の前記インターリーブ工程において、前記ビットストリームは複数のレイヤを有し、前記情報ストリームの部分および前記補助情報の部分は、前記ビットストリームの複数のレイヤの内の同一レイヤにおいてインターリーブされる方法。４．請求項３に記載の方法であって、該方法中の前記補助情報は前記情報ストリームのためのディレクトリ情報である方法。５．請求項４に記載の方法であって、該方法内の前記情報ストリームは複数のアクセスポイントを含み、前記ディレクトリ情報の各ユニットは、前記アクセスポイントの一つと関連している方法。６．請求項５に記載の方法であって、該方法中、前記補助情報を複数の補助情報の部分に分割する工程において、前記ディレクトリ情報は、前記第２のターゲットサイズによって決定される複数のディレクトリ情報のユニットを含むディレクトリパケットに分割され、前記情報ストリームを情報ストリームの部分に分割する工程において、前記情報ストリームは、複数の情報パケットのセットに分割され、前記複数の情報パケットは前記ディレクトリパケットにおけるディレクトリ情報のユニット数と同等の複数のアクセスポイントを含み、前記インターリーブ工程において、前記ディレクトリパケットは、隣接する情報パケットのセットとインターリーブされる方法。７．請求項２に記載に記載の方法であって、該方法中の前記インターリーブ工程において、前記ビットストリームは複数のレイヤを有し、前記情報ストリームの部分は前記ビットストリームの第１のレイヤにおいてインターリーブされ、前記補助情報の部分は前記ビットストリームの前記第１のレイヤとは異なる第２のレイヤにおいてインターリーブされる方法。８．請求項７に記載の方法であって、該方法中の前記情報ストリームは複数のアクセスユニットからなり、前記補助情報は前記情報ストリームの前記アクセスユニットを復号するためのタイムスタンプのセットである方法。９．請求項８に記載の方法であって、該方法中、前記制御工程において、前記補助情報バッファは前記第２のターゲットサイズにより決定される占有領域を有し、前記補助情報は前記デマルチプレクシングス手段から供給され、前記補助情報は前記補助情報プロセッサにより取り出され、前記情報ストリームを情報ストリームの部分に分割する工程において、前記情報ストリームは複数の情報パケットに分割され、前記補助情報を補助情報の部分に分割する工程は、前記タイムスタンプのセットがタイムスタンプに分割され、前記情報ストリームをインターリーブする工程において、各情報パケットに情報パケットヘッダを供給する工程をさらに含み、前記情報ストリームの部分および前記補助情報の部分をインターリーブする工程において、タイムスタンプは、前記補助情報バッファの占有領域に応じて選択された前記情報パケットの内の複数の前記情報パケットヘッダに含まれる方法。１０．請求項８に記載の方法であって、該方法中、前記制御工程において、前記情報ストリームバッファは第１のターゲットサイズを有し、前記補助情報バッファは第２のターゲットサイズを有し、前記補助情報バッファは前記第２のターゲットサイズにより決定される占有領域を有し、前記補助情報は前記デマルチプレクサから供給され、当該補助情報は前記補助情報プロセッサにより取り出されたものであり、前記情報ストリームを情報ストリームの部分に分割する工程は、前記情報ストリームは複数の情報パケットに分割し、前記補助情報を補助情報の部分に分割する工程は、前記タイムスタンプのセットがタイムスタンプに分割し、前記情報ストリームをインターリーブする工程は、各情報パケットに情報パケットヘッダを供給する工程をさらに含み、前記情報ストリームの部分および前記補助情報の部分をインターリーブする工程において、タイムスタンプは、タイムスタンプバッファ周波数で前記情報パケットの前記情報パケットヘッダに周期的に含まれ、前記制御工程において、少なくとも前記タイムスタンプ符号化周波数および前記第２のターゲットサイズのいずれかが、前記情報ストリームバッファがオーバーフローすることがないように前記情報ストリームバッファの占有領域が最大となるような方法により制御される方法。１１．請求項７に記載の方法であって、該方法中、前記情報ストリームデコーダは複数の情報ストリームデコーダの一つであり、これら情報ストリームデコーダは位相同期されており、前記補助情報バッファは１および１を超えない前記補助情報のユニットに適合するように設けられたサイズを有する方法。１２．ビットストリームを生成するエンコーダであって、該エンコーダは、変化する圧縮率で固定長ユニットの情報信号を圧縮し、可変長ユニットの情報ストリームを供給する手段と、前記情報ストリームを時間的に複数の情報ストリームの部分に分割する情報ストリーム分割手段と、非圧縮補助情報を複数の補助情報の部分に時間的に分割し、前記補助情報は続いて前記情報ストリームの復号に用いられ、前記補助情報のユニットは前記情報信号のユニットに対応する補助情報分割手段と、前記情報ストリームの部分および前記補助情報の部分を連続して配列してビットストリームを供給するマルチプレクシング手段であって、該マルチプレクシング手段は、前記ビットストリームをデマルチプレクスするデマルチプレクシング手段、情報ストリームバッファと情報ストリームデコーダとの直列的回路配列、及び補助情報バッファと補助情報プロセッサとの直列的回路配列を含むシステムターゲットデコーダによって前記ビットストリームの復号をエミュレートすることにより前記情報ストリーム分割手段および前記補助情報分割手段を制御する制御手段を含み、前記直列的回路配列のそれぞれは前記デマルチプレクシング手段に接続され、前記制御手段は前記情報ストリームバッファおよび前記補助情報バッファがアンダーフローまたはオーバーフローしないように前記情報ストリーム分割手段および前記補助情報分割手段を制御するマルチプレクシング手段とを有するエンコーダ。１３．請求項１２のエンコーダであって、該エンコーダ中、前記デマルチプレクシング手段は、前記ビットストリームを受信し、そこから前記情報ストリームバッファおよび前記補助情報バッファに供給する前記情報ストリームおよび前記補助情報をそれぞれ抽出し、前記情報ストリームバッファは、第１のターゲットサイズを有し、前記補助情報バッファは、第２のターゲットサイズを有し、前記情報ストリームデコーダは、第１のタイミングで前記情報ストリームバッファから可変長ユニットの前記情報ストリームを取り出し、前記補助情報プロセッサは、第２のターゲットタイミングで前記補助情報バッファから対応する固定長ユニットの前記補助情報を取り出すエンコーダ。１４．請求項１２に記載のエンコーダであって、該エンコーダ中、前記マルチプレクシング手段によって供給された前記ビットストリームは、複数のレイヤからなり、前記マルチプレクシング手段は、前記ビットストリームの複数のレイヤのうちの同一レイヤに、前記情報ストリームの部分および前記補助情報の部分を配列するエンコーダ。１５．請求項１２に記載のエンコーダであって、該エンコーダ中、前記マルチプレクシング手段によって供給された前記ビットストリームは、複数のレイヤからなり、前記マルチプレクシング手段は、前記ビットストリームの第１のレイヤに前記情報ストリームの時分割の部分を配列し、前記ビットストリームの前記第１のレイヤと異なる第２のレイヤに前記非圧縮補助情報を配列するエンコーダ。１６．情報信号が、ビットストリームとして媒体に対する伝送のために非圧縮補助情報とともに圧縮され、前記ビットストリームが媒体から伝送され、処理されて伸長により前記情報信号を復元するため、および、前記補助情報を復元するために処理され、前記補助情報は前記情報信号の復元において用いられるためのものであるシステムであって、該システムは以下の諸手段、すなわち、前記情報信号を圧縮して情報ストリームを供給し、固定長ユニットの前記情報信号が変化する圧縮率を用いて圧縮して可変長ユニットの前記情報ストリームを供給する手段と、前記情報ストリームの時分割の部分および前記非圧縮補助情報の時分割の部分を連続的に配列して前記媒体に対する伝送のためのビットストリームを供給するマルチプレクシング手段であって、前記ビットストリームをデマルチプレクスするデマルチプレクシング手段、情報ストリームバッファと情報ストリームデコーダとの直列的回路配列、及び補助情報バッファと補助情報プロセッサとの直列的回路配列を含むシステムターゲットデコーダによる前記ビットストリームの復号をエミュレートすることにより、前記情報ストリームおよび前記補助情報をそれぞれ時分割の部分に分割することを決定する制御手段を含み、前記直列的回路配列のそれぞれは前記デマルチプレクシング手段に接続され、前記情報ストリームバッファおよび前記補助情報バッファはそれぞれのサイズを有するマルチプレクシング手段とを有するエンコーダ、および、前記媒体から伝送された前記ビットストリームから前記情報ストリームおよび前記補助情報を抽出するデマルチプレクシング手段と、前記デマルチプレクシング手段からの前記補助情報を受信し、少なくとも前記補助情報バッファのサイズのサイズを有している第１の入力バッファ手段と、前記第１の入力バッファ手段から前記補助情報のユニットを取り出す手段と、前記デマルチプレクシング手段から前記情報ストリームを受信し、少なくとも前記情報ストリームバッファのサイズのサイズを有している第２の入力バッファ手段と、前記第２の入力バッファ手段から可変長ユニットの前記情報ストリームの一つを取り出し、前記情報ストリームの前記取り出されたユニットを伸長して前記情報信号を復元するデコーダ手段とを有するデコーダとを有するシステム。１７．請求項１６に記載のシステムであって、該システム中、前記制御手段は前記情報ストリームおよび前記補助情報をそれぞれ時分割の部分に分割することを決定し、システムターゲットデコーダによって前記ビットストリームの復号をエミュレートする条件は、前記情報ストリームバッファおよび前記補助情報バッファがアンダーフローもオーバーフローもしないことであるシステム。１８．請求項１６に記載のシステムであって、前記マルチプレクシング手段によって供給される前記ビットストリームは複数のレイヤを有し、前記マルチプレクシング手段は、前記情報ストリームの時分割の部分および前記非圧縮補助情報の時分割の部分を、前記ビットストリームの複数のレイヤの内の同一のレイヤにおいて配列するシステム。１９．請求項１８に記載のシステムであって、該システム中の前記補助情報は前記情報ストリームに関連するディレクトリ情報であるシステム。２０．請求項１９に記載のシステムであって、該システム中の前記情報ストリームは複数のアクセスポイントを含み、前記ディレクトリ情報の各ユニットは前記アクセスポイントの一つに関連しているシステム。２１．請求項１９に記載のシステムであって、該システム中の前記制御手段は前記ディレクトリ情報を各々がディレクトリ情報の複数のユニットを含むディレクトリパケットへ分割することを決定し、および、前記情報ストリームを複数の情報ストリームパケットのセットへ分割することを決定し、複数の情報ストリームパケットの各セットは、ディレクトリ情報のユニットと等しい数の複数のアクセスポイントを含み、前記マルチプレクシング手段は、情報ストリームパケットのセットに隣接する各ディレクトリパケットをマルチプレクスし、当該情報ストリームパケットのセットは前記ディレクトリパケットにおける前記ディレクトリ情報に関連したアクセスポイントを含んでいる。２２．請求項１６に記載のシステムであって、該システム中、前記マルチプレクシング手段によって供給される前記ビットストリームは複数のレイヤを有し、前記マルチプレクシング手段は、前記ビットストリームの第１のレイヤに前記情報ストリームの時分割の部分を配列し、前記ビットストリームの前記第１のレイヤと異なる第２のレイヤに前記非圧縮補助情報を配列する。２３．請求項２２に記載に記載のシステムであって、該システム中の前記情報ストリームは複数のアクセスユニットを有しており、前記補助情報は前記情報ストリームのアクセスユニットの復号のためのタイムスタンプのセットであるシステム。２４．請求項２３に記載のシステムであって、該システム中、前記補助情報バッファは、当該補助情報バッファのサイズ、前記デマルチプレクシング手段から供給される前記補助情報、および、前記補助情報プロセッサにより取り出された前記補助情報によって決定される占有領域を有し、前記制御手段は、前記情報ストリームを複数の情報パケットに分割することを決定し、１つの情報パケットヘッダを情報パケットそれぞれに供給し、タイムスタンプのセットをタイムスタンプに分割することを決定し、前記情報ストリームパケットおよび前記補助情報の部分を連続的に配列し、前記情報パケットの前記情報パケットヘッダには、タイムスタンプがタイムスタンプバッファ周波数において周期的に含まれ、そして少なくとも前記タイムスタンプ符号化周波数の１つと、前記補助情報バッファのサイズとを、前記情報ストリームバッファがオーバーフローを生じることなしに前記情報ストリームバッファの占有領域を最大とするように制御するシステム。２５．情報信号からビットストリームを得る方法であって、該方法は、前記情報信号のユニットを圧縮して情報ストリームのユニットを供給し、前記情報ストリームのユニットはアクセスポイントを含む工程と、前記情報ストリームにおける前記アクセスポインタをポインティングする前記情報ストリームポインタを導出する工程と、ポインタパケットとともに情報パケットに分割された前記情報ストリームをマルチプレクスして、複数の連続するアクセスポイントを含む情報パケットのセットが、前記連続した複数のアクセスポイントのみをポインティングする前記ポインタを含む隣接したポインタパケットとマルチプレクスされるように前記ビットストリームを供給するマルチプレクシング工程とを有するシステム。２６．請求項２５に記載の方法であって、該方法は、前記導出工程の前に、前記情報パケットを、ダミーポインタを含むポインタパケットとともにマルチプレクスするマルチプレクシング工程、および、この方法はさらに、前記導出工程において得られたポインタで前記ダミーポインタをオーバーライトし、当該ポインタは各ポインタパケットにオーバーライトされたものであり、このポインタパケットは、前記ビットストリームにおける前記ポインタパケットの直前の複数の連続したアクセスポインタをポインティングするポインタである、工程を有する方法。２７．情報信号からビットストリームを得る方法であって、エンコーダを提供する工程であって、前記エンコーダは、前記情報信号のユニットを圧縮して情報ストリームのユニットを供給する手段、前記情報ストリームのユニットをバッファリングするためのサイズを有する第１のバッファ手段、前記第１のバッファ手段が前記情報ストリームのアクセスユニットそれぞれを受信したときにタイムスタンプを供給する手段、前記タイムスタンプをバッファリングするためのサイズを有する第２のバッファ手段、および、前記ビットストリームを提供するために前記第１のバッファ手段からの前記情報ストリームと前記第２のバッファ手段からの前記タイムスタンプとをマルチプレクスするマルチプレクシング手段とを有する工程と、仮想的なシステムターゲットデコーダを定義する工程であって、前記仮想的なシステムターゲットデコーダは、前記ビットストリームをデマルチプレクスするデマルチプレクシング手段、情報ストリームバッファと情報ストリームデコーダとの直列的回路配列、タイムスタンプバッファとタイムスタンププロセッサとの直列的回路配列とを有し、それぞれの直列的回路配列は前記デマルチプレクサに接続されている工程と、前記仮想的なシステムターゲットデコーダを用いることによって前記ビットストリームの復号をエミュレートすることにより、前記第１のバッファ手段のサイズと前記第２のバッファ手段のサイズを決定する工程と、前記エンコーダを使って前記情報信号を符号化し、前記エンコーダの前記第１のバッファ手段のサイズおよび前記第２のバッファ手段のサイズが、前記決定工程によってそれぞれ決定されたサイズに設定されている工程とを有する方法２８．請求項２７に記載の方法であって、該方法中、前記システムターゲットデコーダを定義する工程において、前記情報ストリームバッファおよび前記タイムスタンプバッファがそれぞれのサイズを有し、前記情報ストリームデコーダは前記タイムスタンププロセッサの前記タイムバッファから取り出されたタイムスタンプに応じて前記情報ストリームを復号し、前記決定する工程において、前記第１のバッファ手段のサイズおよび前記第２のバッファ手段のサイズが決定される。２９．請求項２８に記載の方法であって、該方法中、前記エンコーダにおいて、前記マルチプレクシング手段はタイムスタンプ符号化周波数で前記ビットストリームにおけるタイムスタンプを周期的に含み、前記情報ストリームはビットレートを有し、そして、前記決定する工程において、バッファリング遅延は前記タイムスタンプ符号化周波数および前記ビットレートに起因し、前記情報ストリームバッファのサイズおよび前記タイムスタンプバッファのサイズは前記バッファリング遅延に起因する方法。３０．非圧縮補助情報と情報ストリームとをマルチプレクスすることによりビットストリームを得、前記情報ストリームは変化する圧縮率で固定長ユニットの情報信号を圧縮することにより、可変長ユニットの前記情報ストリームが得られ、前記補助情報は続く前記情報ストリームの復号において用いられ、前記補助情報のユニットが前記情報信号のユニットに対応しているデコーダであって、該デコーダは以下の諸手段、すなわち、前記ビットストリームから前記情報ストリームおよび前記補助情報を抽出するデマルチプレクシング手段と、前記デマルチプレクシング手段から前記補助情報を受信する第１の入力バッファ手段と、前記第１の入力バッファ手段から前記補助情報のユニットを取り出す手段、前記デマルチプレクシング手段から前記情報ストリームを受信する第２の入力バッファ手段と、前記第２の入力バッファ手段から可変長ユニットの前記情報ストリームの一つを取り出し、前記補助情報のユニットに応じて前記情報ストリームの取り出されたユニットを伸長して固定長ユニットの前記情報信号を復元するデコーダ手段とを有するデコーダ。３１．請求項３０に記載のデコーダであって、該デコーダ中の前記デコーダ手段は、前記補助情報のユニットによって指示された時間で前記第２の入力バッファ手段から可変長ユニットの前記情報ストリームの内の１つを取り出すデコーダ。