JP3651699B2 - 復号化装置及び符号化復号化装置 - Google Patents
復号化装置及び符号化復号化装置 Download PDFInfo
- Publication number
- JP3651699B2 JP3651699B2 JP10908995A JP10908995A JP3651699B2 JP 3651699 B2 JP3651699 B2 JP 3651699B2 JP 10908995 A JP10908995 A JP 10908995A JP 10908995 A JP10908995 A JP 10908995A JP 3651699 B2 JP3651699 B2 JP 3651699B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- decoding
- compressed
- audio data
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１７）
発明が解決しようとする課題（図１７及び図１８）
課題を解決するための手段（図１〜図１６）
作用（図１〜図１６）
実施例（図１〜図１６）
発明の効果
【０００２】
【産業上の利用分野】
本発明は復号化装置及び符号化復号化装置に関し、例えばＡＶサーバシステムに適用して好適なものである。
【０００３】
【従来の技術】
従来、ビデオ信号及びオーデイオ信号のデイジタル圧縮には種々の方式があるが、そのなかで現在最も注目を集めている方式の１つにＭＰＥＧ（Moving Pictur Experts Group ）規格がある。
このＭＰＥＧ規格に従つて圧縮したＡＶ（Audio Vidual：音響・映像）データを再生（デコード）する場合、ＡＶ間の同期をとる必要があるが、その方式には大きく分けて暗黙同期方式とタイム・スタンプ方式の２つの方式がある。
【０００４】
暗黙同期方式は、ほぼ同一の時刻、同一時間長に相当する各ＡＶデータをある単位で多重化しておき、１つのＡＶ素材（以下、これをクリツプと呼ぶ）の先頭においてＡＶの頭が合うようにそれぞれのデコード開始時刻を調節することによりＡＶ同期をとる方式である。
一方タイム・スタンプ方式は、ＡＶの多重化時に各ＡＶデータのある単位毎にその再生時刻を示すタイム・スタンプ（DTS:Decoding Time Stamp 及びPTS:Presentation Time Stamp ）を付加し、さらにそのタイム・スタンプの基準となる時刻を示すタイム・スタンプ（SCR:System Clock Refernece 又はPCR:Program Clock Refernece ）をある単位毎に付加しておき、各デコーダがこのタイム・スタンプに従つて再生を実行することによつてＡＶ同期をとる方式である。なおＭＰＥＧシステム規格はこの方式を採用している。
【０００５】
一般的にタイム・スタンプ方式は暗黙同期方式に比べて精度は高いがしくみが複雑になるため実現コストが高くなる特徴がある。
タイム・スタンプの使用方法についてもう少し追加説明する。図１７に示すように、デマルチプレクサ１は供給されるＡＶ多重化データＤAvから基準時刻情報PCR を抽出し、この値に同期するようにシステムクロツクＣＬ１を調整する。このシステムクロツクＣＬ１は、オーデイオデコーダ２及びビデオデコーダ３にそれぞれ与えられる。
【０００６】
またデマルチプレクサ１は、ＡＶ多重化データＤAvから抽出したオーデイオデータＤAdを再生時刻情報DTS と共にオーデイオデコーダ２に供給し、かつ抽出したビデオデータＤViを再生時刻情報DTS 及びPTS と共にビデオデコーダ３に供給する。
これによりこれらオーデイオデコーダ２及びビデオデコーダ３は、それぞれシステムクロツクＣＬ１と、再生時刻情報DTS 及びPTS とに基づいてこれらを比較することによりいつ再生動作を開始すればよいのかを判断するようになされている。
【０００７】
【発明が解決しようとする課題】
ここで複数のクリツプを連続再生する場合を考える。
タイム・スタンプ方式の場合、図１８に示すように、クリツプのつなぎめ付近の時刻では、すでにデマルチプレクサ１には次のクリツプ（クリツプ２）のデータが入力され始めており、システムクロツクＣＬ１もクリツプ２の基準時刻情報PCR に同期しているが、オーデイオデコーダ２及びビデオデコーダ３ではまだ前のクリツプ（クリツプ１）の処理をしているという時間帯Ｔ0 が存在し得る。この場合各クリツプ１、２の基準時刻情報PCR はそれぞれ独立しているため、この時間帯Ｔ0 にオーデイオデコーダ２及びビデオデコーダ３がシステムクロツクＣＬ１に従つてデコードしようとすると正しく再生されない可能性がある。
【０００８】
このように従来のタイムスタンプ方式では、複数のクリツプを連続して再生し難い問題があつた。
かかる問題を解決するため、従来では複数のクリツプの連続再生を実現する方法として、オーデイオデコーダ２及びビデオデコーダ３を２組用意し、これら各組を交互に使用して、デマルチプレクサ１の出力をスイツチングする方法が広く用いられている。この方法によれば、ＡＶ同期の方式にタイムス・タンプ方式を採用することも可能である。
【０００９】
しかしながらこのような方法では、オーデイオデコーダ２及びビデオデコーダ３を２組用意する必要があり、またスイツチングを行う装置も必要となるなどシステム規模が大きくなる問題があった。
本発明は以上の点を考慮してなされたもので、簡易な構成で、各クリツプの再生を指定時刻に開始でき、かつ複数のクリツプを連続的に再生することのできる復号化装置及び符号化復号化装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータを復号する復号化装置に、データ供給源から供給される、所定の圧縮ビツトレートで圧縮符号化されて多重化された圧縮ビデオデータと圧縮オーデイオデータとを分割して出力する分割手段と、分割手段から出力される圧縮ビデオデータを復号する第１の復号手段と、分割手段から出力される圧縮オーデイオデータを復号する第２の復号手段と、データ供給源から供給される、素材の時間長を示す時間情報と、予め記憶している、素材の時間長毎に発生する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を示す再生時間差データとに基づいて、第２の復号手段の圧縮オーデイオデータに対する復号動作を再生時間差分だけ停止させる制御手段とを設けるようにした。
【００１１】
また本発明においては、予め素材の時間長に対する最小単位を設定しておき、復号化装置に、当該最小単位以上の時間長毎に発生する再生時間差を示す再生時間差データを記憶させるようにした。
【００１２】
【作用】
このように、所定の圧縮ビツトレートで圧縮符号化された圧縮ビデオデータ及び圧縮オーデイオデータで形成される素材の時間長毎に発生する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を、復号化側に再生時間差データとして記憶しておくようにしたことにより、タイムスタンプの有無に係わらず、素材の時間長のみから、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を特定することができ、さらに当該特定した再生時間差分だけ、圧縮オーデイオデータに対する復号動作を停止させることにより、複数の素材を連続再生する際に、各素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータの再生開始時刻を同期させることができる。
【００１３】
また、予め素材の時間長に対する最小単位を設定しておくことにより、素材の時間長と、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差との組み合わせパターンを、最小単位が設定されていない場合と比べて格段と少なくすることができる。
【００１４】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１５】
〔１〕第１実施例
（１）利用技術
（１−１）ＭＰＥＧ規格でのビデオ圧縮
（１−１−１）仮想バツフアについて
ＭＰＥＧ規格によるビデオデータの圧縮では、各フレーム（画像）によつて発生するビツト量が変化する。このビツト量が多すぎたり少なすぎたりすると、デコーダ側のバツフアがオーバーフローしたりアンダーフローしたりする可能性がある。
このため、一般的にはデコーダのバツフアをある量に想定し、このバツフアが破綻しないようにエンコーダを駆動制御しながら、供給されるビデオデータを符号化（エンコード）している。以下、このようなバツフアを仮想バツフアと呼ぶ。
【００１６】
（１−１−２）スタートアツプデイレイについて
デコード時において、デコーダバツフアにデータが入力されると直ちに画像が再生されるわけではなく、ある時間が経過したのち再生が開始される。これはデコーダバツフアが破綻するのを防ぐためである。以下、この時間のことをスタート・アツプ・デイレイと呼ぶものとする。
スタート・アツプ・デレイは、どのようにビデオ素材を圧縮しても同じになるわけではなく、一般的にはビデオ素材によつてそれぞれ異なる。
図１に仮想バツフア４とスタート・アツプ・デイレイについて示す。この図１においてＴ1 は１フレーム時間、Ｔ2 はスタート・アツプ・デイレイ、Ｖb は仮想バツフア４の容量をそれぞれ示している。またここでは、一定速度でビデオデコーダ５にデータを供給することを考えているため、入力データの累積量を示す線は直線となつている。
【００１７】
このような仮想バツフア４では、例えば図２（Ａ）に示すように、所定のスタート・アツプ・デイレイＴ2 よりもデコード開始が遅すぎると、オーバーフローしてしまう危険がある。
一方図２（Ｂ）に示すように、所定のスタート・アツプ・デイレイＴ2 よりもデコード開始が早すぎると、アンダーフローしてしまう危険がある。
【００１８】
（１−１−３）圧縮ビデオデータフアイルのデータ量について
以下、１つのビデオ素材をエンコードした結果、得られたデータ群を「圧縮ビデオデータフアイル」と呼ぶものとする。通常、同じ時間長の異なるビデオ素材から生成される圧縮ビデオデータフアイルのデータ量は同じにはならず、図３（Ａ）及び（Ｂ）からも明らかなように、圧縮ビデオデータフアイルのデータ量をＶｖ、ビデオ圧縮ビツトレートをＲｖ、仮想バツフアの容量をＶｂ、ビデオ素材の時間長をＴ４とすると、次式
【数１】
のように、±仮想バツフアの容量Ｖｂ分の範囲で変動する。
【００１９】
（１−２）圧縮ビデオデータフアイルの連続再生
１．ビデオデータの圧縮方式としてＭＰＥＧ方式を採用する。
２．ビデオデータの圧縮ビツトレートは一定とする。
３．各圧縮ビデオデータフアイルのスタート・アツプ・デイレイは等しいと限らない。
４．各圧縮ビデオデータフアイルのデータ量はその圧縮ビツトレートと再生時間（ビデオ素材の時間長）との積に等しいとは限らない。
という条件のもとで、圧縮ビデオデータフアイルを連続再生（デコード）するためには、
１．ビデオ・デコーダ・フアイルとして仮想バツフアの（容量又は数を）３倍以上を用意する。
２．連続再生すべき圧縮ビデオデータフアイル群の先頭フアイルは、ビデオ・デコーダ・バツフアに仮想バツフアの容量分だけデータがたまつてからデコードを開始する。
３．最大ビデオ・データ・フアイル量を、その再生時間内に転送可能な転送レートでデータをデコーダに転送する。
という方法が有効である。
【００２０】
以下、この方法に関して説明する。
２つの圧縮ビデオデータフアイルＦ1 、Ｆ2 をこの順に連続再生をする場合を考える。このとき圧縮ビツトレートをともにＲv とし、仮想バツフアのサイズをＶb とする。また再生時間をそれぞれＴF1及びＴF2とし、スタート・アツプ・デイレイをそれぞれＴｄ1 、Ｔｄ2 とする。
【００２１】
（１−２−１）圧縮ビデオデータフアイルの連続再生
簡単のため、各圧縮ビデオデータフアイルのデータ量はその圧縮ビツトレートと再生時間との積に等しい（データ量が特定できる）ものと仮定する。
もし、Ｔｄ1 ＝Ｔｄ2 であれば、この２つの圧縮ビデオデータフアイルＦ1 、Ｆ2 を連続的に圧縮ビツトレートＲv の転送速度でデコーダに供給してやれば、これら２つの圧縮ビデオデータフアイルＦ1 、Ｆ2 は連続的に再生される。
ところがＴｄ1 ＜Ｔｄ2 の場合には、圧縮ビデオデータフアイルＦ2 のデコード開始がＴｄ2 よりも早くなるため、仮想バアフアがアンダーフローする危険性がある。
【００２２】
逆にＴｄ1 ＞Ｔｄ2 の場合には、圧縮ビデオデータフアイルＦ2 のデコード開始がＴｄ2 よりも遅くなるため、仮想バアフアがオーバーフローする危険性がある。
この場合発生し得る最大のスタート・アツプ・デイレイは、「仮想バツフアの容量分のデータを圧縮ビツトレートと等しい転送速度で転送するのに要する時間（Ｔb ＝Ｖb ／Ｒv ）」に等しい。
【００２３】
従つて連続再生すべき圧縮ビデオデータフアイル群の先頭フアイルにおいては、そのスタート・アツプ・デイレイとは無関係に、この時間だけＴb だけ待つてからデコードを開始するようにすれば、バツフアがアンダーフローすることはない。つまりビデオデコーダバアフアにＶb だけデータがたまつてからデコードを開始するようにすれば良い。
また発生し得る最小のスタート・アツプ・デイレイは「０」であり、このようなフアイルをＴb だけデコードの開始を遅らせると、最悪Ｖb 分だけバツフアがオーバーフローしてしまう。そこでビデオデコーダバツフアとして、仮想バツフアの２倍用意しておけばオーバーフローすることはない。
【００２４】
（１−２−２）データ量不足の考慮
簡単のため、各圧縮ビデオデータフアイルのスタート・アツプ・デイレイが等しい（スタート・アツプ・デイレイが特定できる）ものと仮定し、図４（Ａ）及び（Ｂ）を参照して説明する。
一般に、圧縮ビデオデータフアイルのサイズＶｖは圧縮ビツトレートＲｖ、とその再生時間Ｔの積に一致しない（Ｖｖ、≠Ｒｖ、Ｔ）ので、圧縮ビツトレートと等しい転送速度でデータをデコーダに供給した場合、入力に要する時間（Ｖｖ、／Ｒｖ、）と出力（再生）に要する時間Ｔとは一致しない。
【００２５】
圧縮ビデオデータフアイルＦ1 において、デコーダ入力所要時間が出力所要時間よりも長い（ＶV1／Ｒv ＞ＴF1）の場合圧縮ビデオデータフアイルＦ2 のデコード開始がスタート・アツプ・デイレイＴｄ2 よりも遅くなるため、バツフアがオーバーフローする危険性がある。
逆に圧縮ビデオフアイルＦ1 において、入力所要時間が出力所要時間よりも短い（ＶV1／Ｒv ＜ＴF1）場合、圧縮ビデオデータフアイルＦ2 のデコード開始がスタート・アツプ・デイレイＴF2よりも早くなるため、バツフアがアンダーフローする危険性がある。
【００２６】
発生し得る最大の圧縮ビデオデータ量Ｖｖｍａｘは、次式
【数２】
である。そこで、実際に得られた圧縮ビデオデータ量がこの値に満たない場合には、そのフアイルの最後に「ゴミ」データＤｄを付加することにより、任意のフアイルのサイズＶｖをＶｖｍａｘになるようにする。ＭＰＥＧ規格では、「０」を「ゴミ」データとして追加することが可能である（以下、このようにフアイルのサイズ調整のために追加する「ゴミ」データＤｄを「パツド」と呼ぶ）。
このようにサイズ調整したフアイルの全データを、時間Ｔで転送できるだけの転送速度（Ｒｖ′＝Ｒｖ＋Ｖｂ／Ｔ）でデコーダに入力するようにすれば、図４（Ｂ）に示すように、入力所要時間と出力所要時間がともにＴとなるため、上述のようなバツフア破綻は発生しない。
【００２７】
しかしながらこの転送速度Ｒv ′は本来の転送速度Ｒv よりも大きいため、連続再生するしないにかかわらずバツフアがオーバーフローしてしまう危険性がある。最悪Ｖb 分だけバツフアがオーバーフローしてしまうので、このような事態を防ぐためには、ビデオデコードバツフアとして、仮想バツフアの２倍用意しておけば良い。
以上のことから、結局スタート・アツプ・デイレイが不定であり、データ量も不定であることを考慮すると、ビデオデコーダバツフアとして、仮想バツフアの（容量又は数の）３倍用意しておけばよいことがわかる。
【００２８】
（１−３）ＭＰＥＧ規格でのオーデイオ圧縮
オーデイオデータの場合はビデオデータの場合と異なり、ＭＰＥＧ規格に基づいて圧縮した場合、ビデオデータのスタート・アツプ・デイレイに相当するものは存在しないし、またその圧縮データ量はその圧縮ビツトレートと素材の時間長との積に一致するので、特に工夫しなくても複数の圧縮オーデイオデータフアイルを連続的にデコーダに供給してやれば連続的に再生される。
【００２９】
（１−４）圧縮データの最小単位
ビデオ信号はフレームという単位で扱われ、これをＭＰＥＧ規格に基づいて圧縮した場合は、さらにＧＯＰ（Group Of Picture）という単位で扱われることになる。
例えばＮＴＳＣ方式の場合、そのフレームは29.97 〔Hz〕であり、通常１ＧＯＰは15フレームで構成される。またＰＡＬ方式の場合は、そのフレームは25〔Hz〕であり、12フレームからなるＧＯＰと13フレームからなるＧＯＰとを交互に繰り返す構造にする。
【００３０】
一方オーデイオをＭＰＥＧ規格に基づいて圧縮した場合、例えばサンプリング周波数を48〔ＫHz〕とし、かつサンプル数を1152とすると、その最小単位は24〔ms〕となる。
このように、圧縮したデータには扱うことのできる最小単位というものが存在するため、任意の時間長のクリツプを厳密に実現することはできない。
ここで簡単のためクリツプの最小時間長単位を１秒とする。このような制限を受けても実際の運用上問題になることはほとんどない。このときクリツプの時間長をＴとし、この時間以上で最も近い実現可能なビデオの時間をＴv とする。また時間Ｔv 以下で最もこの時間に近く実現可能なオーデイオの時間をＴa とする。
【００３１】
ＰＡＬ方式の場合であれば、Ｔv ＝Ｔとなるが、ＮＴＳＣ方式の場合はＴv ≠Ｔとなつてしまう。
具体的な数値例を図５に示す。なおこの例は、ビデオはＮＴＳＣ方式の場合であり、オーデイオは24〔ms〕が最小単位の場合である。この例の場合、ビデオとオーデイオの誤差ＴVX−Ｔc は、０から２３までの24通り存在する。
【００３２】
（２）実施例による符号化復号化装置の構成
図６において、１０は全体として符号化復号化装置を示し、エンコーダ部１１は供給される映像オーデイオ信号Ｓ１に基づく映像信号及びオーデイオ信号をそれぞれ符号化し、多重化した後、得られた圧縮ＡＶ多重化データＤ１をデータ供給部１２に供給する。
データ供給部１２は、供給される圧縮ＡＶ多重化データＤ１をコントローラ１３の制御に基づき記録メデイア１４に記録する。またこのデータ供給部１２では、記録メデイア１４に記録された圧縮ＡＶ多重化データＤ２をコントローラ１３の制御に基づいてフアイル単位で読み出し、これを一定速度でデコーダ１５のデマルチプレクサ１６に供給する。
デマルチプレクサ１６は、供給される圧縮ＡＶ多重化データＤ２を圧縮符号化されたビデオ信号でなる圧縮ビデオデータＤ３と、圧縮符号化されたオーデイオ信号でなる圧縮オーデイオデータＤ４とに分け、これらをそれぞれビデオデコーダ１７及びオーデイオデコーダ１８に送出する。
【００３３】
このときデータ供給部１２のコントローラ１３は共有メモリ１９を介してコントローラ２０に制御情報信号Ｓ３を送出すると共に、コントローラ２０は制御情報信号Ｓ３に基づく制御信号Ｓ４及びＳ５をそれぞれビデオデコーダ１７、オーデイオデコーダ１８に供給するようになされている。
かくしてビデオデコーダ１７は、制御信号Ｓ４に基づいて圧縮ビデオデータＤ３をバツフア２１に順次蓄え、読み出しながら、これを順次デコードして出力するようになされている。
同様にしてオーデイオデコーダ１８は、制御信号Ｓ５に基づいて圧縮オーデイオデータＤ４をバツフア２２に順次蓄え、読み出しながら、これを順次デコードして出力するようになされている。
【００３４】
この実施例の場合、ビデオデコーダ１７に対応するバツフア２１としては、仮想バツフアの３倍の容量を有するものが用いられている。これにより供給される圧縮ビデオデータＤ３のスタート・アツプ・デイレイの不定や、データ量も不定によつてバツフア２１が破綻（オーバーフロー、アンダーフロー）するのを防止し得るようになされている。
またこの実施例の場合、図７（Ｂ）に示すように、デマルチプレクサ１６は、分割した圧縮ビデオデータＤ３及び圧縮オーデイオデータＤ４を速度変換することなく、そのままバースト的にビデオデコーダ１７又はオーデイオデコーダ１８に送出するようになされている。
【００３５】
この場合、本来は、所定の圧縮ビツトレートで圧縮したデータは、図７（Ａ）に示すように一定速度で各デコーダ１７、１８に供給すべきであるが、このようにしようとするとデマルチプレクサ２５の部分に速度変換をする回路が必要になる。このため実施例の符号化復号化装置１０では、このようにバースト的にデータが各ビデオデコーダ１７やオーデイオデコーダ１８に入力されてもバツフア２１、２２が破綻することなく再生が可能なように、以下のようにフオーマツトを規定している。
【００３６】
（３）連続再生及び定時再生の実現
この実施例の符号化復号化装置１０では、ＡＶの同期をとる方式としてタイム・スタンプを使用しない暗黙同期方式を採用している。
この場合このような方式でＡＶ同期をとりながらクリツプを連続再生するためには、
１．クリツプが連続しても各クリツプの頭でビデオデータとオーデイオデータの頭がそろうこと
２．クリツプが連続しても各クリツプの再生中にビデオデータ及びオーデイオデータの各デコーダバツフアが破綻しないこと
の２点を満たせば良い。
以下にこれら各条件をそれぞれ満たすための方法を説明する。
【００３７】
（３−１）定時再生及び連続再生実現のためのＡＶ頭合わせの方法
現在、デコーダにはいろいろなタイプのものが存在しているが、実施例の符号化復号化装置１０では、ビデオデコーダ１７として、「スタート命令を受け取つた後、1.5 フーム時間（0.05秒）後に再生を開始するもの」を適用し、オーデイオデコーダとして、「スタート命令を受け取つた後、すぐに再生を開始するもの（通常のデコーダ仕様）」を適用して、以下のシーケンスにより定時再生を実現している。
【００３８】
１．再生を開始したい時刻のＴS 秒（仮想バツフア分の圧縮ビデオデータをビデオデコーダ１８のバツフア２２に転送するのに要する時間）前に、データ供給部のコントローラ１３（図１）により記録メデイア１４からデータ転送を開始するようにする。このＴS 秒という時間は、後述するように任意のクリツプについて同一となる。
２．デマルチプレクサ１６が最初のクリツプの先頭データを受信したら、デコーダ１５のコントローラ２０にデータの転送が開始されたことを伝える。
３．（ＴS −0.05）秒経過したら、コントローラ２０からビデオデコーダ１７に対して再生動作開始命令を出す。
４．さらに0.05秒経過したら、コントローラ２０からオーデイオデコーダ１８に対して再生開始命令を出す。
【００３９】
これによりビデオデータ及びオーデイオデータについて同時に所定時刻に再生が開始されるが、このような方法を実現するためには経過時間を計測する必要がある。
しかるにこの実施例の符号化復号化装置１０では、圧縮ＡＶ多重化データＤ１が一定速度でデマルチプレクサ１６に転送されるので、このデマルチプレクサ１６を通過するデータの数をカウントしていれば、経過時間を計ることができる。
【００４０】
このためこの実施例の場合、カウンタ等を用いずに、エンコーダ部１１が映像信号及びオーデイオ信号を符号化、多重化する際、データフアイル内に「マルチプレクサ１６が各デコーダ１７、１８に対して動作命令を出すべき時刻に相当する位置」に目印として特殊なコード（以下、これをマークと呼ぶ）を入れるようになされている。
またデマルチプレクサ１６は、データフアイル内からこのマークを検出すると、これをマーク検出信号Ｓ１０（図６）としてコントローラ２０に伝える一方、コントローラ２０はこのマーク検出信号Ｓ１０に基づきその内容に応じてビデオデコーダ１７及びオーデイオデコーダ１８に対して制御信号Ｓ４及びＳ５を送出するようになされている。
これによりこの符号化復号化装置１０では、コントローラ２０が上述のようなタイミングでビデオデコーダ１７及びオーデイオデコーダ１８をそれぞれ駆動し得るようになされている。
【００４１】
なおこのマークとしては、再生圧縮多重化データＤ２の中から識別することができるように、ＭＰＥＧシステム規格によつて、決してマークは再生圧縮多重化データＤ２には現れないことが保証されている４バイトのコードを使用している。
この実施例の場合、ビデオデコーダ１７にデコードを開始させるビデオデコード開始マーク、及びオーデイオデコーダ１８にデコーダを開始させるオーデイオデコード開始マークとして、それぞれ16進数表示で「000001BD」、「000001BF」なるコードを使用している。
【００４２】
また圧縮ＡＶ多重化データＤ２の転送速度を５〔Ｍｂｐｓ〕とし、仮想バツフアの容量分の圧縮ビデオデータＤ４をビデオデコーダ１７のバツフア２１に転送するのに圧縮再生多重化データＤ２を４〔Ｍｂｉｔ〕供給する必要があるものとして、図８に示すように、先頭から次式
【数３】
の位置にビデオデコード開始マークＭ１「０００００１ＢＤ」を置き、その次式
【数４】
後にオーデイオデコード開始マークＭ２「０００００１ＢＦ」を置いている。
次に連続再生実現のためのＡＶ頭合わせの方法について説明する。
【００４３】
上述の「（１−４）圧縮データの最小単位」のところで説明したように、ビデオデータとオーデイオデータとの再生時間は一致しない。例えば時間が６秒であるクリツプでは、0.006 秒だけビデオの方が再生時間が長くなる。従つて６秒のクリツプを２つ連続して再生すると、最初のクリツプのＡＶ同期が完全にとれていたとしても、２つ目のクリツプはオーデイオ信号の再生開始が0.006 秒だけ早くなつてしまう。この程度の差であれば、実際上は何ら違和感を感じることはないが、クリツプの連続数が増えるごとにこの差は蓄積されていくため、例えは10個も連続すると、オーデイオとビデオとの差は0.06秒にもなつてしまい、違和感を感じるようになる。
このためこの実施例の符号化復号化装置１０では、以下の方法により各クリツプの頭においてＡＶの頭が合うようにしている。
１．再生を開始してからオーデイオの再生時間Ｔc が経過したら、オーデイオデコーダ１８を停止させる。
２．さらに再生時間差（Ｔv −Ｔc ）だけ時間が経過したら、再びオーデイオデコーダ１８を動作させる。
３．この操作を各クリツプに対して繰り返す。
この場合この方法を実現するためには、定時再生の場合と同様に経過時間を計測する必要がある。
【００４４】
このためこの実施例では、上述の場合と同様にして、ここでもエンコーダ部１１が各データフアイルの所定位置に所定のマークを付加するようになされている。
例えば図５によりＴ＝６〔ｓ〕のクリツプの場合、再生時間差が０．００６秒であるから、オーデイオデコード開始マークＭ１の前の位置にオーデイオデコーダ１８にデコードを停止させるオーデイオデコード停止マークＭｓ１〜Ｍｓ２３（図８）を入れる。
この場合圧縮オーデイオデータの最小単位が２４〔ｍｓ〕である場合、再生時間差は０〜２３〔ｍｓ〕までの２４通り存在するが、差が０〔ｍｓ〕の場合は、オーデイオデコーダ１８を停止させる必要がないのでオーデイオデコード停止マークＭｓ１〜Ｍｓ２３としては２３個用意すれば良い。
【００４５】
このためこのエンコーダ部１１では、オーデイオデコード停止マークＭｓ１〜Ｍｓ２３として、例えば「０００００１Ｃ１」〜「００００１Ｄ７」までの２３個のコードをそれぞれ１〜２３〔ｍｓ〕の再生時間差に対応させている。従つてこれらのコードは、５〔Ｍｂｐｓ〕×０．００１〔ｓ〕＝６２５〔ｂｙｔｅ〕毎に現れることになる。またこのエンコーダ５は、これら２３個のコードのうちどれに従つてデコードを停止させれば良いかを示すマーク（以下、これを停止マーク指定マークＭ３と呼ぶ、例えば「０００００１Ｄ８」）を各クリツプの最後に付加し、この後に有効となるオーデイオデコード停止マークＭ４を続けて付加するようになされている。
例えばＴ＝６〔ｓ〕のクリツプの場合、再生時間差が０．００６〔ｓ〕であるから、オーデイオデコード停止マークＭｓ６を有効にさせる必要があるため、このクリツプの最後尾の８〔ｂｙｔｅ〕は「０００００１Ｄ８０００００１Ｃ６」となる。
【００４６】
クリツプ１（Ｔ＝６〔ｓ〕）とクリツプ２（Ｔ＝７〔ｓ〕）とを連続再生する場合、クリツプ１の停止マーク指定マークＭ３からオーデイオデコード停止マークＭｓ６が有効であることがわかつているので、クリツプ２のオーデイオデコード停止マークＭｓ６がデマルチプレクサ１６において検出された時点で、オーデイオデコーダ１８に停止命令を出し、さらにクリツプ２のオーデイオデコード開始マークＭ２が検出された時点で、オーデイオデコーダ１８に開始命令を出すようになされている。
なおクリツプの連続再生を開始する前に有効な各停止マークＭｓ１〜Ｍｓ２３をクリアするため、「００００００００」にしておくことにより先頭クリツプの停止マークＭｓ１〜Ｍｓ２３で停止命令が出されるのを防止し得るようになされている。
【００４７】
（３−２）連続再生実現のためのバツフア使用方法
（３−２−１）圧縮ＡＶ多重化フオーマツトの基本構造
以下、同一種類のデータのかたまりを「パケツト」と呼ぶことにする。ここで種類とは、ビデオ、オーデイオ及びパケツトの３つを意味する。各パケツトの頭にその種類を表すためのヘツダを付ける。
またいくつかのパケツトの集まりを「パツク」と呼ぶことにする。パツクはパケツトとは異なり、何らかの識別ヘツダがつくわけではない。
ここでこの実施例の符号化復号化装置１０では、以下に示す３種類のパツクを使用している。
１．標準パツク
……原則として、ビデオパケツト、オーデイオパケツト、パツドパケツト各１つずつから構成される。
２．先頭パツク
……仮想バツフア分だけビデオパケツトのデータ量が標準パツクよりも大きい。
３．残余パツク
……上述の２種類のパツクに含まれなかつた残りのデータから構成されている。
【００４８】
この実施例の場合、１つのクリツプをエンコードして得られる１つの圧縮ＡＶ多重化データフアイルは、図９（Ａ）に示すように、その先頭に１つの「先頭パツク」が存在し、その後複数個の「標準パツク」が連続し、最後に１つの「残余パツク」がくるように構成されている。
なおデータ制御用のマークは全て、先頭パツクのビデオパケツト内に位置することになるため、パケツト・ヘツダの内容にマークが挿入されて、パケツト・ヘツダが認識できなくなるようなことは発生しない。
【００４９】
（３−２−２）パケツト・ヘツダ
各パケツトの種類を識別するためのヘツダとしては、圧縮データの中には決して現れないパターンを採用する必要がある。このためこの符号化復号化装置１０では、MPEGシステム規格においてヘツダ用に確保されているパターンを採用している。実際上例えば、以下のようなパターンを用いている。なお、各ヘツダは16進数表示しており、そのサイズは４バイトである。
ビデオ・パケツト・ヘツダ ……000001E3
オーデイオ・パケツト・ヘツダ ……000001C0
パツド・パケツト・ヘツダ ……000001BE
かくしてデマルチプレクサ１６では、入力されてくる圧縮ＡＶ多重化データＤ２の任意の連続する４バイトを調べて、それがビデオ・パケツト・ヘツダであれば以下に続くデータをビデオ・デコーダ１７に振り分け、オーデイオ・パケツト・ヘツダであれば以下に続くデータをオーデイオ・デコーダ１８に振り分け、パツド・パケツト・データであれば以下に続くデータを破棄するようになされている。
【００５０】
（３−２−３）圧縮ビツト・レート値等に関する制限
時間長Ｔのクリツプを、仮想バツフア量Ｖｂ、ビデオ圧縮ビツト・レートＲｖで圧縮した場合、発生し得る最大の圧縮ビデオ・データ量は、上述のように次式
【数５】
で与えられる。
このためこの実施例の符号化復号化装置１０では、実際に得られた圧縮ビデオ・データ量がこの値に満たない場合は、その最後にパツド・データを付加することにより、任意のフアイルのサイズをＶｖｍａｘになるようにしている。このようにサイズ調整したあとの全データを、時間Ｔで転送する場合、ビデオ・データ転送速度Ｒｖ′は次式によつて表される。
【数６】
Ｒｖ′が最大Ｒｖｍａｘ′となるのはクリツプの時間長が最小Ｔｍｉｎの場合である。
【数７】
圧縮ＡＶ多重化データ転送速度Ｒｍは、少なくとも圧縮ビデオ・データ転送速度と圧縮オーデイオ・データ転送速度の和よりも大きくなければならない。オーデイオに関してはその圧縮ビツト・レートに等しい値の転送速度でよい。よつて、これらのパラメータは次式を満たさなければならない。（正確には、ヘツダやマーク分も考慮する必要があるが、ここでは簡単のため省略する）
【数８】
【数９】
【００５１】
実際上この符号化復号化装置１０では、Ｒv 、Ｒm 、Ｒa 、Ｔmin 、Ｖb 等のパラメータは任意の値が可能なわけではなく、その用途やハードウエアの都合等により制限が加わる。このためこの符号化復号化装置１０では、これらパラメータの中で制限の強いものから決めていき、最終的に（９）式を満たすように順次選定している。
【００５２】
（３−２−４）パケツト・サイズの算出
圧縮ビツト・レートの値等のパラメータ値が与えられた場合に、各パケツトのサイズをいくつにすればよいのかを算出するための式を以下に示す。
まず、以下の計算で使用する変数を列挙する。
ビデオ圧縮ビツト・レート ……Ｒv 〔Mbps〕
ビデオ・データ転送速度 ……Ｒv ′〔Mbps〕
オーデイオ圧縮ビツト・レート ……Ｒa 〔kbps〕
圧縮ＡＶ多重化データ転送速度 ……Ｒm 〔Mbps〕
クリツプの時間長（１秒単位） ……Ｔ〔ｓ〕
最小クリツプの時間長（１秒単位）……Ｔmin 〔ｓ〕
Ｔ以上でＴに最も近く現実可能なビデオの再生時間……Ｔv 〔ｓ〕
Ｔv 以下でＴに最も近く現実可能なオーデイオの再生時間……Ｔa 〔ｓ〕
クリツプを転送するのに要する時間……Ｔt 〔ｓ〕
仮想バツフア分の圧縮ビデオ・データが転送されるのに要する時間……ＴS 〔ｓ〕
仮想バツフア量 ……Ｖb 〔Mbit〕
１クリツプの圧縮ビデオ・データ量……Ｖv 〔byte〕
１クリツプの圧縮オーデイオ・データ量……Ｖa 〔byte〕
１クリツプのパツド・データ量 ……Ｖp 〔byte〕
１クリツプの総データ量 ……Ｖm 〔byte〕
全マーク・データ量 ……Ｖk 〔byte〕（＝４×27〔byte〕〕）
パケツト・ヘツダ・サイズ ……Ｌh 〔byte〕（＝４〔byte〕）
標準ビデオ・パケツト・サイズ（ヘツダは含まない）……Ｌv 〔byte〕
標準オーデイオ・パケツト・サイズ（ヘツダは含まない）……Ｌa 〔byte〕
標準パツド・パケツト・サイズ（ヘツダは含まない）……Ｌp 〔byte〕
標準パツク・サイズ（ヘツダを含む） ……Ｌm 〔byte〕
パツク数（残余パツクを除く） ……Ｐ
＊標準パケツトとは標準パツク内のパケツトであることを表す。
残余ビデオ・パケツト・サイズ（ヘツダは含まない）……Ｌv ′〔byte〕
残余オーデイオ・パケツト・サイズ（ヘツダは含まない）……Ｌa ′〔byte〕
残余パツド・パケツト・サイズ（ヘツダは含まない）……Ｌp ′〔byte〕
＊残余パケツトとは残余パツク内のパケツトであることを表す。
単位変換係数（Mbit→byte）……Ｃm ＝125000＝1000×1000/8
単位変換係数（kbit→byte）……Ｃk ＝125 ＝1000/8
【００５３】
Ｔを１秒単位とした場合、簡単のため、任意の時間長のクリツプにおいて標準パケツトのサイズＬｖおよびＬａがそれぞれ等しくなるようにするためには、次式を満たすようにＲｖ、Ｒａ、Ｌｖ、Ｌａを選択すればよい。
【数１０】
【数１１】
【数１２】
通常、Ｒｖはせいぜい０．１〔Ｍｂｐｓ〕単位であり、Ｒａは６４、１２８、１９２、２５６、３８４〔ｋｂｐｓ〕のいずれかである。従つて、上式を満たすような整数Ｌｖ、及びＬａは存在する。
圧縮データの取り得る最小単位の制限により発生する端数データ、つまりビデオにおけるＲｖ、×（Ｔｖ、−Ｔ）及びオーデイオにおけるＲａ×（Ｔａ−Ｔ）分のデータで残余パツクを構成するようにし、残りのデータ、つまり、ビデオにおけるＲｖ、Ｔ＋Ｖｂ及びオーデイオにおけるＲａ×Ｔで標準パツクと初期パツクを構成するようにする。
【００５４】
このようにするとＲａ及びＲｖに関して次式が成り立つ。
【数１３】
【数１４】
【数１５】
【数１６】
（１４）式及び（１６）式よりＲｖ、Ｒａ、Ｌａを与えれば、Ｌｖを算出できる。
オーデイオ・データ量Ｖａは
【数１７】
ビデオ・データ量Ｖｖは
【数１８】
多重化データ量Ｖｍは
【数１９】
よつて、パツド・データ量Ｖｐは、
【数２０】
よつて
【数２１】
【００５５】
（２１）式よりＬｐ及びＬｐ′が求められる。
Ｔａ＜Ｔの場合、次式を満たす整数Ｋ及びＬａ″が存在する。
【数２２】
このとき標準パツクの最後からＫ＋１番目のパツクに関して、オーデイオ・パケツトのデータ・サイズをＬａ−Ｌａ″とし、このパケツトの直後にサイズがＬａ″−Ｌｈのパツト・パケツトを置くようにする。そして、標準パツクの最後からＫ個のパツク関して、オーデイオ・パケツトの代わりに同サイズのパツド・パケツトを置くようにする。
また、残余パツクに関して、次式が成り立つ。
【数２３】
【数２４】
【００５６】
（３−２−５）連続再生実現のための条件
上述の「（１−２）圧縮ビデオ・データ・フアイルの連続再生」で説明したように、圧縮ビデオデータだけであつても連続再生するためには、ビデオ・デコーダ・バツフアを仮想バツフアの３倍用意する必要がある。
以下に多重化した場合にも、ビデオ・デコーダ・バツフア及びオーデイオ・デコーダ・バツフアをそれぞれ仮想バツフアの３倍用意すれば連続再生できる条件を示す。
まず「（１−２−１）スタート・アツプ・デイレイ不定の考慮」で示したように、各クリツプのスタート・アツプ・デイレイが不定であることに対処するためには、仮想バツフアの２倍の容量が必要となる。図１１の「データ出力折れ線の推移可能領域」をカバーするのがこの２倍バツフアである。よつて、残りの１倍バツフア内でデータ入力折れ線を推移させるようにできれば、３倍バツフアで連続再生が可能となる。
【００５７】
ビデオ・デコーダ・バツフア１７には、１つのクリツプのデータだけが入つている時間と２つのクリツプのデータが入つている時間が存在する。
２つのクリツプのデータが入つている時間は、もしＴt ＝Ｔv であれば、各クリツプの最初のＴS 時間だけである。この時間は、任意のクリツプについて先頭パツクを転送している時間であり、先頭以外にオーデイオ・パケツトやパツド・パケツトが含まれないため、図１０からも明らかなように、入力折れ線は必ず直線▲１▼よりも下になる。つまり、１倍バツフア内をデータ入力折れ線が出ることはない。
１つのクリツプのデータだけが入つている時間（ＴS だけ経過した後の時間）に関しては、図１０において、直線▲１▼と直線▲２▼の間に入るようにふればよい。そのためには以下の条件を満たすようにすればよい。
条件１：直線▲１▼と直線▲３▼が原点以外で交わらないようにする。
【００５８】
つまり任意のｔ＞０についてｖ３（ｔ）＞ｖ１（ｔ）が成り立つようにすればよい。
【数２５】
【数２６】
条件２：直線▲２▼と直線▲４▼がビデオ・データを転送し終わる時刻ｔｅまで交わらないようにする。つまりｖ４（ｔｅ）＜ｖ２（ｔｅ）が成り立つようにすればよい。この場合、次式
【数２７】
なので、
【数２８】
【数２９】
【００５９】
なお、各直線▲１▼〜▲４▼の方程式は以下の通りである。また、厳密にはヘツダやマークの分も考慮する必要があるが、圧縮データのデータ量に比べて非常に小さいので無視する。
【数３０】
【数３１】
【数３２】
【数３３】
従つて、仮想バツフアの３倍で連続再生を実現するためには、Ｔｔ＝Ｔｖとして、かつ（２６）式及び（２９）式を満たすように各パラメータを選択すれば良く、実際上この実施例の符号化復号化装置１０でもこのように各パラメータが選定されている。
【００６０】
（３−２−６）連続再生可能な圧縮ＡＶ多重化フオーマツトの例
Ｒｍ＝５〔Ｍｂｐｓ〕、Ｒｖ＝４〔Ｍｂｐｓ〕、Ｒａ＝２５６〔ｋｂｐｓ〕、Ｔｍｉｎ＝６〔ｓ〕、Ｖｂ＝４〔Ｍｂｐｓ〕という要求を実現するフオーマツトを示す。ただし、ビデオはＮＴＳＣ方式とする。
なおこの場合、（９）式の右辺は５〔Ｍｂｐｓ〕であり、左辺は次式
【数３４】
となるため、（９）式は満足されており、これらの値が選択可能であることがわかる。
例えばクリツプ時間長Ｔ＝６〔ｓ〕の場合、図５から、
Ｔｔ、＝Ｔｖ、＝６．００６〔ｓ〕、Ｔａ＝６〔ｓ〕
適当にＬａ＝１０００〔ｂｙｔｅ〕として（あまり大きくするとオーデイオ・バツフアが破綻する可能性がある。逆に小さくしすぎると標準パツク数が増えてヘツダによるオーバ・ヘツドが増えてしまう）、（１４）式より標準パツク数を求める。
【数３５】
（１６）式より標準ビデオ・パケツトのサイズを求める。
【数３６】
（２１）式よりパツド・パケツトのサイズを求める。
【数３７】
よつて、Ｌｐ＝２９３〔ｂｙｔｅ〕、Ｌｐ′＝７４〔ｂｙｔｅ〕となる。
【００６１】
（２３）式より残余ビデオ・パケツトのサイズを求める。
【数３８】
ここでＴａ＝Ｔなので、残余オーデイオ・パケツトのサイズは０である。
以上の値より標準パックのサイズを求める。
【数３９】
このとき（２６）式は満たされていることが分かる。
０．９２＞０．８
このとき（２９）式も満たされていることが分かる。
２３．２＜２４
以上の結果、得られるフオーマツトを図１２に示す。同様にして、クリツプ時間長７秒の場合についても算出し、その結果を図１３に示す。
この場合は、Ｔａ≠Ｔとなるため、最後の標準パツクは他の標準パツクとは異なりＴａ−Ｔに相当する分のパツド・パケツトが存在する。
各パラメータの値が決まれば、クリツプの内容に無関係に任意のクリツプについてクリツプ時間長ごとに、図１２及び図１３のようなフオーマツト・テーブルを作成することができるので、実際に圧縮ＡＶデータを多重化する場合、各エンコーダで得られた圧縮データをこのテーブルに従つて多重化してやればよい。
【００６２】
このためこの実施例の符号化復号化装置１０では、エンコーダ部１１にこのようなフオーマツト・テーブルが予め格納されており、エンコーダ部１１がこのフオーマツト・テーブルに基づいて符号化された映像信号と符号化されたオーデイオ信号とを多重化するようになされている。
【００６３】
（４）第１実施例の動作
以上の構成において、この符号化復号化装置１０では、エンコーダ部１１に供給される映像オーデイオ信号Ｓ１に基づく映像信号及びオーデイオ信号を、このエンコーダ部１１において符号化し、これらを上述の第１の多重化フオーマツトに従つて多重化することにより圧縮ＡＶ多重化データＤ１を形成すると共に、この際各クリツプ毎に、ビデオデコード開始マークＭ1 、オーデイオデコーダ開始マークＭ2 、オーデイオ停止マークＭS1〜ＭS23 、停止マーク指定マークＭ3 及びオーデイオデコード停止マークＭ4 （以下、これらをまとめてデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 と呼ぶ）をそれぞれ所定位置に付加し、これをデータ供給部１２に供給して記録メデイア１４に記録させる。
この圧縮ＡＶ多重化データＤ１はコントローラ１３の制御に基づいてデータフアイル単位で読み出され、圧縮ＡＶ多重化データＤ２としてデマルチプレクサ１６に供給され、このデマルチプレクサ１６において圧縮ビデオデータＤ３と圧縮オーデイオデータＤ４とに分割されて、それぞれビデオデコーダ１７又はオーデイオデコーダ１８に送出される。
この際デマルチプレクサ１６は、このデータフアイルの中からデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 を検出すると、検出結果に基づくマーク検出信号Ｓ１０をコントローラ２０に送出する。
コントローラ２０はこのマーク検出信号Ｓ１０に基づいて制御信号Ｓ４、Ｓ５をそれぞれビデオデコーダ１７及びオーデイオデコーダ１８にそれぞれ出力してビデオデコーダ１７を駆動制御することにより、ビデオデコーダ１７及びオーデ．オデコーダ１８を必要に応じて開始させ、又は停止させる。またこの際コントローラ２０はオーデイオデコーダ１８の再生動作をクリツプの時間長に応じた所定時間停止させる。
【００６４】
このようにこの符号化復号化装置１０では、エンコーダ側において、各クリツプ毎にクリツプの時間長に応じた制御用のデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 を入れると共に、デコーダ側ではこれらデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 に基づいてビデオデコーダ１７及びオーデイオデコーダ１８を駆動制御するため、各クリツプ毎に完結してＡＶの頭を合わせることができる。
またこの符号化復号化装置１０では、ビデオデコーダ１７のバツフア２１が仮想バツフアの（容量又は数の）３倍に設定されており、さらにこの３倍のバツフア２１を破綻させないように、クリツプの時間長のみに依存し、かつ先頭ビデオパケツトのサイズが他のビデオパケツトよりも仮想バツフアの容量分だけ大きい特徴を有する上述の第１の多重化フオーマツトに従つて、エンコーダ１１が符号化されたビデオ信号と、符号化されたオーデイオ信号とを多重化するため、ビデオデコーダ１７のバツフア２１が破綻することはない。
従つて「（３）連続再生の実現」において提示した２つの条件を満たすため、ＡＶ同期をとりながら連続再生することができる。
【００６５】
従つて例えばクリツプ素材としてテレビジヨン放送ＣＭを適用し、これをＭＰＥＧ圧縮して、上述の多重化フオーマツトに従つてＡＶ多重化したのち、ＨＤＤ等の大容量かつランダム・アクセス可能な記録メデイアに記録しておき、ＣＭ放送のタイム・テーブルに従つて指定のＣＭ圧縮データ群を指定時刻にデコーダに供給するようにすれば、指定時刻にかつ連続にＣＭを放送することができる。
【００６６】
（５）第１実施例の動作
以上の構成によれば、エンコーダ側において、各クリツプ毎にクリツプの時間長に応じた制御用のデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 を入れると共に、デコーダ側ではこれらデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 に基づいてビデオデコーダ１７及びオーデイオデコーダ１８を駆動制御する一方、エンコーダ部５が、クリツプの時間長のみに依存し、かつ先頭ビデオパケツトのサイズが他のビデオパケツトよりも仮想バツフアの容量分だけ大きい特徴を有する第１の多重化フオーマツトに従つて、符号化されたビデオ信号と、符号化されたオーデイオ信号とを多重化するようにしたことにより、各クリツプのＡＶの頭を合わせ得ると共にバツフア２１が破綻するのを防止でき、かくして複数のクリツプを指定された時刻に連続的に再生し得る符号化復号化装置を実現できる。
【００６７】
〔２〕第２実施例
図６との対応部分に同一符号を付して示す図１４は、第２実施例による符号化復号化装置４０を示し、デコーダ４１のコントローラ４２が、その内部メモリに予め記憶している各クリツプ長におけるビデオとオーデイオとの再生時間差データに基づいてビデオデコーダ１７及びオーデイオデコーダ１８の駆動を制御することを除いて第１実施例の符号化復号化装置１０（図６）とほぼ同様に構成されている。
すなわちこの符号化復号化装置４０の場合、エンコーダ４３は、供給される映像音声信号Ｓ１に基づく映像信号及びオーデイオ信号をそれぞれ符号化し、これらを上述の第１の多重化フオーマツトに従つて多重化し、圧縮ＡＶ多重化データＤ３０としてデータ供給部４４に送出する。
データ供給部４４は、供給される圧縮ＡＶ多重化データＤ３０をコントローラ４５の制御に基づいて記録メデイア１４に記録する。またデータ供給部４４は、コントローラ４５の制御に基づいて、記録メデイア１４に記録された圧縮ＡＶ多重化データＤ３１をクリツプ単位で再生し、これをデコーダ４１のデマルチプレクサ４６に送出する。
デマルチプレクサ４６は、供給される圧縮ＡＶ多重化データＤ３１を圧縮映像データＤ４及び圧縮オーデイオデータＤ５に順次分割し、これらをそれぞれビデオデコーダ１７及びオーデイオデコーダ１８に送出する。
この際コントローラ４５は、このクリツプの時間長を時間情報信号Ｓ３０として共有メモリ１９を介してデコーダ４１のコントローラ４２に供給する。
【００６８】
このコントローラ４２は、クリツプの各時間長におけるビデオとオーデイオとの間の再生時間差データを予め記憶しており、供給された時間情報信号Ｓ３０に基づくこのクリツプの時間長と、記憶している対応する再生時間差データとに基づく制御信号Ｓ４、Ｓ５を生成し、これらをそれぞれビデオデコーダ１７及びオーデイオデコーダ１８に送出する。
これによりこのコントローラ４２は、データ供給部４４のコントローラ４５が記録メデイア１４からこのクリツプを再生し始めてからオーデイオの再生時間Ｔc が経過した後オーデイオデコーダ１８を停止させ、この後再生時間差（Ｔｖ−Ｔc ）だけ時間が経過すると再びオーデイオデコーダ１８を動作させることを各クリツプに対して順次行うようにオーデイオデコーダ１８を駆動制御するようになされ、かくして各クリツプの頭においてビデオとオーデイオの頭を合わせさせ得るようになされている。
以上の構成において、この符号化復号化装置４０では、データ供給部４４のコントローラ４５が記録メデイア１４に記録された圧縮ＡＶ多重化データＤ３１をクリツプ単位で再生する際、このクリツプの再生時間情報をデコーダ４１のコントローラ４２に供給する。
【００６９】
一方コントローラ４２は、コントローラ４５から供給されるこのクリツプの再生時間時間情報と、コントローラ４２自体がもつている再生時間差データとに基づいて、各クリツプの頭においてビデオとオーデイオの頭が合うようにビデオデコーダ１７及びオーデイオデコーダ１８を駆動制御する。
このようにこの符号化復号化装置４０では、各クリツプ単位でこのようなオーデイオデコーダ１８の駆動制御が行われるため、各クリツプ内で完結してビデオ及びオーデイオ間の再生時間差を補正することができ、かくしてＡＶ同期を取ることができる。
またビデオデコーダ１７のバツフア２１が仮想バツフアの容量の３倍のものに選定されており、エンコーダ４３が供給これら符号化されたビデオ信号及びオーデイオ信号を第１の多重化フオーマツトに従つて多重化するため、第１実施例の場合と同様にＡＶ同期を取りながら各クリツプを連続再生することができる。
【００７０】
以上の構成によれば、ビデオデコーダ１７のバツフア２１の容量を仮想バツフアの３倍にし、かつエンコーダ４３が、供給される符号化されたビデオ信号及びオーデイオ信号を第１の多重化フオーマツトに従つて多重化するように設定すると共に、データ供給部４４のコントローラ４５が記録メデイア１４に記録された圧縮ＡＶ多重化データＤ３１をクリツプ単位で再生する際、このクリツプの再生時間情報をデコーダ４１のコントローラ４２に供給し、かつコントローラ４１がこの再生時間時間情報と、コントローラ４１自体がもつている再生時間差データとに基づいてビデオデコーダ１７及びオーデイオデコーダ１８を、各クリツプの頭においてビデオとオーデイオの頭が合うように駆動制御するようにしたことにより、第１実施例の符号化復号化装置１０と同様に複数のクリツプを指定された時刻に連続的に再生し得る符号化復号化装置を実現できる。
【００７１】
【発明の効果】
上述のように本発明によれば、所定の圧縮ビツトレートで圧縮符号化された圧縮ビデオデータ及び圧縮オーデイオデータで形成される素材の時間長毎に発生する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を、復号化側に再生時間差データとして記憶しておくようにしたことにより、タイムスタンプの有無に係わらず、素材の時間長のみから、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を特定することができ、さらに当該特定した再生時間差分だけ、圧縮オーデイオデータに対する復号動作を停止させることにより、複数の素材を連続再生する際に、各素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータの再生開始時刻を同期させることができるので、従来と比して一段と簡易な構成でありながら、各素材の再生を指定時刻に開始でき、かつ複数の素材を連続的に再生することのできる復号化装置及び符号化復号化装置を実現できる。
また本発明によれば、予め素材の時間長に対する最小単位を設定しておくことにより、素材の時間長と、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差との組み合わせパターンを、最小単位が設定されていない場合と比べて格段と少なくすることができるので、より少ないデータ量の再生時間差データで圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を特定することができる。
【図面の簡単な説明】
【図１】仮想バツフアとスタート・アツプ・デイレイの説明に供するグラフ及びブロツク図である。
【図２】スタート・アツプ・デイレイとバツフアの破綻の説明に供するグラフである。
【図３】圧縮ビデオデータフアイルのデータ量の説明に供するグラフである。
【図４】データ量とデータ転送速度の調整の説明に供するグラフである。
【図５】ビデオ及びオーデイオの実現可能時間を示す図表である。
【図６】第１実施例の符号化復号化装置の構成を示すブロツク図である。
【図７】デマルチプレクス後のデータ転送形態を示すブロツク図である。
【図８】デコーダ制御マークの説明に供する略線図である。
【図９】圧縮ＡＶ多重化データフアイルのフオーマツトを示す略線図である。
【図１０】ビデオデコーダへの入力の推移を示すグラフである。
【図１１】連続再生時のビデオデコーダバツフアの使用状況の説明に供するグラフである。
【図１２】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１３】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１４】第１実施例の符号化復号化装置の構成を示すブロツク図である。
【図１５】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１６】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１７】タイム・スタンプ方式の説明に供するブロツク図である。
【図１８】タイム・スタンプ方式の場合の連続再生の説明に供する略線図である。
【符号の説明】
１０、４０……符号化復号化装置、１１、４３……エンコーダ、１２、４４……データ供給部、１３、２０、４２、４５……コントローラ、１４……記録メデイア、１６、４６……デマルチプレクサ、１７……ビデオデコーダ、１８……オーデイオデコーダ、２１、２２……バツフア、Ｓ４、Ｓ５……制御信号、Ｓ１０……マーク検出信号、Ｄ１、Ｄ２……圧縮ＡＶ多重化データ、Ｍ1 ……ビデオデコード開始マーク、Ｍ2 ……オーデイオデコード開始マーク、Ｍ3 ……停止マーク指定マーク、Ｍ4 ……オーデイオデコーダ停止マーク、ＭS1〜ＭS23 ……オーデイオデコード停止マーク。
【数２７】
【数２８】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１７）
発明が解決しようとする課題（図１７及び図１８）
課題を解決するための手段（図１〜図１６）
作用（図１〜図１６）
実施例（図１〜図１６）
発明の効果
【０００２】
【産業上の利用分野】
本発明は復号化装置及び符号化復号化装置に関し、例えばＡＶサーバシステムに適用して好適なものである。
【０００３】
【従来の技術】
従来、ビデオ信号及びオーデイオ信号のデイジタル圧縮には種々の方式があるが、そのなかで現在最も注目を集めている方式の１つにＭＰＥＧ（Moving Pictur Experts Group ）規格がある。
このＭＰＥＧ規格に従つて圧縮したＡＶ（Audio Vidual：音響・映像）データを再生（デコード）する場合、ＡＶ間の同期をとる必要があるが、その方式には大きく分けて暗黙同期方式とタイム・スタンプ方式の２つの方式がある。
【０００４】
暗黙同期方式は、ほぼ同一の時刻、同一時間長に相当する各ＡＶデータをある単位で多重化しておき、１つのＡＶ素材（以下、これをクリツプと呼ぶ）の先頭においてＡＶの頭が合うようにそれぞれのデコード開始時刻を調節することによりＡＶ同期をとる方式である。
一方タイム・スタンプ方式は、ＡＶの多重化時に各ＡＶデータのある単位毎にその再生時刻を示すタイム・スタンプ（DTS:Decoding Time Stamp 及びPTS:Presentation Time Stamp ）を付加し、さらにそのタイム・スタンプの基準となる時刻を示すタイム・スタンプ（SCR:System Clock Refernece 又はPCR:Program Clock Refernece ）をある単位毎に付加しておき、各デコーダがこのタイム・スタンプに従つて再生を実行することによつてＡＶ同期をとる方式である。なおＭＰＥＧシステム規格はこの方式を採用している。
【０００５】
一般的にタイム・スタンプ方式は暗黙同期方式に比べて精度は高いがしくみが複雑になるため実現コストが高くなる特徴がある。
タイム・スタンプの使用方法についてもう少し追加説明する。図１７に示すように、デマルチプレクサ１は供給されるＡＶ多重化データＤAvから基準時刻情報PCR を抽出し、この値に同期するようにシステムクロツクＣＬ１を調整する。このシステムクロツクＣＬ１は、オーデイオデコーダ２及びビデオデコーダ３にそれぞれ与えられる。
【０００６】
またデマルチプレクサ１は、ＡＶ多重化データＤAvから抽出したオーデイオデータＤAdを再生時刻情報DTS と共にオーデイオデコーダ２に供給し、かつ抽出したビデオデータＤViを再生時刻情報DTS 及びPTS と共にビデオデコーダ３に供給する。
これによりこれらオーデイオデコーダ２及びビデオデコーダ３は、それぞれシステムクロツクＣＬ１と、再生時刻情報DTS 及びPTS とに基づいてこれらを比較することによりいつ再生動作を開始すればよいのかを判断するようになされている。
【０００７】
【発明が解決しようとする課題】
ここで複数のクリツプを連続再生する場合を考える。
タイム・スタンプ方式の場合、図１８に示すように、クリツプのつなぎめ付近の時刻では、すでにデマルチプレクサ１には次のクリツプ（クリツプ２）のデータが入力され始めており、システムクロツクＣＬ１もクリツプ２の基準時刻情報PCR に同期しているが、オーデイオデコーダ２及びビデオデコーダ３ではまだ前のクリツプ（クリツプ１）の処理をしているという時間帯Ｔ0 が存在し得る。この場合各クリツプ１、２の基準時刻情報PCR はそれぞれ独立しているため、この時間帯Ｔ0 にオーデイオデコーダ２及びビデオデコーダ３がシステムクロツクＣＬ１に従つてデコードしようとすると正しく再生されない可能性がある。
【０００８】
このように従来のタイムスタンプ方式では、複数のクリツプを連続して再生し難い問題があつた。
かかる問題を解決するため、従来では複数のクリツプの連続再生を実現する方法として、オーデイオデコーダ２及びビデオデコーダ３を２組用意し、これら各組を交互に使用して、デマルチプレクサ１の出力をスイツチングする方法が広く用いられている。この方法によれば、ＡＶ同期の方式にタイムス・タンプ方式を採用することも可能である。
【０００９】
しかしながらこのような方法では、オーデイオデコーダ２及びビデオデコーダ３を２組用意する必要があり、またスイツチングを行う装置も必要となるなどシステム規模が大きくなる問題があった。
本発明は以上の点を考慮してなされたもので、簡易な構成で、各クリツプの再生を指定時刻に開始でき、かつ複数のクリツプを連続的に再生することのできる復号化装置及び符号化復号化装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータを復号する復号化装置に、データ供給源から供給される、所定の圧縮ビツトレートで圧縮符号化されて多重化された圧縮ビデオデータと圧縮オーデイオデータとを分割して出力する分割手段と、分割手段から出力される圧縮ビデオデータを復号する第１の復号手段と、分割手段から出力される圧縮オーデイオデータを復号する第２の復号手段と、データ供給源から供給される、素材の時間長を示す時間情報と、予め記憶している、素材の時間長毎に発生する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を示す再生時間差データとに基づいて、第２の復号手段の圧縮オーデイオデータに対する復号動作を再生時間差分だけ停止させる制御手段とを設けるようにした。
【００１１】
また本発明においては、予め素材の時間長に対する最小単位を設定しておき、復号化装置に、当該最小単位以上の時間長毎に発生する再生時間差を示す再生時間差データを記憶させるようにした。
【００１２】
【作用】
このように、所定の圧縮ビツトレートで圧縮符号化された圧縮ビデオデータ及び圧縮オーデイオデータで形成される素材の時間長毎に発生する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を、復号化側に再生時間差データとして記憶しておくようにしたことにより、タイムスタンプの有無に係わらず、素材の時間長のみから、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を特定することができ、さらに当該特定した再生時間差分だけ、圧縮オーデイオデータに対する復号動作を停止させることにより、複数の素材を連続再生する際に、各素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータの再生開始時刻を同期させることができる。
【００１３】
また、予め素材の時間長に対する最小単位を設定しておくことにより、素材の時間長と、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差との組み合わせパターンを、最小単位が設定されていない場合と比べて格段と少なくすることができる。
【００１４】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１５】
〔１〕第１実施例
（１）利用技術
（１−１）ＭＰＥＧ規格でのビデオ圧縮
（１−１−１）仮想バツフアについて
ＭＰＥＧ規格によるビデオデータの圧縮では、各フレーム（画像）によつて発生するビツト量が変化する。このビツト量が多すぎたり少なすぎたりすると、デコーダ側のバツフアがオーバーフローしたりアンダーフローしたりする可能性がある。
このため、一般的にはデコーダのバツフアをある量に想定し、このバツフアが破綻しないようにエンコーダを駆動制御しながら、供給されるビデオデータを符号化（エンコード）している。以下、このようなバツフアを仮想バツフアと呼ぶ。
【００１６】
（１−１−２）スタートアツプデイレイについて
デコード時において、デコーダバツフアにデータが入力されると直ちに画像が再生されるわけではなく、ある時間が経過したのち再生が開始される。これはデコーダバツフアが破綻するのを防ぐためである。以下、この時間のことをスタート・アツプ・デイレイと呼ぶものとする。
スタート・アツプ・デレイは、どのようにビデオ素材を圧縮しても同じになるわけではなく、一般的にはビデオ素材によつてそれぞれ異なる。
図１に仮想バツフア４とスタート・アツプ・デイレイについて示す。この図１においてＴ1 は１フレーム時間、Ｔ2 はスタート・アツプ・デイレイ、Ｖb は仮想バツフア４の容量をそれぞれ示している。またここでは、一定速度でビデオデコーダ５にデータを供給することを考えているため、入力データの累積量を示す線は直線となつている。
【００１７】
このような仮想バツフア４では、例えば図２（Ａ）に示すように、所定のスタート・アツプ・デイレイＴ2 よりもデコード開始が遅すぎると、オーバーフローしてしまう危険がある。
一方図２（Ｂ）に示すように、所定のスタート・アツプ・デイレイＴ2 よりもデコード開始が早すぎると、アンダーフローしてしまう危険がある。
【００１８】
（１−１−３）圧縮ビデオデータフアイルのデータ量について
以下、１つのビデオ素材をエンコードした結果、得られたデータ群を「圧縮ビデオデータフアイル」と呼ぶものとする。通常、同じ時間長の異なるビデオ素材から生成される圧縮ビデオデータフアイルのデータ量は同じにはならず、図３（Ａ）及び（Ｂ）からも明らかなように、圧縮ビデオデータフアイルのデータ量をＶｖ、ビデオ圧縮ビツトレートをＲｖ、仮想バツフアの容量をＶｂ、ビデオ素材の時間長をＴ４とすると、次式
【数１】
【００１９】
（１−２）圧縮ビデオデータフアイルの連続再生
１．ビデオデータの圧縮方式としてＭＰＥＧ方式を採用する。
２．ビデオデータの圧縮ビツトレートは一定とする。
３．各圧縮ビデオデータフアイルのスタート・アツプ・デイレイは等しいと限らない。
４．各圧縮ビデオデータフアイルのデータ量はその圧縮ビツトレートと再生時間（ビデオ素材の時間長）との積に等しいとは限らない。
という条件のもとで、圧縮ビデオデータフアイルを連続再生（デコード）するためには、
１．ビデオ・デコーダ・フアイルとして仮想バツフアの（容量又は数を）３倍以上を用意する。
２．連続再生すべき圧縮ビデオデータフアイル群の先頭フアイルは、ビデオ・デコーダ・バツフアに仮想バツフアの容量分だけデータがたまつてからデコードを開始する。
３．最大ビデオ・データ・フアイル量を、その再生時間内に転送可能な転送レートでデータをデコーダに転送する。
という方法が有効である。
【００２０】
以下、この方法に関して説明する。
２つの圧縮ビデオデータフアイルＦ1 、Ｆ2 をこの順に連続再生をする場合を考える。このとき圧縮ビツトレートをともにＲv とし、仮想バツフアのサイズをＶb とする。また再生時間をそれぞれＴF1及びＴF2とし、スタート・アツプ・デイレイをそれぞれＴｄ1 、Ｔｄ2 とする。
【００２１】
（１−２−１）圧縮ビデオデータフアイルの連続再生
簡単のため、各圧縮ビデオデータフアイルのデータ量はその圧縮ビツトレートと再生時間との積に等しい（データ量が特定できる）ものと仮定する。
もし、Ｔｄ1 ＝Ｔｄ2 であれば、この２つの圧縮ビデオデータフアイルＦ1 、Ｆ2 を連続的に圧縮ビツトレートＲv の転送速度でデコーダに供給してやれば、これら２つの圧縮ビデオデータフアイルＦ1 、Ｆ2 は連続的に再生される。
ところがＴｄ1 ＜Ｔｄ2 の場合には、圧縮ビデオデータフアイルＦ2 のデコード開始がＴｄ2 よりも早くなるため、仮想バアフアがアンダーフローする危険性がある。
【００２２】
逆にＴｄ1 ＞Ｔｄ2 の場合には、圧縮ビデオデータフアイルＦ2 のデコード開始がＴｄ2 よりも遅くなるため、仮想バアフアがオーバーフローする危険性がある。
この場合発生し得る最大のスタート・アツプ・デイレイは、「仮想バツフアの容量分のデータを圧縮ビツトレートと等しい転送速度で転送するのに要する時間（Ｔb ＝Ｖb ／Ｒv ）」に等しい。
【００２３】
従つて連続再生すべき圧縮ビデオデータフアイル群の先頭フアイルにおいては、そのスタート・アツプ・デイレイとは無関係に、この時間だけＴb だけ待つてからデコードを開始するようにすれば、バツフアがアンダーフローすることはない。つまりビデオデコーダバアフアにＶb だけデータがたまつてからデコードを開始するようにすれば良い。
また発生し得る最小のスタート・アツプ・デイレイは「０」であり、このようなフアイルをＴb だけデコードの開始を遅らせると、最悪Ｖb 分だけバツフアがオーバーフローしてしまう。そこでビデオデコーダバツフアとして、仮想バツフアの２倍用意しておけばオーバーフローすることはない。
【００２４】
（１−２−２）データ量不足の考慮
簡単のため、各圧縮ビデオデータフアイルのスタート・アツプ・デイレイが等しい（スタート・アツプ・デイレイが特定できる）ものと仮定し、図４（Ａ）及び（Ｂ）を参照して説明する。
一般に、圧縮ビデオデータフアイルのサイズＶｖは圧縮ビツトレートＲｖ、とその再生時間Ｔの積に一致しない（Ｖｖ、≠Ｒｖ、Ｔ）ので、圧縮ビツトレートと等しい転送速度でデータをデコーダに供給した場合、入力に要する時間（Ｖｖ、／Ｒｖ、）と出力（再生）に要する時間Ｔとは一致しない。
【００２５】
圧縮ビデオデータフアイルＦ1 において、デコーダ入力所要時間が出力所要時間よりも長い（ＶV1／Ｒv ＞ＴF1）の場合圧縮ビデオデータフアイルＦ2 のデコード開始がスタート・アツプ・デイレイＴｄ2 よりも遅くなるため、バツフアがオーバーフローする危険性がある。
逆に圧縮ビデオフアイルＦ1 において、入力所要時間が出力所要時間よりも短い（ＶV1／Ｒv ＜ＴF1）場合、圧縮ビデオデータフアイルＦ2 のデコード開始がスタート・アツプ・デイレイＴF2よりも早くなるため、バツフアがアンダーフローする危険性がある。
【００２６】
発生し得る最大の圧縮ビデオデータ量Ｖｖｍａｘは、次式
【数２】
このようにサイズ調整したフアイルの全データを、時間Ｔで転送できるだけの転送速度（Ｒｖ′＝Ｒｖ＋Ｖｂ／Ｔ）でデコーダに入力するようにすれば、図４（Ｂ）に示すように、入力所要時間と出力所要時間がともにＴとなるため、上述のようなバツフア破綻は発生しない。
【００２７】
しかしながらこの転送速度Ｒv ′は本来の転送速度Ｒv よりも大きいため、連続再生するしないにかかわらずバツフアがオーバーフローしてしまう危険性がある。最悪Ｖb 分だけバツフアがオーバーフローしてしまうので、このような事態を防ぐためには、ビデオデコードバツフアとして、仮想バツフアの２倍用意しておけば良い。
以上のことから、結局スタート・アツプ・デイレイが不定であり、データ量も不定であることを考慮すると、ビデオデコーダバツフアとして、仮想バツフアの（容量又は数の）３倍用意しておけばよいことがわかる。
【００２８】
（１−３）ＭＰＥＧ規格でのオーデイオ圧縮
オーデイオデータの場合はビデオデータの場合と異なり、ＭＰＥＧ規格に基づいて圧縮した場合、ビデオデータのスタート・アツプ・デイレイに相当するものは存在しないし、またその圧縮データ量はその圧縮ビツトレートと素材の時間長との積に一致するので、特に工夫しなくても複数の圧縮オーデイオデータフアイルを連続的にデコーダに供給してやれば連続的に再生される。
【００２９】
（１−４）圧縮データの最小単位
ビデオ信号はフレームという単位で扱われ、これをＭＰＥＧ規格に基づいて圧縮した場合は、さらにＧＯＰ（Group Of Picture）という単位で扱われることになる。
例えばＮＴＳＣ方式の場合、そのフレームは29.97 〔Hz〕であり、通常１ＧＯＰは15フレームで構成される。またＰＡＬ方式の場合は、そのフレームは25〔Hz〕であり、12フレームからなるＧＯＰと13フレームからなるＧＯＰとを交互に繰り返す構造にする。
【００３０】
一方オーデイオをＭＰＥＧ規格に基づいて圧縮した場合、例えばサンプリング周波数を48〔ＫHz〕とし、かつサンプル数を1152とすると、その最小単位は24〔ms〕となる。
このように、圧縮したデータには扱うことのできる最小単位というものが存在するため、任意の時間長のクリツプを厳密に実現することはできない。
ここで簡単のためクリツプの最小時間長単位を１秒とする。このような制限を受けても実際の運用上問題になることはほとんどない。このときクリツプの時間長をＴとし、この時間以上で最も近い実現可能なビデオの時間をＴv とする。また時間Ｔv 以下で最もこの時間に近く実現可能なオーデイオの時間をＴa とする。
【００３１】
ＰＡＬ方式の場合であれば、Ｔv ＝Ｔとなるが、ＮＴＳＣ方式の場合はＴv ≠Ｔとなつてしまう。
具体的な数値例を図５に示す。なおこの例は、ビデオはＮＴＳＣ方式の場合であり、オーデイオは24〔ms〕が最小単位の場合である。この例の場合、ビデオとオーデイオの誤差ＴVX−Ｔc は、０から２３までの24通り存在する。
【００３２】
（２）実施例による符号化復号化装置の構成
図６において、１０は全体として符号化復号化装置を示し、エンコーダ部１１は供給される映像オーデイオ信号Ｓ１に基づく映像信号及びオーデイオ信号をそれぞれ符号化し、多重化した後、得られた圧縮ＡＶ多重化データＤ１をデータ供給部１２に供給する。
データ供給部１２は、供給される圧縮ＡＶ多重化データＤ１をコントローラ１３の制御に基づき記録メデイア１４に記録する。またこのデータ供給部１２では、記録メデイア１４に記録された圧縮ＡＶ多重化データＤ２をコントローラ１３の制御に基づいてフアイル単位で読み出し、これを一定速度でデコーダ１５のデマルチプレクサ１６に供給する。
デマルチプレクサ１６は、供給される圧縮ＡＶ多重化データＤ２を圧縮符号化されたビデオ信号でなる圧縮ビデオデータＤ３と、圧縮符号化されたオーデイオ信号でなる圧縮オーデイオデータＤ４とに分け、これらをそれぞれビデオデコーダ１７及びオーデイオデコーダ１８に送出する。
【００３３】
このときデータ供給部１２のコントローラ１３は共有メモリ１９を介してコントローラ２０に制御情報信号Ｓ３を送出すると共に、コントローラ２０は制御情報信号Ｓ３に基づく制御信号Ｓ４及びＳ５をそれぞれビデオデコーダ１７、オーデイオデコーダ１８に供給するようになされている。
かくしてビデオデコーダ１７は、制御信号Ｓ４に基づいて圧縮ビデオデータＤ３をバツフア２１に順次蓄え、読み出しながら、これを順次デコードして出力するようになされている。
同様にしてオーデイオデコーダ１８は、制御信号Ｓ５に基づいて圧縮オーデイオデータＤ４をバツフア２２に順次蓄え、読み出しながら、これを順次デコードして出力するようになされている。
【００３４】
この実施例の場合、ビデオデコーダ１７に対応するバツフア２１としては、仮想バツフアの３倍の容量を有するものが用いられている。これにより供給される圧縮ビデオデータＤ３のスタート・アツプ・デイレイの不定や、データ量も不定によつてバツフア２１が破綻（オーバーフロー、アンダーフロー）するのを防止し得るようになされている。
またこの実施例の場合、図７（Ｂ）に示すように、デマルチプレクサ１６は、分割した圧縮ビデオデータＤ３及び圧縮オーデイオデータＤ４を速度変換することなく、そのままバースト的にビデオデコーダ１７又はオーデイオデコーダ１８に送出するようになされている。
【００３５】
この場合、本来は、所定の圧縮ビツトレートで圧縮したデータは、図７（Ａ）に示すように一定速度で各デコーダ１７、１８に供給すべきであるが、このようにしようとするとデマルチプレクサ２５の部分に速度変換をする回路が必要になる。このため実施例の符号化復号化装置１０では、このようにバースト的にデータが各ビデオデコーダ１７やオーデイオデコーダ１８に入力されてもバツフア２１、２２が破綻することなく再生が可能なように、以下のようにフオーマツトを規定している。
【００３６】
（３）連続再生及び定時再生の実現
この実施例の符号化復号化装置１０では、ＡＶの同期をとる方式としてタイム・スタンプを使用しない暗黙同期方式を採用している。
この場合このような方式でＡＶ同期をとりながらクリツプを連続再生するためには、
１．クリツプが連続しても各クリツプの頭でビデオデータとオーデイオデータの頭がそろうこと
２．クリツプが連続しても各クリツプの再生中にビデオデータ及びオーデイオデータの各デコーダバツフアが破綻しないこと
の２点を満たせば良い。
以下にこれら各条件をそれぞれ満たすための方法を説明する。
【００３７】
（３−１）定時再生及び連続再生実現のためのＡＶ頭合わせの方法
現在、デコーダにはいろいろなタイプのものが存在しているが、実施例の符号化復号化装置１０では、ビデオデコーダ１７として、「スタート命令を受け取つた後、1.5 フーム時間（0.05秒）後に再生を開始するもの」を適用し、オーデイオデコーダとして、「スタート命令を受け取つた後、すぐに再生を開始するもの（通常のデコーダ仕様）」を適用して、以下のシーケンスにより定時再生を実現している。
【００３８】
１．再生を開始したい時刻のＴS 秒（仮想バツフア分の圧縮ビデオデータをビデオデコーダ１８のバツフア２２に転送するのに要する時間）前に、データ供給部のコントローラ１３（図１）により記録メデイア１４からデータ転送を開始するようにする。このＴS 秒という時間は、後述するように任意のクリツプについて同一となる。
２．デマルチプレクサ１６が最初のクリツプの先頭データを受信したら、デコーダ１５のコントローラ２０にデータの転送が開始されたことを伝える。
３．（ＴS −0.05）秒経過したら、コントローラ２０からビデオデコーダ１７に対して再生動作開始命令を出す。
４．さらに0.05秒経過したら、コントローラ２０からオーデイオデコーダ１８に対して再生開始命令を出す。
【００３９】
これによりビデオデータ及びオーデイオデータについて同時に所定時刻に再生が開始されるが、このような方法を実現するためには経過時間を計測する必要がある。
しかるにこの実施例の符号化復号化装置１０では、圧縮ＡＶ多重化データＤ１が一定速度でデマルチプレクサ１６に転送されるので、このデマルチプレクサ１６を通過するデータの数をカウントしていれば、経過時間を計ることができる。
【００４０】
このためこの実施例の場合、カウンタ等を用いずに、エンコーダ部１１が映像信号及びオーデイオ信号を符号化、多重化する際、データフアイル内に「マルチプレクサ１６が各デコーダ１７、１８に対して動作命令を出すべき時刻に相当する位置」に目印として特殊なコード（以下、これをマークと呼ぶ）を入れるようになされている。
またデマルチプレクサ１６は、データフアイル内からこのマークを検出すると、これをマーク検出信号Ｓ１０（図６）としてコントローラ２０に伝える一方、コントローラ２０はこのマーク検出信号Ｓ１０に基づきその内容に応じてビデオデコーダ１７及びオーデイオデコーダ１８に対して制御信号Ｓ４及びＳ５を送出するようになされている。
これによりこの符号化復号化装置１０では、コントローラ２０が上述のようなタイミングでビデオデコーダ１７及びオーデイオデコーダ１８をそれぞれ駆動し得るようになされている。
【００４１】
なおこのマークとしては、再生圧縮多重化データＤ２の中から識別することができるように、ＭＰＥＧシステム規格によつて、決してマークは再生圧縮多重化データＤ２には現れないことが保証されている４バイトのコードを使用している。
この実施例の場合、ビデオデコーダ１７にデコードを開始させるビデオデコード開始マーク、及びオーデイオデコーダ１８にデコーダを開始させるオーデイオデコード開始マークとして、それぞれ16進数表示で「000001BD」、「000001BF」なるコードを使用している。
【００４２】
また圧縮ＡＶ多重化データＤ２の転送速度を５〔Ｍｂｐｓ〕とし、仮想バツフアの容量分の圧縮ビデオデータＤ４をビデオデコーダ１７のバツフア２１に転送するのに圧縮再生多重化データＤ２を４〔Ｍｂｉｔ〕供給する必要があるものとして、図８に示すように、先頭から次式
【数３】
【数４】
次に連続再生実現のためのＡＶ頭合わせの方法について説明する。
【００４３】
上述の「（１−４）圧縮データの最小単位」のところで説明したように、ビデオデータとオーデイオデータとの再生時間は一致しない。例えば時間が６秒であるクリツプでは、0.006 秒だけビデオの方が再生時間が長くなる。従つて６秒のクリツプを２つ連続して再生すると、最初のクリツプのＡＶ同期が完全にとれていたとしても、２つ目のクリツプはオーデイオ信号の再生開始が0.006 秒だけ早くなつてしまう。この程度の差であれば、実際上は何ら違和感を感じることはないが、クリツプの連続数が増えるごとにこの差は蓄積されていくため、例えは10個も連続すると、オーデイオとビデオとの差は0.06秒にもなつてしまい、違和感を感じるようになる。
このためこの実施例の符号化復号化装置１０では、以下の方法により各クリツプの頭においてＡＶの頭が合うようにしている。
１．再生を開始してからオーデイオの再生時間Ｔc が経過したら、オーデイオデコーダ１８を停止させる。
２．さらに再生時間差（Ｔv −Ｔc ）だけ時間が経過したら、再びオーデイオデコーダ１８を動作させる。
３．この操作を各クリツプに対して繰り返す。
この場合この方法を実現するためには、定時再生の場合と同様に経過時間を計測する必要がある。
【００４４】
このためこの実施例では、上述の場合と同様にして、ここでもエンコーダ部１１が各データフアイルの所定位置に所定のマークを付加するようになされている。
例えば図５によりＴ＝６〔ｓ〕のクリツプの場合、再生時間差が０．００６秒であるから、オーデイオデコード開始マークＭ１の前の位置にオーデイオデコーダ１８にデコードを停止させるオーデイオデコード停止マークＭｓ１〜Ｍｓ２３（図８）を入れる。
この場合圧縮オーデイオデータの最小単位が２４〔ｍｓ〕である場合、再生時間差は０〜２３〔ｍｓ〕までの２４通り存在するが、差が０〔ｍｓ〕の場合は、オーデイオデコーダ１８を停止させる必要がないのでオーデイオデコード停止マークＭｓ１〜Ｍｓ２３としては２３個用意すれば良い。
【００４５】
このためこのエンコーダ部１１では、オーデイオデコード停止マークＭｓ１〜Ｍｓ２３として、例えば「０００００１Ｃ１」〜「００００１Ｄ７」までの２３個のコードをそれぞれ１〜２３〔ｍｓ〕の再生時間差に対応させている。従つてこれらのコードは、５〔Ｍｂｐｓ〕×０．００１〔ｓ〕＝６２５〔ｂｙｔｅ〕毎に現れることになる。またこのエンコーダ５は、これら２３個のコードのうちどれに従つてデコードを停止させれば良いかを示すマーク（以下、これを停止マーク指定マークＭ３と呼ぶ、例えば「０００００１Ｄ８」）を各クリツプの最後に付加し、この後に有効となるオーデイオデコード停止マークＭ４を続けて付加するようになされている。
例えばＴ＝６〔ｓ〕のクリツプの場合、再生時間差が０．００６〔ｓ〕であるから、オーデイオデコード停止マークＭｓ６を有効にさせる必要があるため、このクリツプの最後尾の８〔ｂｙｔｅ〕は「０００００１Ｄ８０００００１Ｃ６」となる。
【００４６】
クリツプ１（Ｔ＝６〔ｓ〕）とクリツプ２（Ｔ＝７〔ｓ〕）とを連続再生する場合、クリツプ１の停止マーク指定マークＭ３からオーデイオデコード停止マークＭｓ６が有効であることがわかつているので、クリツプ２のオーデイオデコード停止マークＭｓ６がデマルチプレクサ１６において検出された時点で、オーデイオデコーダ１８に停止命令を出し、さらにクリツプ２のオーデイオデコード開始マークＭ２が検出された時点で、オーデイオデコーダ１８に開始命令を出すようになされている。
なおクリツプの連続再生を開始する前に有効な各停止マークＭｓ１〜Ｍｓ２３をクリアするため、「００００００００」にしておくことにより先頭クリツプの停止マークＭｓ１〜Ｍｓ２３で停止命令が出されるのを防止し得るようになされている。
【００４７】
（３−２）連続再生実現のためのバツフア使用方法
（３−２−１）圧縮ＡＶ多重化フオーマツトの基本構造
以下、同一種類のデータのかたまりを「パケツト」と呼ぶことにする。ここで種類とは、ビデオ、オーデイオ及びパケツトの３つを意味する。各パケツトの頭にその種類を表すためのヘツダを付ける。
またいくつかのパケツトの集まりを「パツク」と呼ぶことにする。パツクはパケツトとは異なり、何らかの識別ヘツダがつくわけではない。
ここでこの実施例の符号化復号化装置１０では、以下に示す３種類のパツクを使用している。
１．標準パツク
……原則として、ビデオパケツト、オーデイオパケツト、パツドパケツト各１つずつから構成される。
２．先頭パツク
……仮想バツフア分だけビデオパケツトのデータ量が標準パツクよりも大きい。
３．残余パツク
……上述の２種類のパツクに含まれなかつた残りのデータから構成されている。
【００４８】
この実施例の場合、１つのクリツプをエンコードして得られる１つの圧縮ＡＶ多重化データフアイルは、図９（Ａ）に示すように、その先頭に１つの「先頭パツク」が存在し、その後複数個の「標準パツク」が連続し、最後に１つの「残余パツク」がくるように構成されている。
なおデータ制御用のマークは全て、先頭パツクのビデオパケツト内に位置することになるため、パケツト・ヘツダの内容にマークが挿入されて、パケツト・ヘツダが認識できなくなるようなことは発生しない。
【００４９】
（３−２−２）パケツト・ヘツダ
各パケツトの種類を識別するためのヘツダとしては、圧縮データの中には決して現れないパターンを採用する必要がある。このためこの符号化復号化装置１０では、MPEGシステム規格においてヘツダ用に確保されているパターンを採用している。実際上例えば、以下のようなパターンを用いている。なお、各ヘツダは16進数表示しており、そのサイズは４バイトである。
ビデオ・パケツト・ヘツダ ……000001E3
オーデイオ・パケツト・ヘツダ ……000001C0
パツド・パケツト・ヘツダ ……000001BE
かくしてデマルチプレクサ１６では、入力されてくる圧縮ＡＶ多重化データＤ２の任意の連続する４バイトを調べて、それがビデオ・パケツト・ヘツダであれば以下に続くデータをビデオ・デコーダ１７に振り分け、オーデイオ・パケツト・ヘツダであれば以下に続くデータをオーデイオ・デコーダ１８に振り分け、パツド・パケツト・データであれば以下に続くデータを破棄するようになされている。
【００５０】
（３−２−３）圧縮ビツト・レート値等に関する制限
時間長Ｔのクリツプを、仮想バツフア量Ｖｂ、ビデオ圧縮ビツト・レートＲｖで圧縮した場合、発生し得る最大の圧縮ビデオ・データ量は、上述のように次式
【数５】
このためこの実施例の符号化復号化装置１０では、実際に得られた圧縮ビデオ・データ量がこの値に満たない場合は、その最後にパツド・データを付加することにより、任意のフアイルのサイズをＶｖｍａｘになるようにしている。このようにサイズ調整したあとの全データを、時間Ｔで転送する場合、ビデオ・データ転送速度Ｒｖ′は次式によつて表される。
【数６】
【数７】
【数８】
実際上この符号化復号化装置１０では、Ｒv 、Ｒm 、Ｒa 、Ｔmin 、Ｖb 等のパラメータは任意の値が可能なわけではなく、その用途やハードウエアの都合等により制限が加わる。このためこの符号化復号化装置１０では、これらパラメータの中で制限の強いものから決めていき、最終的に（９）式を満たすように順次選定している。
【００５２】
（３−２−４）パケツト・サイズの算出
圧縮ビツト・レートの値等のパラメータ値が与えられた場合に、各パケツトのサイズをいくつにすればよいのかを算出するための式を以下に示す。
まず、以下の計算で使用する変数を列挙する。
ビデオ圧縮ビツト・レート ……Ｒv 〔Mbps〕
ビデオ・データ転送速度 ……Ｒv ′〔Mbps〕
オーデイオ圧縮ビツト・レート ……Ｒa 〔kbps〕
圧縮ＡＶ多重化データ転送速度 ……Ｒm 〔Mbps〕
クリツプの時間長（１秒単位） ……Ｔ〔ｓ〕
最小クリツプの時間長（１秒単位）……Ｔmin 〔ｓ〕
Ｔ以上でＴに最も近く現実可能なビデオの再生時間……Ｔv 〔ｓ〕
Ｔv 以下でＴに最も近く現実可能なオーデイオの再生時間……Ｔa 〔ｓ〕
クリツプを転送するのに要する時間……Ｔt 〔ｓ〕
仮想バツフア分の圧縮ビデオ・データが転送されるのに要する時間……ＴS 〔ｓ〕
仮想バツフア量 ……Ｖb 〔Mbit〕
１クリツプの圧縮ビデオ・データ量……Ｖv 〔byte〕
１クリツプの圧縮オーデイオ・データ量……Ｖa 〔byte〕
１クリツプのパツド・データ量 ……Ｖp 〔byte〕
１クリツプの総データ量 ……Ｖm 〔byte〕
全マーク・データ量 ……Ｖk 〔byte〕（＝４×27〔byte〕〕）
パケツト・ヘツダ・サイズ ……Ｌh 〔byte〕（＝４〔byte〕）
標準ビデオ・パケツト・サイズ（ヘツダは含まない）……Ｌv 〔byte〕
標準オーデイオ・パケツト・サイズ（ヘツダは含まない）……Ｌa 〔byte〕
標準パツド・パケツト・サイズ（ヘツダは含まない）……Ｌp 〔byte〕
標準パツク・サイズ（ヘツダを含む） ……Ｌm 〔byte〕
パツク数（残余パツクを除く） ……Ｐ
＊標準パケツトとは標準パツク内のパケツトであることを表す。
残余ビデオ・パケツト・サイズ（ヘツダは含まない）……Ｌv ′〔byte〕
残余オーデイオ・パケツト・サイズ（ヘツダは含まない）……Ｌa ′〔byte〕
残余パツド・パケツト・サイズ（ヘツダは含まない）……Ｌp ′〔byte〕
＊残余パケツトとは残余パツク内のパケツトであることを表す。
単位変換係数（Mbit→byte）……Ｃm ＝125000＝1000×1000/8
単位変換係数（kbit→byte）……Ｃk ＝125 ＝1000/8
【００５３】
Ｔを１秒単位とした場合、簡単のため、任意の時間長のクリツプにおいて標準パケツトのサイズＬｖおよびＬａがそれぞれ等しくなるようにするためには、次式を満たすようにＲｖ、Ｒａ、Ｌｖ、Ｌａを選択すればよい。
【数１０】
圧縮データの取り得る最小単位の制限により発生する端数データ、つまりビデオにおけるＲｖ、×（Ｔｖ、−Ｔ）及びオーデイオにおけるＲａ×（Ｔａ−Ｔ）分のデータで残余パツクを構成するようにし、残りのデータ、つまり、ビデオにおけるＲｖ、Ｔ＋Ｖｂ及びオーデイオにおけるＲａ×Ｔで標準パツクと初期パツクを構成するようにする。
【００５４】
このようにするとＲａ及びＲｖに関して次式が成り立つ。
【数１３】
オーデイオ・データ量Ｖａは
【数１７】
【数１８】
【数１９】
【数２０】
【数２１】
（２１）式よりＬｐ及びＬｐ′が求められる。
Ｔａ＜Ｔの場合、次式を満たす整数Ｋ及びＬａ″が存在する。
【数２２】
また、残余パツクに関して、次式が成り立つ。
【数２３】
（３−２−５）連続再生実現のための条件
上述の「（１−２）圧縮ビデオ・データ・フアイルの連続再生」で説明したように、圧縮ビデオデータだけであつても連続再生するためには、ビデオ・デコーダ・バツフアを仮想バツフアの３倍用意する必要がある。
以下に多重化した場合にも、ビデオ・デコーダ・バツフア及びオーデイオ・デコーダ・バツフアをそれぞれ仮想バツフアの３倍用意すれば連続再生できる条件を示す。
まず「（１−２−１）スタート・アツプ・デイレイ不定の考慮」で示したように、各クリツプのスタート・アツプ・デイレイが不定であることに対処するためには、仮想バツフアの２倍の容量が必要となる。図１１の「データ出力折れ線の推移可能領域」をカバーするのがこの２倍バツフアである。よつて、残りの１倍バツフア内でデータ入力折れ線を推移させるようにできれば、３倍バツフアで連続再生が可能となる。
【００５７】
ビデオ・デコーダ・バツフア１７には、１つのクリツプのデータだけが入つている時間と２つのクリツプのデータが入つている時間が存在する。
２つのクリツプのデータが入つている時間は、もしＴt ＝Ｔv であれば、各クリツプの最初のＴS 時間だけである。この時間は、任意のクリツプについて先頭パツクを転送している時間であり、先頭以外にオーデイオ・パケツトやパツド・パケツトが含まれないため、図１０からも明らかなように、入力折れ線は必ず直線▲１▼よりも下になる。つまり、１倍バツフア内をデータ入力折れ線が出ることはない。
１つのクリツプのデータだけが入つている時間（ＴS だけ経過した後の時間）に関しては、図１０において、直線▲１▼と直線▲２▼の間に入るようにふればよい。そのためには以下の条件を満たすようにすればよい。
条件１：直線▲１▼と直線▲３▼が原点以外で交わらないようにする。
【００５８】
つまり任意のｔ＞０についてｖ３（ｔ）＞ｖ１（ｔ）が成り立つようにすればよい。
【数２５】
【数２７】
【数２８】
なお、各直線▲１▼〜▲４▼の方程式は以下の通りである。また、厳密にはヘツダやマークの分も考慮する必要があるが、圧縮データのデータ量に比べて非常に小さいので無視する。
【数３０】
【００６０】
（３−２−６）連続再生可能な圧縮ＡＶ多重化フオーマツトの例
Ｒｍ＝５〔Ｍｂｐｓ〕、Ｒｖ＝４〔Ｍｂｐｓ〕、Ｒａ＝２５６〔ｋｂｐｓ〕、Ｔｍｉｎ＝６〔ｓ〕、Ｖｂ＝４〔Ｍｂｐｓ〕という要求を実現するフオーマツトを示す。ただし、ビデオはＮＴＳＣ方式とする。
なおこの場合、（９）式の右辺は５〔Ｍｂｐｓ〕であり、左辺は次式
【数３４】
例えばクリツプ時間長Ｔ＝６〔ｓ〕の場合、図５から、
Ｔｔ、＝Ｔｖ、＝６．００６〔ｓ〕、Ｔａ＝６〔ｓ〕
適当にＬａ＝１０００〔ｂｙｔｅ〕として（あまり大きくするとオーデイオ・バツフアが破綻する可能性がある。逆に小さくしすぎると標準パツク数が増えてヘツダによるオーバ・ヘツドが増えてしまう）、（１４）式より標準パツク数を求める。
【数３５】
【数３６】
【数３７】
【００６１】
（２３）式より残余ビデオ・パケツトのサイズを求める。
【数３８】
以上の値より標準パックのサイズを求める。
【数３９】
０．９２＞０．８
このとき（２９）式も満たされていることが分かる。
２３．２＜２４
以上の結果、得られるフオーマツトを図１２に示す。同様にして、クリツプ時間長７秒の場合についても算出し、その結果を図１３に示す。
この場合は、Ｔａ≠Ｔとなるため、最後の標準パツクは他の標準パツクとは異なりＴａ−Ｔに相当する分のパツド・パケツトが存在する。
各パラメータの値が決まれば、クリツプの内容に無関係に任意のクリツプについてクリツプ時間長ごとに、図１２及び図１３のようなフオーマツト・テーブルを作成することができるので、実際に圧縮ＡＶデータを多重化する場合、各エンコーダで得られた圧縮データをこのテーブルに従つて多重化してやればよい。
【００６２】
このためこの実施例の符号化復号化装置１０では、エンコーダ部１１にこのようなフオーマツト・テーブルが予め格納されており、エンコーダ部１１がこのフオーマツト・テーブルに基づいて符号化された映像信号と符号化されたオーデイオ信号とを多重化するようになされている。
【００６３】
（４）第１実施例の動作
以上の構成において、この符号化復号化装置１０では、エンコーダ部１１に供給される映像オーデイオ信号Ｓ１に基づく映像信号及びオーデイオ信号を、このエンコーダ部１１において符号化し、これらを上述の第１の多重化フオーマツトに従つて多重化することにより圧縮ＡＶ多重化データＤ１を形成すると共に、この際各クリツプ毎に、ビデオデコード開始マークＭ1 、オーデイオデコーダ開始マークＭ2 、オーデイオ停止マークＭS1〜ＭS23 、停止マーク指定マークＭ3 及びオーデイオデコード停止マークＭ4 （以下、これらをまとめてデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 と呼ぶ）をそれぞれ所定位置に付加し、これをデータ供給部１２に供給して記録メデイア１４に記録させる。
この圧縮ＡＶ多重化データＤ１はコントローラ１３の制御に基づいてデータフアイル単位で読み出され、圧縮ＡＶ多重化データＤ２としてデマルチプレクサ１６に供給され、このデマルチプレクサ１６において圧縮ビデオデータＤ３と圧縮オーデイオデータＤ４とに分割されて、それぞれビデオデコーダ１７又はオーデイオデコーダ１８に送出される。
この際デマルチプレクサ１６は、このデータフアイルの中からデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 を検出すると、検出結果に基づくマーク検出信号Ｓ１０をコントローラ２０に送出する。
コントローラ２０はこのマーク検出信号Ｓ１０に基づいて制御信号Ｓ４、Ｓ５をそれぞれビデオデコーダ１７及びオーデイオデコーダ１８にそれぞれ出力してビデオデコーダ１７を駆動制御することにより、ビデオデコーダ１７及びオーデ．オデコーダ１８を必要に応じて開始させ、又は停止させる。またこの際コントローラ２０はオーデイオデコーダ１８の再生動作をクリツプの時間長に応じた所定時間停止させる。
【００６４】
このようにこの符号化復号化装置１０では、エンコーダ側において、各クリツプ毎にクリツプの時間長に応じた制御用のデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 を入れると共に、デコーダ側ではこれらデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 に基づいてビデオデコーダ１７及びオーデイオデコーダ１８を駆動制御するため、各クリツプ毎に完結してＡＶの頭を合わせることができる。
またこの符号化復号化装置１０では、ビデオデコーダ１７のバツフア２１が仮想バツフアの（容量又は数の）３倍に設定されており、さらにこの３倍のバツフア２１を破綻させないように、クリツプの時間長のみに依存し、かつ先頭ビデオパケツトのサイズが他のビデオパケツトよりも仮想バツフアの容量分だけ大きい特徴を有する上述の第１の多重化フオーマツトに従つて、エンコーダ１１が符号化されたビデオ信号と、符号化されたオーデイオ信号とを多重化するため、ビデオデコーダ１７のバツフア２１が破綻することはない。
従つて「（３）連続再生の実現」において提示した２つの条件を満たすため、ＡＶ同期をとりながら連続再生することができる。
【００６５】
従つて例えばクリツプ素材としてテレビジヨン放送ＣＭを適用し、これをＭＰＥＧ圧縮して、上述の多重化フオーマツトに従つてＡＶ多重化したのち、ＨＤＤ等の大容量かつランダム・アクセス可能な記録メデイアに記録しておき、ＣＭ放送のタイム・テーブルに従つて指定のＣＭ圧縮データ群を指定時刻にデコーダに供給するようにすれば、指定時刻にかつ連続にＣＭを放送することができる。
【００６６】
（５）第１実施例の動作
以上の構成によれば、エンコーダ側において、各クリツプ毎にクリツプの時間長に応じた制御用のデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 を入れると共に、デコーダ側ではこれらデコーダ制御マークＭ1 〜Ｍ4 、ＭS1〜ＭS23 に基づいてビデオデコーダ１７及びオーデイオデコーダ１８を駆動制御する一方、エンコーダ部５が、クリツプの時間長のみに依存し、かつ先頭ビデオパケツトのサイズが他のビデオパケツトよりも仮想バツフアの容量分だけ大きい特徴を有する第１の多重化フオーマツトに従つて、符号化されたビデオ信号と、符号化されたオーデイオ信号とを多重化するようにしたことにより、各クリツプのＡＶの頭を合わせ得ると共にバツフア２１が破綻するのを防止でき、かくして複数のクリツプを指定された時刻に連続的に再生し得る符号化復号化装置を実現できる。
【００６７】
〔２〕第２実施例
図６との対応部分に同一符号を付して示す図１４は、第２実施例による符号化復号化装置４０を示し、デコーダ４１のコントローラ４２が、その内部メモリに予め記憶している各クリツプ長におけるビデオとオーデイオとの再生時間差データに基づいてビデオデコーダ１７及びオーデイオデコーダ１８の駆動を制御することを除いて第１実施例の符号化復号化装置１０（図６）とほぼ同様に構成されている。
すなわちこの符号化復号化装置４０の場合、エンコーダ４３は、供給される映像音声信号Ｓ１に基づく映像信号及びオーデイオ信号をそれぞれ符号化し、これらを上述の第１の多重化フオーマツトに従つて多重化し、圧縮ＡＶ多重化データＤ３０としてデータ供給部４４に送出する。
データ供給部４４は、供給される圧縮ＡＶ多重化データＤ３０をコントローラ４５の制御に基づいて記録メデイア１４に記録する。またデータ供給部４４は、コントローラ４５の制御に基づいて、記録メデイア１４に記録された圧縮ＡＶ多重化データＤ３１をクリツプ単位で再生し、これをデコーダ４１のデマルチプレクサ４６に送出する。
デマルチプレクサ４６は、供給される圧縮ＡＶ多重化データＤ３１を圧縮映像データＤ４及び圧縮オーデイオデータＤ５に順次分割し、これらをそれぞれビデオデコーダ１７及びオーデイオデコーダ１８に送出する。
この際コントローラ４５は、このクリツプの時間長を時間情報信号Ｓ３０として共有メモリ１９を介してデコーダ４１のコントローラ４２に供給する。
【００６８】
このコントローラ４２は、クリツプの各時間長におけるビデオとオーデイオとの間の再生時間差データを予め記憶しており、供給された時間情報信号Ｓ３０に基づくこのクリツプの時間長と、記憶している対応する再生時間差データとに基づく制御信号Ｓ４、Ｓ５を生成し、これらをそれぞれビデオデコーダ１７及びオーデイオデコーダ１８に送出する。
これによりこのコントローラ４２は、データ供給部４４のコントローラ４５が記録メデイア１４からこのクリツプを再生し始めてからオーデイオの再生時間Ｔc が経過した後オーデイオデコーダ１８を停止させ、この後再生時間差（Ｔｖ−Ｔc ）だけ時間が経過すると再びオーデイオデコーダ１８を動作させることを各クリツプに対して順次行うようにオーデイオデコーダ１８を駆動制御するようになされ、かくして各クリツプの頭においてビデオとオーデイオの頭を合わせさせ得るようになされている。
以上の構成において、この符号化復号化装置４０では、データ供給部４４のコントローラ４５が記録メデイア１４に記録された圧縮ＡＶ多重化データＤ３１をクリツプ単位で再生する際、このクリツプの再生時間情報をデコーダ４１のコントローラ４２に供給する。
【００６９】
一方コントローラ４２は、コントローラ４５から供給されるこのクリツプの再生時間時間情報と、コントローラ４２自体がもつている再生時間差データとに基づいて、各クリツプの頭においてビデオとオーデイオの頭が合うようにビデオデコーダ１７及びオーデイオデコーダ１８を駆動制御する。
このようにこの符号化復号化装置４０では、各クリツプ単位でこのようなオーデイオデコーダ１８の駆動制御が行われるため、各クリツプ内で完結してビデオ及びオーデイオ間の再生時間差を補正することができ、かくしてＡＶ同期を取ることができる。
またビデオデコーダ１７のバツフア２１が仮想バツフアの容量の３倍のものに選定されており、エンコーダ４３が供給これら符号化されたビデオ信号及びオーデイオ信号を第１の多重化フオーマツトに従つて多重化するため、第１実施例の場合と同様にＡＶ同期を取りながら各クリツプを連続再生することができる。
【００７０】
以上の構成によれば、ビデオデコーダ１７のバツフア２１の容量を仮想バツフアの３倍にし、かつエンコーダ４３が、供給される符号化されたビデオ信号及びオーデイオ信号を第１の多重化フオーマツトに従つて多重化するように設定すると共に、データ供給部４４のコントローラ４５が記録メデイア１４に記録された圧縮ＡＶ多重化データＤ３１をクリツプ単位で再生する際、このクリツプの再生時間情報をデコーダ４１のコントローラ４２に供給し、かつコントローラ４１がこの再生時間時間情報と、コントローラ４１自体がもつている再生時間差データとに基づいてビデオデコーダ１７及びオーデイオデコーダ１８を、各クリツプの頭においてビデオとオーデイオの頭が合うように駆動制御するようにしたことにより、第１実施例の符号化復号化装置１０と同様に複数のクリツプを指定された時刻に連続的に再生し得る符号化復号化装置を実現できる。
【００７１】
【発明の効果】
上述のように本発明によれば、所定の圧縮ビツトレートで圧縮符号化された圧縮ビデオデータ及び圧縮オーデイオデータで形成される素材の時間長毎に発生する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を、復号化側に再生時間差データとして記憶しておくようにしたことにより、タイムスタンプの有無に係わらず、素材の時間長のみから、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を特定することができ、さらに当該特定した再生時間差分だけ、圧縮オーデイオデータに対する復号動作を停止させることにより、複数の素材を連続再生する際に、各素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータの再生開始時刻を同期させることができるので、従来と比して一段と簡易な構成でありながら、各素材の再生を指定時刻に開始でき、かつ複数の素材を連続的に再生することのできる復号化装置及び符号化復号化装置を実現できる。
また本発明によれば、予め素材の時間長に対する最小単位を設定しておくことにより、素材の時間長と、当該素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差との組み合わせパターンを、最小単位が設定されていない場合と比べて格段と少なくすることができるので、より少ないデータ量の再生時間差データで圧縮ビデオデータ及び圧縮オーデイオデータ間の再生時間差を特定することができる。
【図面の簡単な説明】
【図１】仮想バツフアとスタート・アツプ・デイレイの説明に供するグラフ及びブロツク図である。
【図２】スタート・アツプ・デイレイとバツフアの破綻の説明に供するグラフである。
【図３】圧縮ビデオデータフアイルのデータ量の説明に供するグラフである。
【図４】データ量とデータ転送速度の調整の説明に供するグラフである。
【図５】ビデオ及びオーデイオの実現可能時間を示す図表である。
【図６】第１実施例の符号化復号化装置の構成を示すブロツク図である。
【図７】デマルチプレクス後のデータ転送形態を示すブロツク図である。
【図８】デコーダ制御マークの説明に供する略線図である。
【図９】圧縮ＡＶ多重化データフアイルのフオーマツトを示す略線図である。
【図１０】ビデオデコーダへの入力の推移を示すグラフである。
【図１１】連続再生時のビデオデコーダバツフアの使用状況の説明に供するグラフである。
【図１２】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１３】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１４】第１実施例の符号化復号化装置の構成を示すブロツク図である。
【図１５】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１６】圧縮ＡＶ多重化フオーマツトの例を示す図表である。
【図１７】タイム・スタンプ方式の説明に供するブロツク図である。
【図１８】タイム・スタンプ方式の場合の連続再生の説明に供する略線図である。
【符号の説明】
１０、４０……符号化復号化装置、１１、４３……エンコーダ、１２、４４……データ供給部、１３、２０、４２、４５……コントローラ、１４……記録メデイア、１６、４６……デマルチプレクサ、１７……ビデオデコーダ、１８……オーデイオデコーダ、２１、２２……バツフア、Ｓ４、Ｓ５……制御信号、Ｓ１０……マーク検出信号、Ｄ１、Ｄ２……圧縮ＡＶ多重化データ、Ｍ1 ……ビデオデコード開始マーク、Ｍ2 ……オーデイオデコード開始マーク、Ｍ3 ……停止マーク指定マーク、Ｍ4 ……オーデイオデコーダ停止マーク、ＭS1〜ＭS23 ……オーデイオデコード停止マーク。
【数２７】
Claims (6)
- 素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータを復号する復号化装置において、
データ供給源から供給される、所定の圧縮ビツトレートで圧縮符号化されて多重化された上記圧縮ビデオデータと上記圧縮オーデイオデータとを分割して出力する分割手段と、
上記分割手段から出力される上記圧縮ビデオデータを復号する第１の復号手段と、
上記分割手段から出力される上記圧縮オーデイオデータを復号する第２の復号手段と、
上記データ供給源から供給される、上記素材の時間長を示す時間情報と、予め記憶している、上記素材の時間長毎に発生する上記圧縮ビデオデータ及び上記圧縮オーデイオデータ間の再生時間差を示す再生時間差データとに基づいて、上記第２の復号手段の上記圧縮オーデイオデータに対する復号動作を上記再生時間差分だけ停止させる制御手段と
を具える
ことを特徴とする復号化装置。 - 予め上記素材の時間長に対する最小単位を設定しておき、
上記制御手段は、
上記最小単位以上の時間長毎に発生する上記再生時間差を示す上記再生時間差データを記憶している
ことを特徴とする請求項１に記載の復号化装置。 - 符号化部と復号化部とでなり、当該符号化部で圧縮符号化した圧縮ビデオデータ及び圧縮オーデイオデータを、データ供給部を介して上記復号化部に供給し、当該圧縮ビデオデータ及び当該圧縮オーデイオデータを上記復号化部で復号する符号化復号化装置において、
上記符号化部は、
素材を形成するビデオ信号及びオーデイオ信号のそれぞれを所定の圧縮ビツトレートで圧縮符号化し、かくして得られた上記圧縮ビデオデータ及び上記圧縮オーデイオデータを出力する符号化手段と、
上記符号化手段から出力された上記圧縮ビデオデータ及び上記圧縮オーデイオデータを多重化して上記データ供給部に供給する多重化手段と
を具え、
上記復号化部は、
上記データ供給部から供給される、多重化された上記圧縮ビデオデータと上記圧縮オーデイオデータとを分割して出力する分割手段と、
上記分割手段から出力される上記圧縮ビデオデータを復号する第１の復号手段と、
上記分割手段から出力される上記圧縮オーデイオデータを復号する第２の復号手段と、
上記データ供給部から供給される、上記素材の時間長を示す時間情報と、予め記憶している、上記素材の時間長毎に発生する上記圧縮ビデオデータ及び上記圧縮オーデイオデータ間の再生時間差を示す再生時間差データとに基づいて、上記第２の復号手段の上記圧縮オーデイオデータに対する復号動作を上記再生時間差分だけ停止させる制御手段と
を具える
ことを特徴とする符号化復号化装置。 - 予め上記素材の時間長に対する最小単位を設定しておき、
上記制御手段は、
上記最小単位以上の時間長毎に発生する上記再生時間差を示す上記再生時間差データを記憶している
ことを特徴とする請求項３に記載の符号化復号化装置。 - 素材を形成する圧縮ビデオデータ及び圧縮オーデイオデータを復号する復号化方法において、
所定の圧縮ビツトレートで圧縮符号化されて多重化された上記圧縮ビデオデータと上記圧縮オーデイオデータとを分割する分割ステツプと、
上記分割された上記圧縮ビデオデータ及び上記圧縮オーデイオデータを復号する復号ステツプと
を具え、
上記復号ステツプでは、上記素材の時間長を示す時間情報と、上記素材の時間長毎に発生する上記圧縮ビデオデータ及び上記圧縮オーデイオデータ間の再生時間差を示す再生時間差データとに基づいて、上記圧縮オーデイオデータに対する復号処理を上記再生時間差分だけ停止する
ことを特徴とする復号化方法。 - 素材を形成するビデオ信号及びオーデイオ信号のそれぞれを圧縮符号化し、かくして得られた圧縮ビデオデータ及び圧縮オーデイオデータを復号する符号化復号化方法において、
上記ビデオ信号及び上記オーデイオ信号のそれぞれを所定の圧縮ビツトレートで圧縮符号化する符号化ステツプと、
かくして得られた上記圧縮ビデオデータ及び上記圧縮オーデイオデータを多重化する多重化ステツプと、
多重化された上記圧縮ビデオデータと上記圧縮オーデイオデータとを分割する分割ステップと、
分割された上記圧縮ビデオデータ及び上記圧縮オーデイオデータを復号する復号ステツプと
を具え、
上記復号ステツプでは、上記素材の時間長を示す時間情報と、上記素材の時間長毎に発生する上記圧縮ビデオデータ及び上記圧縮オーデイオデータ間の再生時間差を示す再生時間差データとに基づいて、上記圧縮オーデイオデータに対する復号処理を上記再生時間差分だけ停止する
ことを特徴とする符号化復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10908995A JP3651699B2 (ja) | 1995-04-09 | 1995-04-09 | 復号化装置及び符号化復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10908995A JP3651699B2 (ja) | 1995-04-09 | 1995-04-09 | 復号化装置及び符号化復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08289255A JPH08289255A (ja) | 1996-11-01 |
| JP3651699B2 true JP3651699B2 (ja) | 2005-05-25 |
Family
ID=14501316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10908995A Expired - Fee Related JP3651699B2 (ja) | 1995-04-09 | 1995-04-09 | 復号化装置及び符号化復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3651699B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1021046A4 (en) * | 1997-09-05 | 2000-12-20 | Matsushita Electric Ind Co Ltd | DECODING METHOD AND RECORDING MEDIUM WHERE A DECODING PROGRAM IS RECORDED |
| JP4393435B2 (ja) * | 1998-11-04 | 2010-01-06 | 株式会社日立製作所 | 受信装置 |
| US6816491B1 (en) | 1998-11-04 | 2004-11-09 | Hitachi, Ltd. | Multiplexed audio data decoding apparatus and receiver apparatus |
| JP3848805B2 (ja) * | 1998-11-04 | 2006-11-22 | 株式会社日立製作所 | 受信装置 |
| US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
| US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
| US20100211690A1 (en) * | 2009-02-13 | 2010-08-19 | Digital Fountain, Inc. | Block partitioning for a data stream |
| US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
| US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
| US9485546B2 (en) | 2010-06-29 | 2016-11-01 | Qualcomm Incorporated | Signaling video samples for trick mode video representations |
| US9843844B2 (en) | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
-
1995
- 1995-04-09 JP JP10908995A patent/JP3651699B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08289255A (ja) | 1996-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3364281B2 (ja) | 時分割ビデオ及びオーディオ信号の同期方式 | |
| KR100205494B1 (ko) | 비디오 및 오디오 신호처리 시스템에 있어서의 보조정보를 위한 합리적인 입력 버퍼 회로 배열 | |
| US5481543A (en) | Rational input buffer arrangements for auxiliary information in video and audio signal processing systems | |
| JP3405034B2 (ja) | ディジタル信号多重化方法及び装置、並びにディジタル信号記録媒体 | |
| EP0634867B1 (en) | Compressed and coded data recording method | |
| US8233780B2 (en) | Reproducing apparatus and method, and recording medium | |
| US20010009548A1 (en) | Method and apparatus for converting data streams | |
| JP3651699B2 (ja) | 復号化装置及び符号化復号化装置 | |
| JP4294660B2 (ja) | 再生装置、再生方法及びその記録媒体 | |
| US20020034144A1 (en) | Recording apparatus | |
| JP3277971B2 (ja) | データ多重化装置、データ多重化方法及びデータ記録媒体 | |
| JPH0898160A (ja) | データ多重化装置 | |
| JP2008176918A (ja) | 再生装置、再生方法及びその記録媒体 | |
| JP4608831B2 (ja) | データ多重化装置およびデータ多重化方法 | |
| JP2001268513A (ja) | 動画像再生装置および動画像記録再生システム | |
| JPH11220695A (ja) | 動画像データの復号装置及び復号方法 | |
| JP2003235011A (ja) | プログラムストリーム生成装置およびこれを用いた記録再生装置 | |
| JPH11215470A (ja) | 動画像データの記録装置及び記録方法、記録媒体、並びに、動画像データの復号装置及び復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050217 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080304 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090304 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110304 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120304 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |