JP2004297829A - Ｍｐｅｇデータ再生装置 - Google Patents

Abstract

【課題】 第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへ繋げて再生させる際に、ＶＢＶバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスで高品位な再生を実現させることができる再生装置を提供すること。
【解決手段】 第１のＭＰＥＧ画像データの繋ぎ区間Ａのデータと第２のＭＰＥＧ画像データの繋ぎ区間Ｂのデータとを復号してから再符号化する。この再符号化は、ＶＢＶバッファ占有値の推移が、ｍの位置でのＶＢＶバッファ占有値から開始されて、ｑの位置でのＶＢＶバッファ占有値までで終了するように制御されて実行される。そして、第１のＭＰＥＧ画像データのｍの位置までは第１のＭＰＥＧ画像データの再生を行い、次に繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データを再生し、その後、第２のＭＰＥＧ画像データのｑの位置へ接続してｑ以降の第２のＭＰＥＧ画像データを再生する。
【選択図】 図９

Description

本発明は、MPEG符号化方式で符号化された画像データである第１及び第２の２つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第１のMPEG画像データから前記第２のMPEG画像データへ繋げて再生させる際に、シームレスな再生を実現させるためのMPEGデータ再生装置に関するものである。

本特許において使用する従来技術であるMPEGについて簡単に説明する。
MPEGについてはISO-IEC11172-2、ITU-T H.262 / ISO-IEC13818-2に詳細な説明がなされているので、ここでは概略のみ説明する。MPEGは1988年、ISO/IEC JTC1/SC2（国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2、現在のSC29）に設立された動画像符号化標準を検討する組織の名称（Moving Pictures Expert Group）の略称である。MPEG1（MPEGフェーズ1）は1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261（CCITT SGXV、現在のITU-T SG15で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/IEC 11172 として成立している。

MPEG1は幾つかの技術を組み合わせて作成されている。図５にMPEG符号化方式による符号化を行う従来のMPEG符号化器を示し、以下に簡単に説明する。入力画像は動き補償予測器１で復号化した画像と、入力画像の差分とを差分器２で取ることで時間冗長部分を削減する。

予測の方向は、過去、未来、両方からの３モード存在する。またこれらは16画素×16画素のMB(Macroblock)ごとに切り替えて使用できる。予測方向は入力画像に与えられたPicture Typeによって決定される。過去からの予測により符号化するモードと、予測をしないでそのMBを独立で符号化するモードとの２モード存在するのが片方向画像間予測符号化画像（P-picture）である。また未来からの予測により符号化するモード、過去からの予測により符号化するモード、両方からの予測により符号化するモード、独立で符号化するモードの４モード存在するのが双方向画像間予測符号化画像（B-picture）である。そして全てのMBが独立で符号化するのが画像内独立符号化画像（I-picture）である。

動き補償は、動き領域をMBごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すMC(Motion Compensation)モードとともにMBの付加情報として伝送される。

一般的には、Iピクチャから次のIピクチャの前のピクチャまでをGOP(Group Of Picture)といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が一つのGOP区間として使用される。（但し、１GOP区間内に２つ以上のＩピクチャを含んでもよい。要するに１GOP区間内に１つ以上のＩピクチャを含めばよい。）
差分画像はDCT器３において直交変換が行われる。DCT（Discrete Cosine Transform)とは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。MPEGではMBを４分割し8×8のDCTブロックに対して、２次元DCTを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、DCTを行うと係数が低域に集中する。

DCTされた画像データ（DCT係数）は量子化器４で量子化が行われる。量子化は量子化マトリックスという8×8の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、DCT係数をその量子化値で叙算する。MPEG復号化器（デコーダー）で逆量子化するときは量子化値で乗算することにより、元のDCT係数に近似している値を得ることになる。

量子化されたデータはVLC器５で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化のひとつであるＤＰＣＭ（differential pulse code modulation )を使用する。また交流（ＡＣ）成分は 低域から高域にzigzag scanを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。

可変長符号化されたデータは一時バッファ６に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器２１に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器４にフィードバックして量子化スケールを調整することで符号量制御される。

量子化された画像データは逆量子化器７にて逆量子化、逆DCT器８にて逆DCTされ、加算器９を介して一時、画像メモリー１０に蓄えられたのち、動き補償予測器１において、差分画像を計算するためのリファレンスの復号化画像として使用される。

このようにしてMPEG符号化された符号化データを復号化するMPEG復号化器（デコーダー）を図６に示す。
入来する符号化データ（ストリーム）はバッファ１１でバッファリングされ、バッファ１１からのデータはVLD器１２に入力される。VLD器１２では可変長復号化を行い、直流（ＤＣ）成分および交流（ＡＣ）成分を得る。交流（ＡＣ）成分データは低域から高域にzigzag scanの順で８ｘ８のマトリックスに配置される。このデータは逆量子化器１３に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆DCT器１４に入力されて逆DCTされ、画像データ（復号化データ）として出力される。また、復号化データは一時、画像メモリー１６に蓄えられたのち、動き補償予測器１７において、差分画像を計算するためのリファレンスの復号化画像として使用される。

また、符号化ビットストリームはビデオの場合１ピクチャーごとに可変長の符号量をもっている。これはMPEGがDCT、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャーごとに配分する符号量は適応的に変更する必要性があり、動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。

この場合、多くはその画像のエントロピー比率に配分しつつ、バッファの制限を守りながら符号量制御される。バッファ管理器は発生した符号量と符号化レートの関係を監視し、所定のバッファ内に収まるように目標符号量を設定する。この値は可変長符号化器にフィードバックされ、符号量制御器に入り、そこで量子化器にセットする量子化値を大きくして発生符号量を抑えたり、量子化値を小さくして発生符号量を小さくしたりする。

このような可変長データを固定の転送レート（符号化レート）で符号化する場合、復号器の最大バッファ量を上限値とすると、一定速度でデータが入力されて、所定の値だけ溜まったとことから、所定の時刻（NTSCのビデオ信号なら1/29.97 sec単位）で復号化を一瞬で行うモデルを使用し、そのバッファがオーバーフローもアンダーフローも発生しないように符号化することがMPEGで規定されている。この規定（ＶＢＶバッファ規定）を守っていればVBVバッファ内でのレートは局部的に変化しているものの、観測時間を長く取れば固定の転送レートとなり、MPEGではこのことを固定レートであると定義している。

固定転送レートの場合、発生符号量の少ない場合にはバッファ占有量は、上限値に張り付いた状態になる。この場合、無効ビットを追加してオーバーフローしないように符号量を増やさなければならない。

可変転送レートの場合にはこの固定転送レートの定義を拡張して、バッファー占有率が上限値になった場合、復号器の読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。こうしたバッファ推移を図７に示す。仮に非常に発生符号量が少なくても、復号器の読み出しが中止されるので、固定転送レートの時のように無効ビットをいれる必要はない。従って、アンダーフローだけが発生しないように符号化する。

MPEGシステムはMPEGビデオ及びオーディオなどで符号化されビットストリームを、１個のビットストリームに多重化し、同期を確保しながら再生する方式を規定したものである。システムで規定されている内容は大きく分けて次の５点である。
１）複数の符号化されたビットストリームの同期再生
２）複数の符号化されたビットストリームの単一ビットストリームへの多重化
３）再生開始時のバッファの初期化
４）連続的なバッファの管理
５）復号や再生などの時刻の確定
MPEGシステムで多重化を行うには情報をパケット化する必要がある。パケットによる多重化とは、例えばビデオ、オーディオを多重化する場合、各々をパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオ、オーディオのパケットを切り替えて時分割伝送する方式である。ヘッダにはビデオ、オーディオなどを識別する情報や、同期の為の時間情報が存在する。パケット長は伝送媒体やアプリケーションに依存し、ATMのように５３バイトから、光ディスクのように４Kバイトと長いものまで存在している。MPEGでは、パケット長は可変で任意に指定できるようになっている。

データはパック、パケット化され、１パックは数パケットで構成されている。各Pパックの先頭部分にはpack start codeやSCR(System Clock Referance) 、パケットの先頭部分にはstream idやタイムスタンプが記述されている。タイムスタンプにはオーディオ、ビデオなどの同期をとる時間情報が記述されており、DTS(Decoding Time Stamp)、PTS(Presentation Time Stamp) の２種類が存在する。PCR(Program Clock Reference)は２７MHｚの時間精度で記述されており、decoderの基準時計をロックする情報である。DTSはそのパケットデータ内の最初のアクセスユニット（ビデオなら１ピクチャ、オーディオなら例えば１１５２サンプル）のデコード開始時刻を、PTSは表示（再生）開始時刻を示している。図１１に示すように、オーディオ、ビデオ、その他のデコーダーは、PCRでロックした共通の基準時計を常に監視し、DTSやPTSの時間と一致したときに、デコードや表示を行うしくみになっている。多重化されたデータが各デコーダでバッファリングされ、同期した表示を行うための仮想的なデコーダをSTD(System Target Decoder)とよび、このSTDがオーバーフローやアンダーフローを起こさないようにな多重化されていなければならない。

また、MPEGシステムには、大きく分けてTS ( Transport Stream)とPS ( Program Stream )が存在する。これらはPES(Packetized Elementary Stream)、およびその他の必要な情報を含むパケットから構成されている。PESは両ストリーム間の変換を可能とするための中間ストリームとして規定されていて、MPEGで符号化されたビデオ、オーディオデータの他、プライベートストリームなどをパケット化したものである。

PSは共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能である。パケットレイヤはPESとよばれ、この構造は図１２に示すように、後述するTSと共用して用いられ、これらの相互互換性を可能とする。PSのSTDモデルでは、ストリームはPES パケット内の stream id によってスイッチされる。

TSもPSと同じように共通の基準時間を有するプログラムのビデオ、オーディオの多重化をすることが可能であるが、TSはさらに異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。 TSはATMセル長や誤り訂正符号化する場合を考慮し、１８８バイトの固定長パケットで構成されており、エラーが存在する系でも使用できるように考慮されている。TS パケット自体の構造はそれほど複雑ではないがマルチプログラムのストリームであるため、その運用は複雑である。PSと比べて特徴的なのはTS パケットが上位構造であるにも関わらず、PES パケット より（通常は）短く、PES パケット を分割してTS パケット に乗せて伝送する点である。TSのSTDモデルでは、ストリームはTS パケット内のPID（パケット ID）によってスイッチされる。

MPEGシステムのTSにはその多重化されている番組の情報に関するパケットがどのPIDであるのかを指示する仕組みがある。それを図１３で説明する。まずTSパケット群の中からPID=0のものを探す。それはPAT （Program Association Table）と呼ばれる情報パケットで、そのパケットの中にはPROGRAMナンバーPRに対応する情報PIDがリンクされた形で記述されている。次に目的のPRに対応するPIDのパケットを読みに行くとPMT（Program Map Table）と呼ばれる情報パケットがあり、そのパケットの中にはそのPRに対応する番組のビデオパケットのPIDと、オーディオパケットのPIDの情報が記述されている。

PATとPMTのことをPSI（Program Specific Information）と呼び、目的の番組のチャンネルにアクセス（エントリー）することが可能な情報体系になっている。
また、従来、特開平１１−７４７９９の発明によれば、記録媒体に記録されたMPEGデータなどの圧縮データを編集する場合、MPEGデータの連続性を保つため、その編集点ではVBVバッファをつねに固定になるよう発生符号量を制御したり、GOPをクローズドGOPとして符号化するなど、連続性を考慮した符号化をおこなう方法が記載されている。

また、特開平１１−１８７３５４の発明のよれば、符号化データにはなんの制約も施さずに、そのデータの部分区間のうち、編集素材として抜粋されたデータを指示する情報とその再生順番に関する情報を記述し、記録されたデータは変更せずに、単一記録媒体に映像編集を実現できる方法が記載されている。

しかしながら上記の従来の方式では、MPEG画像データは単純につなぐとVBVバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまった。
特開平１１−７４７９９の発明においては、どこで編集されても良いように、各GOPに対してVBVバッファが常に固定になるよう発生符号量を制御したり、GOPをクローズドGOPとして符号化するなど、連続性を考慮した符号化制約を施すことになり、符号化効率の面では不利な要因になっていた。

また、特開平１１−１８７３５４の発明においては、あたかも編集したように再生表示はされるが、その編集点での連続性は不完全で、MPEGデータのデコーダーバッファの初期化などの一時的な静止現象がおこる可能性があった。

本発明は、第１及び第２の２つのMPEG画像データを（または、第１のMPEG画像データを要素符号化データとして含むパケット多重化された第１のMPEG多重化データと、第２のMPEG画像データを要素符号化データとして含むパケット多重化された第２のMPEG多重化データとを）、それぞれの指定された繋ぎ指定位置で、前記第１のMPEG画像データから前記第２のMPEG画像データへ繋げて再生させる際に（前記第１のMPEG多重化データから前記第２のMPEG多重化データへ繋げて再生させる際に）、VBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスで高品位な再生を実現させることができるMPEGデータ再生装置を提供することを目的としている。

そこで、上記課題を解決するために本発明は、以下の再生装置を提供するものである。
（１） MPEG符号化方式で符号化された画像データであるMPEG画像データを再生するMPEGデータ再生装置において、
第１及び第２の２つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第１のMPEG画像データから前記第２のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された繋ぎ区間再符号化データを得て、前記第１のMPEG画像データから前記第２のMPEG画像データへの繋ぎ再生を行う繋ぎ再生手段を設け、
前記繋ぎ区間再符号化データは、前記第１のMPEG画像データにおける前記繋ぎ指定位置から第１の所定時間分前の位置を開始位置とし、前記第１のMPEG画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とすると共に、前記第２のMPEG画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のMPEG画像データにおける前記繋ぎ指定位置から第２の所定時間分後の位置を終了位置とする区間を第２の繋ぎ区間とし、前記第１の繋ぎ区間と前記第２の繋ぎ区間とを合わせた区間を第３の繋ぎ区間として、前記第１の繋ぎ区間の前記第１のMPEG画像データを復号して得た画像データである第１の繋ぎ区間復号画像データと、前記第２の繋ぎ区間の前記第２のMPEG画像データを復号して得た画像データである第２の繋ぎ区間復号画像データとよりなる第３の繋ぎ区間復号画像データを、前記MPEG符号化方式で再符号化して得た再符号化データであって、前記再符号化時におけるVBVバッファ占有値に関する情報値の推移が、前記第１の繋ぎ区間の開始位置に対応する位置における前記第１のMPEG画像データの符号化時のVBVバッファ占有値に関する情報値から開始されて、前記第２の繋ぎ区間の終了位置に対応する位置における前記第２のMPEG画像データの符号化時のVBVバッファ占有値に関する情報値までで終了するように符号量制御が行われて再符号化されたものであり、
前記繋ぎ再生手段は、前記第１のMPEG画像データにおける前記第１の繋ぎ区間の開始位置まで前記第１のMPEG画像データを再生した後、前記繋ぎ区間再符号化データをその区画の開始位置から終了位置まで再生し、その後、前記第２のMPEG画像データにおける前記第２の繋ぎ区間の終了位置から前記第２のMPEG画像データを再生するものである、
ことを特徴とするMPEGデータ再生装置。

以上の通り、本発明を用いれば、第１及び第２の２つのMPEG画像データを（または、第１のMPEG画像データを要素符号化データとして含むパケット多重化された第１のMPEG多重化データと、第２のMPEG画像データを要素符号化データとして含むパケット多重化された第２のMPEG多重化データとを）、それぞれの指定された繋ぎ指定位置で、前記第１のMPEG画像データから前記第２のMPEG画像データへ繋げて再生させる際に（前記第１のMPEG多重化データから前記第２のMPEG多重化データへ繋げて再生させる際に）、VBVバッファの接続にオーバーフローやアンダーフローの矛盾が生じることなく、シームレスで高品位な再生を実現させることができる。

まず、本発明で実現可能とする繋ぎ再生の概念を説明する。図８のように第MPEG符号化方式で符号化された画像データである１のＭＰＥＧ画像データと同じく第２のＭＰＥＧ画像データが存在する場合の、第１のＭＰＥＧ画像データの途中（指定された繋ぎ指定位置）から第２のＭＰＥＧ画像データを繋げて再生することを考える。接続点（第１のMPEG画像データにおける繋ぎ指定位置）がｂの位置と仮定すると、第１のＭＰＥＧ画像データのｂの位置まで再生を行い、そのあと第２のＭＰＥＧ画像データへ接続してデータを再生することになるが、MPEG画像データは単純につなぐとVBVバッファの接続に矛盾が生じ、オーバーフローやアンダーフローがおきてしまうという問題が生じる。

そこで、まず、第１のＭＰＥＧ画像データと第２のＭＰＥＧ画像データとのMPEG符号化方式での符号化時における、ＶＢＶバッファの情報を所定区間単位（第１のMPEG画像データでは第１の所定区間単位、第２のMPEG画像データでは第２の所定区間単位）でサイド情報として生成して記録媒体に記述しておくようにする。

なお、このサイド情報にＶＢＶバッファの情報を記述しないで繋ぎ再生を実現することも可能である。この場合には２つの方法が考えられるが、それについては後述する。
第１のMPEG画像データに関するＶＢＶバッファの情報は、第１のMPEG画像データの第１の所定区間毎における、その区間の最後のピクチャーのMPEG符号化開始時点または終了時点でのVBVバッファ占有値に関する情報値を示す第１のVBVバッファ占有値関連情報と、VBVバッファ占有値に関する情報値が第１のMPEG画像データのどの位置におけるVBVバッファ占有値に関する情報値であるかを示す第１のアドレス情報とである。

第２のMPEG画像データに関するＶＢＶバッファの情報は、第２のMPEG画像データの第２の所定区間毎における、その区間の最後のピクチャーのMPEG符号化開始時点または終了時点でのVBVバッファ占有値に関する情報値を示す第２のVBVバッファ占有値関連情報と、VBVバッファ占有値に関する情報値が前記第２のMPEG画像データのどの位置におけるVBVバッファ占有値に関する情報値であるかを示す第２のアドレス情報とである。

VBVバッファ占有値に関する情報値とは、例えばMPEGで規定されているVBVバッファ占有値またはVBV delay値である。
前記第１及び第２の所定区間の１単位は後述するように例えば３フレーム程度のものでも、１ＧＯＰ程度でもよい。仮にその所定区間単位を、第１のMPEG画像データにおいては図８のa-b間、第２のMPEG画像データにおいては図８のc-d間とする。

前記ＶＢＶバッファの情報リストには、aの位置（前記第１のMPEG画像データにおける前記繋ぎ指定位置から第１の所定時間分前の前記第１の所定区間の境界：即ち後述する区間Ａの開始位置）でのＶＢＶバッファの情報と、bの位置（第１のMPEG画像データにおける前記繋ぎ指定位置：即ち後述する区間Ａの終了位置）でのＶＢＶバッファの情報が記述されている。また、第２のＭＰＥＧ画像データのｃの位置（第２のMPEG画像データにおける前記繋ぎ指定位置から第２の所定時間分前の前記第２の所定区間の境界位置）でのＶＢＶバッファの情報と、接続点ｄの位置（第２のMPEG画像データにおける前記繋ぎ指定位置：この例の場合は第２の所定区間の境界位置）でのＶＢＶバッファの情報も存在する。

そこで、第１のＭＰＥＧ画像データのa-b区間（第１の繋ぎ区間：ここでは区間Ａとする）のデータを、一旦、復号化して復号画像データを得、その復号画像データ（第１の繋ぎ区間復号画像データ）をMPEG符号化方式で再符号化を行う。それによって作成された再符号化データを区間Ａの再符号化ＭＰＥＧ画像データ（第１の繋ぎ区間再符号化データ）と呼ぶこととする。この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ａの位置での前記検出した第１のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値から開始されて、ｄの位置での前記検出した第２のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってMPEG符号化方式で再符号化を行う。

従来の繋ぎ再生動作である、第１のＭＰＥＧ画像データのｂの位置まで再生を行い、そのあと第２のＭＰＥＧ画像データのｄの位置へ接続してデータを再生する、という動作を、区間Ａの再符号化ＭＰＥＧ画像データを用いて次のような動作とする。即ち、第１のＭＰＥＧ画像データのaの位置（区間Ａの開始位置）までは第１のＭＰＥＧ画像データの再生を行い、そのあと前記区間Ａの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データのｄの位置（繋ぎ指定位置）へ接続してｄ以降の第２のＭＰＥＧ画像データのデータを再生する、という動作にする。再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。

この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データ同じコンテンツ内容で且つ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。

なお、図８に示した、第１のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得る場合には、接続点ｄの位置（第２のMPEG画像データにおける繋ぎ指定位置）のＶＢＶバッファの情報が必要となる。前述したようにＶＢＶバッファの情報は、MPEG画像データの所定区間毎における、その区間の最後のピクチャーのMPEG符号化開始時点または終了時点での情報であるので、所定区間の境界の位置での情報となる。従って、接続点の位置（繋ぎ指定位置）は、少なくとも第２のMPEG画像データにおいては第２の所定区間の境界として指定される必要がある。（即ち、第２のMPEG画像データにおける接続点ｄの位置は第２の所定区間の境界として指定される必要がある。）
また、第１のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得る場合には、前述したように図８に示したａの位置（繋ぎ区間Ａの開始位置）のＶＢＶバッファの情報も必要となる。しかし、ａの位置は、第１のMPEG画像データにおける接続点（繋ぎ指定位置）bから第１の所定時間分前の第１の所定区間の境界として指定されるので、接続点bの位置に関わらずａの位置ではＶＢＶバッファの情報がえられる。よって、第１のMPEG画像データにおける接続点ｂの位置は、必ずしも第１の所定区間の境界として指定される必要はない。

次に、その応用例を図９（２），（３）に示す。同図（１）は図８に示した例と同様のものである。図８に示した例では、第１のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現したが、第２のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現することも可能である。その例が図９（２）に示したものであり、第２のMPEG画像データにおける繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データを用いるものである。

図９（２）において、第１のMPEG画像データにおける接続点（繋ぎ指定位置）をｉの位置とし、第２のMPEG画像データにおける接続点（繋ぎ指定位置）をｋの位置とする。前述したＶＢＶバッファの情報を有する単位である第１及び第２の所定区間の１単位を、第１のMPEG画像データにおいてはi-j間、第２のMPEG画像データにおいてはｋ-ｌ間とする。ｌの位置は第２のMPEG画像データにおける接続点（繋ぎ指定位置）ｋから第２の所定時間分後の第２の所定区間の境界位置となる。接続点ｋを開始位置としｌの位置を終了位置とする区間を繋ぎ区間Ｂ（第２の繋ぎ区間）とする。

第２のＭＰＥＧ画像データのを繋ぎ区間Ｂ（ｋ-ｌ区間）のデータを、一旦、復号化して、復号画像データを得、その復号画像データ（第２の繋ぎ区間復号画像データ）をMPEG符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データ（第２の繋ぎ区間再符号化データ）と呼ぶこととする。この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ｉの位置での第１のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値から開始されて、ｌの位置での第２のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってMPEG符号化方式で再符号化を行う。

そして、繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データを用いて、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへの繋ぎ再生を行う。すなわち、第１のＭＰＥＧ画像データの接続点ｉ（繋ぎ指定位置）までは第１のＭＰＥＧ画像データの再生を行い、そのあと前記区間Ｂの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データのｌの位置（繋ぎ区間Ｂの終了位置）へ接続してｌの位置以降の第２のＭＰＥＧ画像データのデータを再生する、という動作にする。再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。

この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データ同じコンテンツ内容で且つ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。

なお、図９（２）に示した、第２のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得る場合には、接続点ｉの位置（第１のMPEG画像データにおける繋ぎ指定位置）のＶＢＶバッファの情報が必要となる。前述したようにＶＢＶバッファの情報は、MPEG画像データの所定区間毎における、その区間の最後のピクチャーのMPEG符号化開始時点または終了時点での情報であるので、所定区間の境界の位置での情報となる。従って、接続点の位置（繋ぎ指定位置）は、少なくとも第１のMPEG画像データにおいては第１の所定区間の境界として指定される必要がある。（即ち、第１のMPEG画像データにおける接続点ｉの位置は第１の所定区間の境界として指定される必要がある。）
また、第２のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得る場合には、前述のように図９（２）に示した、ｌの位置（繋ぎ区間Ｂの終了位置）のＶＢＶバッファの情報も必要となる。しかし、ｌの位置は、第２のMPEG画像データにおける接続点（繋ぎ指定位置）ｋから第２の所定時間分後の第２の所定区間の境界として指定されるので、接続点ｋの位置に関わらずｌの位置ではＶＢＶバッファの情報が得られる。よって、第２のMPEG画像データにおける接続点ｋの位置は、必ずしも第２の所定区間の境界として指定される必要はない。

次に、図９（３）に示す応用例について説明する。この例では、接続点前後の第１及び第２のＭＰＥＧ画像データを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得て繋ぎ再生を実現すさせるものである。（この図９（３）に示すタイプが本発明の実施例である。）
図９（３）において、第１のMPEG画像データにおける接続点（繋ぎ指定位置）をｎの位置とし、第２のMPEG画像データにおける接続点（繋ぎ指定位置）をｐの位置とする。前述したＶＢＶバッファの情報を有する単位である第１及び第２の所定区間の１単位を、第１のMPEG画像データにおいてはｍ-ｎ間、第２のMPEG画像データにおいてはｐ-ｑ間とする。

ｍの位置は第１のMPEG画像データにおける接続点（繋ぎ指定位置）ｎから第１の所定時間分前の第１の所定区間の境界位置となる。ｍの位置を開始位置とし接続点ｎの位置を終了位置とする区間を繋ぎ区間Ａ（第１の繋ぎ区間）とする。ｑの位置は第２のMPEG画像データにおける接続点（繋ぎ指定位置）ｐから第２の所定時間分後の第２の所定区間の境界位置となる。接続点ｐを開始位置としｑの位置を終了位置とする区間を繋ぎ区間Ｂ（第２の繋ぎ区間）とする。

第１のＭＰＥＧ画像データの繋ぎ区間Ａ（ｍ-ｎ区間）のデータを、一旦、復号化して復号画像データ（繋ぎ区間Ａ復号画像データ：第１の繋ぎ区間復号画像データ）をえる。また、第２のＭＰＥＧ画像データのを繋ぎ区間Ｂ（ｐ-ｑ区間）のデータを、一旦、復号化して、復号画像データ（繋ぎ区間Ｂ復号画像データ：第２の繋ぎ区間復号画像データ）を得る。

繋ぎ区間Ａ復号画像データと繋ぎ区間Ｂ復号画像データとを合わせた繋ぎ区間Ａ＋Ｂ復号画像データ（第３の繋ぎ区間復号画像データ）をMPEG符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データ（第３の繋ぎ区間再符号化データ）と呼ぶこととする。この再符号化は、ＶＢＶバッファ占有値に関する情報値の推移が、ｍの位置での第１のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値から開始されて、ｑの位置での第２のVBVバッファ占有値関連情報に基づき得られたVBVバッファ占有値に関する情報値までで終了するようにレートコントロールを行ってMPEG符号化方式で再符号化を行う。

そして、繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データを用いて、第１のＭＰＥＧ画像データから第２のＭＰＥＧ画像データへの繋ぎ再生を行う。すなわち、第１のＭＰＥＧ画像データの繋ぎ区間Ａの開始位置ｍまでは第１のＭＰＥＧ画像データの再生を行い、そのあと前記繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データをその区間の開始位置から終了位置まで再生し、その後、第２のＭＰＥＧ画像データの繋ぎ区間Ｂの終了位置ｑへ接続してｑの位置以降の第２のＭＰＥＧ画像データのデータを再生する、という動作にする。再生装置側にこの動作を行う繋ぎ再生手段を設けて実現させる。

この繋ぎ再生動作とすることで、元の第１及び第２のＭＰＥＧ画像データ同じコンテンツ内容で且つ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生を実現することが可能となる。

なお、図９（３）に示した例では、前述したようにｍの位置（繋ぎ区間Ａの開始位置）のＶＢＶバッファの情報が必要となる。ｍの位置は、第１のMPEG画像データにおける接続点（繋ぎ指定位置）ｎから第１の所定時間分前の第１の所定区間の境界として指定されるので、接続点ｎの位置に関わらずｍの位置ではＶＢＶバッファの情報が得られる。よって、第１のMPEG画像データにおける接続点ｎの位置は、必ずしも第１の所定区間の境界として指定される必要はない。

また、前述のように図９（３）に示した、ｑの位置（繋ぎ区間Ｂの終了位置）のＶＢＶバッファの情報も必要となる。ｑの位置は、第２のMPEG画像データにおける接続点（繋ぎ指定位置）ｐから第２の所定時間分後の第２の所定区間の境界として指定されるので、接続点ｐの位置に関わらずｑの位置ではＶＢＶバッファの情報が得られる。よって、第２のMPEG画像データにおける接続点ｐの位置も、必ずしも第２の所定区間の境界として指定される必要はない。

このように、図９（１）〜（３）に示した方法は、いずれもシームレスで高品位な繋ぎ再生を実現させることができる
これらの発展系としては、図１０に示すように、第１のＭＰＥＧ画像データと、第２のＭＰＥＧ画像データや、第３、第４のＭＰＥＧ画像データを、図のように途中分岐するような繋ぎ再生を実現させることも可能となる。このように、本発明を用いれば、元のMPEG画像データそのものを加工することなく、繋ぎ区間の再符号化ＭＰＥＧ画像データを生成し利用するだけで、他のMPEGデータに自由につなげることができるので、さまざまな分岐ストーリーを構成するプログラムを符号化する際にも、分岐ストーリー毎にそのストーリーの全体にわたる冗長なMPEG画像データを記録することなく、メディアを効率よく使用することが可能となる。（本発明を用いれば、第１〜第４のＭＰＥＧ画像データそれぞれ一組と、分岐ストーリー毎の繋ぎ区間の再符号化ＭＰＥＧ画像データとを用意しておけばよい。）
また、図９（３）に示す方法を用いれば、前述したように、第１のMPEG画像データにおける接続点の位置は、必ずしも第１の所定区間の境界として指定される必要がなく、第２のMPEG画像データにおける接続点の位置も、必ずしも第２の所定区間の境界として指定される必要がないので、ＶＢＶバッファの情報を所定区間単位でサイド情報として記述しておく所定区間単位よりも細かい精度、例えば１フレーム単位で編集する場合に適用できる。この例を図１５と共に説明する。所定単位は３フレーム程度のものでも、１ＧＯＰ程度でもよいが、ここでは１ＧＯＰとする。

図１５のように繋げる対象の２つのMPEGストリームが存在するとする。第１のMPEGストリームに矢印で示してあるｇとｈの地点では、前記ＶＢＶバッファの情報リストにｇの位置でのＶＢＶバッファの情報と、ｈの位置でのＶＢＶバッファの情報が記述されている。また、第２のＭＰＥＧ画像データにもiの位置のＶＢＶバッファの情報とjの位置のＶＢＶバッファの情報も存在する。

第１のMEPGストリーム１のｐの位置から、第２のMPEGストリームの先頭へ繋ぐ場合、第１のMPEGストリームのｇからｐまでの区間Aのデータを復号し、さらに、第２のMPEGストリームのiからｊの区間Bのデータを復号し、両方の画像をバッファ推移がｇの位置のバッファ占有値から始まってｊの位置のバッファ占有値になるように再符号化を行う。

それによって作成されたデータを区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データを呼ぶとすると、従来の再生動作である、第１のＭＰＥＧ画像データのｐの位置まで再生を行い、そのあと第２のＭＰＥＧ画像データへ接続してデータを再生する、という動作は、第１のＭＰＥＧ画像データのｇの位置まで再生を行い、そのあと前記区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データを再生し、その後、第２のＭＰＥＧ画像データのｊへ接続してデータを再生する、という動作にすることで、同じコンテンツ内容で且つ、ＶＢＶバッファの破綻を起こさないシームレスな接続再生をすることができる。

次に、サイド情報としてＶＢＶバッファの情報を記述しないで上述した各例と同様な繋ぎ再生を実現する２つの方法について説明する。（繋ぎ区間再符号化データを生成する際に必要となる、VBVバッファ占有値に関する情報値の算出方法について説明する。）
まず、第１の方法について説明する。ＭＰＥＧ規格において、基本的にＣＢＲ（constant bit rate）、即ち、固定転送レートの場合には、ＭＰＥＧビデオのピクチャーレイヤにＶＢＶバッファのバッファ占有率を示す、VBV delay値が規定されている。この場合にはVBV delay値がピクチャー単位に記述されているので、ＭＰＥＧ画像ビットストリームをピクチャーヘッダーのみだけでも観測することで、ＭＰＥＧ画像データの所定位置に対応するピクチャのＭＰＥＧ符号化開始時点（または終了時点）でのVBVバッファ占有値を検出することができる。この場合、例えば後述する図４におけるＶＢＶバッファ情報検出器３３の機能は、ビットストリームのピクチャーヘッダー（ＭＰＥＧでは０ｘ０００００１００という４バイトのコード）をサーチして、そのあとの、１０ビットのtemparal reference１０ビット、picture coding type３ビットのあとに続く、VBV delay１６ビットを検出することで実現できる。VBV delay値とは
VBV delay = 90000 x B / R
B:バッファ占有値 R：ビットレート
で定義されたものであるから、固定レートの場合には、このビットレートを用いてVBV delay値からVBVバッファ占有値も計算で求めることができる。（例えば図４に示すＶＢＶバッファ情報検出器３３で計算する。）
ＭＰＥＧではこのVBV delay値は、図１６（２）のように、グラフの頂点の位置でのものに注意しなければならない。

次に、第２の方法について説明する。これは、固定転送レートではなく可変転送レートの場合である。ＭＰＥＧ規格では、基本的にＶＢＲ（variable bit rate：可変転送レート）の場合、ＭＰＥＧビデオのピクチャーレイヤにおけるＶＢＶバッファのバッファ占有率を示すVBV delay値はすべて１、（１６ビットすべてが１なので０ｘｆｆｆｆ）となる。従って、前記第１の方法は使えない。

そこで、ＭＰＥＧ画像ビットストリームを観測することで得られた情報から次のような計算を行う。まず、ビットストリームの一番初めから、ＶＢＶバッファをＭＰＥＧ規定の最大値（たとえばメインプロファイルメインレベルでは1.75Mbit）まで占有したと仮定する。次に、始めのピクチャーの符号量を減算する。次に、可変転送レート符号化におけるピークレートの伝送レート情報を用いて、表示ピクチャー間の時間だけ経過した場合の伝送量を加算し、次のピクチャーの符号量を減算する。このような一連の加算、減算という処理を所定の求めたいビットストリームの位置まで繰り返し行うことで、図３に示すようなグラフをシミュレーションして求めるがごとく、ＭＰＥＧ画像データの所定位置に対応するピクチャのMPEG符号化開始時点（または終了時点）でのVBVバッファ占有値を求めることができる。可変転送レート時のピークレートは、ＭＰＥＧではシーケンスヘッダーのbit rateというシンタックスの部分に記述することに規定されているので、それを参照すれば得られる。

例えば、後述する図４に示すＶＢＶバッファ情報検出器３３に上述のＭＰＥＧ画像ビットストリームを観測機能と計算機能を持たせるようにして実現する。（この第２の方法の場合、そのＭＰＥＧ画像ビットストリームの先頭から、各ピクチャーの発生符号量を観測して計算しなければならないが、第１の方法と同様に予めサイド情報としてＶＢＶバッファの情報を用意しておく必要がない。）
次に、上記第１及び第２の方法を用いた場合における、繋ぎ区間再符号化データの生成について簡単に説明する。なお、この繋ぎ区間再符号化データを用いた繋ぎ再生動作は、予めサイド情報として記録されているＶＢＶバッファの情報により生成した繋ぎ区間再符号化データを用いた場合と同様であるので、ここでは説明を省略する。

図９（１）に示す第１のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得る場合には、第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｂから第１の所定時間分前の位置ａを開始位置として、第１のＭＰＥＧ画像データにおける繋ぎ指定位置ｂを終了位置とする区間を第１の繋ぎ区間（繋ぎ区間Ａ）とする。繋ぎ区間Ａの開始位置ａの指定に、サイド情報を用いる場合のような第１の所定区間の境界といった制限は不要となる。同様に、第２のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｄの指定に、サイド情報を用いる場合のような第２の所定区間の境界といった制限は不要となる。

第１のＭＰＥＧ画像データのa-b区間（繋ぎ区間Ａ）のデータを、一旦、復号化して復号画像データを得、その復号画像データ（第１の繋ぎ区間復号画像データ）をＭＰＥＧ符号化方式で再符号化して、繋ぎ区間Ａの再符号化ＭＰＥＧ画像データ（第１の繋ぎ区間再符号化データ）を得る。この再符号化は、VBVバッファ占有値の推移が、上記第１または第２の方法で算出された、ａの位置に相当するピクチャのＭＰＥＧ符号化（第１のＭＰＥＧ画像データ生成時のＭＰＥＧ符号化）開始時点（または終了時点）でのVBVバッファ占有値から開始される。そして、VBVバッファ占有値の推移が、上記第１または第２の方法で算出された、ｄの位置に相当するピクチャのMPEG符号化（第２のＭＰＥＧ画像データ生成時のＭＰＥＧ符号化）開始時点（または終了時点）でのVBVバッファ占有値までで終了するように、レートコントロールを行ってMPEG符号化方式で再符号化される。得られた繋ぎ区間Ａの再符号化ＭＰＥＧ画像データ（第１の繋ぎ区間再符号化データ）を記録媒体に記録する。（例えば、後述する図４に示すデータ書き込み部３７により記録する。）
次に、図９（２）に示す第２のＭＰＥＧ画像データ側のみを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得る場合について説明する。図９（２）において、第１のMPEG画像データにおける接続点（繋ぎ指定位置）をｉの位置とし、第２のMPEG画像データにおける接続点（繋ぎ指定位置）をｋの位置とする。接続点ｋを開始位置とし、接続点（繋ぎ指定位置）ｋから第２の所定時間分後の位置となるｌの位置を終了位置とする、第２のＭＰＥＧ画像データの区間を繋ぎ区間Ｂ（第２の繋ぎ区間）とする。繋ぎ区間Ｂの終了位置ｌの指定に、サイド情報を用いる場合のような、第２の所定区間の境界といった制限は不要となる。同様に、第１のＭＰＥＧ画像データにおける接続点（繋ぎ指定位置）ｉの指定に、サイド情報を用いる場合のような第１の所定区間の境界といった制限は不要となる。

第２のＭＰＥＧ画像データの繋ぎ区間Ｂ（ｋ-ｌ区間）のデータを、一旦、復号化して、復号画像データを得、その復号画像データ（第２の繋ぎ区間復号画像データ）をMPEG符号化方式で再符号化して、繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データ（第２の繋ぎ区間再符号化データ）を得る。この再符号化は、VBVバッファ占有値の推移が、上記第１または第２の方法で算出された、ｉの位置に相当するピクチャのＭＰＥＧ符号化開始時点（または終了時点）でのVBVバッファ占有値から開始される。そして、VBVバッファ占有値の推移が、上記第１または第２の方法で算出された、ｌの位置に相当するピクチャのMPEG符号化開始時点（または終了時点）でのVBVバッファ占有値までで終了するように、レートコントロールを行ってMPEG符号化方式で再符号化が行われる。得られた繋ぎ区間Ｂの再符号化ＭＰＥＧ画像データ（第２の繋ぎ区間再符号化データ）を記録媒体に記録する。（例えば、後述する図４に示すデータ書き込み部３７により記録する。）
次に、図９（３）に示す、接続点前後の第１及び第２のＭＰＥＧ画像データを元に繋ぎ区間の再符号化ＭＰＥＧ画像データを得る場合について説明する。

図９（３）において、第１のMPEG画像データにおける接続点（繋ぎ指定位置）をｎの位置とし、第２のMPEG画像データにおける接続点（繋ぎ指定位置）をｐの位置とする。
第１のMPEG画像データにおける接続点（繋ぎ指定位置）ｎから第１の所定時間分前の位置をｍとする。ｍの位置を開始位置とし、接続点ｎの位置を終了位置とする第１のMPEG画像データの区間を、繋ぎ区間Ａ（第１の繋ぎ区間）とする。第２のMPEG画像データにおける接続点（繋ぎ指定位置）ｐから第２の所定時間分後の位置をｑする。接続点ｐを開始位置とし、ｑの位置を終了位置とする第２のMPEG画像データの区間を、繋ぎ区間Ｂ（第２の繋ぎ区間）とする。

繋ぎ区間Ａの開始位置ｍの指定に、サイド情報を用いる場合のような第１の所定区間の境界といった制限は不要となる。同様に、繋ぎ区間Ｂの終了位置ｑの指定に、サイド情報を用いる場合のような第２の所定区間の境界といった制限は不要となる。

第１のＭＰＥＧ画像データの繋ぎ区間Ａ（ｍ-ｎ区間）のデータを、一旦、復号化して復号画像データ（繋ぎ区間Ａ復号画像データ：第１の繋ぎ区間復号画像データ）を得る。また、第２のＭＰＥＧ画像データの繋ぎ区間Ｂ（ｐ-ｑ区間）のデータを、一旦、復号化して、復号画像データ（繋ぎ区間Ｂ復号画像データ：第２の繋ぎ区間復号画像データ）を得る。

そして、繋ぎ区間Ａ復号画像データと繋ぎ区間Ｂ復号画像データとを合わせた繋ぎ区間Ａ＋Ｂ復号画像データ（第３の繋ぎ区間復号画像データ）をMPEG符号化方式で再符号化を行う。それによって作成された再符号化データを繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データ（第３の繋ぎ区間再符号化データ）とする。この再符号化は、ＶＢＶバッファ占有値の推移が、上記第１または第２の方法で算出された、ｍの位置に相当するピクチャのＭＰＥＧ符号化開始時点（または終了時点）でのVBVバッファ占有値から開始される。そして、VBVバッファ占有値の推移が、上記第１または第２の方法で算出された、ｑの位置に相当するピクチャのMPEG符号化開始時点（または終了時点）でのVBVバッファ占有値までで終了するように、レートコントロールを行ってMPEG符号化方式で再符号化される。得られた繋ぎ区間Ａ＋Ｂの再符号化ＭＰＥＧ画像データ（第３の繋ぎ区間再符号化データ）を記録媒体に記録する。（例えば、後述する図４に示すデータ書き込み部３７により記録する。）
図１０に示す例においても、もちろん、上述の計算方法により必要な位置でのVBVバッファ占有値を求めることが可能であり、所望の繋ぎ区間再符号化データ）を得ることができる。

次に、本発明を適用した記録再生装置の一実施例によって記録媒体に記録するＶＢＶバッファ情報（MPEG画像データの所定区間毎における、その区間の最後のピクチャーのMPEG符号化開始時点または終了時点でのVBVバッファ占有値に関する情報値を示すVBVバッファ占有値関連情報と、前記VBVバッファ占有値に関する情報値が前記MPEG画像データのどの位置におけるVBVバッファ占有値に関する情報値であるかを示すアドレス情報）、ならびに、ＭＰＥＧ画像データに関する記録構造について詳しく説明する。記録媒体には、MPEG符号化方式で圧縮された画像データであるMPEG画像データが記録される。このMPEG画像データは、一回の記録単位で符号化生成された連続再生可能なデータが複数連続して連なったビットストリームとして記録される。

これらの符号化されたMPEG画像データのビットストリームとは別に、MPEG画像データのビットストリームにおけるIピクチャーの１フレーム前のピクチャー符号化終了時点でのVBVバッファ値（占有値）と、Pピクチャーの１フレーム前のピクチャー符号化終了時点でのVBVバッファ値（占有値）と、前記各VBVバッファ値がMPEG画像データのどの位置におけるVBVバッファ占有値であるかを示すアドレス情報（この例では、MPEG画像データのファイルのはじめからの相対アドレス）が記録される。これらのデータを含むVBVバッファ情報のデータ構造を図１に示す。

VBVバッファ情報は階層構造をもっている。始めにエントリーポイント情報構造体があり、その後にVBV情報構造体がある。エントリーポイント情報構造体は、始めにエントリーポイント（EP）のアドレスの個数を３２ビット、その後にEPｎ（ｎは１以上の自然数）アドレスを３２ビットで順に記述する。EPｎアドレスはVBV情報構造体のEPｎ情報（ｎは１以上の自然数）の記述されている位置を示し、このVBVバッファ情報の先頭からの相対アドレスを記述する。一方VBV情報構造体は、EP1情報から順に記述されており、EP1情報の中身は相対アドレス、PTM値、VBV値を順に記述する。

VBV情報構造体のEPｎ情報における相対アドレスとは、図２のように、MPEG画像データのビットストリームにおけるIピクチャーの１フレーム前のピクチャー符号化終了時点、Pピクチャーの１フレーム前のピクチャー符号化終了時点、及び記録終了時点での、そのMPEG画像データの先頭からの相対アドレスであり、例えば単位はバイトが用いられる。ディスクメディアに記録されている場合には、相対アドレスとしてセクターなどが用いられる。

VBV情報構造体のEPｎ情報におけるPTM値とは、MPEGのシステム規格（多重化規格）において、９０kHzもしくは２７MHｚのクロックで記録されているタイムスタンプである。MPEG規格ではPTS（Presentation Time Stamp）やDTS(Decoding Time Stamp)と呼ばれている。ここでは、MPEG画像データのビットストリームのIピクチャーの１フレーム前のピクチャー符号化終了時点、Pピクチャーの１フレーム前のピクチャー符号化終了時点、及び記録終了時点での、時間情報としてDTSを記録する。DTSは１ピクチャーに１つ記録されており、NTSCのビデオ信号であれば９０KHｚクロックで１ピクチャにつき３００３クロックの間隔で、記録されている。従って、本発明のように３ピクチャーごとにIピクチャかPピクチャが存在している場合で一番初めが０からスタートする場合には、９００９、１８０１８....という間隔でPTM情報がEPｎ情報に記述されることになる。

VBV情報構造体のEPｎ情報におけるVBV値は、MPEGで規定されているデコーダーの仮想バッファ占有値である。MPEG画像データの１ピクチャごとの発生符号量と、転送レートの値から計算で導けるもので、図３のように、圧縮されているビットストリーム情報のIピクチャーとPピクチャーの１フレーム前のピクチャー符号化終了時点での、図の○の位置でのVBV占有値を記述する。もしくはMPEGで規定されているVBV delay値を記述する。この値はVBV占有値まで、そのときの転送レートでどれだけの時間がかかるかという時間に換算した値である。本発明ではVBVバッファ占有値に関する情報であれば何であっても良い。VBVバッファ占有値とVBV delay値の関係を図１７に示す。VBVバッファの占有値OCCは、符号化レートをRとすると、VBV delay = 90000 * OCC / Rという関係にあり、９００００は９０ｋHzのカウント数で示すための値である。

MPEG圧縮では基本的にIBB、PBB、というように３フレーム単位でIかPのピクチャータイプを用いて符号化する。MPEG圧縮はBピクチャーは両方向から予測されている可能性があるので、符号化ビットストリーム順番において、ビットストリームのIピクチャー、Pピクチャーの１フレーム前のピクチャー符号化終了時点でしか、データのつなぎ追加は簡単にはできない。そのため本発明では、VBVの情報をビットストリームのIピクチャー、Pピクチャーの１フレーム前のピクチャー符号化終了時点で記述する形態をもつという仮定で説明している。

しかしながら、本質的にはVBV占有値に関する情報値は、毎ピクチャー持っても良い。また、ピクチャー符号化終了時点でなく、符号化開始点でも良い。図１６（１）では符号化終了点の値をリストに持つ場合の概念図であるが、この場合には一番初めのVBV占有値に関する情報値が無いため、第１フレームの前に仮想的にフレームがあったとして、その仮想フレームの符号化終了時点のVBV占有値に関する情報値を初期値として計算する。計算は第１のピクチャ符号量を、一番目のVBV占有値に関する情報値に加算して、加算した値から、符号化レートによる傾きから、（１/ピクチャーレート）だけの時間によってどれだけの符号伝送量かを計算した値を減算すると、図１６（１）の黒丸部分の初期値が求められる。また、図１６（２）では符号化開始点の値をリストに持つ場合の概念図であるが、この場合には一番最後のVBV占有値に関する情報値が無いため、最終フレームの後ろに仮想的にフレームがあったとして、その仮想フレームの符号化開始時点のVBV占有値に関する情報値を最終値として計算する。計算は最終のピクチャ符号量を、最後のVBV占有値に関する情報値から減算して、減算した値から、符号化レートによる傾きから、（１/ピクチャーレート）だけの時間によってどれだけの符号伝送量かを計算した値を加算すると、図１６（２）の黒丸部分の最終値が求められる。

次に、本発明を適用した記録再生装置の一実施例の構成を図４に示し、MPEG符号化方式で画像データを符号化しながらVBVバッファ情報を作成する動作を説明をする。
記録媒体３１に符号化データがまったく無い状態、すなわち、初めて符号化する場合には、記録媒体３１からのデータ読み取り部３２では、データが存在していないので、データがないという情報をVBVバッファ情報検出器３３に送信する。VBVバッファ情報検出器３３でもデータが存在していないので、パラメータ設定器３４にはあらかじめ設定した初期値、すなわちVBV値は、たとえばMPEGで規定されるVBVの最大値の８０％の値とし、PTMタイムスタンプ情報は０とする。これらの初期設定値を画像符号化器３５に送信する。

画像符号化器３５では、符号化を初期設定値から開始する。画像符号化器３５では符号化を行いながら、ビットストリームのIピクチャーの１フレーム前、及びPピクチャーの１フレーム前のピクチャー符号化終了時点での発生符号量とPTM値、VBV値を、毎回、VBVバッファ情報作成器３６へ送信する。それとともに符号化データをデータ書き込み部３７へ送信する。さらに、画像符号化器３５は、ユーザーが画像圧縮記録を一時停止、もしくは終了した時点での発生符号量とPTM値、VBV値を、VBVバッファ情報作成器３６へ送信する。

VBVバッファ情報作成器３６では、入力された発生符号量値とPTM値とVBV値から図１に示す構造のVBVバッファ情報のデータを作成する。もしくはそのデータ構造を作成するのに必要なデータをメモリーして所定のフォーマットで記録保持する。VBVバッファ情報作成器３６で作成された情報は、データ書き込み部３７により符号化データ（MPEG画像データ）が記録媒体３１に書き込まれているときに、同時にバースト的に書き込みを行っても良い。また、VBVバッファ情報作成器３６で作成された情報は、符号化データ（MPEG画像データ）が書き込み終わったとき、すなわち、ユーザーが画像圧縮記録を一時停止、もしくは終了した後に所定のフォーマットで記録保持されていたデータから、図１の構造に変換してデータ書き込み部３７により書き込みを行っても良い。

次に、記録媒体３１に記録されている第１及び第２の２つのMPEG画像データに対して、所定の位置からの繋ぎ再生を可能とするための区間Ａの部分の再符号化を行う場合の説明を図８を用いて行う。

まず、図示せぬ、ユーザーインターフェースから、すでに記録されている第１及び第２の２つのMPEG画像データのどこのポイントから繋ぎ再生するかを指定してもらう。
記録媒体３１には、すでに第１及び第２の２つのMPEG画像データ（圧縮符号化ストリーム）と、図４に示した記録再生装置により生成したVBVバッファ情報とが記録されている。従って、図４に示すデータ読み取り部３２ではVBVバッファ情報を読み取り、接続点ｂ（繋ぎ指定位置）から区間Ａの分だけ前にある位置の図８におけるaの位置のVBV値、PTM値、相対アドレスを得る。

前記ユーザーインターフェースからの繋ぎ再生位置の指定が、例えば、その指定の仕方が、データの相対アドレスの位置情報の場合には、VBVバッファ情報の構造のEPｎ情報内の相対アドレス情報にもっとも近い値のデータにリンクされているVBV値、PTM値を用いる。また、もし、その指定の仕方が、データの開始時刻からの時間や、繋ぎ再生されるポイントのタイムスタンプ情報であれば、同様にVBVバッファ情報の構造のEPｎ情報内のPTM値を用いて、この値が９０KHｚのクロックで記録されている場合にはその値に 1/90000秒の値を乗じることで秒の時間を得ることができ、その繋ぎ再生する位置（相対アドレス）とVBV値、PTM値を得ることができる。

これらの値はパラメータ設定器３４に入力され、画像符号化器３５においてその設定値から符号化が開始される。一方、符号化データサーチ器３８では再符号化する区間Ａの先頭位置を、すでに記録してあるビットストリームに対してサーチする。サーチはデータの相対アドレスを用いて、そのビットストリームファイルの頭からの位置にポインタを設定する。

画像符号化器３５では区間Ａに対応する第１のＭＰＥＧ画像データを復号化し、復号画像を用いて再度、ＶＢＶバッファ占有値の推移が、ａの位置でのVBV値から開始されて、ｄの位置でのVBV値までで終了するようにレートコントロールを行ってMPEG符号化方式で再符号化を行う。再符号化は前記のように完全に復号した画像を用いても良いが、特開平１１−２３４６７７に開示されているような、ビットストリーム上での符号量コントロールの技術を用いても良い。

ここでもし、再符号化する区間Ａが、ＶＢＶバッファ情報の最小単位より長い場合には、再符号化しながら、ビットストリームのIピクチャー、Pピクチャーの１フレーム前のピクチャー符号化終了時点での発生符号量とPTM値、VBV値を、毎回、VBVバッファ情報作成器３６へ送信する。それと共に、再符号化データをデータ書き込み部３７へ送信する。

VBVバッファ情報作成器３６では、入力された発生符号量値とPTM値とVBV値から図１に示す構造のデータを作成する。もしくはそのデータ構造を作成するのに必要なデータをメモリーして所定のフォーマットで記録保持する。VBVバッファ情報作成器３６でのその情報は、符号化データが書き込まれているときに、同時にバースト的に書き込みを行っても良いし、符号化データが書き終わったとき、すなわち、ユーザーが画像圧縮記録を一時停止、もしくは終了したときに所定のフォーマットで記録保持されていたデータから、図１の構造に変換して書き込みを行っても良い。

再符号化された区間Ａの画像データ（繋ぎ区間Ａ再符号化データ）は、第１、第２のＭＰＥＧ画像データと分離された別のファイルとして記録する。もしくは、記録第２のＭＰＥＧ画像データの先頭に連結して記録する。

第１のMPEG画像データと、第２のMPEG画像データと、VBVバッファ占有値に関する情報とそのデータアドレス情報と、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）は、同一記録メディアに記録されていても、任意の組み合わせで複数の記録メディアに記録くされていても、それぞれが異なる記録メディアに記録されていてもかまわない。複数の記録メディアに分けて記録されている場合には、それぞれの記録メディア同士がリンクされて（それぞれのデータ、情報同士がリンクされて）運用されるように、同一情報群であることを示す情報、例えばIDなどを各記録メディアに記録しておくと良い。第１のMPEG画像データと、第２のMPEG画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）とが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。

なお、繋ぎ区間再符号化画像データを得るためのVBVバッファ占有値に関する情報を、媒体に記録されているサイド情報から読み出すのではなく、計算により求める場合には、VBVバッファ占有値に関する情報とそのデータアドレス情報とを記録しておく必要はない。

上記実施例で、記録メディアは記録再生装置内の記録メディアとして説明したが、記録再生装置に着脱自在の記録メディア、ネットワークを介した記録メディア（データベース）であってもかまわない。

また、上記実施例では、単体のMPEG画像データに着目して画像データをつなぐ例を説明したが、音声データなどと共にMPEG方式でパケット多重化されたMPEG多重化データであるMPEGトランスポートストリーム内のMPEG画像データをつなぐ場合に適応しても良い。

トランスポートストリームには可変長符号化されているMPEG画像データ、固定長符号化されているMPEG１レイヤー２オーディオもしくはAC3などが多重化されている場合が多い。従って、その多重化されたデータ中の要素符号化データのひとつであるMPEG画像データをつなぐ場合、接続する点においてMPEGで規定されるSTDバッファ（ビデオではVBVバッファ）の整合性を考慮した接続方法として、前記説明した実施例の方法を適応すればよい。

例えば第１及び第２のMPEGトランスポートストリーム内からそれぞれ接続対象の第１及び第２のMPEG画像データを取り出し、上記した実施例と同様にして接続する。繋ぎ再生に使用する繋ぎ区間再符号化データ（前記区間Ａの再符号化画像データ、前記区間Ｂの再符号化画像データ、前記区間Ａ＋Ｂの再符号化画像データ）は、MPEG方式でパケット多重化されたMPEG多重化データとして生成、記録されてもよい。

図１４（１）の状態はMPEGトランスポートストリームのパケット多重化されたデータの状態を示している。Vと記載されているパケットはビデオパケット、Aと記載されているパケットはオーディオのパケット、Sと記載されているパケットはシステムで使用されるPATやPMTなどの情報パケットである。おのおのMPEG2システムのルールに準拠した形で記録されている。ビデオパケットは薄いグレーの色を施してある。これらの全体を示した状態が同図（２）である。このビデオパケットだけを集めた状態が同図（３）である。このビデオパケットの中身は、同図（４）に示すように始めがIピクチャーであり、次にBピクチャーが２枚、そのあとにPピクチャーが１枚、と続いてくのが典型的な例である。

これらのピクチャーの１枚もしくは複数のピクチャーにおいて再符号化によって符号量を調整する。例えば符号量が削減された状態が同図（５）である。各ピクチャーの符号量はそれぞれ小さくなっている。その状態でパケット化したものが同図（６）である。減少した部分には黒色を施してある。このパケット分、ビデオの全体の量が減少する。そして、TSを再構築する。この状態を全体で表現したものが同図（７）である。同図（７）を拡大したものが同図（８）である。結果的にVパケットの一部が減少し、それ以外の要素データパケットはそのまま多重化する。

MPEGシステムの規定ではPCRクロック情報は１００msecに一度は記録されていなければならない。また、データ長が変更されているので、それぞれの要素パケットに記載されているPCRクロック情報は必要に応じて変更する。また、ビデオパケットにはアクセスユニット（フレームやフィールドのピクチャー単位）の先頭のPESヘッダーが存在するパケットにPTSやDTSが記述されている。オーディオパケットには１つもしくは複数のオーディオフレームをPESでパッキングしたその先頭のPESヘッダーが存在するパケットにPTSが記載されている。これらのタイムスタンプ情報は画像においてはピクチャー数を増減していない場合には変更する必要は無いし、オーディオも再生時間長を増減しなければ変更の必要はないが、それ以外の場合には、適切なPTS,DTSを追加修正する。

さらにまた、単純に再符号化する場合には、予測符号化のリセットタイミングであるIピクチャーからのGOP単位が扱いやすいが、GOPが独立していない場合、即ち、境界のBピクチャーが双方のGOPにまたがって予測されている場合（GOPのclosed gop=0の場合）には、一つ前のGOPの最後のリファレンスピクチャーを復号化して、図示せぬ画像再符号化用メモリーなどに保持しておくことが必要になる場合がある。

第１のMPEG多重化データ（第１のMPEGトランスポートストリーム）と、第２のMPEG画像データ（第２のMPEGトランスポートストリーム）と、VBVバッファ占有値に関する情報とそのデータアドレス情報と、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）を要素符号化データとして含んで、MPEG方式によりパケット多重化して生成した繋ぎ区間MPEG多重化データとは、同一記録メディアに記録されていても、任意の組み合わせで複数の記録メディアに記録くされていても、それぞれが異なる記録メディアに記録されていてもかまわない。複数の記録メディアに分けて記録されている場合には、それぞれの記録メディア同士がリンクされて（それぞれのデータ、情報同士がリンクされて）運用されるように、同一情報群であることを示す情報、例えばIDなどを各記録メディアに記録しておくと良い。第１のMPEG多重化画像データと、第２のMPEG多重化画像データと、前記区間Ａの再符号化画像データ（または前記区間Ｂの再符号化画像データ、または前記区間Ａ＋Ｂの再符号化画像データ）の繋ぎ区間MPEG多重化データとが同一の記録媒体に記録されている場合には、一つの記録媒体で、再生装置側の繋ぎ再生を制御できる。

本発明を適用した記録再生装置の一実施例に基づくVBVバッファ情報構造を示す図である。 一実施例におけるMPEG画像データと相対アドレスとの関係を示す図である。 一実施例におけるVBV値を説明する説明図である。 本発明を適用した記録再生装置の一実施例を示すブロック図である。 従来のMPEG符号化器の一例を示す図である。 従来のMPEG復号化器の一例を示す図である。 MPEGにおけるVBVバッファ概念を説明するための図である。 本発明で実現可能とする繋ぎ再生の概念を説明するための図である。 本発明で実現可能とする繋ぎ再生の概念を説明するための図である。 本発明で実現可能とする繋ぎ再生の概念を説明するための図である。 従来のMPEG多重化システムを示す説明図である。 MPEGTSとPS及びPESの関連を示す説明図である。 MPEGTSのPSIの使用例を示す説明図である。 MPEGTSパケット配置を示す説明図である。 本発明で実現可能とする繋ぎ再生の概念を説明するための図である。 一実施例におけるVBVバッファ占有値に関する情報値を説明するための図である。 VBVバッファ占有値とVBV delay値の関係を示す図である。

符号の説明

３１ 記録媒体
３２ データ読み取り部
３３ VBVバッファ情報検出器
３４ パラメータ設定器
３５ 画像符号化器
３６ VBVバッファ情報作成器
３７ データ書き込み部
３８ 符号化データサーチ器

Claims (1)

1. MPEG符号化方式で符号化された画像データであるMPEG画像データを再生するMPEGデータ再生装置において、
   第１及び第２の２つのMPEG画像データを、それぞれのMPEG画像データにおける指定された繋ぎ指定位置で、前記第１のMPEG画像データから前記第２のMPEG画像データへ繋げて再生させるためのデータとして、前記MPEG符号化方式で符号化された繋ぎ区間再符号化データを得て、前記第１のMPEG画像データから前記第２のMPEG画像データへの繋ぎ再生を行う繋ぎ再生手段を設け、
   前記繋ぎ区間再符号化データは、前記第１のMPEG画像データにおける前記繋ぎ指定位置から第１の所定時間分前の位置を開始位置とし、前記第１のMPEG画像データにおける前記繋ぎ指定位置を終了位置とする区間を第１の繋ぎ区間とすると共に、前記第２のMPEG画像データにおける前記繋ぎ指定位置を開始位置とし、前記第２のMPEG画像データにおける前記繋ぎ指定位置から第２の所定時間分後の位置を終了位置とする区間を第２の繋ぎ区間とし、前記第１の繋ぎ区間と前記第２の繋ぎ区間とを合わせた区間を第３の繋ぎ区間として、前記第１の繋ぎ区間の前記第１のMPEG画像データを復号して得た画像データである第１の繋ぎ区間復号画像データと、前記第２の繋ぎ区間の前記第２のMPEG画像データを復号して得た画像データである第２の繋ぎ区間復号画像データとよりなる第３の繋ぎ区間復号画像データを、前記MPEG符号化方式で再符号化して得た再符号化データであって、前記再符号化時におけるVBVバッファ占有値に関する情報値の推移が、前記第１の繋ぎ区間の開始位置に対応する位置における前記第１のMPEG画像データの符号化時のVBVバッファ占有値に関する情報値から開始されて、前記第２の繋ぎ区間の終了位置に対応する位置における前記第２のMPEG画像データの符号化時のVBVバッファ占有値に関する情報値までで終了するように符号量制御が行われて再符号化されたものであり、
   前記繋ぎ再生手段は、前記第１のMPEG画像データにおける前記第１の繋ぎ区間の開始位置まで前記第１のMPEG画像データを再生した後、前記繋ぎ区間再符号化データをその区画の開始位置から終了位置まで再生し、その後、前記第２のMPEG画像データにおける前記第２の繋ぎ区間の終了位置から前記第２のMPEG画像データを再生するものである、
   ことを特徴とするMPEGデータ再生装置。

Images