WO2012111320A1

WO2012111320A1 - 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム

Info

Publication number: WO2012111320A1
Application number: PCT/JP2012/000974
Authority: WO
Inventors: 泰治佐々木; 洋矢羽田; 智輝小川; 遠間　正真
Original assignee: パナソニック株式会社
Priority date: 2011-02-16
Filing date: 2012-02-15
Publication date: 2012-08-23
Also published as: MX2013008311A; JPWO2012111320A1; CA2823288C; US9277217B2; JP5906462B2; TW201251467A; CA2823288A1; BR112013020867A2; US20130287090A1

Abstract

　本発明は、ＭＰＥＧ－２規格に基づく再生装置による再生互換性を保ちつつ、必要となる帯域の増加を抑制しながら高品位な映像を符号化できる映像符号化装置、及び映像再生装置を提供する。データ作成装置５４０１は、通常品位の原映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する２Ｄ互換ビデオエンコーダ２６０２と、ベースビュービデオストリームとして、原画映像をを圧縮符号化して得られるストリームとピクチャ数が同一であって、黒画像から成るストリームを生成するベースビューエンコーダ２６０５と、ディペンデントビュービデオストリームとして、より高品位な原画映像の各ピクチャを、ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻のＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化するディペンデントビュービデオエンコーダ５４０９とを含む。

Description

映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム

　本発明は、映像の符号化及び復号技術に関し、特に、再生互換性の維持に関する。

　近年、日本、米国等においてデジタルテレビ放送が普及しており、その放送波により伝送される映像等はＭＰＥＧ－２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　－　２）規格に基づき圧縮符号化されている。これらデジタルテレビ放送の視聴者の多くは、デジタルテレビ放送以外にも、ＢＤ（Ｂｌｕ－Ｒａｙ　Ｄｉｓｃ）等の記録媒体などを介して、より高画質、高解像度といった高品位な映像（以下、「高品位映像」という。）に接する機会があるため、デジタルテレビ放送によっても高品位映像を視聴したいとの要望が高まっている。高品位映像を高効率に圧縮符号化する符号化方式としては、例えば、ＭＰＥＧ－４　ＭＶＣ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　－　４　Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）と呼ばれるＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の修正規格（非特許文献１参照）があり、この規格に基づく符号化方式により映像等を圧縮符号化して放送すれば上述の要望は満たされる。

　しかしながら、既に市場に普及しているデジタルテレビ放送の再生装置は、ＭＰＥＧ－２規格に基づき圧縮符号化された映像を扱うものであり、ＭＰＥＧ－４　ＭＶＣ規格に基づき圧縮符号化された映像が放送されたとしても、これを受信して再生することができないという再生互換性の問題が生じる。この再生互換性の問題は、ＭＰＥＧ－２規格により圧縮符号化された通常品質の映像と、ＭＰＥＧ－４規格により圧縮符号化された高品位映像とを多重化して放送することで回避できる。

ＩＳＯ／ＩＥＣ　１４４９６－１０　"ＭＰＥＧ－４　Ｐａｒｔ　１０　Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ"

　しかしながら、上述のように、ＭＰＥＧ－２による通常品質の映像と、ＭＰＥＧ－４による高品位映像との両方を多重化して放送する場合には、それぞれの映像を放送するのに必要な帯域の合計となり、いずれかの映像のみを放送する場合に比べ広範になってしまう。また、放送に限らず、ＭＰＥＧ－２により符号化された映像と、ＭＰＥＧ－４により符号化された高品位映像とを１つの記録媒体等に記録する場合も同様に、両映像を記録するために必要な記録容量は、各映像の記録に必要な記録容量の合計となり、いずれかの映像のみを記録する場合に比べて膨大になってしまう。

　上記問題に鑑み、本発明は、ＭＰＥＧ－２規格に基づく再生装置による再生互換性を保ちつつ、必要とするデータ量の増加を抑えるよう高品位映像を符号化できる映像符号化装置、及び映像再生装置を提供することを目的とする。

　上記課題を解決するために、本発明は、原映像を第１の品位に変換した第１映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、ＭＰＥＧ－４　ＭＶＣ形式に準拠しベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、前記第１及び前記第２符号化手段により生成されたストリームを送出する送出手段とを備え、前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１映像を圧縮符号化して得られるストリームとピクチャ数が同一であって、総データ量を少なくした疑似データから成るストリームを生成し、一方、前記ディペンデントビュービデオストリームとして、前記原映像を前記第１の品位より高い第２の品位に変換した第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記ＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化したストリームを生成する。

　本発明の映像符号化装置は、上述の構成を備えることにより、ＭＰＥＧ－２規格に基づく再生装置による第１の品位の原映像の再生互換性を保ちつつ、従来よりも必要とするデータ量の増加を抑えて、第１の品位より高品位な第２の品位の原映像を圧縮符号化することができる。

ビデオストリームのピクチャの参照関係を説明する図である。ＭＰＥＧ－４　ＭＶＣ形式による符号化方式を説明する図である。ベースビューのコーデックと、ディペンデントビューのコーデックが異なる場合のピクチャ参照を示す図である。２Ｄ映像とデプスマップから左目映像と右目映像の視差画像を生成する例を説明する図である。再生装置の使用行為を説明する図である。トランスポートストリーム形式のデジタルストリームの構成を示す図である。ビデオストリームの構造を説明する図である。クロッピング領域情報とスケーリング情報を説明する図である。クロッピング領域情報とスケーリング情報の具体的な指定方法を説明する図である。ＰＥＳパケットの構成を説明する図である。トランスポートストリームを構成するＴＳパケットのデータ構造を説明する図である。ＰＭＴのデータ構造を説明する図である。立体視画像の表示の一例を示す図である。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式を説明する図である。マルチビュー符号化方式による立体視方式を説明する図である。ビデオストリームのアクセスユニットの内部構成を説明する図である。ベースビュービデオストリームの各ピクチャと右目映像ビデオストリームの各ピクチャのビデオアクセスユニットの構成を説明する図である。ベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳの関係を説明する図である。ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図である。ディペンデントＧＯＰに含まれるビデオアクセスユニットの構成を説明する図である。トランスポートストリームのデータ構造を説明する図である。２Ｄ互換ビデオストリームをＭＰＥＧ－２ビデオ、マルチビュービデオストリームをＭＰＥＧ－４　ＭＶＣのコーデックとしたときに、一致させるビデオ属性とそのビデオ属性を示すための各フィールド名を示す図である。トランスポートストリーム中に係る２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳ、ＤＴＳおよびピクチャタイプの関係の例を示す図である。２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームにおいて、特殊再生を容易にするための好適なピクチャタイプの関係を説明する図である。２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図である。実施の形態１に係るデータ作成装置を示す図である。実施の形態１に係るデータ作成装置のデータ作成フローを示す図である。実施の形態１に係る３Ｄ映像を再生する再生装置の構成を示す図である。ビデオデコーダとマルチビュービデオデコーダを説明する図である。実施の形態１に係る再生装置の３Ｄ映像に係るデコード処理と出力処理のフローを説明する図である。実施の形態１に係る３Ｄ映像の再生装置に係るビュー間参照バッファの管理を説明する図である。実施の形態１に係る３Ｄ映像の再生装置に係るビュー間参照バッファの管理の変形例を説明する図である。実施の形態１に係る３Ｄ映像の再生装置に係るバッファの共用化方法を説明する図である。実施の形態１に係る３Ｄ映像の再生装置に係る映像出力部分の変形例を説明する図である。実施の形態１に係る３Ｄ映像のトランスポートストリームに係るＰＴＳとＤＴＳの付与方法の変形例である。実施の形態１に係るトランスポートストリームの構成とＰＭＴパケットの関係を説明する図である。３Ｄ情報ディスクリプタの構造を示す図である。３Ｄ情報ディスクリプタの再生方式を説明する図である。３Ｄストリームディスクリプタの構造を説明する図である。本実施の形態に係る３Ｄ映像の再生装置において再生方式に従ったスイッチ方法を説明する図である。再生方式とコーデック間参照スイッチとプレーンセレクタの関係を示す図である。再生方式の切り替わりをスムーズに遷移するための２Ｄ移行区間を説明する図である。２Ｄ互換ビデオストリームのデコード結果に対する高画質フィルタの適用する場合の符号装置を説明する図である。２Ｄ互換ビデオストリームのデコード結果に対する高画質フィルタの適用する場合の再生装置を説明する図である。ベースビュービデオとディペンデントビュービデオが同一ストリームで転送される場合の本実施の形態に係る３Ｄ映像の再生装置の構成を示す図である。ベースビューをＭＰＥＧ－４　ＡＶＣとした場合の再生装置を示す図である。実施の形態２に係る映像の高画質化を実現する上での課題を説明する図である。実施の形態２に係るトランスポートストリームのデータ構造を説明する図である。実施の形態２に係る使用形態を説明する図である。実施の形態２に係るトランスポートストリームの構成とＰＭＴパケットの関係を示す図である。高画質化情報ディスクリプタの構造を示す図である。高画質再生方式を説明する図である。高画質化ストリームディスクリプタを示す図である。実施の形態２に係るデータ作成装置を示す図である。実施の形態２に係るデータ作成装置のデータ作成フローを示す図である。実施の形態２に係る高画質映像の再生装置を示す図である。実施の形態２に係る高画質映像の再生装置の高画質映像に係るデコード処理と出力処理のフローを説明する図である。高画質再生方式とコーデック間参照スイッチとプレーンセレクタの関係を示す図である。色階調の精度の高低による映像表示の違いを説明する図である。実施の形態３に係る高階調映像を実現する上での課題を説明する図である。高階調度化を実現する拡張ビデオストリームの作成方法、高階調度化を実現する拡張ビデオストリームを使った合成方法を説明する図である。実施の形態３に係るトランスポートストリームのデータ構造を説明する図である。実施の形態３に係るトランスポートストリームの構成とＰＭＴパケットの関係を示す図である。実施の形態３に係る使用形態を説明する図である。実施の形態３に係るデータ作成装置を示す図である。実施の形態３に係るデータ作成装置のデータ作成フローを示す図である。実施の形態３に係る高階調映像の再生装置を示す図である。実施の形態３に係る高階調映像の再生装置の高階調映像に係るデコード処理と出力処理のフローを説明する図である。実施の形態３に係る高階調映像の再生装置において高階調再生方式に従ったスイッチ方法を説明する図である。高階調再生方式とコーデック間参照スイッチとプレーンセレクタの関係を示す図である。実施の形態４に係る高解像度映像を実現する上での課題を説明する図である。スケーラブル符号化方式の構成を説明する図である。実施の形態４に係るトランスポートストリームのデータ構造を説明する図である。実施の形態４に係るトランスポートストリームの構成とＰＭＴパケットの関係を示す図である。スケーリング方法を説明する図である。実施の形態４に係る使用形態を説明する図である。実施の形態４に係るデータ作成装置を示す図である。実施の形態４に係るデータ作成装置のデータ作成フローを示す図である。実施の形態４に係る高解像度映像の再生装置を示す図である。実施の形態４に係る高解像度映像の再生装置の高解像度映像に係るデコード処理と出力処理のフローを説明する図である。実施の形態４の変形例に係るデータ構造を説明する図である。実施の形態４の変形例に係る再生装置の構成を示す図である。実施の形態４の変形例に係るデータ構造を説明する図である。実施の形態４の変形例に係る再生装置の構成を示す図である。再生方式判別ディスクリプタの構造を説明する図である。実施の形態１の変形例に係るデータ構造を説明する図である。実施の形態１の変形例に係るデータ作成装置の構成を示す図である。実施の形態１の変形例に係る再生装置の構成を示す図である。高画質映像を実現する差分映像の作成、再生手順の概要を示す図である。実施の形態３の変形例に係るデータ構造を説明するための図である。実施の形態４の変形例に係るデータ構造を説明するための図である。実施の形態１の変形例に係るデータ構造を説明するための図である。実施の形態１の変形例に係るデータ構造を説明するための図である。実施の形態１の変形例に係るデータ構造を説明するための図である。高解像度化に係る参照ピクチャのメモリ量を削減するビュー間参照について説明するための図である。スケーリング参照フィルタについて説明するための図である。実施の形態１の変形例に係るデータ作成装置の構成を示す図である。実施の形態１の変形例に係る３Ｄ映像の再生装置の構成を示す図である。実施の形態１の変形例に係るデータ構造を説明するための図である。実施の形態１の変形例に係るデータ作成装置の構成を示す図である。実施の形態１の変形例に係る再生装置の構成を示す図である。実施の形態１の変形例に係るデータ作成装置の構成を示す図である。実施の形態１の変形例に係るデータ作成装置の構成を示す図である。実施の形態１の変形例に係る再生装置の構成を示す図である。実施の形態１の変形例に係るデータ構造を説明するための図である。実施の形態１の変形例に係る、異なるマルチビュービデオストリーム間でのビュー間参照を実現するためのデータ構造について説明するための図である。

＜１．実施の形態１＞
　＜１－１．概要＞
　本発明の一実施の形態に係る放送システムは、２Ｄ映像として、既存技術であるＭＰＥＧ－２形式のストリームを生成し、３Ｄ映像として、ＭＰＥＧ－４　ＭＶＣ形式を拡張した新規形式（本明細書において、この形式をＭＰＥＧ－４　ＭＶＣに準拠という。）のベースビュービデオストリームとディペンデントビュービデオストリームとを生成し、送出する。

　受信側では、再生装置の中の、２Ｄ再生部分がＭＰＥＧ－２形式のストリームを既存の復号方式で復号して再生し、３Ｄ再生部分が、ＭＰＥＧ－４　ＭＶＣに準拠したベースビュービデオストリームとディペンデントビュービデオストリームを、新規符号化に対応した復号形式で復号して再生する。

　図２１は、本実施の形態における放送システムによって作成されたトランスポートストリームのデータ構造を示している。同図に示されるように、トランスポートストリームは、２Ｄ互換ビデオストリームＡとマルチビュービデオストリームＢとからなる。後者のマルチビュービデオストリームＢは、ベースビュービデオストリームＢ１と、ディペンデントビュービデオストリームＢ２とからなる。前記２Ｄ互換ビデオストリームＡは、左目用画像を圧縮符号化して作成され、ベースビュービデオストリームＢ１は、黒などの単色映像（以下、「黒画像」という。）を圧縮符号化して作成される。更に、ディペンデントビュービデオストリームＢ２は、左目用画像と右目用画像の差分を圧縮符号化して生成される。先に述べたようにベースビュービデオストリームＢ１は、黒画像を圧縮符号化したものであるので、ディペンデントビュービデオストリームＢ２を生成する際の参照画像として用いることができない。この点が、既存のＭＰＥＧ－４　ＭＶＣ形式と異なっているところであり、参照画像は、２Ｄ互換ビデオストリームＡの同時刻のフレーム画像に設定されている。

　このようなＭＰＥＧ－４　ＭＶＣに準拠した形式のストリームとすると、２Ｄ映像と３Ｄ映像の両方を送信できると共に、ベースビュービデオストリームＢ１が、黒画像を圧縮符号化するので、ビットレートを極端に低くすることができ、結果として既存の割り当てられた周波数帯域の範囲において、２Ｄ映像と３Ｄ映像の双方を送出できるのである。ＭＰＥＧ－４　ＭＶＣ形式で圧縮符号化されたストリームの復号処理では、ベースビュービデオストリームのフレーム画像を参照してディペンデントビュービデオストリームを復号するが、本実施の形態では、ＭＰＥＧ－２互換ストリーム、すなわち、左目用画像のフレーム画像を参照画像として、ディペンデントビュービデオストリームを復号できるようにしている。ＭＰＥＧ－４　ＭＶＣに準拠した形式では、具体的には、復号の際の参照先を、ベースビュービデオストリームから、ＭＰＥＧ－２互換ビデオストリームに変更することを再生側に指示するディスクリプタ等を規定している。

　以下、本発明の実施の形態に係るデータ作成装置及び再生装置について図面を参照しながら説明する。
＜１－２．データ作成装置＞
　＜１－２－１．構成＞
　以下、本発明に係るデータ作成装置の一実施形態について図を参照しながら説明する。

　図２６は本実施の形態に係るデータ作成装置２６０１の機能構成のブロック図である。

　データ作成装置２６０１は、３Ｄ映像を構成する左目用画像と右目用画像、及び黒画像を入力として、後述するデータフォーマットの２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームからなるトランスポートストリームを出力する。

　データ作成装置２６０１は、２Ｄ互換ビデオエンコーダ２６０２、Ｄｅｃ（２Ｄ互換ビデオデコーダ）２６０３、拡張マルチビュービデオエンコーダ２６０４、及びマルチプレクサ２６１０を備える。

　拡張マルチビュービデオエンコーダ２６０４は、ベースビュービデオエンコーダ２６０５、２Ｄ互換ビデオフレームメモリ２６０８、及びディペンデントビュービデオエンコーダ２６０９を備える。

　２Ｄ互換ビデオエンコーダ２６０２は、左目用画像を入力として、ＭＰＥＧ－２形式で圧縮符号化し、２Ｄ互換ビデオストリームを生成して出力する。

　Ｄｅｃ２６０３は、２Ｄ互換ビデオストリーム内の圧縮符号化されたピクチャを復号し、その結果得られる復号ピクチャと、２Ｄ互換ビデオ符号化情報２６０６とを出力する。ここで、ピクチャとは、フレーム又はフィールドを構成する画像であり１つの符号化の単位である。
復号ピクチャは、拡張マルチビュービデオエンコーダ２６０４の２Ｄ互換ビデオフレームメモリ２６０８に格納される。また、２Ｄ互換ビデオ符号化情報２６０６は、ベースビュービデオエンコーダ２６０５に入力される。

　２Ｄ互換ビデオ符号化情報２６０６は、復号した２Ｄ互換ビデオストリームの、属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報の情報を含む構成である。

　２Ｄ互換ビデオフレームメモリ管理情報は、２Ｄ互換ビデオフレームメモリ２６０８に格納される復号ピクチャのメモリアドレスと該当ピクチャの表示順情報（ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）やｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ）と符号順情報（ファイルの符号順やＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ））とを関連付した情報である。

　拡張マルチビュービデオエンコーダ２６０４は、Ｄｅｃ２６０３から出力される復号ピクチャと、２Ｄ互換ビデオ符号化情報と、右目用画像と、黒画像とを入力として、圧縮符号化を行い、ベースビュービデオストリーム、ディペンデントビュービデオストリームを出力する。

　ベースビュービデオエンコーダ２６０５は、ＭＰＥＧ－４　ＭＶＣ形式に準拠して圧縮符号化したデータをベースビュービデオストリームとして出力する機能を有し、２Ｄ互換ビデオ符号化情報２６０６に従って、黒画像を圧縮符号化して、ベースビュービデオストリームとベースビュービデオ符号化情報２６０７とを出力する。

　ベースビュービデオ符号化情報２６０７は、ベースビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースの区別など）、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ構造、及びベースビュービデオフレームメモリ管理情報を含む構成である。

　ベースビュービデオエンコーダ２６０５は、ベースビュービデオ符号化情報２６０７を出力の際に、ベースビュービデオストリームの属性情報を２Ｄ互換ビデオ符号化情報２６０６に含まれるビデオの属性情報と同じ値にする。さらに、ベースビュービデオエンコーダ２６０５は、２Ｄ互換ビデオ符号化情報２６０６に含まれるピクチャの属性情報（ピクチャタイプなど）やＧＯＰ構造に従って、同一表示時刻のピクチャの圧縮符号化の際のピクチャタイプを決定して、黒画像を圧縮符号化する。例えば、時刻ａのピクチャの２Ｄ互換ビデオ符号化情報２６０６で示されるピクチャタイプがＩピクチャで、当該ピクチャがＧＯＰ先頭のピクチャであれば、ベースビュービデオエンコーダ２６０５は、同一表示時刻を示す黒画像をＩピクチャになるように圧縮符号化し、ベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットとする。

　また、時刻ｂのピクチャの２Ｄ互換ビデオ符号化情報２６０６で示されるピクチャタイプがＢピクチャの場合は、ベースビュービデオエンコーダ２６０５は、同一表示時刻を示す黒画像をＢピクチャになるように圧縮符号化する。このとき、ベースビュービデオストリームのＤＴＳやＰＴＳを、２Ｄ互換ビデオストリームの同時刻を示すビューに対応するピクチャのＤＴＳやＰＴＳにそれぞれ一致させる。

　ベースビュービデオフレームメモリ管理情報は、２Ｄ互換ビデオフレームメモリ管理情報を元に、２Ｄ互換ビデオストリームを復号して得られた復号ピクチャを格納しているフレームメモリ２６０８のメモリアドレスと、当該復号ピクチャの表示順情報と符号順情報とを示すｓｙｎｔａｘ要素をベースビュービデオストリームの圧縮符号化方式の規則に則ったｓｙｎｔａｘ要素に変換して関連付けした情報である。ｓｙｎｔａｘ要素とは、ＭＰＥＧ－２やＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化方式における符号化に必要な属性情報を規定した要素で、例えば、マクロブロックタイプ等のヘッダ情報、動きベクトル、変換係数などを示す要素である。

　ディペンデントビュービデオエンコーダ２６０９は、ＭＰＥＧ－４　ＭＶＣ形式に準拠して圧縮符号化し、ディペンデントビュービデオストリームを生成する機能を有し、ベースビュービデオ符号化情報２６０７に含まれる情報を元に、右目用画像を圧縮符号化し、ディペンデントビュービデオストリームを出力する。このとき、ディペンデントビュービデオエンコーダ２６０９は、ビュー間参照として、２Ｄ互換ビデオフレームメモリ内の復号ピクチャを用いて、圧縮符号化を行う。ここで、ビュー間参照とは、異なる視点からのビューを示すピクチャを参照することをいう。
ディペンデントビュービデオエンコーダ２６０９は、ビュー間参照を実行するための参照ピクチャＩＤを、ベースビュービデオ符号化情報２６０７のベースビュービデオフレームメモリ管理情報に基づいて決定する。さらに、ディペンデントビュービデオエンコーダ２６０９は、ディペンデントビュービデオストリームのビデオの属性情報をベースビュービデオ符号化情報２６０７に含まれるベースビュービデオストリームの属性情報の値と同じ値を設定する。

　さらに、ディペンデントビュービデオエンコーダ２６０９は、ベースビュービデオ符号化情報２６０７に格納されているピクチャの属性情報（例えば、ピクチャタイプ）とＧＯＰ構造とに基づいて、符号化対象の画像のピクチャタイプを決定して、右目用画像を圧縮符号化する。例えば、時刻ａのピクチャのベースビュービデオ符号化情報２６０７で示されるピクチャタイプがＩピクチャで、ＧＯＰ先頭であれば、ディペンデントビュービデオエンコーダ２６０９は、同じ時刻ａのピクチャのピクチャタイプをアンカーピクチャにして、右目用画像を圧縮符号化し、ディペンデントＧＯＰ先頭のビデオアクセスユニットとする。アンカーピクチャとは、自ピクチャよりも時間的に前のピクチャを参照しないピクチャであり、自ピクチャから飛び込み再生することが可能なピクチャのことである。また、時刻ｂのピクチャのベースビュービデオ符号化情報２６０７で示されるピクチャタイプがＢピクチャであれば、ディペンデントビュービデオエンコーダ２６０９は、同じ時刻ｂのピクチャのピクチャタイプをＢピクチャにして、右目用画像を圧縮符号化する。

　このとき、ディペンデントビュービデオストリームのＤＴＳやＰＴＳを、ベースビュービデオストリームの同時刻に表示すべきビューに対応するピクチャのＤＴＳやＰＴＳにそれぞれ一致させて圧縮符号化する。

　マルチプレクサ２６１０は、出力された２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケット化した後にＴＳパケット単位で分割し、多重化したトランスポートストリームとして出力する。

　なお、再生装置が、多重化されたトランスポートストリームのストリームデータから、それぞれのビデオストリームを識別できるようにするために、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームは、それぞれ別々のＰＩＤが設定される。

　＜１－２－２．データフォーマット＞
　次に、データフォーマットについて、図面を参照しながら説明を行う。

　図２２に、ＭＰＥＧ－２形式とＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化において、各圧縮符号化方式で一致させるビデオ属性と、そのビデオ属性を示すための各フィールド名を示す。

　ディペンデントビュービデオストリームのピクチャの復号の際に、異なる圧縮符号化方式である２Ｄ互換ビデオストリームのピクチャを容易に参照できるようにするために、図２２に示すビデオストリームの解像度、アスペクト比、フレームレート、及びプログレッシブかインターレースかを示すビデオ属性の値は、それぞれの符号化形式のピクチャ間で同じになるように構成する。

　図２５は本実施の形態での２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。

　このように、２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰはすべて同じ枚数になるよう構成する。つまり、２Ｄ互換ビデオストリームのピクチャがＧＯＰ先頭の場合には、ＰＴＳが同じ値を持つベースビュービデオストリームのピクチャと、ＰＴＳが同じ値を持つディペンデントビュービデオストリームのピクチャも、それぞれＧＯＰ先頭、ディペンデントＧＯＰの先頭でなければならない。

　このように構成することで、飛び込み再生時に、２Ｄ互換ビデオストリームがＩピクチャであれば、その時刻からすべてのビデオストリームの復号が可能であるため、飛び込み再生時の処理が容易となる。

　トランスポートストリームがファイルとして保存されている場合には、ＧＯＰ先頭のピクチャがファイル上のどこにあるかを示すエントリマップ情報を管理情報として持つことがある。例えばＢｌｕ－ｒａｙ　Ｄｉｓｃのフォーマットでは、そのエントリマップ情報は管理情報ファイルとして別のファイルとして保存される。

　本実施の形態のトランスポートストリームにおいては、２Ｄ互換ビデオストリームのＧＯＰ先頭のピクチャの位置が、エントリマップに登録される場合には、同時刻のベースビューの位置もディペンデントビューの位置もエントリマップに登録するようにする。このようにすることで、エントリマップを参照することで、３Ｄ映像の飛び込み再生が容易になる。

　図３６は、トランスポートストリームの構成とＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）パケットの関係を示している。３Ｄ映像のストリームを含むトランスポートストリームにおいては、ＰＭＴパケットなどのシステムパケット中に、３Ｄ映像の復号処理を行う上でのシグナリング情報を含める。図３６に示すように、ディスクリプタには、各ビデオストリームの関係や本方式の３Ｄ映像再生の開始・終了などのシグナリングを行うための３Ｄ情報ディスクリプタと、ビデオストリームごとに設定される３Ｄストリームディスクリプタを含む構成である。

　図３７は、３Ｄ情報ディスクリプタの構造を示す。

　３Ｄ情報ディスクリプタは、再生方式、左目映像タイプ、２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、及びディペンデントビュービデオＰＩＤから構成される。

　再生方式は、再生装置の再生方法をシグナリングするための情報である。

　図３８を用いて、その再生方式を説明する。

　再生方式の値が「０」の場合は、２Ｄ互換ビデオによる２Ｄ映像再生を示し、この場合には、再生装置は、２Ｄ互換ビデオストリームのみを２Ｄ映像再生する。

　再生方式の値が「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオによる３Ｄ映像再生（つまり、本実施の形態で説明する３Ｄ映像再生方式であること）を示す。この場合は、再生装置は、２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームを本実施の形態で説明する再生方法で３Ｄ映像再生を行う。なお、本実施の形態における３Ｄ映像の再生方法は後述する。

　再生方式の値が「２」の場合は、ベースビュービデオストリームとディペンデントビュービデオによる３Ｄ映像の再生であることを示す。つまり、２Ｄ互換ビデオストリームと、３Ｄ映像を構成するマルチビュービデオストリームはそれぞれ異なる映像を圧縮符号化して生成したものであり、参照関係にないことを示す。この場合は、再生装置は通常のＭＰＥＧ－４　ＭＶＣ形式で圧縮符号化したビデオストリームとして、そのビデオストリームを３Ｄ映像再生する。

　再生方式の値が「３」の場合は、２Ｄ互換ビデオストリーム又はベースビュービデオストリームをダブリング再生することを示し、再生装置はダブリング再生を行う。ダブリング再生とは、ある時刻ａの左右のビューのどちらか一方のピクチャをＬとＲのどちらのプレーンにも出力することである。この再生方法による再生は、ユーザの視聴画面としては２Ｄ映像再生と等しいが、３Ｄ映像再生時にフレームレートの変更が発生しないので再生装置がＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）等でディスプレイ等に接続されている場合に再認証が発生せず、２Ｄ映像再生区間と３Ｄ映像再生区間とのシームレスな接続再生が実現できる利点がある。

　左目映像タイプは、マルチビュービデオストリームの内、どちらのストリームに左目用画像が圧縮符号化されているか（もう一方のビデオストリームが右目用画像となる）を示す情報である。再生方式の値が「０」の場合は、このフィールドの値は参照する意味がない。再生方式の値が「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオの内、どちらが左目用画像であるかを示す。すなわち、再生方式の値が「１」で左目映像タイプの値が「０」の場合には、２Ｄ互換ビデオのストリームが左目用画像に対応したビデオストリームであることを示す。再生装置は、再生方式の値が「２」や「３」の場合も同様にして、左目映像タイプの値を参照することによって、どのビデオストリームが左目用画像に対応したビデオストリームであるかを判断することができる。

　２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、及びディペンデントビュービデオＰＩＤは、トランスポートストリーム内の各ビデオストリームのＰＩＤを示す。この情報により、復号対象のストリームを識別できる。

　図３９は、３Ｄストリームディスクリプタを示す。

　３Ｄディスクリプタのフィールド名として、ベースビュービデオタイプ、参照先タイプ、被参照タイプがある。

　ベースビュービデオタイプは、ベースビュービデオストリームにどの映像が圧縮符号化されているかを示す。ベースビュービデオタイプの値が「０」の場合は、３Ｄ映像の左目用画像もしくは右目用画像を圧縮符号化したデータのどちらかが圧縮符号化されているかを示し、「１」の場合は、２Ｄ互換ビデオストリームによって置き換えられプレーンへ出力されないダミー映像として黒画像を圧縮符号化していることを示す。

　参照先タイプは、ディペンデントビュービデオストリームがビュー間参照の参照先のビデオストリームのタイプを示す。参照先タイプの値が「０」の場合は、ベースビュービデオストリームのピクチャをビュー間参照先としていることを示し、「１」の場合は、２Ｄ互換ビデオストリームのピクチャをビュー間参照先としていることを示す。つまり、参照先タイプの値が「１」の場合が本実施の形態における３Ｄ映像方式による参照方式であることを示す。

　被参照タイプは、該当ビデオストリームがビュー間参照されるか否かを示す。参照されないのであれば、ビュー間参照の処理をスキップすることができるため復号処理の負荷を軽減できる。なお、３Ｄ情報ディスクリプタと３Ｄストリームディスクリプタの情報の全て又は一部は、ＰＭＴパケットではなく、各ビデオストリームの補足データ等として挿入されてもよい。

　図２３はトランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳ、ＤＴＳ及びピクチャタイプの関係の例を示している。

　データ作成装置２６０１は、同時刻の左目画像を圧縮符号化して生成した２Ｄ互換ビデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとのＤＴＳ及びＰＴＳの値を、それぞれ同じＤＴＳ及びＰＴＳの値に設定する。また、同時刻に再生されるべきベースビュービデオストリームのピクチャのＰＴＳ、ＤＴＳ、及びＰＯＣに対しても、ディペンデントビュービデオストリームのピクチャのＰＴＳ、ＤＴＳ、及びＰＯＣとそれぞれ同じ値を設定する。

　ディペンデントビュービデオストリームのピクチャのビュー間参照では、この同じ値のＰＴＳ、ＤＴＳ、ＰＯＣを持つベースビュービデオストリームのピクチャを参照する。具体的には、ディペンデントビュービデオストリームのピクチャのビュー間参照では、ディペンデントビュービデオストリームのピクチャの各マクロブロックから指定されるピクチャ参照ＩＤ（ｒｅｆ＿ｉｄｘ＿ｌ０もしくはｒｅｆ＿ｉｄｘ＿ｌ１）は、ＰＯＣが同じ値を持つベースビューピクチャを示す値が設定される。

　＜１－２－３．動作＞
　図２７はデータ作成装置２６０１のデータ作成フローを示す図である。以下、そのデータ作成フローを説明する。

　変数Ｎは、圧縮符号化対象のフレーム画像のフレーム番号を記憶する変数である。

　まず、変数Ｎを初期化する（Ｎ＝０）。次に、左目用画像にＮ番目のフレームが存在するかをチェックする（ステップＳ２７０１）。存在しない場合（ステップＳ２７０１：Ｎｏ）は、圧縮符号化すべきデータがなくなったと判断して、処理を終了する。

　ステップＳ２７０１でＹｅｓの場合には、１回の圧縮符号化フロー（ステップＳ２７０２～ステップＳ２７０６）で、圧縮符号化する画像の枚数（以下、「１符号化枚数」と呼ぶ。）を決定する（ステップＳ２７０２）。１つのＧＯＰとして設定するビデオアクセスユニットの最大数（最大ＧＯＰ枚数、例えば３０フレーム）を１符号化枚数と設定する。ビデオストリームの最後のＧＯＰは、入力するビデオストリームの長さによって符号化するフレームの枚数が最大ＧＯＰ枚数に足りない場合が想定されるので、この場合には残りのフレーム枚数を１符号化枚数とする。

　次に、２Ｄ互換ビデオエンコーダ２６０２は、１符号化枚数分の２Ｄ互換ビデオストリームの生成を行う（ステップＳ２７０３）。左目用画像のＮ番目のフレームから１符号化枚数分だけ、２Ｄ互換ビデオストリームの圧縮符号化方式に従って、圧縮符号化して、２Ｄ互換ビデオストリームを生成して出力する。

　さらに、２Ｄ互換ビデオデコーダ２６０３は、１符号化枚数分の２Ｄ互換ビデオストリームの復号処理を行う（ステップＳ２７０４）。ステップＳ２７０３にて出力された２Ｄ互換ビデオストリームに対して、Ｎ番目フレームから１符号化枚数分、圧縮ピクチャを復号して得られる復号ピクチャと２Ｄ互換ビデオ符号化情報とを出力する。

　ベースビュービデオエンコーダ２６０５は、１符号化枚数分のベースビュービデオストリームの生成を行う（ステップＳ２７０５）。具体的には、２Ｄ互換ビデオ符号化情報を元に、ベースビュー符号化情報２６０７としてベースビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、ＧＯＰ内の各ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報を設定し、黒画像を、１符号化枚数分、圧縮符号化して、ベースビュービデオストリームを生成する。また、設定したベースビュース符号化情報２６０７を出力する。

　次に、ディペンデントビュービデオエンコーダ２６０９は、１符号化枚数分のディペンデントビュービデオストリームの生成を行う（ステップＳ２７０６）。具体的には、ステップＳ２７０５で出力したベースビュービデオ符号化情報を元に、ディペンデントビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、ＧＯＰ内の各ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報を設定する。

　さらに、ディペンデントビュービデオストリームエンコーダ２６０９は、ピクチャ間予測符号化を用いて符号化を行う際に、ベースビュービデオストリームのピクチャを参照するのではなく、２Ｄ互換ビデオフレームメモリ２６０８内の同一表示時刻を示す２Ｄ互換ビデオストリームを復号したピクチャを参照しながら、ピクチャ間予測符号化を用いて右目用画像のＮ番目のフレームから１符号化枚数分、圧縮符号化して、ディペンデントビュービデオストリームを生成する。

　マルチプレクサ２６１０は、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、ＰＥＳパケット化する。次にＰＥＳパケットをＴＳパケット単位に分割し、多重化したトランスポートストリームを生成する。その後、Ｎに１符号化枚数を加算する（ステップＳ２７０７）。

　ステップＳ２７０７の処理が完了したら、ステップＳ２７０１に戻って処理を繰り返す。

　なお、１回のフローでの符号化枚数は変更することができる。枚数を少なくしたい場合は、ステップＳ２７０２の１符号化枚数の値を小さくなるように設定すればよい。例えば、ビデオ符号化時のリオーダリングの枚数が２枚の場合には、４枚単位で圧縮符号化を実行すれば、リオーダリングの影響を受けない。リオーダリングの枚数が２枚の圧縮符号化方式で、ピクチャタイプがＩ１、Ｐ４、Ｂ２、Ｂ３、Ｐ７、Ｂ５、Ｂ６（数字は表示順）の場合を想定する。１符号化枚数が３の場合、Ｐ４のピクチャが処理できないため、Ｂ２、Ｂ３の圧縮符号化処理ができない。１符号化枚数を４にすれば、Ｐ４のピクチャが処理できるため、Ｂ２、Ｂ３の圧縮符号化処理ができる。このように、１符号化枚数は、１回の圧縮符号化フローごとに、最大ＧＯＰ枚数以内で、画像の特性に応じて最適な枚数に設定してもよい。
＜１－３．再生装置＞
　＜１－３－１．構成＞
　次に本実施の形態に係る３Ｄ映像を再生する再生装置２８２３の構成について図を参照しながら説明する。

　図２８は再生装置２８２３の機能構成を示すブロック図である。

　再生装置２８２３は、ＰＩＤフィルタ２８０１、２Ｄ互換ビデオデコーダ２８２１、拡張マルチビュービデオデコーダ２８２２、第１プレーン２８０８、及び第２プレーン２８２０を含む構成である。

　ＰＩＤフィルタ２８０１は、入力されたトランスポートストリームをフィルタリングする。ＰＩＤフィルタ２８０１はＴＳパケットのうち、ＴＳパケットのＰＩＤの値が、再生に必要とされるＰＩＤの値に一致するものを、ＰＩＤの値に従って、２Ｄ互換ビデオデコーダ２８２１又は拡張マルチビュービデオデコーダ２８２２に転送する。

　どのストリームがどのＰＩＤに対応しているかはＰＭＴパケットのストリーム情報によって判断できる。例えば、２Ｄ互換ビデオストリームのＰＩＤが０ｘ１０１１、マルチビュービデオストリームのベースビュービデオストリームのＰＩＤが０ｘ１０１２、マルチビュービデオストリームのディペンデントビュービデオストリームのＰＩＤが０ｘ１０１３とすると、ＴＳパケットのＰＩＤの値を参照し、ＴＳパケットに含まれるＰＩＤの値が予め決められている上記ＰＩＤの値と一致する場合に、そのＴＳパケットをそれぞれ対応するデコーダに転送する。

　第１プレーン２８０８は、２Ｄ互換ビデオデコーダ２８２１が復号してＰＴＳの値に従って出力したピクチャを保持するプレーンメモリである。

　第２プレーン２８２０は、拡張マルチビュービデオデコーダ２８２２が復号してＰＴＳの値に従って出力したピクチャを保持するプレーンメモリである。

　次に２Ｄ互換ビデオデコーダ２８２１と拡張マルチビュービデオデコーダ２８２２とについて説明する。

　２Ｄ互換ビデオデコーダ２８２１は、２Ｄ映像の圧縮符号化方式であるＭＰＥＧ－２形式のデコーダと基本的には同じ復号機能を有し、拡張マルチビュービデオデコーダ２８２２は、ビュー間参照を実現する３Ｄ映像の圧縮符号化方式であるＭＰＥＧ－４　ＭＶＣ形式のデコーダと基本的には同じ復号機能を有する。ここでは、ＭＰＥＧ－２形式の圧縮符号化方式の一般的なデコーダをビデオデコーダ２９０１、及びＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化方式の一般的なデコーダをマルチビュービデオデコーダ２９０２とする。

　まず、ビデオデコーダ２９０１及びマルチビュービデオデコーダ２９０２について図２９を用いて説明する。その後で、２Ｄ互換ビデオデコーダ２８２１とビデオデコーダ２９０１との異なる部分、及び拡張マルチビュービデオデコーダ２８２２とマルチビュービデオデコーダ２９０２との異なる部分を重点的に説明する。

　図２９に示すように、ビデオデコーダ２９０１は、ＴＢ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍＢｕｆｆｅｒ）（１）２８０２、ＭＢ（Ｍｕｌｔｉｐｌｅｘｉｎｇ　Ｂｕｆｆｅｒ）（１）２８０３、ＥＢ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＢｕｆｆｅｒ）（１）２８０４、Ｄ１（２Ｄ互換ビデオ圧縮映像デコーダ）２８０５、及びＯ（Ｒｅ－ｏｒｄｅｒｉｎｇ　Ｂｕｆｆｅｒ）２８０６を含む構成である。

　ＴＢ（１）２８０２は、ビデオストリームを含むＴＳパケットがＰＩＤフィルタ２８０１から出力された際、ＴＳパケットのまま一旦蓄積されるバッファである。

　ＭＢ（１）２８０３は、ＴＢ（１）２８０２からＥＢ（１）２８０４にビデオストリームを出力するにあたって、一旦ＰＥＳパケットを蓄積しておくためのバッファである。ＴＢ（１）２８０２からＭＢ（１）２８０３にデータが転送される際に、ＴＳパケットのＴＳヘッダ及びアダプテーションフィールドは取り除かれる。

　ＥＢ（１）２８０４は、圧縮符号化状態にあるピクチャ（Ｉピクチャ、Ｂピクチャ、Ｐピクチャ）が格納されるバッファである。ＭＢ（１）２８０３からＥＢ（１）２８０４にデータが転送される際にＰＥＳヘッダが取り除かれる。

　Ｄ１（２８０５）は、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定のＤＴＳの時刻で復号することによりフレーム画像のピクチャを作成する。

　Ｄ１（２８０５）で復号されたピクチャはプレーン２８０８もしくはＯ２８０６に出力される。ＰピクチャやＩピクチャのように、ＤＴＳとＰＴＳの値が異なる場合には、Ｏ２８０６に出力され、ＢピクチャのようにＤＴＳとＰＴＳの値が同じ場合には、そのままプレーン２８０８に出力される。

　Ｏ２８０６は、復号したピクチャのＤＴＳとＰＴＳとの値が異なる場合、すなわち、ピクチャの復号順と表示順が異なる場合にリオーダリングを行うためのバッファである。Ｄ１（２８０５）は、Ｏ２８０６に格納されるピクチャのデータを参照して、復号処理を行う。

　スイッチ２８０７は、復号されたピクチャをプレーン２８０８に出力する際に、Ｏ２８０６にバッファリングされた画像を出力するかＤ１（２８０５）からの出力を直接出力するかの切り替えを行う。

　次に、マルチビュービデオデコーダ２９０２について説明する。

　図２９に示すように、マルチビュービデオデコーダ２９０２は、ＴＢ（２）２８０９、ＭＢ（２）２８１０、ＥＢ（２）２８１１、ＴＢ（３）２８１２、ＭＢ（３）２８１３、ＥＢ（３）２８１４、デコードスイッチ２８１５、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６、Ｄ２（マルチビュービデオ圧縮映像デコーダ）２８１７、ＤＰＢ（Ｄｅｃｏｄｅｄ　Ｐｉｃｔｕｒｅ　Ｂｕｆｆｅｒ）２８１８、及び出力プレーンスイッチ２８１９とを含む構成である。

　ＴＢ（２）２８０９、ＭＢ（２）２８１０、及びＥＢ（２）２８１１は、それぞれＴＢ（１）２８０２、ＭＢ（１）２８０３、及びＥＢ（１）２８０４と同じ機能を持つが、バッファリングするデータがベースビュービデオストリームである点が異なる。

　ＴＢ（３）２８１２、ＭＢ（３）２８１３、及びＥＢ（３）２８１４は、それぞれＴＢ（１）２８０２、ＭＢ（１）２８０３、及びＥＢ（１）２８０４と同じ機能を持つが、バッファリングするデータがディペンデントビュービデオストリームである点が異なる。

　スイッチ２８１５は、ＥＢ（２）２８１１とＥＢ（３）２８１４とからＤＴＳの値に従って、そのＤＴＳが付与されているビデオアクセスユニットのデータを取り出しの、３Ｄビデオアクセスユニットを構成して、Ｄ２（２８１７）に転送する。

　Ｄ２（２８１７）は、スイッチ２８１５を介して転送される３Ｄビデオアクセスユニットに対する復号処理を行い、フレーム画像のピクチャを作成する。

　Ｄ２（２８１７）により復号されたベースビュービデオの復号されたピクチャは、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に一旦格納される。Ｄ２（２８１７）は、ディペンデントビュービデオストリームのピクチャを、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に格納されるＰＴＳが同じ値を持つベースビュービデオストリームの復号ピクチャを参照して、復号処理を行う。

　マルチビュービデオデコーダ２９０２は、ビュー間参照を行うためのピクチャを指定する参照ピクチャリストを、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャのピクチャタイプやｓｙｎｔａｘ要素に基づいて作成する。

　Ｄ２（２８１７）は、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に格納されるベースビューの復号ピクチャと、ディペンデントビューの復号ピクチャをＤＰＢ２８１８に転送し、ＰＴＳの値に従って、出力プレーンスイッチ２８１９を介して出力する。

　ＤＰＢ２８１８は、復号されたピクチャを一時的に保持しておくバッファである。Ｄ２（２８１７）が、ピクチャ間予測符号化モードを用いてＰピクチャやＢピクチャなどのビデオアクセスユニットを復号する際に、既に復号されたピクチャを参照するために利用する。

　出力プレーンスイッチ２８１９は、復号されたピクチャを、適切なプレーンへ出力する処理を行う。例えば、ベースビュービデオストリームが、左目用画像を示し、ディペンデントビュービデオストリームが、右目用画像を示す場合には、ベースビュービデオストリームのピクチャを左目用画像のプレーンに、ディペンデントビュービデオストリームのピクチャを右目用画像のプレーンに出力する。

　次に、２Ｄ互換ビデオデコーダ２８２１と拡張マルチビュービデオデコーダ２８２２について説明する。

　２Ｄ互換ビデオデコーダ２８２１は、ビデオデコーダ２９０１と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。

　図２８で示す２Ｄ互換ビデオデコーダ２８２１はＤ１（２８０５）で復号したピクチャをＯ２８０６やスイッチ２８０７に転送するだけでなく、ＤＴＳの値に基づいて、拡張マルチビュービデオデコーダ２８２２のＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にも転送する。

　拡張マルチビュービデオデコーダ２８２２は、マルチビュービデオデコーダ２９０２と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。

　拡張マルチビュービデオデコーダ２８２２は、２Ｄ互換ビデオデコーダ２８２１から、ＤＴＳの値に従って転送されるピクチャを、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６内で、先に復号されているベースビュービデオストリームのＰＴＳ及びＤＴＳが同じ値を持つ復号ピクチャが格納される領域に上書きして格納する。このため、拡張マルチビューデコーダ２８２２は、ディペンデントビュービデオストリームのピクチャを復号する際に、２Ｄ互換ビデオストリームの復号ピクチャを、あたかもベースビュービデオストリームの復号ピクチャであるとして参照することができる。Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６上のアドレス管理は、従来のベースビュービデオストリームの復号ピクチャの管理と変更する必要はない。

　また、拡張マルチビュービデオデコーダ２８２２は、ＤＰＢ２８１８に格納された映像の内、第２プレーン２８２０への出力は、ディペンデントビュービデオストリームのピクチャのみをＰＴＳの値に従って出力するように出力プレーンスイッチ２８１９を制御する。ベースビュービデオストリームのピクチャは、表示には関係ないのでプレーンに出力しない。

　このようにして、２Ｄ互換ビデオデコーダ２８２１からは、２Ｄ互換ビデオストリームのピクチャがＰＴＳの値に従って第１プレーン２８０８に出力され、拡張マルチビュービデオデコーダ２８２２からは、マルチビュービデオストリームのディペンデントビュービデオストリームのピクチャがＰＴＳの値に従って第２プレーン２８２０に出力される。

　このように構成することによって、異なる映像圧縮符号化方式である２Ｄ互換ビデオストリームのピクチャを参照して、マルチビュービデオストリームのディペンデントビュービデオストリームを復号することができる。

　＜１－３－２．動作＞
　図３０は再生装置２８２３の３Ｄ映像における復号処理と出力処理のフローを示す図である。

　再生装置２８２３は、ＥＢ（１）２８０４にピクチャがあるかどうかを判定する（ステップＳ３００１）。ピクチャがなければ（ステップＳ３００１：Ｎｏ）、ビデオストリームの転送が終了したと判断して、処理を終了する。

　ＥＢ（１）にピクチャがある場合（ステップＳ３００２：Ｙｅｓ）、再生装置２８２３は、拡張マルチビュービデオデコーダ２８２２を利用して、ベースビュービデオストリームの復号処理を行う（ステップＳ３００２）。具体的には、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（２）より取り出し、復号処理を行い、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にデータを格納する。Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６内のピクチャの管理は、従来のＭＰＥＧ－４　ＭＶＣ形式における管理と同じであるので詳細は省略するが、参照ピクチャリストを作るための管理情報としてＰＴＳ及びＰＯＣと復号ピクチャの参照先を示すＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のデータアドレスとを関連付けるテーブル情報を内部に持って管理する。

　次に、再生装置２８２３は、２Ｄ互換ビデオデコーダ２８２１を利用して、２Ｄ互換ビデオストリームの復号処理を行う（ステップＳ３００３）。具体的には、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（１）より取り出し、復号処理を行う。このとき、Ｏ２８０６やスイッチ２８０７に復号したピクチャを転送する。さらに、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にも復号したピクチャを転送する。

　拡張マルチビュービデオデコーダは、転送されたピクチャを、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６にある同じ値のＤＴＳ及びＰＴＳが付与されているベースビューピクチャに上書きする。

　具体的な上書き処理について図３１を用いて説明する。

　図３１上段のように、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のピクチャの管理は、例えばＰＴＳとＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のメモリアドレスで管理されているとする。図３１上段は、ＰＴＳ＝１００におけるベースビュービデオストリームのピクチャが復号された直後の様子を示しており、ＰＴＳ＝１００のベースビューの復号ピクチャは、アドレスＢから始まるメモリ領域に格納されていることを示す。

　ここで、ステップＳ３００３の処理が行われると、図３１下段のようになり、ＰＴＳ＝１００のベースビュービデオピクチャが格納されるメモリ領域のアドレスＢに対して、ＰＴＳが同じ値の２Ｄ互換ビデオストリームの復号ピクチャが上書きされる。このように、バッファ内のピクチャ管理を行うための管理情報（例えば、ＰＴＳ）は変更する必要なく、ピクチャのデータのみを上書きする。これにより、Ｄ２（２８１７）は、従来のＭＰＥＧ－４　ＭＶＣ形式のディペンデントビュービデオストリームの復号処理と同じ処理で、２Ｄ互換ビデオストリームを復号して得たピクチャを参照しながら復号することができる。

　次に、拡張マルチビュービデオデコーダ２８２２は、ディペンデントビュービデオストリームの復号処理を行う（ステップＳ３００４）。具体的には、拡張マルチビュービデオデコーダ２８２２は、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（３）より取り出し、ディペンデントビュービデオストリームのピクチャをＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に格納されるピクチャを参照しながら復号処理を行う。

　このとき参照するピクチャは、ベースビュービデオストリームのピクチャではなく、ステップＳ３００３にて上書きされた２Ｄ互換ビデオストリームのピクチャである。

　再生装置２８２３は、２Ｄ互換ビデオストリームの復号ピクチャをＰＴＳの値に従って、第１プレーン２８０８に出力し、ディペンデントビュービデオストリームの復号ピクチャをＰＴＳの値に従って、第２プレーン２８２０に出力する（ステップＳ３００５）
　再生装置２８２３のＤ１（２８０５）で行う復号処理は、既存のＭＰＥＧ－２形式のビデオストリームの復号処理と同じなので、既存のＭＰＥＧ－２形式のビデオの再生装置のＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）やソフトウェアを利用することができる。また、Ｄ２（２８１７）で行うＭＰＥＧ－４　ＭＶＣ形式の復号処理についても、既存のＭＰＥＧ－４　ＭＶＣ形式の処理と同じであるので、既存のＭＰＥＧ－４　ＭＶＣ形式のビデオの再生装置のＬＳＩやソフトウェアを利用できる。
＜再生装置２８２３の使用態様の一例＞
　図５を用いて、データ作成装置２８２３で作成したビデオストリームの３Ｄ映像を再生できる３Ｄデジタルテレビ１００と、３Ｄ映像の再生をサポートしない従来の２Ｄ映像のみを再生できる２Ｄデジタルテレビ３００を例に挙げて説明する。

　図５（ａ）に示すように、ユーザは、３Ｄデジタルテレビ１００と３Ｄ眼鏡２００を用いて３Ｄ映像を視聴する。

　３Ｄデジタルテレビ１００は、２Ｄ映像及び３Ｄ映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。具体的には、ＭＰＥＧ－２形式で圧縮符号化された２Ｄ互換ビデオストリームとＭＰＥＧ－４　ＭＶＣ形式に準拠して圧縮符号化されたベースビュービデオストリームとディペンデントビュービデオストリームを再生する。

　３Ｄデジタルテレビ１００は、２Ｄ互換ビデオストリームを復号して得た左目用画像とディペンデントビュービデオストリームを復号して得た右目用画像とを交互に表示する。

　ユーザは、このようにして再生された映像を、３Ｄ眼鏡２００を着用して眺めることで立体映像として視聴することができる。

　図５（ｂ）は、３Ｄ眼鏡２００の左目用画像の表示時を示す。

　画面上に左目用の画像が表示されている瞬間において、３Ｄ眼鏡２００は、左目に対応する液晶シャッターを透光にし、右目に対応する液晶シャッターは遮光する。

　同図（ｃ）は、右目用画像の表示時を示す。

　画面上に右目用画像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。

　図５（ｄ）の２Ｄデジタルテレビ３００は、２Ｄ映像の再生に対応し、データ作成装置２６０１で作成したトランスポートストリームに含まれるビデオストリームのうち２Ｄ互換ビデオストリームを復号して得られる２Ｄ映像を再生することができる。
＜１－４．変形例＞
　以上、本発明に係るデータ作成装置及び再生装置の実施の形態を説明したが、例示したデータ作成装置及び再生装置を以下のように変形することも可能であり、本発明が上述の実施の形態で示した通りのデータ作成装置及び再生装置に限らないことは勿論である。

　（１）本実施の形態の再生装置では、ステップＳ３００３にて、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のベースビュービデオストリームの復号ピクチャに対して、ＰＴＳの値が同じ２Ｄ互換ビデオストリームの復号ピクチャを上書きするとしたが、図３２下段のように、上書き処理を行わずにアドレス参照先を変更するようにしてもよい。

　このように処理を行うことによって、上書き処理を省略できるので負荷を軽減できる。

　（２）本実施の形態の再生装置では、ベースビューの復号ピクチャをＤＰＢ２８１８に格納するとしたが、ベースビュービデオストリームの復号ピクチャは参照されないため、ＤＰＢ２８１８に格納しないようにしてもよい。このようにすれば、ＤＰＢ２８１８からベースビュービデオストリームのピクチャを格納する分のメモリ量を削減することが可能となる。

　（３）本実施の形態では、ベースビュービデオストリームをトランスポートストリームに含めて生成し、復号処理において、ベースビュービデオストリームのピクチャの復号処理を行うとしたが、ベースビュービデオストリームのピクチャの復号処理は省略してもよい。

　拡張マルチビュービデオデコーダ２８２２は、ベースビュービデオストリームのピクチャの復号をせずに、ヘッダ情報の解析（例えば、ＰＯＣの取得、ピクチャタイプ、ＶｉｅｗＩＤ、参照有り無しの情報取得など）とＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に１枚分のピクチャが格納できる領域の確保を行う。拡張マルチビュービデオデコーダ２８２２は、確保した領域に、ヘッダ情報解析で得たＰＴＳやＤＴＳと同じ値を持つ２Ｄ互換ビデオデコーダから出力される復号ピクチャを格納する。

　このようにすれば、ピクチャの復号処理をスキップできるので、再生処理全体での処理負荷を軽減できる。

　また、ディペンデントビュービデオストリームのピクチャから、２Ｄ互換ビデオストリームのピクチャへのビュー間参照を実現させるため必要な情報、すなわち、拡張マルチビュービデオデコーダがＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６を管理できるようにするための情報を含めた２Ｄ互換ビデオストリームを生成するようにしてもよい。

　具体的には、ベースビュービデオストリームのｓｙｎｔａｘ要素の全てまたは一部を２Ｄ互換ビデオストリームの補足データに記録するように構成する。すなわち、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒバッファ２８１６のピクチャ管理を行うための情報（ＭＰＥＧ－４　ＭＶＣ形式の表示順を示すＰＯＣ、ピクチャタイプを示すｓｌｉｃｅ＿ｔｙｐｅ、ピクチャの参照・非参照を示すｎａｌ＿ｒｅｆ＿ｉｄｃ、ベース参照ピクチャリストを作成するための情報であるｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｖｃ＿ｍｏｄｉｆｉｃａｔｉｏｎ、ベースビュービデオストリームのＶｉｅｗＩＤ、ＭＭＣＯコマンド）などを２Ｄ互換ビデオストリームの各ピクチャの補足データに含めるようにする。

　このように２Ｄ互換ビデオストリームのデータをディペンデントビュービデオストリームから直接参照できるように構成すれば、ベースビュービデオストリームはトランスポートストリーム上に多重化されていなくてもよい。

　この場合、図３で示すように、ＭＰＥＧ－４　ＭＶＣ形式のディペンデントビュービデオストリームのピクチャはＭＰＥＧ－２形式のビデオストリームのピクチャを直接参照することになる。

　ただし、ＭＰＥＧ－４　ＭＶＣ形式のベースビュービデオストリームをトランスポートストリーム上に多重化した場合、データ形式は従来とほぼ同じなので、従来のＭＰＥＧ－４　ＭＶＣ形式に対応した符号化装置や再生装置と親和性がよく、少ない改良で本実施の形態のビデオストリームデータに対応した符号化装置や再生装置が実現できる。

　（４）本実施の形態の再生装置では、Ｏ２８０６とＤＰＢ２８１８のメモリは別領域として扱っていたが、図３３に示すように、メモリ空間を共用化してもよい。例えば、図３３の例では、ＰＴＳ＝１００とＰＴＳ＝２００の２Ｄ互換ビデオのピクチャは、ステップＳ３００３によって、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のＰＴＳが同じ値のベースビューピクチャに上書きされることになる。このとき、ＤＰＢ２８１８にデータを格納する際にＤＰＢ２８１８の管理テーブルの参照先ピクチャのアドレスの設定だけで行い、上書き処理を省略することができる。具体的には、図３３の例では、ＤＰＢ２８１８のピクチャ管理テーブルにおいては、ＰＴＳ＝１００，ＰＴＳ＝２００のベースビュー（Ｖｉｅｗ＿ＩＤが最小値）のピクチャのアドレスは、Ｏ２８０６の管理テーブルのＰＴＳ＝１００、ＰＴＳ＝２００に対応した.２Ｄ互換ビデオの復号ピクチャのアドレスをそれぞれ示すように設定する。

　このようにすれば、ピクチャを格納するためのメモリ量を削減することができる。

　（５）本実施の形態の再生装置では、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６とＤＰＢ２８１８は別のバッファとして扱ったが、これを同じバッファとしてもよい。例えば、ＤＰＢ２８１８に統一される場合には、ＤＰＢ２８１８内の同一の値のＰＴＳと、同一のＶｉｅｗＩＤとを持つベースビュービデオストリームの復号ピクチャを２Ｄ互換ビデオストリームの復号ピクチャに置き換えればよい。

　（６）本実施の形態における圧縮符号化処理において、２Ｄ互換ビデオストリームのピクチャと、同一表示時刻のベースビュービデオストリームのピクチャと、同一表示時刻のディペンデントビュービデオストリームのピクチャにおいて、ひとつでもＢピクチャ（Ｂｒピクチャを含む）があれば、同一表示時刻の２Ｄ互換ビデオストリームのピクチャと、ベースビュービデオストストリームのピクチャと、ディペンデントビュービデオストリームのピクチャとのピクチャタイプをＢピクチャ（Ｂｒピクチャを含む）にしなければならないという制約を課してもよい。このように構成することによって、ＩピクチャとＰピクチャのみを選択して特殊再生（例えば、飛び込み再生）を行う再生装置において、その特殊再生処理が容易になる。
図２４は、特殊再生について説明するための図である。図２４上段は、上記の制約が課されていない場合について示している。この場合、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリームとベースビュービデオストリームは、Ｐピクチャ（Ｐ３）になっているが、ディペンデントビュービデオストリームのピクチャはＢピクチャ（Ｂ３）となっている。

　これにより、ディペンデントビュービデオストリームの復号を行うために、ディペンデントビュービデオストリームのピクチャＢｒ２を復号する必要があり、また、ベースビュービデオストリームのＢｒ２も復号する必要がある。一方で、図２４下段は、上記制約を課した場合について示している。

　この場合には、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームのピクチャはすべてＰピクチャとなり、すべてのビデオストリームにおいて、ＩピクチャとＰピクチャのみを復号すればよいため、ＩピクチャとＰピクチャを選択した特殊再生処理が容易になる。

　（７）本実施の形態のデータ作成装置では、トランスポートストリームの多重化において、各ビデオストリームのＰＩＤとして別々のＰＩＤを設定するとしたが、ベースビュービデオストリームとディペンデントビュービデオストリームとに、同一のＰＩＤを割り当てるようにしてもよい。

　このように構成することで、マルチビュービデオストリームの圧縮符号化方式の仕様に合わせて各ビデオストリームのアクセスユニットをマージして転送することができる。

　この場合、ベースビュービデオストリームとディペンデントビデオストリームのマージは圧縮符号化方式の仕様に合わせて行い、再生装置は図４５のような構成で、拡張マルチビュービデオデコーダのデータ転送ラインがひとつになるように構成すればよい。

　また、ベースビュービデオストリームとディペンデントビュービデオストリームとにおいて、同時刻のピクチャを格納した各アクセスユニットのヘッダ（例えば、シーケンスヘッダ、ピクチャヘッダ）情報を共有してもよい。すなわち、ヘッダ情報をベースビュービデオストリームのみに設けて、ディペンデントビュービデオストリームを復号する際には、復号に必要なヘッダ情報をベースビュービデオストリームのヘッダ情報を参照しながら復号するようにしてもよい。従って、ディペンデントビュービデオストリームには、復号に必要なヘッダ情報の付加を省略できる。

　（８）本実施の形態のデータ作成装置において、図２３にて説明したように、同一表示時刻の２Ｄ互換ビデオストリームとディペンデントビュービデオストリームのピクチャのＤＴＳの値はそれぞれ等しく、さらに、ディペンデントビュービデオストリームのピクチャと、ベースビュービデオストリームとのピクチャのＤＴＳもそれぞれ同じ値とした。しかし、同一表示時刻のそれぞれのビデオストリームにおけるピクチャのＤＴＳの値は、同じでなくてもよい。例えば、図３５に示すように２Ｄ互換ビデオストリームのＤＴＳの値を、ベースビュー・ディペンデントビュービデオストリームよりも先（例えば、１フレーム分前）に復号される値に設定してもよい。

　このように構成することで、２Ｄ互換ビデオストリームの復号を前もって行うことができるため、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒへの上書き処理やディペンデントビュービデオストリームのピクチャ復号処理を、余裕を持って行うことができる。

　なお、図３５では、同一表示時刻の視差画像を格納する２Ｄ互換ビデオストリームのピクチャのＰＴＳについては、ディペンデントビューのピクチャのＰＴＳと同じとしているが、２Ｄ互換ビデオストリームの復号処理を前もって行うために、同一表示時刻の２Ｄ互換ビデオストリームのピクチャのＰＴＳを、ベースビュー・ディペンデントビュービデオストリームよりも先（例えば、１フレーム分前）になるように設定している。

　このように２Ｄ互換ビデオストリームとマルチビュービデオストリーム間でのＰＴＳ値を変える場合、例えば、２Ｄ互換ビデオストリームのピクチャのＰＴＳを、ディペンデントビュービデオストリームのピクチャのＰＴＳよりも１フレーム前にする場合には、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒのベースビュービデオストリームのピクチャの入れ換え時に、ベースビュービデオストリームのピクチャに対して、１フレーム前を示す値のＰＴＳの２Ｄ互換ビデオストリームのピクチャで入れ換えるようにする。

　なお、実データに付与されるＰＴＳやＤＴＳの設定は、図２３に示す時刻設定であっても、２Ｄ互換ビデオストリームのピクチャのＤＴＳやＰＴＳが先になるように、内部的に値を修正して復号処理を行ってもよい。

　（９）本実施の形態の再生装置では、ステップＳ３００５にて、２Ｄ互換ビデオデコーダ２８２１が、２Ｄ互換ビデオストリームの復号ピクチャを、ＰＴＳの値に従って第１プレーン２８０８に出力するとしたが、図３４のように、拡張マルチビュービデオデコーダ２８２２が、出力プレーンスイッチ２８１９を使って両方の映像を出力するように構成してもよい。

　このように構成することで、既存のマルチビュービデオストリームを使って３Ｄ映像を再生するプレーン出力の仕組みをそのまま利用することができる。

　（１０）本実施の形態において、多重化方式をトランスポートストリームとしたが、これに限らない。

　例えば、多重化方式としてＭＰ４のシステムフォーマットを用いることができる。図３４の入力をＭＰ４で多重化されたファイルとして、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームにそれぞれ分離して復号する。そして、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６のベースビュービデオストリームのピクチャを２Ｄ互換ビデオストリームのピクチャに上書きしたピクチャを参照しながらディペンデントビュービデオストリームのピクチャを復号する。ただし、ＭＰ４システムフォーマットの場合にはＰＴＳがないので、ＭＰ４システムフォーマットのヘッダ情報（ｓｔｔｓ，ｓｔｓｚなど）を元に、各アクセスユニットにおける時刻情報を特定する。

　（１１）本実施の形態におけるベースビュービデオストリームやディペンデントビュービデオストリームにおいては、ディペンデントビュービデオストリームの参照先のピクチャを、２Ｄ互換ビデオストリームの復号ピクチャとしており、通常のマルチビュービデオストリームの構成と異なるため、ストリームタイプやＰＥＳパケットヘッダに付与されるｓｔｒｅａｍ＿ｉｄを、従来のマルチビュービデオストリームの場合の値と異なるように設定してもよい。

　このように構成することで、再生装置は、ストリームタイプやｓｔｒｅａｍ＿ｉｄを参照することにより、本実施の形態における３Ｄ映像の再生方式であると判断して、再生方法を変更することができる。

　（１２）本実施の形態では、図３８で説明したディスクリプタに格納される再生方式について説明したが、この再生方式の切り替え方法については、図４０のような構成にして実現してもよい。

　図４０の再生装置２８２３ｂは図２８で説明した再生装置２８２３と基本的な構造は変わらないが、コーデック間参照スイッチ２８２４、プレーンセレクタ２８２５、第３プレーン２８２６が追加されている。

　コーデック間参照スイッチ２８２４は、図４０で示すようにＯＮの場合には、２Ｄ互換ビデオデコーダから拡張マルチビュービデオデコーダ内のＩｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒに対してステップＳ３００３で説明したデータ転送を行い、ＯＦＦの場合には、データ転送を行わない。

　プレーンセレクタ２８２５は、２Ｄ互換ビデオデコーダからピクチャタが出力される第１プレーン２８０８、拡張マルチビュービデオデコーダのベースビュービデオストリームのピクチャが出力される第２プレーン２８２０、拡張マルチビュービデオデコーダのディペンデントビュービデオストリームのピクチャが出力される第３プレーン２８２６に対して、どのプレーンを２Ｄ映像として出力するのか、３Ｄ映像の左目用画像として出力するのか、または３Ｄ映像の右目用画像として出力するのかを選択する。

　再生方式に従って、コーデック間参照スイッチ２８２４とプレーンセレクタ２８２５での出力を切り替えることで、再生装置２８２３ｂは再生モードを変更する。

　図３８の再生方式の例に対して、具体的な再生方法の切り替えについて図４１を用いて説明する。

　コーデック間参照スイッチ２８２４のＯＮ、ＯＦＦの切り替えとプレーンセレクタ２８２５でのプレーンの選択例を図４１下段に記している。

　再生装置２８２３ｂは、再生方式の値が「０」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、２Ｄ映像として第１プレーン２８０８を選択する。

　再生装置２８２３ｂは、再生方式の値が「１」の場合、コーデック間参照スイッチ２８２４をＯＮにする。そして、プレーンセレクタ２８２５は、左目用画像として第１プレーン２８０８又は第２プレーン２８２０を選択し、右目用画像として第３プレーン２８２６を選択する。

　再生装置２８２３ｂは、再生方式の値が「２」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、左目用画像として第２プレーン２８２０を選択し、右目用画像として第３プレーン２８２６を選択する。

　再生装置２８２３ｂは、再生方式の値が「３」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、左目用画像として第１プレーン２８０８を選択し、右目用画像として第１プレーン２８０８を選択する。

　（１３）本実施の形態において、再生方式が、２Ｄ互換ビデオストリームとディペンデントビュービデオストリームによる３Ｄ映像再生から２Ｄ互換ビデオストリームの２Ｄ映像再生に切り替わるようなトランスポートストリームを生成する場合には、復号処理の遅延を考慮して、図４２に示すように、再生方式が変わる時点で、２Ｄ互換ビデオストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化しておくように構成してもよい。２Ｄ互換ストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化する区間を図４２上段に示す２Ｄ移行期間とする。この２Ｄ移行区間においては、どちらの方式で再生しても２Ｄ映像として再生されるため、ユーザにとってはスムーズな映像遷移となる。これは、２Ｄ映像再生から３Ｄ映像再生に切り替わる場合においても２Ｄ移行区間を設けてもよい。また、図３７のシグナリング情報を示す「再生方式」の値が「０」と、その他の値（「１」、「２」又は「３」）との間で切り替わるそれぞれの場合において、２Ｄ移行区間を設けるようにしてもよい。

　（１４）ＭＰＥＧ－２形式の圧縮符号化における各ピクチャに含まれる表示順を示すｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値に、同一時刻表示を示すディペンデントビュービデオストリームのピクチャのＰＯＣの値を設定してもよい。

　このようにすることで、ＰＴＳを使わずにビデオＥＳ内の値でＭＰＥＧ－２形式のビデオストリームの圧縮符号化及び復号処理ができる。

　または、２Ｄ互換ビデオストリームの各ピクチャのユーザデータに、同時刻表示を示すディペンデントビュービデオストリームのＰＯＣを含めてもよい。

　このようにすることで、ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値を独自の値に設定することもできるため、圧縮符号化処理における設定の自由度が増える。

　（１５）本実施の形態において、図４３、図４４に示すように２Ｄ互換ビデオストリームの復号結果に対して、高画質フィルタ４３０１を適用するようにしてもよい。

　高画質フィルタ４３０１は、ＭＰＥＧ－４　ＡＶＣで規定されているデブロッキングフィルタのようなブロックノイズを軽減するようなものなどである。高画質フィルタ４３０１を適用するか否かを示すフラグを用意する。そして、例えばフラグがＯＮを示す場合に高画質フィルタ４３０を適用し、ＯＦＦの場合に適用しないとする。

　このフラグは、ＰＭＴのディスクリプタやストリームの補足データ等に含めることができる。

　再生装置は、このフラグがＯＮであれば、復号結果において、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６に、データを転送する前にフィルタを適用する。

　このように構成することで、２Ｄ互換ビデオストリームに対する２Ｄ映像の高画質化を実現する。また、高画質化処理されたピクチャを参照しながらディペンデントビュービデオストリームの復号処理を行うことができるので、結果３Ｄ映像の高画質化も図れる。なお、高画質フィルタ４３０１は複数あって、用途に応じて、選択できるようにフラグではなく、そのフィルタのタイプを指定できるようにしてもよい。

　（１６）本実施の形態において、ディペンデントビュービデオストリームは１つのケースを説明したが、ディペンデントビュービデオストリームは複数あってもよい。

　この場合には、拡張マルチビュービデオストリームは、複数のディペンデントビュービデオストリームを処理できるように構成して、Ｉｎｔｅｒ－ｖｉｅｗ　ｂｕｆｆｅｒ２８１６における２Ｄ互換ビデオストリームのピクチャとの置き換え処理においては、ＰＴＳが同じ値を持つベースビューのピクチャに対して置き換えられるようにしてもよい。または、２Ｄ互換ビデオストリームで、置き換えるＶｉｅｗＩＤを指定できるようにして、常にベースビューのピクチャを置き換えるのではなく、複数ビューのピクチャの中から選択して置き換えられるようにしてもよい。

　（１７）本実施の形態において、２Ｄ互換ビデオストリームをＭＰＥＧ－２ビデオ、マルチビュービデオストリーム（ベースビュービデオストリームとディペンデントビュービデオストリーム）をＭＰＥＧ－４　ＭＶＣビデオとして説明したが、コーデックの種類はこれに限らないことは言うまでもない。本実施の形態の再生装置、データ符号化装置において、コーデックの特性に合わせて、構成を適宜変更することで対応ができる。例えば、２Ｄ互換ビデオストリームをＭＰＥＧ－４　ＡＶＣで、マルチビュービデオストリームが「新コーデック」の場合には、図４６で示した再生装置のように、図３４で示したＯ２８０６とスイッチ２８０７とをＤＰＢに置き換えて、ビュー間参照バッファ２８１６内のピクチャの管理は「新コーデック」の構成に従って行えばよい。

　（１８）本実施の形態のビデオストリームを用いた３Ｄ映像を視聴する方法として、ユーザが液晶シャッターを備えた３Ｄ眼鏡を用いる方法を例示したが、３Ｄ映像の視聴方法はこれに限られない。

　例えば、ディスプレイに表示する画面中の縦方向に左目用のピクチャと右目用のピクチャを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャを構成する画素は左目だけに結像し、右目用のピクチャを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャを見せ、３Ｄ映像としてみせるようにしてもよい。また、レンチキュラーレンズの代わりに、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。

　また、ディスプレイ側の左目用の画素には縦偏光のフィルタ、右目用の画素には横偏光のフィルタを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルタを設置した偏光メガネを用いた偏光方式と呼ばれる方式を用いてもよい。

　なお、視差画像を用いた立体視においては、右目用画像と左目用画像を用意する場合に、２Ｄ映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、２Ｄ映像とデプスマップに基づいて左目用画像と右目用画像の視差画像を生成するようにしてもよい。

　図４は２Ｄ映像とデプスマップから左目用画像と右目用画像の視差画像を生成する例を模式的に示している。

　デプスマップは２Ｄ映像内のそれぞれの画素に対応した奥行き値をもっており、図４の例では、２Ｄ映像の円形の物体は、デプスマップでは円形の物体が近くにあることを示す情報（奥行き値がＨｉｇｈ）が割り当てられ、それ以外の領域は円形の物体より遠くにある（奥行き値がＬｏｗ）ことを示す情報が割り当てられている。この情報は、画素ごとのビット列で表してもよいし、画像イメージ（例えば「黒」を奥行きがＬｏｗであることを示し、「白」を奥行きがＨｉｇｈであることを示す画像イメージ）で表してもよい。視差画像は、デプスマップの奥行き値から、２Ｄ映像の視差量を調整することによって作成することができる。図４の例では、２Ｄ映像内の円形の物体の奥行き値がＨｉｇｈであるため、視差画像を作成するときには、円形の物体の画素の視差量を大きくする。一方、円形物体以外の領域は、奥行き値がＬｏｗであるため、円形の物体以外の画素の視差量を小さくして、左目用画像、右目用画像を作成する。この左目用画像と右目用画像を、継時分離方式等を使って表示すれば立体視が可能となる。

　（１９）実施の形態１では、ディペンデントビュービデオストリームを１本使用する構成であったが、これに限らず、ディペンデントビュービデオストリームを複数本使用する構成としてもよい。例えば、以下のような構成により、高画質な３Ｄ映像再生を実現するとともに、各ディペンデントビュービデオストリームのビットレートを低く抑えることができる。

　図９９は、一例としてディペンデントビュービデオストリームを２本使用する場合について説明するための図である。

　２Ｄ互換ビデオストリームは、２Ｄ映像（左目用映像に相当）を圧縮符号化して作成され、ベースビュービデオストリームは黒色映像を圧縮符号化して作成され、ディペンデントビュービデオストリーム１は左目用映像を圧縮符号化して作成され、ディペンデントビュービデオストリーム２は右目用映像を圧縮符号化して作成される。ディペンデントビュービデオストリーム１に係る左目用映像、及びディペンデントビュービデオストリーム２に係る右目用映像は、２Ｄ互換ビデオストリームに係る２Ｄ映像よりも高画質なものとする。両ディペンデントビュービデオストリームの各ピクチャは、それぞれ２Ｄ互換ビデオストリームの復号されたピクチャを参照して圧縮符号化されている。すなわち、ディペンデントビュービデオストリーム１に含まれるデータ量としては、２Ｄ互換ビデオストリームに含められる２Ｄ映像よりも高画質な左目用映像と、２Ｄ互換ビデオストリームに含められる２Ｄ映像との差分に相当するデータ量となり、高画質な左目用映像をそのまま圧縮符号化する場合に比べ、データ量を大幅に削減することができる。ディペンデントビュービデオストリーム２に含まれるデータ量についても同様に、２Ｄ互換ビデオストリームに含められる２Ｄ映像よりも高画質な右目用映像と、２Ｄ互換ビデオストリームに含められる２Ｄ映像との差分に相当するデータ量となり、高画質な右目用映像をそのまま圧縮符号化する場合に比べ、データ量を大幅に削減することができる。

　再生装置側では、ベースビュービデオストリームの復号されたピクチャを、同一表示時刻（ＰＴＳ）の２Ｄ互換ビデオストリームの復号ピクチャで置き換え、各ディペンデントビュービデオストリームを復号する。

　以下、本変形例について、より具体的に説明する。

　図１００は、本変形例に係るデータ作成装置１０００１の構成を示す図である。

　データ作成装置１０００１は、基本的にデータ作成装置２６０１と同じ構成であるが、ディペンデントビュービデオエンコーダを２つ（１０００９と１００１１）備える点が異なる。以下、データ作成装置２６０１との差分を中心に説明する。

　ディペンデントビュー１ビデオエンコーダ１０００９は、左目原画映像を入力として、ベースビュービデオ符号化情報２６０７に従って圧縮符号化を行い、ディペンデントビュービデオストリーム１を出力する。この圧縮符号化において、ディペンデントビュー１ビデオエンコーダ１０００９は、２Ｄ互換ビデオフレームメモリ２６０８に格納される、同一表示時刻（ＰＴＳ）／ＤＴＳの２Ｄ互換ビデオストリームの復号ピクチャをビュー間参照画像として圧縮する。

　ディペンデントビュー２ビデオエンコーダ１００１１は、右目原画映像を入力として、ベースビュービデオ符号化情報２６０７に従って圧縮符号化を行い、ディペンデントビュービデオストリーム２を出力する。この圧縮符号化において、ディペンデントビュー２ビデオエンコーダ１００１１は、２Ｄ互換ビデオフレームメモリ２６０８に格納される、同一表示時刻（ＰＴＳ）／ＤＴＳの２Ｄ互換ビデオストリームの復号ピクチャをビュー間参照画像として圧縮する。

　図１０１は、本変形例に係る再生装置１０１２３の構成を示すブロック図である。

　再生装置１０１２３は、基本的には、再生装置２８２３と同じ構成であるので、以下、その差分を中心に説明する。再生装置１０１２３は、ＴＢ（４）、ＴＢ（４）、ＥＢ（４）を追加的に備えており、２本のディペンデントビューのストリームがマルチビュービデオデコーダに入力される。各ディペンデントビュービデオストリームの復号処理においては、ビュー間参照バッファ２８１６内で、ベースビュービデオストリームのピクチャは、同一表示時刻の２Ｄ互換ビデオストリームのピクチャに置き換えられる。そして、この置き換え後のピクチャを参照画像として、復号処理を行う。再生装置１０１２３は、ディペンデントビュービデオストリームの両復号映像を３Ｄ映像として出力することにより３Ｄ映像再生を行う。

　（２０）実施の形態１では、２Ｄ互換ビデオストリームをプログレッシブ映像を符号化することにより生成していたが、これに限らず、インターレース映像を符号化することにより生成してもよい。

　本変形例では、２Ｄ互換ビデオストリームはインターレース映像を符号化することにより生成され、ディペンデントビュービデオストリームはプログレッシブ映像を符号化することにより生成される。ディペンデントビュービデオストリームは、２Ｄ互換ビデオストリームの復号結果を縦方向に２倍拡大したピクチャを参照画像として圧縮するよう構成する。

　図１０２は、本変形例に係るストリームの構成を示す図である。

　２Ｄ互換ビデオストリームは、トップフィールドのピクチャとボトムフィールドのピクチャで構成されるフルＨＤのフレームレート６０Ｈｚのインターレースの映像（１０８０ｉ／６０ｉ）を圧縮符号化することにより生成される。マルチビュービデオストリームのベースビュービデオストリームは、黒などの単色映像（以下、「黒映像」という。）が低ビットレートで符号化されているフルＨＤのフレームレート６０Ｈｚのプログレッシブの映像（１０８０／６０ｐ）を圧縮符号化することにより生成される。マルチビュービデオストリームのディペンデントビュービデオストリームは、２Ｄ互換ビデオストリームと同じコンテンツの、フルＨＤであってフレームレート６０Ｈｚのプログレッシブの映像（１０８０／６０ｐ）を圧縮符号化することにより生成される。

　再生装置では、ベースビュービデオストリームの復号されたピクチャを、ＤＴＳにより示されるタイミングで、同一表示時刻（ＰＴＳ）の２Ｄ互換ビデオストリームの復号されたピクチャに置き換えることによって、同一表示時刻の２Ｄ互換ビデオストリームのピクチャを参照して各ディペンデントビュービデオストリームを復号できる。

　以上の構成により、インターレースの２Ｄ映像再生については、２Ｄ互換ビデオストリームを再生することで行うことができ、プログレッシブの２Ｄ映像再生については、ディペンデントビュービデオストリームを再生することで行うことができる。

　図１０３は、本変形例に係るデータ作成装置１０３０１の構成を示す図である。データ作成装置１０３０１は、基本的にデータ作成装置２６０１と同じ構成であるが、２Ｄ互換ビデオエンコーダ１０３０２、プログレッシブ化部１０３１１、及びディペンデントビュービデオエンコーダ１０３０９が異なっている。

　２Ｄ互換ビデオエンコーダ１０３０２は、６０Ｈｚのフレームレートのプログレッシブの原画映像をインターレース化して符号化することにより２Ｄ互換ビデオストリームを生成する。

　プログレッシブ化部１０３１１は、２Ｄ互換ビデオストリームを復号したインターレース映像をプログレッシブ映像に変換し、２Ｄ互換ビデオフレームメモリ２６０８に格納する。プログレッシブ化の方法は、一例として、上下に並ぶ走査線から、その間の走査線を補間する方式があるがこれに限らない。例えば、動きの少ない映像については、前のピクチャの同位置の走査線をそのまま用いることとしてもよい。また、映像における、動きの少ない部分では前のピクチャの同位置の走査線をそのまま用い、動きの大きい部分では上下に並ぶ走査線から、その間の走査線を補間するなど、シーン毎に選択できるようにしても良い。

　ディペンデントビュービデオエンコーダ１０３０９は、入力されるプログレッシブ映像をベースビュービデオ符号化情報に基づき圧縮符号化することによってディペンデントビュービデオストリームを生成する。この圧縮符号化において、ディペンデントビュービデオエンコーダ１０３０９は、プログレッシブ化部１０３１１により２Ｄ互換ビデオフレームメモリ２６０８に格納されたピクチャのうち、プログレッシブ映像における符号化対象のピクチャと同一表示時刻のピクチャをビュー間参照画像として用いる。

　図１０４は、本変形例に係る再生装置の構成を示す図である。

　再生装置１０４２３は、ディペンデントビュービデオストリームの復号映像をプログレッシブ映像として出力する。再生装置１０４２３は、基本的に再生装置２８２３と同じ構成であるが、プログレッシブ化部１０４２４が追加されている点が異なる。

　プログレッシブ化部１０４２４は、２Ｄ互換ビデオ圧縮映像デコーダ２８０５が復号したインターレースのピクチャをプログレッシブ化する。プログレッシブ化は、データ作成装置のプログレッシブ化部と同じ方法で行うものとする。例えば、上述のように、インターレースであるピクチャの上下に並ぶ２本の走査線を用いて、その間の走査線を補間する。各ディペンデントビュービデオストリームの復号処理においては、ビュー間参照バッファ２８１６に記憶されるピクチャのうち、復号対象のピクチャと同一表示時刻のピクチャを参照画像として復号処理を行う。

　なお、再生装置１０４２３のプログレッシブ化部１０４２４によるプログレッシブ化方法は、上述の方法に限るものではない。例えば、走査線の補間を行う場合に、上下に並ぶ走査線に関し、上下に並ぶピクセルからその間のピクセルを補間するのではなく、上下、斜めに並ぶピクセル等から補間するようにしてもよい。

　また、データ作成装置１０３０１のプログレッシブ化部１０３１１が複数の方法によりプログレッシブ化を行う機能を有している場合には、最適な方法を選択してプログレッシブ化を行い、どの方法を適用したかをディスクリプタの情報としてシステムパケットやビデオストリームの補足データなどに含めることとしてもよい。再生装置１０４２３においてプログレッシブ化部１０４２４は、ディスクリプタの情報に基づき、いずれのプログレッシブ化方法が用いられたかを判断して、そのプログレッシブ化方法を用いる。

　これにより、参照されるピクチャが最適なプログレッシブ化方法でプログレッシブ化され高画質化されるため、この高画質化されたピクチャをビュー間参照に用いて圧縮されるディペンデントビュービデオストリームについても高画質化することができる。

　また、同一表示時刻のピクチャだけでなく、表示時刻が前後に並ぶピクチャを用いて補間することとしてもよい。その場合、２Ｄ互換ビデオデコーダ内のＯ２８０６やＤＰＢ２８１８に格納されるピクチャを用いて補間することとなる。この場合、ディスクリプタのプログレッシブ化方法フィールドには、いずれのフレームを用いるかを示す情報を格納する。

　（２１）本実施の形態では、２Ｄ互換ビデオストリームとマルチビュービデオストリームとの間でビュー間参照を行っていたが、複数のマルチビュービデオストリーム間でビュー間参照を行うこととしてもよい。

　図１０５は、本変形例に係るストリーム構成を示す図である。符号化対象は、左目の原画映像１０５１１、右目の原画映像１０５１２、及び左目と右目の中央を視点とする真ん中の原画映像１０５１５である。

　マルチビュービデオストリーム１（１０５０１）は、ベースビュービデオストリーム１０５０２とディペンデントビューストリーム１０５０３とを含む。ベースビュービデオストリーム１０５０２は、左目の原画映像１０５１１が圧縮符号化されることにより生成され、ディペンデントビューストリーム１０５０３は、右目の原画映像１０５１２が圧縮符号化されることにより生成される。

　また、マルチビュービデオストリーム２（１０５０４）は、ベースビュービデオストリーム１０５０５とディペンデントビューストリーム１（１０５０６）とディペンデントビューストリーム２（１０５０７）とを含む。ベースビュービデオストリーム１０５０５は、黒色などの単色映像１０５１３を圧縮符号化することにより生成され、ベースビュービデオストリーム１０５０６は、黒色などの単色映像１０５１４が圧縮符号化されることにより生成される。ディペンデントビューストリーム１０５０７は、真ん中の原画映像１０５１５を符号化することにより生成される。ここで、真ん中の原画映像１０５１５の圧縮符号化は、左目の原画映像１０５１１に対応するベースビュービデオストリーム１０５０５の復号ピクチャと、右目の原画映像１０５１２に対応するディペンデントビューストリーム１（１０５０６）の復号ピクチャとを参照画像として行われる。

　マルチビュービデオストリーム２（１０５０４）の復号の際には、ＤＴＳで表されるタイミングで、マルチビュービデオストリーム２（１０５０４）のベースビュービデオストリーム（１０５０５）及びディペンデントビュービデオストリーム１（１０５０６）の復号ピクチャを、マルチビュービデオストリーム１（１０５０１）のベースビュービデオストリーム（１０５０２）及びディペンデントビュービデオストリーム１（１０５０３）の復号ピクチャに置き換える。そして、マルチビュービデオストリーム１（１０５０１）のベースビュービデオストリーム（１０５０５）とディペンデントビュービデオストリーム１（１０５０６）の復号ピクチャを参照して、マルチビュービデオストリーム２（１０５０４）のディペンデントビュービデオストリーム２（１０５０７）を復号する。

　なお、マルチビュービデオストリーム１とマルチビュービデオストリーム２のＶｉｅｗＩＤが異なってもよいよう構成するには、各マルチビュービデオストリーム間でのＶｉｅｗＩＤの対応関係を示す情報をシステムパケットや補足データなどに含めておけばよい。

　図１０６は、ストリーム同士の対応関係を示すマッチング情報の一例を示す図である。マッチング情報は、入れ換え元のストリームと入れ換え先のストリームとを特定する情報、及び、入れ換え元のマルチビュービデオの各ＶｉｅｗＩＤが入れ換え先のマルチビュービデオのいずれのＶｉｅｗＩＤに対応するかを示す情報から成る。

　再生装置は、マッチング情報により示されるマルチビュービデオストリーム相互のＶｉｅｗＩＤの対応関係を参照することにより、入れ換え元のストリームと入れ換え先のストリームとの対応関係を認識することができる。

　（２２）本実施の形態においては、図２１に示すように、ベースビュービデオストリームを低ビットレートで圧縮するため、黒画面などの単色映像を圧縮符号化することしたが、これはマルチビュービデオストリームのコーデックにおいて、異なるコーデックによるビュー間参照バッファ内のピクチャ入れ換え方法が定義されていないからである。例えば、異なるコーデックによるビュー間参照バッファ内のピクチャ入れ換え方法を定義し、映像の圧縮をスキップすることを指示する情報をＳｙｎｔａｘ要素に用意してもよい。その場合、置き換え対象となるピクチャが、どのピクチャに置き換えられるかを示す情報（入れ換えるピクチャのＰＩＤ、ＰＴＳ、ＤＴＳ、ＰＯＣなど）を格納しておいても良い。

　（２３）本実施の形態では、ベースビュービデオストリームは、黒画面等の単色映像を圧縮符号化することにより生成したが、これに限らず、２Ｄ互換ビデオストリームを高画質化するための差分映像（２Ｄ互換ビデオと左目原画映像との差分）を圧縮符号化することにより生成するとしてもよい。差分映像を使って２Ｄ互換ビデオストリームを高画質化し、ディペンデントビュービデオストリームの符号化の際に、高画質化したピクチャを参照することで、ディペンデントビュービデオストリームの映像も高画質化できる。

　図８６は、本変形例に係るビデオストリームの構成を示す図である。

　２Ｄ互換ビデオストリームは、左目の原画映像を圧縮符号化することにより生成される。

　マルチビュービデオストリームは、ベースビュービデオストリームとディペンデントビューストリームとを含み、ベースビュービデオストリームは、２Ｄ互換ビデオと左目の原画映像との差分を圧縮符号化して生成され、ディペンデントビューストリームは、右目の原画映像を圧縮符号化して生成される。

　図８９上段は、差分映像の作成手順の概略を示す。

　まず、原画映像８９０１を圧縮符号化することにより（８９１１）、２Ｄ互換ビデオストリーム（８９０３）を生成する。次に、２Ｄ互換ビデオストリーム（８９０３）を復号（８０１２）することにより、２Ｄ互換ビデオの復号ピクチャ（８９０２）を得る。そして、原画映像８９０１と２Ｄ互換ビデオの復号ピクチャ（８９０２）との差分値（差分映像）を算出し（８９１３）、算出した差分値に値１２８を加算する（８９１４）。ここで、単純に差分値を算出すると、符号付き情報（例：８ビットカラーの場合は、－１２８～＋１２８）となり、符号を表すためのビットが余分に必要となるため、＋１２８することにより正の数にして変換して差分映像化する。ここで、原画映像８９０１のピクチャと、２Ｄ互換ビデオの復号ピクチャ８９０２との差分は、ダイナミックレンジが小さく、大きい圧縮効果を得やすい。

　図８９下段は、図８９上段で説明した差分映像の合成手順の概略を示す。

　まず、２Ｄ互換ビデオストリーム８９０３を復号することにより、２Ｄ互換ビデオの復号ピクチャ８９０２を得る。そして、ベースビュービデオストリーム８９０５を復号することにより差分映像８９０４を得て、各ピクチャに－１２８を加算（８０３３）することにより符号付きに戻した情報をピクセル単位で合成する（８０３４）。

　このような構成とすることにより、差分映像を使って２Ｄ互換ビデオストリームを高画質化し、高画質化したピクチャを参照に用いることでディペンデントビュービデオストリームの映像も高画質化できることになる。

　以下、このデータ構成に係るデータ作成装置と再生装置について説明する。

　図８７は、データ作成装置の構成を示す図である。

　データ作成装置８７０１は、基本構造としては、データ作成装置２６０１と同じ構成であるが、ベースビュービデオエンコーダ８７０５およびディペンデントビュービデオエンコーダ８７０９が異なっており、また、高画質２Ｄ互換ビデオフレームメモリ８７１１が追加されている。

　ベースビュービデオエンコーダ８７０５は、マルチビュービデオストリームのビデオコーデック（例えば、ＭＰＥＧ－４　ＭＶＣ）において、ベースビュービデオストリームの圧縮符号化を行い、２Ｄ互換ビデオ符号化情報２６０６に従って、左目原画映像と２Ｄ互換ビデオストリームの復号ピクチャとの差分映像を圧縮符号化してベースビュービデオストリームを作成する。また、ベースビュービデオエンコーダ８７０５は、ベースビュービデオ符号化情報２６０７を出力し、２Ｄ互換ビデオストリームの復号ピクチャと差分映像との合成映像を高画質２Ｄ互換ビデオフレームメモリ８７１１に出力する。

　より具体的には、ベースビュービデオエンコーダ８７０５は、まず左目原画映像と２Ｄ互換ビデオストリームの復号ピクチャとの差分映像を生成する。差分映像の生成方法は、既に図８９上段で示している。そして、その差分映像を、２Ｄ互換ビデオ符号化情報２６０６を参照してベースビュービデオストリームの符号化方法を決定し圧縮符号化する。映像の圧縮符号化方法は、ベースビュービデオエンコーダ２６０５で説明した方法と同じである。ベースビュービデオエンコーダ８７０５は、圧縮符号化されたビデオストリームをベースビュービデオストリームとして出力し、また、ベースビュービデオストリームを復号した差分映像と、２Ｄ互換ビデオストリームの復号ピクチャを合成した映像を合成した映像を、高画質２Ｄ互換ビデオフレームメモリに出力する。合成方法は、図８９下段で説明した方法である。

　ディペンデントビュービデオエンコーダ８７０９は、マルチビュービデオストリームのビデオコーデック（例えば、ＭＰＥＧ－４　ＭＶＣ）において、ディペンデントビュービデオストリームの圧縮符号化機能を備え、ベースビュービデオ符号化情報２６０７に従って、右目原画映像を圧縮し、ディペンデントビュービデオストリームを出力する。
この圧縮処理においては、ディペンデントビュービデオエンコーダ２６０９は、高画質２Ｄ互換ビデオフレームメモリ８７１１に格納される高画質化された２Ｄ互換ビデオフレームメモリ内の復号ピクチャを、ビュー間参照に使って圧縮符号化する。圧縮符号化方法は、ディペンデントビュービデオエンコーダ２６０９の説明内容と同じである。

　図８８は、再生装置の構成を示す図である。

　再生装置８８２３は、基本構造としては、再生装置２８２３と同じ構成であるが、マルチビュービデオデコーダ２８１７がマルチビュービデオデコーダ８８１７に置き換わり、合成部８８２４が追加されている。

　ベースビュービデオエンコーダ８８１７は、ベースビュービデオストリームを復号するときに、復号したピクチャを合成部８８２４にも転送する。

　合成部８８２４は、ベースビュービデオストリームの復号ピクチャと、同一ＤＴＳ／ＰＴＳの２Ｄ互換ビデオストリームの復号ピクチャと合成処理を行う。合成処理の方法は、図８９で説明した通りである。

　合成して高画質化された２Ｄ互換ビデオストリームの復号ピクチャにより、ビュー間参照バッファ２８１６内の同一ＰＴＳを持つベースビュービデオストリームの復号ピクチャは置き換えられる。このように、ディペンデントビュービデオストリームの復号を行う際には、高画質化した２Ｄ互換ビデオストリームの復号ピクチャを参照して行われることで、ディペンデントビュービデオストリームの復号ピクチャも高画質化されることになる。

　（２４）上述の変形例（２３）は、さらに、以下のように、データ作成装置および再生装置の構成を簡略化してもよい。本変形例は、ディペンデントビュービデオストリームに関し、上述の変形例（２３）のように差分映像と合成処理されて高画質化した２Ｄ互換ビデオストリームの復号ピクチャを参照するのではなく、合成処理前の２Ｄ互換ビデオストリームの復号ピクチャを参照する。この場合、変形例（２３）のように、ディペンデントビューストリームの高画質化は図れないものの、処理は容易になる。

　図９７は、本変形例に係るデータ作成装置の構成を示す図である。

　データ作成装置９７０１は、基本構造としては、データ作成装置２６０１と同じ構成であるが、ベースビュービデオエンコーダ９７０５およびディペンデントビュービデオエンコーダ９７０９が異なっている。

　ベースビュービデオエンコーダ９７０５は、マルチビュービデオストリームのビデオコーデック（例えば、ＭＰＥＧ－４　ＭＶＣ）において、ベースビュービデオストリームの圧縮符号化機能を持ち、２Ｄ互換ビデオ符号化情報に従って、左目原画映像と２Ｄ互換ビデオストリームの復号ピクチャとの差分映像を圧縮符号化することによりベースビュービデオストリームを作成し、また、ベースビュービデオ符号化情報と、２Ｄ互換ビデオストリームの復号ピクチャとを出力する。

　より具体的には、ベースビュービデオエンコーダ９７０５は、まず左目原画映像と２Ｄ互換ビデオストリームの復号ピクチャとの差分映像を生成する。差分映像の生成方法は、図８９上段に示した方法である。そして、２Ｄ互換ビデオ符号化情報２６０６を元にベースビュービデオストリームの符号化方法を決定して、その差分映像を圧縮符号化する。映像の圧縮符号化方法は、ベースビュービデオエンコーダ２６０５で説明した方法と同じである。ベースビュービデオエンコーダ８７０５は、圧縮符号化されたビデオストリームをベースビュービデオストリームとして出力する。

　ディペンデントビュービデオエンコーダ９７０９は、マルチビュービデオストリームのビデオコーデック（例えば、ＭＰＥＧ－４　ＭＶＣ）において、ディペンデントビュービデオストリームの圧縮符号化機能を備え、ベースビュービデオ符号化情報２６０７に従って、右目原画映像を圧縮し、ディペンデントビュービデオストリームを出力する。この圧縮処理においては、ディペンデントビュービデオエンコーダ９７０９は、２Ｄ互換ビデオの復号ピクチャを、ビュー間参照に使って圧縮符号化を行う。圧縮符号化方法は、ディペンデントビュービデオエンコーダ２６０９の説明内容と同じである。

　図９８は、本変形例に係る再生装置の構成を示す図である。

　再生装置９８２３は、基本構造としては、再生装置２８２３と同じ構成であるが、合成部９８２４が追加されている。

　合成部９８２４は、ＰＴＳタイミングで、第２プレーン２８２０に出力されるベースビュービデオストリームの復号ピクチャと、第１プレーン２８０８に出力される同一ＤＴＳ／ＰＴＳの２Ｄ互換ビデオストリームの復号ピクチャとの合成処理を行い、この合成処理によって高画質化された２Ｄ互換ビデオを出力する。

　（２５）実施の形態１では、ディペンデントビュービデオストリームに右目画像を格納することとしていたが、これに限らず、デプスマップ映像を格納することとしてもよい。この構成により、デプスマップを使って３Ｄ映像の再生ができる。

　図９２は、本変形例に係るビデオストリームの構成を示す図である。

　ディペンデントビュービデオストリームに、デプスマップ映像を格納する。

　また、ベースビュービデオストリームにデプスマップ映像を圧縮符号化することとしてもよい。

　図９３は、本変形例に係るベースビュービデオストリームにデプスマップ映像を圧縮符号化する場合のビデオストリームの構成を示す図である。

　これにより、デプスマップ映像を使って３Ｄ映像再生を実現する再生装置においては、デプスマップ映像のみをデコードするように構成し、一方で、左目映像と右目映像を使って３Ｄ映像再生を実現する再生装置においては、実施の形態１で記した映像再生を実現するように構成でき、両再生装置の３Ｄ映像再生を１つのデータストリームでサポートできる。

　（２６）なお、実施の形態１の変形例として、図９４に示すように、差分映像をディペンデントビュービデオストリームに格納しても良い。このように構成して、本実施の形態１で説明したように各ビデオストリームの復号を行い、復号した差分映像と２Ｄ互換ビデオストリームの復号ピクチャを合成処理することで、高画質な２Ｄ映像再生を実現することができる。
＜１－５．補足説明＞
　＜映像圧縮技術の説明＞
　　＜２Ｄ映像圧縮技術＞
　本実施の形態に係るデータ作成装置及び再生装置で使用する２Ｄ映像を圧縮符号化する規格であるＭＰＥＧ－２、及びＭＰＥＧ－４　ＡＶＣ（ＭＰＥＧ－４　ＭＶＣ形式のベースとなる圧縮符号化方式）の符号化方法について簡単に説明する。

　これらの圧縮符号化においては、動画像の空間方向及び時間方向の冗長性を利用してデータ量の圧縮符号化を行う。

　冗長性を利用して圧縮符号化する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分を圧縮符号化する。

　図１はビデオストリームのピクチャ間の参照関係を示している。図１では、ピクチャＰ３はピクチャＩ０を参照して圧縮符号化され、ピクチャＢ１とピクチャＢ２はそれぞれピクチャＩ０とピクチャＰ３を参照して圧縮符号化されている。このように時間的な冗長性を利用することで、圧縮率の高い圧縮符号化を実現できる。

　　＜３Ｄ映像圧縮技術＞
　次に、視差画像を用いて３Ｄ映像としてディスプレイ等で再生する方法、マルチビュー符号化方式であるＭＰＥＧ－４　ＭＶＣ形式の圧縮符号化について簡単に説明する。

　視差画像を使った立体視の方式では、右目用画像（Ｒ画像）と、左目用画像（Ｌ画像）とを各々用意し、ユーザに対してそれぞれの目に対応した画像だけが、それぞれの目に映るように制御した表示を行うことで立体視を実現する。

　右目用画像で構成される動画像をレフトビュービデオといい、左目用画像で構成される動画像をライトビュービデオという。

　図１３は、立体視画像の表示の一例を示す図である。対象物たる恐竜の骨格の左目用画像と、対象物たる恐竜の骨格の右目用画像を表示した例を示している。３Ｄ眼鏡を用いて、右目及び左目の透光、遮光から繰り返されれば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。

　レフトビュービデオとライトビュービデオを圧縮符号化する３Ｄの映像方式には、フレーム互換方式とマルチビュー符号化方式がある。

　フレーム互換方式は、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、圧縮符号化を行う方式である。一例として、図１４に示すような、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式がある。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ方式では、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ水平方向に１／２に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像を、２Ｄ映像の圧縮符号化方式（例えばＭＰＥＧ－２）によって圧縮符号化することによってビデオストリームを生成する。一方、再生時は、ビデオストリームを、ビデオストリーム生成と同じ圧縮符号化方式に基づいて復号する。復号された各ピクチャは、左右画像に分割されて、分割した画像それぞれを水平方向に２倍に伸長して、レフトビュービデオとライトビュービデオとのそれぞれ対応するピクチャを得る。得たレフトビュービデオのピクチャ（Ｌ画像）とライトビュービデオのピクチャ（Ｒ画像）を交互に表示することによって、図１３に示すような立体視画像を得ることができる。

　これに対してマルチビュー符号化方式は、レフトビュービデオとライトビュービデオのピクチャを１つのピクチャには合成せずに、それぞれ別々のピクチャのまま圧縮符号化する方式である。

　図２は、マルチビュー符号化方式であるＭＰＥＧ－４　ＭＶＣ形式による符号化方式を示す図である。

　ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームは、従来のＭＰＥＧ－４　ＡＶＣ形式のビデオストリームを再生する再生装置において再生可能なベースビュービデオストリームと、ベースビュービデオストリームと同時に処理することで別視点の映像の再生を実現するディペンデントビュービデオストリームを含む構成である。

　ベースビュービデオストリームは、図２のベースビュービデオストリームに示すように、別視点の映像を参照せず同一視点の映像との冗長性のみを利用してピクチャ間予測符号化を用いて圧縮符号化される。

　一方、ディペンデントビュービデオストリームは、同一視点の映像の参照を利用したピクチャ間予測符号化に加えて、別視点の映像との冗長性を利用したピクチャ間予測符号化によって圧縮符号化される。

　ディペンデントビュービデオストリームのピクチャは、ベースビュービデオストリーム内の同時刻のビューを示すピクチャを参照して圧縮符号化される。

　図２の矢印は参照関係を示しており、ディペンデントビュービデオストリームの先頭のＰピクチャであるピクチャＰ０は、ベースビュービデオストリームのＩピクチャであるピクチャＩ０を参照する。ディペンデントビュービデオストリームのＢピクチャであるピクチャＢ１は、ベースビュービデオストリームのＢｒピクチャであるピクチャＢｒ１を参照する。ディペンデントビュービデオストリームの二つ目のＰピクチャであるピクチャＰ３は、ベースビュービデオストリームのＰピクチャであるピクチャＰ３を参照することを示す。

　ベースビュービデオストリームは、ディペンデントビュービデオストリームのピクチャを参照していないため、このビデオストリームだけで復号し、再生することができる。

　一方、ディペンデントビュービデオストリームは、ベースビュービデオストリームを参照しながら復号するため、このビデオストリーム単独では再生することはできない。ただし、ディペンデントビューストリームは、同一時刻のビューを示す別視点のベースビューのピクチャを用いて、ピクチャ間予測符号化を行う。一般的に同一時刻の右目用画像と左目用画像とは類似性があり（相関性が大きい）、その差分を圧縮符号化するのでディペンデントビュービデオストリームはベースビュービデオストリームに比べてデータ量を大幅に削減できる。

　＜ストリームデータの説明＞
　デジタルテレビの放送波等での伝送では、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームが使われている。

　ＭＰＥＧ－２トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ＩＳＯ／ＩＥＣ１３８１８－１及びＩＴＵ－Ｔ勧告Ｈ２２２．０において標準化されている。

　図６は、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームの構成を示す図である。

　本図に示すようにトランスポートストリーム５１３は、ビデオのＴＳ（Ｔａｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）パケット５０３、オーディオのＴＳパケット５０６、字幕ストリームのＴＳパケット５０９などを多重化して得られる。ビデオのＴＳパケット５０３は番組の主映像を、オーディオのＴＳパケット５０６は番組の主音声部分や副音声を、字幕ストリームのＴＳパケット５０９は番組の字幕情報を格納している。

　ビデオフレーム列５０１は、ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣなどの映像の符号化方式を使って圧縮符号化される。オーディオのフレーム列５０４は、ドルビーＡＣ－３、ＭＰＥＧ－２　ＡＡＣ、ＭＰＥＧ－４　ＡＡＣ、ＨＥ－ＡＡＣなどの音声の符号化方式で圧縮符号化される。

　トランスポートストリームに含まれる各ストリームはＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することで再生装置は、処理対象のストリームを抽出することができる。ＰＩＤとストリームの対応関係の情報は、以降で説明するＰＭＴパケットのディスクリプタに格納される。

　トランスポートストリームを生成するために、まず、複数のビデオフレームからなるビデオストリーム５０１、複数のオーディオフレームからなるオーディオストリーム５０４を、それぞれＰＥＳパケット列５０２及び５０５に変換する。次にＰＥＳパケット列５０２及び５０５を、それぞれＴＳパケット５０３及び５０６に変換する。同様に字幕ストリーム５０７のデータをそれぞれＰＥＳパケット列５０８に変換し、更にＴＳパケット５０９に変換する。ＭＰＥＧ－２トランスポートストリーム５１３はこれらのＴＳパケットを１本のストリームに多重化することで構成される。ＰＥＳパケット、ＴＳパケットについては後述する。

　＜ビデオストリームのデータ構成＞
　次に、映像を上述の符号化方式で圧縮符号化して得られるビデオストリームのデータ構成について説明する。

　ビデオストリームは、図７に示すような階層構造のデータである。ビデオストリームは、複数のＧＯＰから構成されており、これを圧縮符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となる。

　ＧＯＰは１つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの圧縮符号化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニットは、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャ、パディングデータ、シーケンス終端コード、及びストリーム終端コードを含む構成である。各データはＭＰＥＧ－４　ＡＶＣの場合は、ＮＡＬユニットと呼ばれる単位で格納される。

　ＡＵ識別コードはアクセスユニットの先頭を示す開始符号である。

　シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。

　ピクチャヘッダはピクチャ全体の符号化の方式などの情報を格納したヘッダである。

　補足データは圧縮ピクチャの復号には必須ではない付加情報であり、例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。

　圧縮ピクチャには、圧縮符号化されたピクチャのデータが格納される。

　パディングデータは、形式を整えるためのデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。

　シーケンス終端コードは、再生シーケンスの終端を示すデータである。

　ストリーム終端コードは、ビットストリームの終端を示すデータである。

　ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャ、パディングデータ、シーケンス終端コード、ストリーム終端コードのデータ構成は、ビデオの符号化方式によって異なる。

　ＭＰＥＧ－４　ＡＶＣの場合、ＡＵ識別コードは、ＡＵデリミタ（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｄｅｌｉｍｉｔｅｒ）、シーケンスヘッダはＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｔｅｒ　Ｓｅｔ）に、ピクチャヘッダはＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）に、圧縮ピクチャは複数個のスライス、補足データはＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）、パディングデータはＦｉｌｌｅｒＤａｔａ、シーケンス終端コードはＥｎｄ　ｏｆ　Ｓｅｑｕｅｎｃｅ、ストリーム終端コードはＥｎｄ　ｏｆ　Ｓｔｒｅａｍに対応する。

　そして、ＭＰＥＧ－２形式の場合であれば、シーケンスヘッダはｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに、ピクチャヘッダはｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ、圧縮ピクチャは複数個のスライス、補足データはｕｓｅｒ＿ｄａｔａ、シーケンス終端コードはｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。

　各属性情報のデータは常に必要ではなく、例えば、シーケンスヘッダはＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットには付加せずに符号化することができる。また、ピクチャヘッダは符号順で前のビデオアクセスユニットのものを参照するようにして、自身のビデオアクセスユニット内にはピクチャヘッダを省略することもできる。

　また、図１６に示すようにＧＯＰ先頭のビデオアクセスユニットには、圧縮ピクチャとしてＩピクチャのデータが格納され、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは必要に応じて適宜格納される。一方、ＧＯＰ先頭以外のビデオアクセスユニットには、ＡＵ識別コード、圧縮ピクチャが必ず格納され、補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードを必要に応じて適宜格納される。

　図１０は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを示す図である。

　図１０の第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。

　図１０中のｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ　Ｐｒｅｓｅｎｔａｔｉｏｎ　ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。

　各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳやピクチャのデコード時刻であるＤＴＳが格納される。

　図１１は、トランスポートストリームを構成するＴＳパケットのデータ構造を示す図である。

　ＴＳパケットは、４ＢｙｔｅのＴＳヘッダと、アダプテーションフィールドとＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットである。ＴＳヘッダは、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ、ＰＩＤ、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌを含む構成である。ＰＩＤは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのＩＤである。

　ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙは、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。

　ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌは、アダプテーションフィールドとＴＳペイロードの構成を制御するための情報である。アダプテーションフィールドとＴＳペイロードはどちらかだけが存在する場合と両方が存在する場合があり、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌはその有無を示す情報である。

　ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「１」の場合は、ＴＳペイロードのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「２」の場合は、アダプテーションフィールドのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「３」の場合は、ＴＳペイロードとアダプテーションフィールドの両方が存在することを示す。

　アダプテーションフィールドは、ＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）などの情報の格納や、ＴＳパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロードにはＰＥＳパケットが分割されて格納される。

　トランスポートストリームに含まれるＴＳパケットの種別には、映像・音声・字幕などの各ストリームのパケット以外にもＰＡＴ（Ｐｒｏｇｒａｍ　Ａｓｓｏｃｉａｔｉｏｎ　Ｔａｂｌｅ）、ＰＭＴ、ＰＣＲなどのパケットがある。これらのパケットはＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。

　ＰＡＴはトランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは「０」である。

　図１２はＰＭＴのデータ構造を示す図である。

　ＰＭＴは、ＰＭＴヘッダ、トランスポートストリームに関する各種ディスクリプタ、及びトランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームに関するストリーム情報とを備える。

　ＰＭＴヘッダには、ＰＭＴに含まれるデータの長さなどの情報が記録される。

　トランスポートストリームに関するディスクリプタには、例えば、映像・音声などの各ストリームのコピーを許可・不許可を指示するコピーコントロール情報などが記録される。

　各ストリームに関するストリーム情報は、ストリームの圧縮符号化方式などを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（例えば、フレームレート、アスペクト比）が記載されたストリームディスクリプタを含む構成である。

　ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ、ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）との同期を取るために、そのＰＣＲパケットがデコーダに転送される時刻に対応するＳＴＣ時間の情報を持つ。

　ところで、ＭＰＥＧ－２形式、ＭＰＥＧ－４　ＭＶＣ形式の符号化方式では、圧縮符号化されたフレームの領域のうち、実際に表示する領域を変更することができる。

　このため、ＭＰＥＧ－２形式のビデオストリームのピクチャをビュー間参照によって参照しながらＭＰＥＧ－４　ＭＶＣ形式のディペンデントビュービデオストリームのピクチャを復号する際には、同時刻のビューにおいてクロッピング範囲やスケーリングが同じ範囲やスケーリングを示す値になるように、属性情報を調整する必要がある。

　クロッピング領域情報とスケーリング情報について図８を参照しながら説明する。

　図８のように、圧縮符号化されたフレーム領域の中から実際に表示する領域を、クロッピング領域として指定することができる。例えば、ＭＰＥＧ－４　ＡＶＣの場合には、ＳＰＳに格納されるｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報を使って指定する。ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報は、図９の左方の図ように、クロッピンング領域の上線、下線、左線、右線と、圧縮符号化されたフレーム領域の上線、下線、左線、右線とのそれぞれの差分を、上下左右のクロップ量として指定する。具体的には、クロッピング領域を指定する場合には、ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇに「１」を設定し、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔにそれぞれ上、下、左、右のクロップ量を指定する。

　ＭＰＥＧ－２形式の場合には、図９の右図のように、クロッピング領域の縦横のサイズ（ｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｄｉｓｐｌａｙ＿ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ，ｄｉｓｐｌａｙ＿ｖｅｒｔｉｃａｌ＿ｓｉｚｅ）と、圧縮符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報（ｐｉｃｔｕｒｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ）を使ってクロッピング領域を指定する。また、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報としてアスペクト比が設定される。再生装置は、アスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。ＭＰＥＧ－４　ＡＶＣの場合には、このスケーリング情報として、ＳＰＳにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ）が格納される。例えば、１４４０ｘ１０８０のクロッピング領域を、１９２０ｘ１０８０に拡大して表示するためには、アスペクト比を４：３と指定する。この場合水平方向に４／３倍にアップコンバート（１４４０ｘ４／３＝１９２０）され、１９２０ｘ１０８０のサイズに拡大されて表示される。

　ＭＰＥＧ－２形式の場合にも同様にｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒというアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ）を格納する属性情報があり、この属性情報の値を適宜設定することによって上記と同様の処理が実現できる。

　＜ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームのデータ構成＞
　次に、ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームについて説明する。

　図１５は、ＭＰＥＧ－４　ＭＶＣ形式のビデオストリームの内部構成の一例を示す図である。

　同図において、ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮符号化されている。ライトビュービデオストリームのピクチャＰ１、Ｐ２は、それぞれレフトビュービデオストリームのピクチャＩ１、Ｐ２を参照し、ライトビュービデオストリームのピクチャＢ３、Ｂ４、Ｂ６、Ｂ７はそれぞれ、レフトビュービデオストリームのピクチャＢｒ３、Ｂｒ４、Ｂｒ６、Ｂｒ７を参照しながら圧縮符号化されている。

　同図の第２段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームには、ピクチャＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９が含まれている。これらのピクチャは、ＤＴＳに設定された時刻順に復号されたピクチャである。

　第１段目は、ディスプレイ等に表示される左目用画像を示す。左目用画像は、第２段目の復号されたピクチャＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９をＰＴＳに設定された時刻順、すなわち、Ｉ１、Ｂｒ３、Ｂｒ４、Ｐ２、Ｂｒ６、Ｂｒ７、Ｐ５の順に表示される。

　第４段目は、ライトビュービデオストリームの内部構成を示す。このライトビュービデオストリームには、ピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８が含まれている。これらのピクチャは、ＤＴＳに設定された時刻順に復号されたピクチャである。

　第３段目は、ディスプレイ等に表示される右目用画像を示す。右目用画像は、第４段目の復号されたピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８をＰＴＳに設定された時刻順、すなわち、Ｐ１、Ｂ３、Ｂ４、Ｐ２、Ｂ６、Ｂ７、Ｐ５の順に表示される。ただし、ＰＴＳに同じ値が付された左目用画像と右目用画像のうちどちらか一方の表示を、次のＰＴＳの時間までの間隔の半分の時間分だけ遅延させて行う。

　第５段目は、３Ｄ眼鏡２００の状態をどのように変化させるかを示す。この第５段目に示すように、左目用画像の視聴時は、右目のシャッターを閉じ、右目用画像の視聴時は、左目のシャッターを閉じる。

次に、ベースビュービデオストリームとディペンデントビュービデオストリームのアクセスユニットの関係について説明する。

　図１７はベースビュービデオストリームの各ピクチャとディペンデントビュービデオストリームの各ピクチャのビデオアクセスユニットの構成を示している。前述したとおり、図１７上段のように、ベースビュービデオストリームは、各ピクチャが１つのビデオアクセスユニットとして構成される。

　図１７下段のように、ディペンデントビュービデオストリームも同様に、各ピクチャが１つのビデオアクセスユニットを構成するが、ベースビュービデオストリームのビデオアクセスユニットとはデータ構造が異なる。

　ベースビュービデオストリームのビデオアクセスユニットと、ＰＴＳの値が同じディペンデントビュービデオストリームのビデオアクセスユニットとによって、３Ｄビデオアクセスユニット１７０１を構成する。再生装置は、この３Ｄビデオアクセスユニット単位で復号を行う。

　図１８はビデオストリーム中におけるベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳとの関係の例を示している。

　同時刻のビューを示す視差画像を格納するベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとは、ＤＴＳ及びＰＴＳが同じ値を持つように設定される。

　このように構成することで、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャを復号する再生装置は、３Ｄビデオアクセスユニット単位で復号して表示を行うことができる。

　図１９はベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。

　ベースビュービデオストリームのＧＯＰ構造は、従来のビデオストリームの構成と同じであり、複数のビデオアクセスユニットで構成される。

　また、ディペンデントビュービデオストリームは、複数のディペンデントＧＯＰから構成される。

　ディペンデントＧＯＰの先頭ピクチャは、３Ｄ映像を再生する際に、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャとペアで表示されるピクチャであり、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャのＰＴＳと同じ値のＰＴＳが付与されたピクチャである。

　図２０は、ディペンデントＧＯＰに含まれるビデオアクセスユニットのデータ構成を示す。

　図２０に示すようにディペンデントＧＯＰ先頭のビデオアクセスユニットは、圧縮ピクチャとして、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャと同時刻に表示されるピクチャのデータが格納され、サブＡＵ識別コード、サブシーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。

　サブＡＵ識別コードは、アクセスユニットの先頭を示す開始符号である。

　サブシーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。サブシーケンスヘッダのフレームレート、解像度、アスペクト比の値は、対応するベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットに含まれるシーケンスヘッダのフレームレート、解像度、アスペクト比と同じである。

　ＧＯＰ先頭以外のビデオアクセスユニットは、サブＡＵ識別コード、圧縮ピクチャが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。
＜２．実施の形態２＞
＜２－１．概要＞
　実施の形態１では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、従来の２Ｄ映像に再生互換性を持たせながら、３Ｄ映像のマルチビュービデオストリームを低ビットレートで構成した。本実施の形態では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、従来の２Ｄ映像に再生互換性を持たせながら、従来の２Ｄ映像を高品位化の一例として高画質化した映像を、低ビットレートに構成したマルチビュービデオストリームで送信する。ここで「高画質」とは、より原画映像に近い画質、一例としては、ビデオ圧縮時に発生し得るブロックノイズなどの圧縮ひずみが少ない画質をいう。本実施の形態では、高画質化した映像の一例として、高いビットレートで符号化された映像を用いる。映像に係る画質は、符号化のビットレートに左右され、ビットレートが高いほど原画に近い高画質な映像を符号化でき、ビットレートが低くなると、動きの激しいシーンなどで圧縮、符号化しきれずにブロックノイズが混入する場合があるためである。

　本実施の形態に係るデータ構造、データ作成装置、データ作成方法、再生装置、再生方法の基本構造については、実施の形態１と同じであるので、実施の形態１との差分を中心に説明する。本実施の形態で用いる用語は、特段の説明をした場合を除き、実施の形態１の用語と同じとする。以下、本実施の形態の詳細について、具体的に説明する。
＜２－２．使用データ＞
　まず、本実施の形態に係る、高画質映像を符号化するためのデータ構造について説明する。
＜２－２－１．トランスポートストリーム＞
　図４８は、本実施の形態に係るトランスポートストリームに含まれるデータについて説明するための図である。

　本実施の形態におけるトランスポートストリームは、２Ｄ互換ビデオストリーム、マルチビュービデオストリームのベースビュービデオストリームとディペンデントビュービデオストリームが、それぞれＰＥＳパケット化され、ＴＳパケットに分割され、多重化されてなる。

　２Ｄ互換ビデオストリームは、図７等を用いて説明したような、２Ｄ映像の再生装置が、２Ｄ映像として再生できるフォーマットで構成されたビデオストリームである。本実施の形態では、２Ｄ互換ビデオストリームは、ＭＰＥＧ－２ビデオのコーデックで符号化されたビデオストリームである。マルチビュービデオストリームは、前述したとおりビュー間参照を実現するコーデックで符号化されたビデオストリームであり、ここではＭＰＥＧ－４　ＭＶＣビデオのコーデックで高画質の原画映像が圧縮符号化されたものである。

　ここで、図４８の右側には、各ビデオストリームがどのビデオソースを圧縮符号化されたものかを示している。

　２Ｄ互換ビデオストリームは、通常画質の原画映像が圧縮符号化されることにより生成される。

　ベースビュービデオストリームには、黒映像が、ＭＰＥＧ－４　ＭＶＣビデオのコーデックに従って低ビットレートで圧縮符号化されることにより生成される。ディペンデントビュービデオストリームには、高画質の原画映像が圧縮符号化されることにより生成される。ここで、ディペンデントビュービデオストリームは、ビュー間参照を使って圧縮される。ビュー間参照として参照されるピクチャは、ベースビュービデオストリームの同一表示時刻（ＰＴＳが同じ）のピクチャではなく、２Ｄ互換ビデオストリームの同一表示時刻（ＰＴＳが同じ）の復号ピクチャである。すなわち、ディペンデントビュービデオストリームは、原画映像がＭＰＥＧ－２ビデオコーデックよりも高画質に圧縮符号化された映像と、ＭＰＥＧ－２ビデオコーデックに従って圧縮符号化された映像との差分映像を圧縮符号化することにより生成される。デコード側では、ベースビュービデオストリームのデコード済みピクチャ（黒画像）を、同一表示時刻の２Ｄ互換ビデオストリームのデコード済みピクチャ（ＭＰＥＧ－２ビデオの復元画像）で置き換えて、置き換え後のピクチャ（ＭＰＥＧ－２ビデオの復号画像）を参照して、ディペンデントビュービデオストリームの同一表示時刻のピクチャ（高画質画像）が復号されることになる。

　上記の構成によれば、ベースビュービデオストリームは、黒画像を圧縮符号化したものとなり、ディペンデントビュービデオストリームは、「２Ｄ互換ビデオストリームの復号ピクチャ」と「高画質映像のピクチャ」との差分のみが圧縮されたものとなるので、従来の２Ｄ映像を高画質化した映像を、低ビットレートに構成することができる。

　ここで、ディペンデントビュービデオストリームのピクチャが、２Ｄ互換ビデオストリームのピクチャを参照するよう構成するために、ビデオストリームについての「解像度」「アスペクト比」「フレームレート」「プログレッシブかインターレースか」などの属性値は、２Ｄ互換ビデオストリームとマルチビュービデオストリームとの間で同じになるよう構成する。この属性値については、既に図２２を用いて説明済みである。
＜２－２－２．ＰＭＴパケット＞
　図５０は、トランスポートストリームに含まれるＰＭＴパケットについて説明するための図である。高画質映像を伝送するためのトランスポートストリームにおいては、ＰＭＴパケットなどのシステムパケット中に、高画質映像のデコード処理を行う上でのシグナリング情報が含まれる。シグナリング情報には、各ビデオストリーム相互の関係や高画質映像再生の開始、終了などのシグナリングを行うための高画質情報ディスクリプタと、ビデオストリーム毎に設定される高画質ストリームディスクリプタとが含まれる。
（１）高画質化情報ディスクリプタ
　図５１は、高画質化情報ディスクリプタの構造を示す図である。

　高画質化情報ディスクリプタは、高画質再生方式、２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、及びディペンデントビュービデオＰＩＤを含んで構成される。

　高画質再生方式は、高画質再生装置の再生方式をシグナリングするための情報である。高画質再生方式が０の場合は、２Ｄ互換ビデオによる２Ｄ映像再生を示し、１の場合は、２Ｄ互換ビデオとディペンデントビュービデオによる高画質映像再生（つまり、本実施の形態で説明する高画質映像格納方式であること）を示し、２の場合は、ベースビュービデオストリームとディペンデントビュービデオによる高画質映像再生であることを示し、３の場合は、ベースビュービデオによる高画質映像再生であることを示す。

　以下、再生方式のシグナリングの具体例について、図５２を用いて説明する。

　受信した高画質再生方式の値が０の場合、再生装置は、２Ｄ互換ビデオストリームのみを２Ｄ映像再生する。値が１の場合は、２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームを本実施の形態で説明する再生方式で高画質映像再生を行う。値が２の場合は、２Ｄ互換ビデオストリームと、高画質映像を構成するマルチビュービデオストリームとは、異なる映像を圧縮符号化して生成するため参照関係にない。また、ベースビュービデオストリームとディペンデントビュービデオストリームは通常のマルチビューコーデックで圧縮されたビデオストリームである。よって、再生装置は、そのマルチビュービデオストリームを高画質映像再生する。値が３の場合は、再生装置は、ベースビュービデオストリームを高画質映像再生する。

　２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、ディペンデントビュービデオＰＩＤは、トランスポートビデオストリーム内に格納される各ビデオストリームのＰＩＤを示す。再生装置は、これらの情報を使って、どのＰＩＤのストリームをデコードをするべきかを決定できる。
（２）高画質化ストリームディスクリプタ
　図５３は、高画質化ストリームディスクリプタの構造を示す図である。

　高画質化ストリームディスクリプタは、ベースビュービデオタイプ、参照先タイプ、被参照タイプを含んで構成される。

　ベースビュービデオタイプは、ベースビュービデオストリームに何の映像が符号化されているかを示す。値が０の場合は、高画質映像のベースとなる映像が圧縮符号化されていることを示し、値が１の場合は、黒映像などの付属映像が含まれ２Ｄ互換ビデオストリームによって置き換えられプレーンへの出力には利用されないダミー映像が圧縮符号化されていることを示す。

　参照先タイプは、ディペンデントビュービデオストリームがビュー間参照の参照先としているビデオストリームのタイプを示す。値が０の場合は、ベースビュービデオストリームのピクチャをビュー間参照としていることを示し、値が１の場合は、２Ｄ互換ビデオストリームのピクチャをビュー間参照していることを示す。

　被参照タイプは、該当ビデオストリームがビュー間参照されるか否かを示す。参照されないのであれば、ビュー間参照の処理をスキップすることができるため、その分実装を簡易にできる。

　なお、高画質化情報ディスクリプタと高画質化ストリームディスクリプタの情報の全て又は一部は、ＰＭＴパケットではなく、各ビデオストリームの補足データ等に記録してもよい。
＜２－２－３．ＰＴＳ、ＤＴＳ及びＧＯＰ＞
　トランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てる表示時刻（ＰＴＳ）、デコード時刻（ＤＴＳ）およびピクチャタイプの関係は、実施の形態１の２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームにおける関係と同じである。

　また、２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成も、実施の形態１の２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームにおけるＧＯＰ構成と同じである。

　なお、図２３～図２５を参照して行った説明及びそれに関する補足説明は、本実施の形態にも適用される。
＜２－２－４．ストリームの使用形態＞
　上述のストリームの使用形態について、図４９を用いて説明する。

　図４９において、通常再生装置は、従来の２Ｄ互換ビデオストリームのみ再生ができる装置である。通常再生装置は、ビットレートが１０Ｍｂｐｓまでのストリームを再生可能とする。通常再生装置は、すでに市場に広まっており、放送波等で配信されるストリームを再生することを想定している。一方、高画質再生装置は、本実施の形態に係る再生装置であり、２Ｄ互換ビデオストリームだけでなく、マルチビュービデオストリームの復号機能を備える。これら２種の再生装置が混在する場合において、図４８で説明した構成のトランスポートストリームが放送されるものとする。

　通常再生装置は、トランスポートストリーム中の２Ｄ互換ビデオストリームを復号して通常の２Ｄ映像の再生を行う。一方、高画質再生装置は、トランスポートストリーム中の２Ｄ互換ビデオストリームとマルチビュービデオストリームの両方を復号する。高画質再生装置は、このマルチビュービデオストリームにおけるディペンデントビュービデオストリームの復号過程において、ベースビュービデオストリームの復号ピクチャを、同一表示時刻の２Ｄ互換ビデオストリームの復号ピクチャで置き換える。そして、置き換え後のピクチャである同一表示時刻の２Ｄ互換ビデオストリームの復号ピクチャを参照して、ディペンデントビュービデオストリームのピクチャを復号する。ディペンデントビュービデオストリームを復号したピクチャは、２Ｄ互換ビデオストリームのピクチャに、高画質映像のピクチャと２Ｄ互換ビデオストリームのピクチャとの差分が加えられたもの、すなわち、高画質映像のピクチャとなる。よって、ディペンデントビュービデオストリームを出力すれば、２Ｄ互換ビデオストリームのデコード結果に比べて、高画質な映像を再生することが可能となる。

　ベースビュービデオストリームは、ディペンデントビュービデオストリームの復号の際に、ＰＴＳなどストリームに含まれる情報については参照されるが、ピクチャ自体は参照されないので、黒画像で構成する映像など圧縮率の高い映像を圧縮符号化しておくことで、ビットレートは大幅に低減することができる。

　以上のように、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することで、市場に広まっている通常再生装置との再生互換性を崩すことなく、映像の高画質化を実現するための拡張ビデオストリームを低ビットレート（図４９の例では５Ｍｂｐｓ）で構成し、放送し、また再生装置側で復号し、再生することができる。
＜２－３．データ作成装置＞
　以下、本実施の形態に係るデータ作成装置について説明する。
＜２－３－１．構成＞
　図５４は、本実施の形態に係る映像符号化装置としてのデータ作成装置５４０１の構成を示す図である。

　データ作成装置５４０１は、図２６で示した実施の形態１のデータ作成装置２６０１と基本的に同じ構成を持つ。但し、入力されるデータが異なるため、図５４では、図２６の「左目原画」が２Ｄの「原画映像」に置き換わり、「右目原画」が、同じ２Ｄの「原画映像」に置き換わっている。以降の説明は、実施の形態１のデータ作成装置２６０１との差分を中心に行う。

　データ作成装置５４０１は、データ作成装置２６０１とは、拡張マルチビュービデオエンコーダ５４０４におけるディペンデントビュービデオエンコーダ５４０９の構成が異なる。

　ディペンデントビュービデオエンコーダ５４０９は、３Ｄ映像を構成する片方の映像（左目もしくは右目原画映像）ではなく、高品位な原画映像を入力としてエンコードを行う。圧縮符号化処理において、ディペンデントビュービデオエンコーダ５４０９は、２Ｄ互換ビデオフレームメモリ２６０８内の復号ピクチャ（２Ｄ互換ビデオストリームが復号されたピクチャ）をビュー間参照に使って圧縮処理を行っている。
＜２－３－２．動作＞
　図５５は、上述のように構成したデータ作成装置５４０１によるデータ作成処理を示すフローチャートである。

　図５５に示すデータ作成フローは、実施の形態１で図２７を用いて説明したデータ作成装置２６０１のデータ作成フローとおおよそ同じである。ただし、データ作成装置５４０１が２Ｄ映像の高画質化を行うものであることから、図５５では、図２７のＳ２７０３とＳ２７０６とが、それぞれＳ５５０３とＳ５５０６とに置き換えられている。具体的には、図２７の説明における、「左目原画」が２Ｄの「原画映像」に置き換えられ、「右目原画」が同じ２Ｄの「原画映像」に置き換えられた点が異なる。
＜２－４．再生装置＞
　次に、本実施の形態に係る高画質映像を再生する、映像再生装置としての再生装置について説明する。
＜２－４－１．構成＞
　図５６は、本実施の形態に係る再生装置５６２３の構成を示す図である。

　再生装置５６２３は、図２８で示した実施の形態１の３Ｄ映像の再生装置２８２３と基本的に同じ構成を備える。但し、実施の形態１の再生装置２８２３における左目映像と右目映像から構成される３Ｄ映像を出力する必要はないため、再生装置５６２３では、２Ｄ互換ビデオデコーダ２８２１からはプレーンに対しデータを出力せずに破棄し、出力プレーンとしては第１プレーン２８０８ひとつを備えている。その他の構成は、再生装置２８２３と同じである。
＜２－４－２．動作＞
　図５７は、上述のように構成した再生装置５６２３による復号処理と出力処理を示すフローチャートである。

　図５７に示すフローチャートは、実施の形態１の図３０を用いて説明した３Ｄ映像再生装置２８２３による３Ｄ映像の復号、出力処理フローとおおよそ同じである。但し、図３０とは、出力処理であるＳ３００５の部分が異なり、図５７では、以下のＳ５７０５に置き換わっている。Ｓ５７０５では、本実施の形態は２Ｄ映像の高画質化を目的としており、２Ｄ互換ビデオストリームのプレーンへの出力は不要であるため、ディペンデントビュービデオストリームの復号ピクチャのみをＰＴＳのタイミングで第１プレーン２８０８に出力する。
＜２－５．効果についての補足説明＞
　以下、本実施の形態における効果について図４７を用いて補足説明する。

　まず、図４７上段について説明する。図中の通常再生装置は、２Ｄ互換ビデオストリームのみ再生できる再生装置である。通常再生装置が再生可能なビットレートは１０Ｍｂｐｓまでとする。通常再生装置は、既に市場に広まっており、放送波等で配信されるストリームを再生する。一方、高画質再生装置は、２Ｄ互換ビデオストリームよりも高画質な映像が符号化された高画質ビデオストリームを再生できる再生装置である。ここで、図４７上段に示す例では、２Ｄ互換ビデオストリームが１０Ｍｂｐｓであり、同じコーデックで同じ映像を圧縮した高画質ビデオストリームのビットレートは１５Ｍｂｐｓである。通常再生装置による２Ｄ互換ビデオストリームの復号、出力を可能とさせることで互換性を保ちながら、高画質再生装置による高画質ビデオストリームのデコード、出力を可能にするためには、２Ｄ互換ビデオストリームと高画質ビデオストリームの両方を多重化して放送する必要があり、両ビデオストリームのビットレートを足し合わせた従来に比べ高い転送帯域が必要となる。図４７上段の場合であれば、２Ｄ互換ビデオストリームに係る１０Ｍｂｐｓと、高画質ビデオストリームに係る１５Ｍｂｐｓの合計で２５Ｍｂｐｓのビデオストリームを同時に転送する必要が生じる。

　図４７下段は、図４７上段について示した問題を解消し、必要とする転送帯域を減らすため、マルチビュー符号化方式を使う例を示している。図中の２Ｄ互換ビデオストリームは、ベースビュービデオストリームとして符号化されている。また、拡張ビデオストリームは、ディペンデントビュービデオストリームであり、ベースビュービデオストリームの各ピクチャを参照画像として圧縮符号化されている。拡張ビデオストリームは、原画映像と２Ｄ互換ビデオストリームの復号結果との差分を圧縮している。これにより、マルチビュービデオストリームは、図４７上段のように２Ｄ互換ビデオストリームと高画質ビデオストリームとを合わせた場合に比べ、高画質映像を低ビットレートで実現できる。具体的には、図４７下段では、２Ｄ互換ビデオストリームが１０Ｍｂｐｓである場合に、拡張ビデオストリームは２Ｄ互換ビデオストリームを参照画像として圧縮されて５Ｍｂｐｓとなっている。

　高画質再生装置は、マルチビュービデオストリームを構成する２Ｄ互換ビデオストリームを復号し、これを参照しながら拡張ビデオストリームを復号することで、高画質映像を復号、再生できる。

　しかしながら、図４７下段のように構成する場合、２Ｄ互換ビデオストリームと拡張ビデオストリームとは同一のビデオコーデックで構成しなければならないという制約がある。このため、両ビデオストリームは、例えばＭＰＥＧ－４　ＭＶＣなどのマルチビュービデオ符号化方式で圧縮しなければならなくなる。

　そうすると、市場に広まっている通常再生装置がマルチビュービデオ符号化方式に対応していないことから互換性が損なわれることになるので、結局、図４７下段の構成は採用が難しいものとなる。

　一方で、既に説明したように、本実施の形態では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することにより、市場に広まっている通常再生装置における再生互換性を崩すことなく、高画質再生装置により高画質映像の再生を実現している。また、拡張ビデオストリームを低ビットレート化し、ストリームの転送に必要となる帯域を減らしている。
＜２－６．本実施の形態に係る変形例＞
（１）実施の形態１及び変形例の説明内容は、本実施の形態の構成等に反しない限り、本実施の形態にも適用されることはいうまでもない。
（２）本実施の形態では、図５２に示す高画質化情報ディスクリプタ中の高画質再生方式フィールドの記載により、複数の高画質再生方式から１の高画質再生方式を選出する構成について説明した。複数の高画質再生方式を切り替える方法は、既に図４０を用いて説明した構成を適用することで実装を容易にできる。

　図５１で説明した高画質化情報ディスクリプタ中の高画質再生方式に従って、「コーデック間参照スイッチ」と「プレーンセレクタ」の設定を変えることで、再生装置は容易に再生モードの変更ができる。

　図５８下段に、図５２の高画質再生方式の例に対するコーデック間参照スイッチとプレーンセレクタの設定を示す。高画質再生方式が「０」の場合には、高画質再生装置において、コーデック間参照スイッチがＯＦＦにし、プレーンセレクタが２Ｄ映像として第１プレーンを選択する。高画質再生方式が「１」の場合には、コーデック間参照スイッチがＯＮし、プレーンセレクタが２Ｄ映像として第３プレーンを選択する。高画質再生方式が「２」の場合には、コーデック間参照スイッチがＯＦＦし、プレーンセレクタが２Ｄ映像として第３プレーンを選択する。高画質再生方式が「３」の場合には、コーデック間参照スイッチがＯＦＦし、プレーンセレクタが２Ｄ映像として第２プレーンを選択する。このようにコーデック間参照スイッチとプレーンセレクタのみを切り替えることで、再生装置において高画質再生方式を容易に変更することができる。
＜３．実施の形態３＞
＜３－１．概要＞
　実施の形態１では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、従来の２Ｄ映像に再生互換性を持たせながら、３Ｄ映像のマルチビュービデオストリームを低ビットレートで構成した。本実施の形態では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、従来の２Ｄ映像に再生互換性を持たせながら、従来の２Ｄ映像について高品位化の一例として色再現性の向上（高階調度化）した映像を、低ビットレートに構成したマルチビュービデオストリームで送信する。ここで、色再現性の向上とは、従来のビデオコーデックによって圧縮される色情報に対し、より高精度の階調情報を付加することである。通常のビデオコーデックでは、色情報を８ビットカラーで表現している。ＲＧＢカラーの場合、ＲＧＢのそれぞれに８ビット（０～２５５階調）ずつ割り当てた合計２４ビットで約１６７７万色の表示を可能としている。しかし、８ビットの色階調では表現できない色が存在するため、この色階調で表現された映像について、ユーザにより画質が悪いと判断されてしまう場合があるため、本実施の形態では、高階調度化した映像の一例として、１２ビットの色階調で表現した映像を用いる。

　例えば、図５９に示すように、ＣＧ（ｃｏｍｐｕｔｅｒ　ｇｒａｐｈｉｃｓ）やアニメなどで用いられるグラディエーションのかかった映像の場合、低い色階調で表現すると、図５９上段に示すように、グラディエーション部分で色変化が階段状になってしまう。これを８ビットの色表現ではなく、例えば、１２ビットなど階調を高くすれば、図５９下段のように、なめらかなグラディエーション表現ができる。以下、上述のように色の階調の精度が高い映像を高階調映像といい、映像の持つ色の情報量を増やして色階調の精度を高めることを高階調度化という。

　本実施の形態におけるデータ構造、データ作成装置、データ作成方法、再生装置、再生方法についての基本構造は、実施の形態１と同じであるので、実施の形態１との差分を中心に説明する。本実施の形態において用いる用語は、特段の説明をした場合を除き、実施の形態１の用語と同じとする。

　以下、高階調度化に係る符号化手順、及び復号手順の概略について説明する。

　図６１は、高階調度化に係る符号化手順、及び復号手順の概略を示す図である。

　図６１上段は、符号化に係る２Ｄ互換ビデオストリーム及び拡張ビデオストリームの生成手順の概略を示す。高階調映像は、一例として１２ビットの色階調の原画映像であるとする。まず、１２ビットの原画映像の上位８ビットを取り出し、２Ｄ互換ビデオストリームに圧縮符号化する。そして２Ｄ互換ビデオストリームを復号し、４ビット上位にシフト（６１０１）させた映像と、１２ビットの原画映像との差分値をとる（６１０２）。差分値は、符号つき７ビットの範囲（－１２７～＋１２８）の情報となり、これに１２８加算することで正の数での表現にし（６１０３）、拡張ビデオストリームに圧縮符号化する。

　図６１下段は、上述の２Ｄ互換ビデオストリームおよび拡張ビデオストリームの復号手順の概略を示す。

　まず、２Ｄ互換ビデオストリームを復号し、各ピクセルの色値を４ビット上位にシフト（６１０４）する。次に、拡張ビデオストリームを復号し、各ピクセルの色値から１２８減算して符号付きの情報に変換する（６１０４）。そして、これらの映像を加算して（６１０６）、高階調映像を出力する。これにより、従来の８ビットエンコーダ・デコーダを使って、映像の符号化・復号化が可能となる。また、拡張ビデオストリームは、１２ビット映像と８ビット映像（正しくは８ビット映像で圧縮符号化された２Ｄ互換ビデオストリームを復号化した映像）との差分映像であって、変化の少ない映像となるので、高効率に圧縮符号化できる。また、マルチビュービデオ符号化を用いるので、２Ｄ互換ビデオストリームのピクチャの参照も利用できる。以下、本実施の形態の詳細について、具体的に説明する。
＜３－２．データフォーマット＞
　まず、本実施の形態に係る、高階調映像を符号化するためのデータ構造について説明する。
＜３－２－１．トランスポートストリーム＞
　図６２は、本実施の形態に係るトランスポートストリームに含まれるデータについて説明するための図である。

　２Ｄ互換ビデオストリームは、図７等を用いて説明したような、２Ｄ映像の再生装置が、２Ｄ映像として再生できるフォーマットで構成されたビデオストリームである。本実施の形態では、２Ｄ互換ビデオストリームは、ＭＰＥＧ－２ビデオのコーデックで符号化されたビデオストリームである。マルチビュービデオストリームは、前述したとおりビュー間参照を実現するコーデックで符号化されたビデオストリームであり、ここではＭＰＥＧ－４　ＭＶＣビデオのコーデックで圧縮符号化されたものである。

　ここで、図６２の右側には、各ビデオストリームがどのビデオソースを圧縮符号化されたものであるかを示している。

　２Ｄ互換ビデオストリームは、ＭＰＥＧ－２ビデオのコーデックに従って原画映像が８ビット色階調で圧縮符号化されたものである。

　ベースビュービデオストリームは、黒映像が、ＭＰＥＧ－４　ＭＶＣビデオのコーデックに従って低ビットレートで圧縮符号化されたものである。

　ディペンデントビュービデオストリームは、１２ビット原画映像と２Ｄ互換ビデオストリームの復号映像（８ビット非圧縮映像）との差分映像が圧縮符号化されたものである。差分映像は、図６１で説明した手順により作成される。以下、この差分映像を「差分階調映像」という。差分階調映像は、ＭＰＥＧ－４　ＭＶＣビデオのコーデックに従って圧縮符号化されている。ここで、ディペンデントビュービデオストリームは、ビュー間参照を使って圧縮される。ビュー間参照として参照されるピクチャは、同一表示時刻（ＰＴＳが同じ）のベースビュービデオストリームのピクチャではなく、同一表示時刻（ＰＴＳが同じ）の２Ｄ互換ビデオストリームの復号ピクチャである。デコード側では、ベースビュービデオストリームのデコード済みピクチャ（黒画像）を、同一表示時刻の２Ｄ互換ビデオストリームのデコード済みピクチャ（８ビット非圧縮映像）で置き換えて、置き換え後のピクチャ（８ビット非圧縮映像）を参照して、ディペンデントビュービデオストリームの同一表示時刻のピクチャ（１２ビット原画映像）が復号されることになる。

　上記の構成によれば、ディペンデントビュービデオストリームは、差分階調映像が圧縮符号化されたものとなるので全体としてストリームの低ビットレート化ができ、かつ２Ｄ互換ビデオストリームよりも高階調な映像を提供することができる。

　ここで、ディペンデントビュービデオストリームのピクチャが、２Ｄ互換ビデオストリームのピクチャを参照するよう構成するために、ビデオストリームについての「解像度」「アスペクト比」「フレームレート」「プログレッシブかインターレースか」などの属性値は、２Ｄ互換ビデオストリームとマルチビュービデオストリームとの間で同じになるよう構成する。この属性値については、既に図２２を用いて説明済みである。
＜３－２－２．ＰＭＴパケット＞
　図６３は、トランスポートストリームに含まれるＰＭＴパケットについて説明するための図である。

　高階調映像を伝送するトランスポートストリームにおいては、ＰＭＴパケットなどのシステムパケット中に、高階調映像のデコード処理を行う上でのシグナリング情報が含まれている。シグナリング情報には、各ビデオストリームの関係や高階調映像再生の開始、終了などのシグナリングを行うための高階調度化情報ディスクリプタと、ビデオストリーム毎に設定される高階調度化ストリームディスクリプタとが含まれる。

　高階調度化情報ディスクリプタと高階調度化ストリームディスクリプタは、既に図５０、図５１、及び図５３を使って行った高画質化情報ディスクリプタと高画質化ストリームディスクリプタについての説明において「高画質化」を「高階調度化」に置き換えたものになるので、これ以上の説明は省略する。

　なお、高階調度化ディスクリプタには、高階調度化されるストリームのディペンデントビュービデオストリームの高階調の映像の色階調のサイズを格納するフィールドを加えてもよい。ストリーム生成の際、このフィールドに、例えば、１０ビットカラー、１２ビットカラー、１４ビットカラー、１６ビットカラーなどの別を設定しておき、高解像度再生装置側で、その値を参照して合成処理部の構成を変えることができる。

　なお、既にしたＰＴＳ、ＤＴＳ及びＧＯＰの説明、図２３～図２５を参照して行った説明及びそれに関する補足説明は、本実施の形態にも適用される。
＜３－２－４．ストリームの使用形態＞
　上述のストリームの使用形態について、図６４を用いて説明する。

　図６４において、通常再生装置は、２Ｄ互換ビデオストリームのみ再生ができる装置である。通常再生装置は、ビットレートが１０Ｍｂｐｓまでのストリームを再生可能とする。ここで、通常再生装置は、すでに市場に広まっており、放送波等で配信されるストリームを再生することを想定している。一方、高階調再生装置は、２Ｄ互換ビデオストリームだけでなく、マルチビュービデオストリームのデコード機能を備える。これら２種の再生装置が存在する場合において、図６２で説明した構成のトランスポートストリームが放送されるものとする。

　通常再生装置は、トランスポートストリーム中の２Ｄ互換ビデオストリームをデコードして通常の２Ｄ映像の再生を行う。一方、高階調再生装置は、本実施の形態に係る再生装置であり、２Ｄ互換ビデオストリームとマルチビュービデオストリームの両方を復号する。高階調再生装置は、このマルチビュービデオストリームにおけるディペンデントビュービデオストリームの復号過程において、図６１下段で説明したように、ベースビュービデオストリームの復号ピクチャを、同一表示時刻の２Ｄ互換ビデオストリームの復号ピクチャで置き換える。そして、置き換え後のピクチャである同一表示時刻の２Ｄ互換ビデオストリームの復号ピクチャを参照して、ディペンデントビュービデオストリームのピクチャを復号する。ディペンデントビュービデオストリームを復号したピクチャは、２Ｄ互換ビデオストリームのピクチャに、高階調映像のピクチャと２Ｄ互換ビデオストリームのピクチャとの差分が加えられたもの、すなわち、高階調映像のピクチャとなる。よって、ディペンデントビュービデオストリームを出力すれば、２Ｄ互換ビデオストリームのデコード結果に比べて、高階調な映像を再生することが可能となる。

　以上のように、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、市場に広まっている通常再生装置との再生互換性を崩すことなく、映像の高階調度化を実現するための拡張ビデオストリームを低ビットレート（図６４の例では５Ｍｂｐｓ）で放送し、また再生装置側で復号し、再生することができる。
＜３－３．データ作成装置＞
　以下、本実施の形態に係るデータ作成装置について説明する。
＜３－３－１．構成＞
　図６５は、本実施の形態に係る映像符号化装置としてのデータ作成装置６５０１の構成を示す図である。

　データ作成装置６５０１は、図２６で示した実施の形態１のデータ作成装置２６０１と基本的に同じ構成を持つ。但し、入力されるデータが異なるため、図６５では、図２６の「左目原画」が２Ｄの高階調の「１２ビット原画映像」に置き換わり、「右目原画」が同じ２Ｄの「１２ビット原画映像」に置き換わっている。以降の説明は、実施の形態１のデータ作成装置２６０１との差分を中心に行う。

　データ作成装置６５０１は、データ作成装置２６０１とは、２Ｄ互換ビデオエンコーダ６５０２と、拡張マルチビュービデオエンコーダ６５０４におけるディペンデントビュービデオエンコーダ６５０９の構成が異なる。

　２Ｄ互換ビデオエンコーダ６５０２は、１２ビット原画映像の内、上位８ビットを入力として、２Ｄ互換ビデオのコーデックにしたがって圧縮符号化する。コーデックがＭＰＥＧ－２ビデオの場合は、ＭＰＥＧ－２ビデオストリームのフォーマットに圧縮符号化して２Ｄ互換ビデオストリームを出力する。

　ディペンデントビュービデオエンコーダ６５０９は、３Ｄ映像を構成する片方の映像（左目もしくは右目原画映像）を入力とするのではなく、１２ビット原画映像を入力としてエンコードを行う。ここで、圧縮符号化する映像は、１２ビット原画映像と、８ビット圧縮映像（２Ｄ互換ビデオフレームメモリ２６０８に格納される２Ｄ互換ビデオストリームの復号結果）との差分階調映像である。差分階調映像は、図６１上段で説明した手順で作成する。圧縮処理において、ディペンデントビュービデオエンコーダ６５０９は、２Ｄ互換ビデオフレームメモリ２６０８内の復号ピクチャ（２Ｄ互換ビデオストリームが復号されたピクチャ）を、ビュー間参照に使って圧縮処理を行う。
＜３－３－２．動作＞
　図６６は、上述のように構成したデータ作成装置６５０１によるデータ作成フローを示す図である。

　図６６に示すデータ作成フローは、実施の形態１で図２７を用いて説明したデータ作成装置２６０１のデータ作成フローとおおよそ同じである。ただし、データ作成装置６５０１は、２Ｄ映像の高階調度化を行うものであり、図５５では、図２７のＳ２７０３とＳ２７０６とが、それぞれＳ６６０３とＳ６６０６とに置き換えられている。

　Ｓ６６０３では、２Ｄ互換ビデオエンコーダ６５０２が、１エンコード枚数分の２Ｄ互換ビデオストリームを生成する。１２ビット原画映像のＮ番目のフレームから１エンコード枚数分だけ、２Ｄ互換ビデオストリームのコーデックに従って、上位８ビットを圧縮符号化して、２Ｄ互換ビデオストリームを生成して出力する。そして、Ｓ２７０４に進む。

　Ｓ６６０６では、ディペンデントビュービデオエンコーダ６５０９が、１エンコード枚数分のディペンデントビュービデオストリームの生成を行う。ベースビュービデオ符号化情報を元に、ビデオ属性やピクチャ構造等を決定して、またビュー間参照には、２Ｄ互換ビデオフレームメモリ２６０８内のピクチャを使って、１２ビット原画映像と８ビット圧縮映像（２Ｄ互換ビデオフレームメモリ２６０８に格納される２Ｄ互換ビデオストリームの復号結果）との差分階調映像を、Ｎ番目のフレームから１エンコード枚数分、圧縮符号化して、ディペンデントビュービデオストリームを生成する。そして、Ｓ２７０７に進む。
＜３－４．再生装置＞
　次に、本実施の形態に係る高階調映像を再生する、映像再生装置としての再生装置について説明する。
＜３－４－１．構成＞
　図６７は、本実施の形態に係る再生装置６７２３の構成を示す図である。

　再生装置６７２３は、図２８で示した実施の形態１の３Ｄ映像の再生装置２８２３と基本的に同じ構成を備える。但し、再生装置６７２３は、２Ｄ映像の高階調度化を目的としているため、図６７では、図２８に、２Ｄ互換ビデオデコーダから出力されるプレーンと、拡張マルチビュービデオデコーダから出力されるプレーンを合成する合成処理部６７２４が追加されている。

　合成処理部６７２４は、第１プレーンと第２プレーンの合成処理を行う。合成処理は、図６１下段に説明した手順に従う。まず、合成処理部６７２４は、第１プレーン２８０８に格納される復号された２Ｄ互換ビデオストリームのピクチャについて各ピクセルの色値を４ビット上位にシフトする。次に、第２プレーン２８２０に格納される復号されたディペンデントビデオストリームのピクチャを復号し、各ピクセルの色値を１２８減算して符号付きの情報に変換する。そして、これらの映像を加算して高階調映像を出力する。
＜３－４－２．動作＞
　図６８は、上述のように構成した再生装置６７２３による高階調映像再生における復号処理と出力処理のフローを示す図である。

　図６８に示すフローチャートは、実施の形態１の図３０を用いて説明したフローとおおよそ同じである。但し、出力処理であるＳ３００５がＳ６８０５に置き換えられている。

　Ｓ６８０５では、再生装置６７２３は、２Ｄ互換ビデオストリームの復号ピクチャをＰＴＳのタイミングで第１プレーン２８０８に出力し、ディペンデントビュービデオストリームの復号ピクチャをＰＴＳのタイミングで第２プレーン２８２０に出力する。そして、合成処理部６７２４が合成処理を行い、高階調度映像が出力される。合成処理の方法は前述したため省略する。
＜３－５．効果についての補足説明＞
　以下、本実施の形態における効果について図６０を用いて補足説明する。

　まず、図６０上段について説明する。図中の通常再生装置は、２Ｄ互換ビデオストリームのみを再生できる再生装置である。通常再生装置が再生可能なビットレートは１０Ｍｂｐｓまでとする。ここで、通常再生装置は、既に市場に広まっており、放送波等で配信されるストリームを再生するものとする。一方、高階調再生装置は、２Ｄ互換ビデオストリームよりも高階調で表現された映像が符号化されたビデオストリームをデコードし再生できる再生装置である。ここで、図６０上段に示す例では、２Ｄ互換ビデオストリームが１０Ｍｂｐｓであり、同じコーデックで同じ映像を圧縮した高階調ビデオストリームのビットレートは１５Ｍｂｐｓである。通常再生装置による２Ｄ互換ビデオストリームの復号、出力を可能とさせることで互換性を保ちながら、高階調再生装置による高階調ビデオストリームのデコードを可能にするためには、２Ｄ互換ビデオストリームと高階調ビデオストリームの両方を多重化して放送する必要があり、両ビデオストリームのビットレートを足し合わせた従来に比べ高い転送帯域が必要となる。図６０上段の場合であれば、２Ｄ互換ビデオストリームに係る１０Ｍｂｐｓと、高階調ビデオストリームに係る１５Ｍｂｐｓの合計で２５Ｍｂｐｓのビデオストリームを同時に転送する必要が生じる。

　図６０下段は、図６０上段について示した問題を解消し、必要とする転送帯域を減らすため、マルチビュー符号化方式を使う例を示している。図中の２Ｄ互換ビデオストリームは、８ビットカラーの映像であり、ベースビュービデオストリームとして符号化されたものである。また、拡張ビデオストリームは、ディペンデントビュービデオストリームであり、２Ｄ互換ビデオストリームと、高階調の原画映像（例えば１２ビットカラー）との差分映像が、圧縮符号化されたものである。ディペンデントビュービデオストリームは、ベースビュービデオストリームの各ピクチャを参照画像として圧縮符号化されている。

　しかしながら、図６０下段のように構成する場合、２Ｄ互換ビデオストリームと拡張ビデオストリームとを同一のビデオコーデックで構成しなければならないという制約がある。このため、両ビデオストリームは、例えばＭＰＥＧ－４　ＭＶＣなどのマルチビュービデオ符号化方式で圧縮しなければならなくなる。

　そうすると、市場に広まっている通常再生装置がマルチビュービデオ符号化方式に対応していないことから互換性が損なわれることになるので、結局、図６０下段の構成は採用が難しいものとなる。

　一方で、既に説明したように、本実施の形態では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することにより、市場に広まっている通常再生装置における再生互換性を崩すことなく、高階調再生装置により高階調映像の再生を実現している。また、拡張ビデオストリームを低ビットレート化し、ストリームの転送に必要となる帯域を減らしている。
＜３－６．本実施の形態に係る変形例＞
（１）実施の形態１及び変形例の説明内容は、本実施の形態の構成等に反しない限り、本実施の形態にも適用されることはいうまでもない。
（２）本実施の形態では、高階調度化ディスクリプタ中の高階調再生方式フィールドの記載により、複数の高階調再生方式から１の高階調再生方式を選出する構成について説明した。複数の高階調再生方式を切り替える方法に関しては、下記のような構成にすることで実装処理が容易になる。

　図６９は、本変形例に係る再生装置の構成を示すブロック図である。

　図６９に示す再生装置は、図６７で説明した再生装置と基本的な構造は変わらないが、コーデック間参照スイッチ、プレーンセレクタが追加され、また合成処理部に、機能のＯＮとＯＦＦを制御するスイッチ機能が追加されている。

　コーデック間参照スイッチは、ＯＮの場合には、２Ｄ互換ビデオデコーダと拡張マルチビュービデオデコーダ内のビュー間参照バッファとを接続し、２Ｄ互換ビデオデコーダから拡張マルチビュービデオデコーダ内のビュー間参照バッファに対してＳ３００３で説明したデータ転送を行う。一方、ＯＦＦの場合には、２Ｄ互換ビデオデコーダと拡張マルチビュービデオデコーダ内のビュー間参照バッファとの接続はされず、データ転送を行わない。

　プレーンセレクタは、２Ｄ互換ビデオデコーダからピクチャが出力される第１プレーン、拡張マルチビュービデオデコーダのベースビュービデオストリームのピクチャが出力される第２プレーン、拡張マルチビュービデオデコーダのディペンデントビュービデオストリームのピクチャが出力される第３プレーンに対して、どのプレーンを合成処理部に出力するのかを選択する。高階調度化情報ディスクリプタの高階調再生方式に従って、「コーデック間参照スイッチ」と「プレーンセレクタ」の設定を変えることで、再生装置は容易に再生モードの変更ができる。

　図７０は、高階調再生方式におけるシグナリングについて示す図である。

　図７０の下段には、ストリームとして高階調再生方式、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビューストリームを受信する場合の、高階調再生装置におけるコーデック間参照スイッチ、プレーンセレクタ、合成処理部のスイッチの設定を示している。

　高階調再生方式が０の場合、高階調再生装置は、コーデック間参照スイッチをＯＦＦし、プレーンセレクタで８ビット映像として出力するための第１プレーンを選択し、合成処理部の機能をＯＦＦにする。

　高階調再生方式が１の場合には、再生装置は、コーデック間参照スイッチをＯＮし、プレーンセレクタでは、８ビット映像として出力するプレーンとして第１プレーンを選択し、差分階調映像として出力するプレーンとして第３プレーンを選択し、合成処理部の機能はＯＮにする。高階調再生方式が２の場合には、コーデック間参照スイッチをＯＦＦし、プレーンセレクタでは、８ビット映像として出力するプレーンとして第２プレーンを選択し、差分階調映像として出力するプレーンとして第３プレーンを選択し、合成処理部の機能をＯＮにする。高階調再生方式が３の場合には、コーデック間参照スイッチをＯＦＦし、プレーンセレクタでは、８ビット映像として出力するプレーンとして第２プレーンを選択し、合成処理部の機能をＯＦＦにする。このようにコーデック間参照スイッチ、プレーンセレクタ、及び合成処理部のスイッチのみを切り替えることで、再生装置における再生方式を容易に変更することができる。
（３）本実施の形態では、高階調映像として１２ビット映像を取り上げたが、これに限るものではなく、高階調映像は、通常の階調よりも高階調の映像であればよい。また、高階調の原画映像における有効ビット量は可変に設定できるようにしても良い。例えば、１２ビット原画映像において、あるシーンは１０ビット、あるシーンは１２ビットというようにシーンごとに有効ビット量を変更しても良い。この場合には、図６１で説明した合成処理において、２Ｄ互換ビデオストリームのビットシフト量を可変値にして、また、拡張ビデオストリームに対しても有効階調分を抽出するようにビットシフトを行うように構成すればよい。

　例えば、１２ビット中の１０ビットが有効であるならば、図６１の６１０１の４ビット左シフトを２ビット左シフトに変更する。そして、１２ビット原画映像を２ビット右シフトすることにより１０ビット映像化して、両１０ビット映像の差分映像を作成する（６１０２）。そして、復号側では、６１０４の４ビット左シフトを２ビットシフトに置き換える。拡張ビデオストリームは、２ビット右シフトして、２Ｄ互換ビデオストリームの復号ピクチャと加算する（６１０６）。なお、図６１における加算処理６１０３（＋１２８）は（＋５１２）に、減算処理６１０５（－１２８）は、（－５１２）に変更することになる。
（４）本実施の形態では、ベースビュービデオストリームを黒画面等の単色映像を圧縮符号化して生成したが、これに限らず、２Ｄ互換ビデオストリームを高画質化するための差分映像（１２ビット原画映像の上位８ビット原画映像と２Ｄ互換ビデオとの差分など）を圧縮符号化して生成してもよい。

　差分映像の生成方法、合成方法は、図８９で説明した方法を用いればよい。

　図９０は、本変形例に係るビデオストリームの構成を示している。具体的には、データ作成装置側では、ベースビュービデオのエンコーダ部において、８ビット原画映像と２Ｄ互換ビデオストリームとの差分映像を圧縮符号化することによりベースビュービデオストリームを作成する。そして、ディペンデントビュービデオのエンコーダ部は、２Ｄ互換ビデオストリームの復号ピクチャに差分映像を合成することにより生成した高画質２Ｄ映像のピクチャを参照画像として、画像を圧縮符号化するよう構成する。

　再生装置側では、ベースビュービデオのデコーダ部は、復号したピクチャを２Ｄ互換ビデオのデコーダ部に転送する。２Ｄ互換ビデオのデコーダ部では、２Ｄ互換ビデオを復号して得たピクチャと、ベースビュービデオのデコーダ部により復号されたピクチャとの合成処理を行う。ディペンデントビュービデオのデコーダ部は、合成処理により得られたピクチャを参照して、ディペンデントビュービデオストリームを復号する。このように構成することで、実施の形態３で説明した高階調映像の高画質化を実現できる。
＜４．実施の形態４＞
＜４－１．概要＞
　実施の形態１では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、従来の２Ｄ映像に再生互換性を持たせながら、３Ｄ映像のマルチビュービデオストリームを低ビットレートで構成した。本実施の形態では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、従来の２Ｄ映像に再生互換性を持たせながら、２Ｄ映像について高品位化の一例としての高解像度化した映像を、低ビットレートに構成したマルチビュービデオストリームで送信する。高解像度化としては、例えば、２Ｄ映像がフルＨＤの１９２０ｘ１０８０の解像度で、高解像度化した映像が４Ｋ２Ｋ（３８４０ｘ２１６０）の解像度であるような場合が該当する。

　以下、高解像度化に係る符号化手順、及び復号手順の概略について説明する。

　図７２は、高解像度化に係る符号化手順の概略を示す図である。

　２Ｄ互換ビデオストリームは、復号Ｄ１（７２０１）された後、縦横２倍（×２）のアップコンバート（７２０２）が行われ、ピクチャ参照バッファ（７２０３）に格納される。

　拡張ビデオストリームは、ピクチャ参照バッファ（７２０３）に格納されるスケーリング（アップコンバート）されたピクチャを参照して復号Ｄ２（７２０４）される。この場合、２Ｄ互換ビデオストリームはベース映像として符号化される。２Ｄ互換ビデオストリームは、フルＨＤ映像が圧縮符号化されている。拡張ビデオストリームは、４Ｋ２Ｋの高解像度映像が圧縮符号化されている。拡張ビデオストリームは、復号した２Ｄ互換ビデオストリームの映像を高解像度にスケーリングした映像（フルＨＤを４Ｋ２Ｋ化した映像）を参照ピクチャとして、圧縮符号化されている。以上のように、２Ｄ互換ビデオストリームを参照ピクチャとして利用することで拡張ビデオストリームのビットレートを低くできる。

　図７５は、スケーリングについて説明するための図である。

　ピクセル集合７５１０は、ピクセル７５１１～７５１４が縦横２つずつ配されて成る。ここでは、４つのピクセルから成るピクセル集合７５０１を、縦２倍、横２倍して１６ピクセル化する。

　方法１は、単純に各ピクセルを縦横２倍に複製し４ピクセル化する方法である。

　方法２は、ピクセル間に、前後もしくは左右に配置されたピクセル値の中間値を持つピクセルを挿入する方法である。例えば、ピクセル７５０１は、左右のピクセル７５１１とピクセル７５１２との中間色となり、ピクセル７５０２は、ピクセル７５１１とピクセル７５１３の中間色となる。

　方法３は、前後左右斜めのすべてのピクセルの中間色を取る方法である。例えば、ピクセル７５０３は、周りを囲むピクセル７５１１、７５０１、７５１２、７５０２、７５０４、７５１３、７５０５、７５１４の中間色となる。

　再生装置は、このように複数あるスケーリング方法から選出したスケーリング方法によりアップコンバートを行う。
＜４－２．データフォーマット＞
　まず、本実施の形態に係る、高解像度映像を符号化するためのデータ構造について説明する。
＜４－２－１．トランスポートストリーム＞
　図７３は、本実施の形態に係るトランスポートストリームに含まれるデータについて説明するための図である。

　本実施の形態におけるトランスポートストリームは、２Ｄ互換ビデオストリーム、マルチビュービデオストリームのベースビュービデオストリームとディペンデントビュービデオストリームがそれぞれＰＥＳパケット化され、ＴＳパケットに分割され、多重化されてなる。

　ここで、図７３の右側には、各ビデオストリームがどのビデオソースを圧縮符号化されたものであるかを示している。

　２Ｄ互換ビデオストリームは、フルＨＤの原画映像がＭＰＥＧ－２ビデオのコーデックに従って圧縮符号化されたものである。

　ベースビュービデオストリームは、４Ｋ２Ｋの黒映像が、ＭＰＥＧ－４　ＭＶＣビデオのコーデックに従って低ビットレートで圧縮符号化されたものである。

　ディペンデントビュービデオストリームは、高解像度４Ｋ２Ｋの原画映像がＭＰＥＧ－４　ＭＶＣビデオのコーデックに従って圧縮符号化されたものである。

　ディペンデントビュービデオストリームは、ビュー間参照を使って圧縮される。ビュー間参照として参照するピクチャは、同一表示時刻（ＰＴＳが同じ）のベースビュービデオストリームのピクチャではなく、同一表示時刻（ＰＴＳが同じ）の２Ｄ互換ビデオストリームの復号ピクチャをスケーリングしたピクチャである。デコード側では、ベースビュービデオストリームのデコード済みピクチャ（黒画像）を、同一表示時刻の２Ｄ互換ビデオストリームのデコード済みピクチャ（フルＨＤ）で置き換えて、置き換え後のピクチャ（フルＨＤ）を参照して、ディペンデントビュービデオストリームの同一表示時刻のピクチャ（４Ｋ２Ｋ）が復号されることになる。

　上記の構成によれば、ディペンデントビュービデオストリームのピクチャが、「２Ｄ互換ビデオストリームの復号ピクチャ」を４Ｋ２Ｋにアップスケーリングした映像に係る画像を参照画像として使うことになるので、全体としてストリームを低ビットレート化でき、かつ２Ｄ互換ビデオストリームよりも高解像度化した映像を提供することができる。

　ここで、ディペンデントビュービデオストリームのピクチャが、２Ｄ互換ビデオストリームのピクチャを参照する構成を実現するために、ビデオストリームについての「アスペクト比」「フレームレート」「プログレッシブかインターレースか」などの属性値は同じになるよう構成する。この属性値については、既に図２２を用いて説明済みである。但し、本実施の形態においては、図２２の「解像度」のフィールドは除外する。
＜４－２－２．ＰＭＴパケット＞
　図７４は、トランスポートストリームに含まれるＰＭＴパケットについて説明するための図である。

　高解像度映像を伝送するトランスポートストリームにおいては、ＰＭＴパケットなどのシステムパケット中に、高解像度映像のデコード処理を行う上でのシグナリング情報が含まれている。シグナリング情報には、各ビデオストリームの関係や本方式の高解像度映像再生の開始、終了などのシグナリングを行うための高解像度化情報ディスクリプタと、各ビデオストリーム毎に設定される高解像度化ストリームディスクリプタとが含まれる。

　高解像度化情報ディスクリプタと高解像度化ストリームディスクリプタは、それぞれ高画質化情報ディスクリプタと高画質化ストリームディスクリプタとほぼ同様の構成を有する。

　高画質化情報ディスクリプタと高画質化ストリームディスクリプタは、既に図５０、図５１、及び図５３を使って行った高画質化情報ディスクリプタと高画質化ストリームディスクリプタについての説明において「高画質化」を「高解像度化」に置き換えたものになるので、これ以上の説明は省略する。

　なお、高解像度化情報ディスクリプタには、各ストリームの解像度の情報を格納するようにしても良い。このようにすることで、高解像度映像を再生する再生装置は、ディスクリプタ情報を参照することで、各ストリームのデコード方法やスケーリング方法を決定できる。

　また、高解像度化情報ディスクリプタにおいて、スケーリング方法を設定できるようにしてもよい。スケーリングの方法は図７５で示したように複数あるため、どのスケーリング方法を取るかを示す情報をディスクリプタに格納する。このようにすることで、高解像度映像を再生する再生装置は、ディスクリプタ情報を参照し、各ストリームのデコード方法やスケーリング方法を決定できる。

　なお、既にしたＰＴＳ、ＤＴＳ及びＧＯＰの説明、図２３～図２５を参照して行った説明及びそれに関する補足説明は、本実施の形態にも適用される。
＜４－２－４．ストリームの使用形態＞
　上述のストリームの使用形態について、図７６を用いて説明する。

　図７６において、通常再生装置は、２Ｄ互換ビデオストリームのみ再生できる装置である。通常再生装置は、ビットレートが１０Ｍｂｐｓまでのストリームを再生可能とする。ここで、通常再生装置は、すでに市場に広まっており、放送波等で配信されるストリームを再生することを想定している。一方、高解像度再生装置は、２Ｄ互換ビデオストリームだけでなく、マルチビュービデオストリームのデコード機能を備える。これら２種の再生装置が存在する場合において、図７３で説明した構成のトランスポートストリームが放送されるものとする。

　通常再生装置は、２Ｄ互換ビデオストリームをデコードして出力を行い、通常の２Ｄ映像の再生を行う。一方、高解像度再生装置は、２Ｄ互換ビデオストリームとマルチビュービデオストリームの両方をデコードする。この際に、高解像度再生装置は、ベースビュービデオストリームのデコード済みピクチャを、同一表示時刻の２Ｄ互換ビデオストリームのデコード済みピクチャをスケーリングしたピクチャで置き換えて、同一表示時刻のディペンデントビュービデオストリームのピクチャを、置き換え後のピクチャを参照して復号する。

　このようにして、ディペンデントビュービデオストリームを復号して高解像度映像を再生することが可能となる。ベースビュービデオストリームには、黒画面などの単色の映像を圧縮符号化しておけば、ビットレートを大幅に低減することができる。

　以上のように、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することによって、市場に広まっている通常再生装置での再生互換性を崩すことなく、映像の高解像度化を実現するための拡張ビデオストリームを低ビットレート（図７６の例では１０Ｍｂｐｓ）で放送し、また再生装置側で復号し、再生することができる。
＜４－３．データ作成装置＞
　以下、本実施の形態に係るデータ作成装置について説明する。
＜４－３－１．構成＞
　図７７は、本実施の形態に係る映像符号化装置としてのデータ作成装置７７０１の構成を示す図である。

　データ作成装置７７０１は、図２６で示した実施の形態１のデータ作成装置２６０１と基本的に同じ構成を持つ。但し、入力されるデータが異なるため、図７７では、図２６の「左目原画」が２Ｄの「高解像度原画映像（ここでは、解像度は４Ｋ２Ｋとする。）」に置き換わり、「右目原画」が同じ２Ｄの「高解像度原画映像」に置き換わっている。以降の説明は、実施の形態１のデータ作成装置２６０１との差分を中心に説明する。

　データ作成装置７７０１は、２Ｄ互換ビデオエンコーダ７７０２と、拡張マルチビュービデオエンコーダ７７０４におけるディペンデントビュービデオエンコーダ７７０９の構成がデータ作成装置２６０１の構成と異なる。

　２Ｄ互換ビデオエンコーダ７７０２は、入力としての高解像度原画映像を低解像度化した映像（ここではフルＨＤ化する）を２Ｄ互換ビデオのコーデックに従い圧縮符号化する。コーデックがＭＰＥＧ－２ビデオの場合は、ＭＰＥＧ－２ビデオストリームのフォーマットに圧縮符号化して２Ｄ互換ビデオストリームを出力する。

　ディペンデントビュービデオエンコーダ７７０９は、３Ｄ映像を構成する片方の映像（左目もしくは右目原画映像）をインプットするのではなく、高解像度原画映像を入力としてエンコードを行う。圧縮処理において、ディペンデントビュービデオエンコーダ７７０９は、２Ｄ互換ビデオフレームメモリ２６０８内の復号ピクチャ（２Ｄ互換ビデオストリームが復号されたピクチャ）がスケーリングされたピクチャを、ビュー間参照に使って圧縮処理を行う。
＜４－３－２．動作＞
　図７８は、上述のように構成したデータ作成装置７７０１によるデータ作成フローを示す図である。

　図７８に示すデータ作成フローは、実施の形態１で図２７を用いて説明した説明したデータ作成装置２６０１のデータ作成フローとおおよそ同じである。ただし、データ作成装置７７０１は、２Ｄ映像の高階調度化を行うものであり、図７８は、図２７のＳ２７０３とＳ２７０６とが、Ｓ７８０３とＳ７８０６とに置き換えられている。

　Ｓ７８０３では、２Ｄ互換ビデオエンコーダ７７０２が、１エンコード枚数分の２Ｄ互換ビデオストリームの生成を行う。高解像度原画映像のＮ番目のフレームから１エンコード枚数分だけ、２Ｄ互換ビデオストリームのコーデックに従って、低解像化（ここではＦｕｌｌＨＤ化）して圧縮符号化し、２Ｄ互換ビデオストリームを生成して出力する。そして、Ｓ２７０４に進む。

　Ｓ７８０６では、ディペンデントビュービデオエンコーダ７７０９が、１エンコード枚数分のディペンデントビュービデオストリームを生成する。ベースビュービデオ符号化情報を元に、ビデオ属性やピクチャ構造等を決定し、またビュー間参照には、２Ｄ互換ビデオフレームメモリ２６０８内のピクチャを使って、フルＨＤ映像（２Ｄ互換ビデオフレームメモリ２６０８に格納される２Ｄ互換ビデオストリームの復号結果）をスケーリングして高解像度化した映像を参照画像として、高解像度原画映像をＮ番目のフレームから１エンコード枚数分、圧縮符号化して、ディペンデントビュービデオストリームを生成する。そして、Ｓ２７０７に進む。
＜４－４．再生装置＞
　次に、本実施の形態に係る高解像度映像を再生する、映像再生装置としての再生装置について説明する。
＜４－４－１．構成＞
　図７９は、本実施の形態に係る高解像度映像を再生する高解像度再生装置としての再生装置７９２３の構成を示す図である。

　再生装置７９２３は、図２８で示した実施の形態１の３Ｄ映像の再生装置２８２３と基本的に同じ構成を持つ。但し、再生装置７９２３は、２Ｄ映像の高解像度化を目的としているため、図６７では、２Ｄ互換ビデオデコーダから出力されるプレーンが存在せず、また、スケーラ７９２４が追加されている。

　スケーラ７９２４は、ＤＴＳのタイミングでビュー間参照バッファにあるベースビュービデオストリームのピクチャを２Ｄ互換ビデオデコーダがデコードしたピクチャで置き換えるときに、その２Ｄ互換ビデオデコーダがデコードしたピクチャを指定されるスケーリング方法でスケーリングする。このように構成することで、ディペンデントビュービデオストリームの復号時には、２Ｄ互換ビデオストリームがスケーリングされたピクチャを参照して復号することが可能となる。
＜４－４－２．動作＞
　図８０は、上述のように構成した再生装置７９２３による高解像度映像再生におけるデコード処理と出力処理のフローを示す図である。

　図８０に示すデコード処理と出力処理のフローは、実施の形態１で図３０を用いて説明したフローとおおよそ同じであるが、図３０のＳ３００３とＳ３００５のそれぞれが、Ｓ８００３とＳ８００５に置き換えられている。

　Ｓ８００３では、再生装置７９２３は、２Ｄ互換ビデオストリームの復号ピクチャをスケーラ７９２４によりスケーリングし、スケーリングされたデータをビュー間参照バッファ２８１６に出力する。

　Ｓ８００５では、再生装置７９２３は、ディペンデントビュービデオストリームの復号ピクチャをＰＴＳのタイミングで第１プレーン２８０９に出力する。
＜４－５．効果についての補足説明＞
　以下、本実施の形態における効果について図７１を用いて補足説明する。

　まず、図７１上段について説明する。図中の通常再生装置は、２Ｄ互換ビデオストリームのみを再生できる再生装置である。通常再生装置が再生可能なビットレートは１０Ｍｂｐｓまでとする。ここで、通常再生装置は、既に市場に広まっており、放送波等で配信されるストリームを再生するものとする。

　一方、高解像度再生装置は、２Ｄ互換ビデオストリームよりも高解像度の映像が符号化された高解像度ビデオストリームをデコードし再生できる再生装置である。以下、一例として、通常映像の解像度がフルＨＤ（１９２０ｘ１０８０）の解像度であり、高解像度映像の解像度が４Ｋ２Ｋ（３８２０ｘ２１６０）の解像度であるとする。図７１上段に示す例では、２Ｄ互換ビデオストリームが１０Ｍｂｐｓであり、同じコーデックで同じ映像を圧縮した高解像度ビデオストリームのビットレートが２０Ｍｂｐｓである。

　ここで、通常再生装置による２Ｄ互換ビデオストリームのデコード・出力を可能とさせることで互換性を保ちながら、高解像度再生装置による高解像度ビデオストリームのデコードを可能にするためには、放送波により、２Ｄ互換ビデオストリームと高解像度ビデオストリームの両方を多重化して転送する必要があり、両ビデオストリームのビットレートを足し合わせた従来に比べ高い転送帯域が必要となる。例えば、図７１上段の場合であれば、２Ｄ互換ビデオストリーム１０Ｍｂｐｓと高解像度ビデオストリーム２０Ｍｂｐｓの合計で３０Ｍｂｐｓのビデオストリームを同時に転送する必要がある。

　図７１下段は、上記課題を解消し、必要とする転送帯域を減らすため、スケーラブルビデオ符号化方式を使う例を示している。スケーラブルビデオ符号化方式とは、低解像度のベース映像を、スケーリングして参照ピクチャを作り出し、高解像度の拡張映像を復号する方法である。

　しかしながら、図７１下段のように構成する場合、２Ｄ互換ビデオストリームと拡張ビデオストリームとを、ともに同一のビデオコーデックで構成しなければならない。このため、両ビデオストリームは、例えばＭＰＥＧ－４　ＡＶＣの修正規格であってスケーラブルビデオ符号化方式であるＭＰＥＧ－４　ＭＶＣなどにより圧縮符号化しなければならなくなる。

　そうすると、市場に広まっている通常再生装置が、スケーラブルビデオ符号化方式に対応していないことから互換性が損なわれることになるので、結局、図７１下段の構成は採用が難しいものとなる。

　一方で、既に説明したように、本実施の形態では、異なるコーデックで映像が圧縮符号化されたストリーム間においてビュー間参照を実現することにより、市場に広まっている通常再生装置における再生互換性を崩すことなく、高解像度再生装置により高解像度化された映像の再生を実現している。また、拡張ビデオストリームを低ビットレート化し、ストリームの転送に必要となる帯域を減らしている。
＜４－６．本実施の形態に係る変形例＞
（１）実施の形態１及び変形例の説明内容は、本実施の形態の構成等に反しない限り、本実施の形態にも適用されることはいうまでもない。
（２）本実施の形態における再生装置の再生方式に応じたスイッチ方法については、図５８を用いて説明した実施の形態２のスイッチ方法における「高画質化」を「高解像度化」に置き換えることで適用できる。
（３）本実施の形態においては、２Ｄ互換ビデオストリームを高解像度化するビデオストリームに、マルチビュービデオ符号化方式を適用したが、スケーラブルビデオ符号化方式についても同等の構成で実現できる。この場合には、再生装置７９２３の拡張マルチビュービデオデコーダを、拡張スケーラブルビデオデコーダに変更して、２Ｄ互換ビデオストリームのデコード結果をスケーリングせずにベースビュービデオストリームのデコード結果と入れ換える構成にすればよい。
（４）本実施の形態においては、２Ｄ互換ビデオストリームを高解像度化するビデオストリームに、マルチビュービデオ符号化方式を適用したが、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅの３Ｄ映像をフルＨＤの３Ｄ映像に高解像度化してもよい。

　図８１は、この場合のストリームの構成を示す図である。

　２Ｄ互換ビデオストリームは、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅの３Ｄ映像が、２Ｄ互換ビデオストリームの符号化方式により圧縮符号化されたものである。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅの３Ｄ映像の解像度は、一例としてフルＨＤの解像度である。そして、マルチビュービデオストリームを構成するベースビュービデオストリームは、黒映像が、マルチビュービデオのコーデックに従って低ビットレートで圧縮符号化されたものである。ディペンデントビュービデオストリームは、高解像度４Ｋ１ＫのＳｉｄｅ－Ｂｙ－Ｓｉｄｅの映像が圧縮符号化されたものである。ここで、ディペンデントビュービデオストリームは、ビュー間参照を使って圧縮されるが、ビュー間参照において参照されるピクチャは、同一表示時刻（ＰＴＳが同じ）のベースビュービデオストリームのピクチャではなく、同一表示時刻（ＰＴＳが同じ）の２Ｄ互換ビデオストリームの復号後の復号ピクチャが４Ｋ１Ｋにアップコンバートされたピクチャである。
本実施の形態で説明したとおり、ビデオストリームを再生するビデオデコーダは、ベースビュービデオストリームのデコード済みピクチャを、同一表示時刻の２Ｄ互換ビデオストリームのデコード済みピクチャをスケーリングしたピクチャで置き換え、置き換えられたピクチャを参照して同一表示時刻のディペンデントビュービデオストリームのピクチャを復号する。この構成により、ディペンデントビュービデオストリームを、「２Ｄ互換ビデオストリームの復号ピクチャ」を４Ｋ１Ｋにアップコンバートした映像を参照画像として使うことによって低ビットレート化することができる。

　図８２は、本変形例に係る３Ｄ映像の再生装置の構成を示す図である。

　この構成は、本実施の形態における再生装置の構成とほぼ変わらないが、３Ｄ出力部８２０１が付加されている点が異なる。３Ｄ出力部８２０１は、４Ｋ１Ｋの高解像度Ｓｉｄｅ－ｂｙ－Ｓｉｄｅ映像が出力された第１プレーン２８０９に対して、左目映像と右目映像を切り出してテレビ等に出力する。
（５）Ｓｉｄｅ－ｂｙ－Ｓｉｄｅの３Ｄ映像を、フルＨＤの３Ｄ映像に高解像度化する方式に関し、変形例（４）とは異なる方式を採用してもよい。

　図８３は、本変形例に係るビデオストリームの構成を示す図である。

　２Ｄ互換ビデオストリームは、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅの３Ｄ映像が、２Ｄ互換ビデオストリームの符号化方式により圧縮符号化されたものである。Ｓｉｄｅ－ｂｙ－Ｓｉｄｅの３Ｄ映像の解像度は、一例としてフルＨＤの解像度である。そして、マルチビュービデオストリームを構成するベースビュービデオストリームは、黒映像が、マルチビュービデオのコーデックに従って低ビットレートで圧縮符号化されたものである。ディペンデントビュービデオストリームは、同じくフルＨＤのＳｉｄｅ－Ｂｙ－Ｓｉｄｅ映像が圧縮符号化されたものである。このＳｉｄｅ－ｂｙ－Ｓｉｄｅ映像は、２Ｄ互換ビデオストリームを高解像度化するための差分映像である。例えば、２Ｄ互換ビデオストリームのＳｉｄｅ－ｂｙ－Ｓｉｄｅ映像が、左目フルＨＤ映像と右目フルＨＤ映像の奇数列のピクセルを抽出して作られた映像の場合に、ディペンデントビュービデオストリームのＳｉｄｅ－ｂｙ－Ｓｉｄｅ映像は、左目フルＨＤ映像と右目フルＨＤ映像の偶数列のピクセルを抽出して映像を作成する。

　ここで、ディペンデントビュービデオストリームは、ビュー間参照を使って圧縮されるが、ビュー間参照として参照するピクチャには、同一表示時刻（ＰＴＳが同じ）のベースビュービデオストリームのピクチャではなく、同一表示時刻（ＰＴＳが同じ）の２Ｄ互換ビデオストリームの復号後の復号ピクチャをスケーリングしたピクチャである。

　一方、再生側では、本実施の形態で説明したとおり、ビデオストリームを再生するビデオデコーダは、ベースビュービデオストリームのデコード済みピクチャを、同一表示時刻の２Ｄ互換ビデオストリームのデコード済みピクチャで置き換え、置き換えられたピクチャを参照して同一表示時刻のディペンデントビュービデオストリームのピクチャを復号する。この構成により、ディペンデントビュービデオストリームを、「２Ｄ互換ビデオストリームの復号ピクチャ」を参照画像として使うことによって低ビットレート化することができる。

　図８４は、本変形例に係る３Ｄ映像の再生装置の構成を示す図である。この構成は、本実施の形態における再生装置の構成とほぼ変わらないが、３Ｄ出力部８４０１が付加されている点が異なる。３Ｄ出力部８４０１は、第１プレーン２８０９に記憶される２Ｄ互換ビデオストリームのＳｉｄｅ－ｂｙ－Ｓｉｄｅ映像と、第２プレーン２８２０に記憶されるディペンデントビュービデオストリームのＳｉｄｅ－ｂｙ－Ｓｉｄｅ映像を使って、高解像度のフルＨＤの３Ｄ映像を作り出しててテレビ等に出力する。
（６）上述の変形例（４）及び変形例（５）では、Ｓｉｄｅ－ｂｙ－Ｓｉｄｅの３Ｄ映像を用いていたが、これに限らず、Ｔｏｐ＆Ｂｏｔｔｏｍ方式、ＬｉｎｅＢｙＬｉｎｅ方式など様々なフレーム互換方式の３Ｄフォーマットにも同様に適用可能である。なお、Ｔｏｐ＆Ｂｏｔｔｏｍ方式は、右目用、左目用の映像をそれぞれ垂直方向に圧縮し（例えば、１０８０ピクセルから５４０ピクセルなどに圧縮する）、上下に並べた形で伝送する方式である。また、ＬｉｎｅＢｙＬｉｎｅ方式は、右目用、左目用の映像信号を1ラインおきに交互に配置する方式である。
（７）本実施の形態における高解像度化を実現するためのマルチビュー符号化方式もしくはスケーラブル符号化方式において、ピクチャのビュー間参照の方法を変更してもよい。

　図９５のうち左側図は、本実施の形態で説明したビュー間参照方法を示し、右側図は、本変形例に係るビュー間参照方法を示す。

　図９５の説明において、２Ｄ互換ビデオストリームもしくはベースビデオストリームはフルＨＤ映像であり、高解像度映像であるディペンデントビュービデオストリームは４Ｋ２Ｋ映像であるとする。

　図９５左側図の参照方法では、２Ｄ互換ビデオストリームもしくはベースビュービデオストリーム（９５０１）をデコード（９５０３）した映像を、スケーリング（アップコンバート）（９５０５）により４Ｋ２Ｋ映像にしたピクチャを、ビュー間参照フレームバッファに格納し（９５０６）、４Ｋ２Ｋ映像のディペンデントビュービデオストリームの復号時には、このバッファの４Ｋ２Ｋ復号ピクチャを参照することで、ビュー間映像の参照を行う。

　一方、図９５右側図の本変形例に係るピクチャ参照方法では、２Ｄ互換ビデオストリームもしくはベースビュービデオストリーム（９５０１）をデコード（９５０３）してビュー間参照バッファに格納（９５１６）される復号ピクチャは、アップコンバートせずに、フルＨＤ解像度のまま格納する。そして高解像度４Ｋ２Ｋのディペンデントビュービデオストリーム（９５０２）の復号を行う場合に、スケーリング参照フィルタ（９５１５）の機能を使い、マクロブロック単位で、２Ｄ互換ビデオストリーム／ベースビュービデオストリーム（９５０１）の復号ピクチャの参照領域を拡大して、復号処理を行う。

　このようにすることで、ビュー間参照バッファ（９５１６）に格納するピクチャは２Ｋ１Ｋとなるため、ビュー間参照バッファ（及び後段のＤＰＢ）に必要なバッファサイズを削減することができる。

　図９６は、スケーリング参照フィルタの具体的な手順を示す。

　ディペンデントビュービデオストリームの復号処理を行う場合には、マクロブロック単位で、動きベクトルなどのＳｙｎｔａｘ要素から参照ピクチャの領域を特定して、その領域を参照して復号を行う。その参照方法を、図９６中に（１）～（３）として示している。まず（１）で、マクロブロックが参照する高解像度ピクチャの対象領域（座標位置（ｘ，ｙ）と領域サイズ（ｗ，ｈ））を特定する。次いで（２）で、仮想高解像度ピクチャの対象領域を、フィルタ関数を使って生成する。フィルタ関数は複数あって、再生装置の能力に応じて選択できるようにしても良い。フィルタ関数の例ｆ（ｘ，ｙ，ｗ，ｈ）を、図中の破線枠内に記している。フィルタ関数ｆ（ｘ，ｙ，ｗ，ｈ）は、実ピクチャの（ｘ／２，ｙ／２）座標のピクチャの縦ｈ／２，横ｗ／２の領域に対して、図７５の方法３で、縦横2倍にアップコンバートする、と定義されているので、ｘ，ｙ，ｗ，ｈの値を代入することで、仮想高解像度ピクチャの対象領域を生成することできる。

　最後に（３）で、仮想高解像度ピクチャにおける対象領域を参照することでマクロブロックの復号ができる。

　図９６に示す関数等はあくまで説明のための一例であり、実際の参照方法やフィルタ関数は、各ビデオストリームの符号化方式のルールに従って、構成してよい。
（８）本実施の形態では、ベースビュービデオストリームを黒画面等の単色映像を圧縮符号化して生成していたが、これに限らず、２Ｄ互換ビデオストリームを高画質化するための差分映像（４ｋ２ｋ高解像度原画映と、フルＨＤの２Ｄ互換ビデオストリームを復号したピクチャをアップコンバートした４Ｋ２Ｋ映像との差分）を圧縮符号化して生成してもよい。

　図９１は、本変形例に係るビデオストリームの構成を示す図である。

　差分映像の生成方法・合成方法は、図８９で既に説明したが、本変形例では、原画映像（４Ｋ２Ｋ）と２Ｄ互換ビデオの復号ピクチャ（２Ｋ１Ｋ）との差分を算出する前に、２Ｄ互換ビデオの復号ピクチャ（２Ｋ１Ｋ）をアップコンバートして４Ｋ２Ｋ化して差分映像を生成する点が異なる。

　データ作成装置においては、ベースビュービデオのエンコーダ部において、４Ｋ２Ｋ高解像度原画映像と、２Ｄ互換ビデオストリームとの復号ピクチャをアップコンバートしたピクチャとの差分映像を圧縮符号化して、ベースビュービデオストリームを作成し、ディペンデントビュービデオのエンコーダ部は、「２Ｄ互換ビデオストリームのフルＨＤ復号ピクチャを高解像度４Ｋ２Ｋピクチャにアップコンバートしたピクチャ」に、「差分映像」を合成した「高画質高解像度２Ｄ映像」を参照画像として圧縮するように構成する。

　再生装置においては、ベースビュービデオのデコーダ部は、復号したピクチャを、２Ｄ互換ビデオのデコーダ部に転送して、２Ｄ互換ビデオデコーダ部では２Ｄ互換ビデオストリームの復号ピクチャをアップコンバートしたピクチャと差分映像の合成処理を行い、そのピクチャを、ディペンデントビュービデオストリームの復号に利用する。

　このようにすることで、実施の形態４で説明した高解像度映像の高画質化を実現できる。
（９）実施の形態１～４において、再生装置の基本構造は、２Ｄ互換ビデオストリームとマルチビュービデオデコーダから構成されている点で共通するので、１つの再生装置が、実施の形態１～４の再生処理を切り替えながら行うこととしてもよい。

　このとき、同一のトランスポートストリームの中に、実施の形態１～４のビデオストリームがシーンごと分かれて存在しても良い。そして、データ作成装置７７０１は、どのシーンがどの実施の形態における再生方式なのかを識別できるようにするため再生方式判別ディスクリプタを、ＰＭＴやビデオストリームの補足データ等に記録してもよい。

　図８５は、再生方式判別ディスクリプタの構造を示す図である。

　再生方式判別ディスクリプタには、３Ｄ再生フラグ、高画質化フラグ、高階調度化フラグ、高解像度化フラグが格納され、各フラグがＴＲＵＥの場合、さらに、そのフラグに対応する情報が格納される。例えば、再生方式判別ディスクリプタには、３Ｄ再生フラグがＴＲＵＥの場合は、３Ｄ再生情報ディスクリプタが格納され、高画質化フラグがＴＲＵＥの場合は、高画質化情報ディスクリプタが格納され、高階調化フラグがＴＲＵＥの場合は高階調度化情報ディスクリプタが格納され、高解像度化フラグがＴＲＵＥの場合は高解像度化情報ディスクリプタが格納される。このような情報を用いることにより、再生装置は、上述の各実施の形態の再生方法のうち採用すべきものを選出し、その処理を実行するよう内部状態を切り替えることができる。
＜５．変形例＞
　以上、本発明に係るデータ作成装置及び再生装置の実施の形態を説明したが、例示したデータ作成装置及び再生装置を以下のように変形することも可能であり、本発明が上述の実施の形態で示した通りのデータ作成装置及び再生装置に限らないことは勿論である。
（１）以下、さらに、本発明の一実施の態様に係る映像符号化装置としてのデータ作成装置、及び映像再生装置としての再生装置の構成及び効果について説明する。

　本発明の一実施態様である映像符号化装置は、原映像を第１の品位に変換した第１映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、ＭＰＥＧ－４　ＭＶＣ形式に準拠しベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、前記第１及び前記第２符号化手段により生成されたストリームを送出する送出手段とを備え、前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１映像を圧縮符号化して得られるストリームとピクチャ数が同一であって、総データ量を少なくした疑似データから成るストリームを生成し、一方、前記ディペンデントビュービデオストリームとして、前記原映像を前記第１の品位より高い第２の品位に変換した第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記ＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化したストリームを生成する。

　また、前記第２符号化手段は、前記ＭＰＥＧ－４　ＭＶＣ形式に準拠したストリームの生成において、当該ストリームに、前記参照画像が前記ＭＰＥＧ－２形式のストリームに含まれることを示す情報を含めることとしてもよい。

　この構成によれば、再生側において、前記ディペンデントビュービデオストリームを再生する際に、ＭＰＥＧ－２形式のストリームに含まれるピクチャを参照させることができる。

　また、前記第２符号化手段は、前記参照画像として、前記ＭＰＥＧ－２形式のストリームのピクチャのうち、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）の値が、前記第２映像において符号化の対象となっている当該ピクチャに対応している前記ベースビュービデオストリームのピクチャのＰＴＳの値と同一であるピクチャを選出することとしてもよい。

　この構成によれば、再生側において、ＰＴＳを参照することにより、ＭＰＥＧ－２形式のストリーム中のピクチャの中から、参照すべきピクチャを特定することができる。

　また、前記第１符号化手段及び前記第２符号化手段は、前記第１映像及び第２映像の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに、前記アスペクト比を示す情報を含めることとしてもよい。

　この構成によれば、再生側において、第１映像及び第２映像のアスペクト比を特定することができる。

　また、前記第２符号化手段は、前記疑似データとして、経時的変化のないピクチャ群を用いることとしてもよい。

　また、前記第２符号化手段は、前記経時的変化のないピクチャ群として、単色の画像から成る画像群を用いることとしてもよい。

　この構成によれば、ベースビュービデオストリームの情報量を従来よりも低減することができる。

　また、前記第２映像は、前記原映像を前記第１映像よりも高いビットレートで表現した映像であり、前記第２符号化手段は、前記ディペンデントビュービデオストリームに係る圧縮符号化として、対応するピクチャ間のビットレートの差に相当する情報を圧縮符号化することとしてもよい。

　この構成によれば、ＭＰＥＧ－２規格に基づく再生装置による所定のビットレートの原映像の再生互換性を保ちつつ、従来よりも必要とするデータ量の増加を抑えて、前述の所定のビットレートよりも高ビットレートの原映像を圧縮符号化することができる。

　また、前記第２映像は、前記原映像を前記第１映像よりも高階調で表現した映像であり、前記ピクチャそれぞれは、当該ピクチャを構成する各ピクセルの階調を表す階調情報を有し、前記第２符号化手段は、前記ディペンデントビュービデオストリームに係る圧縮符号化として、対応するピクチャ間の階調情報の差分を圧縮符号化することとしてもよい。

　この構成によれば、ＭＰＥＧ－２規格に基づく再生装置による所定の階調表現の原映像の再生互換性を保ちつつ、従来よりも必要とするデータ量の増加を抑えて、前述の所定の階調表現よりも高階調で表現した原映像を圧縮符号化することができる。

　また、前記第２映像は、前記原映像を前記第１映像よりも高解像度で表現した映像であり、前記第２符号化手段は、前記参照画像として、前記第２映像の解像度に変換した前記ＭＰＥＧ－２形式のストリームのピクチャを用いることとしてもよい。

　この構成によれば、ＭＰＥＧ－２規格に基づく再生装置による所定の解像度の原映像の再生互換性を保ちつつ、従来よりも必要とするデータ量の増加を抑えて、前述の所定の解像度よりも高解像度で表現した原映像を圧縮符号化することができる。

　また、前記第１映像は、前記原映像をインターレース形式で表現した映像であり、前記第２映像は、前記原映像をプログレッシブ形式で表現した映像であり、前記第２符号化手段は、トップフィールド及びボトムフィールドの各ピクチャを前記参照画像として用いる場合に、当該ピクチャの解像度を前記第２映像の解像度に変換して用いることとしてもよい。

　この構成によれば、ＭＰＥＧ－２規格に基づく再生装置によるインターレース形式の原映像の再生互換性を保ちつつ、従来よりも必要とするデータ量の増加を抑えて、プログレッシブ形式の原映像を圧縮符号化することができる。

　また、前記第２符号化手段は、前記第２映像として、前記原映像を前記第１映像よりも高いビットレートで表現した映像、前記原映像を前記第１映像よりも高階調で表現した映像及び前記原映像を前記第１映像よりも高解像度で表現した映像のいずれかを用い、いずれの映像を用いたかを示すディスクリプタを、前記ベースビュービデオストリーム及び前記ディペンデントビューストリームの少なくとも一方に含めることとしてもよい。

　この構成によれば、再生側に、第２映像が前記原映像を前記第１映像よりも高いビットレートで表現した映像、前記原映像を前記第１映像よりも高階調で表現した映像及び前記原映像を前記第１映像よりも高解像度で表現した映像のいずれであるかを特定させることができる。

　本発明の一実施態様である映像符号化方法は、原映像を第１の品位に変換した第１映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化ステップと、ＭＰＥＧ－４　ＭＶＣ形式に準拠しベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、前記第１及び前記第２符号化手段により生成されたストリームを送出する送出ステップとを含み、前記第２符号化ステップにおいて、前記ベースビュービデオストリームとして、前記第１映像を圧縮符号化して得られるストリームとピクチャ数が同一であって、総データ量を少なくした疑似データから成るストリームを生成し、一方、前記ディペンデントビュービデオストリームとして、前記原映像を前記第１の品位より高い第２の品位に変換した第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記ＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化したストリームを生成する。

　本発明の一実施態様である映像符号化プログラムは、コンピュータを映像符号化装置として機能させるための映像符号化プログラムであって、前記コンピュータを、原映像を第１の品位に変換した第１映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、ＭＰＥＧ－４　ＭＶＣ形式に準拠しベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、前記第１及び前記第２符号化手段により生成されたストリームを送出する送出手段として機能させ、前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１映像を圧縮符号化して得られるストリームとピクチャ数が同一であって、総データ量を少なくした疑似データから成るストリームを生成し、一方、前記ディペンデントビュービデオストリームとして、前記原映像を前記第１の品位より高い第２の品位に変換した第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記ＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化したストリームを生成する。

　この構成によれば、ＭＰＥＧ－２規格に基づく再生装置による第１の品位の原映像の再生互換性を保ちつつ、従来よりも必要とするデータ量の増加を抑えて、第１の品位より高品位な第２の品位の原映像を圧縮符号化することができる。

　本発明の一実施態様である映像再生装置は、前述の映像符号化装置により送出されるストリームを取得して復号及び再生する映像再生装置であって、前記ＭＰＥＧ－２形式のストリームを復号する第１復号手段と、前記ベースビュービデオストリームを復号し、前記ディペンデントビューストリームの復号において第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記第１復号手段により復号されたピクチャを参照画像として復号する第２復号手段と、前記第２復号手段により得られた前記第２映像を再生する再生手段とを備える。

　本発明の一実施態様である映像再生方法は、前述の映像符号化方法により送出されるストリームを取得して復号及び再生する映像再生方法であって、前記ＭＰＥＧ－２形式のストリームを復号する第１復号ステップと、前記ベースビュービデオストリームを復号し、前記ディペンデントビューストリームの復号において第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記第１復号ステップにより復号されたピクチャを参照画像として復号する第２復号ステップと、前記第２復号ステップにより得られた前記第２映像を再生する再生ステップとを含む。

　本発明の一実施態様である映像再生プログラムは、コンピュータを、前述の映像符号化装置により送出されるストリームを取得して復号及び再生する映像再生装置として機能させるための映像再生プログラムであって、前記コンピュータを、前記ＭＰＥＧ－２形式のストリームを復号する第１復号手段と、前記ベースビュービデオストリームを復号し、前記ディペンデントビューストリームの復号において第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記第１復号手段により復号されたピクチャを参照画像として復号する第２復号手段と、前記第２復号手段により得られた前記第２映像を再生する再生手段として機能させる。

　この構成によれば、ＭＰＥＧ－２規格に基づく再生装置による第１の品位の原映像の再生互換性を保ちつつ、従来よりも必要とするデータ量の増加を抑えた、第１の品位より高品位な第２の品位の原映像を圧縮符号化したストリームから、第２の品位の原画像を復号、再生することができる。
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
（３）上記の各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、などから構成されるコンピュータシステムとしてもよい。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（４）本発明は、上述の各処理の手順を表した方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ適宜組み合わせるとしてもよい。

　本発明に係る映像符号化装置及び映像再生装置は、ＭＰＥＧ－２方式のストリームを再生する従来の再生装置での再生互換性を維持しながら、より高品位な映像の符号化、伝送、再生を実現するシステムを構成する機器として好適である。

　２６０２　２Ｄ互換ビデオエンコーダ
　２６０３　２Ｄ互換ビデオデコーダ
　２６０４　拡張マルチビュービデオエンコーダ
　２６０５　ベースビュービデオエンコーダ
　２６０６　２Ｄ互換ビデオ符号化情報
　２６０７　ベースビュービデオ符号化情報
　２６０８　２Ｄ互換ビデオフレームメモリ
　２６０９　ディペンデントビュービデオエンコーダ
　２６１０　マルチプレクサ
　２８０１　ＰＩＤフィルタ
　２８０２　ＴＢ（１）
　２８０３　ＭＢ（１）
　２８０４　ＥＢ（１）
　２８０５　２Ｄ互換ビデオ圧縮映像デコーダ
　２８０６　Ｏ（リオーダリングバッファ）
　２８０７　スイッチ
　２８０８　第１プレーン
　２８０９　ＴＢ（２）
　２８１０　ＭＢ（２）
　２８１１　ＥＢ（２）
　２８１２　ＴＢ（３）
　２８１３　ＭＢ（３）
　２８１４　ＥＢ（３）
　２８１５　デコードスイッチ
　２８１６　ビュー間参照バッファ
　２８１７　マルチビュービデオ圧縮映像デコーダ
　２８１８　ＤＰＢ
　２８１９　出力プレーンスイッチ
　２８２０　第２プレーン
　２８２１　２Ｄ互換ビデオデコーダ
　２８２２　拡張マルチビュービデオデコーダ
　５４０１　データ作成装置
　５４０４　拡張マルチビュービデオエンコーダ
　５４０９　ディペンデントビュービデオエンコーダ
　５６２３　再生装置

Claims

　原映像を第１の品位に変換した第１映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、
　ＭＰＥＧ－４　ＭＶＣ形式に準拠しベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
　前記第１及び前記第２符号化手段により生成されたストリームを送出する送出手段とを備え、
　前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１映像を圧縮符号化して得られるストリームとピクチャ数が同一であって、総データ量を少なくした疑似データから成るストリームを生成し、
　一方、前記ディペンデントビュービデオストリームとして、前記原映像を前記第１の品位より高い第２の品位に変換した第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記ＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化したストリームを生成する
　ことを特徴とする映像符号化装置。
　前記第２符号化手段は、前記ＭＰＥＧ－４　ＭＶＣ形式に準拠したストリームの生成において、当該ストリームに、前記参照画像が前記ＭＰＥＧ－２形式のストリームに含まれることを示す情報を含める
　ことを特徴とする請求項１記載の映像符号化装置。
　前記第２符号化手段は、前記参照画像として、前記ＭＰＥＧ－２形式のストリームのピクチャのうち、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）の値が、前記第２映像において符号化の対象となっている当該ピクチャに対応している前記ベースビュービデオストリームのピクチャのＰＴＳの値と同一であるピクチャを選出する
　ことを特徴とする請求項２記載の映像符号化装置。
　前記第１符号化手段及び前記第２符号化手段は、前記第１映像及び第２映像の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに、前記アスペクト比を示す情報を含める
　ことを特徴とする請求項２記載の映像符号化装置。
　前記第２符号化手段は、前記疑似データとして、経時的変化のないピクチャ群を用いる
　ことを特徴とする請求項１記載の映像符号化装置。
　前記第２符号化手段は、前記経時的変化のないピクチャ群として、単色の画像から成る画像群を用いる
　ことを特徴とする請求項２記載の映像符号化装置。
　前記第２映像は、前記原映像を前記第１映像よりも高いビットレートで表現した映像であり、
　前記第２符号化手段は、前記ディペンデントビュービデオストリームに係る圧縮符号化として、対応するピクチャ間のビットレートの差に相当する情報を圧縮符号化する
　ことを特徴とする請求項１記載の映像符号化装置。
　前記第２映像は、前記原映像を前記第１映像よりも高階調で表現した映像であり、
　前記ピクチャそれぞれは、当該ピクチャを構成する各ピクセルの階調を表す階調情報を有し、
　前記第２符号化手段は、前記ディペンデントビュービデオストリームに係る圧縮符号化として、対応するピクチャ間の階調情報の差分を圧縮符号化する
　ことを特徴とする請求項１記載の映像符号化装置。
　前記第２映像は、前記原映像を前記第１映像よりも高解像度で表現した映像であり、
　前記第２符号化手段は、前記参照画像として、前記第２映像の解像度に変換した前記ＭＰＥＧ－２形式のストリームのピクチャを用いる
　ことを特徴とする請求項１記載の映像符号化装置。
　前記第１映像は、前記原映像をインターレース形式で表現した映像であり、
　前記第２映像は、前記原映像をプログレッシブ形式で表現した映像であり、
　前記第２符号化手段は、トップフィールド及びボトムフィールドの各ピクチャを前記参照画像として用いる場合に、当該ピクチャの解像度を前記第２映像の解像度に変換して用いる
　ことを特徴とする請求項９記載の映像符号化装置。
　前記第２符号化手段は、前記第２映像として、前記原映像を前記第１映像よりも高いビットレートで表現した映像、前記原映像を前記第１映像よりも高階調で表現した映像及び前記原映像を前記第１映像よりも高解像度で表現した映像のいずれかを用い、いずれの映像を用いたかを示すディスクリプタを、前記ベースビュービデオストリーム及び前記ディペンデントビューストリームの少なくとも一方に含める
　ことを特徴とする請求項１記載の映像符号化装置。
　原映像を第１の品位に変換した第１映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化ステップと、
　ＭＰＥＧ－４　ＭＶＣ形式に準拠しベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
　前記第１及び前記第２符号化手段により生成されたストリームを送出する送出ステップとを含み、
　前記第２符号化ステップにおいて、前記ベースビュービデオストリームとして、前記第１映像を圧縮符号化して得られるストリームとピクチャ数が同一であって、総データ量を少なくした疑似データから成るストリームを生成し、
　一方、前記ディペンデントビュービデオストリームとして、前記原映像を前記第１の品位より高い第２の品位に変換した第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記ＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化したストリームを生成する
　ことを特徴とする映像符号化方法。
　コンピュータを映像符号化装置として機能させるための映像符号化プログラムであって、
　前記コンピュータを、
　原映像を第１の品位に変換した第１映像を圧縮符号化することによりＭＰＥＧ－２形式のストリームを生成する第１符号化手段と、
　ＭＰＥＧ－４　ＭＶＣ形式に準拠しベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
　前記第１及び前記第２符号化手段により生成されたストリームを送出する送出手段として機能させ、
　前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１映像を圧縮符号化して得られるストリームとピクチャ数が同一であって、総データ量を少なくした疑似データから成るストリームを生成し、
　一方、前記ディペンデントビュービデオストリームとして、前記原映像を前記第１の品位より高い第２の品位に変換した第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記ＭＰＥＧ－２形式のストリームのピクチャを参照画像として圧縮符号化したストリームを生成する
　ことを特徴とする映像符号化プログラム。
　請求項１記載の映像符号化装置により送出されるストリームを取得して復号及び再生する映像再生装置であって、
　前記ＭＰＥＧ－２形式のストリームを復号する第１復号手段と、
　前記ベースビュービデオストリームを復号し、前記ディペンデントビューストリームの復号において第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記第１復号手段により復号されたピクチャを参照画像として復号する第２復号手段と、
　前記第２復号手段により得られた前記第２映像を再生する再生手段とを備える
　ことを特徴とする映像再生装置。
　請求項１２記載の映像符号化方法により送出されるストリームを取得して復号及び再生する映像再生方法であって、
　前記ＭＰＥＧ－２形式のストリームを復号する第１復号ステップと、
　前記ベースビュービデオストリームを復号し、前記ディペンデントビューストリームの復号において第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記第１復号ステップにより復号されたピクチャを参照画像として復号する第２復号ステップと、
　前記第２復号ステップにより得られた前記第２映像を再生する再生ステップとを含む
　ことを特徴とする映像再生方法。
　コンピュータを、請求項１記載の映像符号化装置により送出されるストリームを取得して復号及び再生する映像再生装置として機能させるための映像再生プログラムであって、
　前記コンピュータを、
　前記ＭＰＥＧ－２形式のストリームを復号する第１復号手段と、
　前記ベースビュービデオストリームを復号し、前記ディペンデントビューストリームの復号において第２映像の各ピクチャを、前記ベースビュービデオストリームにおいて当該ピクチャに対応するピクチャと同時刻の前記第１復号手段により復号されたピクチャを参照画像として復号する第２復号手段と、
　前記第２復号手段により得られた前記第２映像を再生する再生手段として機能させる
　ことを特徴とする映像再生プログラム。