JP4183587B2 - 画像記録装置 - Google Patents

Description

本発明は、２次元（２Ｄ）画像と３次元（３Ｄ）画像を記録する画像記録装置に関するものである。

従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。

２眼式の代表的な方式としてフィールドシーケンシャル方式やパララクスバリア方式が提案されている。

図２０は、フィールドシーケンシャル方式を説明するための概念図である。このフィールドシーケンシャル方式は、図２０のように、左眼用画像と右眼用画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼用画像の表示と右眼用画像の表示が交互に切り替えて表示されるものである。左眼用画像および右眼用画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼用画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼用画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼用画像は左眼だけで、右眼用画像は右眼だけで観察されることになり、立体視を行うことができる。

図２１は、パララクスバリア方式を説明するための概念図である。図２１（Ａ）は、視差が生じる原理を示す図である。一方、図２１（Ｂ）は、パララクスバリア方式で表示される画面を示す図である。

図２１（Ａ）では、図２１（Ｂ）に示すような左眼用画像と右眼用画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル１０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア１０２を画像表示パネル１０１の前面に置くことにより、左眼用画像は左眼１０３だけで、右眼用画像は右眼１０４だけで観察することになり、立体視を行うことができる。

以上のような立体視を行うために、表示する左眼用画像や右眼用画像をデジタルカメラなどでそれぞれ撮影するが、この場合２つのファイルが作成される。これらのファイルを汎用の記録再生装置や伝送装置で取り扱った場合には、これらの画像が立体視を行うための左眼用画像と右眼用画像を構成する２つのペアの画像であることを認識することができず、全て独立の画像として取り扱われることになり、誤って左眼用画像や右眼用画像のうちのどちらか１コマだけ消去したり、伝送したりされる不具合を生じる問題があった。

このような問題を解決するために、特許文献１では、１つの画像内に左右の視点の画像を含んだステレオ（２眼式）画像に、該ステレオ画像に関する画像以外の情報を付加して１つの画像取り扱い単位（ファイル）として構成し、該ファイルにより画像を取り扱う画像装置に関する技術が開示されている。
特開２００２−７７９４３号公報

しかしながら、特許文献１では、ステレオ画像に関する画像以外の情報を付加して１つの画像取り扱い単位（ファイル）とした構成であるため、動画ファイルに適応した場合、２Ｄ画像データと３Ｄ画像データが混在する動画ファイル（混在ファイル）は取り扱うことが出来ないという問題があった。ここで、２Ｄとは２次元、３Ｄとは３次元を指し、２Ｄ画像とは、従来の単一視点の画像のみにより構成される画像である。これに対し、３Ｄ画像とは、視差のある複数の画像の組により構成される画像である。

図２２に３Ｄ画像の一例を示す。この例の３Ｄ画像１１２は、左眼用画像１１０と右眼用画像１１１の２つの視点に対応する画像を、水平方向に２分の１に間引きした後、横並びに配置した３Ｄ画像である。

また、このような混在ファイルは３Ｄ画像が表示できない従来再生装置では再生できない、もしくは、図２２のような水平方向に２分の１に間引きされて、横並びに配置された左眼用画像１１０と右眼用画像１１１がそのまま表示されてしまうという問題があった。

本発明は、以上のような問題点を解決するためになされたものであって、その目的は、２Ｄ画像データ、もしくは３Ｄ画像データ、もしくは２Ｄ画像データと３Ｄ画像データが混在するデータのそれぞれを入力とし、少なくとも１つ以上の２Ｄ画像データのみから構成された動画と、少なくとも１つ以上の３Ｄ画像データのみから構成された動画に分けて、そのままもしくは圧縮や変換をして記録を行い、所定の時間単位での視聴及び管理が可能な管理情報の自動生成を行う画像記録装置を提供することにある。

本発明は、各種データを含む入力画像データから画像ファイルを作成して記録する画像記録装置において、入力データから少なくとも画像データと制御用データにそれぞれ分離する分離手段と、分離された画像データに基づいて、少なくとも２次元画像データを含む２次元画像ファイルと、少なくとも３次元画像データを含む３次元画像ファイルとを作成するファイル作成手段と、前記制御用データに基づいて、分離された前記画像データが２次元画像データか３次元画像データかを判定し、該判定結果に基づいて前記ファイル作成手段にファイルを作成させる制御手段と、を備えたことを特徴とする。

また、本発明は、前記画像記録装置において、前記制御手段は、複数の前記２次元画像ファイル同士をまとめて一つのファイルを作成させ、複数の前記３次元画像ファイル同士をまとめて一つのファイルを作成させることを特徴とする。

また、本発明は、前記画像記録装置において、符号化された入力データを復号する復号手段を備え、前記ファイル作成手段は、前記復号手段により復号された画像データのファイルを作成することを特徴とする。

また、本発明は、前記画像記録装置において、復号化された入力データから前記分離手段により分離された画像データを符号化する符号化手段を備え、前記ファイル作成手段は、前記符号化手段により符号化された画像データのファイルを作成することを特徴とする。
また、本発明は、前記画像記録装置において、前記復号手段により復号された画像データを符号化する符号化手段を備え、前記ファイル作成手段は、前記符号化手段により符号化された画像データのファイルを作成することを特徴とする。

また、本発明は、前記画像記録装置において、前記分離手段により分離された３次元画像データを２次元画像データに変換する３Ｄ／２Ｄ変換手段を備え、前記ファイル作成手段は、前記３Ｄ／２Ｄ変換手段により変換された２次元画像データに基づいて２次元画像ファイルを作成することを特徴とする。

また、本発明は、前記画像記録装置において、符号化された入力データから２次元画像データを構成する１つの視点の画像を復号するのに必要な領域の符号化したデータのみを抽出して、新たな２次元表示用の符号化データを作成する３Ｄ／２Ｄ変換手段を備えることを特徴とする。

また、本発明は、前記画像記録装置において、前記制御手段は、作成した複数のファイルに対して、それらの再生やファイル管理を行うための少なくとも１つ以上の管理情報ファイルを作成することを特徴とする。

また、本発明は、前記画像記録装置において、前記管理情報ファイルは、２次元画像ファイルと３次元画像ファイルの識別を行うための識別情報を含むことを特徴とする。

また、本発明は、前記画像記録装置において、前記管理情報ファイルは、その管理情報で管理しているファイルのオフセット情報を含むことを特徴とする。

また、本発明は、前記画像記録装置において、前記制御手段は、前記ファイルを構成する画像データのなかで、該画像データの特徴を示す制御用データの内容が一致しなければ、さらに制御用データが一致する画像データ同士でファイルを分割作成させることを特徴とする。

また、本発明は、前記画像記録装置において、前記制御手段は、作成したファイルを、番組毎に分けたフォルダの下に配置させることを特徴とする。

また、本発明は、前記画像記録装置において、前記制御手段は、２次元画像ファイルを２次元画像ファイル用のフォルダに、３次元画像ファイルを３次元画像ファイル用のフォルダの下に配置させることを特徴とする。

また、本発明は、前記画像記録装置において、２次元画像ファイルと３次元画像ファイルの区別や、各ファイルの内容に関する情報、再生する順番を用いてファイル名を作成することを特徴する。

また、本発明は、前記画像記録装置において、前記制御手段は、１つの番組が少なくとも１つ以上のファイルに分割されて記録される場合、同じ番組であることを示す情報と、該１つの番組を構成する該ファイルの総数、該ファイルが再生される順番の情報をそれぞれ該ファイル内に記録させることを特徴とする。

本発明の画像記録装置によれば、入力データを２Ｄ画像データと３Ｄ画像データに分けて記録して、２Ｄ画像データと３Ｄ画像データが混在するようなファイルを作成しないようにすることにより、３Ｄ画像データが再生できない２Ｄ表示用の再生装置や、３Ｄ画像データから２Ｄ画像データに変換して表示できない３Ｄ非対応２Ｄ表示装置のような再生装置であっても、記録したデータのうち少なくとも２Ｄで放送された部分は全て正しく再生することができる。

さらに本発明の画像記録装置によれば、２次元画像ファイルや３次元画像ファイル同士をまとめてファイルを作成するので、扱うファイル数を減らすことができ、管理が容易となる。

さらに本発明の画像記録装置によれば、符号化データを入力とする場合でも、画像記録装置１に復号手段を追加し、分離手段２と多重化手段４の間にその復号手段を配置し、復号した画像データを多重化手段４に伝送することより、ファイルの再生時に復号処理が不要な復号済みの画像データのファイルを作成することが出来る。

さらに本発明の画像記録装置によれば、前記画像記録装置の入力が復号画像データであったり、前記画像記録装置が入力画像符号化データに対する復号手段を備えているといった復号画像データが扱える場合でも、前記画像記録装置に符号化手段を追加し、符号化手段に復号画像データを入力し、符号化データを多重化手段に伝送することにより、符号化された画像データのファイルを作成することが出来、さらに符号化のパラメータを変えることにより、出力ファイルの圧縮率およびファイルサイズなどが任意に変更できる。

さらに本発明の画像記録装置によれば、入力された３Ｄ画像データに対して３Ｄ／２Ｄ変換（３Ｄ画像データを２Ｄ画像データに変換する変換処理）を行い２Ｄ画像データとして記録することにより、３Ｄ非対応２Ｄ表示装置のような再生装置であっても、３Ｄで放送された部分を２Ｄで再生することができる。すなわち、３Ｄ画像データを含む番組の途中をスキップなどすることなく、全て再生できる。

さらに本発明の画像記録装置によれば、符号化データを直接操作して、１つの視点の画像を復号するのに必要な領域の符号化データのみを抽出して、新たな２Ｄ表示用の符号化データを作成することにより、高速に３Ｄ／２Ｄ変換を行うことが出来る。またアスペクト比を変更することにより、符号化する画像サイズを小さくすることが出来るため、圧縮率を高くすることが出来る。

さらに本発明の画像記録装置によれば、前記画像記録装置は、各再生装置向けにその再生装置が再生できるファイルのみを扱う管理情報ファイルを作成し、各再生装置は、作成した管理情報ファイルを用いてファイルを取り扱うようにすることにより、異なる仕様の再生装置であってもファイルを共通化して再生することが出来る。

さらに本発明の画像記録装置によれば、１つの管理情報ファイルを用いて、見かけ上１つのファイルとして管理することにより、ユーザーのファイルの扱いが簡易になり、ファイルの検索などを用いた場合、検索にかかる時間を短くすることが出来る。

さらに本発明の画像記録装置によれば、管理情報ファイルで指定する再生対象のファイルに対して、ファイルの内容に関する情報を反映したフォルダを作成し、そのフォルダの下に配置することにより、管理情報ファイルがない場合でもユーザーはファイルの内容をフォルダ名やその配置から判断できる。また、ファイルの扱い自体も簡易になり、ファイルの検索などを用いた場合も検索にかかる時間が短縮出来る。

さらに本発明の画像記録装置によれば、管理情報ファイルで指定した再生対象のファイルに対して、ファイルの内容や、再生する順番をファイル名に反映することにより、ユーザーは容易にファイルの内容や、再生する順番をファイル名から判断でき、ファイルの扱いも簡易になる。

さらに本発明の画像記録装置によれば、１つの番組が少なくとも１つ以上のファイルに分割されて記録される場合、番組を構成するすべての動画ファイルの総数や再生する順番などの情報をファイル内に記録することにより、管理情報ファイルが無い場合でも正しく再生を行うことが出来る。

さらに本発明の画像記録装置によれば、管理情報ファイルで指定した再生対象のファイルのそれぞれに対して、そのファイルが２Ｄ画像データのみで構成されたファイルであるのか、もしくは３Ｄ画像データのみで構成されたファイルであるのかを識別するための管理情報を用いることにより、同一の管理情報を３Ｄ対応３Ｄ表示装置と３Ｄ対応２Ｄ表示装置、３Ｄ非対応２Ｄ表示装置のすべてで共通化して使用できる。

さらに本発明の画像記録装置によれば、ユーザーが再生装置で管理情報ファイルを用いた再生を行い、かつランダムアクセスをした場合、現在アクセスしたファイルの再生時刻とそのファイルのオフセット情報を足したものを、アクセスした所の時刻として用いることにより、管理情報ファイルを見かけ上１つのファイルとしてランダムアクセスが出来る。

さらに本発明の画像記録装置によれば、３Ｄ制御情報におけるパラメータが動画シーケンスの途中で変化した場合に、変化したフレームの時刻において３Ｄファイルを分割して記録することにより、変化前後の３Ｄ制御情報のうち、いずれか一方の３Ｄ制御情報をもつ３Ｄ画像データにしか対応していない３Ｄ表示装置であっても、対応している部分のファイルに容易にアクセスして再生できる。

本発明における実施の形態の説明をする前に、本明細書において使用する用語について、以下のように定義する。
放送データとは、放送局から送出されるデータの総称であり、無線や有線を介して送信される放送や、インターネットのストリーミング放送など含む。
コンテンツとは、一般的には放送される番組と同じ意味であるが、ここでは少なくともビデオデータとオーディオデータとデータ放送用データのいずれか１つを含むデータの集まりである。放送データには、複数のコンテンツが含まれる。

番組配列情報とは、放送データ中にどのようなコンテンツが含まれているかを管理するための情報であり、複数のコンテンツの内容を示す情報である。図１に放送データにおけるコンテンツと番組配列情報の構成例を示す。各コンテンツには、番組配列情報が含まれており、例えばコンテンツデータのヘッダ部分に番組配列情報が記録されている。
３Ｄ画像制御情報とは、３Ｄ画像の特徴を示す画像配置方法（各視点画像の視点数や、横並び、縦並び、格子状といった各視点画像の配置）に関する情報や、３Ｄ画像の表示を制御する際に用いる情報である。

３Ｄ表示とは、複数視点の画像を用いて、観察者の左眼と右眼が異なる視点画像を観察できるように表示することである。これに対して、２Ｄ表示とは、観察者の左眼と右眼が同じ画像を観察できるように表示することである。
２Ｄ画像データとは２Ｄ表示用の画像データ、３Ｄ画像データとは３Ｄ表示用の画像データである。
また、２Ｄ画像データのみから構成されるシーンを２Ｄシーン、３Ｄ画像データのみから構成されるシーンを３Ｄシーンと称す。

また、３Ｄ画像データのデコードが可能かつ３Ｄ表示も可能な装置を３Ｄ対応３Ｄ表示装置、３Ｄ画像データのデコードが可能かつ３Ｄ表示が不可能な装置を３Ｄ対応２Ｄ表示装置、３Ｄ画像データのデコードが不可能かつ３Ｄ表示も不可能な装置をと３Ｄ非対応２Ｄ表示装置とそれぞれ称す。

＜第１の実施形態＞
本発明における第１の実施形態である画像記録装置について図面を参照して説明する。
図２は本発明の第１の実施形態による画像記録装置の構成例を示すブロック図である。図２において、画像記録装置１は、分離手段２、制御手段３、多重化手段（ファイル作成手段）４、スイッチ５から構成される。

分離手段２は、ヘッダなどの制御用データや、画像データ、音声データなどの複数種類のデータを所定の方式により多重化した多重化データをそれぞれの構成要素のデータに分離する。多重化の方式としては、ＭＰＥＧ−２システム規格で定められたトランスポートストリーム（以下、ＴＳと称す）や、ＡＶＩ（Audio Video Interleaved）フォーマット、ＡＳＦ（Advance Sytems Format）フォーマットなどが知られている。また画像や音声データには、符号化されたデータも含む。例えば、画像データでは、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ（Advanced Video Coding）、音声データでは、ＡＡＣ（Advanced Audio Coding）、ＭＰ３（ＭＰＥＧ−１ Audio Layer−3）、ＷＭＡ（Windows（Ｒ） Media Audio）などを含んでいる。なお、分離手段２を用いずに、２Ｄ画像データや３Ｄ画像データ、音声データ、制御用データを別々に入力するようにしてもよい。

制御手段３は、制御用データ等により画像データと音声データが適切に記録されるように各手段やスイッチを制御する。入力された画像データが３Ｄ画像データである場合、制御用データには３Ｄ表示の制御に必要な３Ｄ制御情報が含まれている。３Ｄ制御情報とは、例えば１枚の画像に含まれる視点の数、図２２や図２０で示されるような複数の視点を一枚の画像にするための合成方法（３Ｄ画像のフォーマット形式）、撮影条件、３Ｄ画像データの飛び出し具合の強さを示す立体強度、３Ｄ表示する時間を制限するためのしきい値情報などに関する情報が含まれる。

制御手段３は、この３Ｄ制御情報の有無により、入力データが３Ｄ画像データであるか否かを判定することができる。また、入力データが２Ｄ画像データか３Ｄ画像データかの種別を示す識別子を３Ｄ制御情報に含ませ、その識別子により判定してもよい。

多重化手段４は、分離手段２から入力された画像及び音声のデータと、制御手段３を通じて入力された制御用データをそれぞれ多重化してスイッチ５へ出力する。多重化の方式は、分離手段で述べたのと同様に、ＴＳや、ＡＶＩフォーマット、ＡＳＦフォーマットなどが含まれるが、これらに限定されないものとする。

制御手段３は、多重化手段４から出力されたデータが２Ｄ画像データであるか３Ｄ画像データであるかによりスイッチ５を切り替え、それぞれ２Ｄ画像データのみから構成されたデータ（もしくは２Ｄファイル）と３Ｄ画像データのみから構成されたデータ（もしくは３Ｄファイル）を出力する。

次に本発明の第１の実施形態による画像記録装置１の動作について、入力を放送データ、出力をファイルとする例を用いて詳細に説明する。以下、説明の簡略化のため、音声データについては省略する。
また以下では、取り扱う３Ｄ画像データの一例として図２２で示したようなパララクスバリア方式の画像データを用いて説明する。

図３は、２Ｄシーンと３Ｄシーンが混在した放送データの例である。
表１に、記録時刻と出力ファイルとの関係をまとめる。

ユーザーが記録を開始した時刻をｔ１、番組Ｐ２が開始された時刻をｔ２、番組Ｐ２内で２Ｄシーンから３Ｄシーンに切り替わった時刻をｔ３、番組Ｐ２内で３Ｄシーンから２Ｄシーンに切り替わった時刻をｔ４、番組Ｐ３が開始された時刻をｔ５、ユーザーが記録を終了した時刻をｔ６とする。
また、番組Ｐ１及びＰ３は２Ｄシーンのみで構成された番組であり、番組Ｐ２は、１つの番組内に２Ｄシーンと３Ｄシーンが混在する番組である。

時刻ｔ１からｔ２において、２Ｄシーンのみの放送である番組Ｐ１がＤｉｎに入力され、２Ｄファイルが作成される。
入力データＤｉｎが分離手段２に入力される。分離手段２は入力データＤｉｎを制御用データＨｉと画像データＩに分離し、制御用データＨｉを制御手段３に、２Ｄ画像データＩを多重化手段４にそれぞれ伝送する。放送データから分離される制御用データＨｉには、番組配列情報が含まれており、さらに番組配列情報には、その番組内で３Ｄ画像データを放送する場合、３Ｄ制御情報が含まれる。よって、番組Ｐ１は２Ｄシーンのみなので、このときの制御用データＨｉには３Ｄ制御情報は存在しない。

制御手段３は、制御用データＨｉ内に３Ｄ制御情報が存在しないので、現在入力されている入力データＤｉｎが２Ｄ画像データであると判定する。この場合、制御手段３は制御用データＨｉから２Ｄ表示用の動画ファイルのヘッダ情報として制御用データＨｏを作成し、多重化手段４に伝送する。

多重化手段４は、２Ｄ画像データＩと、制御用データＨｏをファイルのヘッダ情報として多重化し、２Ｄ画像データのみで構成された２ＤファイルＦ１を作成する。作成された２ＤファイルＦ１は、制御手段３の制御によりスイッチ５を介して出力される。またこのときの２Ｄファイルは、従来の２Ｄの動画ファイルと同じ構成のものである。

以下の説明において、分離手段２は、時刻ｔ１からｔ２における動作と同様に動作するため、その説明は省略する。また、２Ｄファイルを作成する場合、多重化手段４は、時刻ｔ１からｔ２における動作と同様に動作するため、その説明は省略する。

時刻ｔ２からｔ３において、番組Ｐ２のうち最初にある２ＤシーンのみがＤｉｎに入力され、２Ｄファイルが作成される。このときの制御用データＨｉ内の番組配列情報には３Ｄ制御情報が存在し、さらにその３Ｄ制御情報には、入力データＤｉｎが２Ｄ画像データであることを示す識別子情報が含まれている。

制御手段３において識別子情報から入力データＤｉｎの種別が判定される。Ｄｉｎが２Ｄ画像データであると判定された場合、制御手段３とスイッチ５は、時刻ｔ１からｔ２における動作と同様の動作を行い、２ＤファイルＦ２を作成し、出力する。また、このときの制御用データＨｏには、３Ｄ制御情報は含まれない。

時刻ｔ３からｔ４において、番組Ｐ２のうち３ＤシーンのみがＤｉｎに入力され、３Ｄファイルが作成される。このときの制御用データＨｉ内の番組配列情報には３Ｄ制御情報が存在し、さらにその３Ｄ制御情報には、入力データＤｉｎが３Ｄ画像データであることを示す識別子情報が含まれている。

制御手段３において識別子情報から入力データＤｉｎの種別が判定される。Ｄｉｎが３Ｄ画像データであると判定された場合、制御手段３は、制御用データＨｉから３Ｄ表示用の動画ファイルのヘッダ情報として制御用データＨｏを作成し、多重化手段４に伝送する。このとき制御手段３で作成される３Ｄ表示用の動画ファイルのヘッダ情報とは、２Ｄ表示用の動画ファイルのヘッダ情報にある拡張領域に３Ｄ制御情報を加えた情報である。

多重化手段４は、入力された３Ｄ画像データＩと、制御用データＨｏをファイルのヘッダ情報として多重化し、３Ｄ画像データのみで構成されているファイルである３ＤファイルＦ３を作成する。また多重化手段４は、３Ｄ制御情報もしくはその一部（例えば２Ｄ画像データか３Ｄ画像データかを示す識別子情報など）を、画像のフレーム単位のデータ内に（例えば拡張情報として）格納し、３ＤファイルＦ３を作成してもよい。
作成された３ＤファイルＦ３は、制御手段３の制御によりスイッチ５を介して、出力される。

時刻ｔ４からｔ５において、番組Ｐ２のうち２ＤシーンのみがＤｉｎに入力され、画像記録装置１は時刻ｔ２からｔ３における動作と同様にして、２ＤファイルＦ４を作成する。時刻ｔ５からｔ６において、番組Ｐ３の２ＤシーンのみがＤｉｎに入力され、画像記録装置１は時刻ｔ１からｔ２における動作と同様にして、２ＤファイルＦ５を作成する。

上記で説明した、制御用データＨｉを用いた制御手段３における、入力データＤｉｎのデータ、および出力するファイルの種別に対する判定の方法について、フロチャートを用いて説明する。
図４は、制御手段３における、入力データＤｉｎのデータ、および出力するファイルの種別の判定法を示すフロチャートである。

ステップＳ１において、制御用データＨｉが制御手段３に入力される。
判定ステップＳ２において、制御用データＨｉに３Ｄ制御情報が含まれているかを判定し、含まれている場合には判定ステップＳ３へ進む。含まれていない場合は、入力データの種別が２Ｄ画像データで、記録するファイルも２Ｄファイルと判定し、制御手段３における判定処理を終了する。

判定ステップＳ３において、３Ｄ制御情報内部に、画像データＩが３Ｄ画像データであることを示す識別子情報が存在するか否かを判定し、存在する場合は、入力データの種別が３Ｄ画像データで、記録するファイルも３Ｄファイルと判定し、制御手段３における判定処理を終了する。存在しない場合は、入力データの種別が２Ｄ画像データで、記録するファイルも２Ｄファイルと判定し、制御手段３における判定処理を終了する。
上記で述べた判定法により、制御手段３は入力データＤｉｎのデータ、および出力するファイルの種別の判定する。

また上記ではファイルを５つのファイルに分けて出力したが、出力するファイルのうち、２Ｄファイルは任意の２Ｄファイル同士で、３Ｄファイルは任意の３Ｄファイル同士でまとめて出力しても構わない。例えば、２ＤファイルであるファイルＦ１とファイルＦ２を１つの２Ｄファイルとしてもよいし、同様に２ＤファイルであるファイルＦ４とファイルＦ５を１つの２Ｄファイルとしても構わないし、同じ番組の２ＤファイルであるファイルＦ３とＦ５を１つの２Ｄファイルとしても構わないし、すべての２Ｄファイルを１つの２Ｄファイルとしても構わない。管理情報にファイルの部分再生を実現するために再生するファイルのどの部分を再生するかを指定する情報を含むことによって、２ＤファイルであるファイルＦ３とＦ５を１つのファイルとして出力していても、番組Ｐ２の再生を分割して行える。
このように、２Ｄファイルは任意の２Ｄファイル同士で、３Ｄファイルは任意の３Ｄファイル同士でまとめて出力することにより、扱うファイル数を減らすことが出来るので管理が容易となる。

上記の説明で述べたように、画像記録装置１は、記録を開始した時刻ｔ１から記録を終了した時刻ｔ６にかけて、入力された放送データを５つのファイルに分けて記録する。

以上のように入力データを２Ｄ画像データと３Ｄ画像データに分けて記録して、２Ｄ画像データと３Ｄ画像データが混在するようなファイルを作成しないようにすることにより、３Ｄ画像データが再生できない２Ｄ表示用の再生装置や、３Ｄ画像データから２Ｄ画像データに変換して表示できない３Ｄ非対応２Ｄ表示装置のような再生装置であっても、記録したデータのうち少なくとも２Ｄ画像データとして放送された部分は全て正しく再生することができる。

また、上記では動画データの入力を前提として説明したが、データ放送などで静止画が送られてくる場合、１つのデータの中で２Ｄ表示用と３Ｄ表示用の静止画データがある場合にも同様にして２Ｄファイルと３Ｄファイルに分けて記録できる。

また、上記で説明した画像記録装置１の分離手段２から出力される画像データＩが符号化データである場合、画像データＩを復号するための復号手段を配置して画像データＩを復号し、復号画像データを多重化手段４に入力して、ファイルを作成してもよい。

図５は、本発明の第１の実施形態による画像記録装置１に画像データＩを変換する変換手段を備えたブロック図である。
図５の画像記録装置２０は、図２の画像記録装置１に対して、分離手段２から出力されるデータを入力とし、入力されたデータに対し、復号や、再符号化、３Ｄ／２Ｄ変換を行い、多重化手段４に出力する変換手段２１を加えただけの構成であり、分離手段２、多重化手段４、スイッチ５は、画像記録装置１で説明したのと同じ動作をする。

制御手段２２は、制御手段３に対し変換手段２１を制御する信号を入力する機能を加えたものであり、また、このとき入力される信号は、変換手段２１を構成する各手段の動作のＯＮ／ＯＦＦをそれぞれ独立に切り替えるための信号である。例えば、変換手段２１が復号手段や、符号化手段、３Ｄ／２Ｄ変換を行う手段などで構成されている場合、各手段の動作のＯＮ／ＯＦＦを、それぞれ独立に切り替えることが出来る。

次に、変換手段２１が復号を行う場合における変換手段２１の構成及び動作の説明を行い、再符号化や、３Ｄ／２Ｄ変換を行う場合の説明は後述する。

図６は、復号を行う際の変換手段２１ａの構成例を示すブロック図である。
このときの変換手段２１ａは復号手段３１のみで構成されており、入力された符号化データである画像データＩに対して復号を行い、復号画像データを出力する。変換手段２１ａから出力された復号画像データと制御用データＨｏに対して多重化手段４は多重化を図２で説明したのと同様に行い、ファイルを作成する。

また入力された画像データＩが符号化されていない画像データである場合は、制御手段２２は復号手段３１の動作をＯＦＦにして、変換手段２１ａは符号化されていない画像データを出力し、上記と同様にしてファイルを作成する。

以上のように、符号化データを入力とする場合でも、画像記録装置１に復号手段を追加し、分離手段２と多重化手段４の間にその復号手段を配置し、復号した画像データを多重化手段４に伝送することより、ファイルの再生時に復号処理が不要な復号済みの画像データのファイルを作成することが出来る。

次に、変換手段２１が再符号化を行う場合における変換手段２１の構成及び動作の説明を行う。

図７は、再符号化を行う際の変換手段２１ｂの構成例を示すブロック図である。このときの変換手段２１は復号手段３１と符号化手段３２で構成されており、復号手段３１は入力された符号化データである画像データＩに対して復号を行い、符号化手段３２に復号画像データを出力する。符号化手段３２は、入力された画像データに対して符号化を行い、符号化した画像データが多重化手段４に出力される。出力された符号化データと制御用データＨｏに対して多重化手段４は多重化を図２で説明したのと同様に行い、ファイルを作成する。

復号手段３１で復号する際は、復号途中のデータを符号化手段に出力し、再度符号化する際に利用しても構わない。例えば動きベクトルなどを利用すれば、符号化手段３２で処理量の大きな動きベクトル検出処理を省略できる。

以上のように、画像記録装置１の入力が復号画像データであったり、画像記録装置１が入力画像符号化データに対する復号手段を備え、復号画像データが扱える場合でも、画像記録装置１に符号化手段を追加することにより、符号化された画像データのファイルを作成することが出来る。さらに符号化の際のパラメータを変更すれば、出力ファイルの圧縮率およびファイルサイズも任意に変更できる。

また、上記の符号化手段と復号手段で用いられる符号化／復号方式の例として、ＭＰＥＧ−２ビデオ、ＭＰＥＧ−４ビデオ、Ｍｏｔｉｏｎ−ＪＰＥＧなどがあげられるがこれらに限定されない。

次に、変換手段２１が３Ｄ／２Ｄ変換を行う場合における変換手段２１の構成及び動作の説明を行う。ここで、３Ｄ／２Ｄ変換手段とは、３Ｄ画像データを２Ｄ画像データに変換する手段である。

図８は、３Ｄ／２Ｄ変換手段の様子を説明する図である。
図８において、３Ｄ画像データ４０は、水平方向に２分の１に間引きされた左眼用画像データと右眼用画像データが水平に並べられて構成されている。３Ｄ画像データ４０から左眼用画像データを選択し、２倍にアスペクト変換（水平拡大）を行うことにより２Ｄ画像データ４２を作成する。
また、２Ｄ画像データ４２は右眼用画像データを用いて作成しても構わない。

図９は、３Ｄ／２Ｄ変換を行う際の変換手段２１ｃの構成例を示すブロック図である。
このときの変換手段２１ｃは、復号手段３１と、３Ｄ／２Ｄ変換手段３３と、符号化手段３２とで構成されており、復号手段３１は入力された符号化データである画像データＩに対して復号を行い、３Ｄ／２Ｄ変換手段３３に復号された画像データを出力する。

３Ｄ／２Ｄ変換手段３３は、制御手段２２から変換手段２１に入力された画像データが３Ｄ画像データであるか否かを示す情報を入力とし、３Ｄ画像データであれば上記で説明した３Ｄ／２Ｄ変換を行った画像データを、そうでなければ入力された画像データに対して３Ｄ／２Ｄ変換を行わず、そのまま符号化手段３２に出力する。

符号化手段３２は、入力された画像データに対して符号化を行い、符号化した画像データが多重化手段４に出力される。多重化手段４は符号化データと制御用データＨｏを多重化して２Ｄファイルを作成する。

制御手段２２は、３Ｄ制御情報を含まない制御用データＨｏを多重化手段４に伝送し、２Ｄファイルが出力されるようにスイッチ５を制御する。
３Ｄ／２Ｄ変換を行わない場合は、再符号化を行う場合（図７）と同様にして２Ｄファイルを作成する。

以上のように、入力された３Ｄ画像データに対して３Ｄ／２Ｄ変換を行い２Ｄ画像データとして記録することにより、３Ｄ非対応２Ｄ表示装置のような再生装置であっても、３Ｄで放送された部分を２Ｄで再生することができる。すなわち、３Ｄ画像データを含む番組の途中をスキップなどすることなく、全て再生できる。

また、３Ｄ／２Ｄ変換手段は復号手段を介さずに、符号化データから、１視点の画像に対応した符号化データのみを抽出して、新たな２Ｄ表示用の符号化データを作成してもよい。このとき、抽出したデータは水平方向に２分の１に間引きされた画像に対応するので、制御用データＨｉ内もしくは符号化データ内にある水平アスペクト比の情報を変更し、画像データが水平に２分の１に間引きされている旨を反映する。

また、符号化データがＭＰＥＧなどの動き予測を使うブロックベースの符号化の場合、１つの視点の画像を復号するのに、他の視点の画像データが必要な場合がある。例えば前フレーム（参照フレーム）から動きを予測する動き予測符号化において、参照フレーム内の他の視点の部分から予測している場合などがそれにあたる。

この場合、抽出したい視点の符号化データのみを抽出しつつ、同時に復号手段を用いて全ての符号化データを復号し、他の視点の画像領域から予測する場合のみ、さらに符号化手段を用いて、抽出したい視点の画像領域のみから動き予測するように再符号化したり、動き予測を使わない画像内符号化で再符号化する。
また、動きベクトルそのものの予測やＤＣ／ＡＣ予測などにおいても同様に他の視点の画像領域におけるデータを利用する領域はすべて再符号化を行う。

また上記の再符号化に対し、処理の軽減のため、符号化手段や復号手段を用いず、再符号化も行わないで、必要なブロックの符号化データのみを抽出して２Ｄファイルを作成してもよい。この場合、動き補償におけるミスマッチングや、動きベクトルの予測やＤＣ／ＡＣ予測などにおいてミスマッチングが生じる場合があるが、高速に２Ｄ画像データを作成することが出来る。このようなミスマッチが生じる領域は小さく、また通常、フレーム内符号化されたフレームが周期的に入るため、ミスマッチが長期間に渡って蓄積することは無く、画質劣化は小さいと考えられる。

以上のようにして、符号化データを直接操作して、１つの視点の画像を復号するのに必要な領域の符号化データのみを抽出して、新たな２Ｄ表示用の符号化データを作成することにより、高速に３Ｄ／２Ｄ変換を行うことが出来る。またアスペクト比を変更することにより、符号化する画像サイズを小さくすることが出来るため、圧縮率を高くすることが出来る。

また上記で説明した３Ｄ／２Ｄ変換手段は、入力された３Ｄ画像データを２Ｄ画像データに変換して出力する手段であるが、変換された２Ｄ画像データを出力するのと平行して、入力の３Ｄ画像データも同時に出力しても構わない。

また、上記で作成した２Ｄファイルや３Ｄファイルを記録単位もしくは番組単位でまとめて連続再生できるように、管理情報ファイルを別途作成してもよい。画像記録装置１の説明において５つのファイルが作成されることを述べたが、その場合における管理情報について例を挙げて説明する。

表２は、そのときの動画ファイル名、記録した番組、そのファイルを構成するデータの種別についてまとめたものである。

図１０から図１２に管理情報ファイルの一例を示す。
図１０（ａ）は、３Ｄ対応３Ｄ表示装置と３Ｄ対応２Ｄ表示装置用の管理情報ファイルの一例である。

管理情報には再生する動画ファイル名やそれらの再生順に関する情報が含まれており、図１０（ａ）に示すように、動画ファイル名を記載して、上に記載された動画ファイルから順に再生を行う。また、図１０（ａ）の管理情報ファイルは、２Ｄファイルか３Ｄファイルかに関わらず、ユーザーが記録を開始してから終了するまでに記録したすべての動画ファイル（Ｆ１、Ｆ２，Ｆ３，Ｆ４，Ｆ５）を含んだ管理情報ファイルである。

図１０（ｂ）は、３Ｄ非対応２Ｄ表示装置用の管理情報ファイルの例である。
図１０（ｂ）の管理情報ファイルは、ユーザーが記録を開始してから終了するまでに記録した、すべての２Ｄファイル（Ｆ１、Ｆ２，Ｆ４，Ｆ５）を含み、かつ３Ｄファイルを含まないように構成された管理情報ファイルである。

図１１は、３Ｄ対応３Ｄ表示装置と３Ｄ対応２Ｄ表示装置用の管理情報ファイルの例である。図１１（ａ）、図１１（ｂ）、図１１（ｃ）の管理情報ファイルは、図１０（ａ）の管理情報ファイルを番組単位にそれぞれ分けたものである。

これに対して図１２は、３Ｄ非対応２Ｄ表示装置用の管理情報ファイルの例である。図１２（ａ）、図１２（ｂ）、図１２（ｃ）の管理情報ファイルは、図１０（ｂ）の管理情報ファイルを番組単位にそれぞれ分けたものである。

また、上記では動画ファイルについて説明しているが、静止画ファイルや、データ放送などのデータファイルでも同じように適用可能である。
また、図１０（ｂ）や図１２（ｂ）のように３Ｄファイルをスキップした管理情報を作成する場合、管理情報に、スキップしたファイルがある旨を示す情報や、スキップしたファイルが２Ｄファイルなのか３Ｄファイルなのかを示す情報、スキップしたファイルの再生時間長などの情報を含んでもよい。

以上のようにして、画像記録装置１で少なくとも１つ以上の管理情報ファイルを作成して２Ｄ画像データのみで構成されたファイルや３Ｄ画像データのみで構成されたファイルを管理する。つまり、画像記録装置１は、各再生装置向けにその再生装置が再生できるファイルのみを扱う管理情報ファイルを作成し、各再生装置は、作成した管理情報ファイルを用いてファイルを取り扱うようにすることにより、異なる仕様の再生装置であってもファイルを共通化して再生することが出来る。例えば、３Ｄ非対応２Ｄ表示装置は、３Ｄファイルのファイル名を除いた管理情報ファイルを用いて、２Ｄファイルのみの再生が出来る。

また、１つの管理情報ファイルを用いて、見かけ上１つのファイルとして管理することにより、ユーザーのファイルの扱いが簡易になり、ファイルの検索などを用いた場合、検索にかかる時間を短くすることが出来る。
また、上記の管理情報ファイルを作成せずに、管理情報自体を各動画ファイルのヘッダ領域にそれぞれ格納してもよい。
また、本発明の画像記録装置は、管理情報ファイルを同時に複数作成しても構わない。例えば、入力画像データが３Ｄ画像データであった場合に、３Ｄ／２Ｄ変換を行って作成した２Ｄファイルと、３Ｄ／２Ｄ変換を行わずに作成した３Ｄファイルをそれぞれ含む複数の管理情報ファイルを作成してもよい。
また、このとき３Ｄ／２Ｄ変換を行って作成した２Ｄファイルであることを示す変換情報を管理情報ファイルに含んでもよい。

また、１つの管理情報ファイルに従って再生されるファイルは、同じフォルダの下に配置してもよい。例えば、ある日時に記録したファイルすべてと、それらを再生するための管理情報ファイルとを作成した場合、そのときの記録日時をフォルダ名として、そのフォルダの下にそれらのファイルをすべて配置してもよい。

また、番組毎にフォルダを作成し、各番組のファイルを、対応するフォルダに配置してもよい。また、２Ｄファイルと３Ｄファイルをそれぞれ別のフォルダで管理してもよい。また、これらすべてを組み合わせた形でフォルダ管理してもよい。

図１３は、少なくとも１つ以上の２Ｄファイルと３Ｄファイルをフォルダで管理する際に作成するフォルダの一例を示す。
例えば、図１０（ａ）のような、番組Ｐ１，Ｐ２，Ｐ３を、２Ｄファイルと３Ｄファイルに分けて記録し、それらをまとめて再生するための管理情報ファイルが存在する場合、図１３に示すように、記録を開始（または終了）した時刻を示す記録日時フォルダをまず作成し、その下に各番組を示す番組フォルダを作成、さらにその各番組毎のフォルダの下に２Ｄファイル用のフォルダと３Ｄファイル用のフォルダをそれぞれ作成する。そして、番組Ｐ１の２ＤフォルダにファイルＦ１を、番組Ｐ２の２ＤフォルダにファイルＦ２とＦ４を、番組Ｐ２の３ＤフォルダにファイルＦ３を、番組Ｐ３の２ＤフォルダにファイルＦ５をそれぞれ配置し、管理を行う。

ここで番組名はユーザーが入力してもよいし、番組配列情報にある番組名を用いてもよい。また、格納するファイルが無いフォルダは作成しなくてもよい。また上記の例では、上位のフォルダから日時、番組名、２Ｄ／３Ｄの順で作成しているが、この順で作成するとは限らない。例えば、２Ｄファイル用のフォルダと３Ｄファイル用のフォルダを最上位のフォルダとしても構わなく、いずれの順であっても構わない。また、日時のフォルダは作成しなくても構わない。また、再生する順番を示すフォルダを作成しても構わない。
このとき、ファイルの記録日時や番組名や２Ｄファイルか３Ｄファイルかの区別（以降、ファイルの種別と称す）やファイルの再生の順番といったファイルの内容に関する情報を、ファイル属性情報と称す。

以上のように、管理情報ファイルで指定した再生対象のファイルに対して、そのファイル属性情報を反映したフォルダを作成し、そのフォルダの下に配置することにより、管理情報ファイルがない場合でも、ユーザーはファイルの内容をフォルダ名やその配置から判断できる。また、ファイルの扱い自体も簡易になり、ファイルの検索などを用いた場合も検索にかかる時間が短縮出来る。

また上記では、ファイル属性情報を反映したフォルダの下にファイルを配置することについて説明したが、この情報をファイル名に反映しても構わない。例えばファイル名を、日時と番組名、ファイルの種別、拡張子から構成してもよい。図１０（ａ）のファイルＦ１の場合であれば、"２００３年１月１日０時０分０秒＿番組Ｐ１＿２Ｄ．拡張子"というような名前にしてもよい。

さらに、管理情報内にあるファイルを再生する順番の情報もファイル名に反映してもよい。例えば、図１０（ａ）のファイルＦ１を、“２００３年１月１日０時０分０秒＿番組Ｐ１＿２Ｄ＿００１．拡張子”、Ｆ２を“２００３年１月１日０時０分０秒＿番組Ｐ２＿２Ｄ＿００２．拡張子"というように、ファイルの種別の後に、再生の順番を表した連番を追加してファイル名を作成してもよい。

以上のように、管理情報ファイルで指定した再生対象のファイルに対して、ファイルの内容や、再生する順番をファイル名に反映することにより、ユーザーは容易にファイルの内容や、再生する順番をファイル名から判断でき、ファイルの扱いも簡易になる。

また、番組名に関する情報を動画ファイルそのものに含むようにしてもよい。
上記で説明したような、１つの番組を少なくとも１つ以上の２Ｄファイルと３Ｄファイルに分割して記録する場合、各ファイルに対してそのファイル単独では番組の一部の構成でしかないことを示す情報、例えば、その番組を構成するすべての動画ファイルの総数や、さらに再生する順番などの情報を動画ファイルに含むようにしてもよい。例えば、図１２（ｂ）の場合、ファイルＦ２に、番組Ｐ２の番組名と、再生順／総数として"１／３"という情報をヘッダの拡張領域などに格納してもよい。

以上のように、１つの番組が少なくとも１つ以上のファイルに分割されて記録される場合、番組を構成するすべての動画ファイルの総数や再生する順番などの情報をファイル内に記録することにより、管理情報ファイルが無い場合でも１つの番組を正しく再生を行うことが出来る。

また、上記で説明した管理情報ファイルで指定した再生対象のファイルのそれぞれに対して２Ｄファイルと３Ｄファイルを識別するための識別管理情報を追加してもよい。
上記の識別管理情報により、２Ｄファイルと３Ｄファイルを再生するための管理情報ファイルに対して、３Ｄ対応３Ｄ表示装置や３Ｄ対応２Ｄ表示装置ではすべてのファイルを再生し、３Ｄ非対応２Ｄ表示装置では３Ｄファイルをスキップして２Ｄファイルのみを再生するようにすることができる。

また３Ｄ対応２Ｄ表示装置は、３Ｄ／２Ｄ変換手段を備え、デコードした３Ｄ画像データを２Ｄ画像データに変換して２Ｄ表示する装置である。
また３Ｄ非対応２Ｄ表示装置には、３Ｄファイルをスキップする場合はその旨をユーザーに通知する手段を設けてもよい。

以上のように、管理情報ファイルで指定した再生対象のファイルのそれぞれに対して、そのファイルが２Ｄファイルであるのか、もしくは３Ｄファイルであるのかを識別するための識別管理情報を用いることにより、同一の管理情報を３Ｄ対応３Ｄ表示装置と３Ｄ対応２Ｄ表示装置、３Ｄ非対応２Ｄ表示装置のすべてで共通化して使用できる。

また管理情報には、再生するファイル毎にオフセットタイムの情報を含んでもよい。このオフセットタイムの情報はランダムアクセスを行う際に用いられる情報である。
図１０（ａ）の管理情報における各ファイルに対するオフセット情報の例を表３に示す。

表３において、ファイルＦ１のオフセット情報を０、ファイルＦ２のオフセット情報をファイルＦ１の再生時間長、ファイルＦ３のオフセット情報をファイルＦ１，Ｆ２の再生時間長の合計、ファイルＦ４のオフセット情報をファイルＦ１，Ｆ２，Ｆ３の再生時間長の合計、ファイルＦ５のオフセット情報をファイルＦ１，Ｆ２，Ｆ３，Ｆ４の再生時間長の合計とする。
また、ファイルＦ１は先頭のファイルなので、そのオフセット情報は省略しても構わない。

以上により、ユーザーが再生装置で管理情報ファイルを用いた再生を行い、かつランダムアクセスをした場合、現在アクセスしたファイルの再生時刻とそのファイルのオフセット情報を足したものを、アクセスした所の時刻として用いることにより、管理情報ファイルを見かけ上１つのファイルとしてランダムアクセスが出来る。

また上記の例では、２Ｄ画像データから３Ｄ画像データに、または３Ｄ画像データから２Ｄ画像データに変わる時刻や、番組の終了、開始時刻などでファイルを分割することを説明したが、３Ｄ画像データ内であっても、ある時刻において、例えば３Ｄ画像のフォーマットや、１枚の３Ｄ画像のフレームに含まれる視点の数が異なるというように３Ｄ制御情報が変化した場合、その時刻において３Ｄ画像データを分割して記録してもよい。

例えば、視点数が２から３に変化したり、画像のフォーマットが、図２０のシーケンシャル方式の画像データから、図２２のパララクスバリア方式向けの画像データ１０２に変化した場合、その変化のあった時刻において、３Ｄ画像データを分割して記録してもよい。

また、３Ｄ制御情報におけるパラメータが３Ｄの動画シーケンスの途中で変化した場合、変化したフレームの時刻において３Ｄファイルを分割して記録しても構わない。このとき、同じ３Ｄ制御情報をもつ３Ｄファイルだけを再生するような管理情報ファイルを作成してもよい。

以上のように、３Ｄ制御情報におけるパラメータが３Ｄ動画シーケンスの途中で変化した場合、変化したフレームの時刻において３Ｄファイルを分割して記録することにより、変化前後の３Ｄ制御情報のうちいずれか一方の３Ｄ制御情報をもつ３Ｄ画像データにしか対応していない３Ｄ表示装置であっても、対応している部分のファイルに容易にアクセスして再生できる。

上記で述べた第１の実施例の説明では、画像記録装置１の入力が放送データである場合について述べたが、この入力は放送データに限らず、ファイルや、磁気テープ、光ディスクなどでも構わず、これらのフォーマットに限定されないものとする。
また、このときの入力は、２Ｄ画像データのみで構成されたデータであっても、３Ｄ画像データのみで構成されたデータであっても、２Ｄ画像データと３Ｄ画像データの両方から構成されたデータであっても構わない。

さらに、このときの制御用データＨｉは、入力が放送データならば番組配列情報、ファイルならばヘッダ情報、磁気テープならばトラック情報、光ディスクならばトラック情報やセクタ情報とする。例えば磁気テープの例として、デジタルビデオテープがあげられる。ここで、デジタルビデオテープのトラックフォーマットについて簡単に説明する。

一般に普及しているデジタルＶＴＲではヘリカルスキャンと呼ばれる方式が採用されており、この方式ではテープ上の不連続なトラックに対してデータが記録される。この様子を示したものが図１４で、テープ上にはトラック５０が複数存在し、１フレームの３Ｄ画像データも複数のトラック５０に分割して記録される。テープの走行方向は図１４の左から右方向で、右端のトラックが下から上に向けて走査され、続いてその左隣のトラックの下から上へと走査されていく。

図１５はトラック５０の１つを拡大したものであり、デジタルＶＴＲのトラックフォーマットの一例を示している。トラック５０はアフレコを確実にするためのＩＴＩ（Insert and Track Information）領域６０、音声に関するデータが記録される音声記録領域６１、画像に関するデータが記録される画像記録領域６２、タイムコードなどの付随情報が記録されるサブコード記録領域６３からなる。

画像記録領域６２には、３Ｄ画像データそのものだけでなく、３Ｄ画像データと関わりのある付随情報も記録可能である。同様に、音声記録領域６１には、音声そのものだけでなく、音声とかかわりのある付随情報も記録可能である。また、これら２つとは別に、前述のとおりサブコード記録領域６３にも付随情報が記録可能である。また、各領域の間にはマージンがあり、個別にアフレコが可能になっている。

図１６は画像記録領域６２を拡大したものである。画像記録領域６２は、同期パターンなどが記録されたプリアンブル７０、画像に関する付随情報が記録されるＶＡＵＸ（Video AUXiliary data）α７１及びＶＡＵＸβ７３、画像符号化データが記録される画像符号化データ記録領域７２、エラー訂正符号７４、マージンを稼ぐための機能を持つポストアンブル７５から構成される。

画像に関する付随情報が記録される領域がＶＡＵＸα７１とＶＡＵＸβ７３の２つに分かれているが、以後はこの２つをまとめてＶＡＵＸ領域と呼ぶことにする。また、図示はしないが音声記録領域６１にも、音声に関する付随情報を記録する領域としてＡＡＵＸ（Audio AUXiliary data）領域が用意されている。

３Ｄ制御情報は、ＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域のいずれかに記録する。また、例えばＶＡＵＸ領域とサブコード領域に分けて３Ｄ制御情報は分割して記録しても構わないし、同じデータをＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域の全てに記録しても構わない。それぞれの領域は個別にアフレコによって上書きすることができるので、編集時に変更する可能性のある情報はアフレコの容易なサブコード領域に記録しておくとよい。

また、全てをまとめてＶＡＵＸ領域に記録するという方法もある。この場合、アフレコの容易性はなくなるが、画像に関する付随情報が一箇所にまとまっていることによって取り扱いが簡易になるという長所がある。例えば、別の記録フォーマットを持つ媒体に複製を作る際に、画像記録領域の複製だけをつくれば画像に関する全ての情報を取得できることになり、サブコード領域を取り扱う必要がなくなる。また、アフレコによる上書きによって、これらの情報が消失するのを避けるために、サブコード領域とＶＡＵＸ領域の両方に同じ情報を記録しておくという方法も可能である。
あるいは、サブコード領域、ＶＡＵＸ領域の格納領域にはサイズ上の制限があることから、これらの領域に格納できなかった場合には３Ｄ制御情報をＡＡＵＸ領域に記録するということも可能である。

なお、上記で説明したデジタルビデオテープのフォーマットは、３Ｄ画像データに特有の部分を除けば家庭用に普及しているデジタルＶＴＲの方式にも準拠している。このため、記録する付随情報のうち、３Ｄ画像データに特有の付随情報である３Ｄ制御情報を家庭用デジタルＶＴＲのフォーマットで拡張が許されている拡張領域に記録すれば、平面画像と３Ｄ画像データを同一のテープに記録することが可能である。

このような入力データの場合、分離手段２は、トラック領域に格納されている付随情報や３Ｄ制御情報を制御用データとし、画像データ、音声データなどの複数種類のデータを所定の方式により多重化した多重化データをそれぞれの構成要素のデータに分離して出力する。

＜第２の実施形態＞
本発明における第２の実施形態である画像再生装置について図面を参照して説明する。
本発明の実施形態による画像再生装置は、入力された管理情報に従って、２Ｄ画像データと３Ｄ画像データを再生する再生装置であり、３Ｄ対応３Ｄ表示装置と３Ｄ対応２Ｄ表示装置、３Ｄ非対応２Ｄ表示装置がそれにあたる。

まず、３Ｄ対応３Ｄ表示装置について説明する。
図１７は本発明の第２の実施形態による画像再生装置の構成例を示すブロック図である。図１７において、画像再生装置８０は、制御手段８１、データ読み取り手段８２、分離手段８３、復号手段８４、表示手段８５から構成される。

制御手段８１は、外部から入力された管理情報に従ってデータ読み取り手段８２を制御し、さらに分離手段８３から入力された制御用データに従って表示手段８５を制御して、データを適切に再生する。ここで、管理情報とは第１の実施形態において説明したものと同じ情報である。
また、制御手段８１は復号手段の動作のＯＮ／ＯＦＦを切り替えることが出来る手段であり、入力された画像データＩ'が符号化されていない画像データである場合は、制御手段８１は復号手段３１の動作をＯＦＦにする。

データ読み取り手段８２は、データもしくはファイルにアクセスしてその内容を読み取る手段であり、制御手段８１から入力される制御情報Ａｉに従ってデータを読み取り、出力する。ここで、制御情報Ａｉとはどのデータを読み取るかを指示する情報である。
分離手段８３は、図２の分離手段２と同様の動作をする。

復号手段８４は、入力された符号化データを復号して画像データを出力する手段であり、図６の復号手段と同様の動作を行う。
表示手段８５は、制御手段８１から入力される制御情報Ａｏに従い、２Ｄ表示と３Ｄ表示を切り替えて入力画像データを表示する手段である。ここで、制御情報Ａｏとは２Ｄ表示を行うか、３Ｄ表示を行うかを指示する情報である。

次に本発明の第２の実施形態による画像再生装置８０の動作について、例を用いて詳細に説明する。
以下、説明の簡略化のため、第１の実施形態で説明したのと同様に、音声データについては省略する。また、取り扱う３Ｄ画像データの一例として図２２で示したようなパララクスバリア方式の画像データを用いて説明する。

画像再生装置８０は、図１０（ａ）で示した管理情報ファイルを入力とし、そのファイルに従って再生を行う。このファイルは、図３で説明したような２Ｄシーンと３Ｄシーンが混在した放送データを記録した場合に作成した管理情報ファイルである。

次に、２Ｄファイルを再生する際の画像再生装置８０の動作について説明する。
まず、制御手段８１に管理情報ファイルが入力される。制御手段８１は、最初に再生するファイルＦ１のデータを読み取るように指示する制御情報Ａｉをデータ読み取り手段８２に伝送する。

次に、データ読み取り手段８２は、入力された制御情報Ａｉに基づいてファイルＦ１を読み込み、分離手段８３に伝送する。分離手段８３は、入力されたファイルＦ１のヘッダ情報を制御用データＨ'ｉとして制御手段８１に、Ｆ１の画像データを復号手段８４にそれぞれ伝送する。復号手段８４は画像データを復号し、復号画像を表示手段８５に伝送する。
これと同時に、制御手段８１は制御用データＨ'ｉのヘッダ情報を解析し、３Ｄ制御情報が無いので２Ｄファイルと判定し、表示手段８５に２Ｄ表示をすることを示す制御情報Ａｏを伝送する。
表示手段８５は、入力された画像データを制御情報Ａｏに従って２Ｄ表示する。

データファイル読み取り手段８２は、ファイルＦ１を読み終わったら、ファイルの読み取りが終了したことを示す読み取り終了情報を制御手段８１に伝送する。制御手段８１は読み取り終了情報を受け取ると、次に再生するファイルがある場合、そのデータを読み取るように指示する制御情報Ａｉをデータ読み取り手段８２に伝送し、無い場合は再生を終了する。

以上のような繰り返しにより、２Ｄファイルの再生は行われる。ファイルＦ２，Ｆ４，Ｆ５の再生はＦ１と同様にして行うため、その説明を略す。

次に、３Ｄファイルを再生する際の画像再生装置８０の動作について説明する。
データファイル読み取り手段８２は、ファイルＦ２を読み終わったら、ファイルの読み取りが終了したことを示す読み取り終了情報を制御手段８１に伝送する。制御手段８１は、読み取り終了情報を受け取ると、次に再生する３ＤファイルＦ３を読み取るように指示する制御情報Ａｉをデータ読み取り手段８２に伝送する。
データファイル読み取り手段８２と、分離手段８３、復号手段８５は、２Ｄファイルの再生のときに説明したときと同様の動作を行う。

これと同時に、制御手段８１は制御用データＨ'ｉのヘッダ情報を解析し、３Ｄ制御情報が有るので３Ｄファイルと判定し、表示手段８５に制御情報Ａｏを伝送する。このときの制御情報Ａｏには、３Ｄ表示をすることを示す情報と、表示手段８５に入力される画像データのフォーマットを示す情報が含まれる。

表示手段８５は、制御情報Ａｏの３Ｄ表示をすることを示す情報に従って、３Ｄ表示を行う。このとき表示手段８５は、制御情報Ａｏ内にある入力画像データのフォーマットの情報に基づいて、入力画像データを３Ｄ表示用のフォーマットに画像を並べ替えてから３Ｄ表示する。

データファイル読み取り手段８２は、ファイルＦ３を読み終わったら、ファイルの読み取りが終了したことを示す読み取り終了情報を制御手段８１に伝送する。以降、２Ｄファイルのときと同様に、制御手段８１は、次のファイルがあれば再生を行い、無い場合は再生を終了する。

以上のようにして、画像再生装置８０（３Ｄ対応３Ｄ表示装置）は、管理情報ファイルに従って再生を行う。

次に３Ｄ対応２Ｄ表示装置について説明する。
３Ｄ対応２Ｄ表示装置の場合、画像再生装置８０の表示手段８５を変更するだけで説明が可能である。よって、３Ｄ対応２Ｄ表示装置は、画像再生装置８０で説明したのと同じ動作をする制御手段８１、データ読み取り手段８２、分離手段８３、復号手段８４と、３Ｄ対応２Ｄ表示装置特有の動作を行う表示手段から構成される。動作が同じ手段の説明は省略する。

３Ｄ対応２Ｄ表示装置における表示手段は、３Ｄ／２Ｄ変換機能を備え、入力画像データが３Ｄ画像データである場合は、３Ｄ／２Ｄ変換をした画像データを２Ｄ表示する。制御手段８１から表示手段に制御情報Ａｏが入力される。制御情報Ａｏは図１７で説明したときのものと同じであり、説明は略す。

このときの表示手段は、制御情報Ａｏが３Ｄ画像データであると示す場合、制御情報Ａｏのフォーマット情報に基づいて３Ｄ／２Ｄ変換を行い、２Ｄ画像データに変換して２Ｄ表示し、そうでない場合、入力された画像データをそのまま２Ｄ表示する。
このようにして３Ｄ対応２Ｄ表示装置は、管理情報ファイルに従って２Ｄ表示で再生を行う。

また、３Ｄ非対応２Ｄ表示装置とは２Ｄファイルの再生、表示が可能な従来の２Ｄ表示装置のことを示し、その構成と動作の説明は省略する。この場合、２Ｄ表示専用のファイルのみを再生することを示す管理情報ファイルを用いて再生を行う。
また、上記で説明した、３Ｄ対応３Ｄ表示装置と３Ｄ対応２Ｄ表示装置において、制御手段で入力された画像データが３Ｄ画像データであると判定された場合、入力画像データが３Ｄ画像データであることを示すメッセージを画面の所定の領域に表示してもよい。

以上のように、２Ｄ画像データのみから構成されたファイルと３Ｄ画像データのみから構成されたファイルに対して管理情報ファイルを用いて再生することにより、３Ｄ画像データがデコードできる表示装置であっても３Ｄ画像データがデコードできない表示装置であっても、２Ｄ画像データのみから構成されたファイルだけは共通に使用することができ、全体のデータ量が削減出来る。

次に、識別管理情報を追加した管理情報ファイルを再生する場合の、３Ｄ対応３Ｄ表示装置、３Ｄ対応２Ｄ表示装置、３Ｄ非対応２Ｄ表示装置のそれぞれの動作について説明する。

３Ｄ対応３Ｄ表示装置と３Ｄ対応２Ｄ表示装置に関しては、識別管理情報がある管理情報ファイルが入力されても、識別管理情報がない管理情報ファイルが入力された場合と、その構成及び動作は変わらないので説明は省略する。ただし、制御手段において、識別管理情報にあるファイルの種別と、３Ｄ制御情報の有無から判断したファイルの種別が一致しない場合は、その旨を示すメッセージを表示しても構わない。

次に、識別管理情報がある管理情報ファイルが入力された場合における３Ｄ非対応２Ｄ表示装置の動作について説明する。
図１８は、識別管理情報がある管理情報ファイルの一例である。これは、図１０（ａ）で説明した管理情報ファイルに、２Ｄファイルと３Ｄファイルの識別をするための識別管理情報を加えたものとなる。

図１９は、本発明の第２の実施形態による画像再生装置の別の構成例である３Ｄ非対応２Ｄ表示装置を示すブロック図である。
３Ｄ非対応２Ｄ表示装置である画像再生装置２２０は、３Ｄ対応３Ｄ表示装置で説明したのと同じ動作をするデータ読み取り手段８２、分離手段８３、復号手段８４と、３Ｄ対応２Ｄ表示装置特有の動作を行う表示手段９２と、これらを制御する制御手段９１とから構成される。動作が同じ手段の説明は省略する。

管理情報ファイルが制御手段９１に入力される。制御手段９１は、管理情報ファイルから識別管理情報を読み取って、３ＤファイルＦ３をスキップして再生すると判定する。そして制御手段９１は、２ＤファイルＦ１，Ｆ２，Ｆ４，Ｆ５の順で読み取るようにデータ読み取り手段８２を制御する。また表示手段９２は、入力された画像データをそのまま２Ｄ表示する。

以上のように、画像再生装置９０は、管理情報ファイルから識別管理情報を読み取ってスキップする３Ｄファイルを判定し再生しないことにより、３Ｄ対応３Ｄ表示装置、３Ｄ対応２Ｄ表示装置、３Ｄ非対応２Ｄ表示装置で共通の管理情報ファイルを使用することが出来る。

また、３Ｄファイルの再生をスキップする代わりに、３Ｄファイルに対して所定の画像を表示して音声のみを再生するようにしてもよい。
また、３Ｄ非対応２Ｄ表示装置において、３Ｄファイルをスキップまたは所定の画像を表示して音声のみを再生を行う場合、その旨をユーザーに通知する手段を画像再生装置２２０に設けてもよい。
また、上記で説明した画像再生装置９０は、制御手段９２で入力された画像データが３Ｄ画像データであると判定された場合、入力画像データが３Ｄ画像データであること示すメッセージを画面の所定の領域に表示してもよい。

以上のように、管理情報に２Ｄファイルと３Ｄファイルの識別をするための識別管理情報を加えた管理情報ファイルを用いて再生することにより、３Ｄ画像データがデコード可能な再生装置と、３Ｄ画像データがデコード不可能な再生装置で、同じ管理情報ファイルを使用することが出来るため、管理情報のファイルの数が増加することなく、全管理情報ファイルのデータ量削減や、管理が容易になる。

また上記で説明した本発明の第２の実施形態による画像装置は、管理情報にオフセットタイムの情報が含まれており、かつランダムアクセスを行う場合は、表３で説明したのと同様にしてアクセス場所の時間を計算し、それを基に再生を行ってもよい。

放送データにおけるコンテンツと番組配列情報の構成例を示す概念図である。 本発明の第１の実施形態による画像記録装置の構成例を示すブロック図である。 ２Ｄシーンと３Ｄシーンが混在した放送データの一例を示す概念図である。 制御手段３における、入出力データの種別の判定法を示すフロチャートである。 本発明の第１の実施形態による画像記録装置１にデータを変換する変換手段を備えた際の構成例を示すブロック図である。 復号を行う際の変換手段１４１の構成例を示すブロック図である。 再符号化を行う際の変換手段１４１の構成例を示すブロック図である。 ３Ｄ／２Ｄ変換手段の様子を説明する概念図である。 ３Ｄ／２Ｄ変換を行う際の変換手段１４１の構成例を示すブロック図である。 管理情報ファイルの一例を示す概念図である。 管理情報ファイルの一例を示す概念図である。 管理情報ファイルの一例を示す概念図である。 少なくとも１つ以上のファイルのフォルダによる管理の一例を示す概念図である。 デジタルＶＴＲのテープ上に配置されたトラックの一例を示す概念図である。 デジタルＶＴＲのトラックフォーマットの一例を示す概念図である。 デジタルＶＴＲのトラックフォーマットにおける画像記録領域の一例を示す概念図である。 本発明の第２の実施形態による画像再生装置の構成例を示すブロック図である。 識別管理情報がある管理情報ファイルの一例を示す概念図である。 本発明の第２の実施形態による画像再生装置の別の構成例を示すブロック図である。 フィールドシーケンシャル方式を説明するための概念図である。 パララクスバリア方式を説明するための概念図である。 ３Ｄ画像の一例を示す概念図である。

符号の説明

１ 画像記録装置
２ 分離手段
３ 制御手段
４ 多重化手段
５ スイッチ
４０ ３Ｄ画像データ
４１ ２Ｄ画像データ
８０ 画像再生装置
８１ 制御手段
８２ データ読み取り手段
８３ 分離手段
８４ 復号手段
８５ 表示手段
１１０ 左眼用画像
１１１ 右眼用画像
１１２ ３Ｄ画像
１０１ 画像表示パネル
１０２ パララクスバリア
１０３ 左眼
１０４ 右眼
２０ 画像記録装置
２１ 変換手段
３１ 復号手段
３２ 符号化手段
３３ ３Ｄ／２Ｄ変換手段
５０ トラック
６０ ＩＴＩ領域
６１ 音声記録領域
６２ 画像記録領域
６３ サブコード記録領域
７０ プリアンブル
７１ ＶＡＵＸα
７２ ＶＡＵＸβ
７３ 画像符号化データ記録領域
７４ エラー訂正符号
７５ ポストアンブル
９０ 画像再生装置
９１ 制御手段
９２ 表示手段

Claims (15)

1. 画像データと制御用データを含む入力データから画像ファイルを作成して記録する画像記録装置において、
   入力データから少なくとも画像データと制御用データにそれぞれ分離する分離手段と、
   分離された画像データに基づいて、少なくとも２次元画像データを含む２次元画像ファイルと、少なくとも３次元画像データを含む３次元画像ファイルとを作成するファイル作成手段と、
   前記制御用データに基づいて、分離された前記画像データが２次元画像データか３次元画像データかを判定し、該判定結果に基づいて前記ファイル作成手段にファイルを作成させる制御手段と、
   を備えたことを特徴とする画像記録装置。
2. 前記制御手段は、複数の前記２次元画像ファイル同士をまとめて一つのファイルを作成させ、複数の前記３次元画像ファイル同士をまとめて一つのファイルを作成させることを特徴とする請求項１に記載の画像記録装置。
3. 符号化された入力データを復号する復号手段を備え、
   前記ファイル作成手段は、前記復号手段により復号された画像データのファイルを作成することを特徴とする請求項１又は２に記載の画像記録装置。
4. 復号化された入力データから前記分離手段により分離された画像データを符号化する符号化手段を備え、
   前記ファイル作成手段は、前記符号化手段により符号化された画像データのファイルを作成することを特徴とする請求項１又は２に記載の画像記録装置。
5. 前記復号手段により復号された画像データを符号化する符号化手段を備え、
   前記ファイル作成手段は、前記符号化手段により符号化された画像データのファイルを作成することを特徴とする請求項３に記載の画像記録装置。
6. 前記分離手段により分離された３次元画像データを２次元画像データに変換する３Ｄ／２Ｄ変換手段を備え、
   前記ファイル作成手段は、前記３Ｄ／２Ｄ変換手段により変換された２次元画像データに基づいて２次元画像ファイルを作成することを特徴とする請求項１又は２に記載の画像記録装置。
7. 符号化された入力データから２次元画像データを構成する１つの視点の画像を復号するのに必要な領域の符号化したデータのみを抽出して、新たな２次元表示用の符号化データを作成する３Ｄ／２Ｄ変換手段を備えることを特徴とする請求項１又は２に記載の画像記録装置。
8. 前記制御手段は、作成した複数のファイルに対して、それらの再生やファイル管理を行うための少なくとも１つ以上の管理情報ファイルを作成させることを特徴とする請求項１乃至７のいずれかに記載の画像記録装置。
9. 前記管理情報ファイルは、２次元画像ファイルと３次元画像ファイルの識別を行うための識別情報を含むことを特徴とする請求項８に記載の画像記録装置。
10. 前記管理情報ファイルは、その管理情報で管理しているファイルのオフセット情報を含むことを特徴とする請求項８に記載の画像記録装置。
11. 前記制御手段は、前記ファイルを構成する画像データのなかで、該画像データの特徴を示す制御用データの内容が一致しなければ、さらに制御用データが一致する画像データ同士でファイルを分割作成させることを特徴とする請求項１乃至１０のいずれかに記載の画像記録装置。
12. 前記制御手段は、作成したファイルを、番組毎に分けたフォルダの下に配置させることを特徴とする請求項１乃至１１のいずれかに記載の画像記録装置。
13. 前記制御手段は、２次元画像ファイルを２次元画像ファイル用のフォルダに、３次元画像ファイルを３次元画像ファイル用のフォルダに配置させることを特徴とする請求項１乃至１１のいずれかに記載の画像記録装置。
14. ２次元画像ファイルと３次元画像ファイルの区別や、各ファイルの内容に関する情報、再生する順番を用いてファイル名を作成することを特徴する請求項１乃至１１のいずれかに記載の画像記録装置。
15. 前記制御手段は、１つの番組が少なくとも１つ以上のファイルに分割されて記録される場合、同じ番組であることを示す情報と、該１つの番組を構成する該ファイルの総数、該ファイルが再生される順番の情報をそれぞれ該ファイル内に記録させることを特徴とする請求項１乃至１４のいずれかに記載の画像記録装置。

Images