JP5293463B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、動画を立体視させるための画像処理を行う画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための立体視画像表示方法が多数提案されている。例えば、左眼画像および右眼画像により構成される立体視画像を表示させ、偏光メガネを用いて立体視させる立体視画像表示方法が提案されている。また、近年では、偏光メガネを用いずに画像を立体視させる立体視画像表示方法が提案されている。この立体視画像表示方法として、例えば、パララックスバリア方式、レンチキュラー・レンズ方式、超多眼式等の多眼式の立体視画像表示方法が提案されている。

また、立体視画像を表示するための動画を画像データとして記録するデジタルスチルカメラやデジタルビデオカメラ（カメラ一体型レコーダ）等の撮像装置が提案されている。例えば、立体視画像を表示するための左眼画像および右眼画像をビデオストリームとして記録する光ディスク記録装置が提案されている（例えば、特許文献１参照。）。

特開２００８−６７３９３号公報（図１）

上述の従来技術によれば、記録された動画を再生する場合に、この動画を構成する画像を立体視画像として順次表示させることができる。

しかしながら、上述の従来技術により、立体視画像を表示するための動画を画像データとして記録する場合には、例えば、同一時刻に略同一の被写体が記録された画像が左眼画像および右眼画像として順次記録される。このように記録される場合には、平面画像（二次元画像）を表示するための動画が画像データとして記録される場合と比較すると、立体視画像に関する画像データの記憶容量が多くなる。

ここで、近年では、ユーザが容易に携帯することができるように、撮像装置の小型化が進んでおり、撮像装置に搭載される記録媒体についても小型化が進んでいる。例えば、このような撮像装置をユーザが旅行に携帯し、その旅行先の各場所において立体視画像に関する画像データを記録することが想定される。しかしながら、このような撮像装置に搭載される小型の記録媒体は、各データを記憶することが可能な記憶容量が少ない場合も多い。このため、立体視画像に関する画像データを記録する場合には、記録可能な時間が制限されることが想定される。そこで、立体視画像を表示するための動画を記録する場合には、その記憶容量を削減することが重要である。

本発明はこのような状況に鑑みてなされたものであり、立体視画像を表示するための動画を適切に生成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像に関する奥行情報を生成する奥行情報生成部と、上記撮像画像に含まれる被写体のうち特定の被写体と当該被写体の周辺領域とを含む対象領域の画像を上記奥行情報に基づいて上記撮像画像から抽出して当該抽出された画像に基づいて上記撮像画像に含まれる被写体を立体視するための立体視画像を表示するための差分画像を生成する画像処理部と、上記撮像画像に対応するデータと上記差分画像に対応するデータとを関連付けてデータストリームを生成して当該データストリームを動画ファイルとして記録させる記録制御部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像に含まれる被写体のうち特定の被写体とこの被写体の周辺領域とを含む対象領域の画像を奥行情報に基づいて撮像画像から抽出し、この抽出された画像に基づいて差分画像を生成し、撮像画像に対応するデータと差分画像に対応するデータとを関連付けてデータストリームを生成し、このデータストリームを動画ファイルとして記録させるという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記奥行情報に基づいて上記撮像画像の撮像位置から所定範囲内に存在する被写体を上記特定の被写体として決定し、上記特定の被写体に係る上記奥行情報に基づいて当該特定の被写体の上記撮像画像の水平方向における上記周辺領域を決定して上記対象領域の画像を上記撮像画像から抽出するようにしてもよい。これにより、奥行情報に基づいて特定の被写体を決定し、この被写体に係る奥行情報に基づいて、その被写体の撮像画像の水平方向における周辺領域を決定し、対象領域の画像を撮像画像から抽出するという作用をもたらす。

また、この第１の側面において、上記撮像部は、上記立体視画像を表示するための第１の撮像画像および第２の撮像画像を上記撮像画像として生成し、上記奥行情報生成部は、上記第２の撮像画像に関する上記奥行情報を生成し、上記画像処理部は、上記第２の撮像画像に含まれる被写体のうち上記特定の被写体と当該被写体の周辺領域とを含む対象領域の画像を上記第２の撮像画像に関する上記奥行情報に基づいて上記第２の撮像画像から抽出して当該抽出された画像に基づいて上記差分画像を生成し、上記記録制御部は、上記第１の撮像画像に対応するデータと上記差分画像に対応するデータとを関連付けて上記データストリームを生成するようにしてもよい。これにより、第１の撮像画像および第２の撮像画像を生成し、第２の撮像画像に関する奥行情報を生成し、この奥行情報に基づいて対象領域の画像を第２の撮像画像から抽出し、この抽出された画像に基づいて差分画像を生成し、第１の撮像画像に対応するデータと差分画像に対応するデータとを関連付けてデータストリームを生成するという作用をもたらす。

また、この第１の側面において、上記記録制御部は、上記差分画像に対応するデータを含む旨を示す立体視画像識別情報を含めた上記データストリームを生成するようにしてもよい。これにより、立体視画像識別情報を含めたデータストリームを生成するという作用をもたらす。

また、この第１の側面において、上記記録制御部は、ＡＶＣＨＤ規格におけるモディファイドデジタルビデオパックに上記立体視画像識別情報を含めた上記データストリームをＡＶＣＨＤ規格に従って生成するようにしてもよい。これにより、ＡＶＣＨＤ規格におけるモディファイドデジタルビデオパックに立体視画像識別情報を含めたデータストリームをＡＶＣＨＤ規格に従って生成するという作用をもたらす。

また、この第１の側面において、上記記録制御部は、上記動画ファイルが上記差分画像に対応するデータを含む旨を示す立体視画像識別情報を、上記動画ファイルを管理する動画管理ファイルに含めて当該動画管理ファイルを記録させるようにしてもよい。これにより、立体視画像識別情報を動画管理ファイルに含めてその動画管理ファイルを記録させるという作用をもたらす。

また、この第１の側面において、上記記録制御部は、ＡＶＣＨＤ規格におけるインデックスファイル、クリップインフォメーションファイルおよびムービープレイリストファイルのうちの少なくとも１つに上記立体視画像識別情報を含めた上記動画管理ファイルを記録させるようにしてもよい。これにより、ＡＶＣＨＤ規格におけるインデックスファイル、クリップインフォメーションファイルおよびムービープレイリストファイルのうちの少なくとも１つに立体視画像識別情報を含めた動画管理ファイルを記録させるという作用をもたらす。

また、この第１の側面において、上記記録制御部は、上記撮像画像に対応するデータと上記差分画像に対応するデータと上記奥行情報に対応するデータとを関連付けて上記データストリームを生成するようにしてもよい。これにより、撮像画像に対応するデータと、差分画像に対応するデータと、奥行情報に対応するデータとを関連付けてデータストリームを生成するという作用をもたらす。

また、この第１の側面において、上記記録制御部は、上記奥行情報に対応するデータを含む旨を示す奥行情報存否情報を含めた上記データストリームを生成するようにしてもよい。これにより、奥行情報存否情報を含めたデータストリームを生成するという作用をもたらす。

また、この第１の側面において、上記記録制御部は、ＡＶＣＨＤ規格におけるモディファイドデジタルビデオパックに上記奥行情報存否情報を含めた上記データストリームをＡＶＣＨＤ規格に従って生成するようにしてもよい。これにより、ＡＶＣＨＤ規格におけるモディファイドデジタルビデオパックに奥行情報存否情報を含めたデータストリームをＡＶＣＨＤ規格に従って生成するという作用をもたらす。

また、この第１の側面において、上記記録制御部は、上記動画ファイルが上記奥行情報に対応するデータを含む旨を示す奥行情報存否情報を、上記動画ファイルを管理する動画管理ファイルに含めて当該動画管理ファイルを記録させるようにしてもよい。これにより、奥行情報存否情報を動画管理ファイルに含めてその動画管理ファイルを記録させるという作用をもたらす。

また、この第１の側面において、上記記録制御部は、ＡＶＣＨＤ規格におけるインデックスファイル、クリップインフォメーションファイルおよびムービープレイリストファイルのうちの少なくとも１つに上記奥行情報存否情報を含めた上記動画管理ファイルを記録させるようにしてもよい。これにより、ＡＶＣＨＤ規格におけるインデックスファイル、クリップインフォメーションファイルおよびムービープレイリストファイルのうちの少なくとも１つに奥行情報存否情報を含めた動画管理ファイルを記録させるという作用をもたらす。

また、この第１の側面において、上記記録制御部は、ＡＶＣＨＤ規格におけるムービープレイリストファイルにおける拡張データ領域に上記奥行情報のプレイアイテムの登録領域を定義して当該登録領域に上記奥行情報のプレイアイテムを記録させるようにしてもよい。これにより、ＡＶＣＨＤ規格におけるムービープレイリストファイルにおける拡張データ領域に奥行情報のプレイアイテムの登録領域を定義し、この登録領域に奥行情報のプレイアイテムを記録させるという作用をもたらす。

また、この第１の側面において、上記動画ファイルに含まれる上記撮像画像および上記差分画像に基づいて上記立体視画像を構成する第１の画像を復元する画像復元部と、上記復元された第１の画像と上記撮像画像とに基づいて上記立体視画像を生成する立体視画像生成部とをさらに具備するようにしてもよい。これにより、動画ファイルに含まれる撮像画像および差分画像に基づいて、立体視画像を構成する第１の画像を復元し、この第１の画像と撮像画像とに基づいて立体視画像を生成するという作用をもたらす。

また、この第１の側面において、上記撮像部は、上記立体視画像を表示するための第１の撮像画像および第２の撮像画像を上記撮像画像として生成し、上記記録制御部は、上記動画ファイルを表す代表画像を立体視画像として表示させるための上記第１の撮像画像に対応する第１のサムネイル画像と上記第２の撮像画像に対応する第２のサムネイル画像とを関連付けて上記動画ファイルを管理する動画管理ファイルに記録させるようにしてもよい。これにより、動画ファイルを表す代表画像を立体視画像として表示させるための第１のサムネイル画像と第２のサムネイル画像とを関連付けて動画管理ファイルに記録させるという作用をもたらす。

また、この第１の側面において、上記動画管理ファイルに記録されている上記第１のサムネイル画像および上記第２のサムネイル画像に基づいて上記動画ファイルを表す代表画像を立体視画像として一覧表示させる表示制御部をさらに具備するようにしてもよい。これにより、動画管理ファイルに記録されている第１のサムネイル画像および第２のサムネイル画像に基づいて、動画ファイルを表す代表画像を立体視画像として一覧表示させるという作用をもたらす。

本発明によれば、立体視画像を表示するための動画を適切に生成することができるという優れた効果を奏し得る。

本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における撮像部１１０の内部構成例および撮像部１１０により生成される撮像画像の例を示す図である。 本発明の第１の実施の形態における撮像部１１０の配置関係と、被写体距離を特定するための特性曲線との一例を示す図である。 本発明の第１の実施の形態における奥行情報生成部１２０が奥行マップを生成する際に用いられる被写体距離と奥行値との関係を示す図である。 本発明の第１の実施の形態における奥行情報生成部１２０が奥行マップを生成する際に用いられる被写体距離と奥行値との関係を示す図である。 本発明の第１の実施の形態における撮像部１１０により生成された撮像画像（左眼）３１１および撮像画像（右眼）３１２に含まれる被写体の位置関係を模式的に示す図である。 本発明の第１の実施の形態における画像処理部１３０により生成される立体視差分画像に関する被写体の奥行値と、この被写体を含む記録対象領域を特定するための画素値との関係を示す図である。 本発明の第１の実施の形態における画像処理部１３０が撮像画像（右眼）３１２から立体視差分画像を生成する場合における立体視差分画像生成方法を模式的に示す図である。 本発明の第１の実施の形態における画像処理部１３０が撮像画像（右眼）３１２から立体視差分画像を生成する場合における遷移を模式的に示す図である。 本発明の第１の実施の形態における記録制御部１６０がＡＶストリームを生成する場合におけるデータ処理を模式的に示す図である。 本発明の第１の実施の形態における記憶部２００に記憶される動画ファイルと、この動画ファイルを管理する動画管理ファイルとを模式的に示す図である。 ＡＶＣＨＤのファイルの種別と、その役割との対応関係を概略的に示す図である。 ＡＶＣＨＤ規格におけるファイル構成の一例を示す図である。 ＡＶＣＨＤ規格におけるデータ構造を示す図である。 ＡＶＣＨＤ規格におけるモディファイドデジタルビデオパック全般のデータ構造を示す図である。 ＡＶＣＨＤ規格における奥行マップに対応するデータストリームを含むストリームファイルの構成を示す図である。 ＡＶＣＨＤ規格におけるインデックスファイルのデータ構造を示す図である。 ＡＶＣＨＤ規格におけるプレイリストファイルのデータ構造を示す図である。 ＡＶＣＨＤ規格におけるクリップインフォメーションファイルのデータ構造を示す図である。 本発明の第１の実施の形態における記録制御部１６０により立体視画像に関する各データが各管理ファイルに記録される場合を模式的に示す図である。 本発明の第１の実施の形態における撮像装置１００による動画記録処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における再生装置８００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における画像復元部８０６が立体視主画像および立体視差分画像を用いて復元画像を生成する復元画像生成方法の流れを模式的に示す図である。 本発明の第１の実施の形態における再生装置８００による動画再生処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における撮像装置８３０の機能構成例を示すブロック図である。 本発明の第２の実施の形態における画像処理部８３１により生成される立体視画像に関する被写体の奥行値と、この被写体を移動すべき領域を特定するための画素値との関係を示す図である。 本発明の第２の実施の形態における画像処理部８３１が撮像画像３１１から右眼視用画像を生成する場合における立体視画像生成方法を模式的に示す図である。 本発明の第３の実施の形態における撮像装置８６０の機能構成例を示すブロック図である。 本発明の第３の実施の形態における記録制御部８６１によるサムネイル画像の記録処理を模式的に示す図である。 本発明の第３の実施の形態における表示制御部８６２によるサムネイル画像の表示処理を模式的に示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（立体視画像の記録制御：立体視差分画像を生成してこの立体視差分画像を含めた動画ファイルを記録する例）
２．第２の実施の形態（立体視画像の表示制御：簡易的な立体視画像を生成して表示する例）
３．第３の実施の形態（サムネイル画像の記録制御および表示制御：サムネイル画像を立体視画像として表示させるための記録例およびそのサムネイル画像の表示例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、撮像部１１０と、奥行情報生成部１２０と、画像処理部１３０と、画像エンコーダ１４０と、奥行情報エンコーダ１５０と、記録制御部１６０と、操作受付部１７０と、記憶部２００とを備える。

撮像部１１０は、立体視撮像対応の撮像部であり、操作受付部１７０からの操作入力に応じて、被写体を撮像して２つの撮像画像（画像データ）を生成し、生成された２つの撮像画像を奥行情報生成部１２０および画像処理部１３０に出力する。この２つの撮像画像は、立体視画像を表示するための左眼視用画像（左眼画像）および右眼視用画像（右眼画像）である。また、撮像部１１０は、各レンズの位置および合焦位置を奥行情報生成部１２０に出力する。なお、撮像部１１０の内部構成については、図２を参照して詳細に説明する。

奥行情報生成部１２０は、撮像部１１０から出力された２つの撮像画像に関する奥行マップ（いわゆる、デプスマップ（Depth Map））を生成するものであり、生成された各奥行マップを画像処理部１３０および奥行情報エンコーダ１５０に出力する。また、奥行情報生成部１２０は、撮像画像に関する奥行マップを生成した際にはその旨を示す奥行マップ生成情報を記録制御部１６０に出力する。ここで、奥行マップは、撮像位置（例えば、撮像装置１００の位置）から、撮像画像に含まれる被写体までの距離（被写体距離）を表すデータである。この奥行マップの生成方法として、例えば、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等の方法を用いることができる。例えば、ＴＯＦ方式は、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とに基づいて被写体までの距離を算出する方法である。なお、本発明の第１の実施の形態における奥行マップの生成方法については、図３等を参照して詳細に説明する。

画像処理部１３０は、操作受付部１７０からの操作入力に応じて、撮像部１１０から出力された２つの撮像画像のうちの１つの撮像画像について、奥行情報生成部１２０から出力された奥行マップに基づいて立体視差分画像を生成するものである。そして、画像処理部１３０は、生成された立体視差分画像と、撮像部１１０から出力された２つの撮像画像のうちの他の撮像画像（立体視主画像）とを画像エンコーダ１４０に出力する。また、画像処理部１３０は、立体視主画像および立体視差分画像を生成した際にはその旨を示す立体視画像生成情報を記録制御部１６０に出力する。ここで、立体視差分画像は、立体視画像を表示するための画像であり、立体視主画像を用いることにより、元の画像を生成することができる。なお、立体視差分画像の生成については、図６乃至図９を参照して詳細に説明する。

画像エンコーダ１４０は、画像処理部１３０から出力された立体視主画像および立体視差分画像（デジタルビデオデータ）をエンコードするものであり、エンコードされた立体視主画像および立体視差分画像を記録制御部１６０に出力する。例えば、画像エンコーダ１４０は、画像処理部１３０から出力されたデジタルビデオデータを、所定の圧縮符号化方式により圧縮符号化し、この圧縮符号化されたデジタルビデオデータをＡＶストリームとして記録制御部１６０に供給する。動画記録フォーマットとして、本発明の実施の形態では、ＡＶＣＨＤ規格の動画記録フォーマットを採用する場合には、動画の圧縮符号化方式として、高効率符号化が可能なＨ．２６４／ＭＰＥＧ−４ ＡＶＣ方式を用いる場合を説明する。この方式を用いる場合には、例えば、ＤＣＴ（Discrete Cosine Transform）と画面内予測とによりフレーム内圧縮が行われる。そして、動きベクトルを用いたフレーム間圧縮が行われ、さらにエントリピー符号化が行われることにより圧縮効率が高められる。ここで、立体視主画像および立体視差分画像として、同期処理（いわゆる、ゲンロック（ＧＥＮ＿ＬＯＣＫ））が行われた画像がエンコードされる。また、エンコード時には、画像処理部１３０から出力された立体視主画像および立体視差分画像に同一のＰＴＳ（Presentation Time Stamp）が付与される。なお、ＰＴＳは、動画再生時の同期に用いられるタイムスタンプである。

奥行情報エンコーダ１５０は、奥行情報生成部１２０から出力された奥行マップをエンコードするものであり、エンコードされた奥行マップを記録制御部１６０に出力する。例えば、奥行情報エンコーダ１５０は、奥行情報生成部１２０から出力されたデジタルデータを、所定の圧縮符号化方式により圧縮符号化し、この圧縮符号化されたデジタルデータをＡＶストリームとして記録制御部１６０に供給する。

記録制御部１６０は、画像エンコーダ１４０から出力されたＡＶストリームと、奥行情報エンコーダ１５０から出力されたＡＶストリームとを所定の方式で多重化して１本のＡＶストリームとし、動画ファイル化して記憶部２００に記録させるものである。例えば、記録制御部１６０は、ＡＶストリームを多重化し、この多重化されたＡＶストリームをストリームバッファに順次蓄積する。例えば、動画記録フォーマットとしてＡＶＣＨＤ規格の動画記録フォーマットを採用する場合には、ＭＰＥＧ−２ ＴＳ（トランスポートストリーム）に従って多重化が行われる。そして、記録制御部１６０は、ストリームバッファに蓄積されたデータ量を監視し、ストリームバッファに所定量以上のデータが蓄積されると、ストリームバッファから記憶部２００の記録単位分のデータを読み出して記憶部２００に書き込む。すなわち、記録制御部１６０は、ストリームバッファに蓄積されたＡＶストリームを動画ファイル化し、記憶部２００に記録させる。また、記録制御部１６０は、画像処理部１３０から出力された立体視画像生成情報と、奥行情報生成部１２０から出力された奥行マップ生成情報とに基づいて、立体視画像識別情報および奥行マップ存否情報をＡＶストリームに含める。同様に、記録制御部１６０は、立体視画像識別情報および奥行マップ存否情報を動画管理ファイルに含めて記憶部２００に記録させる。なお、これらの記録方法については、図１０乃至図２０を参照して詳細に説明する。

操作受付部１７０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を撮像部１１０および画像処理部１３０に出力する。例えば、立体視画像を表示するための動画を記録する立体視画像撮像モードを設定する設定操作が受け付けられた場合には、その旨が撮像部１１０および画像処理部１３０に出力される。また、立体視画像撮像モードが設定されている状態で、録画ボタンを押下する押下操作が受け付けられた場合には、その旨が撮像部１１０および画像処理部１３０に出力される。

記憶部２００は、記録制御部１６０による記録制御に基づいて動画ファイル等の情報を記憶する記憶部である。例えば、記憶部２００は、画像エンコーダ１４０から出力されたデジタルビデオデータと、奥行情報エンコーダ１５０から出力されたデジタルデータとが多重化して生成されたＡＶストリーム（データストリーム）を動画ファイルとして記憶する。また、記憶部２００は、動画ファイルを管理する動画管理ファイルを記憶する。なお、記憶部２００は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。また、記憶部２００として、半導体メモリ、光記録媒体、磁気ディスク、ＨＤＤ（Hard Disk Drive）等の種々のものを用いることができる。なお、光記録媒体は、例えば、記録可能なＤＶＤ（Digital Versatile Disc）、記録可能なＣＤ（Compact Disc）、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

［撮像部の構成例および撮像画像の生成例］
図２は、本発明の第１の実施の形態における撮像部１１０の内部構成例および撮像部１１０により生成される撮像画像の例を示す図である。図２（ａ）には、撮像装置１００および被写体の関係をその側面から見た場合を概略的に示す。図２（ｂ）には、図２（ａ）に示す状態を上面から見た場合における撮像装置１００および被写体の関係と、撮像部１１０の内部構成例とを概略的に示す。図２（ｃ）には、図２（ａ）および（ｂ）に示す配置により生成された撮像画像の例を示す。この例では、人３０１と、地面に立設されている棒３０２乃至３０４と、山３０５とを被写体として、２つの撮像画像を同時に生成する場合を例にして示す。

図２（ａ）に示す例では、撮像装置１００のレンズ部１１１のズーム位置がワイド端に設定されているものとする。この場合に、人３０１、棒３０２および３０３は、撮像装置１００からの距離（被写体距離）が、映像の左右視差による立体視感覚が知覚されやすい０．５ｍ〜５．０ｍの範囲（特定被写体抽出対象区間３０６）内に存在するものとする。一方、棒３０４および山３０５は被写体距離が５．０ｍを超える範囲に存在するものとする。

図２（ｂ）に示すように、撮像部１１０は、レンズ部１１１と、右撮像素子１１２と、左撮像素子１１３と、右撮像信号処理部１１４と、左撮像信号処理部１１５と、カメラ制御部１１６とを備える。ここで、撮像部１１０は、立体視画像を表示するための右眼視用画像および左眼視用画像を生成するため、レンズ部１１１の各レンズ、撮像素子、撮像信号処理部のそれぞれが左右１組となるように構成されている。図２（ｂ）では、撮像部１１０において、右眼視用画像を生成するためのレンズ部１１１におけるレンズには、その楕円内に右の文字を付して示す。また、右眼視用画像を生成するための撮像素子、撮像信号処理部のそれぞれを、右撮像素子１１２、右撮像信号処理部１１４として示す。一方、左眼視用画像を生成するためのレンズ部１１１におけるレンズには、その楕円内に左の文字を付して示す。また、左眼視用画像を生成するための撮像素子、撮像信号処理部のそれぞれを、左撮像素子１１３、左撮像信号処理部１１５として示す。なお、これらのレンズ部１１１の左右のレンズ、右撮像素子１１２および左撮像素子１１３、右撮像信号処理部１１４および左撮像信号処理部１１５の各構成は、配置位置が異なる以外は共通するものである。このため、以下では、これらの左右の構成のうち何れかについては一部の説明を省略して説明する。

レンズ部１１１は、被写体からの光を集光する複数のレンズ（ズームレンズおよびフォーカスレンズを含む）や、これらのレンズを通過した光の量（すなわち、露出）を被写体照度に応じて調整する絞り（図示せず）を備える光学系である。そして、集光された被写体からの光を右撮像素子１１２および左撮像素子１１３に出力する。すなわち、右側のレンズからは、集光された被写体からの光が右撮像素子１１２に出力され、左側のレンズからは、集光された被写体からの光が左撮像素子１１３に出力される。

右撮像素子１１２および左撮像素子１１３は、レンズ部１１１を介して入射された被写体像を同期駆動により結像して画像信号を生成する撮像素子である。すなわち、右撮像素子１１２は、右側のレンズを介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する右眼視用撮像素子である。また、左撮像素子１１３は、左側のレンズを介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する左眼視用撮像素子である。このように右撮像素子１１２により生成されたアナログの画像信号が右撮像信号処理部１１４に供給され、左撮像素子１１３により生成されたアナログの画像信号が左撮像信号処理部１１５に供給される。撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の固体撮像素子を用いることができる。

右撮像信号処理部１１４は、右撮像素子１１２から出力された画像信号に対して各種の信号処理を施す右眼視用撮像信号処理部である。また、左撮像信号処理部１１５は、左撮像素子１１３から出力された画像信号に対して各種の信号処理を施す左眼視用撮像信号処理部である。そして、信号処理が施された左右の画像信号（画像データ）が、カメラ制御部１１６および画像処理部１３０に出力される。これらの右撮像信号処理部１１４および左撮像信号処理部１１５により生成される撮像画像については、図２（ｃ）を参照して詳細に説明する。

カメラ制御部１１６は、撮像部１１０の各部に供給する制御信号を生成し、生成された制御信号を各部に供給してズーム制御、シャッター制御および露出制御等の制御を行うものである。例えば、カメラ制御部１１６は、レンズ部１１１におけるフォーカスレンズを移動させる制御信号を生成することにより、所定の被写体に対する合焦位置を検出するＡＦ（Auto Focus：オートフォーカス）制御を行う。具体的には、カメラ制御部１１６は、右撮像信号処理部１１４および左撮像信号処理部１１５から出力された画像信号に対応する撮像画像について、所定の位置をＡＦエリア（距測エリア）として追従処理を行う。そして、カメラ制御部１１６は、その追従処理とともにフォーカスレンズを移動させてオートフォーカス制御を行う。このオートフォーカス制御では、レンズ部１１１における左右のフォーカスレンズを同期して移動させる。また、カメラ制御部１１６は、レンズ部１１１におけるズームレンズおよびフォーカスレンズの位置を奥行情報生成部１２０に出力する。

図２（ｃ）に示す撮像画像（左眼）３１１は、図２（ａ）および（ｂ）に示す状態で左撮像信号処理部１１５から出力された画像信号に対応する撮像画像（左眼視用画像）である。また、図２（ｃ）に示す撮像画像（右眼）３１２は、その状態で右撮像信号処理部１１４から出力された画像信号に対応する撮像画像（右眼視用画像）である。本発明の第１の実施の形態では、撮像画像（右眼）３１２に関する立体視差分画像を生成し、この立体視差分画像と撮像画像（左眼）３１１とを立体視画像を表示するための動画ファイルとして記録する。なお、立体視差分画像の生成については、図６乃至図９を参照して詳細に説明する。

［奥行マップの生成例］
次に、撮像部１１０により生成される撮像画像について奥行マップを生成する奥行マップ生成方法について図面を参照して詳細に説明する。最初に、奥行マップを生成する際に用いられる撮像装置１００と被写体との距離（被写体距離）の算出方法について説明する。

図３は、本発明の第１の実施の形態における撮像部１１０の配置関係と、被写体距離を特定するための特性曲線との一例を示す図である。レンズ部１１１は、ズームレンズ部１８０と、絞り１８３と、固定レンズ１８４と、光学手ブレ補正レンズ１８５と、フォーカスレンズ１８６とを備える。また、ズームレンズ部１８０は、ズームレンズ１８１および光路折り曲げプリズム１８２を備える。なお、右撮像素子１１２の撮像面には光学フィルタ１８７が設けられている。図３では、説明を容易にするため、レンズ部１１１に備えられる複数のレンズを簡略化して、レンズ１８１、１８４乃至１８６のみを例示する。

ズームレンズ１８１は、カメラ制御部１１６からの制御信号に基づいて駆動されるアクチュエータにより光軸方向に移動してズーム機能を実現するためのレンズである。

光路折り曲げプリズム１８２は、ズームレンズ１８１を介して入射された被写体からの光を９０°折り曲げるための直角プリズムである。

絞り１８３は、カメラ制御部１１６からの制御信号に基づいて開閉することによりズームレンズ１８１および光路折り曲げプリズム１８２を通過した光の量（すなわち、露出）を調整するものである。

光学手ブレ補正レンズ１８５は、カメラ制御部１１６からの制御信号に基づいて、光の進行方向と直行する方向に移動することにより手ブレを補正するレンズである。

フォーカスレンズ１８６は、カメラ制御部１１６からの制御信号に基づいて駆動されるアクチュエータにより光軸方向に移動して、フォーカス（焦点：ピント）を調整するレンズである。すなわち、フォーカスレンズ１８６によりオートフォーカス機能が実現される。

図３（ｂ）には、被写体距離と、ズームレンズ１８１の位置と、フォーカスレンズ１８６の位置との関係を表す特性曲線の一例を示す。図３（ｂ）に示すグラフにおいて、縦軸はフォーカスレンズ１８６の位置を示し、横軸はズームレンズ１８１の位置を示す。具体的は、縦軸において上側をニア側（至近側）とし、下側をファー側（無限遠側）とする。また、横軸において左側をワイド端側とし、右側をテレ端側とする。なお、これらの特性曲線は、撮像装置に用いられる各レンズに応じて異なる。本発明の第１の実施の形態では、奥行情報生成部１２０が、これらの特性曲線を保持しているものとする。

図３（ｂ）に示す曲線Ｌ１乃至Ｌ４は、ズームレンズ１８１の位置とフォーカスレンズ１８６の位置とに基づいて、合焦された被写体と撮像装置１００との被写体距離を特定するための曲線である。なお、図３（ｂ）に示す例では、被写体距離が０．８ｍ〜無限大（∞）の範囲内となる４本の特性曲線Ｌ１乃至Ｌ４を代表して示し、他の被写体距離に対応する特性曲線を省略して示す。図３（ｂ）に示すように、ズームレンズ１８１の位置とフォーカスレンズ１８６の位置とが求められている場合には、この状態で合焦されている被写体に関する被写体距離を求めることができる。

図４は、本発明の第１の実施の形態における奥行情報生成部１２０が奥行マップを生成する際に用いられる被写体距離と奥行値との関係を示す図である。図４（ａ）では、被写体距離および奥行値の関係を表形式で示し、図４（ｂ）では、被写体距離および奥行値の関係をグラフで示す。ここで、奥行値は、図４（ａ）および（ｂ）に示すように、被写体距離に応じて決定される０乃至２５５の値である。また、奥行マップは、撮像画像を構成する画素毎に決定された奥行値と、これに対応する画素位置とが関連付けられている情報（深度情報）である。この奥行マップを用いることにより、撮像画像に含まれる各被写体の被写体距離を推定することができる。

ここで、被写界深度について説明する。被写界深度は、被写体に対して、実質的にフォーカスが合っていると考えられる被写体距離の範囲を示すものである。一般に、この範囲が広い場合には「被写界深度が深い」と称し、この範囲が狭い場合には「被写界深度が浅い」と称する。また、被写界深度は、絞りの開閉に応じて、変化することが広く知られている。例えば、絞りを開くと、この開きの度合いに応じて、被写界深度は浅くなる。一方、絞りを絞ると、この絞りの度合いに応じて、被写界深度が深くなる。

例えば、図３（ａ）に示す絞り１８３の開口の直径を比較的小さくした場合には、撮像装置１００の光軸方向に対して多少前後している被写体に対しても、比較的広い範囲（光軸方向における範囲）の被写体にフォーカスが合うことになる。一方、絞り１８３の開口の直径を比較的大きくした場合には、撮像範囲に含まれる被写体が撮像装置１００の光軸方向に対して多少前後していても、これらの被写体にフォーカスが合わないことがある。すなわち、被写界深度が浅い場合には、撮像装置１００の光軸方向に対して多少前後している被写体に対しては、比較的狭い範囲の被写体にのみフォーカスが合うことになる。

そこで、本発明の第１の実施の形態では、上述した被写体深度の性質を用いて、奥行値を算出する場合を例にして説明する。

最初に、撮像動作の開始時において、ズームレンズ１８１がワイド端側に配置された状態で奥行値を算出する例について説明する。例えば、ズームレンズ１８１がワイド端側に配置された状態で、絞り１８３を解放して被写界深度を最も浅くする。このように、ズームレンズ１８１がワイド端側に配置された状態で、被写界深度を最も浅くすることにより、フォーカスが合うと考えられる被写体距離の範囲を狭くする。このように被写界深度を最も浅くした状態で、フォーカスレンズ１８６をファー側（無限遠側（＞５ｍ））に設定する。そして、被写界深度を最も浅くするとともに、フォーカスレンズ１８６をファー側に設定した状態で、対象となる撮像画像において合焦する領域を検出する。この合焦の有無については、高周波成分および低周波成分の特徴等を用いて判定することができる。例えば、撮像画像からコントラスト信号を検出し、このコントラスト信号の信号レベルの大小を利用して、合焦の有無を判定することができる。例えば、コントラスト信号の信号レベルが高い場合にはピントが合っている（合焦度合が高い）と判定し、コントラスト信号の信号レベルが低い場合にはピントがずれている（合焦度合が低い）と判定する。

このように、被写界深度を最も浅くするとともに、フォーカスレンズ１８６をファー側に設定した状態で合焦する領域に含まれる被写体は、撮像装置１００から比較的離れた位置に存在するものと推定される。例えば、この領域に含まれる被写体の被写体距離は、図３（ｂ）に示すグラフ（特性曲線Ｌ４）を用いることにより特定される。このように被写体距離が特定された領域に含まれる各画素には奥行情報生成部１２０が奥行値「０」を割り当てる。

続いて、被写界深度を最も浅くした状態で、フォーカスレンズ１８６をニア側（近距離側（０．５ｍ））に設定する。そして、被写界深度を最も浅くするとともに、フォーカスレンズ１８６をニア側に設定した状態で、対象となる撮像画像において合焦する領域を検出する。このように、被写界深度を最も浅くするとともに、フォーカスレンズ１８６をニア側に設定した状態で合焦する領域に含まれる被写体は、撮像装置１００から比較的近い位置に存在するものと推定される。例えば、この領域に含まれる被写体の被写体距離は、図３（ｂ）に示すグラフの特性曲線を用いることにより最近距離（０．５ｍ）と特定される。このように被写体距離が最近距離（０．５ｍ）と特定された領域に含まれる各画素位置には、奥行情報生成部１２０が奥行値「２５５」を割り当てる。

続いて、被写界深度を最も浅くした状態で、フォーカスレンズ１８６をニア側からファー側まで順次移動させながら、対象となる撮像画像において合焦する領域をフォーカスレンズ１８６の位置毎に検出する。そして、このように検出された領域の被写体距離が図３（ｂ）に示すグラフにより特定され、図４に示す関係に従って、奥行情報生成部１２０が奥行値（０〜２５５）を割り当てる。続いて、奥行情報生成部１２０が、撮像画像を構成する各画素について求められた奥行値に基づいて奥行マップを生成し、生成された奥行マップを画像処理部１３０および奥行情報エンコーダ１５０に出力する。

このように撮像動作の開始時において、奥行マップが初期設定される。そして、この初期設定がされた以降は、奥行情報生成部１２０が、撮像部１１０により生成された撮像画像に含まれる被写体について輪郭認識処理を継続して行い、認識された輪郭内の領域に奥行値を順次割り当てる。この輪郭認識処理は、例えば、撮像画像に含まれる各被写体について動きベクトルを検出し、この検出された動きベクトルに基づいて行われる。これにより、撮像動画を構成する各フレームについて奥行マップを生成することができる。

以上では、撮像動作の開始時において、ズームレンズ１８１をワイド端側に配置した状態で奥行値を算出する例について説明した。ここで、例えば、撮像動作の開始時において、ユーザ操作によりズーム操作が行われていることが想定される。例えば、講演している人を遠い位置から撮影する場合には、撮像動作の開始時において、ユーザ操作によりズーム操作が行われていることが多い。このように記録された撮像動画について、例えば、講演している人を立体視して視聴する場合も想定される。しかしながら、このように撮像画像が記録される場合には、ズームレンズ１８１がテレ端側に配置された状態となっているため、上述の奥行マップ生成方法により奥行マップを生成することができない。そこで、以下では、撮像動作の開始時において、ズームレンズ１８１がワイド端以外の位置に配置された状態で奥行値を算出する例について説明する。

図５は、本発明の第１の実施の形態における奥行情報生成部１２０が奥行マップを生成する際に用いられる被写体距離と奥行値との関係を示す図である。図５（ａ）では、図３（ｂ）に示すグラフの横軸において、ズームレンズ１８１がＺＬ１に位置する場合における被写体距離および奥行値の関係をグラフで示す。図５（ｂ）では、図３（ｂ）に示すグラフの横軸において、ズームレンズ１８１がＺＬ２に位置する場合における被写体距離および奥行値の関係をグラフで示す。図５（ｃ）では、図３（ｂ）に示すグラフの横軸において、ズームレンズ１８１がＺＬ３に位置する場合における被写体距離および奥行値の関係をグラフで示す。なお、図３（ｂ）に示すグラフにおいて、ＺＬ１乃至ＺＬ３に対応する線上における太線の矢印は、ズームレンズ１８１の各配置位置におけるフォーカスレンズの合焦範囲を模式的に示す。また、図５では、３つのパターンＫ２乃至Ｋ４のみを示すが、４以上のパターンを保持することにより、各態様に応じて奥行値を求めることができる。

このように、ズームレンズ１８１がワイド端以外の位置に配置された状態でも、奥行値を割り当てることにより、撮像動作の開始時において、ズームレンズ１８１がワイド端以外の位置に配置された状態で奥行マップを生成することができる。

以上で示したように、各撮像画像について奥行マップを生成することができる。本発明の第１の実施の形態では、このように生成された奥行マップを用いて、左眼視用画像および右眼視用画像の重複領域を特定して右眼視用画像から立体視差分画像を生成し、この立体視差分画像と左眼視用画像とを記録する。

［立体視差分画像の生成例］
図６は、本発明の第１の実施の形態における撮像部１１０により生成された撮像画像（左眼）３１１および撮像画像（右眼）３１２に含まれる被写体の位置関係を模式的に示す図である。なお、図６（ａ）に示す撮像画像（左眼）３１１および撮像画像（右眼）３１２は、図２（ｃ）に示すものと同一である。

図６（ｂ）には、図６（ａ）に示す撮像画像（左眼）３１１に撮像画像（右眼）３１２を重ね合わせた状態を示す。なお、図６（ｂ）に示す例では、撮像画像（左眼）３１１および撮像画像（右眼）３１２に含まれる被写体のうち、２つの撮像画像内における位置が比較的大きく異なる被写体の輪郭を太線で示す。また、この太線のうち、画像（右眼）３１２に含まれる被写体（人３０１、棒３０２および３０３）の輪郭を太い実線で示し、撮像画像（左眼）３１１に含まれる被写体（人３０１、棒３０２および３０３）の輪郭を太い点線で示す。

ここで、同時刻に生成される２つの撮像画像に含まれる被写体領域のうち、例えば、０．５ｍ〜５．０ｍの範囲内に含まれる被写体部分は、撮像装置１００から近い位置に存在するため、左右方向の位置が異なっていることが多い。一方、例えば、５．０ｍ〜∞ｍの範囲内に含まれる被写体部分は、撮像装置１００から遠い位置に存在するため、左右方向の位置が略同一となることが多い。例えば、図６（ｂ）に示すように、撮像画像（左眼）３１１および撮像画像（右眼）３１２に含まれる被写体のうち、０．５ｍ〜５．０ｍの範囲内に存在する被写体（人３０１、棒３０２および３０３）の撮像画像における位置が互いに異なっている。すなわち、撮像画像（左眼）３１１では、人３０１、棒３０２および３０３の撮像画像における位置が比較的右側となるのに対し、撮像画像（右眼）３１２では、人３０１、棒３０２および３０３の撮像画像における位置が比較的左側となる。一方、撮像画像（左眼）３１１および撮像画像（右眼）３１２に含まれる被写体のうち、５．０ｍ〜∞ｍの範囲内に存在する被写体（棒３０４、山３０５）の撮像画像における位置は略同一である。すなわち、撮像画像（左眼）３１１および撮像画像（右眼）３１２のうちの一方については、他の撮像画像と、図６（ｂ）に示す太線（実線および点線）で囲まれた領域（近距離被写体領域）とにより略同一の撮像画像を復元することができると想定される。そこで、本発明の第１の実施の形態では、同時刻に生成される２つの撮像画像のうち、１つの撮像画像（例えば、撮像画像（左眼）３１１）については、立体視主画像として記録する。また、他の撮像画像（例えば、撮像画像（右眼）３１２）については、各撮像画像に含まれる被写体領域のうち５．０ｍ〜∞ｍの範囲内に含まれる被写体部分の共通領域を特定し、この共通領域以外の領域部分（近距離被写体領域）を立体視差分画像として記録する。この立体視差分画像を記録する場合には、背景領域（近距離被写体領域以外の領域）を同一色として記録する。そして、再生時には、立体視主画像に含まれる背景領域（近距離被写体領域以外の領域）を用いて立体視差分画像を復元して用いる。

図７は、本発明の第１の実施の形態における画像処理部１３０により生成される立体視差分画像に関する被写体の奥行値と、この被写体を含む記録対象領域を特定するための画素値との関係を示す図である。図７に示すグラフにおいて、縦軸は撮像画像に含まれる被写体について算出された奥行値を示し、横軸は記録対象領域を特定するための長さを画素数で示す。

上述したように、本発明の第１の実施の形態では、立体視差分画像については近距離被写体領域の画像のみを記録する。この近距離被写体領域については、立体視差分画像に含まれる被写体のうち、撮像装置１００から比較的近い位置に存在する被写体の領域と、これらの被写体に対応する奥行値とを用いて算出することができる。

図６（ｂ）に示すように、例えば、撮像画像（右眼）３１２に含まれる近距離被写体のうち、撮像装置１００から最も近い位置に存在する被写体（人３０１）に関する近距離被写体領域は、水平方向に比較的長くなる。これに対して、撮像画像（右眼）３１２に含まれる近距離被写体のうち、撮像装置１００から最も遠い位置に存在する被写体（棒３０３）に関する近距離被写体領域は、水平方向に比較的短い。このように、記録対象領域の水平方向の長さは、撮像装置１００からの距離に応じて決定することができる。すなわち、記録対象領域の水平方向の長さを奥行値に基づいて算出することができる。そこで、以下では、記録対象領域の算出方法について図面を参照して詳細に説明する。

図８は、本発明の第１の実施の形態における画像処理部１３０が撮像画像（右眼）３１２から立体視差分画像を生成する場合における立体視差分画像生成方法を模式的に示す図である。なお、図８（ａ）に示す撮像画像（右眼）３１２は、図２（ｃ）に示すものと同一である。

図８（ｂ）には、撮像画像（右眼）３１２に含まれる被写体のうち、撮像装置１００から比較的近い位置に存在する被写体（人３０１、棒３０２および３０３）に対応する領域３３１乃至３３３のみを矩形３３０内に斜線で示す。この領域３３１乃至３３３は、撮像画像（右眼）３１２について生成された奥行マップに基づいて特定される。

画像処理部１３０が、撮像画像から立体視差分画像を生成する場合には、撮像画像について生成された奥行マップに基づいて、撮像画像に含まれる被写体領域のうち、０．５ｍ〜５．０ｍの範囲内に含まれる被写体領域を特定する。例えば、画像処理部１３０が、撮像画像（右眼）３１２に含まれる被写体のうち、０．５ｍ〜５．０ｍの範囲内に含まれる被写体（人３０１、棒３０２および３０３）の領域を特定する。具体的には、図８（ｂ）に示すように、画像処理部１３０が、撮像画像（右眼）３１２について算出された奥行マップを用いて、人３０１、棒３０２および３０３に対応する領域３３１乃至３３３を特定する。

このように撮像装置１００から比較的近い位置に存在する被写体の領域は、立体視差分画像として記録する。ここで、例えば、このように被写体の領域のみを記録して再生時に立体視差分画像を復元する場合を想定する。この場合には、図６（ｂ）に示すように、撮像画像（左眼）３１１に含まれる被写体のうち、近距離被写体の周辺領域を復元することができないことが想定される。そこで、本発明の第１の実施の形態では、撮像画像（右眼）３１２に含まれる人３０１、棒３０２および３０３の領域と、撮像画像（左眼）３１１に含まれる人３０１、棒３０２および３０３の領域とを含む領域を記録対象領域とする。そして、この記録対象領域の画像を立体視差分画像として記録する。

図８（ｃ）には、図７に示すグラフに従って、人３０１、棒３０２および３０３の領域を移動させた場合を模式的に示す。なお、図８（ｃ）では、移動前の領域３３１乃至３３３についてはその内部に斜線を付して示し、移動後の領域３４１乃至３４３については太線で示す。また、各領域の移動量を矢印で示す。図８（ｃ）に示すように、撮像装置１００から最も近い位置に存在する被写体（人３０１）の移動量は比較的長くなる。これに対して、撮像装置１００から最も遠い位置に存在する被写体（棒３０３）の移動量は比較的短くなる。

以下では、具体的な記録対象領域の計算方法を示す。画像処理部１３０は、以下の式１に従って、対象となる撮像画像における各ラインの記録対象領域に対応する区間を算出する。ここで、近距離被写体（例えば、人３０１）の撮像画像（右眼）３１２における水平方向の１ラインにおける区間を区間Ｏ（＝［Ｏ１，Ｏ２］）とする。なお、水平方向の１ラインにおいて撮像画像（右眼）３１２における左端を原点とする。また、区間Ｏは、奥行値が０を超えている値が連続する閉区間であるものとする。この場合に、対象となる撮像画像の水平方向の１ラインにおける記録対象領域の区間Ｒ１は、以下の式１を用いて算出される。ここで、近距離被写体の区間Ｏにおける奥行値をＤ１とする。なお、区間Ｏにおける奥行値Ｄ１が均一でない場合には、区間Ｏにおいて最も多い奥行値を用いて区間Ｒ１の算出が行われる。また、区間Ｏにおける各奥行値の平均値を算出し、この平均値を用いて区間Ｒ１の算出を行うようにしてもよい。
Ｒ１＝［Ｏ１，Ｏ２＋ｋ・Ｄ１］ …式１

ここで、ｋは、対象被写体の水平方向の移動量を特定するための定数であり、図７に示すグラフに従って特定される左右視差の輻輳オフセット係数ｋ（０≦ｋ＜１）とする。

これらを撮像画像（右眼）３１２の各ラインにおける近距離被写体について算出し、算出された区間Ｒ１が各ラインにおける記録対象領域の区間となる。また、同一ラインにおいて複数の近距離被写体が存在する場合には、これらの各近距離被写体について記録対象領域の区間を算出する。

図８（ｄ）には、式１を用いて算出された記録対象領域の区間に基づいて撮像画像（右眼）３１２から抽出される記録対象領域３５１乃至３５３を示す。図８（ｄ）では、記録対象領域３５１乃至３５３の輪郭を実線で示し、その内部を斜線で示す。また、図８（ｄ）では、記録対象領域３５１乃至３５３の位置および大きさのみを示す。

図８（ｅ）には、撮像画像（右眼）３１２において、記録対象領域３６１乃至３６３に含まれる被写体を矩形３６０内に実線で示すとともに、記録対象領域３６１乃至３６３の輪郭を矩形３６０内に太線で示す。また、撮像画像（右眼）３１２において、記録対象領域３６１乃至３６３以外の領域に含まれる被写体を矩形３６０内に点線で示す。なお、撮像画像（右眼）３１２における記録対象領域３６１乃至３６３の位置および大きさは、図８（ｄ）に示す記録対象領域３５１乃至３５３と同一である。

図８（ｆ）には、撮像画像（右眼）３１２から抽出された立体視差分画像３７０を示す。立体視差分画像３７０は、記録対象領域３７１乃至３７３に含まれる被写体に対応する画像である。また、立体視差分画像３７０における背景領域（記録対象領域３７１乃至３７３以外の領域）を均一色とする。なお、図８（ｆ）では、記録対象領域３７１乃至３７３の輪郭を点線で示す。また、立体視差分画像３７０における記録対象領域３７１乃至３７３の位置および大きさは、図８（ｅ）に示す記録対象領域３６１乃至３６３と同一である。

図９は、本発明の第１の実施の形態における画像処理部１３０が撮像画像（右眼）３１２から立体視差分画像を生成する場合における遷移を模式的に示す図である。なお、図９（ａ）に示す撮像画像（左眼）３１１および撮像画像（右眼）３１２は、図２（ｃ）に示すものと同一である。また、図９（ｂ）に示す記録対象領域３５１乃至３５３は、図８（ｄ）に示すものと同一であり、図９（ｃ）に示す立体視差分画像３７０は、図８（ｆ）に示すものと同一である。

最初に、図９（ａ）に示すように、撮像部１１０が、撮像画像（左眼）３１１および撮像画像（右眼）３１２を生成する。続いて、奥行情報生成部１２０が、撮像画像（左眼）３１１および撮像画像（右眼）３１２のそれぞれについて奥行マップを生成する。続いて、図９（ｂ）に示すように、画像処理部１３０が、撮像画像（右眼）３１２について生成された奥行マップに基づいて、撮像画像（右眼）３１２について記録対象領域３５１乃至３５３を算出する。続いて、図９（ｃ）に示すように、画像処理部１３０が、立体視主画像３８０および立体視差分画像３７０を生成する。なお、図９（ｃ）に示す立体視主画像３８０は、図９（ａ）に示す撮像画像（左眼）３１１と同一である。また、立体視差分画像３７０において、記録対象領域３７１乃至３７３以外の領域を均一色（例えば、ブルーバック）とする。すなわち、立体視差分画像３７０は、記録対象領域３７１乃至３７３に含まれる画像と、記録対象領域３７１乃至３７３以外の均一色の画像とにより構成される。

このように、撮像画像（右眼）３１２については、撮像画像（右眼）３１２に含まれる被写体のうち一部の被写体の画像のみを抽出し、この抽出された画像を立体視差分画像として記録する。このため、立体視画像を表示するための動画を記録する場合に、同時刻に生成された２つの撮像画像を記録する場合と比較して、記録対象となるデータ量を大幅に削減することができる。また、このように記録された動画ファイルを用いて立体視画像を表示する場合には、立体視差分画像から元の画像を復元することができる。このように、立体視差分画像から元の画像を復元する場合には、元の画像に含まれていた近距離被写体およびその周辺領域の画像と、立体視主画像の背景画像とを用いて復元することができる。このため、元の画像に含まれていた近距離被写体のみの画像と、立体視主画像の背景画像とを用いて復元する場合と比較して綺麗な立体視画像を表示させることができる。なお、このように復元される画像は、元の画像と略同一であるが、背景の一部が異なることも想定される。しかしながら、立体視画像は、目の左右視差による錯覚を利用してユーザに立体的な画像を見せるものであるため、背景の一部が異なっている場合でも、時間軸、空間軸による補間、平均化処理を加え補うことにより、ユーザに与える影響は少ないと想定される。

なお、この例では、撮像画像（右眼）に含まれる被写体のうち、被写体距離に基づいて、近距離被写体の領域およびその周辺領域を抽出する例を示した。しかしながら、例えば、撮像画像（右眼）に含まれる被写体のうち、特定の対象物（例えば、人物の顔）を検出し、この検出された対象物の領域およびその周辺領域を抽出して立体視差分画像として記録するようにしてもよい。

［立体視主画像、立体視差分画像および奥行マップの記録例］
次に、画像処理部１３０により生成された立体視主画像および立体視差分画像と、奥行情報生成部１２０により生成された奥行マップとを記録する記録方法について図面を参照して詳細に説明する。

図１０は、本発明の第１の実施の形態における記録制御部１６０がＡＶストリームを生成する場合におけるデータ処理を模式的に示す図である。この例では、立体視主画像に対応するビデオストリームと、その奥行マップに対応するデータストリームと、立体視差分画像に対応するビデオストリームと、その奥行マップに対応するデータストリームとを多重化してＡＶストリームを生成する例について説明する。

図１０（ａ）には、画像処理部１３０により生成された立体視主画像３８０および立体視差分画像３７０と、奥行情報生成部１２０により生成された奥行マップ４０１および４０２とを模式的に示す。なお、図１０（ａ）に示す立体視主画像３８０および立体視差分画像３７０は、図９（ｃ）に示す立体視主画像３８０および立体視差分画像３７０と同一である。また、奥行マップ４０１は、立体視主画像３８０について生成された奥行マップであり、奥行マップ４０２は、立体視差分画像３７０について生成された奥行マップであるものとする。なお、図１０（ａ）では、奥行マップ４０１および４０２については、対応する画像に含まれる被写体を矩形内に点線で示し、具体的な奥行値の図示を省略する。

図１０（ｂ）には、画像処理部１３０により生成された立体視主画像３８０および立体視差分画像３７０と、奥行情報生成部１２０により生成された奥行マップ４０１および４０２とがストリームバッファに保持される状態を模式的に示す。

例えば、画像エンコーダ１４０が、立体視主画像３８０を圧縮符号化してデジタルビデオデータ（ビデオストリーム）を生成するとともに、立体視差分画像３７０を圧縮符号化してデジタルビデオデータ（ビデオストリーム）を生成する。なお、立体視主画像および立体視差分画像として、ゲンロックされた画像が用いられる。また、奥行情報エンコーダ１５０が、奥行マップ４０１を圧縮符号化してデジタルデータ（データストリーム）を生成するとともに、奥行マップ４０２を圧縮符号化してデジタルデータ（データストリーム）を生成する。

続いて、記録制御部１６０が、生成された各ストリームデータをファイルシステム管理情報とＩＦＯ（InFOrmation）ファイルデータとともに、ＧＯＰ（Group Of Picture）単位で格納されたビデオオブジェクト単位を生成する。ここで言及するＩＦＯファイルとは、本発明の実施の形態のＡＶＣＨＤのアプリケーションフォーマットに準拠して映像音声ストリームコンテンツのアクセス記録再生編集を管理するストリーム管理データベースの管理情報ファイルの略称である。そして、記録制御部１６０は、ビデオオブジェクト単位が１個乃至複数個集合された記録データユニット４１０をストリームバッファに蓄積する。そして、記録制御部１６０が、所定分の記録データユニット４１０が蓄積されると、蓄積された記録データユニット４１０をまとめて、記憶部２００に記録する制御を繰り返し行う。なお、ビデオオブジェクト単位（ＶＯＢＵ（Video Object Unit））は、１つまたは２つのＧＯＰからなる集合であり、ディスクのＳＤ（Standard Definition）映像フォーマットでのメディアへの基本アクセス単位である。ディスクのＨＤ（High Definition）映像フォーマットにおいては、これに代わり、エントリポイント単位（ＥＰ（Entry Point））で１つ乃至数個のＧＯＰからなる集合である。本発明の実施の形態のＨＤ映像フォーマットの立体視画像記録再生では、例えば、立体視画像ストリームの同時刻１ＧＯＰ単位セットを１エントリポイント単位として扱うものとする。

ここで、記録データユニット４１０を構成する立体視画像属性情報４１１には、画像処理部１３０から出力された立体視画像生成情報と、奥行情報生成部１２０から出力された奥行マップ生成情報とが記録される。これらの各情報に基づいて、立体視画像識別情報および奥行マップ存否情報が、ＡＶストリームおよび動画管理ファイルに記録される。また、記録位置情報４１２には、記憶部２００から取得されたメディアの追記論理アドレスが、メディア上の記録位置情報として記録される。このメディアの論理アドレス位置は、図１９に示す「ＣＰＩ（）構造」７２４における「ＥＰ＿ｍａｐ（）」７２５に記録される。また、立体視主画像に対応するビデオストリームと、これに同期して生成された立体視差分画像に対応するビデオストリームとについては、同一のＰＴＳが用いられる。なお、立体視主画像に対応するＧＯＰには、立体視主画像の撮像時に同時に収音された撮影時音声やナレーション、ＢＧＭ等を含む音声ストリームが適宜記録される。

［立体視画像および奥行マップに関する動画管理ファイルへの記録例］
図１１は、本発明の第１の実施の形態における記憶部２００に記憶される動画ファイルと、この動画ファイルを管理する動画管理ファイルとを模式的に示す図である。図１１（ａ）には、１つの動画ファイルを構成する記録データユニット４２１乃至４２４を時系列で模式的に示す。ここで、図１１（ａ）に示す動画ファイルは、動画記録開始（撮影開始）から動画記録終了（撮影終了）までの画像データ（映像データ）を１チャプタ４２０とするビデオデータファイルである。この動画ファイルを構成する記録データユニット４２１乃至４２４は、図１０（ｂ）に示す記録データユニット４１０に対応するものであり、動画記録開始から動画記録終了の指示操作があるまでの間、記憶部２００に順次記録される。また、この動画ファイルには、画像データおよび音声データが含まれる。

図１１（ｂ）には、記憶部２００に記憶されている動画管理ファイル４３０を示す。動画管理ファイル４３０は、記憶部２００に記憶されている動画ファイルを管理するファイルであり、動画ファイルの編集対応の拡張管理ファイルである。動画管理ファイル４３０には、例えば、動画記録開始操作から動画記録終了操作までの間に記録された動画ファイルを１チャップタ毎に管理するための再生リスト登録情報４３１が記録される。この再生リスト登録情報４３１は、平面画像を表示するための動画ファイルと互換性のある再生リスト登録情報であり、再生開始点および再生終了点（ＩＮ／ＯＵＴ点）、編集属性等が記録される。

動画管理ファイル４３０には、拡張アプリケーションフォーマットとして、立体視画像識別情報４３２および奥行マップ存否情報４３３が格納される。立体視画像識別情報４３２は、立体視主画像および立体視差分画像が関連付けて記録されている動画ファイルであるか否かを示す情報である。また、奥行マップ存否情報４３３は、各画像に奥行マップが関連付けて記録されている動画ファイルであるか否かを示す情報である。例えば、立体視主画像および立体視差分画像が関連付けて記録されている動画ファイルである場合には、立体視画像識別情報４３２に「１」が記録される。一方、立体視主画像および立体視差分画像が関連付けて記録されていない動画ファイル（例えば、他の記録装置からダビングされた動画ファイル）である場合には、立体視画像識別情報４３２に「０」が記録される。このように、動画管理ファイル４３０に立体視画像識別情報４３２を記録することにより、記憶部２００に記憶されている動画ファイルを再生する場合に、立体視画像を表示可能であるか否かを認識して適切に再生させることができる。また、例えば、各画像に奥行マップが関連付けて記録されている動画ファイルである場合には、奥行マップ存否情報４３３に「１」が記録される。一方、各画像に奥行マップが関連付けて記録されていない動画ファイルである場合には、奥行マップ存否情報４３３に「０」が記録される。このように、動画管理ファイル４３０に奥行マップ存否情報４３３を記録することにより、記憶部２００に記憶されている動画ファイルを再生する場合に、奥行マップを用いた再生を適切に行うことができる。

［ＡＶＣＨＤ規格のデータ構造例］
次に、動画記録フォーマットの一例であるＡＶＣＨＤ規格について図面を参照して詳細に説明する。

図１２は、ＡＶＣＨＤのファイルの種別と、その役割との対応関係を概略的に示す図である。ＡＶＣＨＤ規格では、階層構造によりＡＶデータ（映像音声データ）を扱っており、インデックステーブルと、ムービーオブジェクトと、プレイリストと、クリップインフォメーションファイルと、クリップＡＶストリームファイルとに大別される。

クリップＡＶストリームファイル（Clip AV Stream File）は、ビデオデータ（映像データ）やオーディオデータ（音声データ）がＭＰＥＧ−２ ＴＳ（トランスポートストリーム）形式により多重化されたビットストリームである。また、このクリップＡＶストリームには、ＯＢストリーム（Overlay Bitmap stream）やＭＢストリーム（Menu Bitmap stream）を多重化することができる。ここで、ＯＢストリームは、字幕を表示するグラフィクスストリームであり、ＭＢストリームは、メニュー表示等に用いられるデータ（ボタン画像データ等）をストリームにしたものである。

クリップインフォメーションファイル（Clip Information File）は、クリップＡＶストリームファイルに関する情報をクリップ情報として保持するファイルである。このクリップインフォメーションファイルには、クリップＡＶストリームファイルにおける時間の位置と空間の位置（アドレス）との間のマッピング（変換）テーブル等が含まれている。これにより、クリップＡＶストリームファイルにおけるアクセスポイントが時間により指定された際、このマッピングテーブルを参照することにより、クリップＡＶストリームファイル上の適正なアドレスにアクセスすることができる。

これらクリップＡＶストリームファイルおよび対応するクリップ情報が記録されたクリップインフォメーションファイルをまとめてクリップと呼称する。また、クリップを構成するクリップＡＶストリームファイルおよびクリップインフォメーションファイルは１対１に対応する。

プレイリスト（PlayList）は、再生するクリップと、そのクリップの開始点および終了点の対に関する情報等から構成される。この再生開始点および再生終了点等の情報は、プレイアイテム（PlayItem）と呼称される。１つのプレイリストには、１つ以上のプレイアイテムが含まれる。クリップの再生は、このプレイリストを経由して行われる。すなわち、プレイリストが再生されることにより、そのプレイリストに含まれるプレイアイテムが順次再生されることになる。これにより、プレイアイテム中の再生開始点および再生終了点に従って、クリップ中の対応する区間が再生されていく。

各プレイアイテムには、プレイリストマークを付与することができる。このプレイリストマークにより、プレイアイテムは複数のチャプタに分割される。また、これとは逆に、１つのチャプタの中に複数のプレイアイテムが存在する場合もある。

プレイリストは、実プレイリスト（Real PlayList）と仮想プレイリスト（Virtual PlayList）とに大別される。実プレイリストは、クリップを単位として１つ以上のクリップを、基本的に記録順に保持するプレイリストである。この実プレイリスト内では時間的な飛び（ギャップ）はなく、また、他の実プレイリストとの間で重複（オーバラップ）も生じない。一方、仮想プレイリストは、何れかの実プレイリストに対応するクリップの一部または全部を１つ以上、任意に保持するプレイリストである。

ムービーオブジェクト（MovieObject）は、ナビゲーションコマンドプログラム等を含むオブジェクトである。ここで、ナビゲーションコマンドプログラムは、プレイリストの再生や再生終了後の処理を制御するためのコマンド群である。

インデックス（index）テーブルは、記録媒体に記録されたコンテンツのタイトルを定義する、最上位レベルのテーブルである。このインデックステーブルには１つ以上のムービータイトルが含まれ、各ムービータイトルからムービーオブジェクトを指し示すようになっている。再生機器では、このインデックステーブルに格納されているタイトル情報に基づいてコンテンツの再生が制御される。

図１３は、ＡＶＣＨＤ規格におけるファイル構成の一例を示す図である。記録媒体のルートディレクトリ「ドライブ」５００の下には、ファイル「ＭＯＤＥＬＣＦＧ．ＩＮＤ」５１０と、ディレクトリ「ＡＶＣＨＤ」５２０と、ディレクトリ「ＡＶＦ＿ＩＮＦＯ」５４０と、ディレクトリ「ＤＣＩＭ」５５０とが配置される。また、ディレクトリ「ＡＶＣＨＤ」５２０の下には、ディレクトリ「ＢＤＭＶ」５３０が配置される。

ファイル「ＭＯＤＥＬＣＦＧ．ＩＮＤ」５１０は、ベンダーユニーク（Vendor Unique）定義のファイル（メーカーにより決められた情報ファイル）である。また、ディレクトリ「ＢＤＭＶ」５３０は、動画映像記録アプリケーションフォーマットで規定されたフォルダおよびファイルが属するディレクトリである。

ディレクトリ「ＢＤＭＶ」５３０の直下には、ファイル「ＩＮＤＥＸ．ＢＤＭ」５３１およびファイル「ＭＯＶＩＥＯＢＪ．ＢＤＭ」５３２が配置される。また、ディレクトリ「ＢＤＭＶ」５３０の下には、ディレクトリ「ＰＬＡＹＬＩＳＴ」５３３、ディレクトリ「ＣＬＩＰＩＮＦ」５３５およびディレクトリ「ＳＴＲＥＡＭ」５３７が配置される。

ファイル「ＩＮＤＥＸ．ＢＤＭ」５３１は、ディレクトリ「ＢＤＭＶ」５３０の内容を格納するインデックスファイルであり、動画ファイル（チャプタ）を登録管理するファイルである。また、ファイル「ＭＯＶＩＥＯＢＪ．ＢＤＭ」５３２は、アプリケーション記録フォーマットで決められたファイルであり、ムービーオブジェクトの情報を格納する。

ディレクトリ「ＰＬＡＹＬＩＳＴ」５３３は、プレイリストのデータベースが配置されるディレクトリである。このディレクトリ「ＰＬＡＹＬＩＳＴ」５３３は、例えば、プレイリストに関するファイル（例えば、ファイル「０００００．ＭＰＬ」５３４）を含む。ディレクトリ「ＰＬＡＹＬＩＳＴ」５３３におけるファイルのファイル名は、５桁の数字と拡張子からなる。５桁の数字のうち、「０００００」から「００９９９」の１０００個は実プレイリスト用であり、「０１０００」から「０１９９９」の１０００個は仮想プレイリスト用である。また、各ファイルの拡張子としては「．ＭＰＬ」が用いられる。また、ディレクトリ「ＰＬＡＹＬＩＳＴ」５３３におけるファイルは、動画ファイル（チャプタ）へのコンテンツ毎のアクセスを登録する単位であり、開始点（ＩＮ点）および終了点（ＯＵＴ点）が論理時刻指定で管理される。

ディレクトリ「ＣＬＩＰＩＮＦ」５３５は、クリップのデータベースが置かれるディレクトリである。ディレクトリ「ＣＬＩＰＩＮＦ」５３５は、例えば、クリップＡＶストリームファイルのそれぞれに対するクリップインフォメーションファイル（例えば、ファイル「０００００．ＣＰＩ」５３６）を含む。ディレクトリ「ＣＬＩＰＩＮＦ」５３５におけるファイルのファイル名は、５桁の数字と拡張子からなる。各ファイルの拡張子としては「．ＣＰＩ」が用いられる。また、ディレクトリ「ＣＬＩＰＩＮＦ」５３５におけるファイルは、動画ファイル（チャプタ）に対応するＡＶストリームへのアクセスを管理するファイルである。

ディレクトリ「ＳＴＲＥＡＭ」５３７は、実体としてのＡＶストリームファイルが置かれるディレクトリである。ディレクトリ「ＳＴＲＥＡＭ」５３７は、例えば、クリップインフォメーションファイルのそれぞれに対応するクリップＡＶストリームファイル（例えば、ファイル「０００００．ＭＴＳ」５３８および５３９）を含む。また、ディレクトリ「ＳＴＲＥＡＭ」５３７におけるファイルは、ＭＰＥＧ−２のトランスポートストリームからなり、ファイル名は、５桁の数字と拡張子からなる。ここで、ファイル名５桁の数字の部分は、対応するクリップインフォメーションファイルと同一にすることにより、クリップインフォメーションファイルとこのクリップＡＶストリームファイルとの対応関係を示す。また、各ファイルの拡張子としては「．ＭＴＳ」が用いられる。また、ディレクトリ「ＳＴＲＥＡＭ」５３７におけるファイルは、１つのチャプタについて１ファイルとされる。また、例えば、１つのチャプタの各記録データユニット内で、立体視主画像およびその奥行マップと、立体視差分画像およびその奥行マップとがＥＰ（Entry Point）に交互に順次記録される。また、例えば、エレメンタリストリーム（ＥＳ）のストリーム（ＥＳストリーム）のモディファイドデジタルビデオパック（ＭＤＰ：Modified Digital Video Pack）に立体視画像識別情報および奥行マップ存否情報が記録される。なお、ＥＰは、１または複数のＧＯＰにより構成され、ＡＶＣＨＤ規格における記録フォーマットでのメディアへの基本アクセス単位となる。

ディレクトリ「ＡＶＦ＿ＩＮＦＯ」５４０は、ユーザの操作を助ける分類グループ登録情報や好み情報を管理するアプリケーションフォーマットのファイルが属するディレクトリである。また、ディレクトリ「ＡＶＦ＿ＩＮＦＯ」５４０の下には、例えば、ファイル「ＡＶＩＮ０００１．ＢＮＰ」５４１と、ファイル「ＡＶＩＮ０００１．ＩＮＰ」５４２と、ファイル「ＡＶＩＮ０００１．ＩＮＴ」５４３とが配置される。

ファイル「ＡＶＩＮ０００１．ＢＮＰ」５４１は、ＡＶストリームファイルのＵＩ（User Interface）管理情報ファイルであり、ファイル「ＡＶＩＮ＊＊＊＊．ＩＮＰ」のバックアップファイルである。

ファイル「ＡＶＩＮ０００１．ＩＮＰ」５４２は、ＡＶストリームファイルのＵＩ管理情報ファイルであり、記録された各ファイルの属性登録ファイルである。

ファイル「ＡＶＩＮ０００１．ＩＮＴ」５４３は、ＡＶストリームファイルのＵＩ管理情報ファイルであり、記録された各ファイルを立体視画像として表示するサムネイル画像を登録するファイルである。なお、このサムネイル画像については、図２９および図３０を参照して詳細に説明する。

ディレクトリ「ＤＣＩＭ」５５０は、静止画記録アプリケーションフォーマットで規定されたフォルダや、静止画ファイルが属するディレクトリである。また、ディレクトリ「ＤＣＩＭ」５５０の直下には、ＤＣＦ（Design rule for Camera File system）ディレクトリ（例えば、ディレクトリ「１０１ＭＳＤＣＦ」５５１）が配置される。また、ＤＣＦディレクトリの下には、画像ファイル（例えば、ファイル「０００００．ＤＣＦ」５５２）が配置される。

図１４は、ＡＶＣＨＤ規格におけるデータ構造を示す図である。図１４に示す例において、クリップ情報（＃０）５８１はストリーム（＃０）５９１に関する情報を保持し、クリップ情報（＃１）５８２はストリーム（＃１）５９２に関する情報を保持する。また、クリップ情報（＃２）５８３はストリーム（＃２）５９３に関する情報を保持し、クリップ情報（＃３）５８４はストリーム（＃３）５９４に関する情報を保持する。また、この例において、プレイアイテム（＃１）５７１乃至（＃３）５７３は実プレイリストに属する。

インデックステーブルは、記録媒体に記録されたコンテンツのタイトルを定義する、最上位レベルのテーブルである。このインデックステーブルには１つ以上のムービータイトルが含まれ、各ムービータイトルからプレイアイテムを指し示すようになっている。この例において、ムービータイトル（＃１）５６１はプレイアイテム（＃１）５７１を指し示し、ムービータイトル（＃２）５６２はプレイアイテム（＃２）５７２を指し示している。また、ムービータイトル（＃３）５６３はプレイアイテム（＃３）５７３を指し示している。再生機器では、このインデックステーブルに格納されているタイトル情報に基づいてコンテンツの再生が制御される。

［ＡＶＣＨＤ規格による記録例］
次に、画像処理部１３０により生成された立体視画像を識別するための立体視画像識別情報をＡＶＣＨＤ規格により記録する記録例について図面を参照して詳細に説明する。最初に、ＡＶＣＨＤ規格におけるＡＶストリームに立体視画像識別情報および奥行マップ存否情報を記録する場合について説明する。

［ＡＶストリームへの記録例］
図１５は、ＡＶＣＨＤ規格におけるＭＤＰ（Modified DV Pack）全般のデータ構造を示す図である。図１５（ａ）には、エレメンタリストリーム（ＥＳ）を模式的に示す。なお、図１５（ａ）では、ＥＳを構成する各要素のうち、ＭＤＰを表す矩形のみに「ＭＤＰ」の文字を付し、他の要素については文字を省略する。図１５（ａ）に示すように、１〜数ＧＯＰ単位で構成されるＥＰの中にＭＤＰがユーザデータとして記憶される。ここで、本発明の第１の実施の形態では、１ＧＯＰ（例えば、０．５秒）をＥＰ間隔として、ＥＳストリームが動画ファイルとして記録される。

図１５（ｂ）には、ＭＤＰに記録される立体視画像識別情報および奥行マップ存否情報を模式的に示す。立体視画像識別情報は、立体視画像に対応するストリーム（すなわち、立体視主画像および立体視差分画像を含むストリーム）であるか否かを識別するための識別フラグである。例えば、この識別フラグとしてＭＤＰにおいて定義された１ビットについて、立体視画像に対応するストリームである場合には「Ｔｒｕｅ」とし、立体視画像に対応するストリームでない場合には「Ｆａｌｓｅ」とする。また、奥行マップ存否情報は、ストリームに対応する立体視主画像および立体視差分画像の奥行マップが記録されているか否かを識別するための識別フラグである。例えば、この識別フラグとしてＭＤＰにおいて定義された１ビットについて、奥行マップが記録されているストリームである場合には「Ｔｒｕｅ」とし、奥行マップが記録されていないストリームでない場合には「Ｆａｌｓｅ」とする。なお、奥行マップ存否情報として、対応するストリームが、立体視主画像および立体視差分画像を含むストリームである場合には、立体視主画像および立体視差分画像の奥行マップに関する識別フラグが記録される。一方、対応するストリームが立体視差分画像を含まないストリームである場合には、対応する画像の奥行マップに関する識別フラグが記録される。

図１５（ｃ）には、ＭＤＰ全般のデータ構造の一部のシンタックスのみを示す。「ＭＤＰ基本構造」６０１におけるブロック「ＭｏｄｉｆｉｅｄＤＶＰａｃｋＭｅｔａ（）」は、ＭＤＰの付帯情報を格納するためのブロックである。「ＭｏｄｉｆｉｅｄＤＶＰａｃｋＭｅｔａ（）構造」６０２における各ｏｎｅ＿ｍｏｄｉｆｉｅｄ＿ｄｖ＿ｐａｃｋパック（５バイト）は、所定のパックＩＤ番号までは撮影時刻、撮影映像情報、ＧＰＳ位置情報等のデータが格納される。すなわち、「各々のｏｎｅ＿ｍｏｄｉｆｉｅｄ＿ｄｖ＿ｐａｃｋ＃ｋ 構造」６０３の「ｍｄｐ＿ｄａｔａ」には、所定のパックＩＤ番号までは撮影時刻、撮影映像情報、ＧＰＳ位置情報等のデータが格納される。例えば、ＭａｋｅｒＯｐｔｉｏｎ＃１は、バージョン記述、公開仕様記述、記録画質モード記述に使われる。また、ＭａｋｅｒＯｐｔｉｏｎ＃２は、ｍａｋｅｒＰｒｉｖａｔｅＤａｔａに使われる。

ここで、本発明の第１の実施の形態では、ＭａｋｅｒＯｐｔｉｏｎの後続追加を用いて、図１５（ｂ）に示す立体視画像識別情報および奥行マップ存否情報をＭＤＰに記録する例を示す。すなわち、「ＭａｋｅｒＯｐｔｉｏｎ＃ｋ構造」６０４の「ｍｄｐ＿ｄａｔａ」には、図１５（ｂ）に示す立体視画像識別情報および奥行マップ存否情報が格納される。

なお、フォーマット仕様で定義して、「ＭｏｄｉｆｉｅｄＤＶＰａｃｋＭｅｔａ」のｐａｄｄｉｎｇＩＤに用いられている領域を使い、図１５（ｂ）に示す立体視画像識別情報および奥行マップ存否情報をＥＰ毎に記録するようにしてもよい。

このように、ＭＤＰに立体視画像識別情報および奥行マップ存否情報を記録することにより、制御システムがそれらの各情報を読み出し、立体視画像に対応するストリームであるか否かと、奥行マップが存在するか否かを認識することができる。そして、その認識結果に基づいて、各ストリームを読み出し、読み出されたストリームをデコードして表示させることができる。

図１６は、ＡＶＣＨＤ規格における奥行マップに対応するデータストリームを含むストリームファイルの構成を示す図である。この例では、立体視主画像に対応するデータストリームのＥＰ内における構成例を示す。なお、ストリームファイルは、伝送時には複数のトランスポートパケットから構成されるトランスポートストリーム（ＴＳストリーム）として扱われる。そして、記録時には、ＰＥＳ（Packetized Elementary Stream）パケットを単位とするストリームに変換される。

ＰＡＴ（Program Association Table）６１１は、ストリームが含むプログラム数と、各プログラムのＰＭＴ（Program Map Table）のＰＩＤとを記述するプログラム情報（セクション）である。ここで、ＰＩＤ（Packet Indentifier：パケット識別子）は、ＴＳ（Transport Stream）パケットが伝送するデータの種類を示す識別情報であり、そのヘッダ内に格納される。なお、ＡＶＣＨＤ規格では、ＰＡＴのＰＩＤは、「０ｘ００００」（０ｘは、以下の数字が十六進数であることを意味する。以下同様）である。

ＰＭＴ６１２は、対応するプログラムに含まれる映像音声ストリームのＰＩＤと、ＰＣＲ（Program Clock Reference）のＰＩＤとを記述するセクションである。なお、ＡＶＣＨＤ規格では、ＰＭＴのＰＩＤは「０ｘ０００１」である。

ＰＣＲ６１３は、ＰＣＲのＰＩＤが格納されているＴＳパケットに記述されるＴ−ＳＴＤ（Transpor-System Target Decoder）への入力時刻であり、ストリーム中に０．１ｓｅｃ以下の間隔で格納される。なお、ＡＶＣＨＤ規格では、ＰＣＲのＰＩＤは、「０ｘ１００１」である。

なお、ＰＴＳ（Presentation Time Stamp）は、表示時刻タイムスタンプであり、ＰＥＳ（Packetized Elementary Stream）のヘッダに記述される。ＤＴＳ（Decoding Time Stamp）は、デコード時刻タイムスタンプであり、ＰＥＳのヘッダに記述される。

また、Ｉ＿ｔｏｐ６１４は、Ｉピクチャーのトップフィールドに対応するＰＥＳであり、Ｉ＿ｂｏｔｔｏｍ６１５は、Ｉピクチャーのボトムフィールドに対応するＰＥＳである。また、ＭＤＰ６１６は、ＭＤＰに対応するＰＥＳであり、ＯＢ６１７は、ＯＢストリームに対応するＰＥＳである。また、Ｂ＿ｔｏｐ６１９は、Ｂピクチャーのトップフィールドに対応するＰＥＳであり、Ｂ＿ｂｏｔｔｏｍ６２０は、Ｂピクチャーのボトムフィールドに対応するＰＥＳである。ここで、奥行マップ６１８は、奥行マップに対応するＰＥＳとする。

なお、ＡＶＣＨＤ規格では、ビデオストリームのＰＩＤは、「０ｘ１０＊＊」である。例えば、ＰＣＲのＰＩＤは、「０ｘ１００１」である。また、ＡＶＣＨＤ規格では、オーディオストリームのＰＩＤは、「０ｘ１１＊＊」である。また、ＡＶＣＨＤ規格では、ＯＢ（OverlayBitmap）のＰＩＤは、「０ｘ１２＊＊」である。また、ＡＶＣＨＤ規格では、メニューデータ（MenuData）のＰＩＤは、「０ｘ１４＊＊」である。

そこで、奥行マップに対応するデータストリームのＰＩＤとして、例えば、ビデオストリームのＰＩＤ「０ｘ１０＊＊」において未定義なＰＩＤを新規定義して用いことができる。また、例えば、「０ｘ１＊＊＊」の未定義ＰＩＤを新規定義して用いることができる。これにより、奥行マップに対応するデータストリームをＰＩＤセレクタ等により適切に分離させることができ、再生時には奥行マップを用いることができる。

［インデックスファイルへの記録例］
次に、ＡＶＣＨＤ規格におけるファイル管理情報に立体視画像識別情報および奥行マップ存否情報を記録する場合について図面を参照して詳細に説明する。最初に、ＡＶＣＨＤ規格におけるインデックスファイルに立体視画像識別情報および奥行マップ存否情報を記録する場合について説明する。なお、以下で示す立体視画像識別情報および奥行マップ存否情報は、例えば、図１５（ｂ）に示すものと同一とすることができる。

図１７は、ＡＶＣＨＤ規格におけるインデックスファイルのデータ構造を示す図である。「ＩＮＤＥＸ．ＢＤＭ構造」７０１におけるブロック「Ｅｘｔｅｎｓｉｏｎ Ｄａｔａ（）」は、所定の拡張データを格納するためのブロック（拡張データブロック）である。「Ｅｘｔｅｎｓｉｏｎ Ｄａｔａ（）構造」７０２におけるブロック「Ｄａｔａ Ｂｌｏｃｋ（）」は、拡張データの本体が格納されるブロックである。

「Ｉｎｄｅｘ Ｅｘｔｅｎｓｉｏｎ Ｄａｔａ（）構造」７０３における領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７０４は、バイトアライメントや将来的なフィールドの追加等のための予約領域である。なお、以下で示す各領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」についても同様に予約領域であるものとする。例えば、領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７０４に、立体視画像識別情報および奥行マップ存否情報を記録することができる。これらの立体視画像識別情報および奥行マップ存否情報を記録するため、例えば、領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７０４の２ビットを割り当てる。

また、「Ｉｎｄｅｘ Ｅｘｔｅｎｓｉｏｎ Ｄａｔａ（）構造」７０３におけるブロック「ＴａｂｌｅＯｆＰｌａｙＬｉｓｔｓ（）」は、プレイリストの属性情報が格納されるブロックである。例えば、「ＴａｂｌｅＯｆＰｌａｙＬｉｓｔｓ（）構造」７０５における領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７０６に、プレイリストファイルの属性情報として、立体視画像識別情報および奥行マップ存否情報を記録することができる。これらの立体視画像識別情報および奥行マップ存否情報を記録するため、例えば、領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７０６の２ビットを割り当てる。

また、「Ｉｎｄｅｘ Ｅｘｔｅｎｓｉｏｎ Ｄａｔａ（）構造」７０３におけるブロック「ＭａｋｅｒｓＰｒｉｖａｔｅＤａｔａ（）」は、ＡＶストリーム（コンテンツ）を管理するためのブロックである。また、「ＭａｋｅｒｓＰｒｉｖａｔｅＤａｔａ（）の各ｄａｔａ＿ｂｌｏｃｋ構造」７０８における領域「ｃｌｉｐ＿ｉｎｆｏ＿ｆｉｌｅ Ｉｎｆｏ」７０９は、ＡＶストリームの内部へアクセスするためのクリップインフォメーションファイルのエントリ情報である。例えば、領域「ｃｌｉｐ＿ｉｎｆｏ＿ｆｉｌｅ Ｉｎｆｏ」７０９における未使用の予約領域に、立体視画像識別情報および奥行マップ存否情報を記録することができる。例えば、これらの立体視画像識別情報および奥行マップ存否情報を記録するため、領域「ｃｌｉｐ＿ｉｎｆｏ＿ｆｉｌｅ Ｉｎｆｏ」７０９における未使用の予約領域の２ビットを割り当てることができる。このように各フラグを記録する場合において、立体視画像に関するＡＶストリームが記録された場合には、対応する各フラグが登録され、そのＡＶストリームが編集された場合には、対応する各フラグが更新される。

このように、本発明の第１の実施の形態では、「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」の定義のある領域等において、２ビットのフラグを新規定義し、立体視画像識別情報および奥行マップ存否情報を格納する。

［プレイリストファイルへの記録例］
次に、ＡＶＣＨＤ規格におけるプレイリストファイルに立体視画像識別情報および奥行マップ存否情報を記録する場合について説明する。

図１８は、ＡＶＣＨＤ規格におけるプレイリストファイルのデータ構造を示す図である。

「ＭｏｖｉｅＰｌａｙＬｉｓｔｆｉｌｅの構造」７１１におけるブロック「ＰｌａｙＬｉｓｔ（）」は、プレイリストが記述されるブロックである。また、ブロック「ＥｘｔｅｎｓｉｏｎＤａｔａ（）」は、所定の拡張データを格納するためのブロックである。

「ＰｌａｙＬｉｓｔ（）構造」７１２におけるブロック「ＰｌａｙＩｔｅｍ（）＃１」および「ＰｌａｙＩｔｅｍ（）＃２」は、プレイアイテムの属性情報が格納されるブロックである。例えば、「各ＰｌａｙＩｔｅｍ＃ｋ構造」７１３における領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７１４に、立体視画像識別情報および奥行マップ存否情報を記録することができる。これらの立体視画像識別情報および奥行マップ存否情報を記録するため、例えば、領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７１４の２ビットを割り当てる。

ここで、主として再生されるプレイアイテムに対応するメインパスに対して、サブプレイアイテムに対応してサブパスを持つことができる。「ＰｌａｙＬｉｓｔ（）構造」７１２におけるブロック「ＳｕｂＰａｔｈ（）＃１」および「ＳｕｂＰａｔｈ（）＃２」は、サブプレイアイテムに対応するサブパスの属性情報が格納されるブロックである。例えば、サブパスに対応させる場合には、対応する位置に立体視画像識別情報および奥行マップ存否情報を記録することができる。例えば、「各ＳｕｂＰｌａｙＩｔｅｍ＃ｋ構造」７１６における領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７１７の２ビットを割り当てることができる。

また、「ＭｏｖｉｅＰｌａｙＬｉｓｔｆｉｌｅの構造」７１１におけるブロック「ＥｘｔｅｎｓｉｏｎＤａｔａ（）」は、プレイリストファイルにおける拡張データを格納することができる領域である。ここで、ビデオデータ（VideoData）、音声データ（AudioData）、ＯＢ（OverlayBitmapData）、メニューデータ（MenuData）について、オーサリング（authoring）によりダビングする場合を想定する。これらの各データがオーサリングによりダビングされた後には、ＡＶＣＨＤ規格における登録位置が定義されている。しかしながら、奥行マップデータのプレイアイテムへの登録は、ＡＶＣＨＤ規格では登録位置が未だ定義されていない。そこで、本発明の第１の実施の形態では、ブロック「ＥｘｔｅｎｓｉｏｎＤａｔａ（）」に、奥行マップデータのプレイアイテムの登録領域を新規定義し、奥行マップデータのプレイアイテムの登録を行う。例えば、「ＥｘｔｅｎｔｉｏｎＤａｔａ（）のＤｅｐｔｈＭａｐＤａｔａのＰｌａｙＩｔｅｍ構造」７１８における「ＤｅｐｔｈＭａｐＤａｔａＰｌａｙＩｔｅｍ（）＃１、＃２」７１９に、奥行マップデータのプレイアイテムを登録する。

［クリップインフォメーションファイルへの記録例］
次に、ＡＶＣＨＤ規格におけるクリップインフォメーションファイルに立体視画像識別情報および奥行マップ存否情報を記録する場合について説明する。

図１９は、ＡＶＣＨＤ規格におけるクリップインフォメーションファイルのデータ構造を示す図である。

「Ｃｌｉｐ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｌｅ構造」７２１におけるブロック「ＣｌｉｐＩｎｆｏ（）」は、このクリップインフォメーションファイルが管理するクリップＡＶストリームに関する情報を記述するものである。例えば、「ＣｌｉｐＩｎｆｏ（）構造」７２２における領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７２３に、プレイアイテムの属性情報として、立体視画像識別情報および奥行マップ存否情報を記録することができる。これらの立体視画像識別情報および奥行マップ存否情報を記録するため、例えば、領域「ｒｅｓｅｒｖｅｄ＿ｆｏｒ＿ｆｕｔｕｒｅ＿ｕｓｅ」７２３の２ビットを割り当てる。

なお、「Ｃｌｉｐ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｌｅ構造」７２１におけるブロック「ＣＰＩ（）」は、ストリームファイル全体の時間の位置と空間の位置との間のマッピングテーブルに関する情報が格納される。例えば、ＡＶストリームが記録された場合に、各ＡＶストリームの全ＥＰの属性情報が、そのＡＶストリームに対応する各フィールドに登録される。また、例えば、ＡＶストリームが編集された場合に、各ＡＶストリームの全ＥＰの属性情報が、そのＡＶストリームに対応する各フィールドにおいて更新される。この登録または編集された情報が、再生時におけるアクセスで使用される。

「ＣＰＩ（）構造」７２４における「ＥＰ＿ｍａｐ（）」７２５は、ＥＰ（Entry Point）のメディアの論理アドレス位置と、コンテンツストリームの時刻タイムスタンプとの対応テーブルである。例えば、「ＥＰ＿ｍａｐ（）」７２５におけるＥＰの最大上限個数は、約１８万個となる。この場合に、例えば、ＥＰ１個を０．５秒（１ＧＯＰ）として記録する場合には、１チャプタ当たりの時間長さの最大限は９００００秒（２５時間）程度となる。

なお、立体視画像識別情報および奥行マップ存否情報を、ＭＤＰ、インデックスファイル、クリップインフォメーションファイルおよびムービープレイリストファイルのそれぞれに記録するようにしてもよく、何れかに記録するようにしてもよい。このように、本発明の第１の実施の形態によれば、立体視画像識別情報および奥行マップ存否情報を複数の階層に記録して利用することができる。

［ＡＶＣＨＤの各動画管理ファイルへの記録例］
図２０は、本発明の第１の実施の形態における記録制御部１６０により立体視画像に関する各データが各動画管理ファイルに記録される場合を模式的に示す図である。この例では、動画管理ファイル７５０において、図１８に示す奥行マップデータのプレイアイテムへの登録と、図１９に示すＥＰ＿ｍａｐへの登録とを模式的に示す。なお、Ｉｎｄｅｘファイル７５１と、ＭｏｖｉｅＯｂｊｅｃｔファイル７５２と、ＭｏｖｉｅＰｌａｙＬｉｓｔファイル７５３と、ＣｌｉｐＩｎｆｏファイル７５４とは、上述したものと同様であるため、ここでの説明を省略する。また、この例では、プログラム＃１（７７０）を立体視主画像に対応するストリームとし、プログラム＃２（７８０）を立体視差分画像に対応するストリームとする。また、ＰＡＴ７６１には、プログラム＃１（７７０）およびプログラム＃２（７８０）の一覧が記述される。また、ＰＭＴ７６２には、プログラム＃１（７７０）の各情報が格納され、ＰＭＴ７６３には、プログラム＃２（７８０）の各情報が格納される。

プログラム＃１（７７０）およびプログラム＃２（７８０）には、ビデオデータ（VideoData）および音声データ（AudioData）が含まれる。また、ＯＢ（OverlayBitmapData）、メニューデータ（MenuData）および奥行マップデータ（Depth Map Data）が含まれる。

図１８に示すように、「ＭｏｖｉｅＰｌａｙＬｉｓｔｆｉｌｅの構造」７１１におけるブロック「ＥｘｔｅｎｓｉｏｎＤａｔａ（）」に、奥行マップデータのプレイアイテムの登録領域を新規定義し、奥行マップデータのプレイアイテムの登録を行う。すなわち、ＰＡＴ７６１、ＰＭＴ７６２およびＰＭＴ７６３の各情報に基づいて、ＭｏｖｉｅＰｌａｙＬｉｓｔファイル７５３における奥行マップデータのプレイアイテムの登録が行われる。

また、図１９に示すように、「Ｃｌｉｐ ｉｎｆｏｒｍａｔｉｏｎ ｆｉｌｅ構造」７２１におけるブロック「ＣＰＩ（）」には、各ストリームの全ＥＰの属性情報が、そのストリームに対応する各フィールドに登録される。すなわち、ＰＡＴ７６１、ＰＭＴ７６２、ＰＭＴ７６３、プログラム＃１（７７０）およびプログラム＃２（７８０）に含まれる各データに基づいて、ＣｌｉｐＩｎｆｏファイル７５４における各フィールドの登録が行われる。

なお、上述したように、動画管理ファイル７５０における各ファイルには、立体視画像識別情報および奥行マップ存否情報が記録されるが、ここでの図示および説明は省略する。

［撮像装置の動作例］
図２１は、本発明の第１の実施の形態における撮像装置１００による動画記録処理の処理手順を示すフローチャートである。この例では、立体視主画像および立体視差分画像が関連付けられた動画ファイルと、この動画ファイルを管理する動画管理ファイルとを記録する動画記録処理について説明する。

最初に、立体視主画像および立体視差分画像が関連付けられた動画を記録する立体視画像撮像モードが設定されているか否かが判断される（ステップＳ９０１）。立体視画像撮像モードが設定されていない場合には（ステップＳ９０１）、動画記録処理の動作を終了する。一方、立体視画像撮像モードが設定されている場合には（ステップＳ９０１）、動画記録の開始操作が行われたか否かが判断される（ステップＳ９０２）。例えば、立体視画像撮像モードが設定されている状態で、録画ボタンを押下する押下操作が受け付けられたか否かが判断される。動画記録の開始操作が行われていない場合には（ステップＳ９０２）、その開始操作が受け付けられるまで、監視を継続する。

動画記録の開始操作が行われた場合には（ステップＳ９０２）、撮像部１１０が２つの撮像画像（撮像画像（左眼）および撮像画像（右眼））を生成する（ステップＳ９０３）。なお、ステップＳ９０３は、特許請求の範囲に記載の撮像手順の一例である。続いて、奥行情報生成部１２０が、その２つの撮像画像について奥行マップを生成する（ステップＳ９０４）。なお、ステップＳ９０４は、特許請求の範囲に記載の奥行情報生成手順の一例である。続いて、画像処理部１３０が、生成された２つの撮像画像のうちの１つの撮像画像（例えば、撮像画像（右眼））について、この撮像画像に生成された奥行マップを用いて立体視差分画像を生成する（ステップＳ９０５）。なお、ステップＳ９０５は、特許請求の範囲に記載の画像処理手順の一例である。

続いて、画像エンコーダ１４０が、生成された立体視差分画像および立体視主画像（例えば、撮像画像（左眼））をエンコードする（ステップＳ９０６）。続いて、奥行情報エンコーダ１５０が、生成された２つの奥行マップ（例えば、撮像画像（左眼）および撮像画像（右眼）に関する奥行マップ）をエンコードする（ステップＳ９０７）。

続いて、記録制御部１６０が、奥行情報生成部１２０から出力された奥行マップ生成情報と、画像処理部１３０から出力された立体視画像生成情報とに基づいて、立体視画像識別情報および奥行マップ存否情報をＭＤＰに記録する（ステップＳ９０８）。

続いて、記録制御部１６０が、各ストリームを多重化してＴＳストリームを生成し、生成されたＴＳストリームをストリームバッファに蓄積する（ステップＳ９０９）。例えば、立体視主画像および立体視差分画像がエンコードされたビデオストリームと、立体視画像識別情報および奥行マップ存否情報が格納されたＭＤＰと、２つの奥行マップがエンコードされたデータストリームとが多重化されてＴＳストリームが生成される。

続いて、ストリームバッファに所定量以上のデータが蓄積されたか否かが判断される（ステップＳ９１０）。ストリームバッファに所定量以上のデータが蓄積された場合には（ステップＳ９１０）、記録制御部１６０が、ストリームバッファに蓄積されたＴＳストリームを動画ファイル化して記憶部２００に記録する（ステップＳ９１１）。一方、ストリームバッファに所定量以上のデータが蓄積されていない場合には（ステップＳ９１０）、ステップＳ９０３に戻る。なお、ステップＳ９０９乃至Ｓ９１１は、特許請求の範囲に記載の記録制御手順の一例である。

続いて、動画記録の終了操作が行われたか否かが判断される（ステップＳ９１２）。例えば、立体視画像撮像モードにおいて動画記録が行われている状態で、録画ボタンを押下する押下操作（録画ボタンの再押下操作）が受け付けられたか否かが判断される。動画記録の終了操作が行われていない場合には（ステップＳ９１２）、ステップＳ９０３に戻る。一方、動画記録の終了操作が行われた場合には（ステップＳ９１２）、動画管理ファイル記録処理が行われる（ステップＳ９１３）。例えば、記録制御部１６０が、立体視画像識別情報および奥行マップ存否情報をインデックスファイル、ムービープレイリストファイルおよびクリップインフォメーションファイルに記録する。そして、記録制御部１６０が、立体視画像識別情報および奥行マップ存否情報が記録された各ファイルを記憶部２００に記録させる。動画管理ファイル記録処理が終了すると、動画記録処理の動作を終了する。

［立体視画像の表示例］
次に、立体視主画像および立体視差分画像が関連付けて記録されている動画ファイルを再生する例について図面を参照して詳細に説明する。

［再生装置の構成例］
図２２は、本発明の第１の実施の形態における再生装置８００の機能構成例を示すブロック図である。再生装置８００は、記憶部８０１と、操作受付部８０２と、再生処理部８０３と、画像デコーダ８０４と、奥行情報デコーダ８０５と、画像復元部８０６と、立体視画像生成部８０７と、表示部８０８とを備える。再生装置８００は、例えば、デジタルビデオカメラ等の撮像装置により記録された動画ファイルを再生することが可能なパーソナルコンピュータ等の再生装置によって実現することができる。

記憶部８０１は、動画ファイルや動画管理ファイル等の情報を記憶する記憶部であり、記憶されている各情報を再生処理部８０３に供給する。なお、記憶部８０１は、図１に示す記憶部２００に対応する。

操作受付部８０２は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作内容を再生処理部８０３に出力する。例えば、立体視画像を表示するための動画を再生する立体視画像再生モードを設定する設定操作が受け付けられた場合には、その旨が再生処理部８０３に出力される。また、立体視画像再生モードが設定されている状態で、再生開始ボタンを押下する押下操作が受け付けられた場合には、その旨が再生処理部８０３に出力される。

再生処理部８０３は、記憶部８０１に記憶されている動画ファイルを再生する場合に、再生に関する処理を行うものである。例えば、再生処理部８０３は、立体視画像再生モードが設定されている状態で、再生開始ボタンを押下する押下操作が受け付けられた場合には、その押下操作に係る動画ファイルと、これに関する動画管理ファイルとを記憶部８０１から取得する。そして、再生処理部８０３は、取得された動画管理ファイルに含まれる立体視画像識別情報および奥行マップ存否情報に基づいて、取得された動画ファイルが立体視画像を表示することが可能であるか否かを判断する。取得された動画ファイルが立体視画像を表示することが可能である場合には、再生処理部８０３は、復元画像を生成する指示を画像復元部８０６に出力する。また、再生処理部８０３は、取得された動画ファイルに対応するＡＶストリームをストリームバッファに蓄積し、立体視主画像および立体視差分画像に対応するビデオストリームを画像デコーダ８０４に順次供給する。また、再生処理部８０３は、奥行マップに対応するデータストリームを奥行情報デコーダ８０５に順次供給する。

画像デコーダ８０４は、再生処理部８０３から出力された立体視主画像および立体視差分画像（ビデオストリーム）をデコードするものであり、デコードされた立体視主画像および立体視差分画像を画像復元部８０６に出力する。

奥行情報デコーダ８０５は、再生処理部８０３から出力された奥行マップ（データストリーム）をデコードするものであり、デコードされた奥行マップを画像復元部８０６および立体視画像生成部８０７に出力する。

画像復元部８０６は、再生処理部８０３からの指示に基づいて、画像デコーダ８０４から出力された立体視主画像および立体視差分画像を用いて、立体視差分画像の差分画像処理前の状態の復元画像を生成するものである。そして、画像復元部８０６は、生成された復元画像を右眼視用画像とし、立体視主画像を左眼視用画像として、立体視画像生成部８０７に出力する。なお、奥行情報デコーダ８０５から出力された奥行マップを用いて復元画像を生成するようにしてもよい。また、復元画像の生成については、図２３を参照して詳細に説明する。

立体視画像生成部８０７は、画像復元部８０６から出力された左眼視用画像および右眼視用画像と、奥行情報デコーダ８０５から出力された各画像に関する奥行マップとに基づいて立体視画像を生成するものである。例えば、パララックスバリア方式により立体視画像を表示することが可能な液晶ディスプレイを用いて立体視画像を表示する場合には、左眼視用画像および右眼視用画像の各画素を交互に配列した立体視画像を生成する。この液晶ディスプレイには、例えば、スリット状の開口部を有するパララックスバリアが配置される。また、多眼視画像（例えば、８眼視画像）を用いた裸眼立体視表示が可能な裸眼立体視ディスプレイを用いて立体視画像を表示する場合には、左眼視用画像および右眼視用画像と、各画像に関する奥行マップとに基づいて、左右８眼視差の立体視画像を生成する。そして、立体視画像生成部８０７は、生成された立体視画像を表示部８０８に出力して表示させる。

表示部８０８は、立体視画像生成部８０７により生成された立体視画像を順次表示するものである。表示部８０８として、上述した立体視画像の表示が可能な液晶ディスプレイ等を用いることができる。

［復元画像の生成例］
図２３は、本発明の第１の実施の形態における画像復元部８０６が立体視主画像および立体視差分画像を用いて立体視差分画像からの復元画像を生成する復元画像生成方法の流れを模式的に示す図である。図２３（ａ）には、記憶部８０１に記憶されている動画ファイルに関連付けて記録されている立体視主画像３８０および立体視差分画像３７０を示す。なお、図２３（ａ）に示す立体視主画像３８０および立体視差分画像３７０は、図９（ｃ）に示すものと同一である。

図２３（ｂ）には、立体視主画像３８０および立体視差分画像３７０を用いて生成された復元画像８１０を示す。例えば、動画ファイルに関連付けて記録されている立体視主画像３８０および立体視差分画像３７０が画像デコーダ８０４によりデコードされる。そして、画像復元部８０６が、デコードされた立体視主画像３８０および立体視差分画像３７０を用いて復元画像８１０を生成する。具体的には、画像復元部８０６が、立体視差分画像３７０における記録対象領域３７１乃至３７３に含まれる画像を抽出し、この抽出された画像を立体視主画像３８０に上書き合成することにより復元画像８１０を生成する。すなわち、復元画像８１０は、立体視差分画像３７０における背景領域（記録対象領域３７１乃至３７３以外の領域）として立体視主画像３８０の背景領域を用いて生成される画像である。なお、図２３（ｂ）では、復元画像８１０における記録対象領域３７１乃至３７３の輪郭を太線で示す。続いて、図２３（ｃ）に示すように、立体視主画像３８０を左眼視用画像８２１とし、生成された復元画像８１０を右眼視用画像８２２として、立体視画像生成部８０７が、立体視画像を生成し、この生成された立体視画像が動画として表示部８０８に表示される。

このように、復元画像を生成する場合には、立体視差分画像に含まれていた近距離被写体およびその周辺領域の画像と、立体視主画像の背景画像とを用いて復元することができる。このため、立体視画像の近距離被写体近傍の背景表示であっても違和感の少ない綺麗な立体視画像を表示させることができる。

［再生装置の動作例］
図２４は、本発明の第１の実施の形態における再生装置８００による動画再生処理の処理手順を示すフローチャートである。この例では、立体視主画像および立体視差分画像が関連付けられた動画ファイルについて立体視画像として再生を行う動画再生処理について説明する。

最初に、立体視画像を表示するための動画を再生する立体視画像再生モードが設定されているか否かが判断される（ステップＳ９２１）。立体視画像再生モードが設定されていない場合には（ステップＳ９２１）、動画再生処理の動作を終了する。一方、立体視画像再生モードが設定されている場合には（ステップＳ９２１）、動画再生の開始操作が行われたか否かが判断される（ステップＳ９２２）。例えば、立体視画像再生モードが設定されている状態で、再生開始ボタンを押下する押下操作が受け付けられたか否かが判断される。動画再生の開始操作が行われていない場合には（ステップＳ９２２）、その開始操作が受け付けられるまで、監視を継続する。

動画再生の開始操作が行われた場合には（ステップＳ９２２）、再生処理部８０３が、その開始操作に係る動画ファイルに関する動画管理ファイルを取得する（ステップＳ９２３）。そして、立体視画像の再生が可能な動画ファイルであるかが判断される（ステップＳ９２４）。例えば、立体視画像識別情報および奥行マップ存否情報として「１」が記録されているか否かが判断される。立体視画像の再生が可能な動画ファイルでない場合には（ステップＳ９２４）、動画再生処理の動作を終了する。一方、立体視画像の再生が可能な動画ファイルである場合には（ステップＳ９２４）、再生処理部８０３が、開始操作に係る動画ファイルにおける記録データユニットを取得してストリームバッファに蓄積する（ステップＳ９２５）。

続いて、画像デコーダ８０４が、ストリームバッファに蓄積されている記録データユニットに含まれる立体視差分画像および立体視主画像に対応するデータをデコードする（ステップＳ９２６）。続いて、奥行情報デコーダ８０５が、ストリームバッファに蓄積されている記録データユニットに含まれる奥行マップに対応するデータをデコードする（ステップＳ９２７）。

続いて、画像復元部８０６が、デコードされた立体視主画像および立体視差分画像を用いて復元画像を生成する（ステップＳ９２８）。続いて、立体視画像生成部８０７が、例えば、立体視主画像を左眼視用画像とし、生成された復元画像を右眼視用画像として、立体視画像を生成し（ステップＳ９２９）、この生成された立体視画像を動画として表示部８０８に表示させる（ステップＳ９３０）。

続いて、動画再生の終了操作が行われたか否かが判断される（ステップＳ９３１）。例えば、立体視画像再生モードにおいて動画再生が行われている状態で、再生停止ボタンを押下する押下操作が受け付けられたか否かが判断される。動画再生の終了操作が行われていない場合には（ステップＳ９３１）、ストリームバッファに蓄積された記録データユニットの全てについて読出処理が終了したか否かが判断される（ステップＳ９３２）。ストリームバッファに蓄積された記録データユニットの全てについて読出処理が終了した場合には（ステップＳ９３２）、ステップＳ９２５に戻る。一方、ストリームバッファに蓄積された記録データユニットの全てについて読出処理が終了していない場合には（ステップＳ９３２）、ステップＳ９２６に戻る。また、動画再生の終了操作が行われた場合には（ステップＳ９３１）、動画再生処理の動作を終了する。

このように、立体視主画像および立体視差分画像を用いて復元画像を生成して立体視画像を表示する場合には、ＡＶＣＨＤフォーマット方式を用いることができる。このＡＶＣＨＤフォーマット方式では、撮影後にＨＤ映像方式ストリームコンテンツをＢｌｕ−Ｒａｙへのコンテンツダビング・オーサリングすることを前提に、そのダビング・オーサリングする際にストリームコンテンツへのアクセス制御管理が比較的容易となる。また、例えば、ＨＤ映像方式として知られるＭＰ４での撮影等において、１つの平面画像と奥行マップとを用いて立体視画像を表示するようにしてもよい。また、これらの表示方法をユーザ操作により切替可能としてもよい。例えば、奥行マップを用いた立体視画像の表示方法として、表示装置向けのＭＰＥＧ−Ｃ ｐａｒｔ３の奥行に関する式（ＤｅｐｔｈＭａｐ定義変換式）を用いることができる。

＜２．第２の実施の形態＞
以上では、立体視画像を表示するための動画を記録して、この記録された動画を再生する例について説明した。本発明の第２の実施の形態では、立体視画像を表示するための動画の記録中にモニタリング画像を表示する場合において、モニタリング画像として立体視画像を表示する例を示す。ここで、モニタリング画像は、例えば、動画記録待機状態で、撮像動作により生成された撮像画像がリアルタイムで表示される画像である。

［撮像装置の構成例］
図２５は、本発明の第２の実施の形態における撮像装置８３０の機能構成例を示すブロック図である。ここで、撮像装置８３０は、図１に示す撮像装置１００の変形例であるため、撮像装置１００と共通する部分については、同一の符号を付してこれらの説明を省略し、撮像装置１００と異なる部分を中心に説明する。撮像装置８３０は、画像処理部８３１と、表示制御部８３２と、表示部８３３とを備える。

撮像部１１０は、図１と同様に立体視撮像対応の撮像部であり、被写体を撮像して２つの撮像画像（画像データ）を生成し、生成された２つの撮像画像を奥行情報生成部１２０および画像処理部８３１に出力する。また、例えば、モニタリング画像のみを表示する撮像動作状態である場合には、撮像部１１０は、左眼視用画像および右眼視用画像の何れか１つを生成し、生成された１つの撮像画像を奥行情報生成部１２０および画像処理部８３１に出力する。すなわち、モニタリング画像のみを表示する撮像動作状態である場合には、単眼により撮像動作が行われる。また、奥行情報生成部１２０は、１つの撮像画像のみが生成された場合には、その１つの撮像画像について奥行マップを生成する。

画像処理部８３１は、モニタリング画像のみを表示する撮像動作状態である場合には、撮像部１１０から出力された撮像画像について、奥行情報生成部１２０から出力された奥行マップに基づいて、立体視画像を表示するための２つの画像を生成するものである。そして、画像処理部８３１は、生成された２つの画像を表示制御部８３２に出力する。なお、他の画像処理については、図１に示す例と同様であるため、ここでの説明を省略する。また、立体視画像を表示するための２つの画像の生成方法については、図２６および図２７を参照して詳細に説明する。

表示制御部８３２は、画像処理部８３１から出力された２つの画像に基づいて立体視画像をリアルタイムで表示部８３３に表示させるものである。

表示部８３３は、表示制御部８３２の制御に基づいて、撮像部１１０により生成された撮像画像を立体視画像としてリアルタイムで表示するものである。なお、表示部８３３として、例えば、上述したパララックスバリア方式により立体視画像を表示することが可能な液晶パネル等の立体視表示装置を用いることができる。例えば、撮像装置８３０が比較的小型である場合には、その大きさに応じて、比較的小型な液晶パネル等の立体視表示装置を用いることができる。

［立体視画像の生成例］
図２６は、本発明の第２の実施の形態における画像処理部８３１により生成される立体視画像に関する被写体の奥行値と、この被写体を移動すべき領域を特定するための画素値との関係を示す図である。図２６に示すグラフにおいて、縦軸は撮像画像に含まれる被写体について算出された奥行値を示し、横軸はその被写体を移動すべき領域を特定するための長さを画素数で示す。なお、図２６に示すグラフは、図７に示すグラフに対応するものであり、横軸において画素値の量が反対向きとなる以外は、図７に示すグラフ同一である。

図２７は、本発明の第２の実施の形態における画像処理部８３１が撮像画像３１１から右眼視用画像を生成する場合における立体視画像生成方法を模式的に示す図である。なお、図２７（ａ）に示す撮像画像３１１は、図２（ｃ）に示す撮像画像（左眼）３１１と同一であるため、同一の符号を付して説明する。

図２７（ｂ）には、図２６に示すグラフに従って、人３０１、棒３０２および３０３の領域を移動させた場合を模式的に示す。なお、図２７（ｂ）では、移動後の領域８４１乃至８４３についてはその内部に斜線を付して示し、移動前後の被写体を含む領域８４４乃至８４６についてはその輪郭を太い点線で示す。また、各領域の移動量を矢印で示す。

以下では、具体的な近距離被写体の移動に関する計算方法および近距離被写体の移動により生じる隙間領域の計算方法を示す。最初に、近距離被写体の移動に関する計算方法を示す。画像処理部８３１は、以下の式２に従って、対象となる撮像画像における各ラインの近距離被写体の移動後の領域に対応する区間を算出する。ここで、近距離被写体（例えば、人３０１）の撮像画像３１１における水平方向の１ラインにおける区間を区間Ｏ１０（＝［Ｏ１１，Ｏ１２］）とする。なお、水平方向の１ラインにおいて撮像画像３１１における左端を原点とする。また、区間Ｏ１０は、奥行値が０を超えている値が連続する閉区間であるものとする。この場合に、対象となる撮像画像の水平方向の１ラインにおける近距離被写体の移動後の領域に対応する区間Ｒ１０は、以下の式２を用いて算出される。ここで、近距離被写体の区間Ｏ１０における奥行値をＤ１０とする。なお、区間Ｏ１０における奥行値Ｄ１０が均一でない場合には、最も多い奥行値を用いて区間Ｒ１０の算出が行われる。また、区間Ｏ１０における各奥行値の平均値を算出し、この平均値を用いて区間Ｒ１０の算出を行うようにしてもよい。
Ｒ１０＝［Ｏ１１−ｋ１０・Ｄ１０，Ｏ１２−ｋ１０・Ｄ１０］ …式２

ここで、ｋ１０は、対象被写体の水平方向の移動量を特定するための定数であり、図２６に示すグラフに従って特定される左右視差の輻輳オフセット係数ｋ１０（０≦ｋ１０＜１）とする。

次に、近距離被写体の移動により隙間が生じる背景領域の計算方法を示す。画像処理部８３１は、以下の式３に従って、対象となる撮像画像における各ラインの近距離被写体の移動により生じる隙間領域に対応する区間を算出する。例えば、対象となる撮像画像の水平方向の１ラインにおける近距離被写体の移動により生じる隙間領域に対応する区間Ｒ２０は、以下の式３を用いて算出される。なお、区間Ｏ１０、奥行値Ｄ１０および輻輳オフセット係数ｋ１０については、上述したものと同様である。
Ｒ２０＝［Ｏ１２−ｋ１０・Ｄ１０，Ｏ１２］ …式３

図２７（ｂ）に示す例では、式２を用いて求められた近距離被写体の移動後の領域は、領域８４１乃至８４３となる。また、式３を用いて求められる背景領域は、領域８４４乃至８４６における白色の領域（すなわち、領域８４１乃至８４３以外の領域）となる。図２７（ｂ）に示すように、画像処理部８３１は、撮像画像３１１から近距離被写体を抽出し、この抽出された近距離被写体の画像を式２に従って移動させる。このように、撮像画像３１１において、近距離被写体を抽出して移動させることにより、移動後の近距離被写体の右側の領域は、画像情報がない領域（隙間領域）となる。そこで、例えば、近距離被写体の移動により生じる隙間領域については、画像処理部８３１が補間処理を行う。例えば、隙間領域について、時間軸における所定範囲内のフレームに含まれるその近傍（隙間領域の近傍）の画像を用いて時間補間を行うことができる。なお、隙間領域について、時間軸における所定範囲内のフレームに含まれるその近傍に適切な画像が存在しない場合には、補間対象となる撮像画像の画面内における空間補間を行うことができる。

図２７（ｃ）には、左眼視用画像３１１と、撮像画像３１１から生成された右眼視用画像８５０とを示す。なお、左眼視用画像３１１については、撮像画像３１１と同一であるため、同一の符号を付して示す。右眼視用画像８５０は、式２に従って近距離被写体が移動され、式３に従って算出された隙間領域について補間処理が施された画像である。右眼視用画像８５０において、領域８５１乃至８５３は、図２７（ｂ）に示す領域８４１乃至８４３に対応し、領域８５４乃至８５６は、図２７（ｂ）に示す領域８４４乃至８４６に対応する。なお、図２７（ｃ）では、領域８５４乃至８５６の輪郭を点線で示す。

このように、１つの撮像画像３１１から左眼視用画像３１１および右眼視用画像８５０を生成し、この生成された左眼視用画像３１１および右眼視用画像８５０を用いて立体視画像を表示させることができる。このため、例えば、動画の記録中、または、動画記録待機状態において、モニタリング画像を表示する場合に、単眼により生成された撮像画像のみを用いて立体視画像をモニタリング画像として表示させることができる。なお、このように表示される立体視画像を構成する右眼視用画像は、背景画像の一部が補間処理により生成されたものであり、その背景画像が実際の被写体と異なることも想定される。しかしながら、モニタリング画像は、撮像装置８３０に備えられている表示パネルにリアルタイムで表示される画像であり、例えば、ユーザが動画記録の確認のために見る画像である。このため、比較的簡易的な立体視画像として表示しても、ユーザに与える影響は少ないと想定され実施される。

このように、立体視画像を構成する右眼視用画像を生成することにより、例えば、単眼式の撮像部を備える撮像装置を用いても立体視画像を容易に表示させることができる。また、画像処理により立体視画像を生成することができるため、例えば、単眼式の撮像部を備える小型のデジタルスチルカメラや携帯電話機等の電子機器においても、立体視画像を生成することができる。また、これらの電子機器において生成された立体視画像を構成する左眼視用画像および右眼視用画像については、本発明の第１の実施の形態で示したように、動画として順次記録しておき、再生モードにおいて立体視画像として再生させるようにしてもよい。例えば、立体視画像を構成する右眼視用画像については、近距離被写体領域および隙間領域のみを順次記録しておき、再生モードにおいて復元画像を生成し、この復元画像および左眼視用画像を用いてその立体視画像を再生させることができる。また、これらの記録された動画を他の表示装置において立体視画像として表示させるようにしてもよい。

＜３．第３の実施の形態＞
以上では、立体視画像を表示するための動画の記録処理および再生処理する例について説明した。ここで、例えば、立体視画像を表示するための動画ファイルが複数記憶されている場合に、これらの動画ファイルの一覧を表示して所望の動画ファイルを選択することが想定される。この場合に、例えば、立体視画像を表示するための動画ファイルと、平面画像を表示するための動画ファイルとが混在して記憶されている場合も想定される。このように、異なる種類の動画ファイルが混在して記憶されている場合において、動画ファイルの種類に応じて異なる表示態様として一覧表示をすることができれば、一覧表示されている動画ファイルをユーザが把握し易い。そこで、本発明の第３の実施の形態では、動画ファイルの一覧を表示する場合に、立体視画像を表示するための動画ファイルについては、立体視画像のサムネイル画像を表示する例を示す。

［撮像装置の構成例］
図２８は、本発明の第３の実施の形態における撮像装置８６０の機能構成例を示すブロック図である。ここで、撮像装置８６０は、図１に示す撮像装置１００の変形例であるため、撮像装置１００と共通する部分については、同一の符号を付してこれらの説明を省略し、撮像装置１００と異なる部分を中心に説明する。撮像装置８６０は、記録制御部８６１と、表示制御部８６２と、表示部８６３とを備える。

画像処理部１３０は、撮像部１１０から出力された２つの撮像画像（左眼視用画像および右眼視用画像）のうち、代表フレームに対応する２つの撮像画像については、記録制御部８６１に出力する。代表フレームは、例えば、先頭フレームとすることができる。

記録制御部８６１は、画像処理部１３０から出力された代表フレームに対応する２つの撮像画像（左眼視用画像および右眼視用画像）について、立体視画像を表示するためのサムネイル画像として動画管理ファイルに含めて記憶部２００に記録させる。なお、これらの記録方法については、図２９を参照して詳細に説明する。

表示制御部８６２は、操作受付部１７０からの操作入力に応じて、記憶部２００に記憶されている動画ファイルを選択するためのコンテンツ選択画面を表示部８６３に表示させるものである。このコンテンツ選択画面には、記憶部２００に記憶されている動画管理ファイルに含まれるサムネイル画像が一覧表示される。また、立体視画像を表示するための動画ファイルに対応するサムネイル画像については、立体視画像として表示される。なお、コンテンツ選択画面の表示例を図３０に示す。

表示部８６３は、表示制御部８６２の制御に基づいて、コンテンツ選択画面を表示するものである。なお、表示部８６３として、例えば、上述したパララックスバリア方式により立体視画像を表示することが可能な液晶パネル等の立体視表示装置を用いることができる。例えば、撮像装置８６０が比較的小型である場合には、その大きさに応じて、比較的小型な液晶パネル等の立体視表示装置を用いることができる。

［サムネイル画像の記録例］
図２９は、本発明の第３の実施の形態における記録制御部８６１によるサムネイル画像の記録処理を模式的に示す図である。図２９（ａ）には、１つの動画ファイルを構成する記録データユニット４２１乃至４２４を時系列で模式的に示す。なお、図２９（ａ）に示す記録データユニット４２１乃至４２４は、図１１（ａ）に示すものと同一であるため、同一の符号を付して示す。

図２９（ｂ）には、記憶部２００に記憶されている動画管理ファイルに記録されるサムネイル画像を示す。このサムネイル画像は、立体視画像として表示するための左眼視用画像８７１および右眼視用画像８７２により構成される。左眼視用画像８７１および右眼視用画像８７２は、例えば、動画ファイルを構成する各フレームのうち、代表フレームの再生表示時刻（ＰＴＳ）に対応する左眼視用画像および右眼視用画像とする。例えば、図２９（ｂ）に示すサムネイル画像は、図２（ｃ）に示す２つの画像（撮像画像（左眼）３１１および撮像画像（右眼）３１２）に対応するものである。例えば、図２９（ｂ）に示すサムネイル画像は、動画ファイルを構成する各フレームのうち、先頭フレームに対応する左眼視用画像および右眼視用画像とすることができる。

図２９（ｃ）には、動画管理ファイルにサムネイル画像が記録された場合を模式的に示す。例えば、図１３に示すファイル「ＡＶＩＮ０００１．ＩＮＴ」５４３にサムネイル画像８８１および８８２が記録される。このサムネイル画像８８１および８８２は、図２９（ｂ）に示す左眼視用画像８７１および右眼視用画像８７２に対応する。

［サムネイル画像の表示例］
図３０は、本発明の第３の実施の形態における表示制御部８６２によるサムネイル画像の表示処理を模式的に示す図である。図３０（ａ）には、動画管理ファイルにサムネイル画像が記録された場合を模式的に示す。なお、図３０（ａ）に示す動画管理ファイルおよびサムネイル画像は、図２９（ｃ）に示すものと同一であるため、同一の符号を付して示す。

図３０（ｂ）には、記憶部２００に記憶されている動画ファイルを選択する場合に表示されるコンテンツ選択画面８９０を示す。このコンテンツ選択画面８９０は、各動画ファイルを表すサムネイル画像を一覧表示する画面であり、この画面に含まれるサムネイル画像を選択する選択操作を行うことにより、選択されたサムネイル画像に対応する動画ファイルを再生させることができる。図３０（ｂ）では、立体視画像を表示するための動画ファイルと、平面画像を表示するための動画ファイルとが記憶部２００に記憶されている場合に、これらの各動画ファイルを表すサムネイル画像を同一画面に表示させる例を示す。ここで、図３０（ｂ）に示すコンテンツ選択画面８９０において、立体視画像を表示するための動画ファイルを表すサムネイル画像を立体視画像として表示し、平面画像を表示するための動画ファイルを表すサムネイル画像を平面画像として表示する。なお、図３０（ｂ）では、立体視画像として表示されるサムネイル画像（立体視画像＃１乃至＃８）を表す矩形を太線の枠で示し、平面画像として表示されるサムネイル画像（平面画像＃１１乃至＃１４）を表す矩形を細線の枠で示す。

図３０（ｃ）には、コンテンツ選択画面８９０に表示されるサムネイル画像の表示例を示す。サムネイル画像（立体視画像）８９１は、立体視画像を表示するための動画ファイルを表すサムネイル画像であり、図３０（ａ）に示すように、１組のサムネイル画像により立体視画像として表示される。なお、図３０（ｃ）では、サムネイル画像（立体視画像）８９１を簡略化して示す。ここで、例えば、コンテンツ選択画面８９０に表示されるサムネイル画像に対応する動画ファイルが立体視画像を表示するための動画ファイルである場合には、コンテンツ選択画面８９０に表示されるサムネイル画像に、その旨を示す標識を重ねて表示させる。例えば、図３０（ｃ）に示すように、立体視アイコン８９２をサムネイル画像８９１に重ねて表示させる。

また、サムネイル画像（平面画像）８９３は、平面画像を表示させるための動画ファイルを表すサムネイル画像であり、平面画像として表示される。なお、図３０（ｃ）では、サムネイル画像（平面画像）８９３として、サムネイル画像（立体視画像）８９１と構図が同一の画像を簡略化して示す。

このように、立体視画像を表示することが可能な動画ファイルをコンテンツ選択画面に表示する場合に、そのサムネイル画像を立体視画像として表示するとともに、そのサムネイル画像に立体視アイコンを重ねて表示させることができる。これにより、ユーザが所望する動画ファイルを選択する場合に、立体視画像を再生可能な動画ファイルを容易に把握することができる。また、動画ファイルの代表フレームに対応するサムネイル画像を立体視画像として表示することにより、その動画を再生する場合における立体感を予め容易に把握することができる。

このように、本発明の実施の形態によれば、立体視主画像および立体視差分画像が関連付けられているデータストリームを動画ファイルとして記録するため、立体視画像を表示するための動画ファイルの記憶容量を削減することができる。また、再生時には、立体視主画像および立体視差分画像に基づいて立体視画像を生成し、これらを動画として再生することができる。また、立体視主画像および立体視差分画像とともに、奥行マップをデータストリームに含めて動画ファイルを記録し、再生時に奥行マップを用いて立体視画像を生成することができる。また、立体視画像識別情報および奥行マップ存否情報を、データストリームまたは動画管理ファイルに含めて記録することにより、再生時には、これらの各情報を用いて立体視画像を表示することができる。

なお、撮像機能付き携帯電話機、撮像機能付きパーソナルコンピュータ等の画像処理装置に本発明の実施の形態を適用することができる。また、例えば、撮像装置および画像処理装置が装置間インターフェースで接続されている画像処理システムにおいて、撮像装置により生成された動画を画像処理装置が記録装置に記録させる場合に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ファイル記録でランダムアクセスに対応している記録媒体を用いることができる。例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、各種メディア方式のブルーレイディスク、ＳＳＤ（Solid State Drive）等を用いることができる。

１００、８３０、８６０ 撮像装置
１１０ 撮像部
１１１ レンズ部
１１２ 右撮像素子
１１３ 左撮像素子
１１４ 右撮像信号処理部
１１５ 左撮像信号処理部
１１６ カメラ制御部
１２０ 奥行情報生成部
１３０、８３１ 画像処理部
１４０ 画像エンコーダ
１５０ 奥行情報エンコーダ
１６０ 記録制御部
１７０、８０２ 操作受付部
２００、８０１ 記憶部
８００ 再生装置
８０３ 再生処理部
８０４ 画像デコーダ
８０５ 奥行情報デコーダ
８０６ 画像復元部
８０７ 立体視画像生成部
８０８、８３３、８６３ 表示部
８３２、８６２ 表示制御部
８６１ 記録制御部

Claims (18)

1. 撮像画像に含まれる被写体のうち特定の被写体と当該被写体の周辺領域とを含む対象領域の画像を、前記撮像画像に関する奥行情報に基づいて抽出して、当該抽出された画像に基づいて立体視画像を表示するための差分画像を生成する画像処理部と、
   前記撮像画像に対応するデータと前記差分画像に対応するデータとを関連付けてデータストリームを生成するデータストリーム生成部と
   を具備する画像処理装置。
2. 前記画像処理部は、前記奥行情報に基づいて前記撮像画像の撮像位置から所定範囲内に存在する被写体を前記特定の被写体として決定し、前記特定の被写体に係る前記奥行情報に基づいて当該特定の被写体の前記撮像画像の水平方向における前記周辺領域を決定して前記対象領域の画像を前記撮像画像から抽出する請求項１記載の画像処理装置。
3. 前記画像処理部は、前記立体視画像を表示するための第２の撮像画像に含まれる被写体のうち前記特定の被写体と当該被写体の周辺領域とを含む対象領域の画像を、前記第２の撮像画像に関する第２奥行情報に基づいて抽出して当該抽出された画像に基づいて前記差分画像を生成し、
   前記データストリーム生成部は、前記立体視画像を表示するための第１の撮像画像に対応するデータと前記差分画像に対応するデータとを関連付けて前記データストリームを生成する
   請求項１記載の画像処理装置。
4. 前記データストリーム生成部は、前記差分画像に対応するデータを含む旨を示す立体視画像識別情報を含めた前記データストリームを生成する請求項１記載の画像処理装置。
5. 前記データストリーム生成部は、ＡＶＣＨＤ規格におけるモディファイドデジタルビデオパックに前記立体視画像識別情報を含めた前記データストリームをＡＶＣＨＤ規格に従って生成する請求項４記載の画像処理装置。
6. 前記データストリーム生成部は、前記差分画像に対応するデータを含む旨を示す立体視画像識別情報を、動画管理ファイルに含めるように処理する請求項１記載の画像処理装置。
7. 前記データストリーム生成部は、ＡＶＣＨＤ規格におけるインデックスファイル、クリップインフォメーションファイルおよびムービープレイリストファイルのうちの少なくとも１つに前記立体視画像識別情報を含めるように処理する請求項６記載の画像処理装置。
8. 前記データストリーム生成部は、前記撮像画像に対応するデータと前記差分画像に対応するデータと前記奥行情報に対応するデータとを関連付けて前記データストリームを生成する請求項１記載の画像処理装置。
9. 前記データストリーム生成部は、前記奥行情報に対応するデータを含む旨を示す奥行情報存否情報を含めた前記データストリームを生成する請求項８記載の画像処理装置。
10. 前記データストリーム生成部は、ＡＶＣＨＤ規格におけるモディファイドデジタルビデオパックに前記奥行情報存否情報を含めた前記データストリームをＡＶＣＨＤ規格に従って生成する請求項９記載の画像処理装置。
11. 前記データストリーム生成部は、前記奥行情報に対応するデータを含む旨を示す奥行情報存否情報を、動画管理ファイルに含めるように処理する請求項８記載の画像処理装置。
12. 前記データストリーム生成部は、ＡＶＣＨＤ規格におけるインデックスファイル、クリップインフォメーションファイルおよびムービープレイリストファイルのうちの少なくとも１つに前記奥行情報存否情報を含めるように処理する請求項１１記載の画像処理装置。
13. 前記データストリーム生成部は、ＡＶＣＨＤ規格におけるムービープレイリストファイルにおける拡張データ領域に前記奥行情報のプレイアイテムの登録領域を定義して当該登録領域に前記奥行情報のプレイアイテムを含めるように処理する請求項８記載の画像処理装置。
14. 前記立体視画像を構成する第１の画像を復元する画像復元部と、
    前記復元された第１の画像と前記撮像画像とに基づいて前記立体視画像を生成する立体視画像生成部と
    をさらに具備する請求項１記載の画像処理装置。
15. 前記データストリーム生成部は、前記生成されたデータストリームを表す代表画像を立体視画像として表示させるための第１の撮像画像に対応する第１のサムネイル画像と第２の撮像画像に対応する第２のサムネイル画像とを関連付ける請求項１記載の画像処理装置。
16. 前記第１のサムネイル画像および前記第２のサムネイル画像に基づいて前記生成されたデータストリームを表す代表画像を立体視画像として一覧表示させる表示制御部をさらに具備する請求項１５記載の画像処理装置。
17. 撮像画像に含まれる被写体のうち特定の被写体と当該被写体の周辺領域とを含む対象領域の画像を、前記撮像画像に関する奥行情報に基づいて抽出して、当該抽出された画像に基づいて立体視画像を表示するための差分画像を生成する画像処理手順と、
    前記撮像画像に対応するデータと前記差分画像に対応するデータとを関連付けてデータストリームを生成するデータストリーム生成手順と
    を具備する画像処理方法。
18. 撮像画像に含まれる被写体のうち特定の被写体と当該被写体の周辺領域とを含む対象領域の画像を、前記撮像画像に関する奥行情報に基づいて抽出して、当該抽出された画像に基づいて立体視画像を表示するための差分画像を生成する画像処理手順と、
    前記撮像画像に対応するデータと前記差分画像に対応するデータとを関連付けてデータストリームを生成するデータストリーム生成手順と
    をコンピュータに実行させるプログラム。