JP5249149B2 - 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム - Google Patents

Description

本発明は、立体画像を作成するために異なる視点から撮影した複数の画像を取り扱う装置及び方法に関し、更に詳しくは、複数の画像を記録する立体画像記録装置及び方法と、複数の画像に基づいて立体画像を出力する立体画像出力装置及び方法と、複数画像の記録と立体画像の出力とを行う立体画像記録出力システムとに関する。

２つの撮影部によって異なる視点から同時に被写体を撮影し、２つの画像を作成するデジタルカメラと、この２つの画像を用いて立体表示を行うデジタルフォトフレームと、２つの画像から製作される立体プリントとを備えた３Ｄデジタル映像システムが知られている（例えば、非特許文献１参照）。このシステムのデジタルカメラによって作成された２つの画像は、異なる視点から撮影することにより視差を生じている。デジタルフォトフレームは、２つの画像が観察者の左右の目によってそれぞれ別々に観察されるように表示する。これにより、観察者は、デジタルカメラにより撮影された画像を立体画像として観察することができる。

立体画像の観察は、通常の２次元画像の観察に比べて目が疲労しやすいことが知られている。これは、観察者の両目から画像までの距離である視距離と、観察者が左右の目で視差のある２つの画像をそれぞれ観察したときに２つの画像が１つに見える距離、すなわち左右の視線が輻輳する輻輳距離とが異なっていることが原因である。また、視距離と輻輳距離との差が大きいほど疲労度が大きくなることも分かっている。輻輳距離は、２つの画像間の視差によって変化する。

立体画像が観察者に与える影響を軽減するため、立体画像の元となる２つの画像間の視差量を検出し、視差量に基づいて疲労度を評価し、疲労度評価量に基づいて立体画像を二次元画像に切り替える映像システムが発明されている（例えば、特許文献１参照）。

特開平１１−３５５８０８号公報

３Ｄデジタル映像システム、［online］、［平成２１年７月６日検索］、インターネット（http://www.fujifilm.co.jp/corporate/news/article/ffnr0226.html）

特許文献１記載の発明は、視差量に基づいた疲労度評価量に基づいて立体画像を予告なく２次元画像に切り替えるので、観察者は、立体画像と二次元画像とを混在した状態で観察することになる。それにより、立体画像の観察を意図していた観察者に違和感を与えることが懸念される。また、立体画像と二次元画像とを混在して観察することにより、立体画像のみを観察している場合よりも目の疲労が大きくなることも考えられる。

本発明の目的は、立体表示に適した複数画像のみを用いて立体画像を表示することにある。

本発明の立体画像記録装置は、立体画像の表示用に同一シーンを異なる視点から撮影した複数の画像から互いに対応する対応点を抽出し、対応点間の視差量を測定し、視差量とその発生頻度の統計量を求める視差量測定手段と、統計量に基づいて、シーンの内容に応じて切り替えられる閾値以上の視差量の発生頻度の累計である頻度累計を算出し、頻度累計に基づいて複数の画像による立体表示の適性を判定し、この適性を表す少なくとも２段階以上の表示推奨レベルから判定結果に適合した表示推奨レベルを決定する立体表示適性判定手段と、複数の画像に表示推奨レベルを表す表示推奨情報を付加し、複数の画像を記憶する画像記憶手段とを備えている。

また、立体表示適性判定手段は、算出した頻度累計と、頻度累計閾値とを比較して表示推奨レベルを決定している。表示推奨レベルは、頻度累計が頻度累計閾値よりも小さいほど高くなり、頻度累計が頻度累計閾値よりも大きいほど低くなることが好ましい。

複数の画像による立体画像が、複数の画像フレームを順次に出力させる動画であるときには、視差量測定手段は、画像フレームごとに視差量の測定及び視差量の統計量を算出し、立体表示適性判定手段は、画像フレームごとに表示推奨レベルを決定することが好ましい。

画像記憶手段は、複数の画像と表示推奨情報とを１つの画像ファイルとして記憶することが好ましい。

また、本発明の立体画像記録方法は、立体画像の表示用に同一シーンを異なる視点から撮影した複数の画像から互いに対応する対応点を抽出し、対応点間の視差量を測定し、視差量とその発生頻度の統計量を求める視差量測定工程と、統計量に基づいて、シーンの内容に応じて切り替えられる閾値以上の視差量の発生頻度の累計である頻度累計を算出し、頻度累計に基づいて複数の画像による立体表示の適性を判定し、この適性を表す少なくとも２段階以上の表示推奨レベルから判定結果に適合した表示推奨レベルを決定する立体表示適性判定工程と、複数の画像に表示推奨レベルを表す表示推奨情報を付加し、複数の画像を記憶する記憶工程とを備えている。

また、本発明の立体画像出力装置は、上述の立体画像記録装置により記録された複数の画像に付加されている表示推奨情報を読み取り、表示推奨情報から複数の画像による立体表示適性を判断し、立体表示適性に基づいて、複数の画像により立体画像を出力する出力手段の出力状態を切り換える出力制御手段を備えている。

出力制御手段は、表示推奨情報に基づいて、複数の画像による立体画像の出力を行うか否かを判定し、出力すると判定した立体画像を出力手段に出力させることが好ましい。また、出力制御手段は、表示推奨情報に基づいて、出力手段により出力される立体画像のサイズ又は再生時間を切り換えてもよい。また、出力制御手段は、出力手段により出力される立体画像が、複数の画像フレームを順次に出力させる動画であるときには、表示推奨情報に基づいて、画像フレームごとに出力するか否かを判定し、画像フレームを出力しないときには、その直前に出力した画像フレームの出力を継続させてもよい。

出力制御手段は、表示推奨情報により表される表示推奨レベルと、複数の画像を格納した画像ファイル数との相関を表すグラフを表示することが好ましい。

本発明の立体画像出力方法は、上述の立体画像記録方法により記録された複数の画像に付加されている表示推奨情報を読み取る工程と、表示推奨情報から前記複数の画像による立体表示適性を判断する工程と、立体表示適性に基づいて、複数の画像による立体画像の出力状態を切り換える工程とを備えている。

本発明の立体画像記録出力システムは、立体画像の表示用に同一シーンを異なる視点から撮影した複数の画像から互いに対応する対応点を抽出し、対応点間の視差量を測定し、視差量とその発生頻度の統計量を求める視差量測定手段と、統計量に基づいて、シーンの内容に応じて切り替えられる閾値以上の視差量の発生頻度の累計である頻度累計を算出し、頻度累計に基づいて複数の画像による立体表示の適性を判定し、この適性を表す少なくとも２段階以上の表示推奨レベルから判定結果に適合した表示推奨レベルを決定する立体表示適性判定手段と、複数の画像に前記表示推奨レベルを表す表示推奨情報を付加し、複数の画像を記憶する画像記憶手段とを備えた立体画像記録装置を有している。また、複数の画像に付加されている表示推奨情報を読み取り、表示推奨情報から複数の画像による立体表示適性を判断し、立体表示適性に基づいて、複数の画像により立体画像を出力する出力手段の出力状態を切り換える出力制御手段を備えている。

本発明によれば、異なる視点から撮影した視差を有する２つの画像に、立体表示適性を表す表示推奨レベルを付すことができる。これにより、２つの画像による立体表示に対する適性を客観的に評価することができる。また、２つの画像による立体画像を出力する際に、表示推奨レベルを参照して出力状態を切り換えることができるので、立体表示適性に合わせて最適な立体画像の出力を行うことができる。

本発明を実施した立体画像撮影・再生システムの構成を示す斜視図である。 視差を有する２つの画像を用いた立体画像の表示原理を示す説明図である。 デジタルカメラの構成を示すブロック図である。 デジタルカメラにより撮影された２つの画像と、これらの画像間で検出された対応点及び視差量とを示す画像図である。 デジタルカメラによる撮影手順を示すフローチャートである。 ３Ｄ静止画撮影時の表示推奨レベルの判定手順を示すフローチャートである。 視差量ヒストグラムの算出手順を示すフローチャートである。 人物と景色等の背景からなるシーンを撮影した画像の視差量ヒストグラムである。 建物と均一なテクスチャの背景とからなるシーンを撮影した画像の視差量ヒストグラムである。 全体的に煩雑なシーンを撮影した画像の視差量ヒストグラムである。 人物と均一なテクスチャの背景とからなるシーンを撮影した画像の視差量ヒストグラムである。 ３Ｄ静止画撮影により作成された３Ｄ静止画ファイルの構成を示すブロック図である。 ３Ｄ動画撮影時の表示推奨レベルの判定手順を示すフローチャートである。 ３Ｄ動画撮影により作成された３Ｄ動画ファイルの構成を示すブロック図である。 デジタルフォトフレームの構成を示すブロック図である。 デジタルフォトフレームにより３Ｄ静止画ファイルを表示推奨リストに登録する手順を示すフローチャートである。 デジタルフォトフレームにより３Ｄ動画ファイルを表示推奨リストに登録する手順を示すフローチャートである。 デジタルフォトフレームにより立体画像表示を行う第１実施形態の手順を示すフローチャートである。 デジタルフォトフレームにより立体画像表示を行う第２実施形態の手順を示すフローチャートである。 第２実施形態により切り換えられる表示サイズを示す説明図である。 デジタルフォトフレームにより立体画像表示を行う第３実施形態の手順を示すフローチャートである。 デジタルフォトフレームに表示される表示推奨レベルと画像ファイル数との相関を表すグラフである。

図１は、本発明の立体画像記録出力システムを実施した立体画像撮影・再生システム１０の構成を示している。立体画像撮影・再生システム１０は、本発明の立体画像記録装置に相当するデジタルカメラ１１と、立体画像出力装置に相当するデジタルフォトフレーム１２とから構成されている。

デジタルカメラ（以下、カメラと呼ぶ）１１は、水平方向において離れて配置された第１撮影部１５Ｌ及び第２撮影部１５Ｒによって同一の被写体を異なる視点から同時に撮像し、視差を有する２つの画像を作成する。デジタルフォトフレーム（以下、フレームと呼ぶ）１２は、カメラ１１により作成された２つの画像が観察者の左右の目によってそれぞれ別々に観察されるようにＬＣＤパネル１７を用いて再生表示し、観察者に立体画像を観察させる。

図２（Ａ）、（Ｂ）は、フレーム１２による立体画像の観察原理を示しており、同図（Ａ）は立体画像として観察する左右の画像２０Ｌ、２０Ｒを、同図（Ｂ）はその観察状態をそれぞれ示している。符号２１Ｌ、２１Ｒはそれぞれ観察者の左目および右目を示し、符号２２は左目用の画像２０Ｌと右目用の画像２０Ｒとを重ねて表示する表示画面を示している。また、符号２３は同図（Ａ）に示した右側の画像２０Ｒの図形Ａを示し、符号２４は同じく左側の画像２０Ｌの図形Ａを示している。

図２（Ｂ）に示すように、左右の図形Ａの位置がずれているため、これに注目したとき観察者の視線は画面よりも手前で交差し、図形Ａの立体像は画面より手前に飛び出して見える。ここでは、この視線の輻輳する角度を輻輳角、また左右の位置ずれを視差と呼ぶ。一方、目のピント調節は画面２２上に合っているので、目のピントが合う視距離と、目から視線の交差する点までの輻輳距離とは異なることになる。このような観察状態は日常では生じないため、見辛さや不自然さを感じることがあり、視距離と輻輳距離との差が大きくなるほど目が疲れやすくなる。

本発明は、視距離と輻輳距離との差が視差量に影響を受けることに着目し、第１撮影部１５Ｌ及び第２撮影部１５Ｒによって撮影した２つの画像の視差量に基づいて、立体表示適性を判定している。

カメラ１１の前面上部には、上述した第１撮影部１５Ｌ及び第２撮影部１５Ｒが配置されている。カメラ１１の上面には、電源／モードスイッチ２７と、レリーズボタン２８とが設けられている。カメラ１１の一方の側面には、画像記録用のメモリカード２９が装填されるカードスロット３０が設けられている。また、詳しくは図示しないが、カメラ１１の背面には、カメラ１１の各種操作に用いられる操作部３１（図２参照）と、画像表示部３２（図２参照）とが設けられている。画像表示部３２は、撮影時にはビューファインダとして、撮影後には画像観察用のモニタとして用いられる。

図２は、カメラ１１の構成を示すブロック図である。カメラ１１は、第１撮影部１５Ｌ及び第２撮影部１５Ｒによって静止画を撮影することにより作成された２つの視差を有する画像を、１つの画像ファイルである３Ｄ静止画ファイルとして記録することができる。また、カメラ１１は、第１撮影部１５Ｌ及び第２撮影部１５Ｒによって動画を撮影することにより作成された２つの視差を有する複数フレームの画像を、１つの画像ファイルである３Ｄ動画ファイルとして記録することができる。

メインＣＰＵ（以下、ＣＰＵと呼ぶ）３５は、操作部３１からの入力に基づき所定の制御プログラムに従ってカメラ１１全体の動作を統括制御する。ＣＰＵ３５には、システムバス３６を介してＲＯＭ３７、ＥＥＰＲＯＭ３８及びワークメモリ３９が接続されている。ＲＯＭ３７には、ＣＰＵ３５が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ３８には、ユーザ設定情報等のカメラ１１の動作に関する各種設定情報等が格納される。ワークメモリ３９は、ＣＰＵ３５の演算作業用領域及び画像データの一時記憶領域を含んでいる。

操作部３１は、ユーザが各種の操作入力を行うための手段であり、上述した電源／モードスイッチ２７、レリーズボタン２８、モードダイヤル等を含んでいる。電源／モードスイッチ２７は、カメラ１１の電源のオン／オフの切り替え、及びカメラ１１の動作モード（再生モード及び撮影モード）を切り換える。電源／モードスイッチ２７がオンになると、電源回路４２からカメラ１１の各部への電力の供給が開始され、カメラ１１の各種の動作が開始される。また、電源／モードスイッチ２７がオフになると、電源回路４２からカメラ１１の各部への電力の供給が停止される。

モードダイヤルは、カメラ１１の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて撮影モードが切り替わる。モードダイヤルにより設定される撮影モードとしては、例えば、２次元の静止画を撮影する２Ｄ静止画撮影モード、２次元の動画を撮影する２Ｄ動画撮影モード、３次元の静止画を撮影する３Ｄ静止画撮影モード及び３次元の動画を撮影する３Ｄ動画撮影モードの間で撮影モード等がある。

撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、撮影モード管理フラグ４５に、２次元画像を撮影するための２Ｄモードであることを示すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、撮影モード管理フラグ４５に、３次元画像を撮影するための３Ｄモードであることを示すフラグが設定される。ＣＰＵ３５は、撮影モード管理フラグ４５を参照して、撮影モードの設定を判別する。

レリーズボタン２８は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、レリーズボタン２８が半押しされると、撮影準備処理（例えば、ＡＥ（Automatic Exposure：自動露出）処理、ＡＦ（Auto Focus：自動焦点合わせ）処理、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）処理）が行われる。また、レリーズボタン２８が全押しされると、静止画の撮影・記録処理が行われる。また、動画撮影モード時には、レリーズボタン２８が全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズボタン及び動画撮影用のレリーズボタンを別々に設けてもよい。

画像表示部３２は、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタであり、撮影時及び再生時には第１撮影部１５Ｌ及び第２撮影部１５Ｒにより作成された２つの画像によって立体表示を行う。

縦／横撮り検出回路４８は、例えば、カメラ１１の向きを検出するためのセンサを含んでおり、カメラ１１の向きの検出結果をＣＰＵ３５に入力する。ＣＰＵ３５は、カメラ１１の向きに応じて縦撮りと横撮りの切り替えを行う。

次に、カメラ１１の撮影機能について説明する。なお、図２では、各撮影部１５Ｌ及び１５Ｒ内の各部にそれぞれ符号Ｌ及びＲを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号Ｌ及びＲを省略して説明する。

撮影レンズ５１は、ズームレンズ、フォーカスレンズ及び絞りを備えている。ズームレンズ及びフォーカスレンズは、各撮影部の光軸（図中のＬＬ及びＬＲ）に沿って前後に移動する。ＣＰＵ３５は、測光・測距ＣＰＵ５２を介して不図示のズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御してズーミングを行い、測光・測距ＣＰＵ５２を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御してフォーカシングを行う。また、ＣＰＵ３５は、測光・測距ＣＰＵ５２を介して絞り制御５３を駆動させることにより、絞りの開口量（絞り値）を制御し、撮像素子５４への入射光量を制御する。

ＣＰＵ３５は、３Ｄモード時に複数の画像を撮影する場合に、各撮影部１５Ｌ及び１５Ｒの撮影レンズ５１Ｌ及び５１Ｒを同期させて駆動する。すなわち、撮影レンズ５１Ｌ及び５１Ｒは、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。

フラッシュ発光部５７は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。充電／発光制御部５８は、フラッシュ発光部５７を発光させるための電流を供給するためのメインコンデンサを含んでいる。ＣＰＵ３５は、測光・測距ＣＰＵ５２にフラッシュ発光指令を送信して、メインコンデンサの充電制御、フラッシュ発光部５７の放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光部５７としては、発光ダイオードを用いてもよい。

撮影部１５は、被写体に光を照射するための距離用発光素子６１（例えば、発光ダイオード）と、上記距離用発光素子６１により光が照射された被写体の画像（測距用画像）を撮影する距離用撮像素子６２とを備えている。距離用駆動／制御回路６３は、ＣＰＵ３５からの指令に基づいて、所定のタイミングで距離用発光素子６１を発光させるとともに、距離用撮像素子６２を制御して測距用画像を撮影させる。

距離用撮像素子６２によって撮影された測距用画像は、Ａ／Ｄ変換器６６によりデジタルデータに変換されて、距離情報処理回路６７に入力される。距離情報処理回路６７は、距離用撮像素子６２から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１５Ｌ及び１５Ｒによって撮影された被写体とカメラ１１との間の距離（被写体距離）を算出する。距離情報処理回路６７によって算出された被写体距離は、距離情報記録回路６８に記録される。

なお、被写体距離の算出方法としては、距離用発光素子６１が発光してから、距離用発光素子６１によって照射された光が被写体によって反射され、距離用撮像素子６２に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。

また、撮影部１５は、間隔／輻輳角駆動回路７１及び間隔／輻輳角検出回路７２を備えている。間隔／輻輳角駆動回路７１Ｌ及び７１Ｒは、それぞれ撮影部１５Ｌ及び１５Ｒを駆動する。ＣＰＵ３５は、間隔／輻輳角制御回路７３を介して間隔／輻輳角駆動回路７１Ｌ及び７１Ｒを動作させて、撮影レンズ５１Ｌと５１Ｒとの間隔及び輻輳角を調整する。

間隔／輻輳角検出回路７２Ｌ及び７２Ｒは、例えば、電波を送受信する手段を含んでいる。ＣＰＵ３５は、間隔／輻輳角制御回路７３を介して間隔／輻輳角検出回路７２Ｌ及び７２Ｒを動作させて、電波を相互に送受信させることにより、撮影レンズ５１Ｌと５１Ｒとの間隔及び輻輳角を測定する。撮影レンズ５１Ｌと５１Ｒとの間隔及び輻輳角の測定結果は、レンズ間隔・輻輳角記憶回路７４に記憶される。

撮像素子５４は、例えば、ＣＣＤにより構成されている。撮像素子５４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３原色（Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。撮影レンズ５１によって撮像素子５４の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３５の指令に従ってＴＧ７７から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）として撮像素子５４から順次読み出される。撮像素子５４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、撮像素子５４としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。

アナログ信号処理部８０は、撮像素子５４から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子５４から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部８０によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部８０から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器８１によってデジタルのＲ、Ｇ、Ｂ信号に変換されて、画像入力コントローラ（バッファメモリ）８２に入力される。

デジタル信号処理部８５は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像入力コントローラ８２に入力されたデジタルのＲ、Ｇ、Ｂ信号は、デジタル信号処理部８５によって、同時化処理、ホワイトバランス調整、階調変換及び輪郭補正等の所定の処理が施されるとともに、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹ／Ｃ信号に変換される。Ｙ／Ｃ信号は、ワークメモリ３９に記憶される。

スルー画を画像表示部３２に表示する場合、デジタル信号処理部８５において生成されたＹ／Ｃ信号がバッファメモリ８８に順次供給される。表示コントローラ８９は、バッファメモリ８８に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部９０に出力する。ＹＣ−ＲＧＢ変換部９０は、表示コントローラ８９から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ９１を介して画像表示部３２に出力する。これにより、画像表示部３２にスルー画が表示される。

再生モード時には、メモリカード２９に記録されている最終の画像ファイル（最後に記録された画像ファイル）が、メモリコントローラ９４によりインターフェース部（Ｉ／Ｆ）９５を介してバッファメモリ９６に読み出され、圧縮・伸張処理部９７によって非圧縮のＹ／Ｃ信号に伸張された後、バッファメモリ８８に入力される。表示コントローラ８９は、バッファメモリ８８に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部９０に出力する。ＹＣ−ＲＧＢ変換部９０は、表示コントローラ８９から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ９１を介して画像表示部３２に出力する。これにより、メモリカード２９に記録されている画像ファイルが画像表示部３２に表示される。

次に、画像の撮影及び記録処理について説明する。２Ｄモード時には、所定の１つの撮影部（例えば、１５Ｌ）により記録用の画像が撮影される。２Ｄモード時に、撮影部１５Ｌによって撮影された画像は、圧縮・伸張処理部９７Ｌによって圧縮される。この圧縮画像データは、メモリコントローラ９４及びＩ／Ｆ９５を介して、所定形式の画像ファイルとしてメモリカード２９に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。

次に、３Ｄ静止画撮影モードでの画像の撮影及び記録処理について説明する。図５に示すように、レリーズボタン２８が全押しされると（Ｓ１０）、撮影部１５Ｌ及び１５Ｒによって同期して画像が撮影される（Ｓ１１）。なお、３Ｄ静止画撮影モード時には、ＡＦ処理及びＡＥ処理は、撮影部１５Ｌ及び１５Ｒのいずれか一方によって取得された画像信号に基づいて行われる。各撮影部１５Ｌ及び１５Ｒによって撮影された２つの画像は、デジタル信号処理部８５による各種画像処理を経てワークメモリ３９に書き込まれる。

視差量測定回路１００及び立体表示適性判定回路１０１は、各撮影部１５Ｌ及び１５Ｒによって撮影された２つの画像による立体表示の適性を判定し、この適性を表す表示推奨レベルを決定する（Ｓ１２）。立体表示適性は、第１撮影部１５Ｌ及び第２撮影部１５Ｒによって撮影した２つの画像の視差量に基づいて判定される。

図４は、第１撮影部１５Ｌ及び第２撮影部１５Ｒにより撮影された画像１０３Ｌ及び１０３Ｒを示している。図６は、表示推奨レベル判定（Ｓ１２）の手順を示す。視差量測定回路１００は、ワークメモリ３９に記憶されている画像１０３Ｌ及び１０３Ｒを読み出し（Ｓ１５）、これらの画像１０３Ｌ及び１０３Ｒ間の視差量のヒストグラムＦ（ΔＰ）を算出する（Ｓ１６）。

図７に示すように、視差量測定回路１００は、例えばブロックマッチング等の手法を用いて画像１０３Ｌ、１０３Ｒ間の相互に対応する対応点を抽出する（Ｓ２４）。視差量測定回路１００は、画像１０３Ｌ及び１０３Ｒのいずれか一方を基準画像とし、他方を探索画像と規定する。次いで、基準画像内からエッジ等の特徴点を複数抽出し、基準画像を複数の領域（ブロック）に分割する。そして、分割した領域をテンプレート画像として、探索画像の中からテンプレート画像に対応する領域を探索する。この対応領域の探索には、画素値の差の２乗和を求めるＳＳＤ（Sum of Squared Difference）、画素値の差の絶対値の総和を求めるＳＡＤ（Sum of Absolute Difference）等を用いることができる。視差量測定回路１００は、見つかった探索領域内から基準画像の特徴点に対応する対応点を抽出する。

図４は、例えば画像１０３Ｌを基準画像、画像１０３Ｒを探索画像として特徴点及び対応点を抽出した例を示しており、基準画像１０３Ｌの特徴点Ｐ＿Ｌ（ｘＬ，ｙ）に対し、探索画像１０３Ｒの対応点Ｐ＿Ｒ（ｘＲ，ｙ）が抽出されている。視差量測定回路１００は、特徴点Ｐ＿Ｌ（ｘＬ，ｙ）と対応点Ｐ＿Ｒ（ｘＲ，ｙ）との間の距離、例えば「ｘＬ−ｘＲ」の絶対値を視差量ΔＰとして測定する（Ｓ２５）。なお、図４では、図面の煩雑化を避けるため、特徴点及び対応点を１点ずつしか図示していないが、実際には多数の特徴点及び対応点が抽出され、各点の間の視差量が測定される。

次いで、視差量測定回路１００は、測定した視差量ΔＰと、その発生頻度Ｆとのヒストグラム（統計量）Ｆ（ΔＰ）を算出する（Ｓ２６）。ヒストグラムＦ（ΔＰ）の算出は、例えば、同じ値の視差量が測定されたときに、その視差量の頻度Ｆに１を加算する。視差量の測定（Ｓ２４）からヒストグラムの算出（Ｓ２６）までの各ステップは、基準画像１０３Ｌの全ブロックにおいて対応点の抽出が完了するまで繰り返される（Ｓ２７、Ｓ２８）。

図８〜１１は、視差量測定回路１００によって算出された視差量ヒストグラムの１例である。図８は、例えば人物と景色等の背景とからなるシーンを撮影した画像のヒストグラムである。このようなシーンでは、主要な被写体である人物とともに背景からも多数の特徴点及び対応点が抽出されるため、多数の視差量において発生頻度のピークが得られる。また、図９は、例えば建物と、のっぺりとした均一なテクスチャの背景とからなるシーンを撮影した画像のヒストグラムである。このようなシーンでは、主要な被写体である建物から多数の特徴点及び対応点が抽出され、背景からの抽出数が少なくなるため、視差量の発生頻度のピークは限定的になる。

図１０は、例えば全体的に絵柄が煩雑で情報量の多いシーンを撮影した画像の視差量ヒストグラムである。このようなシーンでは、画像全体において多数の特徴点及び対応点が抽出されるため、多数の視差量において発生頻度のピークが得られる。また、図１１は、例えば人物と、のっぺりとした均一なテクスチャの背景とからなるシーンを撮影した画像のヒストグラムである。このようなシーンでは、主要な被写体である人物から多数の特徴点及び対応点が抽出され、背景からの抽出数が少なくなるため、視差量の発生頻度のピークは限定的になる。

図６に示すように、立体表示適性判定回路１０１は、算出した視差量ヒストグラムに基づいて、閾値Ｔｈ以上の視差量の頻度累計ΣＴｈを算出する（Ｓ１７）。例えば、図１０に示す視差量ヒストグラムを用いて頻度累計ΣＴｈを算出する場合、立体表示適性判定回路１０１は、視差量ΔＰのピーク値を閾値Ｔｈとして設定し、この閾値Ｔｈ以上の頻度Ｆの累計である頻度累計ΣＴｈを算出する。閾値Ｔｈは、視差量ΔＰのピーク値に限定されず、複数あるピークの最低値、平均値でもよい。また、シーンに応じて閾値Ｔｈの決定基準を変化させてもよい。

立体表示適性判定回路１０１は、頻度累計ΣＴｈと、ＲＯＭ３７に記憶された頻度累計閾値Ｔｈ１、Ｔｈ２とを比較する。なお、頻度累計閾値Ｔｈ１、ｈ２は、Ｔｈ１＜Ｔｈ２の関係にある。頻度累計閾値Ｔｈ１、Ｔｈ２は、例えば、頻度累計と目の疲労度との関係を官能試験等により明らかにして求めた値を用いることができる。また、２種類の頻度累計閾値を用いているのは、頻度累計ΣＴｈから３段階の表示推奨レベルを設定するためであり、表示推奨レベルのレベル数に応じて頻度累計閾値の数を変化させてもよい。

立体表示適性判定回路１０１は、最初に頻度累計ΣＴｈと頻度累計閾値Ｔｈ１とを比較する（Ｓ１８）。頻度累計ΣＴｈが頻度累計閾値Ｔｈ１よりも小さい場合には、画像全体の視差量が小さく、目の疲労が小さいことが推定されるため、推奨レベルの高い「表示推奨レベル２」がその画像に設定される（Ｓ１９）。

また、立体表示適性判定回路１０１は、頻度累計ΣＴｈが頻度累計閾値Ｔｈ１よりも大きい場合には、頻度累計ΣＴｈと頻度累計閾値Ｔｈ２とを比較する（Ｓ２０）。頻度累計ΣＴｈが頻度累計閾値Ｔｈ２よりも小さい場合には、画像全体としての視差量が平均的であることが推定されるため、推奨レベルが中程度の「表示推奨レベル１」がその画像に設定される（Ｓ２１）。

更に、立体表示適性判定回路１０１は、頻度累計ΣＴｈが頻度累計閾値Ｔｈ２よりも大きい場合には、画像全体としての視差量が大きく、目が疲れやすいことが推定されるため、推奨レベルが低い「表示推奨レベル０」がその画像に設定される（Ｓ２２）。

表示推奨レベル判定の終了後、画像１０３Ｌ，１０３Ｒは、それぞれ圧縮・伸張処理部９７Ｌ及び９７Ｒによって圧縮され、１つの３Ｄ静止画ファイルに格納されてメモリカード２９に記録される。また、３Ｄ画像ファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影レンズ５１Ｌ及び５１Ｒの基線長（間隔）及び輻輳角に関する情報が格納される（Ｓ１３）。

図１２は、３Ｄ静止画撮影により作成された３Ｄ静止画ファイル１１０の構成を示している。画像ファイルである３Ｄ静止画ファイル１１０は、左側画像１０３Ｌ及び右側画像１０３Ｒの画像データ１１１Ｌ及び１１１Ｒと、画像データ１１１Ｌ及び１１１Ｒの先頭に配された「ヘッダ１」１１２Ｌ、「ヘッダ２」１１２Ｒとから構成されている。

「ヘッダ１」１１２Ｌは、データ先頭から「ヘッダ２」１１２Ｒの先頭までのオフセット量と、左側画像データ１１１Ｌの属性とが記録されている。なお、「ＯＲ−１」は、３Ｄ静止画ファイル１１０への格納時に左側画像データ１１１Ｌに付与される画像名の一例である。

左側画像データ１１１Ｌの属性には、視点順序、３Ｄ撮影条件、２Ｄ撮影条件、表示推奨レベルが含まれている。視点順序とは、左右いずれの画像であるかを表しており、左側画像には「視点順序１」が付与され、右側画像には「視点順序２」が付与される。３Ｄ撮影条件は、例えば、第１撮影部１５Ｌ及び第２撮影部１５Ｒの基線長、輻輳角、被写体距離情報であり、立体表示時に必要な情報である。２Ｄ撮影条件は、シャッタスピード、露出であり、再生表示及びプリント時の画質調整に必要な情報である。表示推奨レベルは、立体表示適性判定回路１０１によって判定されたレベル値であり、フレーム１２等で立体表示を行う際に参照される。

「ヘッダ２」１１２Ｒには、右側画像データ１１１Ｒの属性が記録されている。属性の項目は、視点順序及び２Ｄ撮影条件であり、内容的には「ヘッダ１」１１２Ｌと共通している。

次に、３Ｄ動画撮影モードでの表示推奨レベル判定と、撮影後に作成される３Ｄ動画ファイルの構成について説明する。詳しい説明は省略するが、３Ｄ動画撮影を行うと、ワークメモリ３９には、第１撮影部１５Ｌ及び第２撮影部１５Ｒにより撮影された２つの動画が記憶される。図１３に示すように、視差量測定回路１００は、ワークメモリ３９に記憶されている２つの動画から、最初の画像フレームをそれぞれ読み出す。（Ｓ３０）。

視差量測定回路１００は、読み出した２つの画像フレーム間の視差量のヒストグラムＦ（ΔＰ）を算出し（Ｓ３１）、立体表示適性判定回路１０１は、算出した視差量ヒストグラムに基づいて、閾値Ｔｈ以上の視差量の頻度累計ΣＴｈを算出する（Ｓ３２）。次いで、立体表示適性判定回路１０１は、頻度累計ΣＴｈと、頻度累計閾値Ｔｈ１、Ｔｈ２とを比較して、その画像フレームの表示推奨レベルを判定する（Ｓ３３〜Ｓ３７）。なお、ステップＳ３１〜Ｓ３７については、３Ｄ静止画撮影時と同様であるため、詳しい説明は省略する。

視差量測定回路１００は、ワークメモリ３９に記憶されている２つの動画に続く画像フレームがあるか確認し（Ｓ３８）、続きの画像フレームが存在する場合には次の画像フレームを読み出し（Ｓ３９）、表示推奨レベルを判定する（ステップＳ３１〜Ｓ３９）。このように、３Ｄ動画撮影モード時には、画像フレームごとに表示推奨レベルが設定される。

図１４は、３Ｄ動画撮影により作成された３Ｄ動画ファイル１１５の構成を示している。画像ファイルである３Ｄ動画ファイル１１５は、大きく分けて、３Ｄ動画ファイル１１５の構成等を表すヘッダ領域１１６と、動画データを表す画像データ領域１１７とから構成されている。ヘッダ領域１１６は、ストリーム情報１１８と撮影条件情報１１９とから構成されている。画像データ領域１１７は、ストリームデータ１〜３を１つにまとめた複数のチャンクデータ１２０ａ〜１２０ｎから構成されている。

ストリーム情報１１８は、ストリーム定義１２３とストリーム属性１２４とから構成されている。ストリーム定義１２３は、チャンクデータ１２０ａ〜１２０ｎの各ストリームデータ１〜３の内容を定義している。例えば、ストリーム定義１２３は、ストリームデータ１、２の内容が、３Ｄ動画撮影の左または右画像、チャンクデータ全体における再生時のデータ量、先頭アドレスであることを定義している。また、ストリーム定義１２３は、ストリームデータ３の内容が、左右の画像からなる立体表示の表示推奨レベルであることを定義している。

ストリーム属性１２４は、３Ｄ動画ファイル１１５全体の属性を表しており、例えば、３Ｄ動画ファイル１１５の作成時に付与されたストリームＩＤ、撮影時の解像度、圧縮方式、表示次元、１つのチャンクデータ当たりのフレーム数等が記録されている。

撮影条件情報１１９は、３Ｄ動画撮影モードの撮影条件が記録されている。例えば、視点数、撮影部１５Ｌ、１５Ｒの基線長及び輻輳角等である。視点数は、本実施形態のカメラ１１の場合は「２」であり、基線長及び輻輳角は、３Ｄ動画撮影時に設定された値が記録される。

チャンクデータ１２０ａ〜１２０ｎを構成する「ストリームデータ１」１２１ａ、「ストリームデータ２」１２１ｂには、左側画像データ、右側画像データに関連する情報が記録されている。その情報とは、例えば、ストリーム属性１２４と同一のストリームＩＤと、チャンクデータ内におけるデータ長と、１フレーム分の画像データである。また、「ストリームデータ３」１２１ｃには、ストリームデータ１、２と同様にストリームＩＤ及びデータ長と、表示推奨レベルとが記録されている。

次に、フレーム１２について説明する。図１５に示すように、フレーム１２は、操作部１３０からの入力に基づき所定の制御プログラムに従ってカメラ１１全体の動作を統括制御するＣＰＵ１３１を備えている。ＣＰＵ１３１には、ＲＯＭ１３２、ＥＥＰＲＯＭ１３３及びワークメモリ１３４が接続されている。ＲＯＭ１３２には、ＣＰＵ１３１が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ１３３には、ユーザ設定情報等のフレーム１２の動作に関する各種設定情報等が格納される。ワークメモリ１３４は、ＣＰＵ１３０の演算作業用領域及び画像ファイルの一時記憶領域を含んでいる。ＣＰＵ１３１は、ＲＯＭ１３２に格納されている制御プログラムにしたがって動作することにより、本発明の出力制御手段に相当する機能を発揮する。

ＣＰＵ１３１には、メモリカード２９から画像ファイルを読み込むメモリコントローラ１３７が接続されている。メモリコントローラ１３７は、図１に示すカードスロット１３９内に設けられＩ／Ｆ１４０を介してメモリカード２９にアクセスし、再生を支持された画像ファイルを読み込んでワークメモリ１３４に一時的に格納する。伸張処理部１４１は、ワークメモリ１３４内に格納された画像ファイルを非圧縮のＹ／Ｃ信号に伸張する。

表示コントローラ１４４は、ワークメモリ１３４内のＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４５に出力する。ＹＣ−ＲＧＢ変換部１４５は、表示コントローラ１４４から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４６を介してＬＣＤパネル１７に出力する。これにより、ＬＣＤパネル１７にカメラ１１で撮影した画像が再生表示される。

ＬＣＤパネル１７は、例えば、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタである。ＬＣＤパネル１７の詳細な構造は図示しないが、ＬＣＤパネル１７は、その表面にパララックスバリア表示層を備えている。ＬＣＤパネル１７は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。

なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。

次に、フレーム１２によって、３Ｄ静止画及び３Ｄ動画を再生する第１実施形態について説明する。図１６に示すように、ＣＰＵ１３１は、メモリコントローラ１３７を制御してメモリカード２９から最初の３Ｄ静止画ファイル１１０を読み出す（Ｓ４５）。ＣＰＵ１３１は、読み出した３Ｄ静止画ファイル１１０の表示推奨情報を読み出し（Ｓ４６）、表示推奨レベルが「１」以上のときには、その３Ｄ静止画ファイル１１０をＥＥＰＲＯＭ１３３内に格納されている表示推奨リストＬに登録する（Ｓ４７，Ｓ４８）。

また、３Ｄ静止画ファイル１１０の表示推奨レベルが「１」以下のときには、次の３Ｄ静止画ファイル１１０を読み出し（Ｓ４７、Ｓ４９）、ステップＳ４６，Ｓ４７を実行する。ＣＰＵ１３１は、メモリカード２９内に記憶されている全ての３Ｄ静止画ファイル１１０について、ステップＳ４６〜Ｓ４９を繰り返す（Ｓ５０）。

また、３Ｄ動画ファイル１１５については、図１７に示すように、ＣＰＵ１３１が最初の画像フレームを読み出し（Ｓ５２）、表示推奨レベルを確認する（Ｓ５３）。次の画像フレームが存在する場合には（Ｓ５４）、それを読み出して表示推奨レベルを確認する（Ｓ５５、Ｓ５３）。ＣＰＵ１３１は、全ての画像フレームの表示推奨レベルを確認した後、表示推奨レベルの平均値を算出し（Ｓ５６）、この平均値が「１」以上のときには、その３Ｄ動画ファイル１１５を表示推奨リストＬに登録する（Ｓ５７、Ｓ５８）。なお、ＣＰＵ１３１は、メモリカード２９内に記憶されている全ての３Ｄ動画ファイル１１５についてもファイルの推奨表示レベルを確認する。

ＣＰＵ１３１は、メモリカード２９内の全ての画像ファイルの表示推奨レベルの確認後、図１８に示すように、ＥＥＰＲＯＭ１３３から表示推奨リストＬを読み出し（Ｓ６０）、表示推奨リストＬに登録されている画像ファイルのサムネイル画像をＬＣＤパネル１７に一覧表示させる（Ｓ６１）。ＣＰＵ１３１は、操作部１３０により、ＬＣＤパネル１７に一覧表示されているサムネイル画像を選択できるようにし（Ｓ６２）、選択されたサムネイル画像に該当する３Ｄ静止画ファイル１１０または３Ｄ動画ファイル１１５を順に立体表示させる（Ｓ６３）。

これによれば、表示推奨レベルが「１」以上の立体画像のみを表示させることができるので、立体表示適性が低い画像が観察されることによる観察者の目の疲労を防止することができる。なお、表示推奨リストＬへの登録条件となる表示推奨レベルは、ユーザが任意に選択できるようにしてもよい。

次に、表示推奨レベルに応じて表示サイズを切り換え、全ての画像を表示させる第２実施形態について説明する。図１９に示すように、ＣＰＵ１３１は、メモリカード２９から最初の３Ｄ静止画ファイル１１０を読み出し（Ｓ６５）、３Ｄ静止画ファイル１１０の表示推奨情報を確認する（Ｓ６６〜Ｓ６８）。

ＣＰＵ１３１は、３Ｄ静止画ファイル１１０の表示推奨レベルが「０」のときに、その立体画像を図２０に示す小サイズ１５０でＬＣＤパネル１７に表示させる（Ｓ６７、Ｓ６９）。また、３Ｄ静止画ファイル１１０の表示推奨レベルが「１」のときには、その立体画像を中サイズ１５１でＬＣＤパネル１７に表示させる（Ｓ６８、Ｓ７０）。更にまた、３Ｄ静止画ファイル１１０の表示推奨レベルが「２」のときには、その立体画像をＬＣＤパネル１７に全画面サイズで表示させる（Ｓ７１）。ＣＰＵ１３１は、メモリカード２９内に記憶されている全ての３Ｄ静止画ファイル１１０について、ステップＳ６６〜Ｓ７１を繰り返す（Ｓ７２、Ｓ７３）。

また、３Ｄ動画ファイル１１５については、ＣＰＵ１３１が全ての画像フレームの表示推奨レベルを確認し、その平均値に基づいて表示サイズを切り換える。

これによれば、表示推奨レベルが低い画像は小さなサイズで立体表示されるので、観察者の目の疲労を防止することができる。また、表示推奨レベルが高い画像は全画面サイズで立体表示されるので、高画質な立体画像を大きなサイズで観察させることができる。

なお、第２実施形態では、表示推奨レベルに応じて表示サイズを切り換えたが、例えば表示推奨レベルに応じて表示時間を切り換えてもよい。この場合、表示推奨レベル「０」のときには、観察者の目の疲労を系得源するため表示時間を短くし、表示推奨レベルがたかくなるにしたがって徐々に表示時間を長くするのが好ましい。

次に、３Ｄ動画ファイル１１５の再生に関する第３実施形態について説明する。動画は、複数の画像フレームを連続して表示することにより表現されているため、各画像フレーム間において視差量に大きな差が生じていると、観察者はその視差量に合わせて輻輳距離を合わせようとするため、目の疲労が大きくなる。そこで、本実施形態では、表示推奨レベルが低い画像フレームの再生を中止し、この再生が中止されている間は、直前に再生された画像の表示を継続することにより、目の疲労を軽減している。

図２１に示すように、ＣＰＵ１３１は、３Ｄ動画ファイル１１５の再生時に、最初の画像フレームを読み出し（Ｓ７５）、読み出した画像フレームの表示推奨レベルを確認する（Ｓ７６、Ｓ７７）。表示推奨レベルが「１」以上のときには、その画像フレームをＬＣＤパネル１７に表示させる（Ｓ７８）。また、表示推奨レベルが「１」以下のときには、次の画像フレームを読み出し（Ｓ７９）、ステップＳ７６、Ｓ７７を実行する。この場合、直前の画像フレームによる表示が継続される。ＣＰＵ１３１は、３Ｄ動画ファイル１１５の画像フレーム全てについて、ステップＳ７６〜Ｓ７８を実行する（Ｓ８０）。

上記実施形態では、各画像フレームを読み出すごとに表示するか否かを判定しているが、例えば、最初に全ての画像フレームの表示推奨レベルを確認し、この確認結果に基づいて３Ｄ動画ファイル１１５を編集し、再生専用の動画ファイルを一時的に作成してもよい。これによれば、表示推奨レベルの低い画像フレームが続くような３Ｄ動画ファイル１１５であっても、その内容に応じてより目の疲労が少ない立体表示を行うことができる。

次に、メモリカード２９に記憶されている画像ファイルの表示推奨レベルがどのような分布になっているかを容易に確認できるようにした第４実施形態について説明する。上記第１〜第３実施形態全てにおいて、ユーザが表示推奨レベルに基づいて任意に立体表示の内容を設定できることが好ましい。この任意設定を実現するには、メモリカード２９に記憶されている画像ファイルの表示推奨レベルがどのような分布になっているか確認できることが好ましい。

図２２は、メモリカード２９内の画像ファイルの表示推奨レベルの確認後にＬＣＤパネル１７に表示されるグラフの１例を示している。グラフ１５５は、縦軸に表示推奨レベル、横軸に画像ファイル数がプロットされているため、画像ファイル数と表示推奨レベルとの相関を容易に把握することができる。これにより、表示推奨レベルに基づいて表示内容を設定するだけでなく、画像ファイル数と表示推奨レベルとの相関を考慮して表示内容を設定することができる。

また、グラフ１５５の上に２本の範囲指定バー１５６を表示させ、この範囲指定バー１５６によって指定された範囲内の表示推奨レベルの画像が表示されるようにしてもよい。範囲指定バー１５６を用いた表示設定を用いる場合、表示推奨レベルのレベル数を更に増やしてもよい。上記第１〜第３実施形態のように、表示推奨レベルに基づいて表示内容を設定する場合、表示推奨レベル数が多いとその選択自体が難しくなる。しかし、範囲指定バー１５６を用いた場合には、表示推奨レベルと画像ファイル数とのバランスに基づいて設定することができるので、表示推奨レベルのレベル数が増えることによる弊害は生じない。

上記各実施形態では、立体画像出力装置としてデジタルフォトフレーム１２を用いたが、本発明は、立体表示が可能なモニタ、テレビ等にも適用可能である。また、レンチキュラーレンズを用いた立体プリントを作成するプリンタに本発明を適用することも可能である。また、フレーム１２による立体画像表示についての第１〜第４実施形態は、カメラ１１の画像表示部３２による立体表示に適用してもよい。

１０ 立体画像撮影・再生システム
１１ デジタルカメラ
１２ デジタルフォトフレーム
１５Ｌ 第１撮影部
１５Ｒ 第２撮影部
３５ メインＣＰＵ
１００ 視差量測定回路
１０１ 立体表示適性判定回路
１１０ ３Ｄ静止画ファイル
１１５ ３Ｄ動画ファイル
１３１ ＣＰＵ
１５５ グラフ

Claims (13)

1. 立体画像の表示用に同一シーンを異なる視点から撮影した複数の画像から互いに対応する対応点を抽出し、前記対応点間の視差量を測定し、前記視差量とその発生頻度の統計量を求める視差量測定手段と、
   前記統計量に基づいて、前記シーンの内容に応じて切り替えられる閾値以上の視差量の発生頻度の累計である頻度累計を算出し、前記頻度累計に基づいて前記複数の画像による立体表示の適性を判定し、この適性を表す少なくとも２段階以上の表示推奨レベルから判定結果に適合した表示推奨レベルを決定する立体表示適性判定手段と、
   前記複数の画像に前記表示推奨レベルを表す表示推奨情報を付加し、前記複数の画像を記憶する画像記憶手段とを備えたことを特徴とする立体画像記録装置。
2. 前記立体表示適性判定手段は、算出した前記頻度累計と、頻度累計閾値とを比較して前記表示推奨レベルを決定することを特徴とする請求項１記載の立体画像記録装置。
3. 前記表示推奨レベルは、前記頻度累計が前記頻度累計閾値よりも小さいほど高くなり、前記頻度累計が前記頻度累計閾値よりも大きいほど低くなることを特徴とする請求項２記載の立体画像記録装置。
4. 前記複数の画像による立体画像が複数の画像フレームを順次に出力させる動画であるときに、前記視差量測定手段は、前記画像フレームごとに視差量の測定及び視差量の統計量を算出し、前記立体表示適性判定手段は、前記画像フレームごとに前記表示推奨レベルを決定することを特徴とする請求項１〜３いずれか記載の立体画像記録装置。
5. 前記画像記憶手段は、前記複数の画像と前記表示推奨情報とを１つの画像ファイルとして記憶することを特徴とする請求項１〜４いずれか記載の立体画像記録装置。
6. 立体画像の表示用に同一シーンを異なる視点から撮影した複数の画像から互いに対応する対応点を抽出し、前記対応点間の視差量を測定し、前記視差量とその発生頻度の統計量を求める視差量測定工程と、
   前記統計量に基づいて、前記シーンの内容に応じて切り替えられる閾値以上の視差量の発生頻度の累計である頻度累計を算出し、前記頻度累計に基づいて前記複数の画像による立体表示の適性を判定し、この適性を表す少なくとも２段階以上の表示推奨レベルから判定結果に適合した表示推奨レベルを決定する立体表示適性判定工程と、
   前記複数の画像に前記表示推奨レベルを表す表示推奨情報を付加し、前記複数の画像を記憶する記憶工程とを備えたことを特徴とする立体画像記録方法。
7. 請求項１〜５いずれか記載の立体画像記録装置により記録された複数の画像に付加されている前記表示推奨情報を読み取り、前記表示推奨情報から前記複数の画像による立体表示適性を判断し、前記立体表示適性に基づいて、前記複数の画像により立体画像を出力する出力手段の出力状態を切り換える出力制御手段を備えたことを特徴とする立体画像出力装置。
8. 前記出力制御手段は、前記表示推奨情報に基づいて、前記複数の画像による立体画像の出力を行うか否かを判定し、出力すると判定した立体画像を前記出力手段に出力させることを特徴とする請求項７記載の立体画像出力装置。
9. 前記出力制御手段は、前記表示推奨情報に基づいて、前記出力手段により出力される立体画像のサイズまたは再生時間を切り換えることを特徴とする請求項７または８記載の立体画像出力装置。
10. 前記出力制御手段は、前記出力手段により出力される立体画像が、複数の画像フレームを順次に出力させる動画であるときに、前記表示推奨情報に基づいて、各画像フレームごとに出力するか否かを判定し、前記画像フレームを出力しないときには、その直前に出力した画像フレームの出力を継続することを特徴とする請求項７〜９いずれか記載の立体画像出力装置。
11. 前記出力制御手段は、前記表示推奨情報により表される表示推奨レベルと、前記複数の画像を格納した画像ファイル数との相関を表すグラフを表示することを特徴とする請求項７〜１０いずれか記載の立体画像出力装置。
12. 請求項６記載の立体画像記録方法により記録された複数の画像に付加されている前記表示推奨情報を読み取る工程と、
    前記表示推奨情報から前記複数の画像による立体表示適性を判断する工程と、
    前記立体表示適性に基づいて、前記複数の画像による立体画像の出力状態を切り換える工程とを備えたことを特徴とする立体画像出力方法。
13. 立体画像の表示用に同一シーンを異なる視点から撮影した複数の画像から互いに対応する対応点を抽出し、前記対応点間の視差量を測定し、前記視差量とその発生頻度の統計量を求める視差量測定手段と、
    前記統計量に基づいて、前記シーンの内容に応じて切り替えられる閾値以上の視差量の発生頻度の累計である頻度累計を算出し、前記頻度累計に基づいて前記複数の画像による立体表示の適性を判定し、この適性を表す少なくとも２段階以上の表示推奨レベルから判定結果に適合した表示推奨レベルを決定する立体表示適性判定手段と、
    前記複数の画像に前記表示推奨レベルを表す表示推奨情報を付加し、前記複数の画像を記憶する画像記憶手段とを備えた立体画像記録装置と、
    異なる視点から撮影した複数の画像に付加されている表示推奨情報を読み取り、前記表示推奨情報から前記複数の画像による立体表示適性を判断し、前記立体表示適性に基づいて、前記複数の画像により立体画像を出力する出力手段の出力状態を切り換える出力制御手段を備えた立体画像出力装置と、
    を備えたことを特徴とする立体画像記録出力システム。

Images