JP5307189B2 - 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム - Google Patents

Description

本発明は立体画像表示装置、複眼撮像装置及び立体画像表示プログラムに係り、特に立体画像が表示可能な立体画像表示装置、複眼撮像装置及び立体画像表示プログラムに関する。

特許文献１には、撮影された左右画像に対して特徴点検出を行い、特徴点が一致するように画像を回転移動させる立体視画像処理装置が記載されている。

特許文献２には、撮影された左右画像をマッチングして画像のｘ方向、ｙ方向のずれ、回転ずれ及び倍率からなる補正関数を算出し、当該補正関数を用いて画像データを変換する立体画像補正装置が記載されている。

特開２００５―１３０３１２号公報 特開２００２―７７９４７号公報

立体画像全体を立体表示する場合において、左右画像の角度のズレが１〜１．５°程度の場合には、立体視に与える影響は小さい。この場合には、特許文献１、２に記載された発明のように常に画像のズレを補正するようにすると、無駄に処理時間が長くなってしまうという問題点がある。

それに対し、立体画像の一部、特に画像の左右方向の端部を抜き出して拡大表示する場合には、左右画像の角度のズレが１〜１．５°程度であったとしても、左右画像の垂直方向（上下方向、縦方向）のズレが大きくなり、立体画像の視認性が悪くなるという問題がある。特許文献１、２に記載された発明では、この問題は解決できない。

本発明はこのような事情に鑑みてなされたもので、立体画像の一部、特に画像の左右方向の端部を抜き出して拡大表示する場合において、垂直方向の視差ズレを無くし、立体画像の視認性をよくすることができる複眼撮像装置を提供することを目的とする。

前記目的を達成するために、請求項１に記載の立体画像表示装置は、立体画像が表示可能な表示手段と、左目用画像及び右目用画像を取得する取得手段と、前記左目用画像及び前記右目用画像に基づいて前記表示手段に立体画像を表示させる第１表示制御手段と、前記表示手段に表示された立体画像の中心から左右方向にずれた一部の領域を拡大表示することを示す指示を受け付ける指示受付手段と、前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と、前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出するズレ量算出手段と、前記ズレ量算出手段により算出されたズレ量だけ前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像の少なくとも１つを垂直方向に平行移動させる画像移動手段と、を備えたことを特徴とする。

請求項１に記載の立体画像表示装置によれば、左目用画像及び右目用画像を取得し、左目用画像及び前記右目用画像に基づいて表示手段に立体画像を表示させる。表示手段に表示された立体画像の中心から左右方向にずれた一部の領域を拡大表示することを示す指示が受け付けられ、受け付けられた指示に応じて、拡大表示に必要な領域が左目用画像及び右目用画像から切り出される。拡大表示に必要な領域が切り出された左目用画像の中心と、拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量が算出され、算出されたズレ量だけ拡大表示に必要な領域が切り出された左目用画像及び右目用画像の少なくとも１つが垂直方向に平行移動される。これにより、中心から左右方向にずれた一部の領域を拡大表示する場合、すなわち右撮像系と左撮像系との間に回転ズレがあることにより発生する垂直方向の視差ズレの影響が大きい場合において、表示手段に拡大表示される際に立体視に影響を与える垂直方向の視差ズレを無くすことができる。また、垂直方向に平行移動させるため、回転移動させる場合に比べて処理を軽くし、短時間で処理を終わらせることができる。そのため、短い処理時間で高い視差ズレ補正効果が得られる。

請求項２に記載の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像から対応点を抽出する対応点抽出手段を備え、前記ズレ量算出手段は、前記対応点抽出手段により抽出された対応点間の距離を前記ズレ量として算出することを特徴とする。

請求項２に記載の立体画像表示装置によれば、拡大表示に必要な領域が切り出された左目用画像及び右目用画像から対応点が抽出され、抽出された対応点間の距離をズレ量として算出される。これにより、再生に用いる画像からズレ量を算出することができる。

請求項３に記載の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記取得手段は、前記左目用画像及び前記右目用画像と共に、前記左目用画像のズレを示す情報と前記右目用画像のズレを示す情報とを取得し、前記ズレ量算出手段は、前記取得された前記左目用画像のズレを示す情報と前記右目用画像のズレを示す情報とに基づいて、前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出することを特徴とする

請求項３に記載の立体画像表示装置によれば、左目用画像及び右目用画像と共に左目用画像のズレを示す情報と右目用画像のズレを示す情報とを取得し、この取得された情報に基づいてズレ量が算出される。これにより、再生の度に対応点の検出等の画像処理を行う必要がないため、短時間で拡大画像を表示することができる。

請求項４に記載の立体画像表示装置は、請求項３に記載の立体画像表示装置において、前記取得手段は、前記左目用画像ズレを示す情報及び前記右目用画像のズレを示す情報として、所定の被写体の実際の撮影結果と前記所定の被写体の理想的な撮影結果との垂直方向のズレ量が複数の位置で検査された結果を取得し、前記ズレ量算出手段は、前記取得された結果に基づいてズレ量を算出することを特徴とする。

請求項４に記載の立体画像表示装置によれば、左目用画像ズレを示す情報及び前記右目用画像のズレを示す情報として、所定の被写体の実際の撮影結果と当該所定の被写体の理想的な撮影結果との垂直方向のズレ量が複数の位置で検査された結果が取得され、当該取得された結果に基づいてズレ量が算出される。これにより、ディストーション等により右目用画像、左目用画像に歪みがある場合にも正確なズレ量が算出可能となる。

請求項５に記載の立体画像表示装置は、請求項４に記載の立体画像表示装置において、前記所定の被写体の実際の撮影結果と当該所定の被写体の理想的な撮影結果との垂直方向のズレ量が複数の位置で検査された結果のうち、前記指示受付手段により拡大表示することを示す指示が受け付けられた一部の領域の中心に最も近い位置における垂直方向のズレ量に基づいて、前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出することを特徴とする。

請求項５に記載の立体画像表示装置によれば、所定の被写体の実際の撮影結果と所定の被写体の理想的な撮影結果との垂直方向のズレ量が複数の位置で検査された結果のうち、拡大表示する一部の領域の中心に最も近い位置における垂直方向のズレ量に基づいて、拡大表示に必要な領域が切り出された左目用画像の中心と拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出する。これにより、ディストーション等により右目用画像、左目用画像に歪みがある場合にも適切なズレ量を算出することができる。

請求項６に記載の立体画像表示装置は、請求項３に記載の立体画像表示装置において、前記取得手段は、前記左目用画像のズレを示す情報及び前記右目用画像のズレを示す情報として、所定の被写体の実際の撮影結果と当該所定の被写体の理想的な撮影結果との回転ズレ量を取得し、前記ズレ量算出手段は、前記取得された回転ズレ量と、前記指示受付手段により拡大表示することを示す指示が受け付けられた一部の領域の水平方向の位置とに基づいて、前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出することを特徴とする。

請求項６に記載の立体画像表示装置によれば、左目用画像のズレを示す情報及び右目用画像のズレを示す情報として、所定の被写体の実際の撮影結果と当該所定の被写体の理想的な撮影結果との回転ズレ量が取得され、当該取得された回転ズレ量と、拡大表示することを示す指示が受け付けられた一部の領域の水平方向の位置とに基づいて、拡大表示に必要な領域が切り出された左目用画像の中心と拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出する。これにより、検査時に複数の位置における垂直方向のズレ量の測定は必要なく、回転ズレの角度を求めればよいため、検査時の手間を省き、検査に要する時間を短縮することができる。

請求項７に記載の立体画像表示装置は、請求項１から６のいずれかに記載の立体画像表示装置において、前記画像移動手段は、前記ズレ量算出手段により算出されたズレ量が２ｎ（ｎは整数）ピクセルである場合には、前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像をｎピクセルずつ移動させ、前記ズレ量算出手段により算出されたズレ量が２ｎ＋１ピクセルである場合には、前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像のいずれか一方をｎ＋１ピクセル移動させ、他方をｎピクセル移動させることを特徴とする。

請求項７に記載の立体画像表示装置によれば、ズレ量算出手段により算出されたズレ量が２ｎ（ｎは整数）ピクセルである場合には、拡大表示に必要な領域が切り出された左目用画像及び右目用画像をｎピクセルずつ移動させ、ズレ量算出手段により算出されたズレ量が２ｎ＋１ピクセルである場合には、拡大表示に必要な領域が切り出された左目用画像及び右目用画像のいずれか一方をｎ＋１ピクセル移動させ、他方をｎピクセル移動させる。これにより、必要以上に大きな再生しろを持たなくてよくなり、より広角側で立体画像の撮影を行うことができる。

請求項８に記載の立体画像表示装置は、請求項１から７のいずれかに記載の立体画像表示装置において、前記画像移動手段により移動された後の画像を記憶する記憶手段と、前記記憶手段に記憶された画像を出力する出力手段と、を備えたことを特徴とする。

請求項８に記載の立体画像表示装置によれば、画像移動手段により移動された後の画像が記憶され、記憶された画像が出力されて表示される。これにより、画像表示の際にズレ量等を計算する必要が無いため、他の表示手段で再生する場合においても、視差ズレのない見やすい画像をすぐ表示することができる。

請求項９に記載の複眼撮像装置は、請求項１から８のいずれかに記載の立体画像表示装置と、前記右目用画像及び前記左目用画像を撮影する複数の撮像手段と、を備えたことを特徴とする。

請求項１０に記載の立体画像表示プログラムは、左目用画像及び右目用画像を取得するステップと、前記左目用画像及び前記右目用画像に基づいて立体画像が表示可能な表示手段に立体画像を表示させるステップと、前記表示手段に表示された立体画像の中心から左右方向にずれた一部の領域を拡大表示することを示す指示を受け付けるステップと、前記受け付けた指示に応じて、拡大表示に必要な領域を前記左目用画像及び前記右目用画像から切り出すステップと、前記拡大表示に必要な領域が切り出された左目用画像の中心と、前記拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出するステップと、前記算出されたズレ量だけ前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像の少なくとも１つを垂直方向に平行移動させるステップと、を備えたことを特徴とする。

本発明によれば、立体画像の一部、特に画像の左右方向の端部を抜き出して拡大表示する場合において、垂直方向の視差ズレを無くし、立体画像の視認性をよくすることができる。

本発明の第１の実施の形態の複眼デジタルカメラ１の概略図であり、（ａ）は正面図、（ｂ）は背面図である。 複眼デジタルカメラ１の電気的な構成を示すブロック図である。 （ａ）は撮影対象のチャートの模式図であり、（ｂ）は左撮像系で撮影された左目用画像の模式図であり、（ｃ）は右撮像系で撮影された右目用画像の模式図である。 全体画像の一部を拡大表示する場合を示す模式図であり、（ａ）は全体画像であり、（ｂ）は拡大画像である。 複眼デジタルカメラ１の全体画像の中心から水平方向に移動した領域をモニタに拡大表示させる場合に、右目用画像と左目用画像との中心のズレを解消する処理の流れを示すフローチャートである。 本発明の第２の実施の形態の電気的な構成を示すブロック図である。 複眼デジタルカメラ２の検査時の処理の流れを示すフローチャートである。 複眼デジタルカメラ２の検査時の撮影対象のチャートの模式図である。 複眼デジタルカメラ２の検査時に右撮像系で撮影された右目用画像の模式図である。 撮影対象の位置と複眼デジタルカメラ２との位置関係を示す模式図である。 図１０のｉの位置の被写体がある場合に撮影される画像の例であり、（ａ）が左目用画像を示し、（ｂ）が右目用画像を示す。 図１０のｉｉの位置の被写体がある場合に撮影される画像の例であり、（ａ）が左目用画像を示し、（ｂ）が右目用画像を示す。 図１０のｉｉの位置の被写体がある場合に撮影された画像と再生用の画像との関係を示す図であり、（ａ）はモニタに表示された全体画像と拡大画像との関係を示し、（ｂ）は全体画像表示時の左目用画像と拡大表示に用いられる領域との関係を示し、（ｃ）は全体画像表示時の右目用画像と拡大表示に用いられる領域との関係を示す。 複眼デジタルカメラ２の全体画像の中心から水平方向に移動した領域をモニタに拡大表示させる場合に、右目用画像と左目用画像との中心のズレを解消する処理の流れを示すフローチャートである。 複眼デジタルカメラ２の変形例において、全体画像の中心から水平方向に移動した領域をモニタに拡大表示させる場合に、右目用画像と左目用画像との中心のズレを解消する処理の流れを示すフローチャートである。 本発明の第３の実施の形態の複眼デジタルカメラ３の電気的な構成を示すブロック図である。 複眼デジタルカメラ３の検査時の処理の流れを示すフローチャートである。 複眼デジタルカメラ３の検査時に右撮像系で撮影された右目用画像の模式図である。 複眼デジタルカメラ３の全体画像の中心から水平方向に移動した領域をモニタに拡大表示させる場合に、右目用画像と左目用画像との中心のズレを解消する処理の流れを示すフローチャートである。 複眼デジタルカメラ４の拡大表示に用いられる領域の右目用画像の垂直方向のズレ量を算出する方法を説明するための図である。 複眼デジタルカメラ４の拡大表示に用いられる領域の左目用画像の垂直方向のズレ量を算出する方法を説明するための図である。

以下、添付図面に従って本発明に係る複眼撮像装置を実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
図１は、本発明に係る複眼撮像装置である複眼デジタルカメラ１の概略図であり、（ａ）は正面図であり、（ｂ）は背面図である。複眼デジタルカメラ１は、複数（図１では２個を例示）の撮像系を備えた複眼デジタルカメラ１であって、同一被写体を複数視点（図１では左右二つの視点を例示）からみた立体画像や、単視点画像（２次元画像）が撮影可能である。また、複眼デジタルカメラ１は、静止画に限らず、動画、音声の記録再生も可能である。

複眼デジタルカメラ１のカメラボディ１０は、略直方体の箱状に形成されており、その正面には、図１（ａ）に示すように、主として、バリア１１、右撮像系１２、左撮像系１３、フラッシュ１４、マイク１５が設けられている。また、カメラボディ１０の上面には、主として、レリーズスイッチ２０、ズームボタン２１が設けられている。

一方、カメラボディ１０の背面には、図１（ｂ）に示すように、モニタ１６、モードボタン２２、視差調整ボタン２３、２Ｄ／３Ｄ切り替えボタン２４、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６、ＤＩＳＰ／ＢＡＣＫボタン２７が設けられている。

バリア１１は、カメラボディ１０の前面に摺動可能に装着され、バリア１１が上下に摺動することにより開状態と閉状態とが切り替えられる。通常は、図１（ａ）点線に示すように、バリア１１は上端、すなわち閉状態に位置されており、対物レンズ１２ａ、１３ａ等はバリア１１によって覆われている。これにより、レンズなどの破損が防止される。バリア１１が摺動されることにより、バリアが下端、すなわち開状態に位置される（図１（ａ）実線参照）と、カメラボディ１０前面に配設されたレンズ等が露呈される。図示しないセンサによりバリア１１が開状態であることが認識されると、ＣＰＵ１１０（図２参照）により電源がＯＮされ、撮影が可能となる。

右目用の画像を撮影する右撮像系１２及び左目用の画像を撮影する左撮像系１３は、屈曲光学系を有する撮影レンズ群、絞り兼用メカシャッタ１２ｄ、１３ｄ及び撮像素子１２２、１２３（図２参照）を含む光学ユニットである。右撮像系１２及び左撮像系１３の撮影レンズ群は、主として、被写体からの光を取り込む対物レンズ１２ａ、１３ａ、対物レンズから入射した光路を略垂直に折り曲げるプリズム（図示せず）、ズームレンズ１２ｃ、１３ｃ（図２参照）、フォーカスレンズ１２ｂ、１３ｂ（図２参照）等で構成される。

フラッシュ１４は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

モニタ１６は、４：３の一般的なアスペクト比を有するカラー表示が可能な液晶モニタであり、立体画像と平面画像の両方が表示可能である。モニタ１６の詳細な構造は図示しないが、モニタ１６は、その表面にパララックスバリア表示層を備えたパララックスバリア式３Ｄモニタである。モニタ１６は、各種設定操作を行なう際の使用者インターフェース表示パネルとして利用され、画像撮影時には電子ビューファインダとして利用される。

モニタ１６は、立体画像を表示するモード（３Ｄモード）と、平面画像を表示するモード（２Ｄモード）とが切り替えが可能である。３Ｄモードにおいては、モニタ１６のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示する。２Ｄモードや使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。

なお、モニタ１６は、パララックスバリア式には限定されず、レンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。また、モニタ１６は液晶モニタに限定されず、有機ＥＬなどが採用されてもよい。

レリーズスイッチ２０は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。複眼デジタルカメラ１は、静止画撮影時（例えば、モードボタン２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このレリーズスイッチ２０を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードボタン２４で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このレリーズスイッチ２０を全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。

ズームボタン２１は、右撮像系１２及び左撮像系１３のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタン２１Ｔと、広角側へのズームを指示するズームワ
イドボタン２１Ｗとで構成されている。

モードボタン２２は、デジタルカメラ１の撮影モードを設定する撮影モード設定手段として機能し、このモードボタン２２の設定位置により、デジタルカメラ１の撮影モードが様々なモードに設定される。撮影モードは、動画撮影を行う「動画撮影モード」と、静止画撮影を行う「静止画撮影モード」とに分けられ、「静止画撮影モード」は例えば、絞り、シャッタスピード等がデジタルカメラ１によって自動的に設定される「オート撮影モード」、人物の顔を抽出して撮影を行う「顔抽出撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを使用者が設定し、シャッタスピードをデジタルカメラ１が自動的に設定する「絞り優先撮影モード」、シャッタスピードを使用者が設定し、絞りの目盛りをデジタルカメラ１が自動的に設定する「シャッタスピード優先撮影モード」、絞り、シャッタスピード等を使用者が設定する「マニュアル撮影モード」等がある。

視差調整ボタン２３は、立体画像撮影時に視差を電子的に調整するボタンである。視差調整ボタン２３の右側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ大きくなり、視差調整ボタン２３の左側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ小さくなる。

２Ｄ／３Ｄ切り替えボタン２４は、単視点画像を撮影する２Ｄ撮影モードと、多視点画像を撮影する３Ｄ撮影モードの切り替えを指示するためのスイッチである。

ＭＥＮＵ／ＯＫボタン２５は、撮影及び再生機能の各種設定画面（メニュー画面）の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、複眼デジタルカメラ１が持つ全ての調整項目の設定が行われる。撮影時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６にたとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整などの設定画面が表示され、再生時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６に画像の消去などの設定画面が表示される。複眼デジタルカメラ１は、このメニュー画面で設定された条件に応じて動作する。

十字ボタン２６は、各種のメニューの設定や選択あるいはズームを行うためのボタンであり、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、上ボタンにモニタ１６の明るさを替える機能が割り当てられ、下ボタンにセルフタイマーのＯＮ／ＯＦＦや時間を切り替える機能が割り当てられる。また、再生時には、右ボタンにコマ送りの機能が割り当てられ、左ボタンにコマ戻しの機能が割り当てられる。また、上ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ１６に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＤＩＳＰ／ＢＡＣＫボタン２７は、モニタ１６の表示切り替えを指示するボタンとして機能し、撮影中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、モニタ１６の表示が、ＯＮ→フレーミングガイド表示→ＯＦＦに切り替えられる。また、再生中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、通常再生→文字表示なし再生→マルチ再生に切り替えられる。また、ＤＩＳＰ／ＢＡＣＫボタン２７は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

図２は、複眼デジタルカメラ１の主要な内部構成を示すブロック図である。複眼デジタルカメラ１は、主として、ＣＰＵ１１０、操作手段（レリーズスイッチ２０、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６等）１１２、ＳＤＲＡＭ１１４、ＶＲＡＭ１１６、ＡＦ検出手段１１８、ＡＥ／ＡＷＢ検出手段１２０、撮像素子１２２、１２３、ＣＤＳ／ＡＭＰ１２４、１２５、Ａ／Ｄ変換器１２６、１２７、画像入力コントローラ１２８、画像信号処理手段１３０、圧縮伸張処理手段１３２、立体画像信号処理手段１３３、立体画像信号処理手段１３３、ビデオエンコーダ１３４、メディアコントローラ１３６、音入力処理手段１３８、記録メディア１４０、フォーカスレンズ駆動手段１４２、１４３、ズームレンズ駆動手段１４４、１４５、絞り駆動手段１４６、１４７、タイミングジェネレータ（ＴＧ）１４８、１４９、特徴点検出手段１５０、対応点検出手段１５２で構成される。

ＣＰＵ１１０は、複眼デジタルカメラ１の全体の動作を統括的に制御する。ＣＰＵ１１０は、右撮像系１２と左撮像系１３の動作を制御する。右撮像系１２と左撮像系１３とは、基本的に連動して動作を行うが、各々個別に動作させることも可能である。また、ＣＰＵ１１０は、右撮像系１２及び左撮像系１３で得られた２つの画像データを短冊状の画像断片とし、これがモニタ１６に交互に表示されるような表示用画像データを生成する。３Ｄモードで表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。

ＳＤＲＡＭ１１４には、このＣＰＵ１１０が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値、撮影された画像データ等が記録されている。

ＶＲＡＭ１１６は、ＣＰＵ１１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

ＡＦ検出手段１１８は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。ＡＦ検出手段１１８は、右撮像系１２から入力された画像信号に基づいてＡＦ制御を行う右撮像系ＡＦ制御回路と、左及び左撮像系１３から入力された画像信号に基づいてＡＦ制御を行う左撮像系ＡＦ制御回路とで構成される。本実施の形態のデジタルカメラ１では、撮像素子１２２、１２３から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出手段１１８は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１１０は、このＡＦ検出手段１１８で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。

ＡＥ／ＡＷＢ検出手段１２０は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出手段１２０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタスピードを決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。
そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。

撮像素子１２２、１２３は、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されている。撮像素子１２２、１２３は、フォーカスレンズ１２ｂ、１３ｂ、ズームレンズ１２ｃ、１３ｃ等によって結像された被写体光を受光し、この受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。撮像素子１２２、１２３の光電荷蓄積・転送動作は、ＴＧ１４８、１４９からそれぞれ入力される電荷排出パルスに基づいて電子シャッタ速度（光電荷蓄積時間）が決定される。

すなわち、撮像素子１２２、１２３に電荷排出パルスが入力されている場合には、撮像素子１２２、１２３に電荷が蓄えられることなく排出される。それに対し、撮像素子１２２、１２３に電荷排出パルスが入力されなくなると、電荷が排出されなくなるため、撮像素子１２２、１２３において電荷蓄積、すなわち露光が開始される。撮像素子１２２、１２３で取得された撮像信号は、ＴＧ１４８、１４９からそれぞれ与えられる駆動パルスに基づいてＣＤＳ／ＡＭＰ１２４、１２５に出力される。

ＣＤＳ／ＡＭＰ１２４、１２５は、撮像素子１２２、１２３から出力された画像信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅してＲ、Ｇ、Ｂのアナログの画像信号を生成する。

Ａ／Ｄ変換器１２６、１２７は、ＣＤＳ／ＡＭＰ１２４、１２５で生成されたＲ、Ｇ、Ｂのアナログの画像信号デジタルの画像信号に変換する。

画像入力コントローラ１２８は、所定容量のラインバッファを内蔵しており、ＣＰＵ１１０からの指令に従い、ＣＤＳ／ＡＭＰ／ＡＤ変換手段から出力された１画像分の画像信号を蓄積して、ＶＲＡＭ１１６に記録する。

画像信号処理手段１３０は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

圧縮伸張処理手段１３２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

立体画像信号処理手段１３３は、撮影時のズームポジションの情報等に基づいて、右撮像系１２で撮影された右目用の画像（以下、右目用画像）及び左撮像系１３で撮影された左目用の画像（以下、左目用画像）のどの領域を用いて再生を行うかを右目用画像及び左目用画像のそれぞれについて決定し、右目用画像及び左目用画像から再生に用いる右目用画像及び左目用画像を切り出す。再生に用いる右目用画像及び左目用画像の切り出しは、対応点検出により行なわれる。例えば、立体画像信号処理手段１３３は、特徴点検出手段１５０が検出した特徴点及び対応点検出手段１５２が検出した対応点に基づいて、右目用画像及び左目用画像の中心近辺にある同一の被写体を右目用画像及び左目用画像からそれぞれ検出し、検出された同一の被写体を中心とした所定の領域を右目用画像及び左目用画像からそれぞれ切り出すことにより、再生に用いる右目用画像及び左目用画像を取得する。

また、立体画像信号処理手段１３３は、再生に用いる右目用画像及び左目用画像をモニタ１６で立体表示が可能なように加工する。例えば、パララックスバリア式のモニタである場合には、立体画像信号処理手段１３３は、再生に用いる右目用画像及び左目用画像をそれぞれ短冊状に区切り、短冊状の右目用画像と左目用画像とを交互に並べた表示用画像を生成する。表示用画像は、立体画像信号処理手段１３３からビデオエンコーダ１３４を介してモニタ１６に出力される。

ビデオエンコーダ１３４は、モニタ１６への表示を制御する。すなわち、記録メディア１４０などに保存された画像信号をモニタ１６に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ１６に出力するとともに、必要に応じて所定の文字、図形情報をモニタ１６に出力する。

メディアコントローラ１３６は、圧縮伸張処理手段１３２で圧縮処理された各画像データを記録メディア１４０に記録する。

音入力処理手段１３８は、マイク１５に入力され、図示しないステレオマイクアンプで増幅された音声信号が入力され、この音声信号の符号化処理を行う。

記録メディア１４０は、複眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

フォーカスレンズ駆動手段１４２、１４３は、ＣＰＵ１１０からの指令に従い、フォーカスレンズ１２ｂ、１３ｂをそれぞれ光軸方向に移動させ、焦点位置を可変する。

ズームレンズ駆動手段１４４、１４５は、ＣＰＵ１１０からの指令に従い、ズームレンズ１２ｃ、１３ｃそれぞれ光軸方向に移動させ、焦点距離を可変する。

絞り兼用メカシャッタ１２ｄ、１３ｄは、それぞれ絞り駆動手段１４６、１４７のアイリスモータに駆動されることにより、その開口量を可変して、撮像素子１２３への入射光量を調整する。

絞り駆動手段１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄの開口量を可変して、撮像素子１２３への入射光量をそれぞれ調整する。また、絞り駆動手段１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄを開閉して、撮像素子１２２、１２３への露光／遮光それぞれを行う。

特徴点検出手段１５０は、右目用画像及び左目用画像のうちの一方の画像（以下、基準画像という）から特徴点を抽出する。ＣＰＵ１１０で右目用画像と左目用画像との視差ズレをなくす処理（後に詳述）において右目用画像及び左目用画像の少なくとも１つを移動させるためには、画像間で点と点との対応を決定する必要がある。このため、対応の取りやすい点を選び、複数枚の画像データのこれらの点の間の対応を決定するが、この対応の取りやすい点が特徴点である。なお、画像データから特徴点を抽出する方法としては、既に公知となっている様々な方法を用いることができる。本実施の形態では、左目用画像を基準画像とする。

対応点検出手段１５２は、右目用画像及び左目用画像のうちの基準画像以外の画像（以下、従画像という）の対応点であって、特徴点検出手段１５０から入力された特徴点に対応する対応点を検出する。対応点検出手段１５２には、特徴点検出手段１５０により抽出された特徴点と、従画像（本実施の形態では、右目用画像）とが入力される。まず、対応点検出手段１５２は、入力された画像の特徴点がどのような特徴を持った点であるかを検出する。そして、対応点検出手段１５２は、入力された各特徴点に対応する対応点を抽出する。

以上のように構成された複眼デジタルカメラ１の作用について説明する。バリア１１を閉状態から開状態へと摺動させると、複眼デジタルカメラ１の電源が投入され、複眼デジタルカメラ１は、撮影モードの下で起動する。撮影モードとしては、２Ｄモードと、同一被写体を２視点からみた立体画像を撮影する３Ｄ撮影モードとが設定可能である。また、３Ｄモードとしては、右撮像系１２及び左撮像系１３を用いて同時に所定の視差で立体画像を撮影する３Ｄ撮影モードが設定可能である。撮影モードの設定は、複眼デジタルカメラ１が撮影モードで駆動中にＭＥＮＵ／ＯＫボタン２５が押下されることによりモニタ１６に表示されたメニュー画面において、十字ボタン２６等により「撮影モード」を選択することによりモニタ１６に表示された撮影モードメニュー画面から設定可能である。

（１）２Ｄ撮影モード
ＣＰＵ１１０は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）を選択し、左撮像系１３の撮像素子１２３によって撮影確認画像用の撮影を開始する。すなわち、撮像素子１２３で連続的に画像が撮像され、その画像信号が連続的に処理されて、撮影確認画像用の画像データが生成される。

ＣＰＵ１１０は、モニタ１６を２Ｄモードとし、生成された画像データを順次ビデオエンコーダ１３４に加え、表示用の信号形式に変換してモニタ１６に出力する。これにより、撮像素子１２３で捉えた画像がモニタ１６に表示される。モニタ１６の入力がデジタル信号に対応している場合はビデオエンコーダ１３４は不要であるが、モニタ１６の入力仕様に合致した信号形態に変換する必要がある。

ユーザ（使用者）は、モニタ１６に表示される撮影確認画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、撮像素子１２３を介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における絞り兼用メカシャッタ１３ｄの絞り値、及びシャッタ速度の決定に使用される。同時に、検出された被写体輝度より、フラッシュ１４の発光が必要かどうかを判断する。フラッシュ１４の発光が必要と判断された場合には、フラッシュ１４をプリ発光させ、その反射光に基づいて本撮影時のフラッシュ１４の発光量を決定する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、ＣＰＵ１１０は、前記測光値に基づいて決定した絞り値に基づいて絞り駆動手段１４７を介して絞り兼用メカシャッタ１３ｄを駆動するとともに、前記測光値に基づいて決定したシャッタ速度になるように撮像素子１２３での電荷蓄積時間（いわゆる電子シャッタ）を制御する。

また、ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズを至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２３を介して取り込まれた画像のＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出手段１１８から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズを移動させるコントラストＡＦを行う。

この際、フラッシュ１４を発光させる場合は、プリ発光の結果から求めたフラッシュ１４の発光量に基づいてフラッシュ１４を発光させる。

被写体光は、フォーカスレンズ１３ｂ、ズームレンズ１３ｃ、絞り兼用メカシャッタ１３ｄ、赤外線カットフィルタ４６、及び光学ローパスフィルタ４８等を介して撮像素子１２３の受光面に入射する。

撮像素子１２３の各フォトダイオードに蓄積された信号電荷は、ＴＧ１４９から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として撮像素子１２３から順次出力され、ＣＤＳ／ＡＭＰ１２５に入力される。

ＣＤＳ／ＡＭＰ１２５は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、ＣＰＵ１１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。

ＣＤＳ／ＡＭＰ１２５から出力されたアナログの画像信号は、Ａ／Ｄ変換器１２７において、デジタルの画像信号に変換され、この変換された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）は、ＳＤＲＡＭ１１４に転送され、ここに一旦蓄えられる。

ＳＤＲＡＭ１１４から読み出されたＲ、Ｇ、Ｂの画像信号は、画像信号処理手段１３０に入力される。画像信号処理手段１３０では、ホワイトバランス調整回路によりＲ、Ｇ、Ｂの画像信号ごとにデジタルゲインをかけることでホワイトバランス調整が行われ、ガンマ補正回路によりガンマ特性に応じた階調変換処理が行われ、同時化回路により単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各色信号の位相を合わせる同時化処理が行われる。同時化されたＲ、Ｇ、Ｂの画像信号は、更に輝度・色差データ生成回路により輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され輪郭強調などの所定の信号処理が行われる。画像信号処理手段１３０で処理されたＹＣ信号は再びＳＤＲＡＭ１１４に蓄えられる。

上記のようにしてＳＤＲＡＭ１１４に蓄えられたＹＣ信号は、圧縮伸張処理手段１３２によって圧縮され、所定のフォーマットの画像ファイルとして、メディアコントローラ１３６を介して記録メディア１４０に記録される。静止画のデータは、Ｅｘｉｆ規格に従った画像ファイルとして記録メディア１４０に格納される。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。

複眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３６にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮伸張処理手段１３２に加えられ、非圧縮の輝度／色差信号に伸張され、立体画像信号処理手段１３３で立体画像とされたのち、ビデオエンコーダ１３４を介してモニタ１６に出力される。これにより、記録メディア１４０に記録されている画像がモニタ１６に再生表示される（１枚画像の再生）。２Ｄ撮影モードで撮影された画像は、平面画像がモニタ１６全面に２Ｄモードで表示される。

画像のコマ送りは、十字ボタン２６の左右のキー操作によって行なわれ、十字ボタン２６の右キーが押されると、次の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。また、十字ボタンの左キーが押されると、一つ前の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。

モニタ１６に再生表示された画像を確認しながら、必要に応じて、記録メディア１４０に記録された画像を消去することができる。画像の消去は、画像がモニタ１６に再生表示された状態でＭＥＮＵ／ＯＫボタン２５が押下されることによって行われる。

（２）３Ｄ撮影モードに設定されている場合
撮像素子１２２及び撮像素子１２３によって撮影確認画像用の撮影を開始する。すなわち、撮像素子１２２及び撮像素子１２３で同じ被写体が連続的に撮像され、その画像信号が連続的に処理され、撮影確認画像用の立体画像データが生成される。ＣＰＵ１１０は、モニタ１６を３Ｄモードに設定し、生成された画像データはビデオエンコーダ１３４で順次表示用の信号形式に変換されて、それぞれモニタ１６に出力される。これにより撮影確認画像用の立体画像データがモニタ１６に表示される。

ユーザ（使用者）は、モニタ１６に表示される撮影確認画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）の一方で行う。また、ＡＦ制御は、右撮像系１２及び左撮像系１３のそれぞれで行う。ＡＥ測光、ＡＦ制御は２Ｄ撮影モードと同一であるため、詳細な説明を省略する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。右撮像系１２及び左撮像系１３のそれぞれで撮影された画像データを生成する処理については、２Ｄ撮影モードと同一であるため、説明を省略する。

ＣＤＳ／ＡＭＰ１２４、１２５でそれぞれ生成された２枚の画像データからは、２Ｄ撮影モードと同様の方法により、圧縮画像データが２個生成される。圧縮された２枚の画像データは、関連付けられて１ファイルとして記憶メディア１３７に記憶される。記憶形式としては、ＭＰフォーマット等を用いることができる。

複眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３６にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮伸張処理手段１３２に加えられ、非圧縮の輝度／色差信号に伸張され、立体画像信号処理手段１３３で立体画像とする。画像ファイルには、撮影時のズームポジションの情報が記憶されており、立体画像信号処理手段１３３は、撮影時のズームポジションの情報に基づいて右目用画像及び左目用画像から再生に用いる右目用画像及び左目用画像を切り出し、再生に用いる右目用画像及び左目用画像から表示用画像を生成する。

立体画像信号処理手段１３３は、表示用画像をビデオエンコーダ１３４を介してモニタ１６に出力する。これにより、記録メディア１４０に記録されている画像がモニタ１６に立体的に再生表示される（１枚画像の再生）。

画像のコマ送りは、十字ボタン２６の左右のキー操作によって行なわれ、十字ボタン２６の右キーが押されると、次の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。また、十字ボタンの左キーが押されると、一つ前の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。

本実施の形態では、モニタ１６に再生表示された画像を確認しながら、画像の一部を拡大表示することができる。図３は、複眼デジタルカメラ１で右目用の画像と左目用の画像とを撮影した場合の右目用画像と左目用画像との関係を示す模式図であり、（ａ）は被写体であるチャートを示し、（ｂ）は（ａ）に示す被写体を左撮像系１３で撮影した結果である左目用画像を示し、（ｃ）は（ａ）に示す被写体を右撮像系１２で撮影した結果である右目用画像を示す。

複眼デジタルカメラ１の出荷時には、所定の距離（例えば２ｍ）の距離にある被写体の中心Ａが、図３（ｂ）に示すように左目用画像の中心Ａ１に撮影され、図３（ｃ）に示すように右目用画像の中心Ａ２に撮影されるように、右撮像系１２及び左撮像系１３の基線長及び輻輳角が機械的及び電気的に調整される。

しかしながら、右撮像系１２及び左撮像系１３にはローテーション（回転ズレ）がある（回転方向に傾いている）。ローテーションが無い場合には、チャートの水平、垂直の線は、右目用画像及び左目用画像でそのまま水平、垂直に撮影される。しかしながら、現実的にローテーションの無いレンズは存在しないし、調整したとしても合わせこみきれないため、チャートの水平、垂直の線は、右目用画像及び左目用画像では傾いて撮影される。図３にしめす模式図では、図３（ｂ）に示す左目用画像では、図３（ａ）に示すチャートの水平の線Ｈ１の撮影結果Ｈ２は水平であり、チャートの垂直の線Ｖ１の撮影結果Ｖ２は垂直である。しかしながら、図３（ｃ）に示す右目用画像では、チャートの水平の線Ｈ１の撮影結果Ｈ３は水平方向に対して反時計回り方向に傾いており、チャートの垂直の線Ｖ１の撮影結果Ｖ３は垂直方向に対して反時計回り方向に傾いている。

ローテーションがある場合であっても、図４（ａ）に示すように、立体画像信号処理手段１３３により切り出された再生に用いる右目用画像及び左目用画像の全体（全体画像）をモニタ１６に表示させる場合には、再生に用いる右目用画像の中心と再生に用いる左目用画像の中心とが一致するため、視差ズレがなく、適切に立体視が可能である。しかしながら、全体画像の中心から水平方向に移動した位置にある一部の領域を抜き出してモニタ１６に拡大表示させる場合には、図４（ｂ）に示すように、右目用画像と左目用画像との中心がズレ量ｔだけ垂直方向にずれている。このような視差ズレの影響により、立体視がし辛くなる。

図５は、全体画像の中心から水平方向に移動した領域をモニタ１６に拡大表示させる場合に、右目用画像と左目用画像との中心のズレを解消する処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１１０で行われる。

モニタ１６に全体画像が立体表示された状態下で、ズームボタン２１により拡大表示することを示す指示が入力され、かつ十字ボタン２６により右方向又は左方向への移動を示す指示が入力されると、ＣＰＵ１１０はこれを検出する（ステップＳ１０）。

立体画像信号処理手段１３３は、ズームボタン２１及び十字ボタン２６からの入力に基づいて全体画像の再生に用いられた右目用画像及び左目用画像から拡大表示に必要な領域を切り出す。そして、特徴点検出手段１５０は、立体画像信号処理手段１３３で拡大表示に必要な領域として切り出された左目用画像から特徴点を検出し、対応点検出手段１５２に入力する。対応点検出手段１５２は、拡大表示に必要な領域として切りだされた右目用画像から、特徴点に対応する対応点を検出する（ステップＳ１１）。特徴点、対応点の検出方法としては、公知の様々な方法を用いることができる。

ＣＰＵ１１０は、ステップＳ１１で検出された特徴点のうち、立体画像信号処理手段１３３で切り出された左目用画像の中心に位置する又は最も中心に近い特徴点Ｂと、その特徴点に対応する対応点Ｂ’（図４参照）とが垂直方向にずれているか否かを判断する（ステップＳ１２）。

垂直方向にずれていない場合（ステップＳ１２でなし）には、ＣＰＵ１１０は、立体画像信号処理手段１３３で切り出された右目用画像及び左目用画像をモニタ１６に出力する（ステップＳ１５）。

垂直方向にずれている場合（ステップＳ１２であり）には、図４（ｂ）に示すように、立体画像信号処理手段１３３で切り出された左目用画像の中心に位置する又は最も中心に近い特徴点Ｂと、その特徴点に対応する対応点Ｂ’とが垂直方向にずれている場合であるため、ＣＰＵ１１０は、特徴点Ｂと対応点Ｂ’との垂直方向のズレ量ｔを算出する（ステップＳ１３）。ＣＰＵ１１０は、ズレ量ｔを立体画像信号処理手段１３３に出力する。

立体画像信号処理手段１３３は、特徴点Ｂと対応点Ｂ’とを一致させるように、拡大表示に必要な領域として切り出された右目用画像（従画像）をズレ量ｔだけ垂直方向に平行移動させる（ステップＳ１４）。立体画像信号処理手段１３３は、立体画像信号処理手段１３３で拡大表示に必要な領域として切り出された左目用画像（基準画像）と、ステップＳ１４でズレ量ｔだけ垂直方向に平行移動された右目用画像（従画像）とビデオエンコーダ１３４を介してをモニタ１６に出力する（ステップＳ１５）。これにより、視差ズレが解消された拡大画像がモニタ１６に表示される。

モニタ１６に再生表示された画像を確認しながら、必要に応じて、記録メディア１４０に記録された画像を消去することができる。画像の消去は、画像がモニタ１６に再生表示された状態でＭＥＮＵ／ＯＫボタン２５が押下されることによって行われる。

本実施の形態によれば、画像の左右方向の端部を抜き出して拡大表示する場合等、右撮像系と左撮像系との間に回転ズレがあることにより発生する垂直方向の視差ズレの影響が大きい場合において、垂直方向の視差ズレをなくすことができる。そのため、拡大表示された画像の立体視をしやすくすることができる。

また、本実施の形態では、垂直方向に平行移動させるため、回転移動させる場合に比べて処理を軽くし、短時間で処理を終わらせることができる。そのため、短い処理時間で高
い視差ズレ補正効果が得られる。

なお、本実施の形態では、ステップＳ１４において、ズレ量ｔだけ従画像を移動させたが、特徴点Ｂと対応点Ｂ’とを一致させる方法はこれに限られない。例えば、基準画像及び従画像を半分、すなわちｔ／２ずつ反対方向に移動させることにより特徴点Ｂと対応点Ｂ’とを一致させるようにしてもよい。

＜第２の実施の形態＞
本発明の第１の実施の形態は、立体画像再生時に対応点を検出して右目用画像と左目用画像との垂直方向の視差ズレをなくしたが、垂直方向の視差ズレをなくす方法はこれに限られない。

本発明の第２の実施の形態は、出荷時の検査結果を用いて垂直方向の視差ズレをなくす形態である。以下、第２の実施の形態の複眼デジタルカメラ２について説明する。複眼デジタルカメラ２の作用は、モニタ１６に再生表示された画像を確認しながら画像の一部を拡大表示する処理以外は複眼デジタルカメラ１と同一であるため、複眼デジタルカメラ２の作用については、モニタ１６に再生表示された画像を確認しながら画像の一部を拡大表示する処理のみについて説明する。また、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図６は、複眼デジタルカメラ２の主要な内部構成を示すブロック図である。複眼デジタルカメラ２は、主として、ＣＰＵ１１０、操作手段（レリーズスイッチ２０、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６等）１１２、ＳＤＲＡＭ１１４、ＶＲＡＭ１１６、ＡＦ検出手段１１８、ＡＥ／ＡＷＢ検出手段１２０、撮像素子１２２、１２３、ＣＤＳ／ＡＭＰ１２４、１２５、Ａ／Ｄ変換器１２６、１２７、画像入力コントローラ１２８、画像信号処理手段１３０、圧縮伸張処理手段１３２、立体画像信号処理手段１３３、ビデオエンコーダ１３４、メディアコントローラ１３６、音入力処理手段１３８、記録メディア１４０、フォーカスレンズ駆動手段１４２、１４３、ズームレンズ駆動手段１４４、１４５、絞り駆動手段１４６、１４７、タイミングジェネレータ（ＴＧ）１４８、１４９、特徴点検出手段１５０、対応点検出手段１５２、光軸ズレ検査手段１５４で構成される。

光軸ズレ検査手段１５４は、複眼デジタルカメラ２の検査時に左目用画像及び右目用画像と、撮影対象との垂直方向のズレを検査する。光軸ズレ検査手段１５４は、その検査結果をＳＤＲＡＭ１１４に出力し、検査結果はＳＤＲＡＭ１１４に記憶される。

複眼デジタルカメラ２の出荷時には、複眼デジタルカメラ１と同様に、所定の距離の距離にある被写体の中心が、左目用画像及び右目用画像の中心に撮影されるように、右撮像系１２及び左撮像系１３の基線長及び輻輳角が機械的及び電気的に調整されるが、右撮像系１２及び左撮像系１３のローテーション（回転ズレ）を完全に一致させることができない。したがって、この回転ズレにより発生する垂直方向のズレを右撮像系１２及び左撮像系１３のそれぞれについて検査を行う。

図７は、右撮像系１２及び左撮像系１３の回転ズレを検査する処理の流れを示すフローチャートである。以下の処理は、主として光軸ズレ検査手段１５４により行われる。

ＣＰＵ１１０は、図８に示すようにメッシュ状に線が引かれたチャートをクロスポイントに設置し、このチャートを右撮像系１２及び左撮像系１３をもちいて撮影することにより、右目用画像と左目用画像とを撮影する（ステップＳ２１）。ＣＰＵ１１０は、撮影結果を光軸ズレ検査手段１５４に出力する。

光軸ズレ検査手段１５４には、撮影対象のチャートの線の位置と、線が交差する位置（図８の場合には、領域Ａ〜Ｙの中心）の情報があらかじめ記憶されている。光軸ズレ検査手段１５４は、右目用画像と左目用画像とのそれぞれについて、領域Ａ〜Ｙから線が交差する位置を検出する。そして、右目用画像と左目用画像とのそれぞれについて、検出された位置と、あらかじめ記憶された位置とを比較し、これらの位置の垂直方向のズレ量を測定する（ステップＳ２２）。

ステップＳ２２について図９を用いて説明する。図９は、ステップＳ２１で撮影された右目用画像と、撮影対象のチャートとを重ねた模式図である。光軸ズレ検査手段１５４は、右目用画像の領域Ａの内部から線が交差する位置Ａ３を検出する。領域Ａの中から線が交差する位置が検出されなかった場合には、光軸ズレ検査手段１５４は、領域Ａを所定の範囲だけ広げて線が交差する位置を検出する。そして、光軸ズレ検査手段１５４は、チャートの領域Ａの中心Ａ１と、右目用画像の線が交差する位置Ａ３との垂直方向の距離Ｖａを測定する。この距離Ｖａが領域Ａにおけるズレ量Ｖａである。同様の方法により、領域Ｂ〜Ｙおいて、中心Ｂ１〜Ｙ１と右目用画像の線が交差する位置Ｂ３〜Ｙ３との距離、すなわちズレ量Ｖｂ〜Ｖｙが測定される。なお、ズレ量Ｖａ〜Ｖｙは、領域Ｅに示すように垂直方向上向きの場合に正の値、領域Ａに示すように垂直方向下向きの場合に負の値として算出され、正負両方の値をとり得る。

本実施の形態では、右目用画像及び左目用画像のそれぞれについて領域Ａ〜Ｙおける垂直方向のズレ量を測定、記録する。これは撮影する被写体距離、視差等によって全体画像の切り出し位置が異なるからである。これについて図１０〜図１２を用いて説明する。

図１０のｉに示す位置は、図７に示すような右撮像系１２及び左撮像系１３の回転ズレの検査が行われた位置である。図１０のｉに示す位置、すなわちクロスポイント上にある被写体を撮影する場合には、図１１に示すように、右撮像系１２により撮影された右目用画像の中心と、立体画像信号処理手段１３３が切り出す全体画像の再生に必要な右目用画像の中心とが一致し、左撮像系１３により撮影された左目用画像の中心と、立体画像信号処理手段１３３が切り出す全体画像の再生に必要な左目用画像の中心とが一致する。このような場合には、右目用画像と左目用画像とのズレ量の相対値のみが測定、記憶されていても対応可能である。

それに対し、クロスポイント上に無い被写体を撮影する場合には、右撮像系１２により撮影された右目用画像の中心と、立体画像信号処理手段１３３が切り出した全体画像の再生に必要な右目用画像の中心とが一致せず、左撮像系１３により撮影された左目用画像の中心と、立体画像信号処理手段１３３が切り出した全体画像の再生に必要な左目用画像の中心とが一致しない。

例えば、図１０のｉｉに示す位置、すなわちクロスポイントより奥側にある被写体であって、右撮像系１２と左撮像系１３の中心軸上にある被写体を撮影する場合を考える。この被写体を左撮像系１３で撮影すると、図１２（ａ）に示すように、被写体は左目用画像の中心より左側に撮影される。また、この被写体を右目用画像１２で撮影すると、図１２（ｂ）に示すように、被写体は右目用画像の中心より右側に撮影される。したがって、全体画像の再生に用いられる左目用画像は、全体画像の再生に用いられる左目用画像の中心が撮影された左目用画像の左側に位置するように切り出され、全体画像の再生に用いられる右目用画像は、全体画像の再生に用いられる右目用画像の中心が撮影された右目用画像の右側に位置するように切り出される。

このようにして切り出された右目用画像及び左目用画像がモニタ１６に表示された場合に、図１３（ａ）に示すように全体画像から右方向に水平移動した領域を拡大表示することを示す指示が入力されると、左目用画像の拡大表示に必要な領域の中心は、図１３（ｂ）に示すように、左目用画像の中心右寄りの位置（例えば、図８の領域Ｍと領域Ｎとの略中間位置）となり、右目用画像の拡大表示に必要な領域は、図１３（ｃ）に示すように、右目用画像の右寄りの位置（例えば、図８の領域Ｎの略中心）となる。

右目用画像と左目用画像とのズレ量の相対値のみが測定、記憶されている場合には、このように右目用画像と左目用画像とで拡大表示に必要な領域が異なる場合に対応できない。したがって、領域Ａ〜Ｙおけるズレ量Ｖａ〜Ｖｙは、右目用画像及び左目用画像のそれぞれについて絶対値を測定し、かつ保存する必要がある。

このようにして垂直方向のズレ量が測定されると、光軸ズレ検査手段１５４は、ステップＳ２２で測定された各領域におけるズレ量と、そのズレ量が測定された領域とを関連付けてＤＲＡＭ１１４に出力する。検査結果は、ズレ量と、そのズレ量が測定された領域とを関連付けられたテーブルとして記憶される（ステップＳ２３）。

以上のように構成された複眼デジタルカメラ２の作用について説明する。図１０は、モニタ１６に再生表示された全体画像の中心から水平方向に移動した領域をモニタ１６に拡大表示させる場合に、右目用画像と左目用画像との中心のズレを解消する処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１１０で行われる。

モニタ１６に全体画像が表示された状態下で、ズームボタン２１により拡大表示することを示す指示が入力され、かつ十字ボタン２６により右方向又は左方向への移動を示す指示が入力されると、ＣＰＵ１１０はこれを検出する（ステップＳ１０）。

ＣＰＵ１１０は、立体画像信号処理手段１３３において、全体画像の再生に用いられる右目用画像及び左目用画像切り出された領域は、撮影された右目用画像及び左目用画像のどこの領域であるかをそれぞれ検出する（ステップＳ２４）。

ＣＰＵ１１０は、ステップＳ１０において、ズームボタン２１により拡大表示することを示す指示が入力されたか否かを判断する（ステップＳ２５）。拡大表示することを示す指示が入力されていない場合（ステップＳ２５で「されていない」）は、モニタ１６への表示は変更しない（ステップＳ２６）。

拡大表示することを示す指示が入力された場合（ステップＳ２５で「された」）には、ＣＰＵ１１０は、拡大表示することを示す指示の倍率が何倍であるかを示す情報を取得し（ステップＳ２７）、ステップＳ１０において十字ボタン２６から再生領域の移動を示す指示が入力されたか否かを判断する（ステップＳ２８）。

十字ボタン２６から再生領域の移動を示す指示が入力されていない場合（ステップＳ２８で「されていない」）には、拡大表示することを示す指示のみが入力された場合であるため、ＣＰＵ１１０は、ステップＳ２７で検出した倍率を立体画像信号処理手段１３３に出力する。立体画像信号処理手段１３３は、ＣＰＵ１１０から入力された倍率に応じて拡大表示に必要な領域を右目用画像及び左目用画像から切り出し、ビデオエンコーダ１３４を介してモニタ１６に出力する。これにより、全体画像の中心が指示された倍率でモニタ１６に拡大表示される（ステップＳ２９）。この場合には、拡大表示された右目用画像の中心と拡大表示された左目用画像の中心との視差ズレはないため、視差ズレの補正は必要ない。

十字ボタン２６から再生領域の移動を示す指示が入力されていない場合（ステップＳ２８で「されていない」）には、拡大表示することを示す指示及び再生領域の移動を示す指示が入力された場合であるため、ＣＰＵ１１０は、ステップＳ１０で入力された移動を示す指示の移動量を検出し、検出された移動量及びステップＳ２７で検出した倍率を立体画像信号処理手段１３３に出力する。立体画像信号処理手段１３３は、入力された移動量及び倍率に基づいて右目用画像及び左目用画像から切り出すべき領域を求め、切り出すべき領域の中心が、図８の領域Ａ〜Ｙの中心のうちのどれに最も近いかを右目用画像及び左目用画像のそれぞれについて検出する（ステップＳ３０）。立体画像信号処理手段１３３は、検出結果をＣＰＵ１００に出力する。

ＣＰＵ１１０は、ステップＳ２４で最も近いと検出された領域に関連付けられたズレ量をＳＤＲＡＭ１１４から取得する（ステップＳ３１）。例えば、図１２（ｂ）に示すように左目用画像の拡大表示に必要な領域の中心が領域Ｎの中心に最も近い場合には、ＣＰＵ１１０は、領域Ｎに関連付けられたズレ量ＶｎをＳＤＲＡＭ１１４から取得する。図１２（ｃ）に示すように右目用画像の拡大表示に必要な領域の中心が領域Ｍの中心に最も近い場合には、ＣＰＵ１１０は、領域Ｍに関連付けられたズレ量（領域Ｍは右目用画像の中心であるため、ズレ量は０）をＳＤＲＡＭ１１４から取得する。

ＣＰＵ１１０は、ステップＳ３１で取得された右目用画像及び左目用画像のズレ量にステップＳ２７で取得した倍率を掛けて、ズレ量を補正する。例えば、ステップＳ２７で取得した倍率がＸ倍であるとすると、図１２（ｂ）、（ｃ）に示す場合の左目用画像のズレ量はＸ×Ｖｎ＝ＸＶｎ、右目用画像のズレ量は０と補正される。そして、ＣＰＵ１１０は、補正後のズレ量に基づいて、基準画像を基準とした従画像のずらし量（基準画像の従画像のズレ量の相対値）を数式１に基づいて算出する（ステップＳ３２）。

[数１]
従画像のずらし量＝補正後の基準画像のズレ量−切り出し後の従画像のズレ量
ＣＰＵ１１０は、ステップＳ３２で算出されたずらし量を立体画像信号処理手段１３３に入力する。立体画像信号処理手段１３３は、全体画像の再生に用いられた右目用画像からステップＳ３０で求められた切り出すべき領域を切り出し、切り出された右目用画像を入力されたずらし量だけ垂直方向に平行移動させる（ステップＳ３３）。図１２（ｂ）、（ｃ）に示す場合に左目用画像を基準画像とすると、従画像である右目用画像の移動量は、ＸＶｎ−０＝ＸＶｎと算出される。したがって、ＣＰＵ１１０は、右目用画像をズレ量ＸＶｎだけ垂直方向に移動させる。

立体画像信号処理手段１３３は、全体画像の再生に用いられた左目用画像からステップＳ３０で求められた切り出すべき領域を切り出す。切り出された左目用画像（基準画像）と、ステップＳ３３で垂直方向に移動された右目用画像（従画像）とから表示用の画像を生成し、モニタ１６に出力する（ステップＳ３４）。これにより、視差ズレが解消された拡大画像がモニタ１６に表示される。

本実施の形態によれば、画像の左右方向の端部を抜き出して拡大表示する場合等、右撮像系と左撮像系との間に回転ズレがあることにより発生する垂直方向の視差ズレの影響が大きい場合において、垂直方向の視差ズレをなくすことができる。視差ズレを無くすにあたり、検査時の測定結果を用いるため、再生の度に特徴点、対応点の検出等の画像処理を行う必要がないため、短時間で拡大画像を表示することができる。

また、本実施の形態によれば、右目用画像、左目用画像のそれぞれについて、複数の領域におけるズレ量を測定、記憶するようにしたため、ディストーション等により右目用画像、左目用画像に歪みがある場合にも適切なズレ量で従画像を平行移動させることができる。特に、動画の場合に有効である。

なお、本実施の形態では、ステップＳ３３で算出されたずらし量だけ従画像を移動させることで視差ズレを解消させたが、基準画像、従画像の双方を移動させるようにしても良い。図１５は、基準画像、従画像の双方を移動させることで視差ズレを解消させる処理の流れを示すフローチャートである。

モニタ１６に全体画像が表示された状態下で、ズームボタン２１により拡大表示することを示す指示が入力され、かつ十字ボタン２６により右方向又は左方向への移動を示す指示が入力されると、ＣＰＵ１１０はこれを検出する（ステップＳ１０）。

ＣＰＵ１１０は、立体画像信号処理手段１３３において、全体画像の再生に用いられる右目用画像及び左目用画像切り出された領域は、撮影された右目用画像及び左目用画像のどこの領域であるかをそれぞれ検出する（ステップＳ２４）。

ＣＰＵ１１０は、ステップＳ１０において、ズームボタン２１により拡大表示することを示す指示が入力されたか否かを判断する（ステップＳ２５）。拡大表示することを示す指示が入力されていない場合（ステップＳ２５で「されていない」）は、モニタ１６への表示は変更しない（ステップＳ２６）。

拡大表示することを示す指示が入力された場合（ステップＳ２５で「された」）には、ＣＰＵ１１０は、拡大表示することを示す指示の倍率が何倍であるかを示す情報を取得し（ステップＳ２７）、ステップＳ１０において十字ボタン２６から再生領域の移動を示す指示が入力されたか否かを判断する（ステップＳ２８）。

十字ボタン２６から再生領域の移動を示す指示が入力されていない場合（ステップＳ２８で「されていない」）には、拡大表示することを示す指示のみが入力された場合であるため、ＣＰＵ１１０は、ステップＳ２７で検出した倍率を立体画像信号処理手段１３３に出力する。立体画像信号処理手段１３３は、ＣＰＵ１１０から入力された倍率に応じて拡大表示に必要な領域を右目用画像及び左目用画像から切り出し、ビデオエンコーダ１３４を介してモニタ１６に出力する。これにより、全体画像の中心が指示された倍率でモニタ１６に拡大表示される（ステップＳ２９）。

十字ボタン２６から再生領域の移動を示す指示が入力されていない場合（ステップＳ２８で「されていない」）には、拡大表示することを示す指示及び再生領域の移動を示す指示が入力された場合であるため、ＣＰＵ１１０は、ステップＳ１０で入力された移動を示す指示の移動量を検出し、検出された移動量及びステップＳ２７で検出した倍率を立体画像信号処理手段１３３に出力する。立体画像信号処理手段１３３は、入力された移動量及び倍率に基づいて右目用画像及び左目用画像から切り出すべき領域を求め、切り出すべき領域の中心が、図８の領域Ａ〜Ｙの中心のうちのどれに最も近いかを右目用画像及び左目用画像のそれぞれについて検出する（ステップＳ３０）。立体画像信号処理手段１３３は、検出結果をＣＰＵ１００に出力する。

ＣＰＵ１１０は、ステップＳ２４で最も近いと検出された領域に関連付けられたズレ量をＳＤＲＡＭ１１４から取得する（ステップＳ３１）。ＣＰＵ１１０は、ステップＳ３１で取得された右目用画像及び左目用画像のズレ量にステップＳ２７で取得した倍率を掛けて、ズレ量を補正する。そして、ＣＰＵ１１０は、補正後のズレ量に基づいて、基準画像を基準とした従画像のずらし量を数式１に基づいて算出する（ステップＳ３２）。

ＣＰＵ１１０は、ステップＳ３２で算出されたずらし量を立体画像信号処理手段１３３に入力する。立体画像信号処理手段１３３は、入力されたずらし量が２ｎ（ｎは自然数）ピクセルであるか否かを判断する（ステップＳ３５）。

立体画像信号処理手段１３３は、全体画像の再生に用いられた左目用画像からステップＳ３０で求められた切り出すべき領域を切り出し、全体画像の再生に用いられた右目用画像からステップＳ３０で求められた切り出すべき領域を切り出す。ずらし量が２ｎピクセルである場合（ステップＳ３５でＹＥＳ）には、立体画像信号処理手段１３３は、切り出された左目用画像（以下、切り出し後の基準画像という）と、切り出された右目用画像（以下、切り出し後の従画像という）を反対方向にｎピクセルずつ移動させる。すなわち、立体画像信号処理手段１３３は、切り出し後の左目用画像をｎピクセル垂直方向に移動させ、切り出し後の従画像を−ｎピクセル垂直方向に平行移動させる（ステップＳ３６）。

ずらし量が２ｎピクセルでない場合、すなわちずらし量が２ｎ＋１ピクセルである場合（ステップＳ３５でＹＥＳ）には、立体画像信号処理手段１３３は、切り出し後の基準画像をｎピクセル移動させ、切り出し後の従画像を反対方向にｎ＋１ピクセル移動させる（ステップＳ３７）。

ＣＰＵ１１０は、ステップＳ３６で垂直方向に移動された切り出し後の基準画像と切り出し後の従画像とから、又はステップＳ３７で垂直方向に移動された切り出し後の基準画像と切り出し後の従画像とから表示用の画像を生成し、モニタ１６に出力する（ステップＳ３４）。これにより、視差ズレが解消された拡大画像がモニタ１６に表示される。

本変形例によれば、右目用画像と左目用画像とを均等に移動させるため、必要以上に大きな再生しろを持たなくてよい。したがって、より広角側で立体画像の撮影を行うことができる。なお、右目用画像と左目用画像とを均等に移動させることを、第１の実施の形態に適用してもよい。

＜第３の実施の形態＞
本発明の第１の実施の形態は、垂直方向のズレ量を出荷時の検査で測定し、この測定結果を用いて垂直方向の視差ズレをなくしたが、垂直方向の視差ズレをなくす方法はこれに限られない。

本発明の第３の実施の形態は、回転方向のズレ量を出荷時の検査で測定し、この測定結果を用いて垂直方向の視差ズレをなくす形態である。以下、第３の実施の形態の複眼デジタルカメラ３について説明する。複眼デジタルカメラ３の作用は、モニタ１６に再生表示された画像を確認しながら画像の一部を拡大表示する処理以外は複眼デジタルカメラ１、２と同一であるため、複眼デジタルカメラ３の作用については、モニタ１６に再生表示された画像を確認しながら画像の一部を拡大表示する処理のみについて説明する。また、第１の実施の形態又は第２の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図１６は、複眼デジタルカメラ３の主要な内部構成を示すブロック図である。複眼デジタルカメラ３は、主として、ＣＰＵ１１０、操作手段（レリーズスイッチ２０、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６等）１１２、ＳＤＲＡＭ１１４、ＶＲＡＭ１１６、ＡＦ検出手段１１８、ＡＥ／ＡＷＢ検出手段１２０、撮像素子１２２、１２３、ＣＤＳ／ＡＭＰ１２４、１２５、Ａ／Ｄ変換器１２６、１２７、画像入力コントローラ１２８、画像信号処理手段１３０、圧縮伸張処理手段１３２、立体画像信号処理手段１３３、ビデオエンコーダ１３４、メディアコントローラ１３６、音入力処理手段１３８、記録メディア１４０、フォーカスレンズ駆動手段１４２、１４３、ズームレンズ駆動手段１４４、１４５、絞り駆動手段１４６、１４７、タイミングジェネレータ（ＴＧ）１４８、１４９、特徴点検出手段１５０、対応点検出手段１５２、光軸ズレ検査手段１５６で構成される。

光軸ズレ検査手段１５６は、複眼デジタルカメラ３の検査時に左目用画像及び右目用画像と、撮影対象との回転方向のズレ（回転ズレ）を検査する。光軸ズレ検査手段１５６は、その検査結果をＳＤＲＡＭ１１４に出力し、検査結果はＳＤＲＡＭ１１４に記憶される。

複眼デジタルカメラ３の出荷時には、複眼デジタルカメラ１と同様に、所定の距離の距離にある被写体の中心が、左目用画像及び右目用画像の中心に撮影されるように、右撮像系１２及び左撮像系１３の基線長及び輻輳角が機械的及び電気的に調整されるが、右撮像系１２及び左撮像系１３のローテーション（回転ズレ）を完全に一致させることができない。したがって、この回転ズレを右撮像系１２及び左撮像系１３のそれぞれについて検査を行う。

図１７は、右撮像系１２及び左撮像系１３の回転ズレを検査する処理の流れを示すフローチャートである。以下の処理は、主として光軸ズレ検査手段１５６により行われる。

ＣＰＵ１１０は、図３（ａ）に示すように十字状に線が引かれたチャートを右撮像系１２及び左撮像系１３を用いて撮影することにより、右目用画像と左目用画像とを撮影する（ステップＳ４１）。ＣＰＵ１１０は、撮影結果を光軸ズレ検査手段１５４に出力する。

光軸ズレ検査手段１５６は、右目用画像と左目用画像とのそれぞれについて回転ズレ量を測定する（ステップＳ４２）。図１８に示すように、光軸ズレ検査手段１５６は、右目用画像の右端において、チャートの横の線Ｈ１と右端との交点Ｒ１（略中央）と、実際に右目用画像に撮影された線Ｖ３の右端との交点Ｒ３との垂直方向のズレ量ｈを測定し、垂直方向のズレ量ｈを水平方向の長さｌで割ることにより右目用画像の回転ズレ量θ２を算出する。同様の方法により、左目用画像についても回転ズレ量θ１を算出する。右目用画像、左目用画像のそれぞれの回転ズレ量の絶対値を算出する場合には、チャートの横の線Ｈ１が水平、縦の線Ｖ１が垂直となるように正確に設置されている必要がある点に留意する。

なお、回転ズレ量θ１、θ２の算出方法はこれに限られない。例えば、図１８では右端を基準に回転ズレ量を算出したが、右端基準に限らず、左端、上端、下端を基準としてもよい。また、垂直方向のズレ量と水平方向の長さとから角度を算出するのではなく、直接角度を測定するようにしても良い。

また、本実施の形態では、回転ズレ量θ１、θ２を絶対値として算出したが、相対値として算出してもよい。例えば、左目用画像を基準とする場合には、左目用画像については、絶対値の場合と同様に回転ズレ量θ１を算出する。基準で無い右目用画像については、左目用画像の傾きが「０」であるとした場合に右目用画像が何度傾いているかを回転ズレ量θ２’として算出するようにすればよい。

光軸ズレ検査手段１５６は、このようにして測定された回転ズレ量θ１、θ２をＳＤＲＡＭ１１４に出力し、回転ズレ量θ１、θ２がＳＤＲＡＭ１１４に記憶される（ステップＳ４３）。

なお、図１７に示すフローでは、右目用画像及び左目用画像の回転ズレ量の絶対値を算出、記憶したが、右目用画像の回転ズレ量と左目用画像の回転ズレ量との相対差を算出、記憶するようにしてもよい。

以上のように構成された複眼デジタルカメラ３の作用について説明する。図１９は、モニタ１６に再生表示された全体画像の中心から水平方向に移動した領域をモニタ１６に拡大表示させる場合に、右目用画像と左目用画像との中心のズレを解消する処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１１０で行われる。

モニタ１６に全体画像が表示された状態下で、ズームボタン２１により拡大表示することを示す指示が入力され、かつ十字ボタン２６により右方向又は左方向への移動を示す指示が入力されると、ＣＰＵ１１０はこれを検出する（ステップＳ１０）。

ＣＰＵ１１０は、立体画像信号処理手段１３３において、全体画像の再生に用いられる右目用画像及び左目用画像切り出された領域は、撮影された右目用画像及び左目用画像のどこの領域であるかをそれぞれ検出する（ステップＳ２４）。

ＣＰＵ１１０は、ステップＳ１０において、ズームボタン２１により拡大表示することを示す指示が入力されたか否かを判断する（ステップＳ２５）。拡大表示することを示す指示が入力されていない場合（ステップＳ２５で「されていない」）は、モニタ１６への表示は変更しない（ステップＳ２６）。

拡大表示することを示す指示が入力された場合（ステップＳ２５で「された」）には、ＣＰＵ１１０は、拡大表示することを示す指示の倍率が何倍であるかを示す情報を取得し（ステップＳ２７）、ステップＳ１０において十字ボタン２６から再生領域の移動を示す指示が入力されたか否かを判断する（ステップＳ２８）。

十字ボタン２６から再生領域の移動を示す指示が入力されていない場合（ステップＳ２８で「されていない」）には、拡大表示することを示す指示のみが入力された場合であるため、ＣＰＵ１１０は、ステップＳ２７で検出した倍率を立体画像信号処理手段１３３に出力する。立体画像信号処理手段１３３は、ＣＰＵ１１０から入力された倍率に応じて拡大表示に必要な領域を右目用画像及び左目用画像から切り出し、ビデオエンコーダ１３４を介してモニタ１６に出力する。これにより、全体画像の中心が指示された倍率でモニタ１６に拡大表示される（ステップＳ２９）。

十字ボタン２６から再生領域の移動を示す指示が入力された場合（ステップＳ２８で「された」）には、拡大表示することを示す指示及び再生領域の移動を示す指示が入力された場合であるため、ＣＰＵ１１０は、ステップＳ１０で入力された移動を示す指示の移動量を検出し、検出された移動量及びステップＳ２７で検出した倍率を立体画像信号処理手段１３３に出力する。立体画像信号処理手段１３３は、入力された移動量及び倍率に基づいて全体画像の表示に用いられる右目用画像及び左目用画像から拡大表示のために切り出すべき領域を求め、切り出された右目用画像の拡大表示に必要な領域の中心と、撮影された右目用画像との中心との距離と、切り出された左目用画像の拡大表示に必要な領域の中心と、撮影された左目用画像との中心との距離を取得する（ステップＳ４４）。図２０に示す場合には、右目用画像の拡大表示に必要な領域の中心と、右目用画像の中心との水平方向の距離は１８００ピクセルであり、図２１に示す場合には、左目用画像の拡大表示に必要な領域の中心と、左目用画像の中心との水平方向の距離は１６００ピクセルである。立体画像信号処理手段１３３は、取得した結果をＣＰＵ１００に出力する。

ＣＰＵ１１０は、ＳＤＲＡＭ１１４から回転ズレ量θ１、θ２を取得する。そして、ＣＰＵ１１０は、立体画像信号処理手段１３３から入力された結果と、ＳＤＲＡＭ１１４から取得した回転ズレ量θ１、θ２とから、数式２に基づいて拡大表示に必要な領域の中心における垂直方向のズレ量を右目用画像、左目用画像のそれぞれについて算出する（ステップＳ４５）。

[数２]
垂直方向のズレ量（左目用画像）＝撮影された左目用画像の中心と左目用画像の拡大表示に必要な領域の中心との距離×左目用画像の回転ズレ量θ１
垂直方向のズレ量（右目用画像）＝撮影された右目用画像の中心と右目用画像の拡大表示に必要な領域の中心との距離×右目用画像の回転ズレ量θ２
図２０に示す場合には、右目用画像の拡大表示に必要な領域の中心と、撮影された右目用画像の中心との水平方向の距離は１８００ピクセルであり、ＳＤＲＡＭ１１４から取得された回転ズレ量はθ２である。したがって、ＣＰＵ１１０は、垂直方向のズレ量を１８００ピクセル×θ２（３°）＝９４ピクセルと算出する。図２１に示す場合には、左目用画像の拡大表示に必要な領域の中心と、撮影された左目用画像の中心との水平方向の距離は１６００ピクセルである。したがって、ＣＰＵ１１０は、垂直方向のズレ量を１６００ピクセル×θ２（０°）＝０ピクセルと算出する。

ＣＰＵ１１０は、ステップＳ４５で取得された右目用画像及び左目用画像のズレ量にステップＳ２７で取得した倍率を掛けて、ズレ量を補正する。そして、ＣＰＵ１１０は、補正後のズレ量に基づいて、基準画像を基準とした従画像のずらし量（基準画像の従画像のズレ量の相対値）を数式１に基づいて算出する（ステップＳ４６）。

ＣＰＵ１１０は、ステップＳ４６で算出されたずらし量を立体画像信号処理手段１３３に入力する。立体画像信号処理手段１３３は、全体画像の再生に用いられた右目用画像からステップＳ３０で求められた切り出すべき領域を切り出し、切り出された右目用画像を入力されたずらし量だけ垂直方向に平行移動させる（ステップＳ３３）。

立体画像信号処理手段１３３は、全体画像の再生に用いられた左目用画像からステップＳ３０で求められた切り出すべき領域を切り出す。切り出された左目用画像（基準画像）と、ステップＳ３３で垂直方向に移動された右目用画像（従画像）とから表示用の画像を生成し、モニタ１６に出力する（ステップＳ３４）。これにより、視差ズレが解消された拡大画像がモニタ１６に表示される。

本実施の形態によれば、画像の左右方向の端部を抜き出して拡大表示する場合等、右撮像系と左撮像系との間に回転ズレがあることにより発生する垂直方向の視差ズレの影響が大きい場合において、垂直方向の視差ズレをなくすことができる。視差ズレを無くすにあたり、検査時の測定結果を用いるため、再生の度に特徴点、対応点の検出を行う必要がないため、短時間で拡大画像を表示することができる。

また、本実施の形態によれば、第２の実施の形態のように、検査時に、複数の位置における垂直方向のズレ量の測定は必要なく、回転ズレの角度を求めればよい。すなわち、垂直方向のズレが１箇所で済む。したがって、検査時の手間を省き、検査に要する時間を短縮することができる。

なお、第１の実施の形態から第３の実施の形態では、視差ズレを無くして拡大表示された画像の再生を行ったが、視差ズレを無くして拡大表示された画像を保存するようにしてもよい。これにより、画像表示の際にズレ量等を計算する必要が無いため、視差ズレのない見やすい画像をすぐ表示することができる。この効果は、画像再生時の計算量が多い第１の実施の形態が最も高い。また、他の表示手段で再生する場合も、視差ズレが無くなるように補正されているため見やすい画像となる。

なお、本発明の適用は、撮像系が２つの複眼デジタルカメラに限定されるものではなく、３つ以上の撮像系をもつ複眼デジタルカメラでもよい。３つ以上の撮像系をもつ複眼デジタルカメラの場合には、全ての撮像系を用いて撮影を行う必要はなく、少なくとも２つの撮像系を用いればよい。また、撮像系は横に並んでいる場合に限定されず、斜め等に並んでいても良い。

また、本発明は、複眼デジタルカメラに限らず、右目用画像、左目用画像が入力され、立体画像が表示可能なモニタを備えたビューワ、ＰＣ等の各種立体画像表示装置にも適用することができる。また、複眼デジタルカメラ、立体画像表示装置等に適用するプログラムとして提供することもできる。第２の実施の形態、第３の実施の形態のように検査時の結果を用いる場合には、右目用画像、左目用画像の画像ファイルのタブ等に検査時の結果を記憶させる等の方法により、画像と共に検査時の結果が取得できるようにすればよい。

１：複眼デジタルカメラ、１０：カメラボディ、１１：バリア、１２：右撮像系、１３：左撮像系、１４：フラッシュ、１５：マイク、１６：モニタ、２０：レリーズスイッチ、２１：ズームボタン、２２：モードボタン、２３：視差調整ボタン、２４：２Ｄ／３Ｄ切り替えボタン、２５：ＭＥＮＵ／ＯＫボタン、２６：十字ボタン、２７：ＤＩＳＰ／ＢＡＣＫボタン、１１０：ＣＰＵ、１１２：操作手段、１１４：ＳＤＲＡＭ、１１６：ＶＲＡＭ、１１８：ＡＦ検出回路、１２０：ＡＥ／ＡＷＢ検出手段、１２２、１２３：撮像素子、１２４、１２５：ＣＤＳ／ＡＭＰ、１２６、１２７：Ａ／Ｄ変換器、１２８：画像入力コントローラ、１３０：画像信号処理手段、１３３：立体画像信号処理手段、１３２：圧縮伸張処理手段、１３４：ビデオエンコーダ、１３６：メディアコントローラ、１４０：記録メディア、１３８：音入力処理手段、１４２、１４３：フォーカスレンズ駆動手段、１４４、１４５：ズームレンズ駆動手段、１４６、１４７：絞り駆動手段、１４８、１４９：タイミングジェネレータ（ＴＧ）

Claims (10)

1. 立体画像が表示可能な表示手段と、
   左目用画像及び右目用画像を取得する取得手段と、
   前記左目用画像及び前記右目用画像に基づいて前記表示手段に立体画像を表示させる第１表示制御手段と、
   前記表示手段に表示された立体画像の中心から左右方向にずれた一部の領域を拡大表示することを示す指示を受け付ける指示受付手段と、
   前記指示受付手段が受け付けた指示に応じて、拡大表示に必要な領域を前記左目用画像及び前記右目用画像から切り出す切り出し手段と、
   前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と、前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出するズレ量算出手段と、
   前記ズレ量算出手段により算出されたズレ量だけ前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像の少なくとも１つを垂直方向に平行移動させる画像移動手段と、
   を備えたことを特徴とする立体画像表示装置。
2. 前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像から対応点を抽出する対応点抽出手段を備え、
   前記ズレ量算出手段は、前記対応点抽出手段により抽出された対応点間の距離を前記ズレ量として算出することを特徴とする請求項１に記載の立体画像表示装置。
3. 前記取得手段は、前記左目用画像及び前記右目用画像と共に、前記左目用画像のズレを示す情報と前記右目用画像のズレを示す情報とを取得し、
   前記ズレ量算出手段は、前記取得された前記左目用画像のズレを示す情報と前記右目用画像のズレを示す情報とに基づいて、前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出することを特徴とする請求項１に記載の立体画像表示装置。
4. 前記取得手段は、前記左目用画像のズレを示す情報及び前記右目用画像のズレを示す情報として、所定の被写体の実際の撮影結果と当該所定の被写体の理想的な撮影結果との垂直方向のズレ量が複数の位置で検査された結果を取得し、
   前記ズレ量算出手段は、前記取得された結果に基づいてズレ量を算出することを特徴とする請求項３に記載の立体画像表示装置。
5. 前記ズレ量算出手段は、前記所定の被写体の実際の撮影結果と当該所定の被写体の理想的な撮影結果との垂直方向のズレ量が複数の位置で検査された結果のうち、前記指示受付手段により拡大表示することを示す指示が受け付けられた一部の領域の中心に最も近い位置における垂直方向のズレ量に基づいて、前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出することを特徴とする請求項４に記載の立体画像表示装置。
6. 前記取得手段は、前記左目用画像のズレを示す情報及び前記右目用画像のズレを示す情報として、所定の被写体の実際の撮影結果と当該所定の被写体の理想的な撮影結果との回転ズレ量を取得し、
   前記ズレ量算出手段は、前記取得された回転ズレ量と、前記指示受付手段により拡大表示することを示す指示が受け付けられた一部の領域の水平方向の位置とに基づいて、前記切り出し手段により拡大表示に必要な領域が切り出された左目用画像の中心と前記切り出し手段により拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出することを特徴とする請求項３に記載の立体画像表示装置。
7. 前記画像移動手段は、前記ズレ量算出手段により算出されたズレ量が２ｎ（ｎは整数）ピクセルである場合には、前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像をｎピクセルずつ移動させ、前記ズレ量算出手段により算出されたズレ量が２ｎ＋１ピクセルである場合には、前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像のいずれか一方をｎ＋１ピクセル移動させ、他方をｎピクセル移動させることを特徴とする請求項１から６のいずれかに記載の立体画像表示装置。
8. 前記画像移動手段により移動された後の画像を記憶する記憶手段と、
   前記記憶手段に記憶された画像を出力する出力手段と、
   を備えたことを特徴とする請求項１から７のいずれかに記載の立体画像表示装置。
9. 請求項１から８のいずれかに記載の立体画像表示装置と、
   前記右目用画像及び前記左目用画像を撮影する複数の撮像手段と、
   を備えたことを特徴とする複眼撮像装置。
10. 左目用画像及び右目用画像を取得するステップと、
    前記左目用画像及び前記右目用画像に基づいて立体画像が表示可能な表示手段に立体画像を表示させるステップと、
    前記表示手段に表示された立体画像の中心から左右方向にずれた一部の領域を拡大表示することを示す指示を受け付けるステップと、
    前記受け付けた指示に応じて、拡大表示に必要な領域を前記左目用画像及び前記右目用画像から切り出すステップと、
    前記拡大表示に必要な領域が切り出された左目用画像の中心と、前記拡大表示に必要な領域が切り出された右目用画像の中心との垂直方向のズレ量を算出するステップと、
    前記算出されたズレ量だけ前記拡大表示に必要な領域が切り出された左目用画像及び右目用画像の少なくとも１つを垂直方向に平行移動させるステップと、
    をコンピュータに実行させるための立体画像表示プログラム。

Images