JP2010230879A - 複眼カメラ装置 - Google Patents

Abstract

【課題】複数の撮影光学系と各撮影光学系と一対一に対応する複数の撮像素子とを有する複眼カメラ装置において、装置の小型化及び低価格化を実現する。
【解決手段】この複眼カメラ装置は、主レンズ１と、２つの副レンズ２、３とを有し、主レンズ１に対応するＣＣＤ１１は、ＣＣＤ基板４の表面に実装され、副レンズ２、３に対応するＣＣＤ１２、１３は、ＣＣＤ基板４の裏面に実装されている。副レンズ２は、２枚の全反射ミラー７ａ，７ｂを介して被写体像をＣＣＤ１２の受光面に結像できるように構成され、副レンズ３は２枚の全反射ミラー８ａ，８ｂを介して被写体像をＣＣＤ１３の受光面に結像できるように構成されている。また、ＣＣＤ基板４と制御ブロックが実装されたメイン基板５とは、単一の接続ケーブル６によって電気的に接続されている。
【選択図】 図１

Description

本発明は複眼カメラ装置に係り、特に複数の撮影光学系と各撮影光学系と一対一に対応する複数の撮像素子とを有する複眼カメラ装置に関する。

従来、主レンズと第１の撮像素子からなる第１の撮像手段と、副レンズと第１の撮像素子より有効画素数の少ない第２の撮像素子からなる第２の撮像手段とを備え、第２の撮像手段により撮像した画像を参照することにより、第１の撮像手段の画像の深度情報を得ることを特徴とする二眼のカメラが提案されている（特許文献１）。

また、主レンズと第１の撮像素子からなる第１の撮像手段と、第１及び第２の副レンズと第１の撮像素子より有効画素数の少ない第２及び第３の撮像素子からなる第２及び第３の撮像手段とを備え、第２及び第３の撮像手段により撮像した画像を参照することにより、第１の撮像手段の画像の深度情報を得ることを特徴とする三眼のカメラが提案されている（特許文献２）。

また、２つの光路（二眼）から入射される光を、ミラーとシャッタを利用して、それぞれ時分割に１つの撮像素子に結像させ、ステレオ画像を得るようにした撮像装置が提案されている（特許文献３）。

特開２０００−１０２０４０号公報 特開２０００−１１２０１９号公報 特開平１１−２８５０２６号公報

しかしながら、特許文献１、２に記載の二眼又は三眼のカメラは、複数の撮像素子がそれぞれ独立してカメラ本体内に並列配置されており、装置の小型化が図られていない。また、複数の撮像素子がそれぞれ実装される基板も複数になるとともに、これらの基板とメイン基板との接続ケーブルも複数になってしまい、装置の低価格化、小型化が図られていない。

一方、特許文献３に記載の二眼のカメラは、２つの光路から入射する光を時分割に切り替えて１つの撮像素子に結像させるため、１組のステレオ画像を得るまでに時間を要するとう問題がある。

本発明はこのような事情に鑑みてなされたもので、複数の撮影光学系と各撮影光学系と一対一に対応する複数の撮像素子とを有する複眼カメラ装置において、装置の小型化及び低価格化を図ることができる複眼カメラ装置を提供することを目的とする。

前記目的を達成するために請求項１に係る複眼カメラ装置は、複数の撮影光学系と、前記複数の撮影光学系と一対一に対応する複数の撮像素子と、前記複数の撮像素子が実装された単一の撮像素子基板であって、該撮像素子基板の両面に前記撮像素子がそれぞれ実装された撮像素子基板と、前記複数の撮影光学系の全部又は一部の光路を屈曲させ、被写体像を対応する撮像素子に結像させる光学部材と、を備えたことを特徴としている。

請求項１に係る発明によれば、複数の撮像素子が実装される撮像素子基板を１枚にし、かつ撮像素子基板の両面に撮像素子を実装するようにしたため、複数の撮像素子に対する撮像素子基板を従来よりも小さくすることができ、装置の小型化を図ることができる。

請求項２に示すように請求項１に記載の複眼カメラ装置において、前記複数の撮像素子から出力される出力信号を処理する制御ブロックが実装されたメイン基板を備え、前記撮像素子基板と前記メイン基板とは単一のケーブル又は単一のコネクタにより接続されていることを特徴としている。これにより、撮像素子基板とメイン基板との結線を単純化にすることができ、装置の低価格化を図ることができる。

請求項３に示すように請求項１又は２に記載の複眼カメラ装置において、前記複数の撮像素子は、画素数、受光面のサイズ、及び感度のうちの少なくとも１つが異なる異種の撮像素子を含むことを特徴としている。

請求項４に示すように請求項１から３のいずれかに記載の複眼カメラ装置において、前記撮像素子基板は、前記複数の撮影光学系の光軸と直交するように配置され、前記複数の撮像素子は、前記撮像素子基板の表面と裏面とに分離して実装され、前記光学部材は、前記撮像素子基板の裏面に実装された撮像素子に被写体像が結像されるように対応する撮影光学系の光路を屈曲させることを特徴としている。

請求項５に示すように請求項４に記載の複眼カメラ装置において、前記撮像素子基板の表面に実装される撮像素子は、前記撮像素子基板の裏面に実装される撮像素子よりも受光面が小さいことを特徴としている。これにより、撮像素子基板の裏面の撮像素子に結像される撮影光学系は、表面の撮像素子に結像させる撮影光学系に比べてイメージサークルが大きいもの（即ち、結像までの光路長が長いもの）を使用することができ、撮像素子の配置に適したものとなる。

請求項６に示すように請求項３に記載の複眼カメラ装置において、前記複数の撮像素子のいずれか１つ又は複数同時に使用して１つの画像又は複数の画像を取得する複数の撮影モードを有し、前記複数の撮影モードから所望の撮影モードを選択するためのモード選択手段と、前記モード選択手段により選択された撮影モードに応じて前記複数の撮像素子のいずれか１つ又は複数を駆動し、該駆動した撮像素子から取得した画像を処理する制御手段と、を備えたことを特徴としている。これにより、複数の撮影モードに応じて多種の撮像を行うことができ、高機能化及び付加価値の向上を図ることができる。

請求項７に示すように請求項６に記載の複眼カメラ装置において、前記複数の撮像素子は、それぞれ画素数が同一で、感度が異なる異種の撮像素子を含むことを特徴としている。

請求項８に示すように請求項７に記載の複眼カメラ装置において、前記複数の撮影モードは、高感度かつ高ダイナミックレンジの３次元表示用の複数の画像を取得する第１の撮影モード、高感度かつ低ダイナミックレンジの３次元表示用の複数の画像を取得する第２の撮影モード、低感度かつ高ダイナミックレンジの３次元表示用の複数の画像を取得する第３の撮影モード、低感度かつ高ダイナミックレンジの２次元表示用の単一の画像を取得する第４の撮影モード、高感度かつ低ダイナミックレンジの２次元表示用の単一の画像を取得する第５の撮影モードのうちの２以上の撮影モードを含むことを特徴としている。

請求項９に示すように請求項６に記載の複眼カメラ装置において、前記複数の撮影光学系及び複数の撮像素子は、それぞれ３つの撮影光学系及び撮像素子であることを特徴としている。

請求項１０に示すように請求項９に記載の複眼カメラ装置において、前記複数の撮影モードは、３次元表示用の３枚の画像を取得する第１の撮影モード、３次元表示用の２枚の画像を取得する第２の撮影モード、２次元表示用の１枚の画像を取得する第３の撮影モードのうちの２以上の撮影モードを含むことを特徴としている。

本発明によれば、複数の撮像素子が実装される撮像素子基板を１枚にし、かつ撮像素子基板の両面に撮像素子を実装するようにしたため、複数の撮像素子に対する撮像素子基板を従来よりも小さくすることができ、装置の小型化を図ることができる。

図１は本発明の第１実施形態の複眼カメラ装置の構成を示す概略図である。 図２は本発明の第２実施形態の複眼カメラ装置の要部構成図である。 図３は本発明の第３実施形態の複眼カメラ装置の要部構成図である。 図４は本発明の第４実施形態の複眼カメラ装置のブロック図である。 図５は本発明の第４実施形態の複眼カメラ装置による各撮影モードでの処理内容を示すフローチャートである。 図６は本発明の第５実施形態の複眼カメラ装置のブロック図である。 図７は本発明の第５実施形態の複眼カメラ装置による各撮影モードでの処理内容を示すフローチャートである。 図８は本発明の第６実施形態の複眼カメラ装置の構成を示す概略図である。 図９は従来の複眼カメラ装置の構成を示す概略図である。

以下、添付図面に従って本発明に係る複眼カメラ装置の実施の形態について説明する。

［第１実施形態］
図１は本発明の第１実施形態の複眼カメラ装置の構成を示す概略図である。

図１に示すように、この複眼カメラ装置は、主レンズ１と、２つの副レンズ２、３とを有する三眼の複眼カメラ装置であり、ＣＣＤ（Charge Coupled Device）等の撮像素子（以下、「ＣＣＤ」という）が実装されるＣＣＤ基板４は、主レンズ１及び副レンズ２、３の光軸（光路Ｌ１、Ｌ２、Ｌ３）と直交するようにカメラ本体内に配置されている。

この１枚のＣＣＤ基板４には、主レンズ１、副レンズ２、３と一対一に対応する３つのＣＣＤ１１、１２、１３が実装されており、ＣＣＤ１１は、ＣＣＤ基板４の表面（カメラ前面側）に実装され、ＣＣＤ１２、１３は、ＣＣＤ基板４の裏面に実装されている。

主レンズ１は、被写体像をＣＣＤ１１の受光面に結像できるように構成され、副レンズ２は、２枚の全反射ミラー７ａ，７ｂを介して被写体像をＣＣＤ１２の受光面に結像できるように構成され、副レンズ３は２枚の全反射ミラー８ａ，８ｂを介して被写体像をＣＣＤ１３の受光面に結像できるように構成されている。

また、カメラ本体内には、ＣＣＤ出力信号の処理等を行う制御ブロックが実装されたメイン基板５が配設されており、ＣＣＤ基板４とメイン基板５とは、単一の接続ケーブル６（フレキシブル配線板を含む）によって電気的に接続されている。

図９は従来の三眼の複眼カメラ装置の一例を示す概略図である。尚、図１に示した第１実施形態の複眼カメラ装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図９に示すように従来の三眼の複眼カメラ装置は、ＣＣＤ１１、１２、１３がそれぞれ実装された３つのＣＣＤ基板４ａ、４ｂ、４ｃが並列に配置され、かつ各ＣＣＤ基板４ａ、４ｂ、４ｃとメイン基板５とは、それぞれ接続ケーブル６ａ、６ｂ、６ｃによって電気的に接続されている。

本発明の第１実施形態の複眼カメラ装置は、３つのＣＣＤ１１、１２、１３のＣＣＤ基板４を一枚にすることができ、かつＣＣＤ基板４の両面を実装面として使用するため、図９に示した従来の複眼カメラ装置の３枚のＣＣＤ基板４ａ、４ｂ、４ｃに比べて、ＣＣＤ基板４をコンパクトにすることができ、装置の小型化を図ることができる。

また、ＣＣＤ基板４とメイン基板５との接続も単一の接続ケーブル６で行うことができ、従来の３本の接続ケーブル６ａ、６ｂ、６ｃで接続を行うものに比べて、結線を単純化にすることができ、装置の低価格化を図ることができる。

尚、図１上では、主レンズ１、副レンズ２、３の光路Ｌ１、Ｌ２、Ｌ３はそれぞれ平行に示されているが、主レンズ１、副レンズ２、３は、所定の距離で光路Ｌ１、Ｌ２、Ｌ３が交差するように（輻輳角をもつように）配置されている。これにより、同一の被写体を異なる視点位置から撮影し、３次元表示用の３枚の画像を取得することができる。

また、全反射ミラー７ａ，７ｂ、全反射ミラー８ａ，８ｂの代わりに、全反射プリズム等の他の光学部材を使用してもよい。更に、光路Ｌと光路Ｌ２、Ｌ３の光路長の違いを補正するために、光路Ｌ２，Ｌ３中に必要に応じてリレーレンズ等を配置するようにしてもよい。

［第２実施形態］
図２は本発明の第２実施形態の複眼カメラ装置の要部構成図である。尚、図１に示した第１実施形態の複眼カメラ装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２に示す第２実施形態の複眼カメラ装置は、１２００万（１２Ｍ）画素の低感度のＣＣＤ２１と、１２Ｍ画素の高感度のＣＣＤ２２、２３とを備えている。ＣＣＤ２１は、低感度のためＣＣＤ内部のＰＤ（フォトダイオード）寸法が小さく、ＣＣＤ２２、２３は、高感度のためＣＣＤ内部のＰＤ寸法が大きくなっている。また、画素数が同じ１２Ｍであるため、ＣＣＤ２２、２３は、ＣＣＤ２１と比べて大きな形状となる（受光面のサイズが大きくなる）。

上記のようにＣＣＤ２２、２３はＣＣＤ２１よりも受光面が大きく、これにより、副レンズ２、３は、主レンズ１に比べて大きなイメージサークルのレンズが適用される。即ち、主レンズ１と副レンズ２、３とで同じ画角の撮影を行う場合に、副レンズ２、３は、主レンズ１よりも焦点距離の長いものが適用されることになる。

副レンズ２、３は、全反射ミラー７ａ，７ｂ、全反射ミラー８ａ，８ｂを介して光路を屈曲させてＣＣＤ基板４の裏面のＣＣＤ２２、２３に結像させるものであるため、主レンズ１と比べて光路長が長くなるため、上記のようにＣＣＤ２１とＣＣＤ２２、２３の大きさを変えることで、光路長の違いに対応することができる。

また、全反射ミラー７ａ，７ｂ、及び全反射ミラー８ａ，８ｂを、図２の矢印の方向（紙面の上下方向）に移動させることにより、光路長の調整を行うことができる。

［第３実施形態］
図３は本発明の第３実施形態の複眼カメラ装置の要部構成図である。尚、図１に示した第１実施形態の複眼カメラ装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図３に示す第３実施形態の複眼カメラ装置は、６Ｍ画素のＣＣＤ３１と、ＣＣＤ３１とＰＤ寸法が同じ１２Ｍ画素のＣＣＤ３２、３３とを備えている。ＣＣＤ３２、３３は、ＣＣＤ３１とＰＤ寸法が同じで画素数が多いため、ＣＣＤ３１と比べて大きな形状となる（受光面のサイズが大きくなる）。

従って、第３実施形態の複眼カメラ装置の主レンズ１、副レンズ２、３は、図２に示した第２実施形態の複眼カメラ装置の主レンズ１、副レンズ２、３と同様なものを適用することができる。

［第４実施形態］
図４は本発明の第４実施形態の複眼カメラ装置のブロック図である。

図４に示す複眼カメラ装置は、図２に示した第２実施形態のＣＣＤ２１、２２、２３等を有しており、撮影により取得される２次元画像、３次元画像等をメモリカード４２等の記録媒体に記録する複眼デジタルカメラである。

操作部４４は、シャッタボタン、電源スイッチ、撮影モード選択ダイヤル、撮影／再生モード選択スイッチ、バックスイッチ、メニュー／ＯＫスイッチ、マルチファンクションの十字キー等の公知のスイッチ類を備えている。

シャッタボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮影モード時には、シャッタボタンが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。

撮影モード選択ダイヤルは、回転させることにより、本発明に係る高感度／高ダイナミックレンジ（ＤＲ）３次元撮影モード、高感度３次元撮影モード、高ＤＲ３次元撮影モード、高ＤＲ２次元撮影モード、２次元撮影モード等の撮影モードを設定することができるようになっている。尚、これらの撮影モードの詳細については後述する。

液晶表示器（ＬＣＤ）４６は、ＬＣＤドライバ４８を介して入力する各種の表示用の画像信号に基づいて動画（スルー画像）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）や複眼カメラ装置に装填されたメモリカード４２から読み出した再生画像等を表示することができる。更に、ＬＣＤ４６は、撮影可能コマ数や再生コマ番号の表示、マニュアル設定する際のホワイトバランス、画素数、圧縮率、及びシャープネス等をマニュアル設定する際の各種のメニュー等がメニュー／ＯＫスイッチや十字キーの操作に応じて表示される。

中央処理装置（ＣＰＵ）５０は、操作部４４からの入力に基づいて後述するように複眼カメラ装置内の各回路を統括制御する。また、ＣＰＵ５０は、ＲＯＭ５２、ＲＡＭ５４との間で必要なデータの授受が行われる。尚、ＲＯＭ５２には、カメラ制御プログラム、ＣＣＤの欠陥情報等のカメラ制御に関する各種のパラメータ、データが格納されている。また、ＲＡＭ５４は、ＣＰＵ５０の演算作業用領域及び画像データの一時記憶領域、及び表示用の画像データの一時記憶領域を含んでいる。

まず、操作部４４の電源スイッチが操作されると、ＣＰＵ５０はこれを検出し、カメラ内電源をＯＮにする。また、撮影／再生モード選択スイッチによって撮影モードが選択されると、撮影スタンバイ状態にする。

また、撮影モード選択ダイヤルで設定された撮影モードに応じて、撮像シーケンスが変化するが、ここでは、３枚の画像を撮像する場合について説明する。

上記撮影スタンバイ状態時にシャッタボタンが押されると、ＣＰＵ５０はこれを検知し、レンズ駆動部５６を介してそれぞれ主レンズ１、副レンズ２、３を制御（フォーカス制御、露出制御）し、被写体の画像光をＣＣＤ２１、２２、２３の受光面上に結像させる。

各ＣＣＤ２１、２２、２３は、受光面に結像された画像光をその光量に応じた量の電荷に変換する。このようにして蓄積された電荷は、ＣＣＤ駆動部５８から加えられる読み出しパルスによってＣＣＤ２１、２２、２３の垂直転送路に読み出され、垂直転送パルス及び水平転送パルスによって電荷量に応じた電圧信号として順次読み出される。尚、ＣＣＤ２１、２２、２３は、ＣＣＤ駆動部５８から加えられるシャッタゲートパルスによって蓄積した電荷を掃き出すことができ、これにより電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。

ＣＣＤ２１、２２、２３から出力された各電圧信号は、ＣＣＤ基板４から接続ケーブル６を介して接続されたメイン基板５上のアナログ処理回路６０ａ〜６０ｃに加えられる。アナログ処理回路６０ａ〜６０ｃは、相関二重サンプリング回路（ＣＤＳ回路）やアンプを含み、ＣＣＤ２１、２２、２３から出力された各電圧信号は、アナログ処理回路６０ａ〜６０ｃによって相関二重サンプリングや増幅等のアナログ処理が施された後、各画素ごとのＲ、Ｇ、Ｂ信号としてＡ／Ｄ変換器６２ａ〜６２ｃに加えられる。各Ａ／Ｄ変換器６２ａ〜６２ｃは、順次加えられるアナログのＲ、Ｇ、Ｂ信号をそれぞれＲ、Ｇ、Ｂ信号に変換する。このようにして、３つのＣＣＤ２１、２２、２３により同時に撮影された３枚の画像のＲ、Ｇ、Ｂ信号は、一旦ＲＡＭ５４に格納される。

画像処理回路６４は、３枚の画像データを読み出し、光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ（階調特性）処理及びシャープネス処理を行ってＲ、Ｇ、Ｂ信号を生成し、更にＹＣ信号処理して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成し、そのＹＣ信号を再びＲＡＭ２４に格納する。尚、高ＤＲの画像データを作成する場合には、低感度の画像データと高感度の画像データとを合成する処理等を行う。

上記のようにしてＲＡＭ５４に格納されたＹＣ信号は、圧縮伸張処理回路５９に与えられ、ここで、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）に従って圧縮される。圧縮された画像データは、２次元撮影モードの場合には、例えばＥｘｉｆ形式の画像ファイルにファイル化され、３次元撮影モードの場合には、複数の画像の関連づけが行われた画像ファイルが作成され、リード／ライト回路６０を介してメモリカード４２に記録される。

また、対応点検出回路６６は、低感度の画像データと高感度の画像データとから高ＤＲの画像データを作成する場合に使用される。

即ち、対応点検出回路６６は、ＣＣＤ２１、２２、２３により同時に撮影された複数の画像間で、特徴が略一致する複数の組の対応点を検出する。対応点検出回路６６による対応点検出については、従来から様々な手法が提案されている。例えば、ブロックマッチング法、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、ＳＩＦＴ(Scale Invariant Feature Transform)などの従来技術を用いることができる。

幾何変形回路６８は、低感度の画像データ及び高感度の画像データのいずれか一方を幾何変形させることで、両画像データ間の視差による画角ずれを補正するもので、対応点検出回路６６により検出された複数の組の対応点から、いずれか一方の対象画像を幾何変形するための幾何変形パラメータを求め、この幾何変形パラメータに基づいて対象画像を幾何変形する。これにより、低感度の画像データに対して視差のない高感度の画像データを作成し、又は高感度の画像データに対して視差のない低感度の画像データを作成する。幾何変形パラメータとしては、射影変換を行う場合の射影変換パラメータ、ヘルマート変換する場合のヘルマート変換パラメータなどが考えられる。

画像処理回路６４は、幾何変形回路６８により低感度の画像データ及び高感度の画像データのうちのいずれか一方が幾何変形された、互いに視差のない低感度の画像データ及び高感度の画像データに基づいて高ＤＲの画像データを作成する。

ＤＲの広い低感度の画像データとＤＲの狭い高感度の画像データに基づいて高感度かつ高ＤＲの画像データを作成する方法としては、両画像データをそれぞれ階調変換した後、加算処理する方法（特開２００６−１３５６８４号公報）等、公知の方法を使用することができる。

一方、撮影／再生モード選択スイッチによって再生モードが選択されると、メモリカード１２に記録されている最終コマの画像ファイルがリード／ライト回路６０を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張回路５９を介して非圧縮のＹＣ信号に伸張される。

伸張されたＹＣ信号は、ＲＡＭ５４に保持された後、ＬＣＤドライバ４８を介してＬＣＤ表示用の信号に変換されてＬＣＤ４６に出力される。これにより、ＬＣＤ４６にはメモリカード４２に記録されている最終コマのコマ画像が表示される。

その後、順コマ送りスイッチ（十字キーの右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キーの左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード４２から読み出され、上記と同様にしてコマ画像がＬＣＤ４６に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、メモリカード４２に記録されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像がＬＣＤ４６に再生される。

また、ＬＣＤ４６が３次元表示用に対応したもの（例えば、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズが表面に配置され、複数の画像を異なる方向に表示するもの）である場合には、３次元画像の再生モード時にメモリカード４２から読み出された複数の画像（視差画像）が表示され、ユーザは立体視が可能となる。

次に、上記構成の第４実施形態の複眼カメラ装置による撮像シーケンスについて説明する。

図５は本発明の第４実施形態の複眼カメラ装置による各撮影モードでの処理内容を示すフローチャートである。

図５において、シャッタボタンの全押しによる撮影が行われた際に、ステップＳ１０、ステップＳ１２、Ｓ１４、Ｓ１６により高感度／高ＤＲ３次元撮影モード、高感度３次元撮影モード、高ＤＲ３次元撮影モード、高ＤＲ２次元撮影モード、２次元撮影モードの５つの撮影モードのうちのいずれの撮影モードが設定されているかを判別する。

ステップＳ１０により高感度／高ＤＲ３次元撮影モードが設定されていると判別されると、ＣＣＤ２１、２２、２３を駆動し、各ＣＣＤ出力をＡ／Ｄ変換して３枚の画像を取得する（ステップＳ１８）。

続いて、上記取得した３枚の画像に基づいて高感度／高ＤＲ３次元画像処理を行う（ステップＳ２０）。

この高感度／高ＤＲ３次元画像処理では、それぞれ視差のある３枚の高感度／高ＤＲ画像を作成する。いま、ＣＣＤ２１、２２、２３からそれぞれ取得された画像を画像Ａ，Ｂ，Ｃとすると、画像Ａは、ＤＲの広い低感度の画像であり、画像Ｂ，Ｃは、ＤＲの狭い高感度の画像である。

上記画像Ａ、Ｂに基づいて画像Ｂが画像Ａと一致するように画像Ｂを幾何変形させ、画像Ａに対して視差のない画像Ｂ’を作成する。この画像Ｂ’の作成は、前述したように対応点検出回路６６及び幾何変形回路６８により行われる。そして、高ＤＲの画像Ａと高感度の画像Ｂ’とを合成することで、ダイナミックレンジを拡大した高感度／高ＤＲ画像を作成する。

また、上記画像Ａ、Ｂに基づいて画像Ａが画像Ｂと一致するように画像Ａを幾何変形させ、画像Ｂに対して視差のない画像Ａ’を作成する。そして、高ＤＲの画像Ａ’と高感度の画像Ｂとを合成することで、高感度／高ＤＲ画像を作成する。

同様に、画像Ａ、Ｃに基づいて画像Ａが画像Ｃと一致するように画像Ａを幾何変形させ、画像Ｃに対して視差のない画像Ａ’を作成する。そして、高ＤＲの画像Ａ’と高感度の画像Ｃとを合成することで、高感度／高ＤＲ画像を作成する。

このようにして、３次元表示用の視差のある３枚の高感度／高ＤＲ画像を作成する。

一方、ステップＳ１２により高感度３次元撮影モードが設定されていると判別されると、ＣＣＤ２２、２３を駆動し、各ＣＣＤ出力をＡ／Ｄ変換して２枚の画像を取得する（ステップＳ２２）。

続いて、上記取得した２枚の画像に基づいて高感度３次元画像処理を行う（ステップＳ２４）。ここでは、２枚の各画像について、それぞれホワイトバランス調整、ガンマ処理、シャープネス処理、及びＹＣ信号処理等の画像処理を行う。

また、ステップＳ１４により高ＤＲ３次元撮影モードが設定されていると判別されると、ＣＣＤ２１、２２を駆動し、各ＣＣＤ出力をＡ／Ｄ変換して２枚の画像を取得する（ステップＳ２６）。

続いて、上記取得した２枚の画像に基づいて高ＤＲ３次元画像処理を行う（ステップＳ２８）。この高ＤＲ３次元画像処理では、ステップＳ２０での処理と同様な処理を行うことによりダイナミックレンジ拡大の画像処理を行い、視差のある２枚の高感度／高ＤＲ画像を作成する。

また、ステップＳ１６により高ＤＲ２次元撮影モードが設定されていると判別されると、ＣＣＤ２１、２２を駆動し、各ＣＣＤ出力をＡ／Ｄ変換して２枚の画像を取得する（ステップＳ３０）。

続いて、上記取得した２枚の画像に基づいて高ＤＲ２次元画像処理を行う（ステップＳ３２）。この高ＤＲ２次元画像処理では、ステップＳ２０での処理と同様な処理を行うことによりダイナミックレンジ拡大の画像処理を行い、１枚の高感度／高ＤＲ画像を作成する。

一方、ステップＳ１６において、高ＤＲ２次元撮影モードが設定されていないと判別された場合（「Ｎｏ」の場合）には、残りの撮影モードである通常の２次元撮影モードとして判別され、ステップＳ３４に遷移する。ステップＳ３４では、ＣＣＤ２２又は２３を駆動し、ＣＣＤ出力をＡ／Ｄ変換して１枚の画像を取得する。

続いて、上記取得した１枚の画像に基づいて２次元画像処理を行う（ステップＳ３６）。ここでは、１枚の高感度の画像について、ホワイトバランス調整、ガンマ処理、シャープネス処理、及びＹＣ信号処理等の画像処理を行う。

ステップＳ３８では、上記高感度／高ＤＲ３次元撮影モード、高感度３次元撮影モード、高ＤＲ３次元撮影モード、高ＤＲ２次元撮影モード、２次元撮影モードの５つの撮影モードのうちの設定された撮影モードに基づいてステップＳ１４、Ｓ２０、Ｓ２６、Ｓ３２、又はＳ３４で作成された画像（本画像）の圧縮処理を行う。この圧縮された本画像は、メモリカード４２に記録される（ステップＳ４０）。

このように、ユーザにより設定された撮影モードにより、低感度のＣＣＤ２１と高感度のＣＣＤ２２、２２の感度の異なる複数のＣＣＤを単一、全て又は排他的に使用可能な撮像シーケンスにて撮影を行うことができ、高機能化及び付加価値のある複眼カメラ装置を提供することができる。

［第５実施形態］
図６は本発明の第５実施形態の複眼カメラ装置のブロック図である。

図６に示す複眼カメラ装置は、図３に示した第３実施形態のＣＣＤ３１、３２、３３等を有しており、撮影により取得される２次元画像、３次元画像等をメモリカード４２等の記録媒体に記録する複眼デジタルカメラである。

尚、図６において、図４に示した第４実施形態の複眼カメラ装置のブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図６に示す第５実施形態の複眼カメラ装置は、主として図４に示した第４実施形態の複眼カメラとはＣＣＤ３１、３２、３３が相違し、また、対応点検出回路６６、幾何変形回路６８は設けられていない。

図３に示した第３実施形態で説明したように、ＣＣＤ３１とＣＣＤ３２、３３とは、ＰＤ寸法が同じ（感度が同じ）であり、画素数が相違し、ＣＣＤ３１は６Ｍ画素であり、ＣＣＤ３２、３３は１２Ｍ画素である。

また、操作部４４’の撮影モード選択ダイヤルは、３視点３次元撮影モード、高解像度３次元撮影モード、低解像度３次元撮影モード、高解像度２次元撮影モード、２次元撮影モード等の撮影モードを設定することができるようになっている。

図７は本発明の第５実施形態の複眼カメラ装置による各撮影モードでの処理内容を示すフローチャートである。

図７において、シャッタボタンの全押しによる撮影が行われた際に、ステップＳ５０、Ｓ５２、Ｓ５４、Ｓ５６により３視点３次元撮影モード、高解像度３次元撮影モード、低解像度３次元撮影モード、高解像度２次元撮影モード、２次元撮影モードのうちのいずれの撮影モードが設定されているかを判別する。

ステップＳ５０により３視点３次元撮影モードが設定されていると判別されると、ＣＣＤ３１、３２、３３を駆動し、各ＣＣＤ出力をＡ／Ｄ変換して３枚の画像を取得する（ステップＳ５８）。

続いて、上記取得した３枚の画像に基づいて３視点３次元画像処理を行う（ステップＳ６０）。

この３視点３次元画像処理では、それぞれ視差のある３次元表示用の３枚の画像を作成する。尚、ＣＣＤ３１から取得された画像は６Ｍ画素であり、ＣＣＤ３２、３３から取得される画像は１２Ｍ画素であり、解像度が異なるため、解像度を合わせる処理を行う。低い解像度に合わせる場合には、ＣＣＤ３２、３３から取得される１２Ｍ画素の画像を間引き処理及び補間処理することにより６Ｍ画素の画像にする。一方、高い解像度に合わせる場合には、ＣＣＤ３２又はＣＣＤ３３の画像がＣＣＤ３１の画像と一致するように（視差のない画像になるように）、ＣＣＤ３２又はＣＣＤ３３の画像を幾何変形させることが考えられる。この幾何変形は、図４に示した対応点検出回路６６、幾何変形回路６８を使用することにより行うことができる。

一方、ステップＳ５２により高解像度３次元撮影モードが設定されていると判別されると、ＣＣＤ３２、３３を駆動し、各ＣＣＤ出力をＡ／Ｄ変換して２枚の画像を取得する（ステップＳ６２）。

続いて、上記取得した２枚の画像に基づいて高解像度３次元画像処理を行う（ステップＳ６４）。ここでは、２枚の各画像について、それぞれホワイトバランス調整、ガンマ処理、シャープネス処理、及びＹＣ信号処理等の画像処理を行う。

また、ステップＳ５４により低解像度３次元撮影モードが設定されていると判別されると、ＣＣＤ３１、３２を駆動し、各ＣＣＤ出力をＡ／Ｄ変換して２枚の画像を取得する（ステップＳ６６）。

続いて、上記取得した２枚の画像に基づいて低解像度３次元画像処理を行う（ステップＳ６８）。この低解像度３次元画像処理では、ＣＣＤ３２から取得される１２Ｍ画素の画像が６Ｍ画素の画像になるように間引き処理及び補間処理を行う。

尚、ステップＳ６４で作成される３次元表示用の２枚の画像と、ステップＳ６４で作成される３次元表示用の２枚の画像とは、２枚の画像に対する基線長及び輻輳角が異なる画像であり、これにより３次元表示時に立体感の異なる３次元画像となる。

また、ステップＳ１６により高解像度２次元撮影モードが設定されていると判別されると、ＣＣＤ３２又は３３を駆動し、ＣＣＤ出力をＡ／Ｄ変換して１枚の画像を取得する（ステップＳ７０）。

続いて、上記取得した１枚の画像に基づいて高解像度２次元画像処理を行う（ステップＳ７２）。この高解像度２次元画像処理では、ステップＳ６４での処理と同様にホワイトバランス調整、ガンマ処理、シャープネス処理、及びＹＣ信号処理等の画像処理を行う。

一方、ステップＳ５６において、高解像度２次元撮影モードが設定されていないと判別された場合（「Ｎｏ」の場合）には、残りの撮影モードである（低解像度）２次元撮影モードとして判別され、ステップＳ７４に遷移する。ステップＳ７４では、ＣＣＤ３１を駆動し、ＣＣＤ出力をＡ／Ｄ変換して１枚の画像を取得する。

続いて、上記取得した１枚の画像に基づいて２次元画像処理を行う（ステップＳ７６）。ここでは、１枚の低解像度の画像について、ホワイトバランス調整、ガンマ処理、シャープネス処理、及びＹＣ信号処理等の画像処理を行う。

ステップＳ７８では、上記３視点３次元撮影モード、高解像度３次元撮影モード、低解像度３次元撮影モード、高解像度２次元撮影モード、２次元撮影モードの５つの撮影モードのうちの設定された撮影モードに基づいてステップＳ６０、Ｓ６４、Ｓ６８、Ｓ７２、又はＳ７６で作成された画像（本画像）の圧縮処理を行う。この圧縮された本画像は、メモリカード４２に記録される（ステップＳ８０）。

このように、ユーザにより設定された撮影モードにより、３つのＣＣＤ３１、３２、３３を単一、全て又は排他的に使用可能な撮像シーケンスにて撮影を行うことができ、高機能化及び付加価値のある複眼カメラ装置を提供することができる。

この第５実施形態では、ＣＣＤ３１とＣＣＤ３２、３３とは、ＰＤ寸法が同じで画素数が相違するものを使用したが、ＣＣＤ３１をＣＣＤ３２、３３と同じ画素数（１２Ｍ画素）のものを使用しても上記と同様な処理が可能である。

尚、ＰＤ寸法が同じ(感度特性が同一)で、全てのＣＣＤを高画素化(高解像度)すると、
(1) ＣＣＤ単価が高くなる。

(2) ＣＣＤが大きくなる。

(3) 画像処理に時間がかかる。

というデメリットが発生するが、第５実施形態のように複数のＣＣＤが存在する場合に低解像度のＣＣＤを含めると、上記デメリットを低減できる一方、全てのＣＣＤを高画素化した場合と同様の画像も取得することができる。

［第６実施形態］
図８は本発明の第６実施形態の複眼カメラ装置の要部構成図である。

図８に示す第６実施形態の複眼カメラ装置は、２つのレンズ１−１、１−２を有する二眼の複眼カメラ装置であり、ＣＣＤ基板４０は、レンズ１−１、１−２の光軸（光路Ｌ１、Ｌ２、Ｌ３）と平行になるようにカメラ本体内に配置されている。

この１枚のＣＣＤ基板４０には、レンズ１−１、１−２と一対一に対応する２つのＣＣＤ４１−１、４１−２が実装されており、ＣＣＤ４１−１は、ＣＣＤ基板４０の一方の面に実装され、ＣＣＤ４１−２は、ＣＣＤ基板４０の他方の面に実装されている。

レンズ１−１、１−２は、それぞれ全反射ミラー７−１、７−２を介して被写体像をＣＣＤ４１−１、４１−２の受光面に結像できるように構成されている。

また、カメラ本体内には、ＣＣＤ出力信号の処理等を行う制御ブロックが実装されたメイン基板５が配設されており、ＣＣＤ基板４とメイン基板５とは、単一のコネクタ４３によって電気的に接続されている。

本発明の第６実施形態の複眼カメラ装置は、２つのＣＣＤ４１−１、４１−２のＣＣＤ基板４０を一枚にすることができ、かつＣＣＤ基板４０の両面を実装面として使用するため、ＣＣＤ基板４０をコンパクトにすることができ、装置の小型化を図ることができる。

また、ＣＣＤ基板４０とメイン基板５との接続も単一のコネクタ４３で行うことができ、結線を単純化にすることができ、装置の低価格化を図ることができる。

尚、図８上では、レンズ１−１、１−２の光路Ｌ１、Ｌ２はそれぞれ平行に示されているが、レンズ１−１、１−２は、所定の距離で光路Ｌ１、Ｌ２、Ｌ３が交差するように（輻輳角をもつように）配置されている。これにより、同一の被写体を異なる視点位置から撮影し、３次元表示用の２枚の画像を取得することができる。

［その他］
図４に示す実施の形態では、メイン基板５側にアナログ処理回路６０ａ〜６０ｃ、Ａ／Ｄ変換器６２ａ〜６２ｃを設けるようにしたが、ＣＣＤ基板４側にアナログ処理回路６０ａ〜６０ｃ、又はＡ／Ｄ変換器６２ａ〜６２ｃを設けるようにしてもよい。

この実施の形態では、二眼及び三眼の複眼カメラ装置について説明したが、本発明は四眼以上の複眼カメラ装置にも適用できる。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１…主レンズ、１−１、１−２…レンズ、２、３…副レンズ、４、４０…ＣＣＤ基板、５…メイン基板、６…接続ケーブル、７ａ、７ｂ、７−１、７−２、８ａ、８ｂ…全反射ミラー、１１、１２、１３、２１、２２、２３、３１、３２、３３、４１−１、４１−２…撮像素子（ＣＣＤ）、４２…メモリカード、４３…コネクタ、４４…操作部、５０…中央処理装置（ＣＰＵ）、６４、６４’…画像処理回路、６６…対応点検出回路、６８…幾何変形回路

Claims (10)

1. 複数の撮影光学系と、
   前記複数の撮影光学系と一対一に対応する複数の撮像素子と、
   前記複数の撮像素子が実装された単一の撮像素子基板であって、該撮像素子基板の両面に前記撮像素子がそれぞれ実装された撮像素子基板と、
   前記複数の撮影光学系の全部又は一部の光路を屈曲させ、被写体像を対応する撮像素子に結像させる光学部材と、
   を備えたことを特徴とする複眼カメラ装置。
2. 前記複数の撮像素子から出力される出力信号を処理する制御ブロックが実装されたメイン基板を備え、
   前記撮像素子基板と前記メイン基板とは単一のケーブル又は単一のコネクタにより接続されていることを特徴とする請求項１に記載の複眼カメラ装置。
3. 前記複数の撮像素子は、画素数、受光面のサイズ、及び感度のうちの少なくとも１つが異なる異種の撮像素子を含むことを特徴とする請求項１又は２に記載の複眼カメラ装置。
4. 前記撮像素子基板は、前記複数の撮影光学系の光軸と直交するように配置され、
   前記複数の撮像素子は、前記撮像素子基板の表面と裏面とに分離して実装され、
   前記光学部材は、前記撮像素子基板の裏面に実装された撮像素子に被写体像が結像されるように対応する撮影光学系の光路を屈曲させることを特徴とする請求項１から３のいずれかに記載の複眼カメラ装置。
5. 前記撮像素子基板の表面に実装される撮像素子は、前記撮像素子基板の裏面に実装される撮像素子よりも受光面が小さいことを特徴とする請求項４に記載の複眼カメラ装置。
6. 前記複数の撮像素子のいずれか１つ又は複数同時に使用して１つの画像又は複数の画像を取得する複数の撮影モードを有し、前記複数の撮影モードから所望の撮影モードを選択するためのモード選択手段と、
   前記モード選択手段により選択された撮影モードに応じて前記複数の撮像素子のいずれか１つ又は複数を駆動し、該駆動した撮像素子から取得した画像を処理する制御手段と、
   を備えたことを特徴とする請求項３に記載の複眼カメラ装置。
7. 前記複数の撮像素子は、それぞれ画素数が同一で、感度が異なる異種の撮像素子を含むことを特徴とする請求項６に記載の複眼カメラ装置。
8. 前記複数の撮影モードは、高感度かつ高ダイナミックレンジの３次元表示用の複数の画像を取得する第１の撮影モード、高感度かつ低ダイナミックレンジの３次元表示用の複数の画像を取得する第２の撮影モード、低感度かつ高ダイナミックレンジの３次元表示用の複数の画像を取得する第３の撮影モード、低感度かつ高ダイナミックレンジの２次元表示用の単一の画像を取得する第４の撮影モード、高感度かつ低ダイナミックレンジの２次元表示用の単一の画像を取得する第５の撮影モードのうちの２以上の撮影モードを含むことを特徴とする請求項７に記載の複眼カメラ装置。
9. 前記複数の撮影光学系及び複数の撮像素子は、それぞれ３つの撮影光学系及び撮像素子であることを特徴とする請求項６に記載の複眼カメラ装置。
10. 前記複数の撮影モードは、３次元表示用の３枚の画像を取得する第１の撮影モード、３次元表示用の２枚の画像を取得する第２の撮影モード、２次元表示用の１枚の画像を取得する第３の撮影モードのうちの２以上の撮影モードを含むことを特徴とする請求項９に記載の複眼カメラ装置。

Images