JP2012015819A - 立体画像撮像装置 - Google Patents

Abstract

【課題】立体画像を撮影できない場合には高品質な二次元画像を撮影することができる単眼の立体画像撮像装置を提供する。
【解決手段】第１画素群に属する第１画素と該第１画素に隣接する第２画素群に属する第２画素とがペアを構成し該ペアを構成する第１画素及び第２画素が瞳分割されて同一被写体からの異なる入射角の光を受光する撮像素子と、該撮像素子の前段に置かれた単眼の撮影レンズ部と、前記ペアを構成する第１画素と第２画素の各々の撮像画像信号を別個に処理し右眼用画像データと左眼用画像データを生成する３Ｄ画像生成手段と、前記ペアを構成する第１画素と第２画素の各撮像画像信号を画素加算して処理し被写体の平面画像を生成する２Ｄ画像生成手段と、撮影レンズ部の焦点距離及び前記被写体までのフォーカス位置に応じて３Ｄ画像生成手段または２Ｄ画像生成手段を選択する撮影モード切替手段（Ｓ３７）とを備える。
【選択図】図２２

Description

本発明は、被写体の立体画像を撮影する立体画像撮像装置に関する。

被写体の立体画像（三次元画像：以下、３Ｄ画像ともいう。）を撮影できる立体画像撮像装置が実際に普及し始め、テレビジョン装置やパーソナルコンピュータのモニタ装置も、立体画像を表示できるものが普及し始めている。

従来の立体画像撮像装置は、例えば下記の特許文献１，２に記載されている様に、２つの撮像部を装備し、各撮像部の撮影レンズ系をカメラ筐体前部の左右に並べて設けている。そして、右側の撮影レンズ系を通して右眼用の被写体画像を撮影し、左側の撮影レンズ系を通して左眼用の被写体画像を撮影している。

２つの撮像部を持つ複眼の立体画像撮像装置は、個々の撮像部が高価な撮影レンズ系や撮像素子を備えるため、単眼の二次元画像（平面画像：以下、２Ｄ画像ともいう。）を撮影するカメラに比べて撮像部のコストが倍になってしまうという問題がある。

そこで、特許文献３では、撮影レンズ系として左右の２系統を持つが、撮像素子を共通化して１個で済む立体撮像装置を提案している。特許文献４では、撮影レンズ系も共通化し１系統だけとする単眼の立体画像撮像装置を提案している。

これら立体画像撮像装置は、１つの撮像素子に二次元アレイ状に配列形成した多数の画素のうち、約半数の画素に右眼用の画像データが入射し、残り半数の画素に左眼用の画像データが入射する様に、瞳分割する構成としている。

特開２０１０―１１４５７７号公報 特開２００８―１６７０６６号公報 特開２００３―７９９４号公報 特開平１０―４２３１４号公報

被写体画像を撮影する場合、どのような被写体画像であっても、常に立体画像として撮影できる訳ではない。例えば、無限遠の遠景の風景画像は、左右両眼の視差をとることができないため、立体画像として撮影することはできない。

立体画像として撮影できる範囲は、右眼用画像と左眼用画像との間にある程度の視差がとれる範囲であり、立体画像として撮影できない被写体画像を立体画像として再生しても、高品質な立体画像にはならない。

近景や中景の被写体画像であって立体画像として再生できるか否かの境目当たりの画像は、これを立体画像として再生しても、明瞭な立体画像にはならない。この場合、見た目が平面画像（２Ｄ画像）に近い画像として再生されるが、表示は立体であるため、全体として不明瞭な二次元画像になってしまう。

従来の単眼の立体画像撮像装置は、立体画像を撮影する場合しか考慮しておらず、立体画像を撮影できない場合にどの様に対処すれば良いかを考慮していない。

本発明の目的は、立体画像を撮影できない場合には高品質な二次元画像を撮影することができる単眼の立体画像撮像装置を提供することにある。

本発明の立体画像撮像装置は、第１画素群と第２画素群とが同一面に混在して形成され、前記第１画素群に属する第１画素と該第１画素に隣接する前記第２画素群に属する第２画素とがペアを構成し、該ペアを構成する前記第１画素及び前記第２画素が瞳分割されて同一被写体からの異なる入射角の光を受光する撮像素子と、
該撮像素子の前段に置かれ前記被写体からの入射光を該撮像素子の受光面に結像させる１系統の撮影レンズ部と、
前記ペアを構成する前記第１画素と前記第２画素の各々の撮像画像信号を別個に処理し、前記第１画素群の各々の前記第１画素の撮像画像信号から右眼用の第１の被写体画像データを生成し、前記第２画素群の各々の前記第２画素の撮像画像信号から左眼用の第２の被写体画像データを生成する３Ｄ画像生成手段と、
前記ペアを構成する前記第１画素と前記第２画素の各撮像画像信号を画素加算して処理し、前記被写体の平面画像を第３の被写体画像データとして生成する２Ｄ画像生成手段と、
前記撮影レンズ部の焦点距離及び前記被写体までのフォーカス位置に応じて、前記３Ｄ画像生成手段に前記右眼用と前記左眼用の前記第１，第２の被写体画像データを生成させ、又は、前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させる撮影モード切替手段と
を備えることを特徴とする。

本発明によれば、被写体の高品質な立体画像（３Ｄ画像）を撮像できない場合には、立体撮像装置側が判断して高品質な平面画像（２Ｄ画像）の撮像を行うため、ユーザにとって使い勝手が良く、どの様な撮影条件でも品質の高い被写体画像を撮像することが可能となる。

本発明の一実施形態に係る単眼の立体画像撮像装置の外観斜視図である。 図１に示す立体画像撮像装置の機能ブロック図である。 図２に示す撮像素子の表面模式図である。 図３に示す撮像素子のカラーフィルタ配列だけを示す図である。 図３に示す撮像素子のマイクロレンズと遮光膜開口との位置関係を示す図である。 図５に示す遮光膜開口を有するＡ群画素とＢ群画素との間の視差を示す図である。 図３の撮像素子で２Ｄ画像を生成するための画素加算を行うペア画素を示す図である。 図３の撮像素子で画素加算出力を行うときの信号読出順を示す図である。 図３の撮像素子で立体画像の撮像画像信号の出力を行うときの信号読出順を示す図である。 図９に代わる信号読出順を示す図である。 正方画素配列におけるＡ群画素とＢ群画素の配置例を示す図である。 図１１におけるＡ群画素のみ（ａ）とＢ群画素のみ（ｂ）の配置例を示す図である。 正方画素配列におけるＡ群画素とＢ群画素の別の配置例を示す図である。 図１３における実際の３原色カラーフィルタ配列と遮光膜開口を示す図である。 正方画素配列におけるＡ群画素とＢ群画素の更に別の配置例を示す図である。 図１５における実際の３原色カラーフィルタ配列と遮光膜開口を示す図である。 マイクロレンズによる瞳分割の方法を例示する図である。 本発明の一実施形態における撮影処理手順の基本を示すフローチャートである。 図２に代わる実施形態の立体画像撮像装置の機能ブロック図である。 図１９の立体画像撮像装置における撮像処理手順を示すフローチャートである。 図２０のフローチャートのうち撮影モード決定処理ステップの詳細を示すフローチャートである。 図２１の実施形態の別実施形態に係るフローチャートである。 図２２の処理ステップにおける２Ｄモード／３Ｄモードの分岐処理の説明図である。 本発明の別実施形態に係る撮影処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る単眼の立体画像撮像装置の外観斜視図である。この立体画像撮像装置１０は、カメラ筐体１１の前部に、単眼の撮影レンズ系１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられており、カメラ筐体１１の上面右端部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図１では図示しない液晶表示部（図２の表示部２５）が設けられている。

図２は、図１に示す立体画像撮像装置１０の機能ブロック図である。撮影レンズ系１２の背部には、シャッタ１６及び図示省略の絞り（アイリス）を介して詳細は後述する撮像素子１００が配置されている。撮影レンズ系１２を通して撮像素子１００の受光面に結像された被写体光像に対応する撮像画像データが、アナログデジタル（ＡＤ）変換部１７でデジタルデータに変換され、バス１８に出力される。

バス１８には、この立体画像撮像装置１０の全体を統括制御する中央制御部（ＣＰＵ）２１と、シャッタレリーズボタン１４を含む操作ボタン等で構成される操作部２２と、ＤＳＰ等で構成されＣＰＵ２１の指示の基に撮像画像データに対して周知の画像処理を施す画像処理部２３と、画像処理された撮像画像データを表示用のデータに変換するビデオエンコーダ２４と、ビデオエンコーダ２４で変換された撮像画像データを液晶表示部２５に表示するドライバ２６と、メインメモリ２７と、メディア制御部２８とが接続され、メディア制御部２８に着脱自在に記録媒体（メモリカード）２９が装着される。

液晶表示部２５は、例えばスキャンバックライト方式の液晶表示部であり、右眼用画像データと左目用画像データとを表示して被写体の立体画像を表示することができる表示部となっている。

ＣＰＵ２１には、デバイス制御部３１が接続される。デバイス制御部３１は、ＣＰＵ２１からの指示に従い、撮像素子１００の駆動制御を行い、シャッタ１６の開閉制御を行い、撮影レンズ系１２のフォーカス位置制御やズーム位置制御を行う。

図３は、図２に示す撮像素子１００の表面模式図である。本実施形態の固体撮像素子１００は、半導体基板の表面部に、複数のフォトダイオード（光電変換素子：画素）３３が二次元アレイ状に配列形成されている。図示する例では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして形成された所謂ハニカム画素配列となっており、各画素の受光面面積が正方画素配列の場合より広くすることができる。

画素３３で構成される各画素列に沿って垂直電荷転送路（ＶＣＣＤ）３４が形成され、各垂直電荷転送路３４の転送方向端部に沿ってラインメモリ（ＬＭ）３５が形成され、ラインメモリ３５に並列に水平電荷転送路（ＨＣＣＤ）３６が形成され、水平電荷転送路３６の転送方向端部に、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ３７が設けられている。

垂直電荷転送路３４は、半導体基板内に形成された埋め込みチャネルと、半導体基板表面に形成された絶縁膜を介し前記埋め込みチャネル上に積層された一連の多数の転送電極膜とで構成される。

ラインメモリ３５は、垂直電荷転送路３４毎の信号電荷一時蓄積用のバッファ３５ａを備え、例えば特開２００６―１５７６２４号公報に記載されている様に、垂直電荷転送路３４から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路３６に転送するときのタイミングを制御することで、水平方向の画素加算（信号電荷の混合）を行う機能を有する。

図３に示す「Ｒ」「ｒ」「Ｇ」「ｇ」「Ｂ」「ｂ」はカラーフィルタの色（Ｒ，ｒ＝赤、Ｇ，ｇ＝緑、Ｂ，ｂ＝青）を示している。Ｒ，ｒの色の区別はなく、Ｇ，ｇとＢ，ｂも同様である。

本実施形態の固体撮像素子１００では、奇数行の画素行の各々の画素（以下、Ａ群画素ともいう。）にはＲＧＢのカラーフィルタがベイヤ配列され、偶数行の画素行の各々の画素（以下、Ｂ群画素ともいう。）にはｒｇｂのカラーフィルタがベイヤ配列されている。図４は、図３の各画素に積層されたカラーフィルタＲＧＢｒｇｂの配列だけを記載した図である。同一面に平均的に混在して設けられるＡ群画素とＢ群画素は、各画素が１対１に対応して設けられるため、Ａ群画素，Ｂ群画素は同一画素数となる。

図３の垂直転送電極Ｖ１〜Ｖ８のうち読出電極兼用転送電極Ｖ２に読出パルスを印加して…Ｂ□Ｇ□Ｂ□Ｇ□…の信号電荷を垂直電荷転送路３４に読み出し、これを２段分転送してから読出電極兼用転送電極Ｖ４に読出パルス印加すると、上記の□位置にｇ，ｂ，ｇ，…の信号電荷が読み出され、１行分として、…ｂＢｇＧｂＢｇＧ…の信号電荷が並ぶことになる。これをラインメモリ３５まで転送し、上述したように水平電荷転送路への転送タイミングを制御することで、ｂ＋Ｂ，ｇ＋Ｇ，ｂ＋Ｂ，ｇ＋Ｇの同色の２画素加算を行うことが可能となる。

図３に示す各画素３３の上（カラーフィルタの上）には、夫々、マイクロレンズが積層され、また、各画素３３の受光面の上部（カラーフィルタの下）には、遮光膜開口が設けられるが、これらは、図３では図示を省略している。

図５は、各画素毎のマイクロレンズ（円形）４１と遮光膜開口との位置関係を示す図である。Ａ群画素においては、マイクロレンズ４１に対して、遮光膜開口４２ａを、マイクロレンズ中心に対して左側（被写体側から固体撮像素子１００を視た場合）に偏心して設けている。また、Ｂ群画素においては、マイクロレンズ４１に対して、遮光膜開口４２ｂを、マイクロレンズ中心に対して右側に偏心して設けている。

Ａ群画素とＢ群画素とは、図３，図４から分かる通り、画素ピッチが垂直方向，水平方向共に１／２づつずらして設けられているため、同色画素（Ｒとｒ、Ｇとｇ、Ｂとｂ）が斜めに隣接する配置となっている。斜めに最隣接する同色２画素をペア画素とした場合、図６に示す様に、ペア画素の一方の遮光膜開口４２ａは左側に偏心し、他方の遮光膜開口４２ｂは右側に偏心していることになる。

ペア画素を構成する一方の画素と他方の画素とは、マイクロレンズの中心に対して遮光膜開口が互いに逆方向にずれているため、撮影レンズ１２を通して入射してくる同一被写体からの光の入射角が互いに逆方向となる様に制限されることになる。

この結果、固体撮像素子１００を用いて被写体画像を撮影した場合、遮光膜開口４２ａを通して受光されたＡ群画素の撮像画像信号は右眼で被写体を視た画像となり、遮光膜開口４２ｂを通して受光されたＢ群画素の撮像画像信号は左眼で被写体を視た画像となり、図６下段に示す様に、視差が生じることになる。

被写体のうちＡ群画素とＢ群画素で合焦する部分は、同じ位置で合焦状態となりＡ群画素，Ｂ群画素の夫々に結像する。被写体のうち合焦状態とならない部分はＡ群画素（右眼画像）とＢ群画素（左眼画像）で左右にずれた位置にボケ像が作られる。

このボケ像が、合焦距離に対する被写体距離の差に応じて左右のずれ量（視差）として変わってくるため、Ａ群画素の撮像画像とＢ群画素の撮像画像を左右の画像とすることで、立体画像の再生が可能となる。

立体画像を再生する場合、図２の画像信号処理部２３は、Ａ群画素の各々の画素の撮像画像信号を１枚の右眼用撮像画像データとして処理しメモリカード２９に保存すると共に表示部２５に右眼用撮像画像データを表示させ、Ｂ群画素の各々の画素の撮像画像信号を１枚の左眼用撮像画像データとして処理しメモリカード２９に保存すると共に表示部２５に左眼用撮像画像データを表示させ、被写体の立体画像を表示部２５に表示させる。

図７は、固体撮像素子１００により２Ｄ画像を撮影する場合の説明図である。２Ｄ画像を撮像する場合には、Ａ群画素とＢ群画素のペアとなる同色２画素を画素加算して出力する。図７に楕円で示すペア画素を、上述した図３のラインメモリ３５を用いて加算することで、２Ｄの撮像画像データを得ることが可能となる。

立体画像用に生成されたＡ群画素の撮像画像信号とＢ群画素の撮像画像信号は、左右のボケ画像の位置がＡ群とＢ群でずれるため、これを２Ｄ画像として表示すると偽解像が生じる。しかし、実施形態の様に画素加算を行うと、ボケ部分が加算によって合成され、Ａ群，Ｂ群画素の区別のない１枚の２Ｄ画像となるため、高品質な２Ｄ画像を取得することが可能となる。

また、実施形態の固体撮像素子１００では、図３，図４のカラーフィルタ配列をとっているため、画素加算した２Ｄの撮像画像データの色配列はベイヤ配列となり、既存のベイヤ配列用の画像処理技術を利用可能となり、画像処理が容易となる。

図８は、ラインメモリ３５を用いてＡ＋Ｂの画素加算信号（２Ｄ画像信号）を出力するときの信号読出順の説明図である。２Ｄ撮像画像信号を固体撮像素子１００内部で画素加算し出力する場合には、垂直方向に隣接するＡ群画素行１行とＢ群画素行１行をラインメモリ３５を用いて画素加算し、２行（Ａ＋Ｂ）毎に出力する。

そして、図３の画像処理部２３は、（Ａ＋Ｂ）の画素加算信号に対して画像処理を施して２Ｄ画像データを生成し、表示部２５に表示すると共に、メモリカード２９に保存する。

図９は、３Ｄ画像信号を出力するときの信号読出順の説明図である。画素加算せずに、Ａ群画素行，Ｂ群画素行，Ａ群画素行，…と交互に出力し、画像処理部２３は、Ａ群画素の撮像画像信号に対し画像処理して右眼用の画像データを生成し、メモリカード２９に保存すると共に、Ｂ群画素の撮像画像信号に対し画像処理して左眼用の画像データを生成し、メモリ２９に保存する。そして、右眼用と左眼用の画像を表示部２５に立体画像として表示する。

図１０は、３Ｄ画像信号を出力するときの図９とは異なる信号読出順の説明図である。図９では、Ａ群画素行，Ｂ群画素行，Ａ群画素行，…と交互に出力して右眼用の画像データと左眼用の画像データを生成したが、本実施形態では、Ａ群画素を先に全画素行読み出し、次にＢ群画素を全画素行読み出す様にしている。この様にしても、図９と同様に画像処理が容易となる。

図９又は図１０の信号読出順で出力したＡ群画素の撮像画像信号の画素数は、全画素の半数となり、Ｂ群画素の撮像画像信号の画素数も全画素数の半数となる。これに対し、２Ｄ画像生成用に２画素加算した画素数も、全画素数の半数となる。つまり、本実施形態の２Ｄ画像は、３Ｄ画像の画素解像度に対して同じ画素数となるため、解像度を低下させることなく、鮮明な２Ｄ画像を得ることが可能となる。

上述した実施形態では、固体撮像素子１００内で２画素加算する例を説明したが、Ａ群画素の全画素の撮像画像信号を読み出し、Ｂ群画素の全画素の撮像画像信号を読み出し、画像処理部２３で、ペア画素の同色２画素加算を行い、２Ｄ画像データを生成することでも良い。

また、上述した実施形態では、電荷結合素子（ＣＣＤ）を信号読出回路とした固体撮像素子１００を説明したが、信号読出回路がＣＭＯＳ型等のトランジスタ回路を用いた固体撮像素子も適用可能である。信号読出回路がＭＯＳトランジスタ回路の場合、例えば、図９の様な信号読出順のとき、Ａ群画素とＢ群画素で露光時間のタイミング差を殆ど無くすことができるという利点もある。

図１１は、Ａ群画素とＢ群画素の画素配列説明図である。図３，図４で説明した実施形態では、奇数行の画素が偶数行の画素に対して１／２画素ピッチづつずらした画素配列（所謂、ハニカム画素配列）となっているが、画素配列が正方配列であっても良い。

画素配列が正方配列の場合、図１２（ａ）に示す様に、一方の市松位置にくる画素をＡ群画素とし、図１２（ｂ）に示す様に、他方の市松位置にくる画素をＢ群画素として、併せて図１１の画素配列とすることができる。この場合、ペアとなる２画素は、水平方向に隣接するＡ画素Ｂ画素としても、垂直方向に隣接するＡ画素Ｂ画素としても良い。

図１３は、画素配列が正方配列の場合の、別実施形態に係るＡ群画素，Ｂ群画素の画素配列を示す図である。この実施形態では、奇数列の画素をＡ群画素とし、偶数列の画素をＢ群画素としている。

図１４は、図１３の画素配列における３原色カラーフィルタＲＧＢｒｇｂを搭載した画素の説明図である。水平方向にＡ画素とＢ画素が隣接し、水平方向に隣接する同色２画素をペア画素としている。例えば、図１４の左上のＧ画素（図１３のＡ画素）と、水平方向に隣接するｇ画素（図１３のＢ画素）とがペア画素となっており、Ａ画素に左方向に偏心した遮光膜開口４２ａが設けられ、Ｂ画素に右方向に偏心した遮光膜開口４２ｂが設けられる。

図１５は、正方配列におけるＡ群画素とＢ群画素の別実施形態の配列図である。本実施形態では、奇数行の画素をＡ群画素とし、偶数行の画素をＢ群画素としている。

図１６は、図１５の画素配列における３原色カラーフィルタＲＧＢｒｇｂを搭載した画素の説明図である。垂直方向にＡ画素とＢ画素が隣接し、垂直方向に隣接する同色２画素をペア画素としている。例えば、図１６の左上のＧ画素（図１５のＡ画素）と、垂直方向に隣接するｇ画素（図１５のＢ画素）とがペア画素となっており、Ａ画素に左方向に偏心した遮光膜開口４２ａが設けられ、Ｂ画素に右方向に偏心した遮光膜開口４２ｂが設けられる。

図１４，図１６のカラーフィルタ配列及びペア画素配列とすることで、２画素加算した結果の色配列がベイヤ配列となるため、既存のベイヤ配列に対する画像処理技術を適用でき、画像処理が容易になる。

上述した実施形態では、例えば図１４に示す様に、ペア画素の遮光膜開口を互いに左右の反対方向に偏心させることで、ペア画素を瞳分割して視差画像を撮像できる様にしている。しかし、瞳分割を行う場合、遮光膜開口を偏心させなくても実現できる。

例えば、図１７（ａ）に平面図を、図１７（ｂ）に断面図を示すように、ペア画素５１ａ，５１ｂの遮光膜５２の開口５２ａを各画素５１ａ，５１ｂの受光面全面で開口させ、ペア画素５１ａ，５１ｂに対して、長円（楕円）形の１つのマイクロレンズ５３を搭載し、同一被写体からの入射角の異なる入射光がペア画素５１ａ，５１ｂの夫々に入射される様にすればよい。

図１８は、図２に示す立体画像撮像装置１０における撮像処理手順の基本を示すフローチャートである。撮像処理が開始し撮像（各画素の露光）が行われたとき、先ず、ステップＳ１１で、３Ｄモードによる撮像か否かを判定する。

３Ｄモードでの撮像の場合には、ステップＳ１１からステップＳ１２に進み、Ａ群画素の各々の画素の撮像画像信号とＢ群画素の各々の画素の撮像画像信号とを別個に読み出して、上述した様に、Ａ群画素の撮像画像信号により右眼用の画像データを生成すると共にＢ群画素の撮像画像信号により左眼用の画像データを生成する。そして次のステップＳ１３で、右眼用と左眼用の各画像データをメモリカード２９に記録して、この処理を終了する。

ステップＳ１１の判定の結果、３Ｄモードによる撮像で無い場合には、ステップＳ１１からステップＳ１４に進み、Ａ群画素とＢ群画素のペア画素の画素加算信号を用いて２Ｄ画像データを生成し、ステップＳ１３で２Ｄ画像データをメモリカード２９に保存してこの処理を終了する。

ステップＳ１１における３Ｄモードによる撮像か２Ｄモードによる撮像かの判断は、例えば立体画像撮像装置１０のユーザが操作部２２から指示した撮像モードで判断する構成としても良い。

しかし、立体画像の撮影が可能な距離にある被写体であるか否かは、そのときの望遠レンズの倍率とかマクロ撮影の有無とかにより異なるため、熟練したユーザでないと高品質な立体画像を撮影するのは困難である。そこで、３Ｄモードで撮像を行うか否かを自動的に判断するアルゴリズムを立体画像撮像装置に搭載し、非熟練者でも容易に、高品質な３Ｄ画像を撮影できるようにし、高品質な３Ｄ画像を撮影できない場合には高品質な２Ｄ画像を撮影できる様にする。

図１９は、図２に代わる別実施形態の立体画像撮像装置２０の機能ブロック図である。図２に示す立体画像撮像装置１０と基本構成は同じであり、撮影レンズ系１２の内部構成が異なるだけのため、同一部材には同一符号を付してその説明は省略する。本実施形態の撮影レンズ系１２は、焦点距離可変機構部及び焦点距離検出部１２ａと、フォーカス位置可変機構部及びフォーカス位置検出部１２ｂとを備えて構成される。

図１９に示す立体画像撮像装置２０では、これら可変機構＆検出部１２ａ，１２ｂの検出結果に基づき、図２０に示す様に、撮像装置側が３Ｄモードで撮像するか２Ｄモードで撮像するかを自動的に決定する。

図２０において、撮像処理が開始し撮像（各画素の露光）が行われたとき、先ずステップＳ１で焦点距離ｆを検出し、次のステップＳ２でフォーカス位置ｘを検出する。そして、次のステップＳ３で、ＣＰＵ２１は、撮影モード（撮像素子の駆動モード或いは画像処理モード）を３Ｄモードとするか２Ｄモードとするかを決定し、その後に、図１８と同じステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４に進む。

ステップＳ３の処理手順の詳細を、図２１に示す。この実施形態では、焦点距離ｆの大小判断を行う閾値ａと、フォーカス位置ｘの大小判断を行う閾値ｂ，ｃ（ｃ≦ｂ）の３つの閾値を用いて、撮影モードを３Ｄモードとするか２Ｄモードとするかを自動的に決定している。

処理手順がステップＳ３に進んだとき、先ず、ステップＳ３１で、ｆ＜ａであるか否かを判定する。ｆ＜ａのとき、即ち、焦点距離の閾値ａよりも広角撮影となっている場合には、ステップＳ３２に進み、今度はｘ＞ｃであるか否かを判定する。

即ち、フォーカス位置ｘが閾値ｃより遠い場合には、立体画像として視差角をとれない被写体であると判断し、ステップＳ３３に進み、撮影モードを２Ｄモードとして、ステップＳ１１に進む。

ステップＳ３１の判定の結果、ｆ≧ａのとき、即ち、焦点距離ａより望遠撮影の場合には、ステップＳ３４に進み、ｘ＞ｂであるか否かを判定する。フォーカス位置ｘが閾値ｂより大きい場合、即ち、閾値ｂより遠方の場合には、立体画像の撮影が困難なため、ステップＳ３３に進み、撮影モードを２Ｄモードとする。

ステップＳ３４の判定の結果、ｘ≦ｂの場合には、即ち、フォーカス位置ｘが閾値ｂより近い場合には、立体画像を撮影する視差角がとれるため、ステップＳ３５に進み、撮影モードを３Ｄモードとして、ステップＳ１１に進む。

この様に、実施形態によれば、ｃ＜ｂなので、望遠撮影の場合に３Ｄモードでの撮影が行われやすく、広角撮影の場合に２Ｄモードでの撮影が行われ易くなっている。

図２２は、図２０のステップＳ３の別実施形態の詳細処理手順を示すフローチャートである。本実施形態では、ステップＳ３に進んだとき、先ず、ステップＳ３６で絞り値Ｆを検出する。そして、次のステップＳ３７で、視差角θがどの程度とれているかを判定し、視差角θが閾値ｄより小さいとき（判定結果がＮｏ）ステップＳ３３に進んで撮影モードを２Ｄモードに設定し、視差角θが閾値ｄ以上のとき（判定結果がＹｅｓ）ステップＳ３５に進んで撮影モードを３Ｄモードに設定する。

図２３は、ステップＳ３７で行う判定処理における視差角θの求め方を示す図である。絞り値Ｆに対して焦点距離がｆであるため、絞り位置のレンズ開口の大きさＹは、Ｙ＝ｆ×（１／Ｆ）となる。

一方、レンズから被写体までの距離（フォーカス位置）はｘであり、この被写体を絞り位置から見た輻輳角（視差角）をθとすると、Ｙ＝ｘ×ｔａｎθとなる。

両式からＹを消去すると、輻輳角θは
θ＝ｔａｎ^−１〔ｆ×（１／Ｆ）／ｘ〕
として表される。

この視差角θが所定の閾値ｄより小さければ、立体画像の撮影ができないと判断してステップＳ３３で２Ｄモードとし、視差角θが閾値ｄより大きければ、立体画像の撮影が可能と判断してステップＳ３５に進み、３Ｄモードの撮影を行う。

この実施形態では、視差角θの大きさを判断する閾値ｄを１つだけ定めたが、この閾値ｄは、焦点距離ｆの大きさに依存して複数の値ｄ１，ｄ２，…をとり焦点距離ｆに応じて立体画像の撮影に適しているか否かを判断しても良い。

上述した実施形態では、２Ｄモードで撮影を行う場合、画素加算を行っている。この画素加算を行うと、信号量が増えるため感度が高くなり、低照度撮影に有利となる。そこで、撮影シーンが暗くて３Ｄモードではノイズが目立つ場合に、自動的に２Ｄモードに撮影モードを切り換える様にしても良い。この処理手順を図２４に示す。

図２４において、撮像処理が開始し撮像（各画素の露光）が行われたとき、先ずステップＳ４で、露出値Ｅを検出する。そして、次のステップＳ５で、露出値Ｅが閾値Ｔｈより小さいか否かを判定する。Ｅ＜Ｔｈの場合には暗いシーンのためノイズが多くなると判断してステップＳ３３に進み、撮影モードを２Ｄモードに設定し、ステップＳ１１に進む。

ステップＳ５の判定の結果、Ｅ≧Ｔｈの場合には、明るいシーンのためノイズが少ないと判断し、ステップＳ３５に進んで撮影モードを３Ｄモードに設定し、ステップＳ１１に進む。

以上、各実施形態を別々に説明したが、上述した複数の実施形態を併用した実施形態とすることも可能である。例えば、図２４の実施形態におけるステップＳ５を、図２１や図２２のステップ３５の直前に行い、上流の判断ステップで３Ｄモードで撮影を行うと判断しても、暗いシーンの場合には自動的に２Ｄモードで撮影を行う様にする。

以上述べた様に、実施形態による立体撮像装置は、第１画素群と第２画素群とが同一面に混在して形成され、前記第１画素群に属する第１画素と該第１画素に隣接する前記第２画素群に属する第２画素とがペアを構成し、該ペアを構成する前記第１画素及び前記第２画素が瞳分割されて同一被写体からの異なる入射角の光を受光する撮像素子と、
該撮像素子の前段に置かれ前記被写体からの入射光を該撮像素子の受光面に結像させる１系統の撮影レンズ部と、
前記ペアを構成する前記第１画素と前記第２画素の各々の撮像画像信号を別個に処理し、前記第１画素群の各々の前記第１画素の撮像画像信号から右眼用の第１の被写体画像データを生成し、前記第２画素群の各々の前記第２画素の撮像画像信号から左眼用の第２の被写体画像データを生成する３Ｄ画像生成手段と、
前記ペアを構成する前記第１画素と前記第２画素の各撮像画像信号を画素加算して処理し、前記被写体の平面画像を第３の被写体画像データとして生成する２Ｄ画像生成手段と、
前記撮影レンズ部の焦点距離及び前記被写体までのフォーカス位置に応じて、前記３Ｄ画像生成手段に前記右眼用と前記左眼用の前記第１，第２の被写体画像データを生成させ、又は、前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させる撮影モード切替手段と
を備えることを特徴とする。

また、実施形態の立体撮像装置の前記撮影モード切替手段は、閾値より焦点距離が短い広角撮影のとき前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させ、前記閾値より焦点距離が長い望遠撮影のとき前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させることを特徴とする。

また、実施形態の立体画像撮像装置の前記撮影モード切替手段は、フォーカス位置が閾値以遠のとき前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させ、フォーカス位置が前記閾値以遠でないとき前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させることを特徴とする。

また、実施形態の立体画像撮像装置の前記撮影モード切替手段は、絞り値をＦ、フォーカス位置をｘ、焦点距離をｆとしたとき、視差角θを
θ＝ｔａｎ^−１〔ｆ×（１／Ｆ）／ｘ〕
として算出し、閾値ｄに対してｄ≦θのとき前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させ、ｄ＞θのとき前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させることを特徴とする。

また、実施形態の立体画像撮像装置は、前記視差角θを判断する閾値ｄとして、焦点距離ｆの大きさに依存した複数の値をとることを特徴とする。

また、実施形態の立体画像撮像装置は、前記撮影モード切替手段が前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させると判断した場合でも露出値が所定値以下のときは前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させることを特徴とする。

また、実施形態の立体画像撮像装置は、前記２Ｄ画像生成手段が前記第３の被写体画像データを生成する場合には前記ペアを構成する前記第１画素と前記第２画素の各撮像画像信号を画素加算した信号を前記撮像素子から読み出して処理することを特徴とする。

また、実施形態の立体画像撮像装置は、前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させるときは、前記第１画素群と前記第２画素群から交互に画素行毎に信号を読み出すことを特徴とする。

また、実施形態の立体画像撮像装置は、前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させるときは、前記第１画素群の信号を全て読み出した後に前記第２画素群の信号を読み出すことを特徴とする。

また、実施形態の立体画像撮像装置は、前記第１画素群と前記第２画素群の各画素数が同一であることを特徴とする。

また、実施形態の立体画像撮像装置は、前記撮像素子の各画素には、前記画素加算した結果の色配列がベイヤ配列となるカラーフィルタが設けられることを特徴とする。

また、実施形態の立体画像撮像装置は、前記撮像素子の画素配列が奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配列されたことを特徴とする。

また、実施形態の立体画像撮像装置は、前記撮像素子の画素配列が正方格子配列であることを特徴とする。

また、実施形態の立体画像撮像装置は、前記第１画素群にカラーフィルタがベイヤ配列され、前記第２画素群にカラーフィルタがベイヤ配列されることを特徴とする。

また、実施形態の立体画像撮像装置の前記瞳分割は、前記第１画素の遮光膜開口位置と前記第２画素の遮光膜開口の位置を左右にずらすことで行うことを特徴とする。

また、実施形態の立体画像撮像装置の前記瞳分割は、前記ペアとなる前記第１画素及び前記第２画素に共通の１つのマイクロレンズを搭載し該マイクロレンズを通して前記第１画素と前記第２画素の夫々に入射する光の入射角を異ならせることで行うことを特徴とする。

以上述べた実施形態によれば、被写体の撮影条件に応じてカメラ側が自動的に最適な撮影モード（３Ｄ撮影モード又は２Ｄ撮影モード）を選択するため、ユーザが３Ｄ撮影モードで撮影した方がいいのか２Ｄ撮影モードで撮影した方がいいのかの判断を行わなくても、常に、高品質な被写体画像を得ることが可能となる。

本発明に係る立体画像撮像装置は、単眼式であるため低コストで製造可能となり、また、立体画像の撮影に不適切なとき高品質な平面画像の撮影を行うため、使い勝手の良い３Ｄカメラ，ステレオカメラとして有用である。

１０，２０ 立体画像撮像装置
１２ 撮影レンズ
１４ シャッタボタン
２１ ＣＰＵ
２３ 画像処理部
３３，５１ａ，５１ｂ 画素（フォトダイオード）
３４ 垂直電荷転送路（ＶＣＣＤ）
３５ ラインメモリ
３６ 水平電荷転送路（ＨＣＣＤ）
４１，５３ マイクロレンズ
４２ａ，４２ｂ 遮光膜開口
１００ 撮像素子

Claims (16)

1. 第１画素群と第２画素群とが同一面に混在して形成され、前記第１画素群に属する第１画素と該第１画素に隣接する前記第２画素群に属する第２画素とがペアを構成し、該ペアを構成する前記第１画素及び前記第２画素が瞳分割されて同一被写体からの異なる入射角の光を受光する撮像素子と、
   該撮像素子の前段に置かれ前記被写体からの入射光を該撮像素子の受光面に結像させる１系統の撮影レンズ部と、
   前記ペアを構成する前記第１画素と前記第２画素の各々の撮像画像信号を別個に処理し、前記第１画素群の各々の前記第１画素の撮像画像信号から右眼用の第１の被写体画像データを生成し、前記第２画素群の各々の前記第２画素の撮像画像信号から左眼用の第２の被写体画像データを生成する３Ｄ画像生成手段と、
   前記ペアを構成する前記第１画素と前記第２画素の各撮像画像信号を画素加算して処理し、前記被写体の平面画像を第３の被写体画像データとして生成する２Ｄ画像生成手段と、
   前記撮影レンズ部の焦点距離及び前記被写体までのフォーカス位置に応じて、前記３Ｄ画像生成手段に前記右眼用と前記左眼用の前記第１，第２の被写体画像データを生成させ、又は、前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させる撮影モード切替手段と
   を備える立体画像撮像装置。
2. 請求項１に記載の立体画像撮像装置であって、前記撮影モード切替手段は、閾値より焦点距離が短い広角撮影のとき前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させ、前記閾値より焦点距離が長い望遠撮影のとき前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させる立体画像撮像装置。
3. 請求項１又は請求項２に記載の立体画像撮像装置であって、前記撮影モード切替手段は、フォーカス位置が閾値以遠のとき前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させ、フォーカス位置が前記閾値以遠でないとき前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させる立体画像撮像装置。
4. 請求項１乃至請求項３のいずれか１項に記載の立体画像撮像装置であって、前記撮影モード切替手段は、絞り値をＦ、フォーカス位置をｘ、焦点距離をｆとしたとき、視差角θを
   θ＝ｔａｎ^−１〔ｆ×（１／Ｆ）／ｘ〕
   として算出し、閾値ｄに対してｄ≦θのとき前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させ、ｄ＞θのとき前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させる立体画像撮像装置。
5. 請求項４に記載の立体画像撮像装置であって、前記視差角θを判断する閾値ｄとして、焦点距離ｆの大きさに依存した複数の値をとる立体画像撮像装置。
6. 請求項１乃至請求項５のいずれか１項に記載の立体画像撮像装置であって、前記撮影モード切替手段が前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させると判断した場合でも露出値が所定値以下のときは前記２Ｄ画像生成手段に前記第３の被写体画像データを生成させる立体画像撮像装置。
7. 請求項１乃至請求項６のいずれか１項に記載の立体画像撮像装置であって、前記２Ｄ画像生成手段が前記第３の被写体画像データを生成する場合には前記ペアを構成する前記第１画素と前記第２画素の各撮像画像信号を画素加算した信号を前記撮像素子から読み出して処理する立体画像撮像装置。
8. 請求項１乃至請求項７のいずれか１項に記載の立体画像撮像装置であって、前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させるときは、前記第１画素群と前記第２画素群から交互に画素行毎に信号を読み出す立体画像撮像装置。
9. 請求項１乃至請求項７のいずれか１項に記載の立体画像撮像装置であって、前記３Ｄ画像生成手段に前記第１，第２の被写体画像データを生成させるときは、前記第１画素群の信号を全て読み出した後に前記第２画素群の信号を読み出す立体画像撮像装置。
10. 請求項１乃至請求項９のいずれか１項に記載の立体画像撮像装置であって、前記第１画素群と前記第２画素群の各画素数が同一である立体画像撮像装置。
11. 請求項１乃至請求項１０のいずれか１項に記載の立体画像撮像装置であって、前記撮像素子の各画素には、前記画素加算した結果の色配列がベイヤ配列となるカラーフィルタが設けられる立体画像撮像装置。
12. 請求項１乃至請求項１１のいずれか１項に記載の立体画像撮像装置であって、前記撮像素子の画素配列が奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配列された立体画像撮像装置。
13. 請求項１乃至請求項１１のいずれか１項に記載の立体画像撮像装置であって、前記撮像素子の画素配列が正方格子配列である立体画像撮像装置。
14. 請求項１３に記載の立体画像撮像装置であって、前記第１画素群にカラーフィルタがベイヤ配列され、前記第２画素群にカラーフィルタがベイヤ配列される立体画像撮像装置。
15. 請求項１乃至請求項１４のいずれか１項に記載の立体画像撮像装置であって、前記瞳分割は、前記第１画素の遮光膜開口位置と前記第２画素の遮光膜開口の位置を左右にずらすことで行う立体画像撮像装置。
16. 請求項１乃至請求項１４のいずれか１項に記載の立体画像撮像装置であって、前記瞳分割は、前記ペアとなる前記第１画素及び前記第２画素に共通の１つのマイクロレンズを搭載し該マイクロレンズを通して前記第１画素と前記第２画素の夫々に入射する光の入射角を異ならせることで行う立体画像撮像装置。

Images