JP2010118818A - 撮像装置 - Google Patents

Abstract

【課題】光学系を煩雑に制御することなく、解像度の高い画像を生成することができる撮像装置を提供する。
【解決手段】光学系と撮像素子とからなる撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、撮像系は、１個の基準撮像系とＭ−１個の従属撮像系からなり、基準撮像系の撮像素子の撮像面と従属撮像系の撮像素子の撮像面が略同一平面内に配置され、基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、従属撮像系のうちＬ（Ｌは最大値がＭ−１である正の整数）番目の従属撮像系の撮像素子は、撮像素子の１画素の長さをＷとした場合に、平面内において基準撮像系の撮像素子に対して直線と略直交する方向に、Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）の距離に配列されている。
【選択図】図１

Description

本発明は、撮像素子を複数用いた撮像装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の高性能化により多画素化や高精細化が進み、その光学性能を十分に出すためにレンズなどの光学系が大きくなってしまったり、撮像素子そのものが大きくなってしまったりという問題がある。

このような問題を解決するために、画素数の比較的少ない小型で薄い撮像系を複数用いて共通の被写体を撮像し、得られた複数の画像を合成することにより画素数が多く解像度の高い１つの画像を生成する複眼撮像装置が提案されている（例えば、非特許文献１参照）。複眼撮像装置は、左側撮像系と右側撮像系の２組の撮像系を備えており、この２つの撮像系は、同じ被写体を、サンプリング位相を１／２画素ずらして撮像する。そして、得られた２枚の画像を合成することで、それぞれの撮像系で撮像した画像より解像度の高い出力画像を得るものである。

ここでいうサンプリング位相とは、複数の撮像系で被写体を撮像する際、各撮像系の撮像素子が撮像する位置の空間的な位相のことである。図１９を参照して、サンプリング位相について説明する。図１９は、左側撮像系の撮像する領域を格子１２１ａ、１２１ｂで示し、右側撮像系の撮像する領域を格子１２２ａ、１２２ｂ（破線）で示しており、最小の四角形の１つ１つが１つの画素によって撮像される領域を示している。図１９（Ａ）では、２つの撮像系の撮像素子の各画素は撮像する位置がほぼ重なりあっており、サンプリング位相が揃っている。一方、図１９（Ｂ）では、２つの撮像系の撮像素子の各画素が撮像する領域が水平方向、垂直方向共に１／２画素分ずれており、サンプリング位相が水平方向、垂直方向共に１／２画素ずれている。このような複眼撮像装置を用いて解像度の高い画像を生成するには、２つの撮像系のサンプリング位相が揃わないように撮像する必要があるが、撮像素子から被写体までの距離が変化した場合には、２つの撮像系のサンプリング位相が変化してしまい、撮像距離に依ってはサンプリング位相が揃ってしまう現象が発生する。

図２０に、２つの撮像系で被写体を撮像する際に、被写体までの距離が変化した場合のサンプリング位相の変化を説明する模式図を示す。図２０において、撮像素子Ｍは、左側撮像系に相当し、撮像素子Ｎが右側撮像系に相当する。被写体は、点Ｐ０もしくは点Ｐ１にあり、撮像素子Ｍの光軸上、すなわちピンホールＯの光軸上に位置している。被写体がＰ０にある撮像距離Ｈ０の状態から、Ｐ１にある撮像距離Ｈ１の状態に変化した場合、サンプリング位相のシフト量は、ｕ０−ｕ１となり、
ｕ０−ｕ１＝ｆ×Ｂ×（（１／Ｈ０）−（１／Ｈ１）)・・・（１）
と表せる。ここで、ｆは焦点距離、Ｂは基線長である。

例えば、焦点距離ｆを５ｍｍ、基線長Ｂを１２ｍｍ、撮像距離Ｈ０を７００ｍｍ、撮像距離Ｈ１を７２５ｍｍとすると、撮像素子Ｎ上でのシフト量は、（１）式より約３μｍとなる。撮像素子の画素ピッチが６μｍである場合、撮像距離が７００ｍｍから７２５ｍｍに変化することで、サンプリング位相が約１／２画素シフトすることになる。撮像距離７００ｍｍでサンプリング位相が１／２画素ずれた状態にあるとすると、撮像距離が７２５ｍｍに変化した場合、１／２＋１／２＝１となり、１画素分、サンプリング位相がずれている状態になる。これは、１画素分位相がずれるものの、結果として画素が重なることになるため、サンプリング位相が揃ってしまい、結果的に高解像化できなくなることを意味する。
画像電子学会予稿９０−０３−０４（ｐ２３−２８）

この問題を解決するためには、撮像距離に応じて２つの撮像系を制御し、サンプリング位相をずらす必要がある。サンプリング位相をずらす方法として、例えば、輻輳角（２つの撮像系の光軸がなす角度）を変える方法がある。

しかしながら、撮像距離に応じて輻輳角を変化させるためには、撮像装置の構成が複雑になり、大規模な装置構成になってしまうという問題がある。例えば、時速３０ｋｍ／ｈで撮像装置から遠ざかる被写体を撮像する場合において、初期状態において撮像距離１０００ｍｍの位置に被写体がある場合、１秒後に被写体は撮像距離９３３３ｍｍの位置に移動している。この被写体を、焦点距離ｆが５ｍｍ、基線長Ｂが１２ｍｍ、撮像素子の画素ピッチ６μｍの複眼撮像装置で撮像した場合、（１）式より、サンプリング位相が約９画素シフトすることになる。すなわち、１秒間に９回、サンプリング位相が揃ってしまう撮像距離の位置に被写体が存在する瞬間が発生することになる。移動する被写体を常に高解像化して画像を得るには、少なくともサンプリング位相の揃う撮像距離では輻輳角を変化させてサンプリング位相をずらす必要がある。従って、少なくとも１秒間に９回輻輳角を変化させることができる装置構成とする必要があり、装置構成が複雑かつ大規模になってしまうとともに、光学系に対して煩雑な移動制御を行わなければならない。

また、このような問題は、静止している被写体であっても被写体に奥行きがある場合には被写体の一部分しか高解像化できないという問題がある。例えば、焦点距離ｆが５ｍｍ、基線長Ｂが１２ｍｍ、撮像素子の画素ピッチ６μｍの複眼撮像装置で、異なる被写体Ａと被写体Ｂを同時に撮像し、それぞれの撮像距離が７００ｍｍ、７２５ｍｍである場合、被写体Ａが高解像化されるよう、撮像距離７００ｍｍでのサンプリング位相を１／２画素ずれた状態にすると、撮像距離７２５ｍｍにおいては、（１）式よりサンプリング位相は撮像距離７００ｍｍに対し１／２画素シフトするため、１／２＋１／２＝１となり、サンプリング位相が揃ってしまい、被写体Ｂは高解像化できなくなる。したがって、静止している被写体であっても奥行きの異なる位置に存在する異なる被写体Ａ、Ｂの場合は、同時に高解像化することはできない。すなわち、被写体に奥行きがある場合は撮像範囲の一部を高解像化できないという問題がある。

本発明は、このような事情に鑑みてなされたもので、光学系を煩雑に制御することなく、簡単な装置構成で解像度の高い画像を生成することができる撮像装置を提供することを目的とする。

本発明は、光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、前記撮像系は、１個の基準撮像系とＭ−１個の従属撮像系とを有し、前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ−１である正の整数）番目の従属撮像系の撮像素子は、前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）の距離に配列されていることを特徴とする。

本発明は、前記撮像装置であって、Ｎ＝０であることを特徴とする。

本発明は、光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、前記撮像系は、１個の基準撮像系とＭ−１個の従属撮像系とを有し、前記従属撮像系のうち少なくとも１個の従属撮像系の光学系は光軸を制御する光軸制御部を備え、前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ−１である正の整数）番目の従属撮像系の撮像素子は、前記光軸制御部で光軸を制御することで、実質的に前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）の距離に配列されていることを特徴とする。

本発明は、前記従属撮像系のうち少なくとも１個の従属撮像系の光学系は光軸を制御する光軸制御部を備える前記撮像装置であって、Ｎ＝０であることを特徴とする撮像装置。

本発明は、前記１個の従属撮像系と前記１個の基準撮像系との配列方向は、該従属撮像系とは異なる１個の従属撮像系と該基準撮像系との配列方向に、略直交して配置されていることを特徴とする。

本発明は、前記基準撮像系は、前記光軸制御部と略同一の光学距離を有する光学部材を備えることを特徴とする。

本発明は、前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。

本発明は、前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。

本発明は、前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。

本発明は、前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。

本発明は、前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする。

本発明によれば、撮像系を複数用いて共通の被写体を撮像し、得られた複数の画像を合成することにより画素数が多く解像度の高い画像を生成する複眼の撮像装置において、光学系を煩雑に制御することなく、解像度の高い画像を生成することが可能になるという効果が得られる。

初めに、本発明の理解を深めるため、図２０を参照して２つの撮像系のサンプリング位相の変化について説明する。図２０は、２つの撮像系で被写体を撮像する際に、被写体までの距離が変化した場合のサンプリング位相の変化を説明する模式図である。図２０に示すように、光学系（図示せず）と撮像素子Ｍを有する第１の撮像系と、光学系（図示せず）と撮像素子Ｎを有する第２の撮像系を有するそれぞれの撮像系は、光軸が撮像素子の中心を通る構成になっている。

被写体がＰ０にある撮像距離Ｈ０の状態から、Ｐ１にある撮像距離Ｈ１の状態に変化した場合、２つの撮像系のサンプリング位相のシフト量は、ｕ０−ｕ１となり、前述した（１）式で表せる。したがって、撮像距離が変化したときのサンプリング位相のシフト量は、焦点距離ｆ、基線長Ｂ、撮像距離Ｈ０、Ｈ１に依存する。そこで、本発明では、複数の撮像系の基線長Ｂを小さくすることにより、撮像距離が変化したときのサンプリング位相のシフト量を小さくし、撮像距離に対応させてサンプリング位相を制御することなく高解像化できる構成とする。

なお、基線長Ｂとは、通常２つの撮像系の光軸間の距離であるが、本発明においては、図１８に示すように、同一平面内に配置され、画素の配列方向が水平方向、垂直方向になるよう配置された２つの撮像素子の中心間距離（直線距離）を基線長Ｂとし、その水平成分の距離を基線長ＢＨ、その垂直成分の距離を基線長ＢＶとする。ただし、本発明を説明する上で便宜的に撮像素子の画素配列が水平方向と垂直方向になるよう配置された場合について述べるが、各撮像素子が略同一平面内の略直線上に配置され、その直線と各撮像素子の画素配列方向が略一致していればよい。

＜第一の実施形態＞
以下、本発明の第一の実施形態による撮像装置を図面を参照して説明する。図１は同実施形態の構成を示す図である。図１は、本実施形態における撮像装置内に備えられる３つの撮像系の配置を示す図である。図１に示す３つの撮像系１１、１２、１３は、それぞれレンズ等で構成する光学系（図示せず）と２次元アレイの撮像素子とを有し、図１においては、撮像素子のみを図示している。各撮像系１１、１２、１３が備える撮像素子の画素のそれぞれは、略正方形である。ここでは、１つの撮像素子が５×５の２次元アレイであるものとして説明するが、実際の撮像装置には、例えば画素数が６４０（水平）×４８０（垂直）の２次元アレイの撮像素子等が用いられる。

図１に示す撮像系１１（これを基準撮像系という）と撮像系１２（これを従属撮像系という）はほぼ水平になるように並べて配置されており、撮像素子の中心はこれら２つの撮像系１１、１２の配置されている方向、すなわち、水平方向に対し直交する垂直方向に１／２画素分ずれており、垂直方向の基線長ＢＶが１／２画素となっている。また、撮像系１１と撮像系１３（これを従属撮像系という）はほぼ垂直になるように並べて配置されており、その撮像素子の中心はこれら２つの撮像系の配置されている方向、すなわち垂直方向に対し垂直な水平方向に１／２画素分ずれており、水平方向の基線長ＢＨが１／２画素となっている。この構成で、例えば、撮像系１１と撮像系１３の２つの撮像系から得られる画像を用いて高解像化する場合、撮像距離が変化しても水平方向の基線長ＢＨが小さいため、水平方向のサンプリング位相のシフト量は小さく、撮像距離に依存せずに水平方向のサンプリング位相のずれ量はほぼ一定の値とすることができる。

図２に、撮像距離の変化に伴い、ほぼ垂直に配置された撮像系１１と撮像系１３のサンプリング位相がずれる様子を示す。図２は、（Ａ）、（Ｂ）、（Ｃ）の順で撮像距離が長くなった場合のサンプリング位相の様子を示している。図２に示すように、撮像距離の変化に伴い、垂直方向のサンプリング位相は徐々にシフトする。一方、水平方向のサンプリング位相は、撮像距離に依らず１／２画素ずれている状態を保っている。例えば、撮像素子の画素ピッチを６μｍとし、焦点距離ｆを５ｍｍ、基線長ＢＨを３μｍ、撮像距離Ｈ０を５００ｍｍとした場合に、撮像距離がＨ１に変化したときの水平方向のサンプリング位相のシフト量ｕ０−ｕ１は（１）式より求めることができる。図３は、撮像素子の画素ピッチを６μｍとし、焦点距離ｆを５ｍｍ、基線長ＢＨを３μｍ、撮像距離Ｈ０を５００ｍｍとした場合に、撮像距離がＨ１に変化したときの水平方向のサンプリング位相のシフト量ｕ０−ｕ１を（１）式を用いて計算によって求めた結果を示す図である。図３に示すように、シフト量ｕ０−ｕ１は、撮像距離に依らずほぼ０となる。

従って、予め基線長ＢＨを撮像素子１／２画素分の長さにし、２つの撮像系のサンプリング位相のずれを１／２画素としておけば、撮像距離が変化しても撮像系１１と撮像系１３の水平方向のサンプリング位相のずれはほぼ１／２画素とすることができる。また、基線長ＢＨは１／２画素分の長さに限らず、（２）式で表されるように、３／２画素分、５／２画素分、７／２画素分、９／２画素分とすることで、撮像距離が変化しても水平方向のサンプリング位相のシフト量はほぼ０とすることができる。
ＢＨ＝（撮像素子１画素の長さ）×（２Ｎ＋１）／２・・・（２）
ここで、Ｎは、０を含む自然数であり、小さい値であることが望ましい。

例えば、撮像素子の画素ピッチを６μｍ、焦点距離ｆを５ｍｍ、撮像距離Ｈ０を５００ｍｍとし、基線長ＢＨを２１μｍとした場合、すなわち基線長ＢＨが７／２画素分の長さのとき、無限遠でのサンプリング位相のシフト量は、（２）式より０．０３５画素と計算でき、撮像距離Ｈ０でのサンプリング位相のずれを１／２画素とすると、無限遠でもほぼ１／２画素となる。したがって、基線長ＢＨを（２）式の状態にすれば、撮像距離が変化してもサンプリング位相がほぼ１／２画素ずれた状態が維持され、煩雑な制御を行う装置がなくても高解像化することができる。

前述した説明においては、ほぼ垂直に配置された２つの撮像系１１、１３による水平方向の高解像化について説明したが、垂直方向の高解像化も同様に、ほぼ水平に配置された２つの撮像系１１、１２の垂直方向の基線長ＢＶが（３）式で表せる長さになるよう２つの撮像系を配置すればよい。
ＢＶ＝（撮像素子１画素の長さ）×（２Ｎ＋１）／２・・・（３）
ここで、Ｎは０を含む自然数であり、小さい値であることが望ましい。

このように、図１に示す撮像系１１を基準撮像系とし、水平方向の左右いずれかに撮像系１２を、垂直方向の上下いずれかに撮像系１３を高解像化できる条件（（２）式または（３）式）を満たすように配置すれば、３つの撮像系１１、１２、１３の構成で水平方向、垂直方向ともに高解像化することができる。

次に、図１に示す３つの撮像系１１、１２、１３を用いて得られた３つの撮像画像から高解像化した画像を合成する処理について説明する。ここでは、基準撮像系である撮像系１１の画像を基準画像とし、３つの撮像系１１、１２、１３は、それぞれ５×５画素の撮像素子を使用しているものとし、これらの３つの撮像系１１、１２、１３によって得られた画像を合成して１０画素×１０画素＝１００画素の画像を生成するものとして説明する。各撮像素子の画素数が増加した場合であっても同様な処理によって高解像度化した画像を合成することができる。まず、基準画像の垂直方向に並ぶ画素の間に、垂直方向へ１／２画素ずれている撮像系１２の画像の画素を埋め込む。また、基準画像の水平方向に並ぶ画素の間に、水平方向へ１／２画素ずれている撮像系１３の画像の画素を埋め込む。このままでは、７５画素分の画像になるだけであるので、残りの２５画素分は、撮像系１１によって得られた基準画像に対して、撮像系１２と撮像系１３によって得られた画像の画素を埋め込んだ状態において、周囲の画素値から補完することによって画素値を求め、求めた画素値の画素を埋め込むことによって、高解像度化した画像を生成する。この画像合成処理は、一例であり、公知の画像合成処理を適用することが可能である。

＜第二の実施形態＞
次に、本発明の第二の実施形態について説明する。第一の実施形態では、撮像装置において、ほぼ垂直に配置された２つの撮像系の水平方向のサンプリング位相を１／２画素ずらすことで水平方向を高解像化し、ほぼ水平に配置された２つの撮像系の垂直方向のサンプリング位相を１／２画素ずらすことで垂直方向を高解像化する構成について説明したが、配置する撮像系の数は３つ以上であってもよい。

２つの撮像系で高解像化する場合、サンプリング位相を１／２画素ずらした状態が高解像化に最適であるが、３つ以上の撮像系において高解像化する場合は、一方向に配置する撮像系の数をＭ個とすると、サンプリング位相を１／Ｍ画素ずつずらした状態が高解像化に最適である。例えば、図４に示すように、３つの撮像系５１、５２、５３を垂直に配置する構成においては、撮像系５１を基準撮像系とし、他の２つの従属撮像系である撮像系５２、５３のサンプリング位相をそれぞれ水平方向に１／３画素、２／３画素シフトした状態が高解像化に最も適している。

ほぼ垂直に配置されたＭ個の撮像系で高解像化する場合、Ｍ個の撮像系の中の１つの撮像系を基準撮像系とし、その基準撮像系に対し、他のＭ−１個の従属撮像系のＬ番目の従属撮像系の水平方向の基線長ＢＨが（４）式を満たせばよい。
ＢＨ＝（撮像素子１画素の長さ）×（（Ｌ／Ｍ）＋Ｎ）・・・（４）
ここで、Ｌは、最大値がＭ−１である正の整数、Ｎは０を含む自然数である。このとき、Ｎは小さい値である方が望ましい。

同様に、垂直方向を高解像化するには、ほぼ水平に配置されたＭ個の撮像系の中の１つの撮像系を基準撮像系とし、他のＭ−１個の従属撮像系のＬ番目の従属撮像系の垂直方向の基線長ＢＶが（５）式を満たせばよい。
ＢＶ ＝（撮像素子１画素の長さ）×（（Ｌ／Ｍ）＋Ｎ）・・・（５）
ここで、Ｌは、最大値がＭ−１である正の整数、Ｎは０を含む自然数である。このとき、Ｎは小さい値である方が望ましい。

次に、図５〜図７に５個の撮像系を用いて、垂直方向に３個（Ｍ＝３）、水平方向に３個（Ｍ＝３）配置する構成によって高解像化する配置例を示す。図５は、撮像系６１ａを基準撮像系として１番目の従属撮像系６２ａと２番目の従属撮像系６３ａが垂直方向に、１番目の従属撮像系６４ａ、２番目の従属撮像系６５ａが水平方向に配置された例を示している。そして、基準撮像系６１ａに対する従属撮像系６２ａ、６３ａの水平方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。同様に、基準撮像系６１ａに対する従属撮像系６４ａ、６５ａの垂直方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。

図６は、撮像系６１ｂを基準撮像系として従属撮像系である撮像系６２ｂ、６３ｂが垂直方向に、撮像系６２ｂを基準撮像系として従属撮像系である撮像系６４ｂ、６５ｂが水平方向に配置された例を示している。そして、基準撮像系６１ｂに対する従属撮像系６２ｂ、６３ｂの水平方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。同様に、基準撮像系６２ｂに対する従属撮像系６４ｂ、６５ｂの垂直方向の基線長ＢＶはそれぞれ１／３画素、２／３画素となっている。

図７は、撮像系６１ｃを基準撮像系として従属撮像系である撮像系６４ｃ、６３ｃが垂直方向に、撮像系６２ｃを基準撮像系として従属撮像系である撮像系６４ｃ、６５ｃが水平方向に配置された例を示している。そして、基準撮像系６１ｃに対する従属撮像系６４ｃ、６３ｃの水平方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。同様に、基準撮像系６２ｃに対する従属撮像系６４ｃ、６５ｃの垂直方向の基線長ＢＶはそれぞれ１／３画素、２／３画素となっている。

次に、図８〜図１０に７個の撮像系を用いて、垂直方向に４個（Ｍ＝４）、水平方向に４個（Ｍ＝４）配置する構成で高解像化する配置例を示す。図８は、撮像系７４ａを基準撮像系として従属撮像系７５ａ、７６ａ、７７ａが垂直方向に、撮像系７４ａを基準撮像系として従属撮像系７１ａ、７２ａ、７３ａが水平方向に配置された例を示している。そして、基準撮像系７４ａに対する従属撮像系７５ａ、７６ａ、７７ａの水平方向の基線長ＢＨはそれぞれ１／４画素、２／４画素、３／４画素となっている。同様に、基準撮像系７４ａに対する従属撮像系７１ａ、７２ａ、７３ａの垂直方向の基線長ＢＶはそれぞれ１／４画素、２／４画素、３／４画素となっている。

図９は、撮像系７５ｂを基準撮像系として従属撮像系７３ｂ、７６ｂ、７７ｂが垂直方向に、撮像系７１ｂを基準撮像系として従属撮像系７２ｂ、７３ｂ、７４ｂが水平方向に配置された例を示している。そして、基準撮像系７５ｂに対する従属撮像系７３ｂ、７６ｂ、７７ｂの水平方向の基線長ＢＨはそれぞれ１／４画素、２／４画素、３／４画素となっている。同様に、基準撮像系７１ｂに対する従属撮像系７２ｂ、７３ｂ、７４ｂの垂直方向の基線長ＢＶはそれぞれ１／４画素、２／４画素、３／４画素となっている。

図１０は、撮像系７１ｃを基準撮像系として従属撮像系７２ｃ、７３ｃ、７４ｃが垂直方向に、撮像系７３ｃを基準撮像系として従属撮像系７５ｃ、７６ｃ、７７ｃが水平方向に配置された例を示している。そして、基準撮像系７１ｃに対する従属撮像系７２ｃ、７３ｃ、７４ｃの水平方向の基線長ＢＨはそれぞれ１／４画素、２／４画素、３／４画素となっている。同様に、基準撮像系７３ｃに対する従属撮像系７５ｃ、７６ｃ、７７ｃの垂直方向の基線長ＢＶはそれぞれ１／４画素、２／４画素、３／４画素となっている。

なお、垂直方向及び水平方向に５個以上撮像系を配置する場合も同様である。また、水平方向に配置する撮像系の個数と垂直方向に配置する撮像系の個数が異なる構成であってもよい。図１１に示すように、垂直方向に４個、水平方向に３個の撮像系を配置する場合は、垂直方向に配置された４個の撮像系８１、８２、８３、８４の水平方向のサンプリング位相を１／４画素ずつずらし、水平方向に配置された３個の撮像系８４、８５、８６の垂直方向のサンプリング位相を１／３画素ずつずらす構成にすればよい。

また、高解像度化画像の合成処理は、第一の実施形態で説明した処理を同様であり、基準画像の垂直方向に並ぶ画素の間に、垂直方向へ１／Ｍ画素ずつずれている撮像系の複数の画像の画素をそれぞれ埋め込む。また、基準画像の水平方向に並ぶ画素の間に、水平方向へ１／Ｍ画素ずつずれている撮像系の複数の画像の画素をそれぞれ埋め込む。そして、残りの画素は、周囲の画素値から補完することによって画素値を求め、求めた画素値の画素を埋め込むことによって、高解像度化した画像を生成する。この場合においても公知の画像合成処理を適用することが可能である。

＜第三の実施形態＞
次に、本発明の第三の実施形態について説明する。撮像装置において、撮像系を、第一、第二の実施形態において説明した配置にすることで、光学系を煩雑に制御することなく、常に高解像化できるサンプリング位相で撮像することができるが、それぞれの撮像系に光軸を制御する光軸制御部を備え、その光軸制御部によって各撮像系の光軸を調整することで、実質的に（２）式、（３）式、（４）式、（５）式で表させる条件を満たすようにして、高解像化できるサンプリング位相に制御するようにしてもよい。例えば、図１２に示すように水平に配置された２つの撮像系２０１と２０２の垂直方向の基線長ＢＶは０であるが、光軸制御部で撮像系２０２の光軸２０４を垂直方向に１／２画素分シフトすると、見かけ上、基線長ＢＶが１／２画素となり、高解像化できるサンプリング位相となる。このように、本実施形態では、各撮像系の光軸を光軸制御部で調整し、各撮像系を、実質的に（２）式、（３）式、（４）式、（５）式で表される条件を満たすようにすることで、常に高解像化できるサンプリング位相で撮像することが可能となる。

光軸制御部として、液晶レンズを用いることができる。図１３に液晶レンズ９０１の構成を示す。図１３（Ａ）は、液晶レンズ９０１の側面図であり、図１３（Ｂ）は、図１３（Ａ）示す液晶レンズ９０１の正面図である。液晶レンズ９０１はガラス基板９０２、電極９０３、液晶層９０４、電極９０５、ガラス基板９０６が積層した構造になっている。電極９０３は図１３（Ｂ）に示すように、５つの電極９０３ａ、９０３ｂ、９０３ｃ、９０３ｄ、９０３ｅに分割されている。液晶レンズ９０１の電極９０３と電極９０５に電圧を印加することにより、２つの電極９０３、９０５間に電界が生じる。そして、この電界の方向に液晶層９０４の液晶分子が配向する。その結果、液晶層９０４内に屈折率分布が生じ、レンズとして機能させることが可能となる。

本実施形態では、５つに分割された電極９０３のそれぞれの電極に異なる電圧を印加することにより、液晶層９０４内に屈折率分布を生じさせ、液晶層９０４に入射する光を偏向させることで光軸をシフトさせ、各撮像系を見かけ上、（２）式、（３）式、（４）式、（５）式で表される条件を満たすように制御することにより高解像化することができる。

なお、光軸制御部は基準撮像系に対する光軸調整をするため、従属撮像系に備えていればよく、基準撮像系には備えてなくてもよい。また、基準撮像系に光軸制御部がない場合、被写体との光学距離が従属撮像系とは若干異なってしまうため、従属撮像系における光軸制御部とほぼ同一の光学距離を有する光学部材、例えばガラスなどを基準撮像系に用いることで、同一平面内で撮像系を配置することが可能となり、配置が容易となる。

＜第四の実施形態＞
第三の実施形態では、光軸制御部として液晶レンズを用いる場合について説明したが、光軸制御部として、他の方法を用いてもよい。図１４は、図１３に示す液晶レンズ９０３に替えて、入射面と出射面が平行であるような屈折板１０３を固体レンズ１０２と撮像素子１０の間に配置し、圧電素子を用いたアクチュエータなどの傾斜手段によって屈折板１０３を傾斜させることにより光軸を制御する構成を示す図である。図１４に示すように傾斜角度により屈折板１０３による光軸シフト量が変化するため、撮像素子１０に入射する位置が変わり、光軸シフトが可能となる。ただし、屈折板１０３を傾斜することにより発生することによる光軸シフトの方向は１軸方向（図中では垂直方向）のみであるため、水平方向に光軸シフトするような屈折板を別に配置することにより、２軸方向の光軸シフトが可能となり、撮像素子面内の任意の方向に光軸シフトをすることが可能となる。

図１５は、可変頂角プリズム１０４と固体レンズ１０５を用いることによって光軸を制御する構成を示す図である。図１５に示すように、可変頂角プリズム１０４の頂角を圧電素子を用いたアクチュエータなどの手段により変化させることにより、入射光が偏向するため、固体レンズ１０５によって結像する撮像素子１０上の位置が変わり、光軸をシフトすることが可能となる。ただしこの場合も光軸シフトの方向は図１５に示す通り１軸方向（図中では垂直方向）のみであるため、水平方向に光軸シフトするような可変頂角プリズムを、別に配置することにより、任意の方向に光軸シフトすることが可能となる。

図１６は、固体レンズ１０６、１０７、１０８の全体或いは一部を、圧電素子を用いたアクチュエータなどによる移動手段により光軸と略垂直方向に移動させることによって光軸を制御する構成を示す図である。図１６において、光学系は、３つの固体レンズ１０６、１０７、１０８で構成されており、その一部分である固体レンズ１０７を、垂直方向に移動可能な圧電素子を用いたアクチュエータによる移動手段と、水平方向に移動可能な圧電素子を用いたアクチュエータによる移動手段によって移動させるものである。図１６に示すように、固体レンズ１０７が移動することにより、入射光が偏向し、結像する撮像素子１０上の位置が変わり、光軸をシフトすることが可能となる。これを垂直、水平方向に行うことにより、光軸を撮像素子面上で垂直、水平方向に独立してシフトすることが可能となる。

図１７は、圧電素子を用いたアクチュエータなどによる移動手段により撮像素子１０を直接移動させるものである。この場合、光軸シフト量の制御は光学系１０９を用いるのではなく、撮像素子１０に対して行う。図１７に示すように、撮像素子１０を、垂直方向に移動する圧電素子を用いたアクチュエータによる移動手段と、水平方向に移動する圧電素子を用いたアクチュエータによる移動手段により移動させることにより、撮像素子１０上の結像位置が移動するため、垂直、水平方向に独立して光軸シフトを行うことが可能となる。

なお、前述した説明においては、光学系の移動手段と撮像素子の移動手段として圧電素子をアクチュエータとして用いているが、これに限定するものではなく、電磁力を用いたソレノイドアクチュエータ、モータとギア機構を用いたアクチュエータ、圧力を用いたアクチュエータなどの手段を用いることもできる。光軸シフト方向についても、垂直方向、水平方向について述べたが、これに限定するものではない。

図１４〜図１６に示す光軸制御部によって、各撮像系に入射する光を偏向させることで光軸をシフトさせ、各撮像系を見かけ上、（２）式、（３）式、（４）式、（５）式で表される条件を満たすように制御する。また、図１７に示す光軸制御部によって、撮像素子１０を移動することにより、光軸シフトと同様の効果を得ることができる。

以上説明したように、複数の撮像系を略垂直方向と略水平方向の直線上に配列し、各撮像系を該配列方向に対し垂直な方向に高解像化できる条件式（（２）式、（３）式、（４）式、（５）式）を満たす距離に配列するようにしたため、光学系を煩雑に制御することなく配列した直線方向に対し垂直な方向に対して高解像化することができる。また、光軸の方向を静的に移動する光軸制御部を設け、この光軸制御部によって各撮像系に入射する光を偏向させることで光軸をシフトさせ、各撮像系を見かけ上、高解像化できる条件式（（２）式、（３）式、（４）式、（５）式）を満たすように制御するようにしたため、光学系を煩雑に制御することなく高解像化することができる。

本発明の第一の実施形態における撮像系の配置を示す図である。 撮像距離の変化に伴うサンプリング位相のずれを示す説明図である。 基線長ＢＨ＝３μｍ、画素ピッチ６μｍ、焦点距離５ｍｍ、撮像距離５００ｍｍの場合において、撮像距離が変化したときの水平方向のサンプリング位相のシフト量を示す図である。 本発明の第二の実施形態における撮像系の配置を示す図である。 ５個の撮像系を、垂直方向に３個、水平方向に３個配置する配置例を示す図である。 ５個の撮像系を、垂直方向に３個、水平方向に３個配置する配置例を示す図である。 ５個の撮像系を、垂直方向に３個、水平方向に３個配置する配置例を示す図である。 ７個の撮像系を、垂直方向に４個、水平方向に４個配置する配置例を示す図である。 ７個の撮像系を、垂直方向に４個、水平方向に４個配置する配置例を示す図である。 ７個の撮像系を、垂直方向に４個、水平方向に４個配置する配置例を示す図である。 垂直方向に配置する撮像系の数と、水平方向に配置する撮像系の数が異なる場合の配置例を示す図である。 光軸制御部によって各撮像系の光軸を調整した状態を示す説明図である。 液晶レンズの構成例を示す図である。 光軸制御部による光軸シフトの原理を示す図である。 光軸制御部による光軸シフトの原理を示す図である。 光軸制御部による光軸シフトの原理を示す図である。 光軸制御部による光軸シフトの原理を示す図である。 本発明における基線長の分解の定義を示す図である。 従来技術による２つの撮像系の撮像領域を示す図である。 ２つの撮像系で被写体を撮像する場合において、撮像距離の変化に伴うサンプリング位相のシフトを示す図である。

符号の説明

１１〜１３、５１〜５３、６１ａ〜６５ａ、６１ｂ〜６５ｂ、６１ｃ〜６５ｃ、７１ａ〜７７ａ、７１ｂ〜７７ｂ、７１ｃ〜７７ｃ、８１〜８６・・・撮像系、９０１・・・液晶レンズ、９０２、９０６・・・ガラス基板、９０３、９０５・・・電極、９０４・・・液晶層、１０・・・撮像素子

Claims (11)

1. 光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、
   前記撮像系は、１個の基準撮像系とＭ−１個の従属撮像系とを有し、
   前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、
   前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、
   前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ−１である正の整数）番目の従属撮像系の撮像素子は、前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、
   Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）
   の距離に配列されていることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、Ｎ＝０であることを特徴とする撮像装置。
3. 光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、
   前記撮像系は、１個の基準撮像系とＭ−１個の従属撮像系とを有し、
   前記従属撮像系のうち少なくとも１個の従属撮像系の光学系は光軸を制御する光軸制御部を備え、
   前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、
   前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、
   前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ−１である正の整数）番目の従属撮像系の撮像素子は、前記光軸制御部で光軸を制御することで、実質的に前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、
   Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）
   の距離に配列されていることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置であって、Ｎ＝０であることを特徴とする撮像装置。
5. 前記１個の従属撮像系と前記１個の基準撮像系との配列方向は、該従属撮像系とは異なる１個の従属撮像系と該基準撮像系との配列方向に、略直交して配置されていることを特徴とする請求項１または３に記載の撮像装置。
6. 前記基準撮像系は、前記光軸制御部と略同一の光学距離を有する光学部材を備えることを特徴とする請求項３に記載の撮像装置。
7. 前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
8. 前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
9. 前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
10. 前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
11. 前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする請求項３に記載の撮像装置。

Images