JP2019029913A - 撮像装置 - Google Patents

Abstract

【課題】複数枚の撮影画像から高解像度な再構成画像を取得する撮像装置において、静止画のみならず動きがある被写体や動画に対応可能な技術を提供する。
【解決手段】撮像装置は、２次元的に配列される複数の撮像光学系と、前記複数の撮像光学系にそれぞれ対応する複数の撮像領域を有する撮像素子と、を備え、前記複数の撮像光学系の少なくとも一部は、他の撮像光学系とは異なる偏心量で配置されている、ことを特徴とする。
【選択図】図１

Description

本発明は、撮像装置に関し、詳細には、画素ずらしにより解像度を向上させる技術に関する。

撮像素子の解像度を向上させる超解像手法には「画素ずらし」と呼ばれる周知の技術がある。画素ずらしは、撮像素子を所定方向にサブ画素ずらした複数枚の画像を時系列に撮影し、撮影した複数枚の画像から、多画素で高解像度な画像を生成する方法である。

特許文献１には、画素ずらしによる疑似高解像度化を行うカラー撮像装置において、各波長域に応じてずらし量を最適化させた撮像装置が開示されている。複数の光学系のそれぞれの光軸上に、互いに異なる波長の光を透過する色フィルターと平行平板状の透明部材とを配置し、透明部材の光軸に対する傾斜角度を色フィルターの透過波長域に応じて互いに異ならせて画素ずらしを行っている。

特許文献２には、基板上に作製された複数の撮像装置を用いた画像を撮像する撮像装置が開示されている。基板の第１の位置上に形成される第１の撮像装置と、基板の第２の位置上に形成される第２の撮像装置とを少なくとも含み、第２の撮像装置は第１の撮像装置により撮像された画像からサブピクセル位相でシフトされた画像を撮像する。そして、第１の撮像装置および第２の撮像装置からの画像は、高い解像度の画像を得るために、超解像処理を用いて組み合わせられる。

特開２００６−１８６５１２号公報 特表２０１１−５２３５３８号公報

Malvar, Henrique S., Li-wei He, and Ross Cutler. "High-quality linear interpolation for demosaicing of Bayer-patterned color images." Acoustics, Speech, and Signal Processing, 2004. Proceedings.(ICASSP'04). IEEE International Conference on. Vol. 3. IEEE, 2004.

しかしながら、特許文献１では、各波長領域のずらし量を揃えるものであり、ベイヤー配列の撮像素子の場合、各波長領域の画素に対して不均等な疑似高解像度化が行われてしまい、高画質な画像を得ることができない問題があった。例えば、図１５（Ａ）に示したＲＧＧＢのベイヤー配列で疑似高解像度化した場合を例に示す。各画素の配置を図１５（Ｂ）に見立てて、水平方向・垂直方向に１／２画素分、斜め方向に√２／２画素分のシフトを与えて画素ずらしをした場合、次のような問題が生じていた。すなわち、図１５（Ｃ）に示したように同じ波長領域の画素が密集した不均等な疑似高解像度化が実施され、高画質な画像を得ることができないものであった。また、水平方向、垂直方向、斜め方向へ画素ずらしを行う際には時系列に平行平板状の透明部材の角度を設定する必要があり、動きがある被写体や、動画に対応できないものであった。

特許文献２では、基板上の異なる位置に配置された第１の撮像装置と第２の撮像装置と
に視差を与えることにより撮影画像にサブピクセルのオフセットを与えるものであり、各撮像光学系を撮像素子の画素周期に対して位相差を与えるものではない。特許文献２の撮像装置は視差が大きいため、撮影距離に応じて各撮像装置における各画素の配列が変化してしまう問題が生じる。撮像素子の有効領域内に写る被写体が同じ距離にあるとは限らない。そのため、超解像処理を実施するためには、まず各撮像装置の各画素における視差を検出し、次に各画素の視差に基づいて画素を再配列する必要があった。各画素の視差を検出することは非常に計算量が多く、計算時間もかかり、また正確性も低く、高解像度画像を生成することが困難な点が問題となっていた。

そこで本発明では、複数枚の撮影画像から高解像度な再構成画像を取得する撮像装置において、動きがある被写体や動画に対応可能な技術を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る撮像装置は、
２次元的に配列される複数の撮像光学系と、
前記複数の撮像光学系にそれぞれ対応する複数の撮像領域を有する撮像素子と、
を備え、
前記複数の撮像光学系の少なくとも一部は、他の撮像光学系とは異なる偏心量で配置されている、
ことを特徴とする。

本発明の効果を用いれば、動きがある被写体や動画であっても、高解像度な画像を取得可能な撮像装置を提供できる。

実施形態１の撮像装置の構成を模式的に示す図。 実施形態１の撮像光学系および撮像素子の断面図。 実施形態１の撮像光学系の偏心と画素の撮像範囲を説明する図。 実施形態１の各画素の撮像範囲（担当画角）と再構成処理を説明する図。 実施形態１の撮像装置と画像処理装置を模式的に示す図。 実施形態１の画像処理装置における画像処理フローのフローチャート。 実施形態１の鮮鋭化フィルターを説明する図。 実施形態２の撮像装置の構成を模式的に示す図。 実施形態２の各画素の撮像範囲と再構成処理を説明する図。 実施形態２の各画素の撮像範囲と再構成処理を説明する図。 実施形態４の撮像装置の構成を模式的に示す図。 実施形態４の各画素の撮像範囲と再構成処理を説明する図。 実施形態５の撮像装置の構成を模式的に示す図。 実施形態５の撮像光学系の偏心および撮像色を説明する図。 実施形態５の各画素の撮像範囲と再構成処理を説明する図。 従来技術における画素ずらしを説明する図。

＜実施形態１＞
［全体構成］
本発明の実施形態１に係る撮像装置について説明する。図１は本実施形態に係る撮像装置を模式的に示す図である。撮像装置１は、複数の撮像光学系が２次元的に配列されたレンズユニット１１とセンサユニット１２を備える。

レンズユニット１１は、複数の撮像光学系から成り、本実施形態では水平方向に３個、垂直方向に３個（以降、３×３と称する）の９個の撮像光学系１１１〜１１９がレンズ基板１１０に一体化されて構成される。このようなレンズユニット１１は、例えば、リソグロフィーのプロセスによって石英基板にレンズ面を直接加工するか、またはレプリカ技術などの成型技術によってレンズ基板上にレンズ面を形成することによって製造できる。

センサユニット１２は、撮像素子１２０の有効部内に撮像光学系１１１〜１１９其々に対応した３×３で２次元的に配列された９個の撮像領域１２１〜１２９がある。其々の撮像領域１２１〜１２９はベイヤー配列のカラーフィルターを有する。そして、其々の撮像光学系１１１〜１１９によって結像された像が撮像領域１２１〜１２９上に形成され、撮像素子１２０によって撮像される。

ここで、撮像光学系１１１と撮像素子１２０上の撮像領域１２１とからなる撮像系を第１の個眼撮像系と称する。同様に、其々の撮像光学系１１２〜１１９とそれに対応した撮像領域１２２〜１２９とからなる撮像系を第２〜第９の個眼撮像系と称する。

［撮像光学系および撮像素子の配置］
図２（Ａ）には本実施形態に係る撮像装置１の水平断面図を示し、図２（Ｂ）には垂直断面図を示す。

図２（Ａ）には、図１に示したレンズユニット１１のうち第４の撮像光学系１１４、第５の撮像光学系１１５、第６の撮像光学系１１６の光軸を含む水平断面を示している。第４の撮像光学系１１４は、レンズ基板１１０の両面に形成された２枚のレンズ１１４１，１１４２で構成された撮像光学系である。第５の撮像光学系も同様に、レンズ基板１１０の両面に形成された２枚のレンズ１１５１，１１５２で構成された撮像光学系である。第６の撮像光学系も同様に、レンズ基板１１０の両面に形成された２枚のレンズ１１６１，１１６２で構成された撮像光学系である。図示しない第１〜３、ならびに第７〜９の撮像光学系も同様の構成である。本実施形態では、各撮像光学系１１１〜１１９に用いた第１のレンズ１１１１〜１１９１同士は同じ形状を有しており、また第２のレンズ１１１２〜１１９２同士も同じ形状を有している。これにより、撮像光学系の最大画角、ディストーション、像面湾曲といった光学特性を揃えて各画素が担当する画角のピッチを揃えることができ、後述する全撮像領域の各画素に別々の画角（撮像担当範囲）を設定し易くなる利点がある。

図２（Ａ）には、図１に示したセンサユニット１２の撮像素子１２０のうち第４の撮像光学系１１４と第５の撮像光学系１１５と第６の撮像光学系１１６とに対応する撮像領域１２４，１２５，１２６を示す。図２（Ａ）では、撮像領域１２４，１２５，１２６中の画素を模式化して表現している。本実施形態では、各撮像領域１２４，１２５，１２６には水平方向に６４０画素、垂直方向に４８０画素を有しているが、図２（Ａ）中では１画素を大きく表現したために、図示されている画素数が実際よりも少ない。

図２（Ｂ）には、図１に示したレンズユニット１１のうち、第２の撮像光学系１１２、第５の撮像光学系１１５、第８の撮像光学系１１８の光軸を含む垂直断面を示している。また、図１に示したセンサユニット１２の撮像素子１２０のうち、第２の撮像光学系１１２と第５の撮像光学系１１５と第８の撮像光学系１１８とに対応する撮像領域１２２，１２５，１２８を示す。図２（Ｂ）中の撮像領域１２２，１２５，１２８も画素を模式化して表現している。

ここで、図２（Ａ）、図２（Ｂ）と図３（Ａ）を用いて、全撮像領域の各画素に別々の画角（撮像担当範囲）を設定する構成について説明する。

第５の撮像光学系１１５は、その光軸１１５３を撮像領域１２５の中央付近にある画素１２５１の中心に配置している。これに対して、第４の撮像光学系は、その光軸１１４３を撮像領域１２４の中心付近にある画素１２４１の中心から偏心量Ｄ_ｓｘ４＝−２／３画素ずらして配置している。また、第６の撮像光学系は、その光軸１１６３を撮像領域１２６の中心付近にある画素１２６１の中心から偏心量Ｄ_ｓｘ６＝＋２／３画素ずらして配置している。本実施形態の撮像素子１２０における画素ピッチはＰ_ｐ＝１.１μｍである。
従って実際の偏心量は、第４の撮像光学系１１４の水平方向の偏心量Ｄ_ｓｘ４＝−０.７
３μｍ、第６の撮像光学系１１６の水平方向の偏心量Ｄ_ｓｘ６＝＋０.７３μｍである。
尚、図２（Ａ）の紙面上側をプラス、下側をマイナスの符号で表現している。

ここで、「偏心」について補足する。撮像光学系の光軸が、当該撮像光学系に対応する撮像領域内の特定の画素（基準画素）の中心と一致するとき、この撮像光学系は偏心していないと表現される。撮像光学系の光軸と基準画素の中心がずれる場合、この撮像光学系は偏心していると表現される。偏心量は、光軸と垂直な平面内で定義され、向きと大きさを持つベクトル量である。また、撮像光学系の光軸を基準画素の中心からずらして配置することを、撮像光学系を偏心させる、あるいは偏心して配置すると表現する。上述の基準画素は、撮像領域内の特定の位置（典型的には中心またはその付近）に位置する画素である。本開示では、２つの撮像光学系のあいだの相対的な偏心量あるいは偏心量の差を扱う場合がある。偏心量の定義から明らかなように、相対的な偏心量あるいは偏心量の差もベクトル量である。
なお、撮像光学系の配置は、撮像素子の画素ピッチに対する位相を用いても特定できる。２つの撮像光学系が同じ位相で配置されているということは、２つの撮像光学系の光軸が対応する基準画素の中心から同じ量だけ離れた状態で配置されていることを意味する。また、２つの撮像光学系の異なる位相で配置されているということは、２つの撮像光学系の光軸が対応する基準画素の中心から異なる量だけ離れた状態で配置されていることを意味する。

本実施形態では、第４の撮像光学系１１４ならびに第６の撮像光学系１１６は、中央に配置した第５の撮像光学系１１５に近づく方向に偏心させている。各撮像光学系は、基準撮像光学系との偏心量が互いに異なれば、効果を十分に発揮することができる。そのため、各撮像光学系は基準撮像光学系に近づく方向に偏心させても、遠ざかる方向に偏心させても良い。

垂直方向においても、第５の撮像光学系１１５は、その光軸１１５３を撮像領域１２５の中央付近にある画素１２５１の中心に配置している。第２の撮像光学系１１２は、その光軸１１２３を撮像領域１２２の中心付近にある画素１２２１の中心から偏心量Ｄ_ｓｙ２＝−２／３画素ずらして配置している。また、第８の撮像光学系は、その光軸１１８３を撮像領域１２８の中心付近にある画素１２８１の中心から偏心量Ｄ_ｓｙ８＝＋２／３画素ずらして配置している。

また、撮像素子１２０における垂直方向の画素ピッチもＰ_ｐ＝１.１μｍである。従っ
て実際の偏心量は、第２の撮像光学系１１２の垂直方向の偏心量Ｄ_ｓｙ２＝−０.７３μ
ｍ、第８の撮像光学系１１８の垂直方向の偏心量Ｄ_ｓｙ８＝＋０.７３μｍである。尚、
図２（Ｂ）の紙面上側をプラス、下側をマイナスの符号で表現しており、第２の撮像光学系１１２ならびに第８の撮像光学系１１８は、中央に配置した第５の撮像光学系１１５に近づく方向に偏心させている。

従来技術に係る画素ずらしでは、撮像素子を時系列にサブ画素単位でシフトさせて複数の画像を取得しているのに対し、本実施形態では、各撮像光学系の偏心量を異ならせて複
数の画像を同時に取得する。本実施形態は、複数の画像をワンショットで取得するので、動きの速い被写体を撮影する場合や動画像を撮影する場合にも適用できる。本実施形態の場合、各画素に与えた画角は撮影距離（撮像光学系から被写体までの距離）に依らず一定である。そのため、撮影距離に依らず再構成画像の画素配列も一定とすることができる。なお、各撮像光学系がそれぞれ異なる位置に配置され、各撮像光学系間に物理的な間隔が存在する場合は視差の影響が発生する。視差の存在により、撮影距離に依存して再構成画像の画素配列が変化する影響を受ける。しかしながら、本実施形態に係る撮像装置では各撮像光学系の間隔を約1mmと非常に狭い間隔に設定されているため、視差の影響を殆ど受
けることが無い。これにより、本実施形態に係る撮像装置では、再構成画像の画質が撮影距離に依らず良好となる。また、各撮像光学系を基準撮像光学系に近づく方向にシフトさせることによって、少しでも視差の影響を軽減することができる。

図３（Ａ）には本実施形態の撮像装置のレンズユニットにおける各撮像光学系の偏心の様子を示す。また、各撮像光学系の偏心量を表１に示した。

図３（Ａ）中のレンズユニット１１にはレンズ基板１１に各撮像光学系１１１〜１１９が３×３の配列で配置されている。図３（Ａ）中の点線の交点は、各撮像光学系１１１〜１１９を偏心がない状態で配置したときの光軸の位置を示しており、実線の交点は偏心後の各撮像光学系の光軸の位置を示している。また、図３（Ａ）中の矢印は各撮像光学系の偏心方向を示している。

本実施形態の撮像装置では、３×３の配列の中央に第５の撮像光学系１１５を配置しており、第５の撮像光学系１１５は偏心無し（偏心量ゼロ）、すなわち撮像光学系の光軸を画素中心に配置している。本実施形態では３×３の配列の中央に第５の撮像光学系１１５を基準撮像光学系としている。図２（Ａ）で説明した様に、第４の撮像光学系１１４や第６の撮像光学系１１６は水平方向のみに偏心させており、基準撮像光学系１１５に近づく方向へ偏心させている。図２（Ｂ）で説明した様に、第２の撮像光学系１１２や第８の撮像光学系１１８は垂直方向のみに偏心させており、基準撮像光学系１１５に近づく方向へ偏心させている。

残りの４つの撮像光学系１１１，１１３，１１７，１１９は、水平方向、垂直方向ともに偏心させており、基準撮像光学系１１５に近づく方向へ偏心させている。

第１の撮像光学系１１１は水平方向の偏心量Ｄ_ｓｘ１＝−２／３画素、垂直方向の偏心量Ｄ_ｓｙ1=−２／３画素に設定している。第３の撮像光学系１１３は水平方向の偏心量Ｄ_ｓｘ３＝＋２／３画素、垂直方向の偏心量Ｄ_ｓｙ３=−２／３画素に設定している。第７
の撮像光学系１１７は水平方向の偏心量Ｄ_ｓｘ７＝−２／３画素、垂直方向の偏心量Ｄ_ｓｙ７=＋２／３画素に設定している。第９の撮像光学系１１９は水平方向の偏心量Ｄ_ｓｘ
９＝＋２／３画素、垂直方向の偏心量Ｄ_ｓｙ９=＋２／３画素に設定している。本実施形
態の撮像装置では、全ての撮像光学系１１１〜１１９において、撮像素子の画素に対して
其々異なる偏心量を与えている。このように、２次元的に配列した複数の撮像光学系に異なる偏心量を与えることによって、全撮像領域の各画素に別々の画角（撮像担当領域）を設定することができる。

本実施形態の撮像装置では、３×３の２次元配列した複数の撮像光学系に其々異なる偏心量を与え、水平方向および垂直方向の偏心量を其々０画素、＋２／３画素、−２／３画素のいずれかに設定している。これにより、全撮像領域の各画素に別々の画角（撮像領域）を設定している。本実施形態では偏心量の水平方向および垂直方向成分を０画素、＋２／３画素、−２／３画素のいずれかとしたが、これに限ったものでは無く、基準撮像光学系に対する各撮像光学系の偏心量の各成分が０画素、＋２／３画素、−２／３画素であればよい。従って、いずれかの撮像光学系の光軸を画素中心に配置する必要はなく、基準撮像光学系に対する相対的な偏心量が上記であればよい。換言すると、基準撮像光学系が対応する撮像領域の基準画素の中心から（Ｄｘ画素，Ｄｙ画素）だけ偏心しているときに、その他の基準撮像光学系は（Ｄｘ＋２ｉ／３画素，Ｄｙ＋２ｊ／３画素）だけ偏心するように配置すればよい。ここで、ｉ＝−１，０，＋１のいずれか、ｊ＝−１，０，＋１のいずれかであり（ただし、ｉ＝ｊ＝０を除く）、かつ、各撮像光学系においてｉ，ｊの組み合わせが異なる。

撮像素子の各撮像領域の各画素に備えたカラーフィルターはベイヤー配列とした。

このように構成することにより、複数の撮像領域における各画素に、其々が異なる撮像範囲を担当させることができる。また、複数の撮像領域における全ての画素を撮影範囲の順に再配列した際に各画素が備えるカラーフィルターの配列がベイヤー配列に構成することができる。

図４（Ｂ）に画素に設定した撮影範囲の説明図、図４（Ｃ）には撮像光学系の偏心と撮影範囲の関係の説明図を示す。

図４（Ｂ）中の１００１は撮像光学系、１００２は撮像素子、１００３は撮像光学系の光軸である。実線１００４は撮像素子１００２の画素１００５の中心へ結像する光束の主光線であり、主光線１００４が光軸１００３と成す角度が、画素１００５に設定した中心画角θｘである。２点鎖線１００６は、画素１００５の端に結像する光束の主光線であり、上端、下端其々に存在し、其々に異なる角度を有する。画素１００５に設定した画角（撮影範囲）とは、画角θｘを中心とした画素の両端の画角の範囲であるが、ここでは代表して画角θｘと称する。

図４（Ｃ）中の１００１〜１００５は図４（Ｂ）と同じである。実線は撮像光学系の偏心が無しの状態であり、点線は撮像光学系が＋Ｄ_ｓｘ偏心した状態、１点鎖線は撮像光学系が−Ｄ_ｓｘ偏心した状態を示す。画素１００５の画角は、撮像光学系の偏心が無い状態（実線）ではθ_ｘである。これに対して、撮像光学系が＋Ｄ_ｓｘ偏心した状態（点線）では画角はθ_ｘｐに、撮像光学系が−Ｄ_ｓｘ偏心した状態（１点鎖線）では画角はθ_ｘｍに、それぞれ変化する。画角の変化分は、前者がθ_ｘ−θ_ｘｐ、後者がθ_ｘ−θ_ｘｍであり、これを利用して、複数の撮像光学系を適切な量だけ偏心させることで、全撮像領域の各画素に所望の別々の画角（撮像範囲）を設定することができる。

［再構成方法］
次に、各個眼撮像系で取得した個眼画像から、多画素で高解像度な画像へ再構成する方法について図４（Ａ）〜図４（Ｇ）を用いて説明する。

図４（Ａ）にはＲＧＧＢのベイヤー配列の説明図である。本実施形態の撮像素子１２０
の各画素には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つのチャンネルのカラーフィルターがベイヤー配列で配置されている。各撮像領域１２１〜１２９は同様に、図４（Ａ）に示したＲＧＧＢのベイヤー配列としている。

図４（Ｂ）には図４（Ａ）の各画素の担当する画角を示す。図３（Ｂ）で示したように、１つの画素は画素の一端から他端までの画角を担当し、画素の中心における画角を注目画素の中心画角と称している。点線で示したように各画素の画角を３×３分割し、中心画角を黒で塗りつぶして表示している。また、カラーフィルターの記号（Ｒ，Ｇ，Ｂ）を表示している。撮像光学系の光軸が画素の中心にある時は、図３（Ｃ）に示すように、中心画角に変動はない。しかし、撮像光学系の光軸が画素の中心から偏心すると、偏心量に応じて中心画角も変化する。

各撮像領域の各画素における画角について、図４（Ｃ）〜図４（Ｇ）を用いて説明する。

図４（Ｃ）は、撮像領域の中央付近の４×４画素分の画角と中心画角を表現している。各撮像領域は６４０×４８０画素で構成されるので、図示した画素の周囲にも画素があることに留意されたい。図４（Ｃ）中の実線の枠が各画素の担当する画角であり、黒塗りした枠が各画素の中心画角であって、その中の文字でカラーフィルターのチャンネルをＲ・Ｇ・Ｂで表現している。図４（Ｃ）中の画角は本実施形態の構成では、３×３の２次元配列の中心に配置した第５の撮像光学系１１５を有する第５の個眼撮像系における各画素の担当する画角を表現したものである。

図４（Ｄ）には、図４（Ｃ）に示した画角と、図４（Ｃ）から撮像光学系が２／３画素右に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第５の個眼撮像系と第４の撮像光学系１１４を有する第４の個眼撮像系の画角を表現したものである。つまり、第４と第５の個眼撮像系の撮像領域の各画素は、全撮像領域のうちの一部の画角を飛び飛びに担当した構成となることが分かる。

図４（Ｅ）には、図４（Ｄ）に示した画角と、図４（Ｃ）から撮像光学系が２／３画素左に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第４の個眼撮像系と第５の個眼撮像系、及び第６の撮像光学系１１６を有する第６の個眼撮像系の画角を表現したものである。

図４（Ｆ）には、図４（Ｅ）の画角と、図４（Ｅ）の状態から撮像光学系が２／３画素下に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第４〜第６の個眼撮像系と、第１〜第３の撮像光学系１１１〜１１３を有する第１〜第３の個眼撮像系の画角を表現したものである。

図４（Ｇ）には、図４（Ｆ）の画角と、図４（Ｅ）の状態から撮像光学系が２／３画素上に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第１〜第６の個眼撮像系と、第７〜第９の撮像光学系１１７〜１１９を有する第７〜第９の個眼撮像系の画角を表現したものである。即ち、各個眼撮像系の撮像領域の各画素で、全撮像領域のほぼ全ての画角を構成することができる。

以上のように、３×３の２次元配列した複数の撮像光学系に其々異なる偏心量を付与して配置したことにより、全撮像領域の各画素に別々の画角を設定している。また、水平方向、垂直方向に与える偏心量を０画素、＋２／３画素、−２／３画素のいずれかに設定し、個眼撮像系の画素のカラーフィルターをベイヤー配列とすることで、図４（Ｇ）に示したように、全撮像領域の画角をベイヤー配列に配置できる。すなわち、全撮像領域の各画
素を画角に応じて再配列した再構成画像における画素のカラーフィルターをベイヤー配列に設定することができる。

この再構成画像を既知のデモザイク処理によって、画素の総数を減らすこと無く多画素で高解像なカラー画像を取得することができる。これによって、全撮像領域の画素数とほぼ同数の画像を取得することが可能となる。

このように、２次元的に配列した複数の撮像光学系の其々の撮像光学系に異なる偏心量を与えることによって、全撮像領域の各画素に別々の画角（撮像範囲）を設定できる。さらに、隣り合う画角でチャンネルを異ならせることで、再構成したときにベイヤー配列の画像が得られるため、多画素で高解像度な画像を取得可能な撮像装置を提供することができる。

図５は、本実施形態の撮像装置で撮影した画像を用いて多画素で高解像度な画像を生成可能な画像処理装置を示す。画像処理装置２は、記憶部２１、画像再構成処理部２２、デモザイク処理部２３、鮮鋭化処理部２４を有し、例えば、本実施形態の撮像装置１に接続して使用する装置である。本実施形態では、画像処理装置２を撮像装置１と一体化して画像処理後の画像をリアルタイムに表示可能としているが、撮像装置１と画像処理装置２を分離して、撮影後に図６の処理を実行してもよい。

図６は、図５の画像処理装置における多画素・高解像画像生成の処理フローを示す。以下、図５と図６を用いて、複数の撮像光学系で取得した画像から多画素で高解像度な画像を生成する工程について説明する。

画像処理装置２は、撮像装置１の撮像素子１２０で取得した画像データを取得して、記憶部２１に一旦格納する。図６に示すように撮像装置１の撮像素子１２０で取得した画像は、各撮像光学系で取得した画像を１枚の画像中に領域分割して配置した画像である。

画像再構成処理部２２は、この撮像光学系毎に領域分割された撮影画像（データＤ１）を記憶部２１から読み出し、画像再構成処理（ステップＳ１）を実行する。画像再構成処理（ステップＳ１）は、撮像光学系毎に領域分割された撮影画像（データＤ１）を各画素の画角に応じて、画素を再配列する処理である。この画像再構成処理（ステップＳ１）は図４（Ｃ）〜図４（Ｇ）に示した再構成処理を実施するものである。画像再構成処理部２２は、複数の撮像光学系に設定された位相に応じて各撮像領域の画素群を水平方向、垂直方向に其々０画素、＋２／３画素、−２／３画素のいずれかの画素ずらし量で再配列することにより再構成画像（データＤ２）を生成する。

ここで生成された再構成画像は各撮像光学系の撮像領域の画素の約３×３（＝９）倍の画素数を有した多画素画像となり、各画素は夫々別々の画角に設定されているため被写体の詳細な情報を有しており解像度も向上する。また、３×３の２次元配列の撮像光学系で各撮像光学系に対応する撮像領域の各画素のカラーフィルターの配列をベイヤー配列とし、上記の画素ずらしを行うと、再構成画像は各画素のカラーフィルターの配列もベイヤー配列にできる。これにより、次に続くデモザイク処理が実行可能となり、全撮像領域とほぼ同数の多画素で高解像度なカラー画像を取得することができる。

デモザイク処理部２３では、画像再構成処理（ステップＳ１）で生成した再構成画像（データＤ２）をカラーフィルターの配列に従って既知の方法でデモザイク処理（ステップＳ２）し、周囲の画素から他の２つのチャンネルの画素を生成する。これにより、画素数を減少させること無く、多画素高解像カラー画像（データＤ３）を生成できる。既知のデモザイク処理として、例えば非特許文献１に記載された手法がある。

鮮鋭化処理部２４は、デモザイク処理（ステップＳ２）後の画像に対して、鮮鋭化処理（ステップＳ３）を実行する。鮮鋭化処理部２４は、例えば図７（Ａ）に示すようなアンシャープネスマスク等のフィルター処理を行い、エッジ強調を掛けて画像を鮮鋭化する。鮮鋭化処理部２４は、図７（Ａ）に示すフィルターの代わりに、図７（Ｂ）で表されるアンシャープネスフィルターを用いてもよい。なお、図７（Ｂ）におけるａ，ｂ，ｋは任意の正整数である。

再構成前の個々の画像は、１画素が担当する画角が広いので被写体の広い範囲の情報が１画素の中に混在する。再構成画像（データＤ２）においても１画素が担当する画角は広いままであるが、再配列したことにより注目画素の周囲には画素ずらしにより中心画角を１／３画素変化させた画素が配置されている。周囲の画素の１／３画素分は注目画素と異なる被写体情報を含んでおり解像度が向上する要因となるが、２／３画素分は注目画素と画角が重複しており、注目画素の被写体情報が周囲の画素に広がった状況になる。そのため、多画素高解像カラー画像（データＤ３）において鮮鋭化処理（ステップＳ３）を実施することにより、周囲の画素に広がった被写体情報を注目画素に戻すことができる。これにより、被写体の詳細な情報を再現した高解像度な画像を提供することができ、多画素超高解像度カラー画像（データＤ４）を生成することができる。

本実施形態の撮像装置では、各撮像領域の画素数は６４０×４８０画素であり、全撮像領域では１９２０×１４４０画素である。再構成画像（データＤ２）、多画素高解像カラー画像（データＤ３）、ならびに多画素超高解像度カラー画像（データＤ４）は、１９２０×１４４０画素で生成可能であり、全撮像領域の画素数と同数でかつ高解像なカラー画像を取得可能である。これは、個眼撮像系の画素と比較して３×３倍の多画素化と高解像度化を実現するものである。

［本実施形態の有利な効果］
本実施形態に係る撮像装置によれば、多画素で高解像度なカラー画像を取得することができる。一般的な画素ずらしでは、撮像素子やレンズを移動させて異なるタイミングで複数の画像を撮影するため、動画像や動きの速い被写体の静止画像を撮影することができない。それに対して、本実施形態の撮像装置は、２次元配列した複数の画像で被写体を同時に撮影することができるので、動画を多画素で高解像度なカラー画像にすることも可能である。

撮像素子１２０の全撮像領域を１つの撮像光学系で撮影する場合と比較すると、本実施形態は、複数の撮像光学系で撮像領域を分割した分だけ撮像光学系が薄くなり、撮像装置の薄型化が図れるメリットがある。

また、本実施形態のレンズユニット１１は、レンズ基板１１０上に全ての撮像光学系１１１〜１１９を形成して一体化している。これにより、各撮像素子の２次元的な配置の精度を高められるので、画素ピッチに対する位相差を高精度に位置決めすることが可能となる。例えば、リソグロフィーのプロセスによって石英基板にレンズ面を直接加工したり、またはレプリカ技術などの成型技術によってレンズ基板上にレンズ面を形成したりできる。これにより、画素ピッチが３μｍ以下の微小ピッチな撮像素子を用いた場合においても、２／３画素、すなわち２μｍの位相差を高精度に設定することが可能となる。このように、２次元的に配列した複数の撮像光学系を一体化することにより、画素ピッチが微小な撮像素子を使用することができる。そして、画素ピッチが微小になると各撮像素子の間隔も狭められるため視差の影響が軽減さる。そのため、被写体の距離による再構成画像誤差を軽減して常に高品な画像が得られる撮像装置提供することができる。

＜実施形態２＞
実施形態２に係る撮像装置について説明する。本実施形態と実施形態１との相違点は、レンズユニット１１に備える撮像光学系の数を変更した点と、それに伴ってセンサユニット１２の撮像素子１２０上の撮像領域を撮像光学系と同数設けた点である。図８（Ａ）は本実施形態に係る撮像装置を模式的に示す図である。

本実施形態の撮像装置１は、実施形態１の撮像装置と同様にレンズユニット１１とセンサユニット１２を備える。本実施形態のレンズユニット１１は５×５の２次元配列で撮像光学系を配置した複眼レンズユニットとしている。また、センサユニット１２の撮像素子１２０上には各撮像光学系に対応した５×５の２次元配列した撮像領域を設けている。これにより、各撮像光学系を介して撮影した被写体の像を各撮像領域に結像し、撮像素子１２０で撮影画像を取得する。そのうちの１つの撮像光学系と撮像素子のそれに対応した１つの撮像領域との組み合わせを個眼撮像系とし、撮像素子１２０が取得した画像には５×５個の個眼撮像系が取得した５×５個の個眼画像が配置される。

図８（Ｂ）には、実施形態２におけるレンズユニットを示す。レンズユニット１１は５×５の２次元配列で同一形状の第１から第２５の撮像光学系１１０１〜１１２５をレンズ基板１１０上に一体化して配置した複眼レンズユニットであり、その中心には第１３の撮像光学系１１１３が配置される。

本実施形態では、第１３の撮像光学系１１１３の光軸を撮像素子１２０の画素の中心に配置し、その他の撮像光学系１１０１〜１１１２，１１１４〜１１２５については光軸が画素の中心から偏心させて配置している。

図８（Ｂ）中の矢印は各撮像光学系の偏心の様子を表す。図８（Ｂ）中の点線の交点は、各撮像光学系１１０１〜１１２５が偏心がない状態で配置したときの光軸の位置を示しており、実線の交点は偏心後の各撮像光学系の光軸の位置を示している。また、表２に各撮像光学系の偏心量を示す。

撮像光学系１１０１〜１１１２，１１１４〜１１２５には互いに異なる偏心量（画素ピッチに対する位相）が与えられており、水平方向および垂直方向に、０画素、±２／５画素、±４／５画素のいずれかの値に設定している。図中の矢印は偏心方向を示しており、各撮像光学系１１０１〜１１１２，１１１４〜１１２５は水平方向、垂直方向ともに第１３の撮像光学系１１１３に近づく方向に偏心させている。このように構成することにより、複数の撮像領域における各画素に、其々が異なる撮像範囲を担当させることができる。

次に、各撮像領域の撮像素子で取得した個眼画像から、多画素で高解像度なカラー画像へ再構成する方法について図９（Ａ）〜図９（Ｋ）を用いて説明する。

図９（Ａ）にはＲＧＧＢのベイヤー配列の説明図、図９（Ｂ）には各画素の中心を示す図、図９（Ｃ）には各撮像領域の画素配列の説明図、図９（Ｄ）〜図９（Ｇ）には各撮像領域の各画素を画角に応じて再配列した再構成画像を示す。

本実施形態の撮像素子１２０の各画素には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つのチャンネルのカラーフィルターがベイヤー配列で配置してあり、各撮像領域は同様に図９（Ａ）に示したＲＧＧＢのベイヤー配列としている。

図９（Ｂ）には図９（Ａ）の画素の中心画角を示す。図３（Ｂ）で示したように、１つの画素は画素の一端から他端までの画角を担当し、画素の中心における画角を注目画素の中心画角と称している。点線で示したように各画素の画角を５×５分割し、中心画角を黒で塗りつぶして表示している。また、カラーフィルターの記号（Ｒ，Ｇ，Ｂ）を表示している。撮像光学系の光軸が画素の中心にある時は、図３（Ｃ）に示すように、中心画角に変動はない。しかし、撮像光学系の光軸が画素の中心から偏心すると、偏心量に応じて中心画角も変化する。

各撮像領域の各画素における画角について、図９（Ｃ）〜図９（Ｇ）を用いて説明する。

図９（Ｃ）には、撮像領域の中央付近の４×４画素分の画角と中心画角を表現している。各撮像領域は４００×３００画素で構成されるので、図示した画素の周囲にも画素があることに留意されたい。図９（Ｃ）中の実線の枠が各画素の担当する画角であり、黒塗りした枠が各画素の中心画角であって、その中の文字でカラーフィルターのチャンネルをＲ・Ｇ・Ｂで表現している。図９（Ｃ）中の画角は本実施形態の構成では、５×５の２次元配列の中心に配置した第１３の撮像光学系１１１３を有する第１３の個眼撮像系における各画素の担当する画角を表現したものである。

図９（Ｄ）には、図９（Ｃ）に示した画角と、図９（Ｃ）から撮像光学系が２／５画素右に偏心した状態の画角を重ねて示した。本実施形態の撮像装置の構成では、第１３の個眼撮像系と第１２の撮像光学系１１１２を有する第１２の個眼撮像系の画角を表現したものである。

図９（Ｅ）には、図９（Ｄ）に示した画角と、図９（Ｃ）から撮像光学系が４／５画素右に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第１２の個眼撮像系と第１３の個眼撮像系、及び第１１の撮像光学系１１１１を有する第１１の個眼撮像系との画角を表現したものである。

図９（Ｆ）には、図９（Ｅ）の画角と、図４（Ｃ）の状態から撮像光学系が２／５画素左に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第１１の個眼撮像系、第１２の個眼撮像系、第１３の個眼撮像系、及び第１４の撮像光学系１１１４を有する第１４の個眼撮像系の画角を表現したものである。

図９（Ｇ）には、図９（Ｆ）の画角と、図４（Ｃ）の状態から撮像光学系が４／５画素左に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第１１の個眼撮像系、第１２の個眼撮像系、第１３の個眼撮像系、第１４の個眼撮像系、及び第１５の撮像光学系１１１５を有する第１５の個眼撮像系の画角を表現したものである。

図９（Ｈ）には、図９（Ｇ）の画角と、図９（Ｇ）の状態から撮像光学系が２／５画素下に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第１１〜第１５の個眼撮像系と、第６〜第１０の撮像光学系１１０６〜１１１０を有する第６〜第
１０の個眼撮像系の画角を表現したものである。

図９（Ｉ）には、図９（Ｈ）の画角と、図９（Ｇ）の状態から撮像光学系が４／５画素下に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第６〜第１５の個眼撮像系と、第１〜第５の撮像光学系１１０１〜１１０５を有する第１〜第５の個眼撮像系の画角を表現したものである。

図９（Ｊ）には、図９（Ｉ）の画角と、図９（Ｇ）の状態から撮像光学系が２／５画素上に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第１〜第１５の個眼撮像系と、第１６〜第２０の撮像光学系１１１６〜１１２０を有する第１６〜第２０の個眼撮像系の画角を表現したものである。

図９（Ｋ）には、図９（Ｊ）の画角と、図９（Ｇ）の状態から撮像光学系が４／５画素上に偏心した状態の画角とを重ねて示した。本実施形態の撮像装置の構成では、第１〜第２０の個眼撮像系と、第２１〜第２５の撮像光学系１１２１〜１１２５を有する第２１〜第２５の個眼撮像系の画角を表現したものである。

以上のように、５×５の２次元配列した複数の撮像光学系に其々異なる偏心量を付与して配置したことにより、全撮像領域の各画素に別々の画角（撮像範囲）を設定している。本実施形態では水平方向、垂直方向に与える偏心量を０画素、±２／５画素、±４／５画素のいずれかに設定したので、隣り合う画角を等間隔に配置することができ、被写体の情報を詳細かつ均等に取得することができる。また、図９（Ｋ）に示したように、撮像素子をＲＧＧＢのベイヤー配列に構成していることから、各撮像領域の画素を画角に応じて再配列した再構成画像はＲＧＧＢベイヤー配列で構成することができる。従って、再構成画像をデモザイク処理することにより、多画素で高解像度なカラー画像を生成することができる。更には、デモザイク処理した再構成画像を鮮鋭化処理によって多画素で超高解像なカラー画像を生成することができる。デモザイク処理および鮮鋭化処理は、実施形態１と同様であるので説明を省略する。

本実施形態の撮像装置においては、各撮像領域の画素数は４００×３００画素であり、全撮像領域では２０００×１５００画素である。再構成画像（データＤ２）、多画素高解像カラー画像（データＤ３）、ならびに多画素超高解像度カラー画像（データＤ４）は、２０００×１５００画素で生成可能であり、全撮像領域の画素数と同数でかつ高解像なカラー画像を取得可能である。これは、個眼撮像系の画素と比較して５×５倍の多画素化と高解像度化を実現するものである。通常の撮像装置のように、１つの撮像光学系で全撮像領域に結像させる場合と比べて、本実施形態の撮像装置では各撮像光学系の焦点距離を１／５に縮小することができるので、レンズユニット１１を薄型化でき、撮像装置の小型化に寄与できるメリットがある。

また、５×５の２次元配列した撮像光学系の中心にある撮像光学系１１１３は偏心させず、その他の撮像光学系は、撮像光学系１１１３に近づくように偏心させ、かつ、撮像光学系１１１３に近いほど撮像光学系１１１３との偏心量の差を小さく設定した。具体的には、撮像光学系１１１３の水平方向の隣にある撮像光学系１１１２，１１１４、及び垂直方向の隣にある撮像光学系１１０８，１１１８については其々の撮像光学系１１１３に対する偏心量の大きさを２／５画素と最小とした。続いて、撮像光学系１１０７，１１０９，１１１７，１１１９においては、水平方向、垂直方向ともに偏心量を２／５画素（偏心量の大きさは２√２／５画素）とした。更に、撮像光学系１１０３，１１１１，１１１５，１１２３は偏心量の大きさを４／５画素とした。また、撮像光学系１１０２，１１０４，１１０６，１１１０，１１１６，１１２０，１１２２，１１２４については、偏心量の水平方向・垂直方向どちらか一方の成分を２／５画素、他方を４／５画素とした（偏心量
の大きさは２√３／５画素）。最も撮像光学系１１１３から離れて配置した撮像光学系１１０１，１１０５，１１２１，１１２５については水平方向と垂直方向の両方の偏心量を４／５画素とした（偏心量の大きさは４√２／５画素）。このように設定することで、隣の撮像光学系との偏心量の差を最小限に留めることができ、高品位な再構成画像を生成することができる。

本実施形態に係る撮像装置によれば、実施形態１と同様に、多画素で高解像度なカラー画像を取得することができる。

＜実施形態３＞
実施形態１は３×３の撮像光学系を有し、実施形態２は５×５の撮像光学系を有する。本実施形態では、撮像光学系が奇数×奇数を有する一般的な場合を説明する。本実施形態においては、レンズユニット１１は、（２Ｍ＋１）×（２Ｎ＋１）の２次元配列で配列された撮像光学系を有する。各撮像光学系は同一の基板上に１ｍｍ以下の間隔で配置される。また、センサユニット１２の撮像素子１２０上には、各撮像光学系に対応した（２Ｍ＋１）×（２Ｎ＋１）の２次元配列した撮像領域が設けられ、画素単位でベイヤー配列のカラーフィルターが設けられる。ここで、ＭおよびＮは０以上の整数であり、Ｍ＝ＮであってもＭ≠Ｎであってもよい。なお、実施形態１はＭ＝Ｎ＝１の場合、実施形態２はＭ＝Ｎ＝２の場合にそれぞれ相当する。

本実施形態においては、（２Ｍ＋１）×（２Ｎ＋１）個の撮像光学系のそれぞれを、撮像光学系（ｉ，ｊ）と称する。ここで、−Ｍ≦ｉ≦Ｍ，−Ｎ≦ｊ≦Ｎである。撮像光学系（０，０）を中心として、ｉは水平方向位置、ｊは垂直方向位置を表す。例えば、撮像光学系（１，０）、（−１，０）、（０，１）、（０，−１）はそれぞれ、撮像光学系（０，０）の左側、右側、上側、下側に隣接する撮像光学系である。ただし、＋ｘ方向を左、＋ｙ方向を上としている。また、撮像光学系（−Ｍ，−Ｎ）、（−Ｍ，Ｎ），（Ｍ，−Ｎ），（Ｍ，Ｎ）はそれぞれ、右下隅、右上隅、左下隅、左上隅に位置する撮像光学系である。

本実施形態において、撮像光学系（ｉ，ｊ）は、その光軸が、撮像素子の基準画素の中心から水平方向に−２×ｉ／（２Ｍ＋１）画素、垂直方向に−２×ｊ／（２Ｎ＋１）画素分だけ偏心した状態で配置される。すなわち、撮像光学系（０，０）は、画素中心と光軸が一致するように配置されるのに対して、撮像光学系（ｉ，ｊ）はそれぞれ、撮像光学系（０，０）との距離に応じた量だけ、撮像光学系（０，０）に近づくように偏心して配置される。

このような構成により、複数の撮像領域における各画素に、それぞれが異なる撮像範囲を担当させることができ、実施形態１，２と同様の再構成処理・デモザイキング処理・鮮鋭化処理により、多画素で超高解像度なカラー画像が取得できる。

上述した撮像光学系の配置は、基準撮像光学系（０，０）の偏心量に対する相対的な各撮像光学系（ｉ，ｊ）の偏心量が、基準撮像光学系（０，０）の方向を向き、その大きさは基準撮像光学系（０，０）からの距離に応じた量となる配置と表現できる。なお、撮像光学系間の距離は、光軸間の距離である。なお、ここでは基準撮像光学系をレンズユニットの中心に最近接している撮像光学系（０，０）としたが、基準撮像光学系は（２Ｍ＋１）×（２Ｎ＋１）の撮像光学系の中から任意に選択してもよい。

上述した撮像光学系の配置は、次のように特定することもできる。すなわち、当該配置では、水平方向に隣接する撮像光学系の間の偏心量の差が水平方向に２／（２Ｍ＋１）画素だけ異なっており、垂直方向に隣接する撮像光学系の間の偏心量の差が垂直方向に２／
（２Ｎ＋１）画素だけ異なっている。斜め方向に隣接する撮像光学系の間の偏心量の差は、水平方向に２／（２Ｍ＋１）画素かつ垂直方向に２／（２Ｎ＋１）画素である。

なお、上述のように各撮像光学系を中心の撮像光学系に近づけるように偏心させることが視差の軽減という観点から効果的であるが、必ずしもこのように偏心させる必要はない。各撮像光学系の偏心量が、水平方向に−２×Ｋｍ／（２Ｍ＋１）画素、垂直方向に−２×Ｋｎ／（２Ｎ＋１）画素（ここで、−Ｍ≦Ｋｍ≦Ｍ，−Ｎ≦Ｋｎ≦Ｎ）であり、（２Ｍ＋１）×（２Ｎ＋１）個の撮像光学系の全てについて偏心量が異なっていればよい。上述したように本実施形態では視差が十分に小さいので、このようにしても多画素で超高解像度なカラー画像を取得できる。

上記の例では、対応する撮像領域の基準画素の中心と光軸が一致する撮像光学系（すなわち偏心量がゼロの撮像光学系）が存在するが、そのような撮像光学系は存在しなくてもよい。例えば、撮像光学系（ｉ，ｊ）の偏心量を、水平方向にＤｘ−２×Ｋｍ／（２Ｍ＋１）画素、垂直方向にＤｙ−２×Ｋｎ／（２Ｎ＋１）画素としてもよい。ここで、Ｋｍは−Ｍ≦Ｋｍ≦Ｍを満たす整数であり、Ｋｎは−Ｎ≦Ｋｎ≦Ｎを満たす整数である。

さらに付言すると、必ずしも全ての撮像光学系の偏心量を異ならせなくてもよい。（２Ｍ＋１）×（２Ｎ＋１）個の撮像光学系のうちの少なくとも一部が、他の撮像光学系と異なる偏心量で配置されていればよい。ただし、（２Ｍ＋１）×（２Ｎ＋１）個の撮像光学系のうちの所定数個以上の撮像光学系について、偏心量が互いに異なっていることが好ましい。この所定数は、例えば、４、８、あるいは（２Ｍ＋１）×（２Ｎ＋１）の５０％以上の最小の整数、（２Ｍ＋１）×（２Ｎ＋１）の８０％以上の最小の整数、（２Ｍ＋１）×（２Ｎ＋１）の９０％以上の最小の整数であってよい。例えば、全体の８／９（＝８８．８％）以上の撮像光学系の偏心量が互いに異なっていれば十分に解像感の高い画像が得られ、全体の２３／２５（＝９２％）以上の撮像光学系の偏心量が互いに異なっていればより解像感の高い画像が得られる。もっとも、全ての撮像光学系について、偏心量が互いに異なっている場合が、最も良い効果が得られる。

＜実施形態４＞
実施形態４に係る撮像装置について説明する。本実施形態と実施形態１との相違点は、レンズユニット１１に備える撮像光学系の数を変更した点と、それに伴ってセンサユニット１２の撮像素子１２０上の撮像領域を撮像光学系と同数設けた点である。図１０（Ａ）は本実施形態に係る撮像装置を模式的に示す図である。

［撮像光学系および撮像素子の配置］
本実施形態の撮像装置１は、実施形態１の撮像装置と同様にレンズユニット１１とセンサユニット１２を備える。本実施形態のレンズユニット１１は２×２の２次元配列で撮像光学系を配置した複眼レンズユニットとしている。また、センサユニット１２の撮像素子１２０上には各撮像光学系に対応した２×２の２次元配列した撮像領域を設けている。これにより、各撮像光学系を介して撮影した被写体の像を各撮像領域に結像し、撮像素子１２０で撮影画像を取得する。そのうちの１つの撮像光学系と撮像素子のそれに対応した１つの撮像領域との組み合わせを個眼撮像系とし、撮像素子１２０が取得した画像には各個眼撮像系が取得した２×２個の個眼画像が配置される。

図１０（Ｂ）、図１０（Ｃ）に、本実施形態におけるレンズユニットを示す。図１０（Ｂ）を用いて、本実施形態の撮像装置における撮像光学系の配置を説明する。レンズユニット１１は２×２の２次元配列で４つの撮像光学系１１１〜１１４をレンズ基板１１０上に一体化して配置した複眼レンズユニットである。本実施形態では、複数の撮像光学系を偶数×偶数の２次元配列で配置しており、中心の撮像光学系が存在しない。そこで、本実
施形態の撮像装置では第４の撮像光学系１１４を基準撮像光学系としている。尚、基準撮像光学系は第４の撮像光学系１１４に限られず、撮像光学系１１１〜１１４のいずれに設定してもよい。

本実施形態では、第４の撮像光学系１１４を偏心させずに配置し、その他の撮像光学系１１１〜１１３については偏心させて配置している。表３に各撮像光学系の偏心量を示す。

撮像光学系１１１〜１１４には互いに異なる偏心量を与えており、その水平方向および垂直方向の成分は、０画素、−１／２画素のいずれかの値に設定されている。図１０（Ｂ）中の矢印は偏心方向を示しており、各撮像光学系１１１〜１１３は第４の撮像光学系１１４に近づく方向に偏心されている。

また、図１０（Ｃ）を用いてカラーフィルターの配置を説明する。本実施形態の撮像装置では、各撮像光学系１１１〜１１４に対応して、撮像素子１２の撮像領域１２１〜１２４が定義される。１つの撮像領域内の各画素は同種類のカラーフィルターを用いており、かつ、隣り合う撮像領域とは異なる種類のカラーフィルターを用いている。具体的には、第１の撮像光学系１１１に対応する撮像領域１２１の各画素は青色（Ｂ）のカラーフィルターを有する。同様に、第２の撮像光学系１１２および第３の撮像光学系１１３に対応する撮像領域１２２，１２３の各画素は緑色（Ｇ）のカラーフィルターを有する。第４の撮像光学系１１４に対応する撮像領域１２４の各画素は赤色（Ｒ）のカラーフィルターを有する。

本実施形態の撮像光学系１１１〜１１４は、各光学系が担当するカラーフィルターのスペクトルにおいて、光学性能が最も高くなるように構成されている。具体的には、第１の撮像光学系１１１は青色（Ｂ）チャンネルに含まれるスペクトルにおいて、軸上色収差や倍率色収差を良好に補正している。更には、撮像光学系に回折面を用いており、青色（Ｂ）チャンネルに含まれるスペクトルにおいて回折面の回折効率を最大化している。同様に、第２の撮像光学系１１２及び第３の撮像光学系１１３は緑色（Ｇ）チャンネル、第４の撮像光学系１１４は赤色（Ｒ）チャンネルに含まれるスペクトルにおいて、軸上色収差や倍率色収差を良好に補正し、回折効率を最大化している。

上記のように、複数の撮像光学系を互いに異なる偏心量で配置することで、複数の撮像領域における全ての画素が担当する画角（撮像範囲）を異ならせることができる。さらに、撮像領域単位でカラーフィルターをベイヤー配列とすることで、特許文献１（図１５（Ａ）〜１５（Ｃ））の場合とは異なり、各画素を画角に応じて再配列する再構成処理によってベイヤー配列の高解像度化画像が得られる。詳細は、再構成処理の説明において説明する。また、各撮像光学系は担当するカラーフィルターのスペクトル（波長）において光学性能が高くなるように構成されている。したがって、全てのチャンネルに含まれるスペクトルに対して色収差補正や回折効率を向上させた光学系と比べて単純な構成の光学系によって、必要な光学性能を発揮することが可能である。

［再構成処理］
次に、各個眼撮像系で取得した個眼画像から、多画素で高解像度な画像へ再構成する方法について図１１（Ａ）〜図１１（Ｇ）を用いて説明する。

図１１（Ａ）には、撮像素子１２０上の各撮像領域に配置されるカラーフィルターが示される。本実施形態では、撮像領域１２４の各画素は赤色（Ｒ）のカラーフィルターを有し、撮像領域１２２，１２３の各画素は緑色（Ｇ）のカラーフィルターを有し、撮像領域１２１の各画素は青色（Ｂ）のカラーフィルターを有する。

図１１（Ｂ）には図１１（Ａ）の画素の担当する画角を示す。図３（Ｂ）で示したように、１つの画素は画素の一端から他端までの画角を担当し、画素の中心における画角を注目画素の中心画角と称している。点線で示したように各画素の担当する画角を２×２分割し、左上の画角を黒で塗りつぶしてカラーフィルターの記号を表示している。図３（Ｃ）に示したように、撮像光学系の光軸が画素の中心にある時は中心画角に変動はないが、撮像光学系の光軸が画素の中心から偏心すると、偏心量に応じて中心画角も変化する。

各撮像領域の各画素における画角について、図１１（Ｃ）〜図１１（Ｆ）を用いて説明する。図１１（Ｃ）、図１１（Ｄ）、図１１（Ｅ）、図１１（Ｆ）には、撮像領域の中央付近の４×４画素分の画角と中心画角を表現している。図１１（Ｃ）〜（Ｅ）の各個眼撮像系の撮像領域は１９２０×１０８０画素で構成されるので、図示した画素の周囲にも画素があることに留意されたい。図１１（Ｃ）〜１１（Ｆ）中の実線の枠が各画素の担当する画角であり、黒塗りした枠が各画素の中心画角であって、その中の文字でカラーフィルターのチャンネルをＲ・Ｇ・Ｂで表現した。

図１１（Ｃ）には第４の撮像光学系１１４と第４の撮像領域１２４を含む第４の個眼撮像系の画角を示す。第４の撮像光学系１１４は光軸を画素中心に配置したため、画角の移動がない。図１１（Ｄ）には第３の撮像光学系１１３と第３の撮像領域１２３を含む第３の個眼撮像系の画角を示す。第３の撮像光学系１１３は、水平方向のみに−１／２画素偏心させたので、各画素の担当する画角が１／２画素に相当する角度だけ右に移動する。１画素分の画角を２×２分割する点線が示されており、１個分シフトした形となる。図１１（Ｅ）には第２の撮像光学系１１２と第２の撮像領域１２２を含む第２の個眼撮像系の画角を示す。第２の撮像光学系１１２は、垂直方向のみに−１／２画素偏心させたので、各画素の担当する画角が１／２画素に相当する角度だけ下に移動する。図１１（Ｆ）には第１の撮像光学系１１１と第１の撮像領域１２１を含む第１の個眼撮像系の画角を示す。

図１１（Ｇ）には、図１１（Ｃ）〜図１１（Ｆ）の画角を重ね合わせた示したものであり、本実施形態の撮像装置における全ての眼撮像系の画角を表現したものである。

以上のように、２×２の２次元配列した複数の撮像光学系に対して其々異なる偏心量を付与して配置したことにより、全撮像領域の各画素に別々の画角（撮像範囲）を設定している。各個眼撮像系に与える水平方向、垂直方向の偏心量を０画素、−１／２画素のいずれかに設定している。また、個眼撮像系内では同一のカラーフィルターを用い、個眼撮像系毎にカラーフィルターを異ならせている。これらの構成により、各撮像領域から得られる画像から得られる再構成画像の画素をベイヤー配列とすることができる。各撮像領域の画素をベイヤー配列とすると、再構成画像は図１５（Ｃ）に示すように同じ色の画素が密集した不均等な疑似高解像度化がされ色むらや偽色が発生してしまう。これに対して、本実施形態であれば再構成画像がベイヤー配列なるため色むらや偽色の発生を抑制した、高画質な高解像度画像が得られる。

この再構成画像を既知のデモザイク処理によって、画素の総数を減らすこと無く多画素
で高解像なカラー画像を取得することができる。これによって、全撮像領域の画素数とほぼ同数の画像を取得することが可能となる。

このように、２次元的に配列した複数の撮像光学系に異なる偏心量を与えることによって、全撮像領域の各画素に別々の画角を設定し、隣り合う画角でチャンネルを異ならせることで、多画素で高解像度な画像を取得可能な撮像装置を提供することができる。

＜実施形態５＞
実施形態５に係る撮像装置について説明する。本実施形態と実施形態４との相違点は、レンズユニット１１に備える撮像光学系の数を変更した点と、それに伴ってセンサユニット１２の撮像素子１２０上の撮像領域を撮像光学系と同数設けた点である。図１２は本実施形態における撮像装置を模式的に示す図である。

本実施形態の撮像装置１は、実施形態４と同様にレンズユニット１１とセンサユニット１２を備える。レンズユニットは４×４の２次元配列で撮像光学系を配置した複眼レンズユニットとしている。また、センサユニット１２の撮像素子１２０上には各撮像光学系に対応した４×４の２次元配列した撮像領域を設けている。これにより、各撮像光学系を介して撮影した被写体の像を各撮像領域に結像し、撮像素子１２０で撮影画像を取得する。そのうちの１つの撮像光学系と撮像素子のそれに対応した１つの撮像領域との組み合わせを個眼撮像系とし、撮像素子１２０が取得した画像には各個眼撮像系が取得した４×４個の個眼画像が配置される。

図１３（Ａ）、図１３（Ｂ）には、本実施形態におけるレンズユニットを示す。図１３（Ａ）を用いて、本実施形態の撮像装置における撮像光学系の配置を説明する。レンズユニット１１は４×４の２次元配列で１６個の撮像光学系１１０１〜１１１６をレンズ基板１１０上に一体化して配置した複眼レンズユニットである。本実施形態では、複数の撮像光学系を偶数×偶数の２次元配列で配置しており、中心の撮像光学系が存在しない。そこで、本実施形態の撮像装置では、レンズユニットの中心に最も近い第６の撮像光学系１１０６を基準撮像光学系としている。尚、基準撮像光学系は第６の撮像光学系１１０６に限られず、撮像光学系１１０１〜１１１６のいずれに設定してもよい。

本実施形態では、第６の撮像光学系１１０６を偏心させずに配置し、その他の撮像光学系１１０１〜１１０５，１１０７〜１１１６については偏心させて配置している。尚、基準光学系の光軸は必ずしも画素の中心にある必要はなく、基準光学系も偏心させてもよい。基準撮像光学系の偏心量との差が重要な要因の一つであるため、ここでは説明を分り易くする為に基準撮像光学系は偏心させていない。表４に各撮像光学系の偏心量を示す。

撮像光学系１１０１〜１１１６には互いに異なる偏心量を与えており、その水平方向お
よび垂直方向の成分は、−１／４画素、０画素、＋１／４画素、＋２／４画素のいずれかの値に設定している。図１３（Ａ）中の矢印は偏心方向を示しており、各撮像光学系１１０１〜１１１６は第４の撮像光学系１１０６に近づく方向に偏心されている。

また、図１３（Ｂ）を用いてカラーフィルターの配置を説明する。本実施形態の撮像装置では、各撮像光学系１１０１〜１１１６に対応して、撮像素子の撮像領域１２０１〜１２０６が定義される。１つの撮像領域内の各画素は同種類のカラーフィルターを用いており、かつ、隣り合う撮像領域とは異なる種類のカラーフィルターを用いている。具体的には、撮像光学系１１０１，１１０３，１１０９，１１１１に対応する撮像領域１２０１，１２０３，１２０９，１２０１１の各画素は青色（Ｂ）のカラーフィルターを有する。撮像光学系１１０２，１１０４，１１０５，１１０７，１１１０，１１１２，１１１３，１１１５に対応する撮像領域１２０２，１２０４，１２０５，１２０７，１２１０，１２１２，１２１３，１２１５内の各画素は緑色（Ｇ）のカラーフィルターを有する。撮像光学系１１０６，１１０８，１１１４，１１１６に対応する撮像領域１２０６，１２０８，１２１４，１２１６内の各画素は赤色（Ｒ）のカラーフィルターを有する。

また、各撮像光学系が、担当するカラーフィルターのスペクトルにおいて光学性能が高くなるように構成されている点は、実施形態４と同様である。

上記のような構成によって実施形態４と同様の効果が得られる。

次に、各個眼撮像系で取得した個眼画像から、多画素で高解像度な画像へ再構成する方法について図１４（Ａ）〜図１４（Ｇ）を用いて説明する。

図１４（Ａ）には第６の個眼撮像系における画角を示す。図１４（Ａ）には撮像領域の中央付近の４×４画素分の画角と中心画角を表現した。図１１（Ａ）中の実線の枠が各画素の担当する画角であり、黒塗りした枠が各画素の中心画角であって、その中の文字でカラーフィルターのチャンネルをＲ・Ｇ・Ｂで表現した。第６の個眼撮像系には赤色チャンネル（Ｒ）を設定しており、また撮像光学系１１０６の光軸を撮像素子の画素の中心に設定したことから、画角のシフトは発生しない。

図１４（Ｂ）には、図１４（Ａ）に示した画角と第５の個眼撮像系の画角とを重ねて表示した。第５の個眼撮像系には緑色チェンネル（Ｇ）のカラーフィルターが設置してある。第５の撮像光学系１１０５は水平方向に−１／４画素偏心させたため、図１４（Ａ）に示した基準撮像光学系１１０６の個眼撮像系の画角に対して、画角は右に１／４画素分シフトし、第６の個眼撮像系の画角の横に配置される。

図１４（Ｃ）には、図１４（Ｂ）に示した画角と第１の個眼撮像系の画角とを重ねて表示した。第１の個眼撮像系には青色チャンネル（Ｂ）のカラーフィルターが設置してある。第１の撮像光学系１１０１は水平方向に−１／４画素、垂直方向に−１／４画素偏心させたため、図１４（Ａ）に示した基準撮像光学系１１０６の個眼撮像系の画角に対して、画角は右に１／４画素分、下に１／４画素分シフトして配置される。

図１４（Ｄ）には、図１４（Ｃ）に示した画角と第２の個眼撮像系の画角とを重ねて表示した。第２の個眼撮像系には緑色チャンネル（Ｇ）のカラーフィルターが設置してある。第２の撮像光学系１１０２は水平方向に０画素、垂直方向に−１／４画素偏心させたため、図１４（Ａ）に示した基準撮像光学系１１０６の個眼撮像系の画角に対して、画角は下に１／４画素分シフトして配置される。

図１４（Ｅ）には、図１４（Ｄ）の画角と、第３、第４、第７、第８の個眼撮像系にお
ける画角を重ねて表示している。其々の撮像光学系に与えた画素ピッチに対する位相差に応じて個眼撮像系の画角をシフトさせて配置した。

図１４（Ｆ）には、図１４（Ｅ）の画角と、第９〜第１６の個眼撮像系における画角を重ねて表示した。全ての画素の画角が隙間なく配置され、撮像領域の全画素に其々異なる画角を設定している。また、画角に応じて画素を再配列した際には、カラーフィルターの配列がベイヤー配列になるように構成している。

以上のように、４×４の２次元配列した複数の撮像光学系に、撮像素子の画素ピッチに対して其々異なる位相を付与して配置したことにより、全撮像領域の各画素に別々の画角を設定している。また、個眼撮像系内では同一のカラーフィルターを用い、個眼撮像系毎にカラーフィルターを異ならせている。これらの構成により、各撮像領域から得られる画像から得られる再構成画像の画素をベイヤー配列とすることができる。各撮像領域の画素をベイヤー配列とすると、再構成画像は図１５（Ｃ）に示すように同じ色の画素が密集した不均等な疑似高解像度化がされ色むらや偽色が発生してしまう。これに対して、本実施形態であれば再構成画像がベイヤー配列なるため色むらや偽色の発生を抑制した、高画質な高解像度画像が得られる。

この再構成画像を既知のデモザイク処理によって、画素の総数を減らすこと無く多画素で高解像なカラー画像を取得することができる。これによって、全撮像領域の画素数とほぼ同数の画像を取得することが可能となる。

このように、２次元的に配列した複数の撮像光学系に異なる偏心量を与えることによって、全撮像領域の各画素に別々の画角を設定し、隣り合う画角でチャンネルを異ならせることで、多画素で高解像度な画像を取得可能な撮像装置を提供することができる。

＜実施形態６＞
実施形態４は２×２の撮像光学系を有し、実施形態５は４×４の撮像光学系を有する。本実施形態では、撮像光学系が偶数×偶数を有する一般的な場合を説明する。本実施形態においては、レンズユニット１１は、２Ｍ個×２Ｎ個の２次元配列で配列された撮像光学系を有する。各撮像光学系は同一の基板上に１ｍｍ以下の間隔で配置される。また、センサユニット１２の撮像素子１２０上には、各撮像光学系に対応した２Ｍ個×２Ｎ個の２次元配列した撮像領域が設けられる。一つの撮像領域の画素には同一種類のカラーフィルターが配置され、かつ、撮像領域単位でカラーフィルターがベイヤー配列で配置される。ここで、ＭおよびＮは１以上の整数であり、Ｍ＝ＮであってもＭ≠Ｎであってもよい。なお、実施形態４はＭ＝Ｎ＝１の場合、実施形態５はＭ＝Ｎ＝２の場合にそれぞれ相当する。

本実施形態においては、２Ｍ×２Ｎ個の撮像光学系のそれぞれを、撮像光学系（ｉ，ｊ）と称する。ここで、−Ｍ＋１≦ｉ≦Ｍ，−Ｎ＋１≦ｊ≦Ｎである。ｉは水平方向位置、ｊは垂直方向位置を表す。例えば、撮像光学系（Ｍ，Ｎ）が左上隅の光学系であり、撮像光学系（Ｍ，Ｎ−１）、（Ｍ−１，Ｎ）、（Ｍ−１，Ｎ−１）はそれぞれ、撮像光学系（Ｍ，Ｎ）の下側、右側、右下側の撮像光学系である。ただし、＋ｘ方向を左、＋ｙ方向を上としている。また、撮像光学系（−Ｍ＋１，−Ｎ＋１）、（−Ｍ＋１，Ｎ），（Ｍ，−Ｎ＋１）はそれぞれ、右下隅、右上隅、左下隅に位置する撮像光学系である。

本実施形態において、撮像光学系（ｉ，ｊ）は、その光軸が、撮像素子の基準画素の中心から水平方向に−ｉ／２Ｍ画素、垂直方向に−ｊ／２Ｎ画素分だけ偏心した状態で配置される。すなわち、撮像光学系（０，０）は、画素中心と光軸が一致するように配置されるのに対して、撮像光学系（ｉ，ｊ）はそれぞれ、撮像光学系（０，０）との距離に応じた量だけ、撮像光学系（０，０）に近づくように偏心して配置される。

このような構成により、複数の撮像領域における各画素に、それぞれが異なる撮像範囲を担当させることができ、実施形態４，５と同様の再構成処理・デモザイキング処理・鮮鋭化処理により、多画素で超高解像度なカラー画像が取得できる。

上述した撮像光学系の配置は、基準撮像光学系（０，０）の偏心量に対する相対的な各撮像光学系（ｉ，ｊ）の偏心量が、基準撮像光学系（０，０）の方向を向き、その大きさは基準撮像光学系（０，０）からの距離に応じた量となる配置と表現できる。なお、撮像光学系間の距離は、光軸間の距離である。なお、ここでは基準撮像光学系をレンズユニットの中心に最近接している撮像光学系（撮像光学系（０，０）、（０，１）、（１，０）、（１，１））のうちの一つとしたが、基準撮像光学系は２Ｍ×２Ｎの撮像光学系の中から任意に選択してもよい。

上述した撮像光学系の配置は、次のように特定することもできる。すなわち、当該配置では、水平方向に隣接する撮像光学系の間の偏心量の差が水平方向に１／２Ｍ画素だけ異なっており、垂直方向に隣接する撮像光学系の間の偏心量の差が垂直方向に１／２Ｎ画素だけ異なっている。斜め方向に隣接する撮像光学系の間の偏心量の差は、水平方向に１／２Ｍ画素かつ垂直方向に１／２Ｎ画素である。

なお、上述のように各撮像光学系を互いに近づけるように偏心させることが視差の軽減という観点から効果的であるが、必ずしもこのように偏心させる必要はない。各撮像光学系の偏心量が、何れかの撮像光学系の偏心量に対して相対的に、水平方向に−Ｋｍ／２Ｍ画素、垂直方向に−Ｋｎ／２Ｎ画素であり、２Ｍ×２Ｎ個の撮像光学系の全てについて偏心量が異なっていればよい。ここで、−Ｍ＋１≦Ｋｍ≦Ｍ，−Ｎ＋Ｋｎ≦ｊ≦Ｎである。上述したように本実施形態では視差が十分に小さいので、このようにしても多画素で超高解像度なカラー画像を取得できる。

上記の例では、対応する撮像領域の中心と光軸が一致する撮像光学系（すなわち偏心量がゼロの撮像光学系）が存在するが、そのような撮像光学系は存在しなくてもよい。例えば、撮像光学系（ｉ，ｊ）の偏心量を、水平方向にＤｘ−Ｋｍ／２Ｍ画素、垂直方向にＤｙ−Ｋｎ／２Ｎ画素としてもよい。特に、Ｄｘ＝１／２Ｍ，Ｄｙ＝１／２Ｎとした配置では、全ての撮像光学系が、レンズユニット１１の中心（複数の撮像光学系の中心）の方向に、当該中心からの距離に応じた量だけ偏心している。

さらに付言すると、必ずしも全ての撮像光学系の偏心量を異ならせなくてもよい。２Ｍ２Ｎ個の撮像光学系のうちの少なくとも一部が、他の撮像光学系と異なる偏心量で配置されていればよい。ただし、２Ｍ×２Ｎ個の撮像光学系のうちの所定数個以上の撮像光学系について、偏心量が互いに異なっていることが好ましい。この所定数は、例えば、４、８、あるいは２Ｍ×２Ｎの５０％以上の最小の整数、２Ｍ×２Ｎの８０％以上の最小の整数、２Ｍ×２Ｎの９０％以上の最小の整数であってよい。例えば、１４／１６（＝８７．５％）以上の撮像光学系の偏心量が互いに異なっていれば十分に解像感の高い画像が得られるもっとも、全ての撮像光学系について、偏心量が互いに異なっている場合が、最も良い効果が得られる。

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本開示の技術は、電子撮像素子を有するカラー撮像装置、特に、デジタルスチルカメラやデジタルビデオカメラ、携帯電話用カメラ、監視カメラ、ウェアラブルカメラ、医療用カメラ等に好適に利用できる。本開示の画素ずらしにより、カラー撮像装置の解像度を疑似的に向上させることができる。

１ 撮像装置
１１１〜１１９ 撮像光学系
１１０１〜１１２５ 撮像光学系
１２０ 撮像素子
１２１〜１２９ 撮像領域
１２０１〜１２２５ 撮像領域

Claims (20)

1. ２次元的に配列される複数の撮像光学系と、
   前記複数の撮像光学系にそれぞれ対応する複数の撮像領域を有する撮像素子と、
   を備え、
   前記複数の撮像光学系の少なくとも一部は、他の撮像光学系とは異なる偏心量で配置されている、
   ことを特徴とする撮像装置。
2. 前記複数の撮像光学系のうち所定数個以上の撮像光学系について、偏心量が互いに異なる、
   請求項１に記載の撮像装置。
3. 前記複数の撮像光学系の全てについて、偏心量が互いに異なる、
   請求項１または２に記載の撮像装置。
4. 前記複数の撮像領域における各画素を各画素の画角に応じて再配列するとベイヤー配列となるように、前記撮像素子の各画素にカラーフィルターが設けられている、
   請求項３に記載の撮像装置。
5. 前記複数の撮像光学系は、水平方向に（２Ｍ＋１）個および垂直方向に（２Ｎ＋１）個が２次元的に配列されており、
   各撮像領域の画素にはベイヤー配列のカラーフィルターが配置されている、
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
   ただし、Ｍ、Ｎは１以上の整数である。
6. 前記複数の撮像光学系の偏心量と、前記複数の撮像光学系のうちの基準撮像光学系の偏心量との差が、水平方向に２×Ｋｍ／（２Ｍ＋１）画素、垂直方向に２×Ｋｎ／（２Ｎ＋１）画素である、
   ことを特徴とする請求項５に記載の撮像装置。
   ただし、Ｋｍは−Ｍ≦Ｋｍ≦Ｍを満たす整数、Ｋｎは−Ｎ≦Ｋｎ≦Ｎを満たす整数である。
7. 前記基準撮像光学系は、前記複数の撮像光学系のうちの中心の撮像光学系である、
   請求項６に記載の撮像装置。
8. 前記基準撮像光学系の偏心量はゼロである、
   請求項６または７に記載の撮像装置。
9. 前記基準撮像光学系の偏心量に対する相対的な撮像光学系の偏心量は、前記基準撮像光学系の方向を向き、その大きさは前記基準撮像光学系からの距離に応じた量である、
   請求項６から８のいずれか１項に記載の撮像装置。
10. 前記複数の撮像光学系は、水平方向に２Ｍ個および垂直方向に２Ｎ個が２次元的に配列されており、
    一つの撮像領域の画素は同一種類のカラーフィルターが配置されており、撮像領域単位でカラーフィルターがベイヤー配列されている、
    請求項１から４のいずれか１項に記載の撮像装置。
    ただし、Ｍ、Ｎは１以上の整数である。
11. 前記複数の撮像光学系の偏心量と、前記複数の撮像光学系のうちの基準撮像光学系の偏心量との差が、水平方向にＫｍ／２Ｍ画素、垂直方向にＫｎ／２Ｎ画素である、
    ことを特徴とする請求項１０に記載の撮像装置。
    ただし、Ｋｍは−Ｍ＋１≦Ｋｍ≦Ｍを満たす整数、Ｋｎは−Ｎ＋１≦Ｋｎ≦Ｎを満たす整数である。
12. 前記基準撮像光学系は、前記複数の撮像光学系のうちの中心に最近接しているいずれかの撮像光学系である、
    請求項１１に記載の撮像装置。
13. 前記基準撮像光学系の偏心量はゼロである、
    請求項１１または１２に記載の撮像装置。
14. 前記基準撮像光学系の偏心量に対する相対的な撮像光学系の偏心量は、前記基準撮像光学系の方向を向き、その大きさは前記基準撮像光学系からの距離に応じた量である、
    請求項１１から１３のいずれか１項に記載の撮像装置。
15. 前記複数の撮像光学系のそれぞれは、前記撮像素子の中心の方向に、前記中心からの距離に応じた量だけ偏心している、
    請求項１１に記載の撮像装置。
16. 前記複数の撮像光学系のそれぞれは、対応する撮像領域の各画素が有するカラーフィルターに対応する波長において、その他の波長よりも光学性能が高くなるように構成されている、
    請求項１１から１５のいずれか１項に記載の撮像装置。
17. 前記撮像素子から取得した画像における前記複数の撮像領域の画素を、画角に従って再配列することにより、各撮像領域の画素数よりも多画素な再構成画像を生成する再構成処理部と、
    前記再構成画像をデモザイク処理してカラー画像を生成するデモザイク処理部と、
    をさらに備える、請求項１から１６のいずれか１項に記載の撮像装置。
18. 前記カラー画像に鮮鋭化処理を施す鮮鋭化処理部をさらに備える、請求項１７に記載の撮像装置。
19. 前記複数の撮像光学系は、同一の基板上に配置されている、
    請求項１から１８のいずれか１項に記載の撮像装置。
20. 隣接する撮像光学系のあいだの距離は１ｍｍ以下である、
    請求項１９に記載の撮像装置。

Images