JP5716465B2 - 撮像装置 - Google Patents

Description

本発明は、レンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている（非特許文献１）。また、撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズとイメージセンサとの間に（撮像レンズの焦点面に）、レンズアレイを配置したものである。これにより、レンズアレイ上に結像する被写体の映像を、イメージセンサにおいて、各視点方向の光線に分離しつつ受光し、同時刻に多視点の画像を取得することができる。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

上記のような撮像装置では、レンズアレイにおける１つのレンズに、イメージセンサ上の複数の画素が割り当てられており、そのレンズに割り当てられた画素数分の視点画像を取得可能である。例えば、１つのレンズが３×３の画素（９画素）に割り当てられている場合には、９視点分の画像を取得することができる。これらの視点画像は、例えば立体映像表示の際の左右の視点画像として利用可能である。

しかしながら、撮像レンズとイメージセンサとの間にレンズアレイを配設した場合、画素位置に応じて受光量が異なり、明るさにむらが生じるという問題がある。これらは撮影画像における画質劣化を招くため、改善が望まれる。

本発明はかかる問題点に鑑みてなされたもので、その目的は、レンズアレイを含む光学系を利用して撮影した画像において、明るさのむらを軽減することが可能な撮像装置を提供することにある。

本発明の撮像装置は、撮像レンズと、撮像レンズの結像面に設けられたレンズアレイを有する光学系と、撮像レンズおよび光学系の通過光線を受光して撮像データを取得する撮像素子とを備えたものである。レンズアレイが、撮像レンズの結像面に配置された複数の第１レンズ部と、それぞれが、第１レンズ部と１対１対応で配置されると共に、第１レンズ部を通過した主光線を光軸に近づく方向に向けて屈折させる複数の第２レンズ部とを有する。レンズアレイにおいて、第２レンズ部の主面が第１レンズ部の焦点面、第１レンズ部の主面が第２レンズ部の焦点面にそれぞれ配置され、かつ複数の第１レンズ部と複数の第２レンズ部とが一体化されて設けられている。

本発明の撮像装置では、撮像レンズを通過した被写体からの光線は、レンズアレイによって視点方向毎に分離され、撮像素子において受光される（撮像データが得られる）。レンズアレイを含む光学系が、各レンズを通過する主光線を、各レンズの光軸に近づく方向に向けて屈折させることにより、撮像素子の受光面に略直交する方向に導くことができる。

本発明の撮像装置によれば、撮像レンズ、レンズアレイおよび撮像素子を備え、レンズアレイを含む光学系が、レンズアレイにおける各レンズを通過する主光線を、その光軸に近づく方向に向けて屈折させるように構成されている。光学系からの主光線を、撮像素子の受光面に対して略直交する方向に導くことができ、これにより、撮像素子では局所的な光損失を低減することができる。よって、レンズアレイを含む光学系を利用して撮影した画像において、明るさのむらを軽減することが可能となる。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 図１に示した画像処理部における詳細構成を表す機能ブロック図である。 図１に示したレンズアレイおよびイメージセンサの概略構成を表す模式図である。 図３に示したレンズアレイにおける一体化構造を説明するための模式図である。 図１に示したイメージセンサ（表面照射型）およびオンチップレンズの概略構成を表す模式図である。 マイクロレンズ、オンチップレンズおよびイメージセンサの配置構成を表す模式図である。 視点方向毎の光線分離について説明するための模式図である。 イメージセンサにより取得される撮像データを説明するための模式図である。 図８に示した撮像データに基づいて生成される各視点画像を説明するための模式図である。 図９に示した視点画像の一例を表す模式図である。 視点画像間の視差量について説明するための模式図である。 比較例におけるイメージセンサへの入射光線について説明するための模式図である。 第１の実施の形態におけるイメージセンサへの入射光線について説明するための模式図である。 実施例および比較例の光線シミュレーションの一例である。 変形例１に係るレンズアレイおよびイメージセンサの概略構成を表す斜視図である。 変形例２に係るレンズアレイおよびイメージセンサの概略構成を表す斜視図である。 本発明の第２の実施形態に係るレンズアレイおよびイメージセンサの概略構成を表す斜視図である。 図１７に示したイメージセンサ上に設けられるオンチップレンズの概略構成を表す模式図である。 図１８に示したオンチップレンズの形成プロセス例について説明するための模式図である。 第２の実施の形態におけるイメージセンサへの入射光線について説明するための模式図である。 変形例３に係るイメージセンサおよびオンチップレンズの概略構成を表す模式図である。 変形例４に係るイメージセンサ（裏面照射型）およびオンチップレンズの概略構成を表す模式図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．第１の実施の形態（レンズアレイ自体に所定のレンズ面を設けた例）
２．変形例１（複数のレンズアレイで構成した例）
３．変形例２（レンズアレイとイメージセンサとを一体化した例）
４．第２の実施の形態（オンチップレンズを画素位置に応じて偏芯させた例）
５．変形例３（割り当て画素を増やした場合のオンチップレンズ偏芯の例）
６．変形例４（裏面照射型のイメージセンサの例）

＜第１の実施の形態＞
［全体構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、いわゆる単眼方式のライトフィールドカメラであり、被写体２を撮像して所定の画像処理を施すことにより、視点画像としての画像データＤoutを出力するものである。この撮像装置１は、撮像レンズ１１と、レンズアレイ１２Ａと、イメージセンサ１３と、画像処理部１４と、イメージセンサ駆動部１５と、制御部１６とを備える。尚、以下では、光軸Ｚ１に沿った方向をＺとし、光軸Ｚ１に直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。

撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。

レンズアレイ１２Ａは、撮像レンズ１１の焦点面（結像面）に配置されることにより、入射光線の視点方向を分離するための光学系である。レンズアレイ１２Ａは、後述するマイクロレンズ１２Ａ１がＸ方向およびＹ方向に沿って複数個２次元配置されたものである。これら複数のマイクロレンズ１２Ａ１は、例えばフォトレジスト等の樹脂材料よりなり、ガラスやプラスチック等よりなる基板上に、例えばレジストリフロー法やナノインプリント法を用いて、形成されたものである。あるいは、ガラスなどの基板の主面にエッチング処理を施して形成されたものであってもよい。このレンズアレイ１２Ａの光出射側には、イメージセンサ１３が配設されている。

イメージセンサ１３は、レンズアレイ１２Ａを通過した光線を受光して撮像データＤ０を取得するものである。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、ＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子により構成されている。このイメージセンサ１３の光入射側（レンズアレイ１２の側）には、後述するカラーフィルタ層１３２およびオンチップレンズ１３３が設けられている。

画像処理部１４は、イメージセンサ１３において取得された撮像データＤ０に対して所定の画像処理を施し、例えば視点画像としての画像データＤoutを出力するものである。図２に、画像処理部１４の構成例について示す。画像処理部１４は、例えば、視差画像生成部１４０と画像補正処理部１４２を有している。この画像処理部１４の具体的な画像処理動作については後述する。

イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。

制御部１６は、画像処理部１４およびイメージセンサ駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。

（レンズアレイ１２Ａの詳細構成例）
図３（Ａ）は、レンズアレイ１２Ａの斜視構成について、イメージセンサ１３と共に示したものであり、図３（Ｂ）は、１つのマイクロレンズ１２Ａ１と、それに割り当てられる画素との対応関係を表したものである。レンズアレイ１２Ａは、光入射面（撮像レンズ１１側の面）に、ＸＹ方向に２次元配置された複数の第１レンズ部Ｓ１を有しており、光出射面（イメージセンサ１３側の面）には、それぞれが、各第１レンズ部Ｓ１と正対する（同軸上に設けられた）複数の第２レンズ部Ｓ２を有している。本実施の形態では、レンズアレイ１２Ａにおいて、互いに正対する第１レンズ部Ｓ１および第２レンズ部Ｓ２が、１つのマイクロレンズ１２Ａ１を構成している。尚、図３（Ａ）では、簡便化のため、レンズアレイ１２Ａとして、ＸＹ方向に３×３の配列で設けられた計９つのマイクロレンズ１２Ａ１のみを示し、イメージセンサ１３としては、そのようなレンズアレイ１２Ａに対応する９×９の画素Ｐからなる領域（９つのブロック領域Ｕ）についてのみ示している。

第１レンズ部Ｓ１は、例えば撮像レンズ１１の焦点面に配置され、撮像レンズ１１から入射した光線を、複数の視点方向に分離しつつイメージセンサ１３へ向かう方向に導くようになっている。第２レンズ部Ｓ２は、第１レンズ部Ｓ１を通過した主光線を各マイクロレンズ１２Ａ１（第１レンズ部Ｓ１）の光軸に近づく方向に向けて屈折させる機能を有する。

詳細には、マイクロレンズ１２Ａ１において、第１レンズ部Ｓ１の主面（主平面）に第２レンズ部Ｓ２の焦点面、第２レンズ部Ｓ２の主面に第１レンズ部Ｓ１の焦点面がそれぞれ配されるように、第１レンズ部Ｓ１および第２レンズ部Ｓ２が設けられている。正対する第１レンズ部Ｓ１および第２レンズ部Ｓ２において、それぞれの主面と焦点面とがこのような関係で配置されていれば、レンズ形状（物体側，像側の各面の凹凸およびその曲率）やレンズ材料は特に限定されない。但し、ここでは、第１レンズ部Ｓ１が、撮像レンズ１１側に凸面を向けたレンズ形状、第２レンズ部Ｓ２が、イメージセンサ１３側に凸面を向けたレンズ形状を有している場合について説明する。

本実施の形態では、このような第１レンズ部Ｓ１および第２レンズ部Ｓ２が一体的に設けられている（一体化構造を有している）。図４（Ａ）〜（Ｃ）に、第１レンズ部Ｓ１および第２レンズ部Ｓ２の一体化構造の一例を示す。図４（Ａ），（Ｂ）に示したように、第１レンズ部Ｓ１および第２レンズ部Ｓ２は、例えばガラスやプラスチックなどの基板１２０の両面に、例えばフォトレジストなどの樹脂材料からなるレンズ層１２１が設けられた構造とすることができる。この場合、第１レンズ部Ｓ１および第２レンズ部Ｓ２はそれぞれ、図４（Ａ）のように平凸形状であってもよいし、図４（Ｂ）のように凹凸形状であってもよい。あるいは図示はしないが、両凸形状、両凹形状などの形状としてもよい。第１レンズ部Ｓ１および第２レンズ部Ｓ２の各レンズ形状は、使用される樹脂材料の屈折率等を考慮して適切に設定されればよい。また、第１レンズ部Ｓ１および第２レンズ部Ｓ２は、単層構造であってもよいし、異なる材料が積層された多層構造となっていてもよい。また、上記のような配置関係（互いの主面と焦点面とが一致する位置関係）を有してさえいれば、第１レンズ部Ｓ１および第２レンズ部Ｓ２間において、レンズ形状やレンズ材料が互いに同一である必要はなく、互いに異なっていてもよい。

あるいは、図４（Ｃ）に示したように、基板１２０（レンズ基材）の両面をエッチングによって直にパターニングすることにより、レンズ形状を作り込んだものであってもよい。

上記のような第１レンズ部Ｓ１および第２レンズ部Ｓ２を有するレンズアレイ１２Ａの光出射側には、所定の空隙を介してイメージセンサ１３が配置されている（イメージセンサ１３が、レンズアレイ１２Ａの通過光線を受光可能な位置に配置されている）。レンズアレイ１２Ａを構成する１つのマイクロレンズ１２Ａ１には、イメージセンサ１３におけるｍ×ｎの画素Ｐ（ブロック領域Ｕ）が割り当てられて配置されている。マイクロレンズ１２Ａ１のＸＹ平面形状は、ブロック領域Ｕに等しい方形状となっている。ｍ，ｎは１以上の整数であり（但し、ｍ＝ｎ＝１の場合は除く）、例えばｍ＝ｎとなる正方形のブロック領域Ｕに、ＸＹ平面形状が正方形となるマイクロレンズ１２Ａ１が対向配置されている。ｍ×ｎの値が大きくなるに従って、即ち１つのマイクロレンズに割り当てられる画素Ｐの数が多くなるに従って、得られる視点画像数が多くなる（分離可能な視点数が増える）。一方、レンズへの割り当て画素Ｐの数が少なくなる（ｍ×ｎの値が小さくなる）に従って、各視点画像における画素数（解像度）が高くなる。ここでは、一例として、１つのマイクロレンズ１２Ａ１に３×３（ｍ＝ｎ＝３）の画素Ｐよりなるブロック領域Ｕが割り当てられた場合を例に挙げて説明する。

（イメージセンサ１３およびオンチップレンズの構成例）
図５は、イメージセンサ１３およびオンチップレンズ１３３の断面構成を表したものである。イメージセンサ１３は、例えばＰＩＮフォトダイオードなどの光電変換素子を含むセンサ部１３０上に、配線層１３１とカラーフィルタ層１３２がこの順に積層されたものである。イメージセンサ１３のカラーフィルタ層１３２の側には、集光用レンズとしてのオンチップレンズ１３３が画素Ｐ毎に設けられている。このイメージセンサ１３は、センサ部１３０の受光面上に配線層１３１を有する、いわゆる表面照射型のＣＭＯＳイメージセンサである。

カラーフィルタ層１３２としては、例えば、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の各色のフィルタが例えば１：２：１の比率で配列（ベイヤー配列）してなるものが用いられる。

図６は、マイクロレンズ１２Ａ１、オンチップレンズ１３３およびイメージセンサ１３のＸＺ断面構成を表したものである。詳細には、マイクロレンズ１２Ａ１の光軸Ｚ２を通るＸＺ断面（ブロック領域Ｕの中央にある中央画素（Ｐ０）と、これとのＸ方向において隣接する周辺画素（Ｐ１）とを通るＸＺ断面）について示している。このように、本実施の形態では、上述のような第１レンズ部Ｓ１および第２レンズ部Ｓ２を有するマイクロレンズ１２Ａ１の第２レンズ部Ｓ２と、イメージセンサ１３におけるブロック領域Ｕとが正対して所定の間隔をあけて配置されている。これにより、詳細は後述するが、マイクロレンズ１２Ａ１へ入射した光線を、第１レンズ部Ｓ１および第２レンズ部Ｓ２において屈折させ、イメージセンサ１３のセンサ部１３０へと導くようになっている。

［作用、効果］
（１．撮像データの取得）
撮像装置１では、撮像レンズ１１とイメージセンサ１３との間において、撮像レンズ１１の焦点面にレンズアレイ１２Ａが設けられていることにより、イメージセンサ１３において、被写体２からの光線が、その強度分布に加え進行方向（視点方向）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２Ａを通過した光線は、視点方向毎に分離され、イメージセンサ１３の異なる画素において受光される。例えば、図７に示したように、撮像レンズ１１を通過してマイクロレンズ１２Ａ１へ入射した光線のうち、ある視点方向（第１視点）からの光線（光束）ＬＡは画素「Ａ」、それとは異なる視点方向（第２，３視点）からの光線ＬＢ，ＬＣは、画素「Ｂ」「Ｃ」において、それぞれ受光される。このように、マイクロレンズ１２Ａ１に割り当てられたブロック領域Ｕでは、互いに異なる視点方向からの光線が、互いに異なる画素において受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データＤ０が取得される。

図８を参照して、撮像データＤ０における画素データ配列について説明する。本実施の形態のように、１つのマイクロレンズ１２Ａ１に３×３のブロック領域Ｕが割り当てられている場合、イメージセンサ１３では、そのブロック領域Ｕ毎に、計９つの視点方向からの光線が受光され、Ａ〜Ｉの画素データが取得される。尚、図８に示した撮像データＤ０は、イメージセンサ１３の９×９の画素Ｐからなる領域（９つのブロック領域Ｕ）から得られる撮像データを概念的に表したものである。この撮像データＤ０は、イメージセンサ１３に設けられたカラーフィルタ層１３２の色配列に対応したカラーのデータとして記録される。上記のようにして得られた撮像データＤ０は、画像処理部１４へ出力される。

（２．視点画像生成）
画像処理部１４は、図２に示した視点画像生成部１４０において、イメージセンサ１３から出力された撮像データＤ０に基づいて、所定の画像処理を行い、視点画像としての画像データＤoutを出力する。

具体的には、まず、視点画像生成部１４０が、撮像データＤ０に基づいて複数の視点画像を生成する処理を行う。即ち、図８に示したような撮像データＤ０に対し、同一の視点方向の画素データ（各ブロック領域Ｕ同士の間において互いに同一の位置にある画素から抽出される画素データ）同士を合成する。例えば、撮像データＤ０の中から全ての画素データ「Ａ」を抽出してこれらを合成する（図９（Ａ））。他の画素データ「Ｂ」〜「Ｉ」についても同様の処理を行う（図９（Ｂ）〜（Ｉ））。このようにして、視点画像生成部１４０は、撮像データＤ０に基づいて、複数の視点画像（ここでは、第１〜９視点の計９つの視点画像）を生成する。これらの視点画像は、視点画像データＤ１として、画像合成処理部１４１へ出力される。

上記のような合成処理後の視点画像は、視点画像データＤ１として、画像補正処理部１４２へ出力される。画像補正処理部１４２は、視点画像データＤ１に対し、例えばデモザイク処理等のカラー補間処理やホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像データを画像データＤoutとして出力する。この画像データＤoutは、撮像装置１の外部へ出力されるようにしてもよいし、撮像装置１の内部に設けられた記憶部（図示せず）に記憶するようにしてもよい。

但し、上記画像データＤoutは、視点画像に対応するデータであってもよいし、視点画像生成前の撮像データＤ０であってもよい。即ち、上記のような視点画像生成処理（抽出して合成する画素データの並べ替え処理）を行わずに、イメージセンサ１３から読み出されたデータ配列のままの撮像データＤ０を外部へ出力するか、あるいは記憶部に記憶するようにしてもよい。

ここで、図１０（Ａ）〜（Ｉ）に、図９（Ａ）〜（Ｉ）に示したデータ配列に対応する視点画像の一具体例（視点画像Ｒ１〜Ｒ９）を示す。被写体２の画像としては、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを示している。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズの焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。撮像装置１では、フォーカスした「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図１０（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。

上記のような９つの視点画像Ｒ１〜Ｒ９は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、例えば左視点方向および右視点方向における２つの視点画像を用いて、立体映像表示を行うことができる。この場合、表示される映像の立体感は、それら２つの視点画像間の視差量に応じたものとなる。例えば、図１０（Ｄ）に示した視点画像Ｒ４と、図１０（Ｆ）に示した視点画像Ｒ６とを上記２つの視点画像として用いた場合、表示映像における立体感は、次のようなものとなる。即ち、「山」は「人」よりも奥まって見えるが、その度合いは、図１１（Ａ），（Ｂ）に示したように、視点画像Ｒ４における画像Ｒｂ４と視点画像Ｒ６における画像Ｒｂ６との位置ずれ量（視差量）Ｗｂに応じたものとなる。一方、「花」は「人」よりも手前に飛び出して見えるが、その度合いは、視点画像Ｒ４における画像Ｒｃ４と視点画像Ｒ６における画像Ｒｃ６との位置ずれ量Ｗｃに応じたものとなる。そして、位置ずれ量Ｗｂ，Ｗｃが大きければ大きい程、「山」はより奥まって、「花」はより飛び出して、それぞれ観察されることとなる。

（レンズアレイ１２Ａによる作用）
上述のように、撮像装置１では、撮像レンズ１１を通過した光線を、レンズアレイ１２Ａによって、各視点方向に分離しつつイメージセンサ１３へ導くことで、イメージセンサ１３の各画素Ｐにおいて各視点方向の光線をそれぞれ受光可能となっている。ここで、上述のような第１レンズ部Ｓ１および第２レンズ部Ｓ２を有するレンズアレイ１２Ａを設けることによる作用について、図１２と比較しつつ説明する。

（比較例）
図１２は、本実施の形態の比較例として、焦点距離ｆのマイクロレンズ（マイクロレンズ１０２）を用いた場合における、イメージセンサ１０３への入射光線について表したものである。マイクロレンズ１０２から、マイクロレンズ１０２の焦点距離ｆだけ離れた位置にオンチップレンズ１０３３が設けられており、マイクロレンズ１０２を通過した光線がオンチップレンズ１０３３によって集光され、イメージセンサ１０３のセンサ部１０３０へ導かれるようになっている。

このような比較例では、マイクロレンズ１０２を通過した主光線のうち、イメージセンサ１０３のブロック領域Ｕにおける中央画素Ｐ０へ入射する主光線（Ｌ１００）は、マイクロレンズ１０２の光軸に沿ってセンサ部１０３０の受光面に垂直に入射する。このため、この中央画素Ｐ０では、マイクロレンズ１０２を通過した主光線Ｌ１００がほとんどロスなく受光される。

ところが、マイクロレンズ１０２を通過した後、ブロック領域Ｕの周辺画素Ｐ１へ向けて入射する主光線（Ｌ１０１）は、画素Ｐに対して斜めに入射するため、センサ部１０３０に到達する前に、例えば配線層１０３１などに吸収され（Ｘ）、中央画素Ｐ０に比べ、受光量が減少する。また、配線層１０３１に設けられたメタル１０３１ａに吸収されることにより、いわゆる光電効果によって電子が励起される。これが撮像データにおけるノイズ成分となる。このような画素位置に応じた受光むらやノイズ成分の発生は画質劣化の要因となる。

（本実施の形態）
これに対し、本実施の形態では、図１３に示したように、レンズアレイ１２Ａを構成する各マイクロレンズ１２Ａ１が、所定の位置関係で配置された第１レンズ部Ｓ１および第２レンズＳ２を有している。これにより、撮像レンズ１１および第１レンズ部Ｓ１を通過する主光線Ｌのうち、イメージセンサ１３のブロック領域Ｕにおける中央画素Ｐ０へと向かう主光線（Ｌ０）は、マイクロレンズ１２Ａ１を光軸Ｚ２に沿って通過し、センサ部１３０の受光面（フォトダイオード１３０ａ）に垂直に（略垂直に）入射する。このため、中央画素Ｐ０では、マイクロレンズ１２Ａ１を通過した主光線Ｌ０がロスなくフォトダイオード１３０ａにおいて受光され易い。

他方、主光線Ｌのうち、ブロック領域Ｕにおける周辺画素Ｐ１へ向かう方向へ通過する主光線（Ｌ１）は、第２レンズ部Ｓ２において、光軸Ｚ２に近づく方向へ向けて屈折される。尚、図示しないが、ブロック領域Ｕにおいて中央画素と対角線方向において隣接する周辺画素へ向かう主光線についても同様に、第２レンズ部Ｓ２において、光軸Ｚ２に近づく方向へ向けて屈折される。これにより、撮像レンズ１１および第１レンズ部Ｓ１を通過した主光線Ｌは、各画素Ｐにおいて受光面１３０ｂに略垂直に入射し易くなる。即ち、局所的な領域において光線が配線層１３０に吸収されるなど、光損失が生じることが低減され、受光量にむらが生じることが抑制される。また、配線層１３０に吸収される光線が減少することで、光電効果によるノイズの発生が低減される。

以上のように本実施の形態では、撮像レンズ１１、レンズアレイ１２Ａおよびイメージセンサ１３を用いて、視点方向を分離しつつ画像取得を行う撮像装置１において、レンズアレイ１２Ａとして、第１レンズ部Ｓ１と第２レンズ部Ｓ２とを所定の位置関係で配置する。このように、レンズアレイ１２Ａに第２レンズ部Ｓ２を設けることで、撮像レンズ１１および第１レンズ部Ｓ１を通過した主光線を、イメージセンサ１３における各画素Ｐの受光面に略垂直に入射させることができる。これにより、イメージセンサ１３では局所的な光損失を低減することができる。よって、レンズアレイ１２Ａを含む光学系を利用して撮影した画像において、明るさのむらを軽減することが可能となる。

図１４（Ａ），（Ｂ）に、本実施の形態のレンズアレイ１２Ａ（マイクロレンズ１２Ａ１）を用いた場合の光線シミュレーションの一例について示す。尚、図１４（Ａ）が、本実施の形態に対応する実施例であり、図１４（Ｂ）は、図１２に示した比較例に係るシミュレーション結果である。このように、図１４（Ｂ）に示した比較例では、受光面１０３０ｂへ入射する光線の分布にばらつきが生じているのに対し、図１４（Ａ）に示した実施例では、第２レンズ部Ｓ２における屈折作用により、受光面１３０ｂへ入射する光線の分布にあまりばらつきがみられない。この結果からも、第２レンズ部Ｓ２に設けた本実施の形態において、受光量のむらを軽減できることがわかる。

以下、上記第１の実施の形態の変形例（変形例１，２）について説明する。変形例１，２は、上記第１の実施の形態における撮像装置１において、撮像レンズ１１とイメージセンサ１３との間に配設されるレンズアレイの他の構成に係るものである。尚、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

＜変形例１＞
図１５は、変形例１に係るレンズアレイ１２Ｂの斜視構成について、イメージセンサ１３と共に示したものである。本変形例のレンズアレイ１２Ｂは、上記第１の実施の形態のレンズアレイ１２Ａと同様、撮像レンズ１１（図１５には図示せず）側に複数の第１レンズ部Ｓ１、イメージセンサ１３側に複数の第２レンズ部Ｓ２をそれぞれ有し、両者が互いに正対して配置されている。尚、図１５においても、簡便化のため、第１レンズ部Ｓ１（第２レンズ部Ｓ２）をＸＹ方向に３×３の配列で設け、イメージセンサ１３としては、そのようなレンズアレイ１２Ｂに対応する９×９の画素からなる領域についてのみ示している。

但し、本変形例では、レンズアレイ１２Ｂにおいて、第１レンズ部Ｓ１と第２レンズ部Ｓ２との間が空気層１７となっている。即ち、第１レンズ部Ｓ１と第２レンズ部Ｓ２とが別体として所定の距離（光学的距離は上記第１の実施の形態におけるレンズ間距離と同じ）だけ離隔して配設されている。第１レンズ部Ｓ１および第２レンズ部Ｓ２の各レンズ形状およびレンズ材料は、上述のように特に限定されるものではないが、ここでは、一例として各レンズ形状が平凸レンズである場合を示している。

このような構成においても、第１レンズ部Ｓ１は、例えば撮像レンズ１１の焦点面に配置され、撮像レンズ１１から入射した光線を、複数の視点方向に分離しつつイメージセンサ１３へ向かう方向に導くようになっている。第２レンズ部Ｓ２は、第１レンズ部Ｓ１を通過した主光線を第１レンズ部Ｓ１の光軸に近づく方向に向けて屈折させる機能を有する。また詳細には、第１レンズ部Ｓ１の主面に第２レンズ部Ｓ２の焦点面、第２レンズ部Ｓ２の主面に第１レンズ部Ｓ１の焦点面がそれぞれ配されるように、第１レンズ部Ｓ１および第２レンズ部Ｓ２が設けられている。

また、このようなレンズアレイ１２Ｂの光出射側には、上記第１の実施の形態と同様、イメージセンサ１３が配置され、レンズアレイ１２Ｂを構成する１つのマイクロレンズ（正対する第１レンズ部Ｓ１と第２レンズ部Ｓ２に相当）には、イメージセンサ１３のｍ×ｎの画素（ブロック領域Ｕ）が割り当てられている。

本変形例のように、レンズアレイ１２Ｂにおいて第１レンズ部Ｓ１と第２レンズ部Ｓ２とを別体として配置してもよく、このような場合であっても、上記第１の実施の形態と同等の効果を得ることができる。

＜変形例２＞
図１６は、変形例２に係るレンズアレイ１２Ａおよびイメージセンサ１３の一体化構造を模式的に表したものである。尚、図１６では、オンチップレンズの図示を省略している。本変形例では、第１レンズ部Ｓ１および第２レンズ部Ｓ２を有するレンズアレイ１２Ａが、イメージセンサ１３と一体化して設けられている。即ち、レンズアレイ１２Ａの第２レンズ部Ｓ２とイメージセンサ１３とが、図示しないオンチップレンズと樹脂層１８を介して積層された構造を有する。このような一体化構造は、イメージセンサ１３上に、少なくともオンチップレンズ、樹脂層１８、第２レンズ部Ｓ２および第１レンズ部Ｓ１を積層することにより作製可能である。例えば、イメージセンサ１３上に、オンチップレンズ、樹脂層１８および第２レンズ部Ｓ２を順に形成した後、更に樹脂層を介して第１レンズ部Ｓ１を形成することにより一体化構造を作製することができる。あるいは、レンズアレイ１２Ａを上述したような手法を用いて形成した後、このレンズアレイ１２Ａを樹脂層１８を介してオンチップレンズが形成されたイメージセンサ１３上に接着するようにしてもよい。いずれの場合であっても、各層に使用する材料の屈折率を考慮して、第１レンズ部Ｓ１および第２レンズ部Ｓ２の各レンズ形状を適宜設計すればよい。

変形例のように、レンズアレイ１２Ａをイメージセンサ１３およびオンチップレンズと一体的に設けてもよく、このような場合であっても、上記第１の実施の形態と同等の効果を得ることができる。また、レンズアレイ１２Ａからイメージセンサ１３までを一体化構造とすることにより、それぞれの部材同士を位置合わせすることなく、装置内に配設可能となる。また、経時的に部材同士に位置ずれが生じることも抑制され、位置合わせ精度の点においても優れている。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。尚、上記第１の実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

［構成］
図１７は、第２の実施の形態に係るレンズアレイ１２Ｃの斜視構成について、イメージセンサ１３と共に示したものである。本実施の形態のレンズアレイ１２Ｃは、上記第１の実施の形態の第１レンズ部Ｓ１に相当するマイクロレンズ１２Ｃ１を、撮像レンズ１１の焦点面に複数有するが、第２レンズ部Ｓ２については設けられていない。尚、図１７においても、簡便化のため、第１レンズ部Ｓ１をＸＹ方向に３×３の配列で設け、イメージセンサ１３としては、そのようなレンズアレイ１２Ｂに対応する９×９の画素からなる領域についてのみ示している。本実施の形態では、イメージセンサ１３の受光面側に設けられたオンチップレンズ（後述のオンチップレンズ１３３Ａ〜１３３Ｃ）において、上記第１の実施の形態における第２レンズ部Ｓ２と同様の機能を有している。以下、オンチップレンズ１３３Ａ〜１３３Ｃの構成について詳細に説明する。

（オンチップレンズ１３３Ａ〜１３３Ｃ）
図１８は、イメージセンサ１３上のオンチップレンズ１３３Ａ，１３３Ｂの断面構成を表したものである。本実施の形態においても、イメージセンサ１３上に、上記第１の実施の形態と同様、集光用レンズとして機能するオンチップレンズ１３３Ａ〜１３３Ｃ（１３３Ｃは図１８には図示せず）が、画素Ｐ毎に設けられている。但し、本実施の形態では、オンチップレンズ１３３Ａ〜１３３Ｃにおける光軸（いわゆる芯）Ａ０〜Ａ２が、画素位置に応じて異なる位置に設けられている。

ブロック領域Ｕにおいて中央画素Ｐ０上に設けられたマイクロレンズ１３３Ａは、ＸＹ平面において、光軸Ａ０がレンズ開口形状（ＸＹ平面形状）の中心と一致するようなレンズ形状を有している。一方、Ｘ方向およびＹ方向において中央画素Ｐ０と隣接する周辺画素Ｐ１に配置されたマイクロレンズ１３３Ｂでは、光軸Ａ１がレンズ開口形状の中心から内側（中央画素Ｐ０に向けて）にシフトしてなるレンズ形状を有している。更に、ブロック領域Ｕの対角線方向において中央画素Ｐ０と隣接する周辺画素Ｐ２に配置されたマイクロレンズ１３３Ｃでは、光軸Ａ２がレンズの開口形状の中心から内側に向けて、よりシフトしてなるレンズ形状を有している。即ち、中央画素Ｐ０（ブロック領域ＵのＸＹ平面における中心位置）からの距離が大きい程、オンチップレンズは、光軸の位置がより内側へシフトしたようなレンズ形状を有している。

尚、このようなオンチップレンズ１３３Ａ〜１３３Ｃは、母体レンズを部分的に切り出した形状を有するが、その際、画素位置に応じて、切り出す領域をシフトさせればよい。即ち、図１９（Ａ）に示したように、マイクロレンズ１３３Ａでは、母材レンズ１１０の中心部分のみを切り出せばよく、図１９（Ｂ）に示したように、マイクロレンズ１３３Ｂでは、母材レンズ１１０の中心からシフトさせた部分を切り出した形状とすればよい。マイクロレンズ１３３Ｃについても同様である。

［作用・効果］
本実施の形態においても、上記第１の実施の形態と同様、図１に示したような撮像レンズ１１とイメージセンサ１３との間に、レンズアレイ１２Ｃが設けられることにより、撮像レンズ１１を通過した光線は、レンズアレイ１２Ｃによって、視点方向毎に分離され、イメージセンサ１３の異なる画素において受光される。これにより、イメージセンサ１３では、各視点方向からの光線が、互いに異なる画素において受光され、撮像データＤ０が取得される。このような撮像データＤ０に対し、上述のような画像処理が施されることにより、複数の視点画像が得られる。

但し、本実施の形態では、図２０に示したように、撮像レンズ１１およびマイクロレンズ１２Ｃ１を通過した主光線Ｌのうち、イメージセンサ１３のブロック領域Ｕにおける中央画素Ｐ０へ向かう主光線Ｌ０は、オンチップレンズ１３３Ａを光軸Ｚ２に沿って通過し、センサ部１３０の受光面１３０ｂ（フォトダイオード１３０ａ）に垂直に（略垂直に）入射する。このため、中央画素Ｐ０では、マイクロレンズ１２Ｃ１を通過した主光線Ｌ０がロスなくフォトダイオード１３０ａにおいて受光され易い。

他方、主光線Ｌのうち、周辺画素Ｐ１へ向かう方向へ通過した主光線（Ｌ１）は、その周辺画素Ｐ１上に設けられたオンチップレンズ１３３Ｂにおいて、光軸Ｚ２に近づく方向へ向けて屈折される。尚、図２０には図示しないが、周辺画素Ｐ２へ向かう方向へ通過した主光線は、その周辺画素Ｐ２上に設けられたオンチップレンズ１３３Ｃにおいて、光軸Ｚ２に近づく方向へ向けて屈折される。これにより、撮像レンズ１１およびマイクロレンズ１２Ｃ１を通過した主光線Ｌは、各画素Ｐにおいて受光面１３０ｂに略垂直に入射し易くなる。即ち、受光量にむらが生じることが抑制され、また、配線層１３０に吸収される光線が減少することで、光電効果によるノイズの発生が低減される。

以上のように本実施の形態では、撮像レンズ１１、レンズアレイ１２Ｃおよびイメージセンサ１３を用いて、視点方向を分離しつつ画像取得を行う場合、イメージセンサ１３のレンズアレイ１２Ｃ側に、画素位置に応じて光軸がシフトしたレンズ形状を有するオンチップレンズ１３３Ａ〜１３３Ｃを配置する。これにより、撮像レンズ１１およびレンズアレイ１２Ｃを通過した主光線を、イメージセンサ１３における各画素Ｐの受光面に略垂直に入射させることができる。よって、上記第１の実施の形態と同等の効果を得ることができる。

以下、上記第２の実施の形態の変形例（変形例３）について説明する。変形例３は、上記第２実施の形態における撮像装置１において、イメージセンサ１３上に配設されるオンチップレンズの他の構成に係るものである。尚、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

＜変形例３＞
上記第２の実施の形態では、３×３の画素からなるブロック領域Ｕにマイクロレンズ１２Ｃ１が割り当てられた場合を例に挙げたが、割り当て画素数がそれよりも増えた場合であっても上記第２の実施の形態と同様、ブロック領域Ｕにおける画素位置に応じて、オンチップレンズの光軸を内側にシフトしていればよい。図２１に、その一例として５×５の画素を割り当てた場合の一部のマイクロレンズ（１３３Ａ，１３３Ｂ，１３３Ｄ）について示す。このように、割り当て画素数が増えた場合であっても、同心円状に各オンチップレンズの光軸が配置されるように構成すればよい。

＜変形例４＞
上記第１および第２の実施の形態では、イメージセンサ１３として、表面照射型のものを例に挙げて説明したが、イメージセンサ１３は、いわゆる裏面照射型であってもよい。図２２にその一例を示す。このような裏面照射型のイメージセンサ１３では、フォトダイオード１３０ａを含むセンサ部１３０の光入射側と反対側に配線層１３１が設けられるため、オンチップレンズ１３３を通過した光線を配線層１３１を介さずに、センサ部１３０において受光することができる。このため、表面照射型に比べ受光感度が高く、約２倍程度の明るさを実現できる。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ割り当て画素（画素領域）ｍ×ｎ＝３×３である場合を例に挙げて説明したが、各レンズに割り当てられる画素領域は、これに限定されず、例えばｍ，ｎが２または４以上であってもよいし、ｍ，ｎが互いに異なっていてもよい。

更に、上記実施の形態等では、本発明の撮像装置の一例として、視点画像を生成する画像処理部を備えたものを例に挙げて説明したが、この画像処理部については必ずしも備えていなくともよい。

１…撮像装置、１１…撮像レンズ、１２Ａ，１２Ｂ，１２Ｃ…レンズアレイ、１２Ａ１，１２Ｃ１…マイクロレンズ、１３…イメージセンサ、１４…画像処理部、１５…イメージセンサ駆動部、１６…制御部、１３３，１３３Ａ〜１３３Ｃ…オンチップレンズ、１４０…視点画像生成部、１４２…画像補正処理部、１４３…奥行き情報取得部、２…被写体、Ｓ１…第１レンズ部、Ｓ２…第２レンズ部、Ｄ０…撮像データ、Ｄ１…視点画像データ、Ｄout…画像データ、Ｒ１〜Ｒ９…視点画像。

Claims (4)

1. 撮像レンズと、
   前記撮像レンズの結像面に設けられたレンズアレイを有する光学系と、
   前記撮像レンズおよび前記光学系の通過光線を受光して撮像データを取得する撮像素子とを備え、
   前記レンズアレイが、
   前記撮像レンズの結像面に配置された複数の第１レンズ部と、
   それぞれが、前記第１レンズ部と１対１対応で配置されると共に、前記第１レンズ部を通過した主光線を光軸に近づく方向に向けて屈折させる複数の第２レンズ部と
   を有し、
   前記レンズアレイにおいて、前記第２レンズ部の主面が前記第１レンズ部の焦点面、前記第１レンズ部の主面が前記第２レンズ部の焦点面にそれぞれ配置され、かつ
   前記複数の第１レンズ部と前記複数の第２レンズ部とが一体化されて設けられている
   撮像装置。
2. 前記レンズアレイと前記撮像素子とが一体化されて設けられている
   請求項１に記載の撮像装置。
3. 前記撮像素子が２次元配置された複数の画素を含み、
   前記光学系として、前記レンズアレイと、前記撮像素子の前記レンズアレイ側に、それぞれが画素毎に配置されると共に、集光機能を有する複数の第３レンズ部とを有し、
   前記複数の第３レンズ部が、前記レンズアレイの各レンズを通過した主光線を前記光軸に近づく方向に向けて屈折させる
   請求項１に記載の撮像装置。
4. 前記レンズアレイにおける各レンズが、前記複数の画素のうちのｍ×ｎ（ｍ，ｎは１以上の整数、但しｍ＝ｎ＝１の場合を除く）のブロック領域に対向配置され、
   前記複数の第３レンズ部はそれぞれ、前記ブロック領域における画素位置に応じて異なる位置に光軸を有する
   請求項３に記載の撮像装置。

Images