JP2017524968A

JP2017524968A - 視差アーティファクトがない屈曲光学系を使用するマルチカメラシステム

Info

Publication number: JP2017524968A
Application number: JP2016572632A
Authority: JP
Inventors: トドール・ゲオルギエフ・ゲオルギエフ; トーマス・ウェスリー・オズボーン; セルジュ・ラドゥ・ゴマ
Original assignee: クアルコム，インコーポレイテッド
Priority date: 2014-06-20
Filing date: 2015-05-29
Publication date: 2017-08-31
Also published as: ES2841402T3; BR112016029625A2; CN110647000A; CN106462036A; US9733458B2; US20150373263A1; US9386222B2; KR20170022998A; EP3158394A2; EP3158394B1; WO2015195296A3; CN106462036B; CA2951263A1; US20160286121A1; CN110647000B; WO2015195296A2

Abstract

態様は、取り込まれた画像内に視差アーティファクトをほとんどまたはまったく示さないアレイカメラに関する。たとえば、アレイカメラの中央ミラー表面の平面は、対応するカメラ位置と仮想カメラ位置との間のラインに沿った中点において、ラインと直交して位置し得る。したがって、アレイ内のすべてのカメラの円錐は、ミラーによって屈曲された後、仮想カメラ位置から来るように現れる。アレイ内の各センサは、中央ミラープリズムの対応するファセットを使用して画像シーンの一部を「見て」、したがって、各個別のセンサ/ミラー対は、アレイカメラ全体の副開口部のみを表す。完全なアレイカメラは、すべての個々の開口光線の合計に基づいて生成された合成開口部を有する。

Description

本開示は、マルチカメラアレイを含む撮像システムおよび方法に関する。具体的には、本開示は、画質を維持または改善しながらモバイルデバイスの薄型撮像システムを可能にするシステムおよび方法に関する。

携帯電話およびタブレットコンピューティングデバイスなどの多くのモバイルデバイスは、静止画像および/またはビデオ画像を取り込むためにユーザによって操作され得るカメラを含む。モバイルデバイスは、典型的には、比較的小さく設計されているので、薄型のモバイルデバイスを維持するために、カメラまたは撮像システムをできるだけ薄く設計することが重要である場合がある。屈曲光学画像センサアレイ(「アレイカメラ」)は、焦点距離を短くすることなく、またはセンサアレイの視野全体にわたって画像の解像度を低下させることなく、薄型の画像取込みデバイスの作成を可能にする。1次および2次表面を使用してアレイ内の各センサに向けて光を再配向させることによって、ならびに、1次表面と2次表面との間に、入射光を集束させるために使用されるレンズアセンブリを配置することによって、センサアレイは、レンズアセンブリに対して垂直な平坦な基板上に配置され得る。より長い焦点距離は、光学ズームなどの機能を実装することを可能にし、より多くの光学要素を追加するなど、従来のモバイルカメラによって一般に与えられるよりも多くの空間を必要とする、より複雑な光学系を組み込むことを可能にする。

いくつかのアレイカメラは、ターゲット画像を構成する入射光をアレイ内のセンサによって取り込むための複数の部分に分割するために複数のファセットを有する中央ミラーまたはプリズムを用い、ここで各ファセットは、ターゲット画像からの光の一部をアレイ内のセンサに向けて導く。分割された光の各部分は、レンズアセンブリを通過し、各センサが画像の一部を取り込むように、センサの真上または真下に位置する追加の表面から反射される。センサ視野は、取り込まれた部分を完全な画像につなぎ合わせるのを支援すべく重なっていてもよい。

米国出願公開第2014/0111650号

本明細書に記載の屈曲光学センサアレイおよび画像取込み技法は、焦点距離を短くすることなく、または、センサアレイの視野全体にわたって画像の解像度を低下させることなく、薄型画像取込みデバイスの作成を可能にし、取り込まれた画像は、視差アーティファクトがない(またはほぼない)。アレイカメラの課題は、アレイの異なるカメラから見た同じ物体の異なる視野間の視差による品質低下である。視差は、各カメラによって取り込まれた画像を完全にアーティファクトがない最終的な画像にシームレスにつなぎ合わせるのを妨げる。カメラ視野は、部分的に(たとえば、約20%だけ)重なっていてもよい。画像中のシーンの深度(たとえば、レンズから物体までの距離)に応じて、1つのカメラからの画像は、別のカメラからの画像に対してシフトされる可能性がある。結果として生じる視差および傾斜は、画像がつなぎ合わされたまたは融合されたとき、重なり合う視野に対応する画像領域内に「二重画像」ゴーストを生じさせる可能性がある。センサ視野に重なりがないようにアレイが構成されている場合でも、視差は、線およびエッジなどの画像内の不連続な特徴部を、そのような特徴部がセンサ視野間の境界線を横切るとき、生じさせる。

上記で説明した問題は、とりわけ、本明細書で説明するような視差および傾斜のアーティファクトのないアレイカメラによって、様々な実施形態で対処される。実施形態のいくつかは、ターゲット画像を構成する入射光をアレイ内のセンサによって取り込むための複数の部分に分割するために、たとえば、複数の表面またはファセットを有する中央ミラーまたはプリズムを用いることができる。ミラー表面およびセンサは、取り込まれた画像内に視差および傾斜のアーティファクトを生じさせることを妨げるように構成され得る。たとえば、アレイカメラの中央ミラー表面の平面は、対応するカメラ位置と仮想カメラ位置との間の線に沿った中点に、かつこの線に直交するように配置され得る。したがって、アレイ内のすべてのカメラの投影視野(FOV)円錐は、ミラーによって入射光を屈曲させた後、仮想カメラ位置から来るように現れる。

分割された光の各部分は、レンズアセンブリを通過し、各センサが画像の一部を取り込むように、センサの真上または真下に位置するオプションの追加の反射表面から反射され得る。いくつかの状況では、アレイ内の各センサは、アレイ内の隣接するセンサによって取り込まれる部分とわずかに重なり合う画像の部分を取り込んでもよく、これらの部分は、たとえば、リニア混合(linear blending)または他の画像スティッチング(image stitching)技法によって、ターゲット画像に組み立てられ得る。

1つのイノベーションは、シーンのターゲット画像を取り込むためのシステムを含み、システムが、仮想投影中心を有する複数のカメラのアレイを含み、複数のカメラの各々が、シーンのターゲット画像の複数の部分のうちの1つを取り込むように構成され、複数のカメラの各々が、画像センサと、少なくとも1つのレンズを含むレンズアセンブリであって、レンズアセンブリが、投影中心を有し、レンズアセンブリが、画像センサ上に光を集束させるように配置され、レンズアセンブリの投影中心が、仮想投影中心を通過するラインに沿って位置する、レンズアセンブリと、レンズアセンブリに光を提供するようにレンズアセンブリに対して位置するミラーであって、ミラーが、ミラー平面(本明細書では、ときには「ミラー平面」と呼ばれる)上(または内)にさらに配置され、ミラー平面が、仮想投影中心を通過するラインに沿った点(たとえば、中点)を横切るように配置された、ミラーとを含む。ミラー平面は、ラインと直交する角度に配置され得る。様々な実施形態は、追加の特徴を含むことがある。

以下は、そのようなシステムのいくつかの特徴および実施形態の非限定的な例である。たとえば、システムは、シーンのターゲット画像を表す光を複数の部分に分割するように構成された複数の1次光再配向表面を含む中央反射要素(たとえば、ピラミッド状の反射構成要素)をさらに含み得、複数のカメラの各々のミラーは、1次光屈曲表面の1つを形成する。中央反射要素は、複数の1次光再配向表面の各々の交差によって形成される頂点を含み得る。複数のカメラの各々の光軸は、頂点を通過し得る。頂点、および仮想投影中心は、仮想光軸が複数のカメラのアレイの光軸を形成するように、頂点と仮想投影中心とを通過する仮想光軸上に位置する。システムは、シーンを表す光が開口部を中央反射要素まで通過することを可能にするように配置された開口部を有する少なくとも1つの上面を備えるカメラハウジングをさらに含み得る。上面は、中央反射要素の頂点において、またはその上方で仮想光軸と直交して配置され得る。ハウジングは、上面に実質的に平行に配置され、中央反射要素の下面において、またはその下方に配置された下面をさらに含み得る。複数のカメラの各々は、カメラハウジングの上面と下面との間に配置され得る。システムは、複数のカメラの各々からシーンの一部の画像を含む画像データを受信し、ターゲット画像を生成するためのスティッチング動作を実行するように構成されたプロセッサをさらに含み得る。システムは、(たとえば、画像データ内の傾斜アーティファクトを補正するために)仮想投影中心、および複数のカメラの各々のレンズアセンブリの投影中心と、対応するミラー平面内の複数のカメラの各々のためのミラーの位置との間の幾何学的関係に少なくとも部分的に基づいて、画像データへの投影変換を実行するようにさらに構成されたプロセッサを含む。システムは、複数のカメラの各々に関連付けられた2次光再配向表面をさらに含み得、2次光再配向表面は、レンズアセンブリから受けた光を画像センサ上に配向するように配置される。システムは、少なくとも1つの開口部を有する基板をさらに含み得、少なくとも1つの開口部は、シーンを表す光が少なくとも1つの開口部を複数のカメラの各々のミラーまで通過することを可能にするように配置され、複数のカメラの各々のための画像センサは、基板上または基板内に配置される。

別のイノベーションは、取り込まれた画像内の視差アーティファクトが実質的にないアレイカメラを製造する方法を含む。様々な実施形態では、方法は、アレイ内に複数のカメラを配置するステップを含み、複数のカメラの各々が、ターゲット画像シーンの複数の部分のうちの1つを取り込むように構成され、複数のカメラが、仮想投影中心を有する仮想カメラの位置から画像データを各々取り込むように配置され、複数のカメラの各々が、少なくとも1つのレンズを有するレンズアセンブリと、レンズアセンブリの光学系によって少なくとも部分的に決定された位置を有するカメラの投影中心と、レンズアセンブリからの光を受けるように配置されたセンサとを含む。方法は、複数のカメラの各々について、ミラー平面上に配置されたミラーを設けるステップをさらに含み得、ミラー平面が、カメラの投影中心と取り込まれた仮想投影中心とを接続するラインに沿った点(たとえば、中点)と交差するように配置される。ミラー平面は、ラインと直交して配置され得る。

以下は、そのような方法のいくつかの特徴および実施形態の非限定的な例である。たとえば、方法は、中央反射要素のファセットとして複数のカメラの各々のためのミラーを設けるステップをさらに含み得、複数のカメラは、中央反射要素または反射構成要素の周囲に配置される。方法は、複数のカメラのためのミラーが中央反射要素の頂点で交差するように中央反射要素を設けるステップを含み得る。方法は、複数のカメラの各々の光軸が頂点と交差するように複数のカメラの各々を配置するステップを含み得る。方法は、複数のカメラの各々のための2次光屈曲表面を設けるステップを含み得る。方法は、レンズアセンブリから受けた光をセンサ上に配向するように、レンズアセンブリとセンサとの間に2次光屈曲表面を配置するステップを含み得る。方法は、シーンを表す光が少なくとも1つの開口部を複数のカメラの各々のためのミラーまで通過することを可能にするように配置された少なくとも1つの開口部を有する基板を設けるステップを含む。方法は、すべてのセンサが同じ平面上(または、平面内)に配置されるように、基板上または基板内に複数のカメラの各々のためのセンサを取り付けるステップを含み得る。方法は、複数のカメラの各々のセンサと電子的に通信するプロセッサを設けるステップを含み得、プロセッサが、ターゲット画像シーンの複数の部分を受け取り、ターゲット画像シーンの完全な画像を生成するように構成される。

別のイノベーションは、視差がない(または、実質的にない)画像を取り込む方法を含み、方法が、複数のミラーを使用して、画像のシーンを表す光を複数の部分に分割するステップと、仮想投影中心を有する仮想カメラの位置から画像データを取り込むように各々配置された複数のカメラの対応する1つに複数の部分の各々を配向するステップであって、複数のカメラの各々が、少なくとも1つのレンズを備えるレンズアセンブリと、レンズアセンブリの光学系によって少なくとも部分的に決定された位置を有するカメラの投影中心と、レンズアセンブリからの光を受けるように配置されたセンサとを備える、ステップと、複数の部分を画像に組み立てるステップとを含み、複数のミラーの各ミラーについて、ミラーがミラー平面上に配置される。ミラー平面は、複数のカメラのうちの対応するカメラのカメラの投影中心と仮想投影中心とを接続するラインに沿った点(たとえば、中点)と交差するように配置される。ミラー平面は、さらに、ラインと直交し得る。

以下は、そのような方法のいくつかの特徴および実施形態の非限定的な例である。方法は、複数のカメラの各々の有効傾斜を変更するために、取り込まれた画像データに投影変換を適用するステップを含み得る。方法は、複数のカメラの各々について、2次光屈曲表面を使用して、レンズアセンブリから受けた光を画像センサ上に再配向するステップを含み得る。

別のイノベーションは、シーンのターゲット画像を取り込むための装置を含み、装置は、仮想投影中心を有する複数のカメラのアレイであって、複数のカメラの各々が、シーンのターゲット画像の複数の部分のうちの1つを取り込むように構成された、複数のカメラのアレイと、複数のカメラの各々について、画像を取り込むための手段と、仮想投影中心を通過するラインに沿って位置する投影中心を有する光を集束させるための手段と、ラインに沿った中点と交差するように、ラインと直交する角度に配置された1次光屈曲平面内に少なくとも部分的に位置する光を再配向するための手段とを含む。

以下は、そのような装置のいくつかの特徴および実施形態の非限定的な例である。いくつかの実施形態では、光再配向手段は、1次光屈曲平面内に配置された反射表面と、1次光屈曲平面内に配置されたファセットを有する屈折型プリズムとのうちの1つを含む。光集束手段は、1つまたは複数のレンズを含むレンズアセンブリを含み得る。複数のカメラの各々は、光集束手段から受けた光を画像取込み手段上に配向するように配置された追加の光屈曲手段を含み得る。装置は、複数の部分をターゲット画像に組み合わせるための手段を含み得る。装置は、ターゲット画像の複数の部分間の傾斜アーティファクトを補償するための手段を含み得る。

開示される態様は、開示される態様を例示するために提供され、開示される態様を限定するために提供されるのではない添付図面に関連して以下で説明され、添付図面では、同様の名称は、同様の要素を示す。

屈曲光学センサアセンブリの一実施形態の断面側面図である。屈曲光学センサアセンブリの別の実施形態の断面側面図である。画像取込みデバイスの一実施形態のブロック図である。視差のないアレイカメラ内のカメラの投影中心の位置およびミラー平面の位置の2つの実施形態を示す図である。視差のないアレイカメラ内のカメラの投影中心の位置およびミラー平面の位置の2つの実施形態を示す図である。視差アーティファクトのないアレイカメラの一実施形態を示す図である。視差アーティファクトのないアレイカメラの一実施形態を示す図である。視差アーティファクトのないアレイカメラの一実施形態を示す図である。視差アーティファクトのないアレイカメラの一実施形態を示す図である。視差アーティファクトのない図5Aのカメラの代替実施形態を示す図である。視差のないアレイカメラの一実施形態を示す図である。屈曲光学画像取込みプロセスの一実施形態を示す図である。

I.導入
本明細書で開示される実施態様は、屈曲光学系を有するアレイカメラを使用して視差アーティファクトが実質的にない画像を生成するためのシステム、方法、および装置を提供する。本開示の態様は、取り込まれた画像内に視差アーティファクトをほとんどまたはまったく示さないアレイカメラに関する。たとえば、アレイカメラの中央ミラー表面の平面は、対応するカメラ位置と仮想カメラ位置との間のラインに沿った中点において、ラインと直交して位置し得る。したがって、アレイ内のすべてのカメラの円錐は、ミラーによって屈曲された後、仮想カメラ位置から来るように現れる。アレイ内の各センサは、中央ミラープリズムの対応するファセットを使用して画像シーンの一部を「見て」、したがって、各個別のセンサ/ミラー対は、アレイカメラ全体の副開口部のみを表す。完全なアレイカメラは、すべての個々の開口光線の合計に基づいて、すなわち、副開口部によって生成された画像をつなぎ合わせることに基づいて生成された合成開口部を有する。

以下の説明では、実施例の完全な理解をもたらすために、具体的な詳細が与えられる。しかしながら、例は、これらの具体的な詳細なしで実施され得る。

II.屈曲光学アレイカメラの概要
ここで図1Aおよび図1Bを参照し、本明細書に記載のオートフォーカスシステムおよび技法で使用するのに適した屈曲光学マルチセンサアセンブリ100A、100Bの例をここでより詳細に説明する。「屈曲」という用語は、たとえば、撮像システムに入る光が、光が撮像システム内のセンサを照射する前に少なくとも1回再配向される撮像システム(たとえば、カメラ)のタイプを特徴付けるために使用される広い用語である。言い換えれば、撮像システムに入るときに1方向に伝播している光は、次いで、撮像システム内で、または少なくとも(たとえば、撮像システムの)センサを照明する前に、異なる方向に伝播するように再配向または「屈曲」される。図1Aは、すべて基板150に取り付けられ得る、画像センサ105、125と、反射2次光屈曲表面110、135と、レンズアセンブリ115、130と、中央反射表面120とを含む屈曲光学マルチセンサアセンブリ100Aの一例の断面側面図を示す。図1Bは、1次光再配向表面122、124のための中央プリズム141、146と、2次光屈曲表面135、110を形成する追加の反射表面、たとえば、図示のようなプリズム111、136、または、反射表面(たとえば、ミラー化表面)とを含む屈曲光学他センサアセンブリの一実施形態の断面側面図を示す。

図1Aを参照すると、画像センサ105、125は、特定の実施形態では、電荷結合デバイス(CCD)、相補型金属酸化膜半導体センサ(CMOS)、または、光を受け取り、受け取った画像に応じて画像データを生成する任意の他の撮像デバイスを備え得る。各センサ105、125は、アレイ内に配置された複数のセンサ(または、センサ素子)を含み得る。画像センサ105、125は、単一の画像の画像データを生成するように構成され得、および/または、複数の画像の画像データを生成する(たとえば、ビデオデータもしくは一連の単一の画像を取り込む)ように構成され得る。センサ105および125は、個々のセンサアレイであり得、および/または、センサアレイのアレイ、たとえば、センサアレイの3×1アレイを表し得る。しかしながら、当業者によって理解されるように、センサの任意の適切なアレイが、開示された実施態様において使用され得る。

センサ105、125は、図1Aに示すように、基板150上に取り付けられ得る。いくつかの実施形態では、すべてのセンサは、平坦な基板150に取り付けられることによって、1つの平面上にあり得る。基板150は、任意の適切な実質的に平坦な材料であり得る。中央反射表面120およびレンズアセンブリ115、130は、同様に基板150上に取り付けられ得る。センサアレイ、複数のレンズアセンブリ、ならびに複数の1次および2次反射表面または屈折表面を取り付けるための複数の構成が可能である。

いくつかの実施形態では、中央反射表面120は、ターゲット画像シーンからの光をセンサ105、125に向けて再配向するために使用され得る。中央反射表面120は、ミラーまたは複数のミラーであり得、入射光を画像センサ105、125に適切に再配向するために必要なように平坦であり得、または成形され得る。たとえば、いくつかの実施形態では、中央反射表面120は、入射光をセンサ105、125までレンズアセンブリ115、130を経て再配向するようにサイズが決められ成形されたミラーであり得る。中央反射表面120は、ターゲット画像を含む光を複数の部分に分割し得、各部分を異なるセンサに配向し得る。たとえば、中央反射表面120の第1の側面122(1次光屈曲表面とも呼ばれ、他の実施形態は、反射表面ではなく屈折プリズムを実装し得る)は、第2の側面124が第2の視野(FOV)145に対応する光の第2の部分を右センサ125に向けて送る間、第1のFOV140に対応する光の部分を左センサ105に向けて送る。画像センサの視野140、145は全体として、少なくともターゲット画像をカバーすることが理解されるべきである。本例は、2つのセンサを備える実施形態を説明するが、他の実施形態は、2つよりも多くのセンサ、たとえば、2、3、4、8、またはより多く(N)のセンサを有し得る。

受光センサが各々複数のセンサのアレイであるいくつかの実施形態では、中央反射表面は、ターゲット画像シーンの異なる部分をセンサの各々に向けて送るために、互いに対して角度をなす複数の反射表面から作られ得る。アレイ内の各センサは、実質的に異なる視野を有し得、いくつかの実施形態では、視野は、重なっていてもよい。中央反射表面の特定の実施形態は、レンズシステムを設計するときの自由度を高めるために、複雑な非平坦な表面を有し得る。さらに、中央表面は、反射表面であるとして論じられているが、他の実施形態では、中央表面は、屈折性であり得る。たとえば、中央表面は、複数のファセットで構成されたプリズムであり得、各ファセットは、シーンを含む光の一部をセンサのうちの1つに向けて配向する。

中央反射表面120から反射された後、入射光の少なくとも一部は、レンズアセンブリ115、130の各々を通って伝播し得る。1つまたは複数のレンズアセンブリ115、130は、中央反射表面120と、センサ105、125および反射表面110、135との間に設けられ得る。レンズアセンブリ115、130は、各センサに向けて配向されるターゲット画像の部分を集束させるために使用され得る。

いくつかの実施形態では、各レンズアセンブリは、1つまたは複数のレンズと、ハウジングを介して複数の異なるレンズ位置の間でレンズを移動させるためのアクチュエータとを備え得る。アクチュエータは、たとえば、ボイスコイルモータ(VCM(voice coil motor))、微小電気機械システム(MEMS(micro-electronic mechanical system))、または形状記憶合金(SMA(shape memory alloy))であり得る。レンズアセンブリは、アクチュエータを制御するためのレンズドライバをさらに備え得る。

いくつかの実施形態では、従来のオートフォーカス技法は、各カメラのレンズ115、130と対応するセンサ105、125との間の焦点距離を変更することによって実施され得る。いくつかの実施形態では、これは、鏡筒を移動させることによって達成され得る。他の実施形態は、中央ミラーを上方もしくは下方に移動させることによって、またはレンズアセンブリに対してミラーの角度を調節することによって、焦点を調節し得る。特定の実施形態は、各センサの上で側面ミラーを移動させることによって焦点を調節し得る。そのような実施形態は、アセンブリが各センサの焦点を個別に調節することを可能にする。さらに、いくつかの実施形態について、たとえば、液体レンズのようなレンズをアセンブリ全体の上に配置することによって、アセンブリ全体の焦点を一度に変更することが可能である。特定の実施態様では、カメラアレイの焦点を変更するために、計算写真術(computational photography)が使用され得る。

複数の側面反射表面、たとえば、反射表面110および135は、センサの反対側の中央ミラー120の周囲に設けられ得る。レンズアセンブリを通過した後、側面反射表面110、135(他の実施形態が反射表面ではなく屈折プリズムを実装し得るとき、2次光屈曲表面とも呼ばれる)は、光を(図1Aの向きで示されるとき、下方へ)センサ105、125上に反射し得る。図示のように、センサ105は、反射表面110の下に配置され得、センサ125は、反射表面135の下に配置され得る。しかしながら、他の実施形態では、センサは、側面反射表面110、135の上方にあり得、側面反射表面は、光を上方に反射するように構成され得る(たとえば、図1B参照)。各レンズアセンブリからの光がセンサに向けて再配向される側面反射表面およびセンサの他の適切な構成が可能である。特定の実施形態は、関連するセンサの焦点またはFOVを変更する側面反射表面110、135の移動を可能にし得る。

各センサのFOV140、145は、そのセンサに関連付けられた中央ミラー120の表面によって、対象空間内に向けられ得る。各カメラのFOVが対象フィールド上の異なる位置に向けられ得るように、アレイ内のミラーを傾斜させるおよび/またはプリズムを移動させるために、機械的方法が用いられ得る。これは、たとえば、高ダイナミックレンジのカメラを実装するため、カメラシステムの解像度を高めるため、またはプレノプティックカメラシステムを実装するために使用され得る。各センサの(または、各3×1アレイの)FOVは、対象空間内に投影され得、各センサは、センサの視野に従って対象領域の一部を含む部分画像を取り込み得る。図1Aに示すように、いくつかの実施形態では、対向するセンサアレイ105、125に関する視野140、145は、特定の量だけ重なり得る。重なりを減らし、単一の画像を形成するために、以下に説明するようなスティッチングプロセスが、2つの対向するセンサアレイ105、125からの画像を結合するために使用され得る。図1Aに示すより多くのセンサを有する実施形態では、画像は、複数のセンサから結合され得、センサは、必ずしも対向していなくてもよく、たとえば、対称的または非対称的に配置され得る。スティッチングプロセスの特定の実施形態は、部分画像をつなぎ合わせる際に共通の特徴を識別するための重なり150を用い得る。重なり合う画像をつなぎ合わせた後、つなぎ合わされた画像は、最終的な画像を形成するために、所望のアスペクト比、たとえば、4:3または1:1にクロップされ得る。いくつかの実施形態では、画像を結合する際に必要とされる画像処理を最小限にするかまたはなしで複数の画像が単一の画像に形成されるように、各FOVに関連する光学要素の位置合わせは、重なり150を最小化するように配置される。

図1Bは、屈曲光学アレイカメラ100Bの別の実施形態の断面側面図を示す。図1Bに示すように、センサアセンブリ100Bは、各々が基板150に取り付けられた1対の画像センサ105、125と、それぞれ、画像センサ105、125に対応するレンズアセンブリ115、130と、それぞれ、画像センサ105、125のカバーガラス106、126の上に配置された2次光屈曲表面110、135とを含む。屈折プリズム141の1次光屈曲表面122は、ターゲット画像シーンからの光の一部を光軸121に沿ってレンズアセンブリ115を介して配向し、光のこの一部は、2次光屈曲表面110から再配向され、カバーガラス106を通過し、センサ105上に入射する。屈折プリズム146の1次光屈曲表面124は、ターゲット画像シーンからの光の一部を光軸123に沿ってレンズアセンブリ130を介して配向し、光のこの一部は、2次光屈曲表面135から再配向され、カバーガラス126を通過し、センサ125上に入射する。屈曲光学アレイカメラ100Bは、図1Aのアレイカメラ100Aの反射表面の代わりに屈折プリズムを実装する1つのアレイカメラ実施形態の実例である。屈折プリズム141、146の各々は、1次光配向表面122、124が基板によって形成された平面の下にあり、ターゲット画像シーンを表す光を受けるように、基板150内の開口部内に設けられる。

センサ105、125は、図1Bに示すように、基板150上に取り付けられ得る。いくつかの実施形態では、すべてのセンサは、平坦な基板150に取り付けられることによって、1つの平面上にあり得る。基板150は、任意の適切な実質的に平坦な材料であり得る。基板150は、入射光が1次光屈曲表面122、124まで基板150を通過することを可能にする、上記で説明した開口部を含み得る。センサアレイならびに図示されている他のカメラ構成要素を基板150に取り付けるための複数の構成が可能である。

1次光屈曲表面122、124は、図示のようにプリズム表面であり得、または、ミラーもしくは複数のミラーであり得、入射光を画像センサ105、125に適切に再配向するために必要とされるように平坦であり得、もしくは成形され得る。いくつかの実施形態では、1次光屈曲表面122、124は、図1Aに示すように、中央反射要素として形成され得る。中央反射要素は、たとえば、複数のミラーもしくは反射表面の配置、またはプリズムであり得る。反射要素は、ピラミッド型であり得る。中央ミラー反射要素、プリズム、または他の反射表面は、ターゲット画像を表す光を複数の部分に分割し得、各部分を異なるセンサに配向し得る。たとえば、1次光屈曲表面122は、第1のFOVに対応する光の部分を左センサ105に向けて送り得、1次光屈曲表面124は、第2のFOVに対応する光の第2の部分を右センサ125に向けて送り得る。受光センサが各々複数のセンサのアレイであるいくつかの実施形態では、光屈曲表面は、ターゲット画像シーンの異なる部分をセンサの各々に向けて送るために、互いに対して角度をなす複数の反射表面から作られ得る。カメラの視野は、全体として少なくともターゲット画像をカバーし、アレイの合成開口部によって取り込まれた最終的な画像を形成するために、取り込まれた後、互いに整列され、つなぎ合わされ得ることが理解されるべきである。アレイ内の各センサは、実質的に異なる視野を有し得、いくつかの実施形態では、視野は、重なっていてもよい。

他の実施形態は、図1Aおよび図1Bによって示す反射要素および屈折要素を組み合わせ得る。たとえば、いくつかの実施形態では、2次光屈曲設備(service)が屈折性である一方、1次光屈曲表面は、反射性であり得、逆もまた同様である。

図1Aおよび図1Bによって示すように、各アレイカメラは、全高Hを有する。いくつかの実施形態では、全高Hは、約4.5mm以下であり得る。他の実施形態では、全高Hは、約4.0mm以下であり得る。図示されていないが、アレイカメラ100A、100B全体は、約4.5mm以下または約4.0mm以下の対応する内部高さを有するハウジング内に設けられ得る。

本明細書で使用される場合、「カメラ」という用語は、画像センサ、レンズシステム、およびいくつかの対応する光屈曲表面、たとえば、図1に示す1次光屈曲表面124、レンズアセンブリ130、2次光屈曲表面135、およびセンサ125を指す。「アレイ」または「アレイカメラ」と呼ばれる屈曲光学マルチセンサアレイは、様々な構成において複数のそのようなカメラを含み得る。アレイ構成のいくつかの実施形態は、2013年3月15日に出願され、「MULTI-CAMERA SYSTEM USING FOLDED OPTICS」と題する米国出願公開第2014/0111650号に開示されており、その開示は、参照により本明細書に組み込まれている。本明細書に記載のオートフォーカスシステムおよび技法から利益を得ることになる他のアレイカメラ構成が可能である。

図2は、1つまたは複数のカメラ215a〜nにリンクされた画像プロセッサ220を含む構成要素のセットを有するデバイス200の高レベルブロック図を示す。画像プロセッサ220はまた、ワーキングメモリ205、メモリ構成要素230、およびデバイスプロセッサ250と通信し、デバイスプロセッサ250は、今度はストレージ210および電子ディスプレイ225と通信する。

デバイス200は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末、などであり得る。本明細書に記載されているような厚さが低減した撮像システムが利点を提供することになる多くのポータブルコンピューティングデバイスが存在する。デバイス200はまた、薄い撮像システムが有利である静止型コンピューティングデバイスまたは任意のデバイスであり得る。複数のアプリケーションが、デバイス200上でユーザに利用可能であり得る。これらのアプリケーションは、従来の写真およびビデオアプリケーション、高ダイナミックレンジ撮像、パノラマ写真およびビデオ、または、3D画像もしくは3Dビデオなどの立体撮像を含み得る。

画像取込みデバイス200は、外部画像を取り込むためのカメラ215a〜nを含む。カメラ215a〜nは、図1に関して上記で論じたように、各々、センサと、レンズアセンブリと、ターゲット画像の一部を各センサに再配向するための1次および2次反射表面または屈折表面とを備え得る。一般に、Nのカメラ215a〜nが使用され得、ここでN≧2である。したがって、ターゲット画像は、Nの部分に分割され得、ここで、Nのカメラの各センサが、そのセンサの視野に従ってターゲット画像の1つの部分を取り込む。カメラ215a〜nは、本明細書に記載の屈曲光学撮像デバイスの実施態様に適した任意の数のカメラを備え得ることが理解されるであろう。センサの数は、図4に関して以下でより詳細に論じるように、システムのより低いz高さを達成するために、または、後処理後に画像の焦点を調節する能力を可能にし得るプレノプティックカメラの視野に類似した重複する視野を有するなどの他の目的のニーズを満たすために増加され得る。他の実施形態は、2つの同時画像を取り込み、次いでそれらを1つに併合する能力を可能にする高ダイナミックレンジカメラに適したFOV重複構成を有し得る。カメラ215a〜nは、取り込まれた画像を、ワーキングメモリ205と、デバイスプロセッサ250と、電子ディスプレイ225と、ストレージ(メモリ)210とに伝達するために、画像プロセッサ220に結合され得る。

画像プロセッサ220は、以下でより詳細に説明するように、高品質のスティッチされた画像を出力するために、ターゲット画像のNの部分を含む受信画像データに対して様々な処理動作を実行するように構成され得る。画像プロセッサ220は、汎用処理ユニット、または、撮像アプリケーションのために特別に設計されたプロセッサであり得る。画像処理動作の例は、クロッピング、(たとえば、異なる解像度への)スケーリング、画像スティッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング(たとえば、空間画像フィルタリング)、レンズアーティファクトまたは欠陥補正、などを含む。画像プロセッサ220は、いくつかの実施形態では、複数のプロセッサを備え得る。特定の実施形態は、各画像センサ専用のプロセッサを有し得る。画像プロセッサ220は、1つまたは複数の専用画像信号プロセッサ(ISP(image signal processor))、またはプロセッサのソフトウェア実装であり得る。

図示のように、画像プロセッサ220は、メモリ230およびワーキングメモリ205に接続される。図示の実施形態では、メモリ230は、取込み制御モジュール235と、画像スティッチングモジュール240と、オペレーティングシステム245とを記憶する。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するようにデバイスプロセッサ250の画像プロセッサ220を設定する命令を含む。ワーキングメモリ205は、メモリ構成要素230のモジュール内に含まれるプロセッサ命令のワーキングセットを記憶するために画像プロセッサ220によって使用され得る。代替的には、ワーキングメモリ205はまた、デバイス200の動作中に作成される動的データを記憶するために画像プロセッサ220によって使用され得る。

上述したように、画像プロセッサ220は、メモリ内に記憶された様々なモジュールによって設定される。取込み制御モジュール235は、カメラ215a〜nの焦点位置を調節するように画像プロセッサ220を設定する命令を含み得る。取込み制御モジュール235は、デバイス200の画像取込み機能全体を制御する命令をさらに含み得る。たとえば、取込み制御モジュール235は、カメラ215a〜nを使用してターゲット画像シーンの生画像データを取り込むように画像プロセッサ220を設定するためにサブルーチンを呼び出す命令を含み得る。取込み制御モジュール235は、次いで、カメラ215a〜nによって取り込まれたNの部分画像に対してスティッチング技法を実行し、スティッチされクロップされたターゲット画像を撮像プロセッサ220に出力するために画像スティッチングモジュール240を呼び出し得る。取込み制御モジュール235はまた、取り込まれるべきシーンのプレビュー画像を出力し、特定の時間間隔で、または生画像データ内のシーンが変化したときにプレビュー画像を更新するために、生画像データに対してスティッチング動作を実行するために画像スティッチングモジュール240を呼び出し得る。

画像スティッチングモジュール240は、取り込まれた画像データに対してスティッチング技法およびクロッピング技法を実行するように画像プロセッサ220を設定する命令を備え得る。たとえば、Nのセンサ215a〜nの各々は、各センサの視野に従ってターゲット画像の一部を含む部分画像を取り込み得る。視野は、前記および下記で説明するように、重なり合う領域を共有し得る。単一のターゲット画像を出力するために、画像スティッチングモジュール240は、高解像度のターゲット画像を生成するために複数Nの部分画像を結合するように画像プロセッサ220を設定し得る。ターゲット画像の生成は、公知の画像スティッチング技法によって行われ得る。

たとえば、画像スティッチングモジュール240は、Nの部分画像の互いに対する回転および整列を決定するために、特徴をマッチングするためのNの部分画像のエッジに沿った重なり合う領域を比較する命令を含み得る。部分画像の回転および/または各センサのFOVの形状により、合成画像は、不規則な形状を形成し得る。したがって、Nの部分画像を整列し、結合した後、画像スティッチングモジュール240は、合成画像を所望の形状およびアスペクト比、たとえば、4:3の矩形または1:1の正方形にクロップするように画像プロセッサ220を設定するサブルーチンを呼び出し得る。クロップされた画像は、ディスプレイ225上に表示するため、またはストレージ210内に保存するために、デバイスプロセッサ250に送られ得る。

オペレーティングシステムモジュール245は、ワーキングメモリ205とデバイス200の処理リソースとを管理するように画像プロセッサ220を設定する。たとえば、オペレーティングシステムモジュール245は、カメラ215a〜nなどのハードウェアリソースを管理するデバイスドライバを含み得る。したがって、いくつかの実施形態では、上記で論じた画像処理モジュール内に含まれる命令は、これらのハードウェアリソースと直接相互作用しないことがあり、代わりに、オペレーティングシステム構成要素270内に位置する標準サブルーチンまたはAPIを介して相互作用し得る。その場合、オペレーティングシステム245内の命令は、これらのハードウェア構成要素と直接相互作用し得る。オペレーティングシステムモジュール245は、デバイスプロセッサ250と情報を共有するように画像プロセッサ220をさらに設定し得る。

デバイスプロセッサ250は、取り込まれた画像、または取り込まれた画像のプレビュー画像をユーザに表示するようにディスプレイ225を制御するように構成され得る。ディスプレイ225は、撮像デバイス200の外部にあり得、または撮像デバイス200の一部であり得る。ディスプレイ225はまた、画像を取り込む前にユーザのためのプレビュー画像を表示するビューファインダを提供するように構成され得、または、メモリ内に記憶された、もしくはユーザによって最近取り込まれた、取り込まれた画像を表示するように構成され得る。ディスプレイ225は、LCDまたはLEDスクリーンを備え得、タッチ感応技術を実装し得る。

デバイスプロセッサ250は、データ、たとえば、取り込まれた画像を表すデータを、記憶モジュール210に書き込み得る。記憶モジュール210は、従来のディスクデバイスとして図式的に表されているが、当業者は、記憶モジュール210が任意の記憶媒体デバイスとして構成され得ることを理解するであろう。たとえば、記憶モジュール210は、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブもしくは光磁気ディスクドライブなどのディスクドライブ、または、フラッシュメモリ、RAM、ROM、および/もしくはEEPROMなどの固体メモリを含み得る。記憶モジュール210はまた、複数のメモリユニットを含み得、メモリユニットのうちの任意の1つは、画像取込みデバイス200内にあるように構成され得、または画像取込みデバイス200の外部にあり得る。たとえば、記憶モジュール210は、画像取込みデバイス200内に記憶されたシステムプログラム命令を含むROMメモリを含み得る。記憶モジュール210はまた、カメラから取り外し可能であり得る、取り込まれた画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。

図2は、プロセッサと、撮像センサと、メモリとを含むように別個の構成要素を有するデバイスを示しているが、当業者は、これらの別個の構成要素が、特定の設計目的を達成するように様々な方法で組み合わせられ得ることを認識するであろう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するためにプロセッサ構成要素と組み合わされ得る。

さらに、図2は、いくつかのモジュールを備えるメモリ構成要素230と、ワーキングメモリを備える別個のメモリ205とを含む2つのメモリ構成要素を示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識するだろう。たとえば、設計は、メモリ構成要素230内に含まれるモジュールを実装するプロセッサ命令を記憶するためのROMまたはスタティックRAMを利用し得る。プロセッサ命令は、画像プロセッサ220による実行を容易にするために、RAM内にロードされ得る。たとえば、ワーキングメモリ205は、プロセッサ220による実行の前にワーキングメモリ205内にロードされる命令を有するRAMメモリを備え得る。

III.視差アーティファクトおよび傾斜アーティファクトのない屈曲光学アレイカメラの概要
図3Aは、いくつかの実施形態による、視差のないアレイカメラ300A内のカメラ310A、310B、310Cおよびミラー平面312A、312B、312Cの位置を示す概略図である。アレイのセンサおよびその対応するレンズ(および、追加的な屈曲表面)は、本明細書では「カメラ」と呼ばれ、アレイ内のすべてのカメラの協働は、本明細書では「仮想カメラ」と呼ばれる。視差のないカメラアレイ設計の原理の以下の説明では、カメラは、その関連するレンズアセンブリの投影中心である点としてモデル化され得、投影中心は、xyz空間内のどこにでも配置され得る。カメラのアレイは、投影のそのような中心のアレイとしてモデル化される。

仮想カメラは、カメラによって取り込まれた画像、たとえば、310Aによって取り込まれた画像が、光学的屈曲(たとえば、ミラーを使用する反射)が使用されなかった場合にそこから取り込まれているように見える位置である。複数の屈曲光学カメラによって物理的に形成された視差のないアレイでは、すべての仮想カメラは、点Vとして図3Aおよび図3Bに示すような投影の同じ中心を有する単一の仮想カメラに併合される。アレイの各個別のカメラは、ときには傾斜と呼ばれる、カメラの光軸の方向または整列である、視線(gaze)の潜在的に異なる方向を有し得る。視差のないアレイカメラを形成するための本発明に記載の空間的関係の主な点は、各仮想カメラの有効な傾斜(たとえば、対応する画像内の傾斜の出現)は、取り込まれた画像データへの投影変換の適用によって計算的に変更され得るということである。適切な投影変換およびクロッピングの適用の後に画像をつなぎ合わせることは、アレイの複数のカメラから受信したデータを使用して、単一の画像、対象領域の合成画像を生成する。この単一の画像は、本明細書では仮想カメラと呼ばれる、点Vにおける投影中心を有する単一の仮想カメラによって取り込まれたかのように現れる。したがって、本明細書に記載の視差のないアレイの仮想カメラは、実際には合成仮想カメラであり、単一の点に併合する複数の仮想カメラの合成である。本明細書で使用される仮想カメラはまた、アレイの複数のカメラによって各々取り込まれた個々の画像を変換し、クロップし、スティッチすることによる計算的な合成の結果であり得る。

図3Aおよび図3Bでは、カメラ310B、310C、310E、および310Fは、xyz空間内のそのカメラのための投影中心を表す点として各々モデル化される。たとえば、実際のカメラは、空間内の特定の点を有する入射瞳を有する。瞳の中心は、本明細書ではカメラの投影中心と呼ばれ、レンズアセンブリの光学系によって少なくとも部分的に決定される。投影中心は、カメラの物理的開口部がレンズアセンブリの光学系のために位置する場所でなくてもよく、投影の光学中心が位置する実際の位置は、瞳の中心が位置する場所である。カメラがこの点(その投影中心)の周りを回転するにつれて、取り込まれた画像は、計算的投影変換の適用と同様に変形する。図3Aおよび図3Bによって示す概略図は、抽象であり、そのような態様は、より後の段階において(たとえば、計算的に)投影変換によって補正され得るので、カメラの視線の方向および焦点距離は、視差のない撮像にとって不可欠ではない。そのように、カメラ310B、310C、310E、および310Fの抽象は、この一般的な処理における投影中心によってのみ示される。カメラを表すための投影中心の使用は、視差のない画像を形成するカメラのアレイの設計を可能にする目的を果たす。カメラの実際の視線および焦点距離は、撮像の他の目的にとって重要であるが、これらの態様の詳細は、視差のないアレイカメラの様々な実施形態のニーズに従って変更され得る。

仮想カメラVおよびカメラ310A、310Dは、それぞれ、仮想カメラVおよびカメラ310A、310Dの各々のための投影中心を表す点を中心とするブロック図として示されている。図3Aの実施形態に示すように、薄いカメラについて、上記で説明したように、カメラのアレイは、薄いカメラの水平面305内に配置される(または、少なくともほぼ配置される)。「水平」という用語は、たとえば、図3Aおよび図3Bに関連してこの議論の目的のために任意に選択される。ミラー平面312A〜312Eは、境界を有して示されているが、平面は無限に延び、実際のミラー位置は、312A〜312Eによって表される平面内のどこにでもあり得る。いくつかの実施形態では、ミラー化表面は、たとえば、仮想カメラVの光軸321に沿った点Pに位置する、または実質的に点Pに位置する頂点を有する反射要素を形成するために角度をなして接続し得る。頂点は、他の例では、仮想カメラVの光軸321に沿った他の点に位置し得る。主に、ミラー平面および対応するミラー化表面に関して論じたが、平面312A、312B、312Cはまた、いくつかの実施形態では、屈折プリズムの光配向ファセットを位置決めするために使用され得る。

図3Aは、アレイカメラの水平面305内の3つのカメラ310A、310B、310Cを示し、図3Bは、水平面305内の3つのカメラ310D、310E、310Fを示す。図示の実施形態に示すように、図3A中の各カメラ310A、310B、310Cは、FOVの中心がカメラ310Aの光軸311Aによって示されるように、中心位置Pを指す(または、実質的に指す)ように配置され得る。図3Bでは、カメラ310D、310E、および310Fは、中央位置Pを水平に指すように示されている。各カメラ310D、310E、310Fは、カメラ310D、310E、310Fに対応するミラー平面312D、312E、312F内に配置されたミラー330(カメラ310Dおよびミラー平面312Dに関してのみ示されている)の方を(カメラ310Dの光軸311Bによって示すように)ほぼ「見ている」ように配置され得る。言い換えれば、各カメラ310D、310E、310Fは、ミラーに向かって配置されたその投影されたFOVの光軸を有し得る。両方の構成300A、300Bでは、対応するミラーは、すべてのカメラ310A〜Fが平面305に垂直な仮想光軸321に沿った方向を(または、方向を実質的に)(光の屈曲を考慮して)光学的に見るように、各カメラ310A〜Fの投影された光軸と、したがって、カメラによって受けられた光(または、光線の円錐)とを再配向(または屈曲)させる。言い換えれば、各カメラ310A〜Fは、対象領域から伝播する光を受けるように、仮想光軸321に沿ったその投影されたFOVの中心軸を有し得る。

しかしながら、カメラが見ている方向(その光軸の配置)は、本明細書に記載の視差のない空間的関係に依然として従いながら変更され得る設計パラメータであり得る。特定の設計、たとえば、各カメラの視線の方向および各カメラの投影中心の位置(たとえば、中心点Pからのその距離)、各カメラの焦点距離、アレイ内のカメラの数、ならびに、アレイが対象であるべきであるかどうかにおいて、考慮されることになるトレードオフが存在する。図3Aおよび図3Bの視差のない設計の原理のこの一般性は、設計の高い自由度を可能にし、様々なアレイカメラ構成を取り込む。したがって、これらの視差のない原理の具体的な実施態様に応じて、平面312A〜312F内に配置されたミラーからのすべての光が関連するカメラ310A〜310F上に入射するというわけではないが、この設計の利点は、視差のない画像を提供することである。

したがって、図3Aの光軸311Aは、点Pに「視線を向ける(looking at)」ように、または点Pと一直線になるように示されているが、カメラの光軸は、点Pに向ける必要はない。他の例における光軸は、PとZとの間のライン321上の任意の点に向けることができ、または、他の例では、なにか他の方向に向けることができる。同様に、ほぼ中央ミラー330を指して示されている図3Bの光軸311Bは、他の方向、たとえば、カメラの複数のミラーによって形成されたミラー反射要素の頂点に向けられ得る。図示された軸311Aと同様に、点Pと整列した光軸を有するアレイ300A内のカメラは、たとえば、カメラからの元画像データを取得し、投影変換を適用し、次いで画像をクロップすることによる計算によって、実際のカメラを物理的に回転させることなく、ライン321に沿った点Pの少し下を見るようにそれらの投影中心の周りを回転され得る。そのような計算的な回転は、デジタル的に(たとえば、約10度の特定の実際的な制限内で)容易に処理され得る。本明細書に記載の視差のない撮像のための一般的なモデルは、したがって、どのような特定の視野方向もないカメラを考慮し、たとえば、例示的な光軸311Aおよび311Bが設けられる。

図3Aおよび図3Bに示す視差のない設計原理は、ミラー平面312A〜312Cおよび3121D〜312F内のどこかに位置するミラーからの反射後、カメラ310A〜310Cおよび310D〜310Fのすべての投影中心が1つの(または、単一の)仮想中心Vから投影されているように現れるように構成される。

図3Aの実施形態300Aでは、仮想カメラの投影中心Vは、カメラ310A、310B、310Cが光軸321に沿って上方に水平面305の上の画像空間を見ているかのように画像を取り込むために協働するように、水平面305の下に位置し、ここで、下および上方は、カメラ310A、310B、310C、仮想カメラの投影中心V、および画像空間の相対的位置を指すために任意に選択される用語であり、実空間内の実際のカメラの位置決めまたは向きを制約することを意図していない。図3Aに示す原理に従って構成された実際のカメラのいくつかの例では、平面312A、312B、312C内に位置する実際のミラーは、その基部の上に配置されたその頂点を有する反射要素を形成するように交差し得る。たとえば、頂点は、点Pに位置することができ、反射要素の基部は、仮想カメラVに向かう光軸321に沿ったどこかに位置することができる。

図3Bの実施形態300Bは、広FOVアレイカメラを表す。仮想カメラの投影中心Vは、カメラ310D、310E、310Fが光軸321から外向きに水平面305の周囲の画像空間を見ているかのように画像を取り込むために協働するように、水平面305の上に位置し、ここで、下および上方は、カメラ310D、310E、310F、仮想カメラの投影中心V、および画像空間の相対的位置を指すために任意に選択される用語であり、実空間内の実際のカメラの位置決めまたは向きを制約することを意図していない。図3Bに示す原理に従って構成された実際のカメラのいくつかの例では、平面312D、312E、312F内に位置する実際のミラー(たとえば、平面312D内のミラー330)は、その基部の下に配置されたその頂点を有する反射要素を形成するように交差し得る。たとえば、頂点は、点Pに位置することができ、反射要素の基部は、仮想カメラVに向かう光軸321に沿ったどこかに位置することができる。

そのように、広FOV実施形態300Bのための反射型反射要素は、実施形態300Aのための反射型反射要素と比較して反転される。さらに、アレイ300Aが光軸321に沿って位置する画像を「見る」間、アレイ300Bは、軸321の周りに円周方向に位置する空間の180度パノラマ画像を「見る」が、アレイ300Aによって見られる中央の画像シーンは見ない。いくつかの実施形態では、設計300Aおよび300Bは、完全に半球状の視野を取り込むカメラを形成するように組み合わされ得る。

図3Aに示す視差のない設計原理に従って視差のないアレイカメラを設計または構成するために、アレイカメラ300Aの水平面305の下の任意の場所に点V(仮想カメラの投影中心)を配置することができる。設計者または製造業者は、次いで、カメラ310A、310B、310Cの位置を設定または識別することができ、次いで、各カメラの投影中心を仮想カメラの投影中心と接続するライン313A、313B、313Cを画定することができる。次に、設計者または製造業者は、各セグメント313A、313B、313Cの中央314A、314B、314Cの位置を突き止めることができ、ミラーの平面312A、312B、312Cを、中央314A、314B、314Cに、または実質的に中央314A、314B、314Cに、そのセグメントに直交して、または実質的に直交して配置することができる。

図3Bに示す視差のない設計原理に従って視差のないアレイカメラを設計または構成するために、設計者または製造業者は、アレイカメラ300Bの水平面305の上の任意の場所に点V(仮想カメラの投影中心)を配置することができる。設計者または製造業者は、次いで、カメラ310D、310E、310Fの位置を設定または識別することができ、次いで、各カメラの投影中心を仮想カメラの投影中心と接続するライン313D、313E、313Fを作成することができる。次に、設計者または製造業者は、各セグメント313D、313E、313Fの中央314D、314E、314Fの位置を突き止めることができ、ミラーの平面312D、312E、312Fを、中央314D、314E、314Fに、そのセグメントに直交して配置することができる。図3Bに示すように、ミラー330は、その対応する平面312D内の任意の場所に配置され得る。

各平面312A〜312Fは、境界を有して示されているが、理論上、平面は、無限であり、設計者は、たとえば、重なり合うミラー、カメラの視野の妨害、などを防ぐために、特定のカメラ構成のニーズに従ってその対応する平面内のミラーの適切なサイズおよび位置を選択することができる。それらのミラーからの反射は、(この場合、カメラ310A〜310Fの)各投影中心を、薄いカメラ300A、300Bの同じ仮想投影中心Vに送る。これは、カメラの視野間に結果として生じるスティッチされた画像内に視差がない、または実質的にないことを保証する。

いくつかの実施形態では、平面312A〜312Cおよび312D〜312F内に位置するミラーは、反射要素を形成するように配置され得る。たとえば、平面312A〜312Cは、それらが、下向きおよび外向きに傾斜するミラー化ファセットを有する点Pまたはその近くに頂点を有する反射要素を形成するように交差するまで、図示の境界から外向きに拡張され得る。別の例として、平面312D〜312Fは、それらが、上向きおよび外向きに傾斜するミラー化ファセットを有する点Pまたはその近くに頂点を有する反射要素を形成するように交差するまで、図示の境界から外向きに拡張され得る。そのように、実施形態300Bのための反射型反射要素は、実施形態300Aのための反射型反射要素と比較して反転される。したがって、ミラーは、平面312A〜312Fについて示す位置に配置される必要はなく、実際のミラーは、ライン313A〜313Fに沿って、または中点314A〜314Fを含んで位置する必要はなく、むしろ、無限に拡張される平面内の任意の場所に位置することができる。

図3Aおよび図3Bに示す例は、3つのカメラを含むが、視差のない設計原理は、任意の数のカメラについて働く。個々のカメラの正確な視線方向は、視差の問題に関係しないが、効率および傾斜のアーティファクトなどに関係する。カメラの異なる視線方向から生じる画像内のそのような歪みは、事後に適用される周知の投影変換を用いてデジタル的にもとどおりにされ得る。この補正は、無限に小さい開口部については正確であり、小さい有限の開口部、たとえば、モバイルデバイス(たとえば、携帯電話、タブレットなど)で典型的に使用され得る開口部についてはほぼ正確である。投影変換補正は、(実際にはミラー平面およびカメラの位置決めを考慮して予め定義される)適切な投影変換を適用することによって、すべてのまたは実質的にすべての傾斜アーティファクトを除去することができる。

いくつかの薄いカメラの実施態様では、アレイのすべてのカメラは、薄いカメラモジュールまたはカメラハウジングの(またはその物理的に内側の)水平面内に配置され得る。しかしながら、他の実施形態では、カメラは、水平面305内に配置される必要はない。たとえば、カメラは、球面カメラについて、または、自由「中心の3Dクラウド(3D cloud of centers)」カメラ配置については、水平面内に配置される必要はない。いくつかのアレイカメラの実施形態では、カメラの配置は、すべてのミラー平面が1つの共通の交点を有するように、対称または実質的に対称であり得る。そのような点が存在する場合、それは、図3Aおよび図3Bにおけるように、図中Pで示される。複数のミラーは、頂点Pを有する反射要素を形成することができる。本明細書で使用される場合、ピラミッドまたは反射要素という用語は、各々が基部から角度をなして上方に延びるいくつかのファセットを有し、いくつかまたはすべてのファセットが頂点Pで出会う、任意の3次元形状を指すことができる。他の場合には、すべてのミラーに共通な点は、存在しないことがある。説明した実施形態では、しかしながら、すべての仮想カメラ(屈曲後の実際のカメラの画像)は、向きにかかわらず、共通仮想投影中心Vから世界を見るので、設計は、視差アーティファクトがない(または実質的にない)。本明細書で使用される場合、仮想投影中心は、入射光の(たとえば、ミラーまたは屈折プリズムによる)再配向または屈曲後であっても、アレイ内のすべてのカメラの投影された(FOV)円錐がそこから由来するように見える仮想カメラ位置の中心投影を指す。

対称性が十分でない場合、アレイカメラ設計は、視差のない画像を生成しながら、不正確な焦点ずれのぼけアーティファクトを依然として示す可能性がある。焦点ずれのぼけを少なくとも部分的に補償するために、すべてのカメラ開口部/ミラーから合成された共通開口部から焦点ずれのぼけのカーネルが作成され得る。Vの位置から見て特定の位置または方向に隙間および不規則性が存在する場合、ぼけは、不自然に見えることになる。これは、実際の個々のカメラが実際の点ではなく、各々、3D空間内で向きを有する表面の領域を表すという事実のためである。しかしながら、ほぼ完全に焦点が合っているシーンの良好な品質の画像を取り込むために、または、いくつかの実施態様では、アレイカメラに特に近く、たとえば、カメラから約20cm〜約50cmに物体が存在しない場合、不十分な対称性を有する設計が依然として使用され得る。

図4A〜図4Cは、図3Aおよび図3Bに示す視差のない設計原理に従って設計されたアレイカメラ400の一実施形態を示す。図4Aは、2つのカメラ410A、410Bを有するアレイを示す。カメラ410A、410Bは、各々、約20度の視野角を有し、結果として、複合アレイカメラ400のための約26度の有効視野角をもたらす。カメラ410A、410Bは、同じ見かけの起点450から画像データを取り込むように見える。各カメラ410A、410Bによって観察される視野420A、420Bは、青色の点線で強調表示されている。明瞭化のために、レンズアセンブリおよび2次反射表面または反射表面は、カメラ410A、410B内に示されていない。いくつかの実施形態では、カメラ410A、410Bのセンサは、初期反射または屈折に続く光と整列され得るが、他の実施形態では、2次反射または屈折表面が、たとえば、共通平面内または実質的に共通平面内にカメラ410A、410Bを置くことによってアレイの全体的な高さを減少させるために使用され得る。

図4Bは、図4Aのカメラ410Aのための視野角420Aおよびミラー表面415Aの設計パラメータの一例を示す。合成開口部のための60度の有効視野角(アレイ400内のカメラ410A、410Bのすべての視野の合計)を達成するために、個々のカメラ410A、410Bは、各々、少なくとも約48度の視野角420A、420Bを有するFOVを有するべきである。図4Cは、60度の視野角を達成する、図4Aのカメラ410A、410Bのための視野角420A、420Bとミラー表面415A、415Bの両方のための設計パラメータの一例を示す。

図5Aおよび図5Bは、図3Aおよび図3Bに示す視差のない設計原理に従って設計された4つのカメラ610A〜610Dのアレイカメラ600の一実施形態を示す。図5Aは、2つの平面についての単一のカメラのFOVのミラーリングによって作成された4つのカメラ610A〜610Dのアレイカメラ600の等角図を示す。明瞭化のために、レンズアセンブリおよび2次反射表面または反射表面は、カメラ610A〜610D内に示されていない。いくつかの実施形態では、カメラ610A〜610Dのセンサは、初期反射または屈折に続く光と整列され得るが、他の実施形態では、2次反射または屈折表面が、たとえば、共通平面内または実質的に共通平面内にカメラ610A〜610Dのセンサを置くことによってアレイの全体的な高さを減少させるために使用され得る。円錐625A〜625Dは、カメラ610A〜610Dのレンズによって見られるFOVの円錐である。円錐630A、630C、630D(円錐630Bは、図の明瞭化のために図示されていないことに留意されたい)は、カメラ610A〜610Dのセンサによって見られるFOVの円錐である。

図3Aおよび図3Bに関連して上記で説明した視差のない設計パラメータによって指定される(図3Bに示し、図5Bにミラー平面615として全体として示す)ミラー平面312D〜312Fの位置は、最終的な画像の形状と、カメラ610A〜610Dによって取り込まれた画像間の重なりの量とを部分的に決定する(ミラー平面615内に配置された反射表面の角度も要因である)。

図3Aおよび図3Bに関連して上記で説明した視差のない設計パラメータによって指定される(図3Bに示し、図5Aにミラー平面615として全体として示す)ミラー平面312D〜312Fの位置は、最終的な画像の形状と、カメラ610A〜610Dによって取り込まれた画像間の重なりの量とを部分的に決定する(ミラー平面615内に配置された反射表面の角度も要因である)。

図示のように、各カメラ610A〜610DのFOVの歪み(skewing)のため、視野領域620A〜620Dの間には重なりが存在する。図示の4つのカメラのアレイカメラ600は、カメラのFOV間の重大な重なりなしで設計されたが、これは、一実施形態では、カメラの光軸が同じ平面内にあるように、隣接するカメラをそれらの光軸の周りに回転させることによって達成され得る。隣接するカメラについて、カメラのFOVの歪みのため、重なりが部分的に存在する。左のカメラの重なる領域は、右のカメラのミラー表面から実際に反射され、逆もまた同様であるので、この重なりは、図示されているよりも大きい可能性があり、歪む可能性がある。

いくつかの実施形態では、隣接するカメラが回転指定ない位置に戻るまで隣接するカメラを仮想光軸に向けて回転させることによって、隣接するカメラ間に重なりが作成され得る。しかしながら、カメラを互いに平行に置くことは、物体の距離が増加するとともに重なりを増加させるが、重ならない領域は、物体の距離を増加させることで増加せず(重なりの割合は、100%に近づく)、したがって、特定の実施形態では実行可能な解決策ではない可能性がある。いくらかの重なりを作成するために、カメラを中心線に向けてわずかに回転させることは、各方向に約10度の重なりを生じさせることができる。しかしながら、各カメラのサイズおよび相対的配置、ならびにアレイの高さの制約に応じて、2つの回転したカメラを並べて配置するために利用可能な十分な空間がない可能性がある。

図6は、図3Aおよび図3Bに示す視差のない設計原理に従って設計されたアレイカメラ1000の一実施形態を示す。図6のカメラは、追加の2つのカメラと2つの反射表面とを含むように4つのカメラのアレイカメラを拡張することによって構成された6カメラ910A〜910Fのアレイカメラである。この実施形態におけるカメラ910A〜910Fは、空間の節約のために回転され得る。

IV.例示的な画像取込みプロセスの概要
図7は、屈曲光学画像取込みプロセス900の一実施形態を示す。プロセス900は、ブロック905で開始し、ブロック905では、複数の撮像センサアセンブリが提供される。このブロックは、前の画像に関連して上記で論じたセンサアレイ構成のいずれかを含み、センサおよび関連する光屈曲表面は、本明細書で論じた視差のない設計概念に従って配置される。センサアセンブリは、上記で論じたように、センサと、レンズシステムと、レンズシステムからの光をセンサ上に配向するように配置された屈折表面または反射表面とを含み得る。プロセス900は、次いで、ブロック910に移動し、ブロック910では、少なくとも1つの屈折表面または反射表面が、複数の画像センサに近接して取り付けられる。たとえば、このブロックは、2列のセンサアレイの間に中央ミラー反射要素を取り付けることを含むことができ、中央ミラー反射要素は、アレイ内の各センサに関連付けられた表面を備える。

プロセス900は、次いで、ブロック915に移行し、ブロック915では、シーンのターゲット画像を含む光は、少なくとも1つの反射表面から撮像センサに向かって反射される。たとえば、光の一部は、複数のセンサの各々に向かって、複数の表面の各々によって屈折され得、または複数の表面の各々から反射され得る。このブロックは、各センサに関連付けられたレンズアセンブリを介して光を通過させることをさらに含み得、また、第2の表面からセンサ上に光を反射させることを含み得る。ブロック915は、レンズアセンブリを使用して、または反射表面のいずれかの移動によって、光を集束させることをさらに含み得る。

プロセス900は、次いで、ブロック920に移動することができ、ブロック920では、センサは、ターゲット画像シーンの複数の画像を取り込む。たとえば、各センサは、センサの視野に対応するシーンの部分の画像を取り込み得る。一緒に、複数のセンサの視野は、少なくとも物体空間内のターゲット画像をカバーする。図示されていないが、投影変換は、画像を取り込むために使用されるカメラの光軸をデジタル的に回転させるために、取り込まれた画像のいくつかまたはすべてに適用され得る。

プロセス900は、次いで、ブロック925に移行し得、ブロック925では、画像スティッチング方法が、複数の画像から単一の画像を生成するために実行される。いくつかの実施形態では、図2の画像スティッチングモジュール240がこのブロックを実行し得る。これは、公知の画像スティッチング技法を含み得る。さらに、視野内の重なりの任意の領域は、スティッチングプロセスにおいて画像を整列させる際に使用され得る、複数の画像における重なりを生成し得る。たとえば、ブロック925は、隣接する画像の重なり合う領域内の共通の特徴を識別することをさらに含み得、画像を整列させるために共通の特徴を使用し得る。

次に、プロセス900は、ブロック930に移行し、ブロック930では、スティッチされた画像は、指定されたアスペクト比、たとえば、4:3または1:1にクロップされる。最後に、プロセスは、ブロック935においてクロップされた画像を記憶した後、終了する。たとえば、画像は、図2のストレージ210内に記憶され得、または、対象領域のプレビュー画像として表示するために図2のワーキングメモリ205内に記憶され得る。

V.システムの実装および用語
本明細書で開示した実施態様は、視差アーティファクトおよび傾斜アーティファクトのない複数開口部アレイカメラのためのシステム、方法、および装置を提供する。当業者は、これらの実施形態がハードウェアにおいて、ソフトウェアにおいて、ファームウェアにおいて、または任意のそれらの組合せにおいて実装され得ることを認識するであろう。

いくつかの実施形態では、上記で論じた回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスで通信するために使用される一種の電子デバイスであり得る。ワイヤレス通信デバイスの例は、セルラー電話、スマートフォン、携帯情報端末(PDA)、電子書籍リーダ、ゲーミングシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイス、などを含む。

ワイヤレス通信デバイスは、1つまたは複数の画像センサ、2つ以上の画像信号プロセッサ、命令を含むメモリ、または、上記で論じたプロセスを実行するためのモジュールを含み得る。デバイスはまた、データと、メモリから命令および/またはデータをロードするプロセッサと、1つまたは複数の通信インターフェースと、1つまたは複数の入力デバイスと、ディスプレイデバイスなどの1つまたは複数の出力デバイスと、電源/電力インターフェースとを有し得る。ワイヤレス通信デバイスは、加えて、送信機と受信機とを含み得る。送信機および受信機は、併せてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および/または受信するための1つまたは複数のアンテナに結合され得る。

ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続し得る。ワイヤレス通信デバイスは、代替的には、モバイルデバイス、移動局、加入者局、ユーザ機器(UE)、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット、などと呼ばれることもある。ワイヤレス通信デバイスの例は、ラップトップコンピュータまたはデスクトップコンピュータ、セルラー電話、スマートフォン、ワイヤレスモデム、電子書籍リーダ、タブレットデバイス、ゲーミングシステム、などを含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP)などの1つまたは複数の業界標準に従って動作し得る。したがって、「ワイヤレス通信デバイス」という一般的な用語は、業界標準に従って様々な命名法で記述されたワイヤレス通信デバイス(たとえば、アクセス端末、ユーザ機器(UE)、遠隔探査、など)を含み得る。

本明細書に記載の機能は、プロセッサ可読媒体またはコンピュータ可読媒体上に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージデバイスもしくは他の磁気ストレージデバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するために使用可能であり、かつコンピュータによってアクセス可能な任意の他の媒体を含み得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(登録商標)(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意すべきである。「コンピュータプログラム製品」は、コンピューティングデバイスまたはプロセッサによって実行され得る、処理され得る、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能な、ソフトウェア、命令、コード、またはデータを指し得る。

ソフトウェアまたは命令はまた、送信媒体を介して送信され得る。たとえば、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してソフトウェアが送信される場合、上記の同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。

本明細書で開示した方法は、説明した方法を達成するための1つまたは複数のステップまたは動作を備える。方法ステップおよび/または動作は、特許請求の範囲を逸脱することなく互いに交換されてよい。言い換えれば、ステップまたは動作の特定の順序が、説明されている方法の適切な動作のために必要とされない限り、特定のステップおよび/または動作の順序および/または使用は、特許請求の範囲から逸脱することなく変更され得る。

「結合」、「結合する」、「結合される」という用語、またはこの語の組の他の変形形態は、本明細書で使用される場合、間接的な接続または直接的な接続を示す場合があることに留意されたい。たとえば、第1の構成要素が第2の構成要素に「結合」されている場合、第1の構成要素は、第2の構成要素に間接的に接続されてもよく、第2の構成要素に直接接続されてもよい。本明細書中で使用される場合、「複数」という用語は、2つ以上を示す。たとえば、複数の構成要素は、2つ以上の構成要素を示す。

「決定する」という用語は、多種多様な動作を包含し、したがって、「決定すること」は、計算すること、演算すること、処理すること、導出すること、調査すること、検索すること(たとえば、テーブル、データベース、または別のデータ構造内を検索すること)、確認すること、などを含み得る。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。

「〜に基づいて」という句は、明示的に指定されていない限り、「〜のみに基づいて」を意味しない。言い換えれば、「〜に基づいて」という句は、「〜のみに基づいて」と「少なくとも〜に基づいて」の両方を表す。

前述の説明では、具体的な詳細が、例の完全な理解を提供するために与えられている。しかしながら、例がこれらの具体的な詳細なしに実施され得ることが当業者には理解されよう。たとえば、不必要な詳細で実施例を不明瞭にしないために、電気の構成要素/デバイスがブロック図で示される場合がある。他の事例では、例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示される場合がある。

本明細書では、見出しは、参照のために、および様々なセクションを配置するのを助けるために含まれる。これらの見出しは、それに関して説明した概念の範囲を限定することを意図するものではない。そのような概念は明細書全体を通して適用性を有し得る。

例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明され得ることにも留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは並列、または同時に実行され得、プロセスは繰り返され得る。また、動作の順序は並べ替えられてよい。プロセスは、その動作が完了したとき、終了する。プロセスは、方法、機能、手続き、サブルーチン、サブプログラム、などに対応し得る。プロセスがソフトウェアの関数に対応する場合、その終了は、呼出し関数またはメイン関数への関数のリターンに対応する。

開示した実施態様の前述の説明は、当業者が本開示を製作または使用することを可能にするために提供される。これらの実施態様への様々な修正が当業者には容易に明らかになり、本明細書で定義される一般的な原理は、本開示の趣旨または範囲を逸脱することなく他の実施態様に適用され得る。したがって、本開示は、本明細書に示す実施態様に限定されるものではなく、本明細書に開示された原理および新規な特徴と一致する最も広い範囲が与えられるべきである。

100A 屈曲光学マルチセンサアセンブリ、アレイカメラ
100B 屈曲光学マルチセンサアセンブリ、屈曲光学アレイカメラ
105 画像センサ
106 カバーガラス
110 反射2次光屈曲表面
111 プリズム
115 レンズアセンブリ
120 中央反射表面
121 光軸
122 第1の側面
123 光軸
124 第2の側面
125 画像センサ
126 カバーガラス
130 レンズアセンブリ
135 反射2次光屈曲表面
136 プリズム
140 視野(FOV)
141 中央プリズム
145 視野(FOV)
146 中央プリズム
150 基板
200 画像取込みデバイス
205 ワーキングメモリ
210 ストレージ
215a〜n カメラ
220 画像プロセッサ
225 電子ディスプレイ
230 メモリ構成要素
235 取込み制御モジュール
240 画像スティッチングモジュール
245 オペレーティングシステム
250 デバイスプロセッサ
300A アレイカメラ、構成、アレイ
300B アレイカメラ、構成、アレイ
305 水平面、平面
310A カメラ
310B カメラ
310C カメラ
310D カメラ
310E カメラ
310F カメラ
311A 光軸
311B 光軸
312A ミラー平面
312B ミラー平面
312C ミラー平面
312D ミラー平面
312E ミラー平面
312F ミラー平面
313A ライン、セグメント
313B ライン、セグメント
313C ライン、セグメント
313D ライン、セグメント
313E ライン、セグメント
313F ライン、セグメント
314A 中央
314B 中央
314C 中央
314D 中央
314E 中央
314F 中央
321 仮想光軸
330 ミラー
400 アレイカメラ
410A カメラ
410B カメラ
415A ミラー表面
415B ミラー表面
420A 視野角
420B 視野角
450 見かけの起点
610A カメラ
610B カメラ
610C カメラ
610D カメラ
620A 視野領域
620B 視野領域
620C 視野領域
620D 視野領域
625A 円錐
625B 円錐
625C 円錐
625D 円錐
630A 円錐
630C 円錐
630D 円錐
910A カメラ
910B カメラ
910C カメラ
910D カメラ
910E カメラ
910F カメラ
1000 アレイカメラ

Claims

シーンのターゲット画像を取り込むためのシステムであって、前記システムが、
仮想投影中心を有する複数のカメラのアレイを備え、前記複数のカメラの各々が、シーンのターゲット画像の複数の部分のうちの1つを取り込むように構成され、
前記複数のカメラの各々が、
画像センサと、
少なくとも1つのレンズを含むレンズアセンブリであって、前記レンズアセンブリが、投影中心を有し、前記レンズアセンブリが、前記画像センサ上に光を集束させるように配置され、前記レンズアセンブリの前記投影中心が、前記仮想投影中心を通過するラインに沿って位置する、レンズアセンブリと、
前記レンズアセンブリに前記光を反射するように配置されたミラーであって、前記ミラーが、ミラー平面上にさらに配置され、前記ミラー平面が、前記仮想投影中心を通過するラインに沿った点と交差するように配置された、ミラーと
を備える、システム。
前記光を複数の部分に分割するように構成された複数の1次光再配向表面を有する中央反射要素をさらに備え、前記複数のカメラの各々の前記ミラーが、前記1次光再配向表面の1つを形成する、請求項1に記載のシステム。
前記ミラー平面が、前記仮想投影中心を通過するラインに沿った中点と交差するように配置され、前記ラインと直交する角度に配置された、請求項1に記載のシステム。
前記中央反射要素が、前記複数の1次光再配向表面の各々の交差によって形成される頂点を備え、前記複数のカメラの各々の光軸が、前記頂点を通過する、請求項2に記載のシステム。
前記頂点および前記仮想投影中心が、仮想光軸が前記複数のカメラの前記アレイの光軸を形成するように、前記頂点と前記仮想投影中心とを通過する前記仮想光軸上に位置する、請求項4に記載のシステム。
前記シーンを表す光が開口部を前記中央反射要素まで通過することを可能にするように配置された前記開口部を有する上面を備えるカメラハウジングをさらに備える、請求項5に記載のシステム。
前記上面が、前記中央反射要素の頂点において、またはその上方で前記仮想光軸と直交して配置され、前記カメラハウジングが、前記上面に実質的に平行に配置され、前記中央反射要素の下面において、またはその下方に配置された下面をさらに備える、請求項6に記載のシステム。
前記複数のカメラの各々が、前記上面と前記下面との間に配置された、請求項7に記載のシステム。
前記複数のカメラの各々から前記シーンの一部の画像を含む画像データを受信し、前記ターゲット画像を生成するためにスティッチング動作を実行するように構成されたプロセッサをさらに備える、請求項1に記載のシステム。
前記プロセッサが、前記仮想投影中心、および前記複数のカメラの各々の前記レンズアセンブリの前記投影中心と、対応するミラー平面内の前記複数のカメラの各々のための前記ミラーの位置との間の幾何学的関係に少なくとも部分的に基づいて、前記画像データへの投影変換を実行するようにさらに構成された、請求項9に記載のシステム。
前記複数のカメラの各々に関連付けられた2次光再配向表面をさらに備え、前記2次光再配向表面が、前記レンズアセンブリからの光を前記画像センサ上に配向するように配置された、請求項2に記載のシステム。
少なくとも1つの開口部を有する基板をさらに備え、前記少なくとも1つの開口部が、前記光が前記少なくとも1つの開口部を前記複数のカメラの各々の前記ミラーまで通過することを可能にするように配置され、前記複数のカメラの各々のための前記画像センサが、前記基板上または前記基板内に配置された、請求項11に記載のシステム。
取り込まれた画像内に視差アーティファクトが実質的にないアレイカメラを製造する方法であって、
アレイ内に複数のカメラを配置するステップであって、前記複数のカメラの各々が、ターゲット画像シーンの複数の部分のうちの1つを取り込むように構成され、前記複数のカメラが、仮想投影中心を有する仮想カメラの位置から画像データを各々取り込むように配置され、前記複数のカメラの各々が、
少なくとも1つのレンズを有するレンズアセンブリと、
前記レンズアセンブリの光学系によって少なくとも部分的に決定された位置を有するカメラの投影中心と、
前記レンズアセンブリからの光を受けるように配置されたセンサと
を備える、ステップと、
前記複数のカメラの各々について、ミラー平面上に配置されたミラーを設けるステップであって、前記ミラー平面が、前記仮想投影中心を通過するラインに沿った点と交差するように配置される、ステップと
を備える、方法。
中央反射要素のファセットとして前記複数のカメラの各々のための前記ミラーを設けるステップをさらに備え、前記複数のカメラが、前記中央反射要素の周囲に配置される、請求項13に記載の方法。
前記ミラー平面が、前記カメラの前記仮想投影中心を通過するラインに沿った中点と交差し、前記ラインと直交するようにさらに配置される、請求項14に記載の方法。
前記複数のカメラの各々のための前記ミラーが、前記中央反射要素の頂点で交差し、前記方法が、前記複数のカメラの各々の光軸が前記頂点と交差するように前記複数のカメラの各々を配置するステップをさらに備える、請求項14に記載の方法。
前記複数のカメラの各々のための2次光再配向表面を設けるステップをさらに備える、請求項13に記載の方法。
前記レンズアセンブリから受けた光を前記センサ上に配向するように、前記レンズアセンブリと前記センサとの間に前記2次光再配向表面を配置するステップをさらに備える、請求項17に記載の方法。
前記光が少なくとも1つの開口部を前記複数のカメラの各々のための前記ミラーまで通過することを可能にするように配置された前記少なくとも1つの開口部を有する基板を設けるステップをさらに備える、請求項18に記載の方法。
すべてのセンサが同じ平面内に配置されるように、前記基板上または前記基板内に前記複数のカメラの各々のための前記センサを取り付けるステップをさらに備える、請求項19に記載の方法。
前記複数のカメラの各々のセンサと電子的に通信するプロセッサを設けるステップをさらに備え、前記プロセッサが、ターゲット画像シーンの複数の部分を受け取り、前記ターゲット画像シーンの完全な画像を生成するように構成される、請求項13に記載の方法。
視差が実質的にない画像を取り込む方法であって、
複数のミラーを使用して、画像のシーンを表す光を複数の部分に分割するステップと、
仮想投影中心を有する仮想カメラの位置から画像データを取り込むように各々配置された複数のカメラの対応する1つに前記複数の部分の各々を配向するステップであって、前記複数のカメラの各々が、
少なくとも1つのレンズを備えるレンズアセンブリと、
前記レンズアセンブリの光学系によって少なくとも部分的に決定された位置を有するカメラの投影中心と、
前記レンズアセンブリからの光を受けるように配置されたセンサと
を備える、ステップと、
前記複数の部分を前記画像に組み立てるステップと
を含み、
前記複数のミラーの各ミラーについて、前記ミラーが、ミラー平面上に配置され、前記ミラー平面が、前記仮想投影中心を通過するラインに沿った点と交差するように配置される、方法。
前記複数のカメラの各々の有効傾斜を変更するために、取り込まれた画像データに投影変換を適用するステップをさらに備える、請求項22に記載の方法。
前記複数のカメラの各々について、2次光再配向表面を使用して、前記レンズアセンブリから受けた前記光を前記画像センサ上に再配向するステップをさらに備える、請求項22に記載の方法。
シーンのターゲット画像を取り込むための装置であって、前記装置が、
仮想投影中心を有する複数のカメラのアレイであって、前記複数のカメラの各々が、前記シーンの前記ターゲット画像の複数の部分のうちの1つを取り込むように構成された、複数のカメラのアレイと、
前記複数のカメラの各々について、
画像を取り込むための手段と、
前記仮想投影中心を通過するラインに沿って位置する投影中心を有する光を集束させるための手段と、
前記仮想投影中心を通過するラインに沿った点と交差するように配置された1次光再配向平面内に位置する光を再配向するための手段と
を備える、装置。
前記光を再配向するための手段が、1次光屈曲平面内に配置された反射表面と、1次光屈曲平面内に配置されたファセットを有する屈折型プリズムとのうちの1つを備える、請求項25に記載の装置。
前記光を集束させるための手段が、1つまたは複数のレンズを含むレンズアセンブリを備える、請求項25に記載の装置。
前記複数のカメラの各々が、前記光集束手段から受けた光を前記画像取込み手段上に配向するように配置された光を再配向するための追加の手段を備える、請求項25に記載の装置。
前記複数の部分を前記ターゲット画像に組み合わせるための手段をさらに備える、請求項25に記載の装置。
前記ターゲット画像の前記複数の部分間の傾斜アーティファクトを補償するための手段をさらに備える、請求項29に記載の装置。