CN110430345B - 使用折射棱镜的折叠光学阵列相机 - Google Patents

Abstract

本申请涉及使用折射棱镜的折叠光学阵列相机。各方面涉及一种具有宽广视场的棱镜阵列相机。举例来说，所述棱镜阵列相机可使用例如具有多个表面或小面的中心折射棱镜来将包含目标图像的入射光分割成多个部分以供所述阵列中的传感器捕捉。所述棱镜可具有大约1.5或更高的折射率，且可经定形及定位以减少色像差伪影及增大传感器的FOV。在一些实例中，负透镜可并入至或附接至所述棱镜的面向相机的表面以进一步增大所述FOV。

Description

使用折射棱镜的折叠光学阵列相机

分案申请的相关信息

本案是分案申请。该分案的母案是申请日为2015年6月18日、申请号为201580032125.5、发明名称为“使用折射棱镜的折叠光学阵列相机”的发明专利申请案。

技术领域

本发明涉及包括多相机阵列的成像系统及方法。确切地说，本发明涉及实现低剖面成像系统及移动装置同时维持或改进图像质量的系统及方法。

背景技术

许多移动装置(例如移动电话及平板计算机计算装置)包含可由用户操作以捕捉静态及/或视频图像的相机。因为移动装置通常设计为相对较小，所以可能至关重要的是将相机或成像系统设计得尽可能薄以便保持为低剖面移动装置。折叠光学图像传感器阵列(“阵列相机”)允许创建低剖面图像捕捉装置，而不缩短焦距或减小图像在传感器阵列的视场内的分辨率。通过使用初级及次级表面朝向阵列中的每一传感器重新引导光，及通过对用以将入射光聚焦于初级表面与次级表面之间的透镜组合件进行定位，可将传感器阵列定位在垂直于透镜组合件的平坦衬底上。较长的焦距使得有可能实施例如光学变焦等特征，且有可能将更复杂的光学系统(其需要比通常由传统移动相机提供的更多的空间)并入，例如添加更多光学元件。

一些阵列相机使用中央镜或棱镜，其具有多个小面以将包含目标图像的入射光分割成多个部分来供所述阵列中的传感器捕捉，其中每一小面将来自目标图像的光的一部分引向所述阵列中的传感器。经分割的光的每一部分可穿过透镜组合件，且从位于传感器正上方或正下方的表面反射回来，使得每一传感器捕捉到图像的一部分。传感器视场可重叠以辅助将所捕捉部分拼接在一起成为完整图像。

发明内容

本文所描述的折叠光学传感器阵列及图像捕捉技术允许创建低剖面图像捕捉装置，但不缩短焦距或减小图像在传感器阵列的视场内的分辨率，其中捕捉到的图像具有增大的视场及减小或消除的相机视场(FOV)伪影。现有阵列相机的一个挑战是，因阵列中的相机看到其对应的镜面之外或周围而导致的质量降低。因此，捕捉到不表示图像场景的图像数据，从而在图像拼接期间产生问题。阵列相机面临的另一挑战是，归因于针对每一个别相机的FOV的限制，整个阵列的FOV几乎局限于大约60度。通常,将相机移动更接近中央镜可实现FOV增大，然而，在低剖面阵列相机中，相机会开始在镜面中看到自身，且无法实现显著的FOV增大。

除其它之外，本文所描述的棱镜阵列相机在一些实施例中解决了上述问题。所述实施例中的一些可使用中心折射棱镜(例如具有多个表面或小面)以将包含所述目标图像的入射光分割成多个部分以供所述阵列中的传感器捕捉。在一些实施例中，所述棱镜可具有大约1.5或更高的折射率，且可经定形及定位以降低色像差伪影及增大传感器的FOV。例如，可将所述棱镜的顶部表面定位为正交于所述阵列的垂直对称轴(也可为所述阵列的光轴)。在一些实施例中，可将所述棱镜的下部内表面定位为相对于垂直对称轴成角度α，且可将(例如，朝向对应的相机的)下部外表面定位为正交于所述顶部表面。在其它实施例中，可将所述棱镜的下部内表面定位为相对于垂直对称轴成角度α，且可将(例如，朝向对应的相机的)下部外表面定位为相对于所述顶部表面成角度2α。在一些实例中，可将负透镜并入或附接到所述下部外表面以进一步增大所述FOV。此类实例可使所述阵列的总FOV实现高达180度。

可使经分割的光的每一部分穿过透镜组合件且从定位在传感器正上方或正下方的可选额外反射表面反射回来(或通过定位在所述传感器正上方或正下方的可选额外棱镜折射)，使得每一传感器捕捉到图像的一部分。在一些情况下，所述阵列中的每一传感器可捕捉到所述图像的与所述阵列中的相邻传感器所捕捉的部分稍微重叠的一部分，且可(例如，通过线性混合或其它图像拼接技术)将这些部分组合成目标图像。

一个方面涉及一种用于捕捉目标图像场景的棱镜阵列相机，系统包含多个定位在所述棱镜阵列相机的垂直对称轴周围的相机，所述多个相机中的每一相机包含图像传感器及经定位而相对于所述垂直对称轴成第一角度的光轴，所述第一角度对应于一定角度值；及多个棱镜，每一棱镜经配置以至少部分地通过折射而将表示所述目标图像场景的光的一部分引向所述多个相机中的对应相机，每一棱镜包含经定位正交于所述棱镜阵列相机的垂直对称轴的第一表面(所述第一表面经定位以使得表示所述目标图像场景的光的部分通过第一表面进入棱镜)、第二表面(其经定位以使得由第二表面形成的平面将对应的相机的光轴与垂直对称轴之间的第一角度平分)，及第三表面，所述第二表面经配置以将从第一表面所接收的光的部分朝向第三表面重新引导，所述第三表面经定位以使得表示所述目标图像场景的光的部分离开棱镜且朝向对应的相机传播。

另一方面涉及一种制造棱镜阵列相机的方法，所述方法包含确定所述棱镜阵列相机的垂直对称轴；且针对所述棱镜阵列相机的多个相机中的每一相机，对所述相机进行定位以使得所述相机的光轴定位为相对于所述垂直对称轴成第一角度(所述第一角度对应一定角度值)，且定位光学元件以使得所述光学元件的第一表面经定位正交于所述垂直对称轴，及所述光学元件的第二表面经定位以使得由所述第二表面形成的平面平分第一角度。

另一方面涉及一种用在阵列相机中的棱镜组合件，所述棱镜组合件包含垂直对称轴；及多个折射光学元件，每一元件与所述阵列相机的多个相机中的对应一者相关联且经配置以将表示目标图像场景的光的一部分传向所述多个相机中的对应一者，多个折射光学元件中的每一者包含经定位正交于所述棱镜阵列相机的垂直对称轴的第一表面(所述第一表面经定位以使得表示所述目标图像场景的光的部分通过第一表面进入棱镜)、第二表面(其经定位以使得由第二表面形成的平面将对应的相机的光轴与垂直对称轴之间的第一角度平分)、第三表面(所述第二表面经配置以将从第一表面所接收的光的部分朝向第三表面重新引导，所述第三表面经定位以使得表示所述目标图像场景的光的部分离开棱镜且朝向对应的相机传播)，及由第一表面与第二表面的相交点所界定的顶点。

另一方面涉及一种用于捕捉图像的设备，其包含用于捕捉目标图像场景的多个部分的装置；用于折射表示所述多个部分中的每一部分的光的装置，所述用于折射光的装置包含以几何关系布置的小面，所述小面包含定位为正交于所述用于折射光的装置的垂直对称轴的第一平面、定位为相对于所述垂直对称轴成第一角度的第二平面(所述第一角度对应于第一角度值)及定位为相对于所述第一表面成第二角度的第三平面(所述第二角度对应于大体上等于所述第一角度值两倍的第二角度值)；及用于将所述多个部分组合成目标图像场景的最终影像的装置。

附图说明

将在下文结合附图及附录来描述所揭示的方面，提供附图及附录是为了说明而非限制所揭示的方面，其中相同符号表示相同元件。

图1A说明折叠光学阵列相机的实施例的横截面侧视图。

图1B说明折叠光学阵列相机的另一实施例的横截面侧视图。

图2说明图像捕捉装置的一个实施例的框图。

图3A至3C说明无视差及倾斜伪影的实施例。

图4说明用于所述阵列相机的一个传感器及镜面的设计参数的实例。

图5A至5C说明用于棱镜阵列相机的棱镜的实施例。

图6A至6C说明用于棱镜阵列相机的棱镜的另一实施例。

图7A至7C说明用于棱镜阵列相机的棱镜的另一实施例。

图8说明折叠光学图像捕捉过程的实施例。

具体实施方式

I.引言

本文所揭示的实施方案提供用于使用具有折叠光学系统的阵列相机来产生具有宽广视场的图像的系统、方法和设备，所述图像基本上不含视差及倾斜伪影。本发明的各方面涉及具有宽广视场(例如，大约180度)的阵列相机。利用棱镜替换镜面同时解决上文所提到的两个问题——相机看到中央镜之外，及每一相机的有限FOV。举例而言，归因于全内反射的效应，广泛范围的棱镜设计相机并不看到棱镜的边缘或顶点以上。这就非常有效地解决了第一个问题。此外，相机获得更宽的FOV。在设计的一个类别中，这与色像差的引入有关。所述棱镜阵列相机设计的另一实施例完全没有像差。利用较高折射率玻璃及其它材料，个别相机的视场不受限制，且仍然如同具有“自由镜头”。在所述棱镜阵列相机设计的在另一个实施例中，将负透镜添加至所述棱镜可额外增大所述个别相机的FOV，高达90度，从而使180度总FOV成为可能。

所述阵列中的每一传感器使用对应的中心棱镜“看到”所述图像场景的一部分，且因此每一个别传感器/镜对仅表示总阵列相机的子孔径。完整阵列相机具有基于所有个别孔径光线的总和(即，基于将子孔径所产生的图像拼接在一起)而产生的合成孔径。

在以下描述中，给出具体细节以提供对实例的透彻理解。然而，可以在无这些具体细节的情况下实践所述实例。

II.折叠光学阵列相机的概述

现参看图1A及1B，现将更详细地描述适合与本文中所描述的自动聚焦系统及技术一起使用的折叠光学多传感器组合件100A、100B的实例。图1A说明折叠光学系统阵列100A的实例的横截面侧视图，所述阵列包括图像传感器105、125，次级光重新引导反射表面110、135，透镜组合件115、130，及中心反射表面120，其均可安装至衬底150。图1B说明折叠光学传感器阵列的实施例的横截面侧视图，其包括针对光重新引导初级表面122、124的中心棱镜141、146，以及形成次级光重新引导表面135、110的额外棱镜。

参考图1A，在某些实施例中，图像传感器105、125可包括电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS)、或响应于所接收到的图像而接收光且产生图像数据的任何其它图像感测装置。图像传感器105、125可能够获得静态相片的图像数据，且还可提供关于所捕捉的视频流中的运动的信息。传感器105及125可为个别传感器或可表示传感器阵列，例如3x1阵列。然而，如所属领域的技术人员将理解，所揭示的实施方案中可使用任何合适的传感器阵列。

传感器105、125可安装在衬底150上，如图1A中所展示。在一些实施例中，所有传感器可通过安装至平坦衬底150而处于一个平面上。衬底150可为任何合适的基本上平坦的材料。中心反射表面120及透镜组合件115、130也可安装在衬底150上。可能有多个用于安装(一或多个)传感器阵列、多个透镜组合件以及多个初级及次级反射或折射表面的配置。

仍参看图1A，在一些实施例中，中心反射表面120可用于将来自目标图像场景的光朝向传感器105、125重新引导。中心反射表面120可为一个镜面或多个镜面，且可为平面的或根据需要整形，以将入射光恰当地重新引导至图像传感器105、125。举例来说，在一些实施例中，中心反射性表面120可为大小及形状经设定以将入射光光线反射穿过透镜组合件115、130分别到达传感器105、125的镜面。中心反射表面120可将包含目标图像的光分割成多个部分，且在不同传感器处引导每一部分。举例来说，中心反射表面120(也称作初级光重新引导表面，因为其它实施例可能实施折射棱镜而非反射表面)的第一侧122可将对应于第一视场(FOV)140的光的一部分朝左侧传感器105发送，而第二侧124将对应于第二视场145的光的第二部分朝右侧传感器125发送。应了解，图像传感器的视场140、145一起至少覆盖所述目标图像。

在接收传感器各自为多个传感器的阵列的一些实施例中，中心反射表面可由相对于彼此放置成一角度的多个反射表面组成，以便朝向所述传感器中的每一者发送目标图像场景的不同部分。所述阵列中的每一传感器可具有大体上不同的视场，且在一些实施例中，所述视场可重叠。当设计透镜系统时，中心反射表面的某些实施例可具有用以增大自由度的复杂非平面表面。另外，尽管将中心表面论述为反射表面，但在其它实施例中，中心表面可能为折射性的。举例来说，中心表面可为配置有多个小面的棱镜，其中每一小面将包含所述场景的光的一部分朝向所述传感器中的一者引导。

在从中心反射表面120反射回来之后，所述光可如图1A中所说明传播穿过透镜组合件115、130。可在中心反射性表面120与传感器105、125及反射表面110、135之间提供一或多个透镜组合件115、130。透镜组合件115、130可用于使被引向每一传感器的目标图像的部分聚焦。

在一些实施例中，每一透镜组合件可包含一或多个透镜，以及用于使所述透镜在多个不同透镜位置当中移动穿过壳体的致动器。所述致动器可为音圈电机(VCM)、微电子机械系统(MEMS)或形状记忆合金(SMA)。所述透镜组合件可进一步包括用于控制致动器的透镜驱动器。

可通过改变每一相机的透镜115、130与对应的传感器105、125之间的焦距来实施传统自动聚焦技术。在一些实施例中，这可通过移动镜筒来完成。其它实施例可通过上下移动移动中央镜或通过调整所述镜面相对于透镜组合件的角度来调整焦点。某些实施例可通过在每一传感器上方移动侧镜来调整焦点。此类实施例可允许组合件个别地调整每一传感器的焦点。另外，对于一些实施例，有可能(例如)通过将透镜(如液体透镜)放置在整个组合件上方来一次改变整个组合件的焦点。在某些实施方案中，可使用计算摄影术来改变相机阵列的焦点。

如图1A中所说明，可在中央镜120周围提供与传感器相对的多个侧反射表面，例如反射表面110及135。在穿过透镜组合件之后，侧反射表面110、135(也称作次级光重新引导表面，因为其它实施例可能实施折射棱镜而非反射表面)可将光(在如图1A中所描绘的方向上“向下”)反射到平面传感器105、125上。如所描绘，传感器105可位于反射表面110下面，且传感器125可位于反射表面135下面。然而，在其它实施例中，传感器可在侧反射表面上方,且所述侧反射表面可经配置以向上反射光。可能有侧反射表面及传感器的其它合适配置，其中来自每一透镜组合件的光被重新引导朝向传感器。某些实施例可能够实现侧反射表面110、135的移动来改变相关联的传感器的焦点或视场。

可利用中央镜120的与所述传感器相关联的表面来将每一传感器的视场140、145转向到物空间中。可采用机械方法来倾斜镜面及/或移动阵列中的棱镜，使得每一相机的视场可转向至物场上的不同位置。这可(例如)用来实施高动态范围相机，以增加相机系统的分辨率，或实施全光相机系统。每一传感器(或每一3x1阵列)的视场可投射至物空间中，且每一传感器可根据所述传感器的视场捕捉包含目标场景的一部分的局部图像。在一些实施例中，相对的传感器阵列105、125的视场140、145可重叠某一量。为了减少重叠且形成单个图像，如下文所描述的拼接过程可用于组合来自两个相对传感器阵列105、125的图像。拼接过程的某些实施例可采用重叠来识别在将局部图像拼接在一起的过程中的常见特征。在将重叠图像拼接在一起之后，可将经拼接的图像裁剪到所要的高宽比，例如4:3或1:1，以形成最终图像。

图1B说明折叠光学阵列相机100B的另一实施例的横截面侧视图。如图1B中所展示，传感器组合件100B包括一对图像传感器105、125，每一者安装至衬底150。传感器透镜组合件100B还包含分别对应于图像传感器105、125的透镜组合件115、130，各自分别包括次级光重新引导表面110、135的光学组件116、117(其经定位分别邻近图像传感器105、125的玻璃盖片106、126)。在一些实施例中，玻璃盖片106、126实体地耦接至传感器105、125且至光学组件116、117。一些实施例包括定位在玻璃盖片106、126与光学组件116、117之间的透镜127、129。在一些实施例中，玻璃盖片106、126的一侧实体地耦接至传感器105、125，另一侧实体地耦接至透镜127、129。在一些实施例中，此类透镜127、129进一步实体地耦接至光学组件116、117。举例来说，在一些实施例中，图像传感器105、125、玻璃盖片106、117及透镜127、129形成堆叠，其实体地耦接在一起且耦接至光学组件116、117以供将其对齐状态固定为已知布置。一些实施例并不包括透镜127、129。折射棱镜141的初级光重新引导表面122将来自目标图像场景的光的一部分沿着光轴121引导通过透镜组合件115，重新引导离开次级光重新引导表面110，穿过玻璃盖片106，且入射至传感器105上。折射棱镜146的初级光重新引导表面124将从目标图像场景所接收的光的一部分沿着光轴123引导通过透镜组合件130。光经重新引导离开次级光重新引导表面135，穿过玻璃盖片126，且入射于传感器125上。折叠光学阵列相机100B说明实施折射棱镜而非图1A的阵列相机100A的反射表面的一个阵列相机实施例。将折射棱镜141、146中的每一者提供于衬底150中的孔径中，使得初级光引导表面122、124处于衬底所形成的平面下方，且接收表示目标图像场景的光。

传感器105、125可如图1B中所展示安装在衬底150上。在一些实施例中，所有传感器可通过安装至平坦衬底150而处于一个平面上。衬底150可为任何合适的基本上平坦的材料。衬底150可包含如上文所描述的允许入射光穿过衬底150至初级光重新引导表面122、124的孔径。可能有多个用于将(一或多个)传感器阵列以及所说明的其它相机组件安装到衬底150的配置。

仍参看图1B，初级光重新引导表面122、124可为如所说明的棱镜表面，或可为一个镜面或多个镜面，且可如所需要为平坦的或经定形的，以适当地将入射光重新引导至图像传感器105、125。在一些实施例中，初级光重新引导表面122、124可如图1A中所说明形成为中央镜角锥或棱镜。所述中央镜角锥、棱镜或其它光学组件可将表示目标图像的光分割为多个部分且将每一部分引导于不同传感器处。举例来说，初级光重新引导表面122可朝向左侧传感器105发送对应于第一视场的光的一部分，同时初级光重新引导表面124朝向右侧传感器125发送对应于第二视场的光的第二部分。在接收传感器各自为多个传感器的阵列的一些实施例中,光重新引导表面可由相对于彼此放置成一角度的多个反射表面组成，以便朝向所述传感器中的每一者发送目标图像场景的不同部分。应了解，相机的视场一起覆盖至少目标图像，且可在捕捉之后对齐和拼接在一起，从而形成由所述阵列的合成孔径捕捉的最终图像。

所述阵列中的每一传感器可具有大体上不同的视场，且在一些实施例中，所述视场可重叠。如下文更详细地描述，可预先确定各个初级光重新引导表面122、124、透镜组合件115、130及传感器105、125之间的空间关系以减少或消除在不同视场之间发生的视差及倾斜伪影。

如图1A及1B所说明，每一阵列相机具有总高度H。在一些实施例中，总高度H可大约为4.5mm或更小。在其它实施例中，总高度H可大约为4.0mm或更小。尽管未说明，但可在具有大约为4.5mm或更小或大约为4.0mm或更小的对应内部高度的壳体中提供整个阵列相机100A、100B。

基于传感器及光重新引导表面的相对定位，此类阵列相机100A、100B的一些配置可能遭受视差及倾斜伪影，从而因所述阵列的不同相机看到的相同对象的不同视图之间的视差及倾斜而呈现关于品质降低的挑战。视差及倾斜使由每一相机所捕捉的图像无法完全无缝拼接成没有伪影的最终图像。视深度(例如，从透镜到对象的距离)而定，来自一个相机的图像可能相对于来自另一相机的重叠图像在位置及角度方面有偏移。当图像拼接或融合在一起时，所得视差及倾斜可导致对应于重叠视场的图像区域中的“双图像”鬼影。即使所述阵列经结构化以使得传感器视场中不存在重叠，然而当例如线条及边缘等不连续特征横越传感器视场之间的边界时，视差在图像中产生此类特性。

如本文所使用，术语“相机”是指图像传感器、透镜系统及数个对应的光重新引导表面，例如初级光重新引导表面124、透镜组合件130、次级光重新引导表面135及传感器125，如图1中所说明。折叠光学多传感器阵列(称作“阵列”或“阵列相机”)可在各种配置中包括多个此类相机。阵列配置的一些实施例揭示于2013年3月15日申请且标题为“使用折叠光学系统的多相机系统(MULTI-CAMERA SYSTEM USING FOLDED OPTICS)”的美国申请公开案第2014/0111650号中，所述公开案的揭示内容特此以引用的方式并入。可能有其它将受益于本文所描述的用于减少或消除视差伪影的几何结构关系的阵列相机配置。

图2描绘装置200的高级框图，其具有包含连接到一或多个相机215a至215n的图像处理器220的一组组件。图像处理器220还与工作存储器205、存储器230及装置处理器250通信，所述工作存储器205、存储器230及装置处理器250又与存储装置210及电子显示器225通信。

装置200可为蜂窝电话、数码相机、平板计算机、个人数字助理，或类似者。存在许多便携式计算装置，其中例如本文所描述的降低厚度的成像系统将提供优点。装置200还可为静止计算装置或其中较薄成像系统将有利的任何装置。在装置200上有多个应用程序可供用户使用。这些应用程序可包含传统摄影及视频应用程序、高动态范围成像、全景照片及视频，或例如3D图像或3D视频等立体成像。

图像捕捉装置200包括用于捕捉外部图像的相机215a至215n。相机215a至215n可各自包含传感器、透镜组合件以及用于将目标图像的一部分重新引导至每一传感器的初级及次级反射或折射表面，如上文相对于图1所论述。一般来说，可使用N个相机215a至215n，其中N≥2。因此，目标图像可分割成N个部分，其中N个相机的每一传感器根据所述传感器的视场来捕捉目标图像的一个部分。应理解，相机215a至215n可包含适合实施本文所描述的折叠光学成像装置的任何数目的相机。可增加传感器的数目，以实现系统的较低z高度(如下文相对于图4较详细论述)或符合其它目的的需要(例如具有类似于全光相机的视场的重叠视场，这可实现在后处理之后调整所述图像的焦点的能力)。其它实施例可具有适合于高动态范围相机的视场重叠配置，其实现捕捉两个同时存在的图像且接着将其合并在一起的能力。相机215a至215n可耦接至图像处理器220以将所捕捉的图像发送至装置处理器250。

图像处理器220可经配置以对包括目标图像的N个部分的所接收的图像数据执行各种处理操作以便输出高品质拼接图像，如将在下文更详细地描述。图像处理器220可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如空间图像滤波)、透镜伪影或疵点校正等。在一些实施例中，图像处理器220可包含多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器220可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。

如所展示，图像处理器220连接至存储器230及工作存储器205。在所说明的实施例中，存储器230存储捕捉控制模块235、图像拼接模块240及操作系统245。这些模块包括配置装置处理器250的图像处理器220以执行各种图像处理及装置管理任务的指令。工作存储器205可由图像处理器220用以存储存储器230的模块中所含有的处理器指令的工作组。或者，工作存储器205也可由图像处理器220用以存储在装置200的操作期间所创建的动态数据。

如上所提及，图像处理器220由存储在存储器中的若干模块来配置。捕捉控制模块235可包括配置图像处理器220以调整相机215a至215n的聚焦位置的指令。控制模块235可进一步包括控制装置200的总体图像捕捉功能的指令。举例来说，捕捉控制模块235可包含调用子例程以配置图像处理器220来使用相机215a至215n捕捉目标图像场景的原始图像数据的指令。捕捉控制模块235可接着调用图像拼接模块240以对由相机215a至215n捕捉到的N个局部图像执行拼接技术，且将经拼接及裁剪的目标图像输出至成像处理器220。捕捉控制模块235也可调用图像拼接模块240以对原始图像数据执行拼接操作，以便输出待捕捉的场景的预览图像且按特定时间间隔或在原始图像数据中的场景改变时更新预览图像。

图像拼接模块240可包含配置图像处理器220以对所捕捉的图像数据执行拼接及裁剪技术的指令。举例来说，N个传感器215a至215n中的每一者可根据每一传感器的视场来捕捉包含目标图像的一部分的局部图像。所述视场可共享重叠区域，如上文及下文所描述。为了输出单个目标图像，图像拼接模块240可对图像处理器220进行配置以组合多个N个局部图像来产生高分辨率目标图像。目标图像的产生可通过已知图像拼接技术而发生。美国专利申请案第11/623,050号中可发现图像拼接的实例，该申请案以全文引用的方式并入本文中。

举例来说，图像拼接模块240可包括用以将沿着N个局部图像的边缘的重叠区域进行比较以得出匹配特征以便确定所述N个局部图像相对于彼此的旋转和对齐的指令。归因于每一传感器的视场的局部图像及/或形状的旋转，组合的图像可形成不规则形状。因此，在将N个部分图像对齐且组合之后，图像拼接模块240可调用子例程，所述子例程对图像处理器220进行配置以将组合的图像裁剪至所要形状及高宽比，例如4:3的矩形或1:1的正方形。可将经裁剪的图像发送至装置处理器250，以用于在显示器225上显示，或用于保存在存储装置210中。

操作系统模块245对图像处理器220进行配置以管理装置200的工作存储器205及处理资源。举例来说，操作系统模块245可包括用以管理硬件资源(例如相机215a至215n)的装置驱动器。因此，在一些实施例中，上文所论述的图像处理模块中所含有的指令可不与这些硬件资源直接交互，而是通过位于操作系统组件270中的标准子例程或API交互。操作系统245内的指令可接着与这些硬件组件直接交互。操作系统模块245可进一步对图像处理器220进行配置以与装置处理器250共享信息。

装置处理器250可经配置以控制显示器225来向用户显示所捕捉的图像或所捕捉的图像的预览。显示器225可在成像装置200外部或可为成像装置200的部分。显示器225还可经配置以提供显示预览图像以供在捕捉图像之前使用的视图查找器，或可经配置以显示存储在存储器中或最近由用户捕捉到的所捕捉图像。显示器225可包含LCD或LED屏幕，且可实施触敏式技术。

装置处理器250可将数据写入至存储模块210，例如表示所捕捉图像的数据。虽然存储模块210以图形方式表示为传统磁盘装置，但所属领域的技术人员应理解，可将存储模块210配置为任何存储媒体装置。举例来说，存储模块210可包含磁盘驱动器，例如，软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器，或固态存储器，例如闪存、RAM、ROM及/或EEPROM。存储模块210也可包含多个存储器单元，且存储器单元中的任一者可经配置以处于图像捕捉装置200内，或可在图像捕捉装置200的外部。举例来说，存储模块210可包括含有存储在图像捕捉装置200内的系统程序指令的ROM存储器。存储模块210还可包括经配置以存储所捕捉图像的存储卡或高速存储器，其可从相机移除。

尽管图2描绘具有单独组件以包括处理器、成像传感器及存储器的装置，但所属领域的技术人员应认识到，这些单独组件可通过多种方式组合以实现特定的设计目标。举例来说，在替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。在一些实施例中，装置可包括可执行参考装置处理器250及图像处理器220所描述的功能的单个处理器。

另外，尽管图2说明两个存储器组件(包括包含若干模块的存储器组件230以及包含工作存储器的单独存储器205)，但所属领域的技术人员应认识到利用不同存储器架构的若干实施例。举例来说，一种设计可利用ROM或静态RAM存储器来存储实施存储器230中所含有的模块的处理器指令。处理器指令可加载到RAM中以便于由图像处理器220执行。举例来说，工作存储器205可包含RAM存储器，其具有在由图像处理器220执行之前被加载到工作存储器205中的指令。

III.无视差及倾斜伪影的折叠光学阵列相机的概述

图3A及3B说明因根据下文所界定的预先确定的空间关系来布置各种组件而无视差及倾斜伪影的阵列相机的实施例。如通过图3A及3B所说明，可基于预先界定的空间关系配置两个镜面表面330、335及两个对应的传感器311A、311B以避免导致所捕捉图像中的视差及倾斜伪影。所述阵列的传感器及其对应的透镜称为“相机”，且阵列中的所有相机的联动称为“虚拟相机”。虽未说明，但每一相机可具有如上文所描述的次级光重新引导表面，以便将光重新引导朝向未定位在所说明的相对于相机的光轴而成的角度处的传感器。举例来说，在一些实施例中，所有传感器可定位在公共平面中。在所说明的实施例中，虚拟相机320包括虚拟传感器321及与所述虚拟传感器相关联的虚拟透镜322。如应理解，虚拟相机320经描绘以展示对应于通过拼接实体传感器311A、311B所捕捉的图像而产生的整个阵列300的合成孔径(视场340)的虚拟传感器321及虚拟透镜322，且所述虚拟相机并非实体地存在于所述阵列的实际建构中。

每一相机310A、310B对着中央镜棱镜350的顶点A，每一相机310A、310B的光轴315A、315B穿过顶点A。与相机310A、310B中的每一者相关联的透镜312A、312B的透镜中心处于与所述顶点距离相同之处，且每一相机310A、310B看到虚拟相机320的视场340的一半。每一相机310A、310B的光轴315A、315B相对于纵轴325的角度可为由其对应的镜面330、335所形成的平面相对于纵轴325的角度的两倍。在所说明的实施例中，纵轴325指示阵列300的垂直对称轴，且还是所述虚拟光轴(例如，由虚拟传感器321及虚拟透镜322所表示的虚拟相机320的光轴)。

如所说明，由镜面表面330、335形成的平面相交在沿着所述阵列的虚拟光轴325的一公共点处，所述公共点称为顶点且在图中标记为A。相机310A、310B可经定位以使得每一相机的光轴315A、315B与顶点A相交。此外，每一相机310A、310B可经定位以使得形成于相机的光轴315A、315B与虚拟光轴325之间的角(标记为角2α)是形成于对应的镜面表面330、335与虚拟光轴325之间的角(标记为角α)的两倍。然而，对于阵列中的所有相机，这些角并不用必须相同。对于阵列中的所有相机，顶点A与投影中心313B(位于对应于传感器311B的透镜312B内)之间的距离D可相同或基本上相同。阵列的所有相机310A、310B以虚拟方式合并成(解读为“充当”)一个单个的虚拟相机320，其沿着阵列300的虚拟光轴325向上看。以此方式，每一个别相机/透镜/镜面组合仅表示总阵列300的子孔径。虚拟相机320具有由所有个别孔径光线的总和组成的合成孔径。

图3C说明上述针对阵列300中的一个相机310B的设计约束的实例。通过对来自阵列300中的所有相机310A、310B的图像进行拼接所形成的虚拟相机320的视场340可基于所述系统的机械参数的优化。然而，可基于假设无限小(点大)的个别相机310B来获得粗略的估计值。虚拟相机320最大的可能的视场(FOV)与图3C中的角相关，其中：

FOV＝2β

β＝90-α

FOV＝180-2α

虚拟相机320“看到”的超出角度β的光线可被真实相机310B的物理结构阻挡。在阵列相机的一些实施例中，FOV可能更小。

另外，在一些实施例中，所述阵列相机合乎需要地较薄(例如，高度为4mm或更小)，这将角α限制至小于45°且大于某一值。其它实务要求可能使α>30°。在各种实施例中，焦距及角α并不对于所有相机都必须相同。

图4说明设计参数的实例及针对入射在对应于一个传感器311B的镜面335及图3A至3C的阵列相机300的镜面335上的各种角度的光的实例光线轨迹，其可得到FOV＝60°(大约)。然而，这是实例而非限制，且实际上可能有更宽的角度。假设一理想透镜312B(其具有针对真实透镜所预期的类似结果)，相机310B的焦距大约为5mm，孔径为2.5mm，从A至透镜312B投影中心313B的距离大约为10.9mm，A从基座400起算的高度H大约为4mm(尽管所述高度H可基于所述阵列的整体厚度或高度而变化)，透镜投影中心313B从基座400起算的高度大约为2mm，且α＝40°。可依靠计算相关光照确定FOV＝60°，且可利用镜面335大小及从透镜投影中心313B至镜面335的距离对其进行限制。大约4mm的镜面高度H限制可能因为阵列相机的外观尺寸局限性而无法提高，而至镜面335的距离可减小，但代价是实体相机阻挡一些光线。如所说明，比起将传感器311B常规地定位为以光轴315B为中心的情况，可将传感器311B定位为偏离光轴315B中心，以便搜集来自所述镜面所提供的视场更多部分的光。在其它实施例中，传感器可定位在不同位置且相对于所述光轴成不同角度，且次级光重定向表面可经包括以将光重新引导至传感器中。举例来说，可将中央镜角锥的基座400定位在衬底上(或插入其中)，且可将传感器311B(及阵列300中的所有其它传感器)定位在衬底上(或插入其中)。

IV.棱镜阵列相机的概述

图5A至5C说明用于棱镜阵列相机的棱镜的实施例。图5A说明棱镜700的剖示侧视图，其具有经定位正交于阵列相机垂直对称轴750(也称为虚拟相机V的虚拟光轴)的顶部表面710(也称为第一表面)，相对于垂直对称轴750成角α定位的棱镜700的下部内表面720(也称为第二表面)，及经定位正交于顶部表面710的下部外表面730(也称为第三表面)。第一表面710可经定位以使得表示目标图像场景的至少一部分的光通过第一表面710进入棱镜700。第二表面720可经定位相对于虚拟光轴750成角度2，以便将从第一表面710接收的光朝向第三表面730重新引导，其中角度2具有角度值α。第三表面730可朝向对应的相机C，使得穿过棱镜700的光离开第三表面730且进入相机C。

V表示虚拟相机，是基于成像系统的折叠光学系统的相机C的影像。A表示棱镜700的沿着垂直对称轴750定位的“顶点”，所述垂直对称轴也是虚拟相机V的光轴。C表示位于棱镜700的外部沿着相机光轴745的任何地方的相机，其中相机光轴745经定位相对于棱镜700的第二表面720成角度α且相对于虚拟光轴750成角度1，其中角度1具有角度值2α。虽然出于简单及清晰的目的而绘示为一点，但相机C可包括多个组件，例如，如图1A中所说明的透镜组合件130、次级光重新引导表面135及传感器125。在一些实例中，棱镜700可用作图1B中所说明的折射棱镜141、146。

在一些实施例中，具有折射率n＝2的材料可用于棱镜700。在其它实施例中，具有折射率n≥1.5的材料可用于棱镜700。举例来说，高指数玻璃可为用于建构棱镜700的合适材料。所述棱镜可由所述合适的材料刻制、切割或模制而成。在一些实施例中，棱镜700的第二表面720可镀有反射材料(例如铝金属或另一金属)来增强所述表面的反射特性。

在一些实例中，当n＝2时，角度α＝30°。归因于具有折射率n＝2的材料的全内反射特性，通过右侧表面730进入所述棱镜的以大于α＝30°的角度到达顶部表面710的任何光线将从顶部表面710反射回至所述棱镜。来自所述相机的略微高于表示相机光轴的虚线的光线以比全内反射的角度大的角度到达表面710且不再出来(如利用实例光线735所说明)。因此，相机看不到棱镜的左上角A上方的事物。没有来自图像场景的光从所述位置/方向进入所述相机孔径。虽然在本文提供的实例中可能将光线说明及论述为“来自”所述相机以说明所述相机的视场，但应了解，所述光线实际上可能产生于目标图像场景中且在进入相机C之前穿过所述棱镜。

大体上水平的光线(如利用实例光线740所说明)以全内反射角度2α＝60°到达第二表面720，且水平地离开所述棱镜。在其上方的从C出来的其它光线以不同角度(直至垂直)离开所述棱镜。因此，这个相机覆盖大约90°的FOV，且此类相机的阵列将覆盖大约180°的FOV。

图5B说明单独地展示的棱镜700的透视图及例如可用于四相机棱镜阵列相机中的四个棱镜的组合件780的透视图。所说明的配置提供为棱镜组合件的实例，且在其它实施例中，可在所述组合件中使用两个、三个、五个或更多个棱镜700。如所展示，每一个别棱镜的顶点A可经定位大体上邻近于每一其它棱镜的顶点，且顶部表面710可为共面。每一棱镜700的第三表面730形成组合件780的外部侧面，使得在所说明的实例中具有四个棱镜，通过顶部表面710进入组合件780的光在四个方向上被重新引导朝外穿过第三表面730。虽然组合件780看起来是实心的，但所述棱镜的放置成一角度的第二表面720在棱镜组合件780中形成空的角锥形凹部，该凹部的一个部分被绘示为与棱镜700相关联的负空间760。在各种实施例中，所述凹部可为空的或(例如)利用反射背衬或反射固体填实。如本文所使用，“反射背衬”可指代一或多种材料，包括作为背衬或涂层应用于棱镜的表面的反射材料。举例来说，通过将所述材料附着、喷涂、涂敷、经真空沉积而沈积或以其他方式应用于所述棱镜，可在所述棱镜的第二表面720上提供一薄层金属、膜或其它反射材料，使得所述材料的反射侧邻近于第二表面720的外部侧面(即，所述棱镜的外部)。

图5C说明使用棱镜700的棱镜阵列相机可能面临的潜在问题。为说明所述问题，设想由BK7玻璃制成的棱镜的实例。BK7玻璃的折射率n＝1.5致使α＝24°。一个潜在问题是，在许多情况下，一些光线被棱镜自身剪除，因此FOV限于约60°，如图7C中所说明。这仍可产生具有约120°的FOV的阵列相机。另一潜在问题是，棱镜具色散性，且因此由“通过”棱镜700看到图像场景的相机C所捕捉的图像可能具有色像差。色像差可在视觉上呈现为彩色及/或模糊的伪影，例如归因于色散而在色彩化方向上模糊。

图6A至6C说明用于棱镜阵列相机的棱镜的另一实施例，其解决图5A至5C的相机的FOV限制及色像差问题。棱镜800(也称为光学元件)因其对称性而可进行反射及折射两者，通过具有形成为等腰三角形的横截面区域来弥补图5A至5C的棱镜的上述问题，其中第一表面810与第三表面830的长度大体上相同。来自目标图像场景的至少一部分的光通过第一表面(所述光可在此处发生折射)进入光学元件，经重新引导离开第二表面而朝向第三表面，且通过第三表面离开光学元件以朝向相机C传播。

形成于第一表面810与第二表面820之间的角α的角度值及形成于第二表面820与第三表面830之间的角的角度值大体上相同，且可等于90至α。形成于第二表面820与垂直对称轴850(也是虚拟光轴)之间的角2的角度值可等于形成于第二表面820与相机光轴845之间的角α的角度值。因此，由第二表面820形成的平面将形成于虚拟光轴850与相机光轴845之间的角1平分，且角1具有角2的角度值两倍的角度值。形成于第一表面810与第三表面830之间的角3具有角1的角度值两倍的角度值。垂直对称轴850及相机光轴845可在棱镜800的顶点A处相交。在一些实例中，棱镜800可用作图1B中所说明的折射棱镜141、146。

图6A说明棱镜800的剖示侧视图，其具有经定位正交于阵列相机垂直对称轴850的第一(或顶部)表面810，经定位相对于所述垂直对称轴成角度α的棱镜800第二(或下部内)表面820，及经定位相对于第一表面810成角度2α的第三(或下部外)表面830。在一些实施例中，第二表面820可具备反射背衬，或可将反射材料定位成邻近于第二表面820。第三表面830可经定位朝向对应的相机以将由棱镜800接收的光的部分传送至所述相机。所述相机(图6A中未展示)可位于相机光轴845上在棱镜800外部的任何地方。

根据上文所描述的无视差及倾斜设计的原理，相机光轴845相对于所述垂直对称轴放置成角度2α且穿过所述棱镜的顶点A。虚拟相机的投影中心可沿着垂直对称轴850定位。虽然绘示为剖示侧视图，但应了解，由第一表面、第二表面及第三表面中的每一者所形成的平面遵循用于减少或消除实施所述棱镜的棱镜阵列相机中所捕捉到的图像中的视差及倾斜伪影的几何结构关系。

此类棱镜不具有色散，且因此并不引起色像差。图6B说明穿过棱镜800的实例光线835。图6B中说明相机C及虚拟相机V。

如从虚拟相机V的角度所见，棱镜800等效于具有平行顶部及底部表面的厚块玻璃，其中归因于棱镜800的折叠光学系统，因此V是真实相机C的镜像。因为穿过具有平行表面的玻璃板的光不存在色彩问题，所以棱镜800也在所捕捉的图像中体现无色像差。如所说明，来自C的水平光线835等效于来自虚拟相机V的光线840。如利用光线段841所展示的光线在平行于其从V进入的方向(表示为光线段840)离开棱镜。

此外，没有剪除光线：只要光线进入棱镜，其也可离开。因此，相机的FOV得以保留。每一者具有FOV＝60°的相机阵列将覆盖120°。如果V触及所述板且α为全内反射的角度，那么阵列相机的FOV有可能高达180°。

图6C说明单独地展示的棱镜800的透视图及例如可用于四相机棱镜阵列相机中的四个棱镜800的组合件880的透视图。所说明的配置提供为棱镜组合件的实例，且在其它实施例中，可在所述组合件中使用两个、三个、五个或更多个棱镜。如所展示，每一个别棱镜800的顶点A可经定位大体上邻近于每一其它棱镜的顶点，且所述顶部(第一)表面可共面。每一棱镜800的第三表面830形成组合件880的外部侧面，使得在所说明的实例中具有四个棱镜，通过顶部表面810进入组合件880的光在四个方向上被重新引导朝外穿过第三表面830。虽然组合件880看起来是实心的，但所述棱镜的放置成一角度的下部内(第二)表面820在棱镜组合件880中形成空的角锥形凹部，该凹部的一部分被绘示为与棱镜800相关联的负空间860。在各种实施例中，所述凹部可为空的或(例如)利用反射背衬或反射固体填实。

组合件880中的每一棱镜可经制造而具有根据上文所界定的几何结构关系定位的小面以产生无视差及倾斜的图像。下部外(第三)表面的角度可使组合件880看起来具有斜置侧。

图7A至7C说明用于具有平凹面透镜940(也称为负透镜)的棱镜阵列相机的棱镜900的另一实施例。将透镜940并入上文相对于图6A至6C所描述的等腰棱镜设计中可进一步增大相机的FOV。

图7A说明棱镜900的剖示侧视图，其具有经定位正交于阵列相机垂直对称轴950的第一表面910，经定位相对于垂直对称轴950成角度α的棱镜900的第二表面920，经定位相对于垂直对称轴950成角度2α的相机光轴945，及经定位相对于第一表面910成角度2α的第三表面930。第三表面930可朝向对应的相机。所述相机(图7A中未展示)可位于相机光轴945上在棱镜900外部的任何地方。根据上文所描述的无视差及倾斜设计的原理，相机光轴945相对于所述垂直对称轴放置成角度2α且穿过所述棱镜的顶点

A.虚拟相机的投影中心可沿着也穿过顶点A的垂直对称轴950定位。在一些实例中，棱镜900可用作图1B中所说明的折射棱镜141、146。

负透镜940说明为形成于第三表面930中。在各种实施例中，负透镜940可从棱镜900刻制或切割或可利用棱镜900模制或以其他方式形成。在其它实施例中，第三表面可为平面的，且所述负透镜可(例如)利用粘合剂耦接至所述表面。刻制成棱镜900的透镜可能更适合与薄外观尺寸的阵列相机一起使用。

这种透镜940应视作总体光学设计的部分且与将用于使相机聚焦的透镜组合件一起优化。此类透镜940通过将朝向相机传播的光线扩散开来而增大FOV。在一个实例中，所述透镜表面可为以投影中心为中心的球面的部分。所有光线垂直进入且不发生折射。即使当光线在玻璃内部占有一小角度时，当所述光线通过透镜940的平坦表面离开时，所述角度也会增大。当所述光线的角度接近全内反射时，所述出射角显著地增大。

图7B说明单独地展示的棱镜900的透视图及例如可用于四相机棱镜阵列相机中的四个棱镜900的组合件980的透视图。所说明的配置提供为棱镜组合件的实例，且在其它实施例中，可在所述组合件中使用两个、三个、五个或更多个棱镜。如所展示，每一个别棱镜的顶点A可经定位大体上邻近于每一其它棱镜的顶点，且所述顶部(第一)表面910可共面。每一棱镜900的第三表面930形成组合件980的外部侧面，使得在所说明的实例中具有四个棱镜，通过顶部表面910进入组合件980的光在四个方向上被重新引导朝外穿过第三表面930。虽然组合件980看起来是实心的，但所述棱镜的放置成一角度的下部内(第二)表面920在棱镜组合件980中形成空的角锥形凹部，该凹部的一个部分被绘示为与棱镜900相关联的负空间960。在各种实施例中，所述凹部可为空的或(例如)利用第二表面920上的反射背衬或利用反射固体填实。第三表面930的角度可使组合件980看起来具有斜置侧。第三表面930展示在侧边的负透镜940。

图7C从虚拟相机V的视角说明图7A的概念的表示。图7C展示光线935以角度90-α从虚拟相机V无弯曲地通过虚拟负透镜970(对应于负透镜940的镜像)进入棱镜900，且以全内反射的角度到达第一表面910。此光线935通过第一表面910大约水平地离开棱镜900。同时，来自所述虚拟相机的垂直光线(未说明，所述垂直光线将沿着垂直对称轴950传播)垂直地离开。因此，如果相机具有90-α度全FOV(其中α为全内反射的角度)，那么所述相机将覆盖所述玻璃外部全部90°的视场。此外，两个或更多个此类相机将覆盖180°的FOV。四个此类相机将覆盖180°的FOV，且具有比两个此类相机更宽的正交覆盖范围。

如所说明，为了减少相机C与对应于额外棱镜(例如，在组合件980中与棱镜900一起布置的另一棱镜)的相机所捕捉到的图像之间的视差伪影，由第二表面920形成的平面将形成于虚拟光轴950与相机光轴945之间的角1平分，且角1具有角2的角度值的两倍的角度值。形成于第一表面910与第三表面930之间的角3具有角1的角度值两倍的角度值(2α)。组合件中的每一棱镜及其对应的相机可根据这些降低视差设计原理加以定形及/或布置。虽然在图5A至7C中出于简单的目的而说明为点源，但应了解，相机C可包括多种组件，例如以下各者中的一或多者：图像传感器，在离开棱镜的第三表面的光入射在传感器上之前向其提供次级重新引导的镜面或折射元件，及定位在所述图像传感器与镜面或折射元件之间的透镜组合件。

在一些实例中，可基于无视差设计原理来建构棱镜阵列相机的上述实施例，所述设计原理将棱镜的下部内表面定位在形成于对应相机的投影中心与虚拟相机的虚拟投影中心之间的线上且与之正交，使得所述下部内表面所形成的平面将虚拟光轴与相机光轴之间形成的一角平分。在这些实例中，所述阵列相机可能摆脱或可能没有摆脱倾斜伪影。在其他实例中，所述棱镜阵列相机的上述实施例可基于图3A到4的无视差及倾斜设计原理。这个设计比图5A到7C的设计更具限制性，但其可消除倾斜及视差两者。

V.实例图像捕捉过程的概述

图8说明折叠光学图像捕捉过程1000的实施例。过程1000开始于框1005，其中提供多个成像传感器组合件。这个步骤包括上文相对于先前图式所论述的传感器阵列配置中的任一者。如上文相对于图1A及1B所论述，传感器组合件可包括传感器、透镜系统及经定位以将来自透镜系统的光重新引导至传感器上的反射表面。传感器组合件或者可包括传感器、透镜系统及如上文所论述的折射棱镜实例中的任一者。过程1000接着进展至框1010，其中将至少一个折射表面安装成接近于所述多个图像传感器。举例来说，这个步骤可包含将中心棱镜组合件安装在传感器阵列的中心，其中所述中心棱镜组合件包含至少一个与阵列中的每一传感器相关联的表面。在一些实施例中可提供次级镜面或棱镜，例如，定位在每一传感器与相关联的透镜组合件之间用以降低所述阵列的总高度的一个次级镜面或棱镜。

过程1000接着转到框1015，其中使包含目标场景的图像的光折射通过至少一个折射表面朝向成像传感器。举例来说，可使所述光的一部分折射通过所述棱镜组合件中的多个棱镜中的每一者而朝向所述多个传感器中的每一者中的对应一者。这个步骤可进一步包含将所述光传送通过与每一传感器相关联的透镜组合件，且还可包括使所述光反射离开第二表面到传感器上，其中所述透镜组合件定位在所述折射表面与所述反射表面之间。框1015可进一步包含使用所述透镜组合件及/或通过移动反射或折射表面中的任一者来聚焦所述光。

过程1000可接着进展到框1020，其中传感器捕捉目标图像场景的多个图像。举例来说，每一传感器可捕捉场景的对应于所述传感器的视场的一部分的图像。所述多个传感器的视场一起至少覆盖物空间中的所述目标图像。归因于用于将来自图像场景的光朝向传感器重新引导的折射棱镜的特性，总视场可相对于未实施此类折射棱镜的系统而增大，同时保持低剖面。

过程1000接着可转至框1025，其中执行图像拼接方法以从所述多个图像生成单个图像。在一些实施例中，图2的图像拼接模块240可执行此步骤。这可包含已知图像拼接技术。此外，视场中的任何重叠区域可产生所述多个图像中的重叠，其可用于在拼接过程中对齐图像。举例来说，框1025可进一步包括识别邻近图像的重叠区域中的共同特征且使用所述共同特征来对齐图像。在一些实施例中，归因于所述折射棱镜的表面之间的几何结构关系，各种局部图像之间在拼接之前可能不存在或基本上不存在视差或倾斜伪影。

接下来，过程1000转至框1030，其中将经拼接图像裁剪为指定高宽比，例如4:3或1:1。最后,过程在框1035处存储经裁剪图像之后结束。举例来说，图像可存储在图2的存储装置210中，或可存储在图2的工作存储器205中以供作为目标场景的预览图像而显示。

VI.实施系统及术语

本文所揭示的实施方案提供用于无视差及倾斜伪影的多个传感器阵列相机的系统、方法及设备。所属领域的技术人员将认识到，这些实施例可实施于硬件、软件、固件或其任何组合中。

在一些实施例中，可在无线通信装置中利用上文所论述的电路、过程及系统。无线通信装置可为一种用于以无线方式与其它电子装置通信的电子装置。无线通信装置的实例包含蜂窝电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板计算机装置等。

无线通信装置可包括：一或多个图像传感器；两个或更多个图像信号处理器；包括用于实施上文所论述的过程的指令或模块的存储器。装置也可具有数据、从存储器加载指令及/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如，显示装置)及电源/接口。无线通信装置可另外包括发射器及接收器。发射器及接收器可共同称作收发器。收发器可耦接至一或多个天线以供发射及/或接收无线信号。

无线通信装置可以无线方式连接至另一电子装置(例如，基站)。无线通信装置或者可被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包括膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子书阅读器、平板装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准来操作。因此，通用术语“无线通信装置”可包括根据业界标准的不同命名法来描述的无线通信装置(例如，接入终端、用户设备(UE)、远程终端等)。

可将本文中所描述的功能作为一或多个指令存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借助于实例而非限制，此类媒体可包含RAM、ROM、EEPROM、闪存、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或任何其它可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及Blu-

光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。应注意，计算机可读媒体可为有形的及非暂时性的。术语“计算机程序产品”是指与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合的计算装置或处理器。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。

本文所揭示的方法包含用于实现所描述的方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，所述方法步骤及/或动作可彼此互换。换句话说，除非正在描述的方法的适当操作需要步骤或动作的特定次序，否则在不脱离权利要求书的范围的情况下可修改特定步骤及/或动作的次序及/或使用。

应注意，如本文中所使用，术语“耦接”或词语耦接的其它变体可指示间接连接或者直接连接。举例来说，如果第一组件“耦接”至第二组件，那么第一组件可能间接连接至第二组件或者直接连接至第二组件。如本文所使用，术语“多个”指示两个或更多个。举例来说，多个组件指示两个或更多个组件。

术语“确定”涵盖广泛多种动作，且因此“确定”可包括计算、运算、处理、推导、研究、查找(例如，在表、数据库或其它数据结构中查找)、确认等等。此外，“确定”可包括接收(例如，接收信息)、接入(例如，接入存储器中的资料)等等。此外，“确定”可包括解决、选择、挑选、建立等等。

除非以其它方式明确指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。

在前文描述中，给出特定细节以提供对实例的透彻理解。然而，所属领域的一般技术人员将理解，可在没有这些特定细节的情况下实践所述实例。举例来说，可在框图中展示电组件/装置，以免在不必要的细节上混淆所述实例。在其它情况下，可详细展示此类组件、其它结构及技术以进一步解释实例。

出于参考目的及为了辅助定位各个章节，本文中包括一些标题。这些标题不欲限制关于其描述的概念的范围。此类概念可在整个说明书中都具有适用性。

还应注意，可将所述实例描述为过程，这个过程被描绘为流程表、流程图、有限状态图、结构图或框图。虽然流程图可将操作描述为依序过程，但是许多操作可同时或并行执行，并且所述过程可重复。此外，可重新布置操作的次序。当过程的操作完成时，所述过程终止。过程可对应于方法、函数、进程、子例程、子程序等。当过程对应于软件函数时，过程的终止对应于函数返回至调用函数或主函数。

提供对所揭示实施方案的先前描述以使得所属领域的技术人员能够进行或使用本发明。所属领域的技术人员将易于明白对这些实施方案的各种修改，且本文中所定义的通用原理可在不脱离本发明的精神或范围的情况下应用于其它实施方案。因此，本发明并不希望限于本文中所展示的实施方案，而应符合与本文中所揭示的原理及新颖特征相一致的最广泛范围。

Claims (20)

1.一种使用用于捕捉目标场景的图像的棱镜阵列相机的方法，所述棱镜阵列相机包含定位在所述棱镜阵列相机的垂直对称轴周围的多个相机，所述多个相机中的每一相机包含图像传感器及光轴，所述光轴经定位而相对于所述垂直对称轴成第一角度，所述棱镜阵列相机进一步包含多个棱镜，每一棱镜对应于所述多个相机中的一个相机，每一棱镜具有第一表面、第二表面和第三表面且经配置以将从所述目标场景接收的光引向对应的相机，所述方法包含：

在所述多个棱镜中的每一棱镜的所述第一表面上接收来自所述目标场景的光，所述多个棱镜中的每一棱镜经配置以使得所接收的光通过所述第一表面传播进入所述棱镜，以及

在每一棱镜中，

由所述第二表面来反射在所述每一棱镜中传播的光，所述第二表面经定位以使得由所述第二表面形成的平面将所述对应的相机的所述光轴与所述垂直对称轴之间的所述第一角度平分，及

将所反射的光通过所述每一棱镜的所述第三表面传播，所述第三表面经定位以使得来自所述目标场景的光离开所述每一棱镜且朝向对应于所述每一棱镜的所述对应的相机传播。

2.根据权利要求1所述的方法，其进一步包含，对于每一相机，在所述相机的图像传感器处接收通过对应棱镜的所述第三表面传播的所述光。

3.根据权利要求1所述的方法，其中所述多个棱镜中的每一棱镜的所述第一表面经定位正交于所述棱镜阵列相机的所述垂直对称轴。

4.根据权利要求2所述的方法，其进一步包含提供与所述多个相机进行电子通信的处理器。

5.根据权利要求4所述的方法，其进一步包含通过所述处理器从所述多个相机中的每一相机接收根据所述传感器所接收的所述光的部分产生的图像。

6.根据权利要求5所述的方法，其进一步包含将来自所述多个相机中的每一相机的所述图像组合为所述目标场景的最终图像。

7.根据权利要求1所述的方法，其中所述多个棱镜中的每一棱镜进一步包含处于所述第一表面与所述第二表面之间的相交点上的顶点，且其中所述多个相机经配置以使得所述多个相机中的所述每一相机的所述光轴以及所述棱镜阵列相机系统的所述垂直对称轴穿过所述顶点。

8.根据权利要求1所述的方法，其中所述多个棱镜中的每一棱镜的所述第三表面经安置而相对于所述第一表面成第二角度，所述第二角度与所述第一角度具有相同的角度值。

9.根据权利要求1所述的方法，其中所述多个棱镜中的每一棱镜的所述第三表面都包含形成于所述第三表面中或贴附至所述第三表面的负透镜。

10.根据权利要求9所述的方法，其中将光通过所述第三表面传播包括经由所述负透镜来折射所反射的光。

11.根据权利要求9所述的方法，其进一步包含通过经由所述负透镜来折射所反射的光而增大所述对应的相机的视场。

12.根据权利要求1所述的方法，其进一步包含，对于所述多个相机中的每一相机，由定位在所述对应棱镜与所述相机的图像传感器之间的次级光折叠表面来反射通过所述对应棱镜的所述第三表面传播的光。

13.根据权利要求12所述的方法，其进一步包含，对于所述多个相机中的每一相机，通过定位在所述第三表面和所述次级光折叠表面之间的透镜组合件来折射通过所述对应棱镜的所述第三表面传播的所述光。

14.一种使用具有多个相机的棱镜阵列相机来捕捉目标场景的图像的方法，每一相机经定位在所述棱镜阵列相机的垂直对称轴周围，且每一相机具有经定位而相对于所述垂直对称轴成第一角度的光轴，所述方法包含：

通过多个棱镜来将表示所述目标场景的光引向所述多个相机，所述多个棱镜中的每一棱镜对应于所述多个相机中的一个相机，且每一棱镜经配置以至少部分地通过折射而将表示所述目标场景的光的一部分引向对应的相机，其中将所述光引向相机包括，对于每一棱镜：

通过第一表面来接收光的所述部分，所述第一表面经定位以使得表示所述目标场景的光的所述部分通过所述第一表面进入所述棱镜，

从第二表面反射光的所述部分，所述第二表面经定位以使得由所述第二表面形成的平面将所述对应的相机的所述光轴与所述垂直对称轴之间的所述第一角度平分，及

将所反射的光通过第三表面传播，所述第三表面经定位以使得通过所述第三表面传播的光离开所述棱镜且朝向所述对应的相机传播。

15.根据权利要求14所述的方法，其进一步包含，对于每一相机，在所述相机的图像传感器处接收通过对应棱镜的所述第三表面传播的所述光。

16.根据权利要求15所述的方法，其进一步包含，通过与所述多个相机进行电子通信的处理器，从所述多个相机中的每一相机接收从所述传感器所接收的光产生的图像。

17.根据权利要求16所述的方法，其进一步包含，通过所述处理器，将来自所述多个相机中的每一相机的所述图像组合为所述目标场景的最终图像。

18.根据权利要求14所述的方法，其进一步包含，对于所述多个相机中的每一相机，由定位在所述对应棱镜与所述相机的图像传感器之间的次级光折叠表面来反射通过所述对应棱镜的所述第三表面传播的光。

19.根据权利要求18所述的方法，其进一步包含，对于所述多个相机中的每一相机，通过定位在所述第三表面和所述次级光折叠表面之间的透镜组合件来折射通过所述对应棱镜的所述第三表面传播的所述光。

20.根据权利要求14所述的方法，其中每一棱镜中的所述第三表面包含负透镜，且其中将所反射的光通过第三表面传播包括将所反射的光通过所述负透镜传播。

Images