CN117321466B - 用于使超微距图像的焦平面倾斜的系统和相机 - Google Patents

Abstract

一种系统包括广角/超广角相机、包括光路折叠元件和Tele透镜模块的折叠Tele相机、透镜致动器以及应用处理器(AP)，其中，透镜致动器用于移动Tele透镜模块，以便以1:5和25:1之间的物体对图像的放大率聚焦到3.0cm和35cm之间的物体‑透镜距离，其中，AP被配置为分析来自超广角相机的图像数据，以确定用于微距图像序列的Tele拍摄策略，从拍摄一个微距图像到拍摄另一微距图像焦平面有稍微偏移，并且从该序列生成新的微距图像，其中，能够连续地控制该焦平面和该新的微距图像的景深。

Description

用于使超微距图像的焦平面倾斜的系统和相机

相关申请的交叉引用

本申请要求于2021年6月8日提交的第63/208,186号美国临时专利申请、于2021年11月2日提交的第63/274,700号美国临时专利申请和于2021年12月10日提交的第63/288,047号美国临时专利申请的优先权利益，这些美国临时专利申请的全部内容通过引用被包含于此。

技术领域

在此所公开的主题一般地涉及微距图像，具体地涉及利用移动远摄(“Tele”)相机获得这样的图像的方法。

背景技术

多相机(具有两个相机的“双相机”是多相机的一种示例)现在被广泛用于便携式电子移动设备(或简称“移动设备”，例如，智能手机、平板电脑等)。多相机通常包括广视场(或“广角”)FOV_W相机(“Wide”或“W”相机)和至少一个附加相机(例如具有(比FOV_W)较窄的FOV(视场)的相机，即，具有FOV_T的“Tele”(或“T”)相机)。图5A至图5B示出了包括W相机、或超广角(UW)相机和双折叠Tele相机的三相机。

“微距摄影(Macro-photography)”模式正在成为一种流行的差异化因素。“微距摄影”是指拍摄靠近相机的物体，使图像传感器上记录的图像与拍摄的实际物体几乎一样大。物体大小与图像大小的比率是物体对图像(object-to-image)的放大率(“M”)。

提供大M的微距相机可以用移动设备的Tele相机来实现。由于其M大，该相机可以被称为“超微距相机”或“SM相机”，并且图像可以被称为“超微距图像”或“SM图像”。例如，在共同拥有的国际专利申请PCT/IB2021/054186中描述了用于移动超微距摄影的Tele相机和方法。

因为Tele相机的有效焦距(EFL)长达7mm或更多，所以聚焦到靠近物体的Tele相机具有非常浅的景深(DOF)，参见表1。DOF是在图像中具有可接受的清晰度的最近物体和最远物体之间的距离。因此，用Tele相机在微距摄影模式下拍摄微距图像是非常有挑战性的。例如，为了获得更有益的照明或更方便的拍摄体验，人们可能想要拍摄相对于移动设备的后表面和微距相机的焦平面以某一角度θ定向的物体(参见图1A)。这可能得到仅部分对焦(infocus)的图像。在独立相机(诸如数字单镜头反光相机(DSLR))中，这种挑战通过允许使焦平面倾斜的“移轴镜头(Tilt-shift lenses)”来解决。然而，对于包括在智能手机中的微型相机中的这种挑战，没有令人满意的解决方案。

在移动设备中具有可以使其焦平面倾斜的超微距相机将是有益的。

发明内容

在不同实施例中，提供了一种相机，所述相机包括：物体侧光路折叠元件(O-OPFE)，用于将第一光路(OP1)折叠到第二光路(OP2)；透镜；图像侧光路折叠元件(I-OPFE)，用于将第二光路(OP2)折叠到第三光路(OP3)，其中OP1、OP2以及OP3彼此垂直；I-OPFE致动器；以及图像传感器，具有在示例性正交XYZ坐标系中平行于X-Y平面定向的图像平面，其中，相机是超微距(SM)相机并且具有焦平面，其中，在零倾斜焦平面位置，焦平面平行于X-Z平面，其中，在I-OPFE的零倾斜位置，I-OPFE与X轴和Z轴两者形成45度的角度并且平行于Y轴，其中，I-OPFE致动器用于：通过围绕平行于Y轴的第一I-OPFE旋转轴的旋转致动I-OPFE而使焦平面围绕平行于Z轴的第一焦平面旋转轴倾斜，和/或通过围绕第二I-OPFE旋转轴的旋转致动I-OPFE而使焦平面围绕平行于X轴的第二焦平面旋转轴倾斜，第二I-OPFE旋转轴平行于I-OPFE的零倾斜位置并垂直于Y轴。

在一些实施例中，第一光路(OP1)和第三光路(OP3)被定向为平行于Y轴，第二光路被定为平行于X轴，其中，图像传感器被定向为平行于X-Z平面，其中，I-OPFE致动器可操作地通过I-OPFE围绕平行于Z轴的第三I-OPFE旋转轴的旋转致动来使焦平面围绕第一焦平面旋转轴倾斜，和/或通过I-OPFE围绕平行于零倾斜I-OPFE位置并垂直于Z轴的第四I-OPFE旋转轴的旋转致动，使焦平面围绕第二焦平面旋转轴倾斜。

在一些实施例中，SM相机聚焦到3.0cm至15cm的物体-透镜距离。

在一些实施例中，SM相机聚焦到15cm至50cm的物体-透镜距离。

在一些实施例中，焦平面围绕第一焦平面旋转轴和/或第二焦平面旋转轴倾斜0度至20度。

在一些实施例中，I-OPFE围绕第一I-OPFE旋转轴或第三I-OPFE旋转轴倾斜0度至40度，以用于使焦平面围绕第一焦平面旋转轴倾斜0度至20度，和/或I-OPFE围绕第二I-OPFE旋转轴或第四I-OPFE旋转轴倾斜0度至40度，以用于使焦平面围绕第二焦平面旋转轴倾斜0度至20度。在一些实施例中，I-OPFE围绕第一I-OPFE旋转轴或第三I-OPFE旋转轴倾斜0度至60度，以用于使焦平面围绕第一焦平面旋转轴倾斜0度至40度，和/或I-OPFE围绕第二I-OPFE旋转轴或第四I-OPFE旋转轴倾斜0度至60度，以用于使焦平面围绕第二焦平面旋转轴倾斜0度至40度。

在一些实施例中，焦平面围绕第一焦平面旋转轴和/或第二焦平面旋转轴倾斜0度至40度。在一些实施例中，焦平面围绕第一焦平面旋转轴和/或第二焦平面旋转轴倾斜0度至60度。在一些实施例中，焦平面围绕第一焦平面旋转轴和/或所述第二焦平面旋转轴倾斜0度至80度。

在一些实施例中，校准数据用于计算控制信号，所述控制信号用于使焦平面围绕第一焦平面旋转轴和第二焦平面旋转轴倾斜，所述校准数据取决于SM相机和要拍摄的物体之间的距离。

在一些实施例中，当焦平面位于距SM相机的第一距离处时，为了使焦平面围绕第一焦平面旋转轴或第二焦平面旋转轴倾斜一特定焦平面倾斜行程，要求围绕第一I-OPFE旋转轴、第二I-OPFE旋转轴、第三I-OPFE旋转轴或第四I-OPFE旋转轴的第一旋转行程，当焦平面位于距SM相机的第二距离处时，为了使焦平面围绕第一焦平面旋转轴或第二焦平面旋转轴倾斜同一特定焦平面倾斜行程，要求围绕第一I-OPFE旋转轴、第二I-OPFE旋转轴、第三I-OPFE旋转轴或第四I-OPFE旋转轴的第二旋转行程，第二距离大于第一距离，第一旋转行程小于第二旋转行程。

在一些实施例中，SM相机具有7mm至10mm的有效焦距(EFL)。在一些实施例中，SM相机具有10mm至20mm的EFL。在一些实施例中，SM相机具有20mm至40mm的EFL。

在一些实施例中，I-OPFE致动器是音圈电机。

在一些实施例中，I-OPFE是镜子。

在一些实施例中，O-OPFE是棱镜。

在一些实施例中，透镜被分成两个透镜组，其中，第一透镜位于O-OPFE的物体侧，第二透镜组位于O-OPFE的图像侧和I-OPFE的物体侧之间。

在一些实施例中，SM相机是利用相应的SM视场扫描场景的扫描相机。

在一些实施例中，SM相机能够在两个或更多个离散变焦状态之间切换。

在一些实施例中，SM相机能够在最小变焦状态和最大变焦状态之间连续切换。

在一些实施例中，最大变焦状态的变焦因子是最小变焦状态的变焦因子的两倍。

在一些实施例中，最大变焦状态的变焦因子为最小变焦状态的变焦因子的3倍或更多倍。

如上所述或如下所述的包括SM相机的移动设备包括根据权利要求1或2所述的SM相机，并且包括应用处理器(AP)，所述应用处理器(AP)被配置为控制焦平面的倾斜。

在一些实施例中，移动设备是智能手机。

在一些实施例中，AP被配置为使用校准数据来控制所述焦平面围绕所述第一焦平面旋转轴和/或所述第二焦平面旋转轴的倾斜，所述校准数据包括第一I-OPFE旋转轴、第二I-OPFE旋转轴、第三I-OPFE旋转轴或第四I-OPFE旋转轴的旋转角度以及物体-透镜距离。

在一些实施例中，AP被配置为根据用户输入来控制焦平面的倾斜。

在一些实施例中，AP被配置为运行算法，以使焦平面自动倾斜。

在一些实施例中，AP还被配置为在焦平面倾斜之后自动拍摄图像或图像流。

在一些实施例中，焦平面被倾斜，使得利用SM相机拍摄的感兴趣对象是完全对焦的。

在一些实施例中，焦平面被倾斜，使得利用SM相机拍摄的感兴趣对象具有特定量的失焦去模糊。

在一些实施例中，所述移动设备还包括广角相机和/或超广角相机，其中，AP还被配置为分析来自SM相机、广角相机或超广角相机中的任一个的图像数据，以使焦平面自动倾斜。

在一些实施例中，图像数据是光电二极管自动聚焦图像数据。在一些实施例中，图像数据分析使用显著图和/或对象检测算法。

在一些实施例中，AP被配置为分析来自广角相机和/或超广角相机的图像数据，以朝向广角相机的视场(FOV)内的特定区段操纵扫描相机的FOV。

在一些实施例中，AP被配置为分析来自广角相机和/或超广角相机的图像数据来将SM相机切换到特定变焦状态，以用于拍摄具有特定放大率和特定视场的微距图像。

在各种实施例中，提供了一种方法，所述方法包括：提供一种电子移动设备，所述电子移动设备包括：广角相机，用于利用相应广角视场(FOV_W)来拍摄广角图像；SM相机，用于利用小于FOV_W的相应SM视场来拍摄SM图像，其中，SM相机被配置为使焦平面倾斜；以及处理器；以及将处理器配置为根据使用广角图像数据和/或SM图像数据的分析使SM相机的焦平面自主地倾斜，并以给定焦平面倾斜自主地拍摄SM图像。

在一些实施例中，执行使焦平面倾斜的步骤，使得拍摄的SM图像是完全对焦的。

在一些实施例中，执行使焦平面倾斜的步骤，使得拍摄的SM图像具有特定量的失焦去模糊。

附图说明

下面参照在此所附的附图对在此所公开的实施例的非限制示例进行描述，所述附图在本段之后列出。附图和描述旨在说明和阐明在此公开的实施例，而不应被认为是以任何方式进行限制。不同附图中的同样元件可以用相同的数字表示。附图中的元件不一定按比例绘制。

图1A示出了本领域已知的示例性SM拍摄场景；

图1B示出了根据图1A中所示的场景以肖像模式拍摄的SM图像；

图2A示例性地示出了在此所公开的SM图像拍摄场景；

图2B示出了根据图2A中所示的场景以肖像模式拍摄的SM图像；

图3A以剖视图示出了已知技术的双折叠相机的示例；

图3B以剖视图示出了在此所公开的具有可倾斜焦平面的双折叠相机的示例；

图4A示例性地示出了在此所公开的相机处于零倾斜焦平面位置的情形；

图4B示出了图4A的相机处于非零倾斜焦平面位置的情形；

图4C示出了在此公开的用于自动控制焦平面倾斜的方法的实施例；

图5A示出了包括如在此所公开的具有可倾斜焦平面的双折叠SM相机的移动设备的示例；

图5B以透视图示出了已知技术的双折叠Tele相机；

图6A以俯视图示出了在此公开的I-OPFE模块；

图6B以透视图示出了没有I-OPFE和没有OPFE保持器的图6A的I-OPFE模块；

图6C以与图2B相同的透视图示出了I-OPFE模块，但是示出了I-OPFE和OPFE保持器；

图7示意性地示出了在此公开的能够倾斜焦平面的移动设备的实施例。

具体实施方式

如果相机和图像支持以下两个标准，则它们符合“SM”资格：

-m为1:5-25:1。

-在7mm至50mm范围内的EFL的情况下以30mm至750mm范围内的物体-透镜距离拍摄。

1:5和25:1的放大率分别是指所拍摄的对象的物理尺寸为1和25与所拍摄的对象的图像的尺寸分别为5和1的比率。

注意，上述SM定义涉及相机规格(例如在7mm至50mm范围内的EFL)和图像(或场景)规格(例如在30mm至750mm范围内的物体-透镜距离)。具体地，这意味着相同的相机可以用于SM场景(例如，具有100mm的示例性物体-透镜距离的场景)以及其他场景(例如，具有2m的示例性物体-透镜距离的场景)中的图像拍摄。当拍摄SM场景时，相机被称为SM相机。当拍摄其它场景时，相机被称为Tele相机。

表1示出了SM相机的以mm为单位的景深(DOF)是其EFL(以mm为单位)和以cm为单位的物体距相机的距离(“物体-透镜距离”或“u”)的函数。为了计算DOF，假定f数为f/3并且弥散圆为1.5μm。针对EFL(列)为8mm至40mm和u(行)为2cm至150cm的范围，给出DOF。

表1

图1A示出了本领域已知的示例性SM拍摄场景；移动设备100(例如，智能手机)包括具有焦平面104的SM相机102。焦平面104被定向为平行于移动设备100的后表面，并且具有特定的DOF。DOF向焦平面104的两侧延伸。SM相机102拍摄物体106。移动设备100相对于物体106的定向以角度α定向。由于浅DOF(见表1)，物体106的仅一部分可以位于DOF区域内并且可以是对焦的(物体106的虚线区域)。物体106的其它部分可以位于DOF区域之外并且可以是失焦的(物体106的白色区域)。焦平面104与移动设备100的后表面的法线108形成90度的角度β。移动设备100被示出为以本领域已知的“肖像模式(Portrait mode)”定向，这意味着相机图像的长度维度平行于物体的长度维度。在其它实施例中，移动设备100可以以本领域已知的“风景模式(Landscape mode)”定向。

图1B示出了根据图1A中所示的场景以肖像模式拍摄的SM图像110。物体106的仅在DOF内的区段是对焦的，而物体106的在DOF外的段是失焦的。在这种场景中，SM相机的DOF阻碍在平行于图像的Y轴的方向上的全对焦(all-in-focus)物体拍摄。在其它场景中，SM相机的DOF可能阻碍在与图像的X轴平行的垂直方向上的全对焦物体拍摄。

图2A示例性地示出了在此所公开的SM图像拍摄场景。移动设备200(例如，智能手机)包括具有可倾斜的焦平面204的SM相机202。“可倾斜的”指的是焦平面204可以倾斜以具有不平行于移动设备200的定向的事实。焦平面104与移动设备200的后表面的法线208形成小于90度的角度β。

SM相机202拍摄物体106。如在图1A的场景中，移动设备200相对于物体106的定向以角度α定向。然而，相比之下，SM相机202的焦平面204围绕平行于Z轴的旋转轴倾斜，使得焦平面204被定向为平行于物体106。尽管DOF较浅，但是物体106的所有区段都位于DOF区域内并因此是对焦的。与图1A中的移动设备100类似，移动设备200被示出为以肖像模式定向。

图2B示出了根据图2A中所示的场景以肖像模式拍摄的SM图像210。物体106的所有区段都是对焦的。

图3A以剖视图示出了已知技术的双折叠相机(标号为300)的第一示例的示例。相机300包括第一物体侧光路折叠元件(“object OPFE”或“O-OPFE”，例如，棱镜或镜子)302、透镜304、第二图像侧OPFE(“image OPFE”或“I-OPFE”，例如，镜子或棱镜)306和图像传感器308。图像传感器308在平行于X-Y平面的平面中被定向。相机300具有焦平面310，焦平面310被定向为平行于X-Z平面，即垂直于图像传感器308并平行于承载相机300的移动设备(未示出)的后表面。相机300的光路(“OP”)被折叠两次，从垂直于焦平面310且平行于Y轴的第一OP(“OP1”)312到平行于焦平面310且平行于X轴的第二OP(“OP2”)314，然后到垂直于焦平面310并平行于Z轴的第三OP(“OP3”)316。I-OPFE 306相对于图像传感器308并相对于OP2 314和OP3 316两者以45度的角度被定向。在下文中，I-OPFE 306的这种定向被称为I-OPFE的“零位置”或“零倾斜位置”。在已知技术的双折叠相机的第二示例(未示出)中，OP3 316被定向为平行于OP1 312(即，平行于Y轴)，图像传感器308可以在平行于X-Z平面的平面中被定向。

图3B以剖视图示出了在此所公开的具有可倾斜的焦平面330的双折叠相机320的第一示例的示例。与相机300类似，相机320包括O-OPFE 302'、透镜304'和图像传感器308'，它们可以与相机300中的相应元件相同或不同。此外，相机320包括可倾斜的I-OPFE 322(例如，镜子或棱镜)。在其它实施例中，透镜304'可以被划分成两个或多个透镜组(未示出)，其中，包括一个或更多个透镜元件的第一透镜组可以位于O-OPFE 302'的物体侧，包括一个或更多个透镜元件的第二透镜组可以位于O-OPFE 302'的图像侧并且在可倾斜的I-OPFE 322的物体侧。在其它实施例(未示出)中，透镜304'可以位于O-OPFE 302'的物体侧，即没有透镜元件可以位于O-OPFE 302'的图像侧。相机320的OP被折叠两次，其中如图3A中所示地被同样地划分成三个OP。具体地，这意味着图像传感器308'被定向为平行于X-Y平面，可倾斜的焦平面330(在零位置)被定向为平行于X-Z平面。可倾斜的I-OPFE 322被示出为处于零倾斜位置(如图3A中的306)以及处于相对于其零倾斜位置具有倾斜角的倾斜位置。在零倾斜位置，可倾斜的I-OPFE 322被定向为平行于Y轴，并且被定向为相对于图像传感器308'以及相对于OP2 314(其平行于X轴)和OP3 316(其平行于Z轴)成45度角。

在此以及在下文中，第一I-OPFE倾斜角由I-OPFE 322围绕第一I-OPFE旋转轴324的旋转角限定，第一I-OPFE旋转轴324平行于Y轴并且可以与I-OPFE 322的反射表面的几何中心相交。通过使I-OPFE 322围绕第一I-OPFE旋转轴324倾斜，使可倾斜的焦平面330围绕平行于Z轴的第一焦平面倾斜轴倾斜。

第二I-OPFE倾斜角由I-OPFE 322围绕平行于I-OPFE 322的零倾斜位置的第二I-OPFE旋转轴(未示出)的旋转角限定，即，第二I-OPFE旋转轴与X轴和Z轴两者形成45度的角，并且垂直于Y轴。通过使I-OPFE 322围绕第二I-OPFE旋转轴倾斜，使可倾斜的焦平面330围绕平行于X轴的第二焦平面倾斜轴倾斜。

根据要拍摄的物体(诸如物体106)的取向，可能希望可倾斜的焦平面330围绕第一焦平面倾斜轴、围绕第二焦平面倾斜轴或者围绕两者的组合倾斜。给定要拍摄的物体(诸如物体106)的取向，当包括相机320的移动设备(例如，移动设备700)保持在本领域已知的用于图像拍摄的肖像模式(或定向)下时，可能期望可倾斜焦平面330围绕第一焦平面倾斜轴倾斜，并且当包括相机320的移动设备保持在本领域已知的用于图像拍摄的风景模式下时，可能期望可倾斜焦平面330围绕第二焦平面倾斜轴倾斜，反之亦然。这意味着判断焦平面围绕第一倾斜轴还是第二倾斜轴倾斜既取决于要拍摄的物体的定向又取决于承载相机的移动设备的取向。

为了使第二示例双折叠相机(即，OP3平行于Y轴，图像传感器在平行于X-Z平面的平面中定向)的焦平面围绕平行于Z轴的第一焦平面倾斜轴倾斜,I-OPFE可以围绕平行于Z轴的I-OPFE倾斜轴倾斜。为了使第二示例双折叠相机的焦平面围绕平行于X轴的第二焦平面倾斜轴倾斜，I-OPFE可以围绕I-OPFE倾斜轴倾斜，I-OPFE倾斜轴平行于I-OPFE以及垂直于Z轴，并且形成相对于X轴和Y轴呈45度的轴。

相机320的可倾斜的焦平面330是不垂直于OP 312的倾斜但是与垂直于OP 312定向的平面334形成角度θ的焦平面。参照图1A和图2A，如果进行焦平面倾斜使得θ＝α近似满足(α是移动设备200和物体106之间的角度，参见图2A)，则相机320可以用于完全对焦地拍摄物体(诸如106)。“近似满足”在此意味着，由于DOF的有限厚度(如图1A和图2A中所示)，可以也以角度θ＝α±Δ完全对焦地拍摄像物体(诸如物体106)。Δ的大小取决于角度α和物体-透镜距离“u”。

对于可倾斜的焦平面(诸如330)，沿着OP 312从FOV中心到相机透镜测量对焦物体的物体-透镜距离u。如图3B中所示，焦平面的倾斜不改变u。在双折叠相机320中，连续的OP(诸如OP1和OP2、OP2和OP3等)相互垂直定向。在其它示例中，连续OP可以相对于彼此以另一角度(例如从90度改变了10度或20度或更大)定向。具体地，在此，处于零倾斜位置的O-OPFE和/或I-OPFE可以被定向为使得它朝着另一角度折叠光路。

图4A至图4B示出了(如图3B中所限定的)倾斜角和θ之间的关系。为了简单起见，双折叠相机320的光学系统由较简单的常规或非折叠相机400表示。对于不太大的角度(例如，高达20度的)，可以假定，使非折叠相机的图像传感器(诸如图像传感器404(其类似于308’))相对于其(与相机的OP 412(类似于316)呈90度的)零倾斜位置以角度倾斜，导致与通过使I-OPFE(诸如I-OPFE 322)相对于其零倾斜位置以相同的倾斜角度(相对于双折射相机的OP314和OP316以45度)倾斜而获得的倾斜角度θ类似的倾斜角度θ。应注意，这意味着，如在此所述的焦平面倾斜不仅可以通过双折叠相机来执行，而且通过常规的或非折叠的相机来执行。然而，在双折叠相机(诸如320)中，I-OPFE(诸如322)倾斜以便焦平面倾斜，在常规相机中，相机的透镜相对于相机的图像传感器和承载常规相机的移动设备倾斜，或者相机的图像传感器相对于相机的透镜和承载常规相机的移动设备倾斜。

图4A示例性地示出了处于零倾斜焦平面位置的相机。相机400包括透镜402和可倾斜的图像传感器404，它被聚焦到距离垂直于Y轴的焦平面410某一物体-透镜距离u，覆盖场景的某一水平视场(FOV)。可倾斜的图像传感器是本领域已知的。在图4A中，示出了处于零倾斜位置的图像传感器404。在零倾斜位置，图像传感器404垂直于Y轴定向。如本领域已知的，光学系统被设计成使得焦平面410被定向成平行于图像传感器404，平行于承载相机400的移动设备(未示出)的后表面并且垂直于相机400的OP 412。示出了三个示例性场(或“物体”)点(具有编号为1-3的光线)：在FOV的中心右边的位置处的第一场点(“FP1”)，在FOV中心处的第二场点(“FP2”)以及在FOV中心左边的位置处的第三场点(“FP3”)。将光学系统设计成使相机400的焦平面410平行于图像传感器404定向，这意味着在相同的物体-透镜距离u处的场1至场3是对焦的。如果从该场点发出的所有光线传播相同的光路长度(“OPL”)，则u处的场点是对焦的，因此FP1、FP2和FP3的所有光线传播特定的OPL(分别为OPL1、OPL2和OPL3)。OPL1、OPL2和OPL3位于焦平面410上。传感器404的宽度被标记为“S”，而FOV的宽度被标记为“X”。

图4B示出了处于非零倾斜的焦平面位置的相机400。图像传感器404现在是倾斜的，在不垂直于Y轴的平面中定向，但是与X轴形成角度当图像传感器404倾斜时，OPL1、OPL2和OPL3不会位于垂直于Y轴的焦平面410上，而是位于与Y轴形成不为90度的角度以及与X轴形成某一角度θ的焦平面410上。如图4A中所示，物体-透镜距离u和透镜图像距离v相对于x不是恒定的，而是取决于x，即u＝u(x)和v＝v(x)。对于FP1，u1＝u_center+Δu1且v1＝v_center+Δv1。对于FP3，u3＝u_center+Δu3且v3＝v_center+Δv3。“u_center”和“v_center”分别指在FOV的中心位置处的物体-透镜距离和在图像传感器的中心位置处的透镜-图像距离。对于FP2，没有变化，u2＝u_center、v2＝v_center。假设FP1和FP3相对于FP2对称地定位，使得Δu1＝-Δu3并且Δv1＝-Δv3。在下文中，将只考虑FP1。如果没有另外明确说明，这里和下面的物体-透镜距离u指的是u_center。

薄透镜方程现在也取决于x(方程1)：

表2至表4示例性地示出了对于三个图像传感器倾斜角(表2)，(表3)和(表4)，焦平面倾斜行程θ和SM相机示例的组合(特征在于以mm为单位的EFL)和物体-透镜距离u(以mm为单位)的关系。

表2

表3

表4

从表2至表4可以明显看出，为了使焦平面围绕第一焦平面旋转轴或第二焦平面旋转轴倾斜特定的焦平面倾斜行程θ_P(“P“表示特定)，需要特定的I-OPFE旋转行程其中，对于越近的物体-透镜距离u，越小。这意味着，为了在两个不同的物体-透镜距离u₁、u₂处执行相同的焦平面倾斜行程θ_P，其中，u₁<u₂，在u₁处需要比在u₂处的I-OPFE的旋转量小的I-OPFE的旋转量(即，较小的旋转行程)。换句话说，对于特定量的焦平面倾斜来说，满足以下条件：物体-透镜距离越小，实现特定量的焦平面倾斜所需的I-OPFE旋转行程就越小。

焦平面的倾斜可以由人类用户控制或自动地由算法控制。

图4C示出了在此公开的用于自动控制焦平面倾斜的方法的实施例。在第一步骤422中，感兴趣物体(“OOI”)检测器(诸如OOI检测器742(图7))可以检测OOI及其在SM相机的FOV内的位置。OOI可以由用户选择和/或由算法(例如，通过使用显著图(saliency map)或对象检测算法)提出。在一些实施例中，OOI检测器742可以使用广角(W)或超广角(UW)图像数据来检测OOI。在步骤424中，倾斜估计器(诸如倾斜估计器744(图7))可以计算SM相机的焦平面和OOI之间的相对倾斜。对于倾斜估计，可以使用来自SM或者W相机或UW相机的图像数据，例如，RGB或光电二极管自动聚焦(phase detection auto-focus；PDAF)图像数据。在其它实施例中，可以使用来自附加相机(例如，来自飞行时间(Time-of-Flight；TOF)相机)的深度图数据。基于倾斜估计，在步骤426中，I-OPFE控制器746(图7)可以使用如表2至表4中所示的校准数据例如作为查找表(LUT)，来计算I-OPFE控制信号，该I-OPFE控制信号被发送到I-OPFE致动器(诸如I-OPFE致动器724)，该I-OPFE致动器使焦平面倾斜，以便将SM相机的焦平面与OOI的定向对准。

校准数据可以包括用于控制焦平面围绕两个焦平面旋转轴的倾斜的物体-透镜距离和四个I-OPFE旋转轴的倾斜角。校准数据可以包括用于控制焦平面围绕一个焦平面旋转轴的倾斜的物体-透镜距离和两个I-OPFE旋转轴的倾斜角。在其它实施例中，焦平面可以不与OOI的定向对准，而是焦平面和OOI的定向可以以限定的方式相对于彼此倾斜，使得形成SM图像中对焦区段和失焦区段的艺术(或美学)组合。例如，SM图像中的对焦区段和失焦区段的艺术组合可以是可以通过使焦平面倾斜来控制的焦外成像(Bokeh)效应。在一些示例中，艺术组合可以用于突出显示场景的特定物体或特定区段。

在涉及常规相机或非折叠相机的其它示例中，在步骤426中，透镜倾斜控制器或图像传感器倾斜控制器可以使用校准数据来计算透镜控制信号或图像传感器控制信号，所述透镜控制信号或图像传感器控制信号通过使相机的透镜和/或相机的图像传感器倾斜来使焦平面倾斜，以便使焦平面和OOI的定向对准。

在涉及具有被折叠超过两次(例如，3次或4次或更多次)的光路的相机的又一示例中，在步骤426中，OPFE倾斜控制器可以使用校准数据来计算OPFE控制信号，该OPFE控制信号通过借助于OPFE致动器使相机的OPFE中的一个OPFE倾斜来使焦平面倾斜，以便使焦平面和OOI的定向对准。具有分别被折叠3次或4次的光路的相机包括两个或更多个OPFE(例如，棱镜和/或镜子)，并且分别具有4个光路区段OP1至OP4或5个光路段OP1至OP5，其中，连续的OP(例如，OP1和OP2等)可以相对于彼此以90度的角度定向，或者它们可以以另一角度定向。

在步骤428中，拍摄SM图像。在一些实施例中，拍摄共同形成视频流的多个SM图像。在一些示例中，可以使用在视频流的特定SM图像中的对焦区段和失焦区段的不同艺术组合来突出场景的特定物体或特定区段。

在一些实施例中，对于扫描SM相机，可以使用W图像数据来将扫描SM相机的原生FOV_N转向OOI。

图5A示出了编号为500的移动设备的示例，该移动设备包括如在此所公开的具有可倾斜的焦平面的双折叠SM相机502。移动设备500包括多相机，除了用作SM相机502的Tele相机之外，该多相机还包括具有广角FOV_W的广角(或“W”)相机504和具有超广角FOV_UW的超广角(或“UW”)相机506。多相机集成在移动设备500的面向后(或面向世界)的表面508中。移动设备500可以包括移动设备700中的一些或全部组件。移动设备500例如可以是智能手机。

图5B以透视图示出了已知技术的双折叠Tele相机520。相机520包括物体OPFE 522(例如，棱镜)、透镜524、I-OPFE 526(例如，镜子)和图像传感器528。相机520具有三个OP(OP1 532、OP2 534和OP3 536)。根据如上所述的第一示例实现双折叠Tele相机520，即，OP1532平行于Y轴，OP2 534平行于X轴，OP3 536平行于Z轴。图像传感器528在平行于X-Y平面的平面中定向。

图6A至图6C示出了能够使OPFE在大约±30度的范围内倾斜的可倾斜的I-OPFE模块600。图6A示出了I-OPFE模块600的俯视图。I-OPFE模块600包括在OPFE保持器604中的I-OPFE 602(例如，镜子或棱镜)和OPFE倾斜机构610。OPFE倾斜机构610使I-OPFE 602围绕位于枢轴球612处并平行于Z轴的一个旋转轴606旋转。支撑球614和支撑球616调节旋转。OPFE倾斜机构610还包括音圈电机(“VCM”)致动器620，音圈电机致动器620具有用于旋转致动的VCM磁体622和VCM线圈624。VCM致动由感测和压缩磁体632和霍尔传感器634感测。

图6B以透视图示出了没有I-OPFE 602和OPFE保持器604的OPFE模块600。轭636是可见的。图6C以与图2B相同的透视图示出了OPFE模块600，但是示出了I-OPFE 602和OPFE保持器604。旋转轴606被标记。

通过使用两个分离的磁体622和632,OPFE模块600允许感测和致动的分离。霍尔传感器634与线圈624的磁场分离。旋转轴线606与VCM致动器620相距相对大的距离，为旋转致动提供了大的杠杆。旋转轴606与霍尔传感器634相距相对短的距离，从而可以在小的行程内感测大的旋转OPFE致动。

图7示意性地示出了能够使在此公开的焦平面倾斜且编号为700移动设备(例如，智能手机)的实施例。移动设备700包括SM相机710，该SM相机710是包括透镜712、图像传感器714、O-OPFE 716和O-OPFE致动器718、I-OPFE 722和I-OPFE致动器724的双折叠相机，O-OPFE致动器718和I-OPFE致动器724分别用于旋转致动O-OPFE和I-OPFE。执行I-OPFE的旋转致动以用于在此公开的方法。用于根据来自I-OPFE控制744的控制信号而旋转致动I-OPFE的校准数据被存储在第一存储器726(例如，EEPROM或“电可擦除可编程只读存储器”)上或第三存储器750(例如，NVM或“非易失性存储器”)上。SM透镜712可以具有提供固定变焦因子(ZF)的固定EFL，或者具有提供自适应ZF的自适应EFL。焦距的适应可以是离散的或连续的，即，离散数量的变化焦距用于提供具有特定的相应ZF的两个或多个离散变焦状态的，或者ZF的适应可以是连续的。O-OPFE致动器718和I-OPFE致动器724可以分别致动O-OPFE 716和I-OPFE 722，以用于使焦平面倾斜、OIS、并且在SM相机710是扫描折叠相机的情况下，用于FOV扫描。I-OPFE致动器724可以根据期望的焦平面倾斜方向围绕两个垂直轴致动I-OPFE722。

移动设备700还包括W相机模块730，该W相机模块730包括W透镜732、图像传感器734和第二存储器736。

移动设备700还可以包括应用处理器(AP)740。AP 730包括OOI检测器742、用于估计移动设备700和要拍摄的OOI之间的相对倾斜的倾斜估计器744。I-OPFE控制器746使用倾斜估计744来计算I-OPFE致动器724的控制信号，该致动器根据控制信号旋转I-OPFE 722。

SM相机710可具有例如7mm至50mm或更大的EFL、5度至40度的对角线FOV和f/#为1.5至7.5的f数。W相机730可以具有例如2.5mm至15mm的EFL、50°至130°的对角线FOV和1.0至3.5的f/#。

SM相机710可以是扫描相机。通过旋转致动O-OPFE 716和I-OPFE 722，可以操纵SM相机710的原生(对角线)FOV(FOV_N)以扫描场景。FOV_N可以是10度至40度，FOV_N的扫描范围可以是±5度至±35度。例如，具有20度FOV_N和±20度FOV_N扫描的扫描SM相机覆盖60度的TeleFOV。

虽然已经根据某些实施例和通常相关的方法描述了本公开，但是对实施例和方法的改变和置换对于本领域技术人员将是明显的。本公开应被理解为不限于在此所述的具体实施例，而仅由所附权利要求的范围来限定。

本说明书中提及的所有参考文献的全部内容都通过引用并入本说明书中，其程度如同各个单独的参考文献被具体地且单独地指示为通过引用并入本文。此外，在本申请中对任何参考文献的引用或标识不应被解释为承认这样的参考文献可作为对于本申请的现有技术。

Claims (37)

1.一种相机，所述相机包括：

物体侧光路折叠元件O-OPFE，用于将第一光路OP1折叠到第二光路OP2；

透镜；

图像侧光路折叠元件I-OPFE，用于将OP2折叠到第三光路OP3，其中OP1、OP2以及OP3相互垂直；

I-OPFE致动器；以及

图像传感器，所述图像传感器的图像平面被定向为与示例性正交XYZ坐标系中的X-Y平面平行，

其中，所述相机是超微距SM相机并且具有焦平面，其中，在零倾斜焦平面位置，所述焦平面平行于X-Z平面，其中，在零倾斜I-OPFE位置，I-OPFE与X轴和Z轴两者都形成45度角并且平行于Y轴，其中，所述I-OPFE致动器用于：通过围绕平行于Y轴的第一I-OPFE旋转轴旋转致动I-OPFE，使所述焦平面围绕平行于Z轴的第一焦平面旋转轴倾斜；和/或通过围绕平行于所述零倾斜I-OPFE位置并垂直于Y轴的第二I-OPFE旋转轴旋转致动I-OPFE，使所述焦平面围绕平行于X轴的第二焦平面旋转轴倾斜。

2.根据权利要求1所述的相机，其中，OP1和OP3被定向为平行于Y轴，OP2被定向为平行于X轴，其中，所述图像传感器被定向为平行于X-Z平面，其中，所述I-OPFE致动器用于：通过围绕平行于Z轴的第三I-OPFE旋转轴旋转致动I-OPFE，使所述焦平面围绕所述第一焦平面旋转轴倾斜；和/或通过围绕平行于所述零倾斜I-OPFE位置并垂直于Z轴的第四I-OPFE旋转轴旋转致动I-OPFE，使所述焦平面围绕所述第二焦平面旋转轴倾斜。

3.根据权利要求1或2所述的相机，其中，所述SM相机聚焦到3.0cm至15cm的物体-透镜距离。

4.根据权利要求1或2所述的相机，其中，所述SM相机聚焦到15cm至50cm的物体-透镜距离。

5.根据权利要求1或2所述的相机，其中，所述焦平面围绕所述第一焦平面旋转轴和/或所述第二焦平面旋转轴倾斜0度至20度。

6.根据权利要求5所述的相机，其中，使I-OPFE围绕所述第一I-OPFE旋转轴或所述第三I-OPFE旋转轴倾斜0度至20度，以使所述焦平面围绕所述第一焦平面旋转轴倾斜0度至20度，和/或使I-OPFE围绕所述第二I-OPFE旋转轴或所述第四I-OPFE旋转轴倾斜0度至20度，以使所述焦平面围绕所述第二焦平面旋转轴倾斜0度至20度。

7.根据权利要求1或2所述的相机，其中，所述焦平面围绕所述第一焦平面旋转轴和/或所述第二焦平面旋转轴倾斜0度至40度。

8.根据权利要求7所述的相机，其中，使I-OPFE围绕所述第一I-OPFE旋转轴或第三I-OPFE旋转轴倾斜0度至40度，以使所述焦平面围绕所述第一焦平面旋转轴倾斜0度至40度，和/或使I-OPFE围绕所述第二I-OPFE旋转轴或所述第四I-OPFE旋转轴倾斜0度至40度，以使所述焦平面围绕所述第二焦平面旋转轴倾斜0度至40度。

9.根据权利要求1或2所述的相机，其中，所述焦平面围绕所述第一焦平面旋转轴和/或所述第二焦平面旋转轴倾斜0度至60度。

10.根据权利要求1或2所述的相机，其中，所述焦平面围绕所述第一焦平面旋转轴和/或所述第二焦平面旋转轴倾斜0度至80度。

11.根据权利要求1或2所述的相机，其中，使用校准数据来计算控制信号，所述控制信号用于使所述焦平面围绕所述第一焦平面旋转轴倾斜和所述第二焦平面旋转轴倾斜，其中，所述校准数据取决于所述SM相机和要拍摄的物体之间的距离。

12.根据权利要求1或2所述的相机，其中，当所述焦平面的位置距所述SM相机为第一距离时，为了使所述焦平面围绕所述第一焦平面旋转轴或所述第二焦平面旋转轴倾斜一特定焦平面倾斜行程，需要围绕所述第一I-OPFE旋转轴或所述第二I-OPFE旋转轴或所述第三I-OPFE旋转轴或所述第四I-OPFE旋转轴的第一旋转行程，其中，当所述焦平面的位置距所述SM相机为第二距离时，为了使所述焦平面围绕所述第一焦平面旋转轴或所述第二焦平面旋转轴倾斜所述特定焦平面倾斜行程，需要围绕所述第一I-OPFE旋转轴或所述第二I-OPFE旋转轴或所述第三I-OPFE旋转轴或所述第四I-OPFE旋转轴的第二旋转行程，其中，所述第二距离大于所述第一距离，其中，所述第一旋转行程小于所述第二旋转行程。

13.根据权利要求1或2所述的相机，其中，所述SM相机具有7mm至10mm的有效焦距。

14.根据权利要求1或2所述的相机，其中，所述SM相机具有10mm至20mm的有效焦距。

15.根据权利要求1或2所述的相机，其中，所述SM相机具有20mm至40mm的有效焦距。

16.根据权利要求1或2所述的相机，其中，所述I-OPFE致动器是音圈电机。

17.根据权利要求1或2所述的相机，其中，I-OPFE是镜子。

18.根据权利要求1或2所述的相机，其中，O-OPFE是棱镜。

19.根据权利要求1或2所述的相机，其中，所述透镜被分成两个透镜组，其中，第一透镜组位于O-OPFE的物体侧，第二透镜组位于O-OPFE的图像侧和I-OPFE的物体侧之间。

20.根据权利要求1或2所述的相机，其中，所述SM相机是利用相应的SM视场扫描场景的扫描相机。

21.根据权利要求1或2所述的相机，其中，所述SM相机能够在两个或更多个离散变焦状态之间切换。

22.根据权利要求1或2所述的相机，其中，所述SM相机能够在最小变焦状态和最大变焦状态之间连续切换。

23.根据权利要求1或2所述的相机，其中，最大变焦状态的变焦因子是最小变焦状态的变焦因子的两倍。

24.根据权利要求1或2所述的相机，其中，最大变焦状态的变焦因子为最小变焦状态的变焦因子的2倍或更多倍。

25.一种移动设备，包括根据权利要求1或2所述的SM相机，并且包括应用处理器AP，所述AP被配置为控制所述焦平面的倾斜。

26.根据权利要求25所述的移动设备，其中，所述移动设备是智能手机。

27.根据权利要求25所述的移动设备，其中，所述AP被配置为使用校准数据来控制所述焦平面围绕所述第一焦平面旋转轴和/或所述第二焦平面旋转轴的倾斜，所述校准数据包括所述第一I-OPFE旋转轴和/或所述第二I-OPFE旋转轴和/或所述第三I-OPFE旋转轴和/或第四I-OPFE旋转轴的旋转角度以及物体-透镜距离。

28.根据权利要求25所述的移动设备，其中，所述AP被配置为根据用户输入来控制所述焦平面的倾斜。

29.根据权利要求25所述的移动设备，其中，所述AP被配置为运行算法以使所述焦平面自动倾斜。

30.根据权利要求25所述的移动设备，其中，所述AP还被配置为在所述焦平面倾斜之后自动拍摄图像或图像流。

31.根据权利要求29所述的移动设备，其中，所述焦平面被倾斜，使得利用所述SM相机拍摄的感兴趣对象完全对焦。

32.根据权利要求29所述的移动设备，其中，所述焦平面被倾斜，使得利用所述SM相机拍摄的感兴趣对象具有特定量的失焦去模糊。

33.根据权利要求29所述的移动设备，所述移动设备还包括广角相机和/或超广角相机，其中，所述AP还被配置为分析来自所述SM相机、所述广角相机或所述超广角相机中的任一个的图像数据，以使所述焦平面自动倾斜。

34.根据权利要求33所述的移动设备，其中，所述图像数据是光电二极管自动聚焦图像数据。

35.根据权利要求33所述的移动设备，其中，对所述图像数据的分析使用显著图和/或对象检测算法。

36.根据权利要求33所述的移动设备，其中，所述SM相机是利用相应的SM视场扫描场景的扫描相机，其中，所述AP被配置为分析来自所述广角相机或所述超广角相机的图像数据，以将所述扫描相机的视场导向所述广角相机的视场内的特定区段。

37.根据权利要求33所述的移动设备，其中，所述SM相机能够在不同的变焦状态之间切换，其中，所述AP被配置为分析来自所述广角相机或所述超广角相机的图像数据，以将所述SM相机切换到用于拍摄具有特定放大率和特定视场的微距图像的特定变焦状态。