Nothing Special   »   [go: up one dir, main page]

CN110647000B - 使用无视差假影的折叠式光学器件的多相机系统 - Google Patents

使用无视差假影的折叠式光学器件的多相机系统 Download PDF

Info

Publication number
CN110647000B
CN110647000B CN201911017210.0A CN201911017210A CN110647000B CN 110647000 B CN110647000 B CN 110647000B CN 201911017210 A CN201911017210 A CN 201911017210A CN 110647000 B CN110647000 B CN 110647000B
Authority
CN
China
Prior art keywords
camera
image
cameras
array
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911017210.0A
Other languages
English (en)
Other versions
CN110647000A (zh
Inventor
T·G·格奥尔基耶夫
T·W·奥斯本
S·R·戈马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110647000A publication Critical patent/CN110647000A/zh
Application granted granted Critical
Publication of CN110647000B publication Critical patent/CN110647000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/02Catoptric systems, e.g. image erecting and reversing system
    • G02B17/023Catoptric systems, e.g. image erecting and reversing system for extending or folding an optical path, e.g. delay lines
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/40Optical focusing aids
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及使用无视差假影的折叠式光学器件的多相机系统。本发明提供一种在所捕获图像中展现极少或不展现视差假影的相机阵列(310D到310F),其中阵列相机的中心镜表面的平面位于沿着对应相机位置与虚拟相机位置(V)之间的线的中点处且正交于所述线,其中所述阵列中的所有所述相机的视锥在由所述镜折叠之后,看起来好像来自所述虚拟相机位置(V),所述阵列中的每一传感器使用中心镜棱镜(312D到312F)的对应刻面看到所述图像场景的一部分;每一个别传感器/镜对表示总阵列相机的子光圈。所述整个阵列相机具有由所有个别光圈光线的总和产生的合成光圈。

Description

使用无视差假影的折叠式光学器件的多相机系统
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2015年5月29日、申请号为201580029826.3、发明名称为“使用无视差假影的折叠式光学器件的多相机系统”的发明专利申请案。
技术领域
本发明涉及包含多相机阵列的成像系统和方法。明确地说,本发明涉及启用移动装置的低轮廓成像系统同时维持或改进图像质量的系统和方法。
背景技术
例如移动电话和平板计算装置等许多移动装置包含可由用户操作以捕获静态和/或视频图像的相机。因为移动装置通常设计成相对较小,所以将相机或成像系统设计成尽可能薄的可能是重要的,以便维持低轮廓移动装置。折叠式光学图像传感器阵列(“阵列相机”)允许创建低轮廓图像捕获装置,而不缩短焦距或减小图像在传感器阵列的视野内的分辨率。通过使用主和次表面朝向阵列中的每一传感器再引导光,并且通过定位用以将入射光聚焦于主表面与次表面之间的透镜组合件,传感器阵列可定位于垂直于透镜组合件的平坦衬底上。较长的焦距使得有可能实施例如光学变焦等特征,且并入有需要比通常由传统移动相机获得的空间更多的空间的更复杂光学器件,例如添加更多光学元件。
一些阵列相机使用中心镜或棱镜,其具有多个小面,以将包括目标图像的入射光分裂成多个部分来供所述阵列中的传感器捕获,其中每一小面将来自所述目标图像的光的一部分朝所述阵列中的传感器引导。所述分裂的光的每一部分可穿过透镜组合件,并从位于传感器正上方或下方的额外表面反射回来,使得每一传感器捕获所述图像的一部分。传感器视野可重叠以辅助将所俘获部分拼接在一起成为完整图像。
发明内容
本文所述的折叠光学传感器阵列和图像捕获技术允许创建低轮廓图像俘获装置,而不缩短焦距或减小所述图像跨传感器阵列的视野的分辨率,且所捕获的图像没有(或几乎没有)视差假影。阵列相机的挑战是归因于如从所述阵列的不同相机看到的同一物体的不同视图之间的视差的质量降级。视差阻止了将每一相机所捕获的图像无缝拼接成完全无假影的最终图像。相机视图可部分地重叠(例如,重叠大约20%)。取决于图像中的场景的深度(例如从透镜到物体的距离),来自一个相机的图像可相对于来自另一相机的图像移位。当图像拼接或熔合在一起时,所得视差和倾斜可导致对应于重叠视野的图像区域中的“双图像”鬼影。即使构造所述阵列使得传感器视野中不存在重叠,当此类特征越过传感器视野之间的边界时,视差导致所述图像中的不连续特征,例如线和边缘。
在各种实施例中,通过如本文所述的无视差和倾斜假影的阵列相机来解决尤其上述问题。所述实施例中的一些可使用中心镜或棱镜,例如具有多个表面或小面,以将包括所述目标图像的入射光分裂成多个部分,供所述阵列中的传感器捕获。镜表面和传感器可经配置以避免导致所捕获图像中的视差和倾斜假影。举例来说,阵列相机的中心镜表面的平面可沿着对应相机位置与虚拟相机位置之间的线位于中点处,并与所述线正交。因此,在镜将入射光折叠之后,阵列中的所有相机的所投影视野(FOV)视锥看起来来自虚拟相机位置。
经分裂的光的每一部分可穿过透镜组合件,且从位于传感器正上方或下方的任选额外反射表面反射回来,使得每一传感器捕获所述图像的一部分。在一些情况下,所述阵列中的每一传感器可捕获所述图像的与所述阵列中的相邻传感器捕获的部分稍微重叠的一部分,且可将这些部分组合成所述目标图像,例如通过线性混合或其它图像拼接技术。
一个创新包含一种用于捕获场景的目标图像的系统,所述系统包含具有投影的虚拟中心的多个相机的阵列,所述多个相机中的每一者经配置以捕获场景的目标图像的多个部分中的一者,且所述多个相机中的每一者包含图像传感器,透镜组合件包含至少一个透镜,所述透镜组合件具有投影中心,所述透镜组合件定位成将光聚焦在所述图像传感器上,所述透镜组合件的投影中心沿着穿过虚拟投影中心的线定位,且镜相对于所述透镜组合件定位,以将光提供到所述透镜组合件,所述镜进一步位于镜平面上(或内),(本文有时称为“镜平面”),所述镜平面定位成与沿着穿过虚拟投影中心的线的点(例如中点)相交。所述镜平面可以与所述线正交的角度定位。各种实施例可包含额外特征。
以下是此类系统的一些特征和实施例的非限制性实例。举例来说,所述系统可进一步包含中心反射性元件(例如,金字塔形反射性组件),其包含多个主要光再引导表面,所述表面经配置以将表示所述场景的目标图像的光分裂成所述多个部分,所述多个相机中的每一者的镜形成主要光折叠表面中的一者。中心反射性元件可包含由所述多个主要光再引导表面中的每一者的相交形成的顶点。所述多个相机中的每一者的光轴可穿过所述顶点。所述顶点和虚拟投影中心位于穿过所述顶点和所述虚拟投影中心的虚拟光轴上,使得所述虚拟光轴形成所述多个相机的阵列的光轴。所述系统可进一步包含相机外壳,其包括至少一上表面,所述上表面具有定位成允许表示所述场景的光穿过所述孔径到中心反射性元件的光圈。所述上表面可定位成与中心反射性元件的顶点处或上方的虚拟光轴正交。所述外壳可进一步包含大体上平行于所述上表面定位且位于中心反射性元件的下表面处或下方的下表面。所述多个相机中的每一者可位于相机外壳的上表面与下表面之间。所述系统可进一步包含处理器,其经配置以从所述多个相机中的每一者接收包括所述场景的一部分的图像的图像数据,且执行拼接操作以产生所述目标图像。所述系统可进一步(例如,为了校正图像数据中的倾斜假影)包含处理器,其进一步经配置以至少部分地基于虚拟投影中心与所述多个相机中的每一者的透镜组合件的投影中心之间的几何关系以及用于所述多个相机中的每一者的镜在对应镜平面内的位置,对所述图像数据执行投影变换。所述系统可进一步包含与所述多个相机中的每一者相关联的次要光再引导表面,所述次要光再引导表面定位成将从所述透镜组合件接收到的光引导到所述图像传感器上。所述系统可进一步包含具有至少一个光圈的衬底,所述至少一个光圈定位成允许表示所述场景的光穿过所述至少一个孔径到所述多个相机中的每一者的镜,其中用于所述多个相机中的每一者的所述图像传感器定位在衬底上或衬底内。
另一创新包含一种生产所捕获图像中基本上无视差假影的阵列相机的方法。在各种实施例中,所述方法包含定位阵列中的多个相机,所述多个相机中的每一者经配置以捕获目标图像场景的多个部分中的一者,所述多个相机定位成各自从具有虚拟投影中心的虚拟相机的位置捕获图像数据,所述多个相机中的每一者包含:具有至少一个透镜的透镜组合件,相机投影中心具有至少部分地由所述透镜组合件的光学器件确定的位置;以及传感器,其定位成从所述透镜组合件接收光。所述方法可进一步包含为所述多个相机中的每一者提供定位在镜平面上的镜,所述镜平面定位成与沿着连接所述相机的投影中心与所捕获的虚拟投影中心的线的点(例如中点)相交。所述镜平面可定位成垂直于所述线。
以下是此类方法的一些特征和实施例的非限制性实例。举例来说,所述方法可进一步包含为所述多个相机中的每一者提供所述镜,作为中心反射性元件的小面所述多个相机定位在所述中心反射性元件或反射性组件周围。所述方法可包含提供所述中心反射性元件,使得用于所述多个相机中的每一者的镜在所述中心反射性元件的顶点处相交。所述方法可包含将所述多个相机中的每一者定位成使得所述多个相机中的每一者的光轴与所述顶点相交。所述方法可包含为所述多个相机中的每一者提供次要光折叠表面。所述方法可包含将次要光折叠表面定位在所述透镜组合件与所述传感器之间,以将从所述透镜组合件接收到的光引导到所述传感器上。所述方法可包含提供具有至少一个光圈的衬底,所述光圈定位成允许表示场景的光穿过所述光圈到用于所述多个相机中的每一者的镜。所述方法可包含将用于所述多个相机中的每一者的所述传感器安装在所述衬底上或所述衬底内,使得所有传感器均位于同一平面上(或内)。所述方法可包含提供与所述多个相机中的每一者的传感器电子通信的处理器,所述处理器经配置以接收目标图像场景的所述多个部分,且产生所述目标图像场景的完整图像。
另一创新包含一种捕获无(或大体上无)视差的图像的方法,所述方法包含:使用多个镜将表示所述图像的场景的光分裂成多个部分;将所述多个部分中的每一者朝多个相机中的对应一者引导,所述相机各自定位成从具有虚拟投影中心的虚拟相机的位置捕获图像数据,所述多个相机中的每一者具有包括至少一个透镜的透镜组合件,相机投影中心具有至少部分地由透镜组合件的光学器件确定的位置,且传感器定位成从所述透镜组合件接收光;以及将所述多个部分组合成所述图像,其中对于所述多个镜中的每一镜,所述镜位于镜平面上。所述镜平面定位成与沿着连接所述多个相机中的对应相机的相机投影中心与虚拟投影中心的线的点(例如中点)。所述镜平面可进一步与所述线正交。
以下是此类方法的一些特征和实施例的非限制性实例。所述方法可包含将投影变换应用于所捕获的图像数据,以改变所述多个相机中的每一者的有效倾斜。所述方法可包含:对于所述多个相机中的每一者,使用次要光折叠表面来将从透镜组合件接收到的光再引导到所述图像传感器上。
另一创新包含一种用于捕获场景的目标图像的设备,所述设备包含:具有虚拟投影中心的多个相机的阵列,所述多个相机中的每一者经配置以捕获所述场景的目标图像的多个部分中的一者,且对于所述多个相机中的每一者;用于捕获图像的装置,用于聚焦将具有沿着穿过虚拟投影中心的线定位的投影中心的光的装置;以及用于再引导至少部分地位于定位成与沿着所述线的中点相交且成与所述线正交的角度的主要光折叠平面内的光的装置。
以下是此类设备的一些特征和实施例的非限制性实例。在一些实施例中,所述光再引导装置包含位于主要光折叠平面内的反射性表面中的一者,以及具有位于主要光折叠平面内的小面的折射棱镜。所述光聚焦装置可包含包括一或多个透镜的透镜组合件。所述多个相机中的每一者可包含额外光折叠装置,其定位成将从所述光聚焦装置接收到的光引导到所述图像捕获装置上。所述设备可包含用于将所述多个部分组合成所述目标图像的装置。所述设备可包含用于补偿所述目标图像的所述多个部分之间的倾斜假影的装置。
附图说明
将在下文中结合附图来描述所揭示方面,提供附图是为了说明但不限制所揭示方面,其中相同符号表示相同元件。
图1A说明折叠光学传感器组合件的实施例的横截面侧视图。
图1B说明折叠光学传感器组合件的另一实施例的横截面侧视图。
图2说明图像俘获装置的一个实施例的框图。
图3A和3B说明无视差阵列相机终的相机投影中心和镜平面位置的两个实施例。
图4A到4C说明无视差假影的阵列相机的实施例。
图5A说明无视差假影的阵列相机的实施例。
图5B说明并非无视差假影的图5A的相机的替代实施例。
图6说明无视差的阵列相机的实施例。
图7说明折叠光学图像捕获过程的实施例。
具体实施方式
I.引言
本文所揭示的实施方案提供用于使用具有折叠式光学器件的阵列相机来产生基本上无视差假影的图像的系统、方法和设备。本发明的各方面涉及在所捕获图像中呈现极少或无视差假影的阵列相机。举例来说,阵列相机的中心镜表面的平面可沿着对应相机位置与虚拟相机位置之间的线位于中点处,并与所述线垂直。因此,所述阵列中的所有相机的视锥在由镜折叠之后,看起来像是来自虚拟相机位置。所述阵列中的每一传感器使用中心镜棱镜的对应小面“看到”所述图像场景的一部分,且因此每一个别传感器/ 镜对仅表示总阵列相机的子光圈。完整阵列相机具有基于所有个别光圈光线的总和而产生的合成光圈,即基于将子光圈所产生的图像拼接在一起。
在以下描述中,给出具体细节以提供对实例的透彻理解。然而,可以在无这些具体细节的情况下实践实例。
II.折叠式光学阵列相机的概述
现参看图1A和1B,现将更详细地描述适合与本文所述的自动对焦系统和技术一起使用的折叠式光学多传感器组合件100A、100B的实例。术语“折叠式”是广泛术语,其用以表征一种类型的成像系统(例如相机),其中例如在光照亮成像系统中的传感器之前,进入成像系统的光被再引导至少一次。换句话说,在进入成像系统时在一个方向上传播的光接着再引导或“折叠”,以在所述成像系统中或至少在其照亮(例如成像系统的) 传感器之前,在不同方向上传播。图1A说明折叠式光学多传感器组合件100A的实例的横截面侧视图,所述折叠式光学多传感器组合件包含图像传感器105、125;反射性次要光折叠表面110、135;透镜组合件115、130;以及中心反射性表面120,其可全部安装 装 到衬底150。图1B说明折叠式光学多传感器组合件的实施例的横截面侧视图,所述折叠式光学多传感器组合件包含中心棱镜141、146,其用于主要光再引导表面122、124,以及额外反射表面,例如棱镜111、136,如所说明,或反射表面,例如镜面表面),其形成次要光折叠表面135、110。
参看图1A,在某些实施例中,图像传感器105、125可包括,电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS),或任何其它图像感测装置,其接收光并响应于所述接收到的图像而产生图像数据。每一传感器105、125可包含布置成阵列的多个传感器(或传感器元件)。图像传感器105、125可经配置以产生单个图像的图像数据,和/ 或可经配置以产生多个图像的图像数据(例如捕获视频数据或一系列单一图像)。传感器 105和125可为个别传感器阵列,或各自可表示传感器阵列的阵列,例如传感器阵列的 3x1阵列。然而,如所属领域的技术人员将理解,所揭示的实施方案中可使用任何合适的传感器阵列。
传感器105、125可安装在衬底150上,如图1A中所示。在一些实施例中,所有传感器可通过安装到平坦衬底150而在一个平面上。衬底150可为任何合适的基本上平坦的材料。中心反射性表面120和透镜组合件115、130也可安装在衬底150上。用于安装一或多个传感器阵列、多个透镜组合件和多个主要和次要反射性或折射表面的多个配置是可能的。
在一些实施例中,中心反射性表面120可用于将来自目标图像场景的光朝传感器105、125再引导。中心反射性表面120可为一个镜或多个镜,且可为平坦的或根据需要成形,以将入射光恰当地再引导到图像传感器105、125。举例来说,在一些实施例中,中心反射性表面120可为大小和形状经设定以将入射光光线反射通过透镜组合件115、 130到达传感器105、125的镜。中心反射性表面120可将包括目标图像的光分裂成多个部分,并在不同传感器处引导每一部分。举例来说,中心反射性表面120(还被称作主要光折叠表面,因为其它实施例可实施折射棱镜而非反射表面)的第一侧122可将所述光的对应于第一视野(FOV)140的部分朝左侧传感器105发送,而第二侧124将所述光的对应于第二FOV 145的第二部分朝右侧传感器125发送。应了解,图像传感器的视野140、 145一起至少覆盖所述目标图像。本发明的实例描述包括两个传感器的实施例,但其它实施例可具有大于两个传感器,例如2、3、4、8或更多(N)个传感器。
在其中接收传感器各自为多个传感器的阵列的一些实施例中,中心反射性表面可由相对于彼此成角度的多个反射表面组成,以便朝向所述传感器中的每一者发送目标图像场景的不同部分。所述阵列中的每一传感器可具有大体上不同的视野,且在一些实施例中,所述视野可重叠。当设计透镜系统时,中心反射性表面的某些实施例可具有复杂的非平面表面以增加自由度。另外,尽管将中心表面论述为反射性表面,但在其它实施例中,中心表面可为折射性的。举例来说,中心表面可为配置有多个小面的棱镜,其中每一小面将包括所述场景的光的一部分朝所述传感器中的一者引导。
在从中心反射性表面120反射离开之后,入射光的至少一部分可传播通过透镜组合件115、130中的每一者。可在中心反射性表面120和传感器105、125和反射表面110、 135之间提供一或多个透镜组合件115、130。透镜组合件115、130可用于使朝每一传感器引导的目标图像的部分对焦。
在一些实施例中,每一透镜组合件可包括一或多个透镜,以及用于使所述透镜在多个不同透镜位置之间移动穿过外壳的致动器。所述致动器可例如为话音线圈电动机(VCM)、微电子机械系统(MEMS)或形状记忆合金(SMA)。透镜组合件可进一步包括用于控制致动器的透镜驱动器。
在一些实施例中,可通过改变每一相机的透镜115、130与对应传感器105、125之间的焦距来实施传统的自动聚焦技术。在一些实施例中,这可通过移动镜筒来实现。其它实施例可通过上下移动移动中心镜或通过调整所述镜相对于透镜组合件的角度来调整焦点。某些实施例可通过在每一传感器上方移动侧镜来调整焦点。此类实施例可允许组合件个别地调整每一传感器的焦点。另外,对于一些实施例,有可能一次改变整个组合件的焦点,例如通过将透镜(如液体透镜)放置在整个组合件上方。在某些实施方案中,可使用计算摄影来改变相机阵列的焦点。
可在中心镜120周围提供与所述传感器相对的多个侧反射性表面,例如反射性表面 110和135。在穿过透镜组合件之后,侧反射性表面110、135(还被称作次要光折叠表面,因为其它实施例可实施折射棱镜而不是反射性表面)可将光(向下,如图1A的定向中所描绘)反射到传感器105、125上。如所描绘,传感器105可位于反射性表面110下面,且传感器125可位于反射性表面135下面。然而,在其它实施例中,所述传感器可在侧反射表面110、135上方,且侧反射性表面可经配置以将光朝上反射(见例如图1B)。侧反射性表面和传感器的其它合适的配置是可能的,其中来自每一透镜组合件的光朝传感器再引导。某些实施例可实现侧反射性表面110、135的移动,以改变相关联传感器的焦点或FOV。
可通过中心镜120的与所述传感器相关联的表面来将每一传感器的FOV 140、145转向到物空间中。可使用机械方法来使所述镜倾斜,和/或移动阵列中的棱镜,使得可使每一相机的FOV转向到物场上的不同位置。这可例如用来实施高动态范围相机,以增加相机系统的分辨率,或实施全光相机系统。每一传感器的(或每一3x1阵列的)FOV的可投影到物空间中,且每一传感器可根据所述传感器的视野捕获部分图像,其包括目标场景的一部分。如图1A中所示,在一些实施例中,相对的传感器阵列105、125的视野 140、145可重叠一定的量。为了减少重叠且形成单个图像,如下文所描述的拼接过程可用于组合来自两个相对传感器阵列105、125的图像。在图1A中所说明的具有较多传感器的实施例中,可组合来自多个传感器的图像,且传感器不必对置,例如对称地或不对称地布置。拼接过程的某些实施例可使用重叠150来识别在将部分图像拼接在一起的过程中的共用特征。在将重叠图像拼接在一起之后,可将经拼接图像裁减到所要的纵横比,例如4:3或1:1,以形成最终图像。在一些实施例中,与每一FOV相关的光学元件的对准经布置以最小化重叠150,使得多个图像形成为单个图像,其中加入所述图像需要最少或不需要图像处理。
图1B说明折叠光学阵列相机100B的另一实施例的横截面侧视图。如图1B中示出,传感器组合件100B包含:一对图像传感器105、125,其各自安装 到衬底150;分别对应于图像传感器105、125的透镜组合件115、130;以及分别定位在图像传感器105、 125的玻璃盖片106、126上方的次要光折叠表面110、135。折射棱镜141的主要光折叠表面122引导来自目标图像场景的光的一部分沿光轴121通过透镜组合件115,再引导离开次要光折叠表面110,穿过玻璃盖片106,且入射到传感器105上。折射棱镜146 的主要光折叠表面124将来自目标图像场景的光的一部分沿光轴123引导通过透镜组合件130,再引导离开次要光折叠表面135,穿过玻璃盖片126,且入射到传感器125上。折叠式光学阵列相机100B说明实施图1A的阵列相机100A的折射棱镜而不是反射性表面的一个阵列相机实施例。折射棱镜141、146中的每一者提供于衬底150中的光圈中,使得主要光引导表面122、124在衬底所形成的平面下方,且接收表示目标图像场景的光。
传感器105、125可安装在衬底150上,如图1B中所示。在一些实施例中,所有传感器可通过安装到平坦衬底150而在一个平面上。衬底150可为任何合适的基本上平坦的材料。衬底150可包含如上文所描述的光圈,以允许入射光穿过衬底150到主要光折叠表面122、124。用于将(一或多个)传感器阵列以及所说明的其它相机组件安装 到衬底 150的多个配置是可能的。
主要光折叠表面122、124可为棱镜表面(如所说明),或可为镜面或多个镜面,且可为平坦的或按需要成形以将入射光恰当地再引导到图像传感器105、125。在一些实施例中,主要光折叠表面122、124可形成为中心反射性元件,如图1A中所说明。中心反射性元件可为例如多个镜或反射性表面的排列,或一棱镜。所述反射性元件可为金字塔形。所述中心镜反射性元件、棱镜或其它反射性表面可将表示目标图像的光分裂成多个部分,且在不同传感器处引导每一部分。举例来说,主要光折叠表面122可将光的对应于第一FOV的部分朝左侧传感器105发送,而主要光折叠表面124将所述光的对应于第二FOV的第二部分朝右侧传感器125发送。在其中接收传感器各自为多个传感器的阵列的一些实施例中,光折叠表面可由相对于彼此成角的多个反射性表面组成,以便朝所述传感器中的每一者发送目标图像场景的不同部分。应了解,相机的视野一起覆盖至少目标图像,且可在捕获之后对准和拼接在一起,从而形成由所述阵列的合成光圈捕获的最终图像。所述阵列中的每一传感器可具有大体上不同的视野,且在一些实施例中,所述视野可重叠。
其它实施例可组合图1A和1B所说明的反射性和折射性元件。举例来说,在一些实施例中,主要光折叠表面可为反射性的,而次要光折叠服务是折射性的,且反之亦然。
如图1A和1B所说明,每一阵列相机具有总高度H。在一些实施例中,总高度H 可大约为4.5mm或更小。在其它实施例中,总高度H可大约为4.0mm或更小。尽管未说明,但可在具有大约为4.5mm或更小或大约为4.0mm或更小的对应内高度的外壳中提供整个阵列相机100A、100B。
如本文所使用,术语“相机”是指图像传感器、透镜系统和若干对应光折叠表面,例如主要光折叠表面124、透镜组合件130、次要光折叠表面135和传感器125,如图1 中所说明。折叠式光学多传感器阵列,被称作“阵列”或“阵列相机”可在各种配置中包含多个此类相机。阵列配置的一些实施例在2013年3月15日申请且标题为“使用折叠式光学器件的多相机系统”的第2014/0111650号美国申请公开案中揭示,所述公开案的揭示内容特此以引用的方式并入。将得益于本文所描述的自动对焦系统和技术的其它阵列相机配置是可能的。
图2描绘具有包含链接到一或多个相机215a到n的图像处理器220的一组组件的装置200的高级框图。图像处理器220还与工作存储器205、存储器组件230和装置处理器250通信,所述工作存储器205、存储器组件230和装置处理器250又与存储装置 210和电子显示器225通信。
装置200可为手机、数码相机、平板计算机、个人数字助理或类似者。存在其中例如本文所描述的降低厚度的成像系统将提供优点的许多便携式计算装置。装置200还可为静止计算装置或其中较薄成像系统将有利的任何装置。在装置200上有多个应用程序可供用户使用。这些应用程序可包含传统摄影和视频应用程序、高动态范围成像、全景照片和视频,或例如3D图像或3D视频等立体成像。
图像捕获装置200包含用于捕获外部图像的相机215a到n。相机215a到n可各自包含传感器、透镜组合件以及用于将目标图像的一部分再引导到每一传感器的主要和次要反射性或折射性表面,如上文相对于图1所论述。大体来说,可使用N个相机215a 到n,其中N≥2。因此,目标图像可分裂成N个部分,其中N个相机的每一传感器根据所述传感器的视野来捕获目标图像的一个部分。将理解,相机215a到n可包括适合实施本文所述的折叠式光学成像装置的任何数目的相机。可增加传感器的数目,以实现系统的较低z高度,如下文相对于图4较详细论述,或符合其它目的的需要,例如具有类似于全光相机的视野的重叠视野,这可实现在后处理之后调整所述图像的焦点的能力。其它实施例可具有适合于高动态范围相机的FOV重叠配置,其实现捕获两个同时的图像且接着将其合并在一起的能力。相机215a到n可耦合到图像处理器220,以将所捕获的图像传送到工作存储器205、装置处理器250,传送所述电子显示器225,且传送到存储装置(存储器)210。
图像处理器220可经配置以对包括目标图像的N个部分的所接收的图像数据执行各种处理操作以便输出高品质经拼接图像,如将在下文更详细地描述。图像处理器220可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如空间图像滤波)、透镜假象或疵点校正等。在一些实施例中,图像处理器220 可包括多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器220 可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。
如所示出,图像处理器220连接到存储器230和工作存储器205。在所说明的实施例中,存储器230存储捕获控制模块235、图像拼接模块240和操作系统245。这些模块包含配置装置处理器250的图像处理器220以执行各种图像处理和装置管理任务的指令。工作存储器205可由图像处理器220使用来存储包含于存储器组件230的模块中的处理器指令的工作集合。或者,工作存储器205还可由图像处理器220使用,以存储装置200的操作期间创建的动态数据。
如上所提到,图像处理器220由存储在存储器中的若干模块来配置。捕获控制模块235可包含配置图像处理器220以调整相机215a到n的聚焦位置的指令。捕获控制模块 235可进一步包含控制装置200的总体图像捕获功能的指令。举例来说,俘获控制模块 235可包含指令,其调用子例程以配置图像处理器220来使用相机215a到n捕获目标图像场景的原始图像数据。捕获控制模块235接着可调用图像拼接模块240以对由相机 215a到n捕获的N个部分图像执行拼接技术,且将经拼接和裁剪的目标图像输出到成像处理器220。捕获控制模块235还可调用图像拼接模块240以对原始图像数据执行拼接操作,以便输出待捕获的场景的预览图像,且以特定时间间隔或在原始图像数据中的场景改变时更新预览图像。
图像拼接模块240可包括配置图像处理器220以对所捕获的图像数据执行拼接和裁剪技术的指令。举例来说,N个传感器215a到n中的每一者可根据每一传感器的视野来捕获包括目标图像的一部分的局部图像。所述视野可共享重叠区域,如上文和下文所描述。为了输出单个目标图像,图像拼接模块240可配置图像处理器220以组合多个N 个局部图像以产生高分辨率目标图像。目标图像产生可通过已知图像拼接技术而发生。
举例来说,图像拼接模块240可包含用以针对匹配特征比较沿着N个局部图像的边缘的重叠区域以便确定所述N个局部图像相对于彼此的旋转和对准的指令。归因于每一传感器的FOV的局部图像和/或形状的旋转,组合图像可形成不规则形状。因此,在对准且组合N个局部图像之后,图像拼接模块240可调用子例程,其配置图像处理器220 以将组合图像裁剪到所需形状和纵横比,例如4:3矩形或1:1正方形。可将经裁剪的图像发送到装置处理器250,以用于在显示器225上显示,或用于存储装置210中的节省。
操作系统模块245配置图像处理器220以管理装置200的工作存储器205和处理资源。举例来说,操作系统模块245可包含装置驱动器以管理例如相机215a到n等硬件资源。因此,在一些实施例中,上文所论述的图像处理模块中包含的指令可不与这些硬件资源直接交互,而是经由位于操作系统组件270中的标准子例程或API交互。操作系统245内的指令可接着与这些硬件组件直接交互。操作系统模块245可进一步配置图像处理器220以与装置处理器250共享信息。
装置处理器250可经配置以控制显示器225以向用户显示所捕获图像或所捕获图像的预览。显示器225可在成像装置200外部或可为成像装置200的一部分。显示器225 还可经配置以提供显示预览图像以供在俘获图像之前使用的视图查找器,或可经配置以显示存储在存储器中或最近由用户捕获的所捕获图像。显示器225可包括LCD或LED 屏幕,且可实施触敏式技术。
装置处理器250可将数据写入到存储模块210,例如表示所捕获图像的数据。虽然存储模块210以图形方式表示为传统磁盘装置,但所属领域的技术人员将理解,存储模块210可经配置为任何存储媒体装置。举例来说,存储模块210可包含磁盘驱动器,例如,软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器,或固态存储器,例如快闪存储器、RAM、ROM和/或EEPROM。存储模块210还可包含多个存储器单元,且存储器单元中的任一者可经配置以处于图像捕获装置200内,或可在图像捕获装置200的外部。举例来说,存储模块210可包含含有存储在图像捕获装置200内的系统程序指令的 ROM存储器。存储模块210还可包含经配置以存储所捕获图像的存储卡或高速存储器,其可从相机装卸。
尽管图2描绘具有单独组件以包含处理器、成像传感器和存储器的装置,但所属领域的技术人员将认识到,这些单独组件可用多种方式组合以便实现特定的设计目标。举例来说,在替代实施例中,存储器组件可与处理器组件组合以节省成本且改进性能。
另外,尽管图2说明两个存储器组件,包含包括若干模块的存储器组件230以及包括工作存储器的单独存储器205,但所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说,一种设计可利用ROM或静态RAM存储器来存储实施存储器组件230中所含有的模块的处理器指令。可将处理器指令加载到RAM中以促进由图像处理器220执行。举例来说,工作存储器205可包括RAM存储器,其具有在由图像处理器220执行之前被加载到工作存储器205中的指令。
III.无视差和倾斜假影的折叠式光学阵列相机的概述
图3A是说明根据一些实施例的无视差阵列相机300A中的相机310A、310B、310C 以及镜平面312A、312B、312C位置的示意图。阵列及其对应透镜(以及可能的额外光折叠表面)的传感器在本文中被称作“相机”,且所述阵列中的所有相机的协作在本文中被称作“虚拟相机”。在无视差阵列相机设计原理的以下描述中,可将相机建模为点,即其相关联透镜组合件的投影中心,所述投影中心可位于xyz空间中的任何地方。相机阵列由此类投影中心的阵列建模。
虚拟相机是相机从其捕获图像的位置,例如由310A捕获的图像,表现为在尚未使用光学折叠(例如使用镜的反射)的情况下已捕获。在物理上由多个折叠式光学相机形成的无视差阵列中,所有虚拟相机合并成一个具有相同投影中心的单个虚拟相机,图3A 和3B中示出为点V。所述阵列的每一个别相机可具有潜在不同的注视方向,即相机的光轴的方向或对准,其有时被称作倾斜。本文所述的用于成型无视差阵列相机的空间关系的要点在于可通过将投影变换应用于所捕获图像数据来在计算上改变每一虚拟相机的有效倾斜(例如对应图像中的倾斜的外观)。在应用恰当的投影变换和裁剪之后将所述图像拼接在一起通过使用从所述阵列的多个相机接收到的数据而产生单个图像,目标场景的合成图像。此单个图像看起来像是其被投影中心在点V处的单个虚拟相机捕获,在本文中被称作虚拟相机。因此,如本文所述的无视差阵列的虚拟相机实际上是复合虚拟相机,且多个虚拟相机的组合物合并成单个点。如本文所使用的虚拟相机还可为通过变换、裁剪和拼接所述个别图像的计算合成的结果,所述个别图像各自由所述阵列的多个相机中的一者捕获。
在图3A和3B中,相机310B、310C、310E和310F各自建模为表示所述相机在xyz 空间中的投影中心的点。举例来说,真实相机具有在空间中具有某一位置的入射光瞳。所述光瞳的中心在本文中被称作相机的投影中心,且至少部分地由透镜组合件的光学器件确定。投影中心可能不是相机的物理光圈归因于透镜组合件的光学器件而位于其中的位置,且光学投影中心所位于的真实位置是光瞳的中心所位于的位置。随着相机围绕此点(其投影中心)旋转,所捕获的图像如同计算投影变换的应用那样变换。图3A和3B所说明的示意图是抽象:注视方向和相机的焦距对于无视差成像来说不是必要的,因为此类方面可在后来的步骤(例如计算上)通过投影变换来校正。由此,在此一般处理中,仅通过投影中心来说明相机310B、310C、310E和310F的抽象。使用投影中心来表示相机起到如下目的:实现将相机阵列设计成形成无视差图像。相机的真实注视和焦距对于成像的其它方面来说是重要的,但可根据无视差阵列相机的各种实施例的需要来改变这些方面的特殊性。
将虚拟相机V和相机310A、310D分别说明为以在表示虚拟相机V和相机310A、 310D中的每一者的投影中心的点为中心的框图。如图3A的实施例中所示,对于薄相机,如上文所描述,相机阵列位于薄相机的水平面305内(或至少大致上位于其中)。出于此论述的目的而任意选择术语“水平”,例如参看图3A和3B。将镜平面312A到312E说明为具有边界,然而所述平面无限延伸,且实际镜位置可在由312A到312E表示的平面内的任何地方。在一些实施例中,镜面表面可成角度地连接,以形成具有顶点的反射性元件,例如位于或大约位于沿虚拟相机V的光轴321的点P处。在其它实例中,所述顶点可位于沿虚拟相机V的光轴321的其它点处。尽管主要在镜平面和对应的镜面表面方面进行论述,但在一些实施例中,还可使用平面312A、312B、312C来定位折射棱镜的光引导小面。
图3A说明阵列相机的水平面305中的三个相机310A、310B、310C,且图3B说明水平面305中的三个相机310D、310E、310F。在所说明的实施例中示出,图3A中的每一相机310A、310B、310C可定位成使得FOV的中心指向(或大约指向)中心位置P,如由相机310A的光轴311A所说明。在图3B中,将相机310D、310E和310F描绘为水平指向中心位置P。每一相机310D、310E、310F可定位成大致朝位于对应于相机310D、 310E、310F的镜平面312D、312E、312F中的镜330(仅参考相机310D和镜平面312D 所说明)“看”(如由相机310D的光轴311B所说明)。换句话说,每一相机310D、310E、 310F的所投影FOV的光轴可朝镜定位。在两个配置300A、300B中,对应的镜再引导(或折叠)每一相机310A到F的所投影光轴以及因此相机所接收到的光(或光线的锥形),使得所有相机310A到F在光学上在沿虚拟光轴321的垂直于平面305的方向上(或大体上在此方向上)看(考虑所述光的折叠)。换句话说,每一相机310A到F的所投影FOV的中心轴可沿着虚拟光轴321,以接收从目标场景传播的光。
然而,其中相机正在看(其光轴的对准)的方向可为可变化同时仍遵守本文所述的无视差空间关系的设计参数。存在将在特定设计中考虑的折衷,例如每一相机的注视方向,以及每一相机的投影中心的位置(例如其距中心点P的距离以及)、每一相机的焦距、阵列中的相机的数目,以及所述阵列是否应对称。图3A和3B的无视差设计原理的此一般性允许较大的设计自由,且捕获所有类别的阵列相机配置。因此,取决于这些无视差原理的特定实施方案,不是来自位于平面312A到312F中的镜的所有光均可入射在相关联的相机310A到310F上,然而此设计的益处在于其提供无视差图像。
因此,尽管将图3A的光轴311A说明为“看”点P或与点P对准,但不要求相机的光轴看点P。在其它实例中,光轴可看线321上在P与Z之间的任一点,或在其它实例中,可在某一其它方向上看。类似地,图3B的光轴311B,示出为大约指向中心镜330,可指向其它方向,例如在由相机的多个镜形成的镜反射性元件的顶点处。阵列300A中具有与点P对准的光轴的相机,如同所说明的轴311A,可围绕其投影中心旋转,来看沿线321的稍低的点P,而不物理上旋转实际相机,例如通过借助于从所述相机取原始图像、应用投影变换且接着裁剪所述图像进行的计算。此类计算旋转可容易地以数字方式处置(在某些实际限制内,例如大约10度)。本文所述的无视差成像的一般模型因此考虑不具有任何特定检视方向的相机,且例如仅提供实例光轴311A和311B。
如图3A和3B中所示的无视差设计原理被配置成使得在从位于镜平面312A到312C以及312D到312F内的某处的镜反射之后,相机310A到310C以及310D到310F的所有投影中心看起来是从一个(或单个)虚拟中心V投影。
在图3A的实施例300A中,虚拟相机投影中心V位于水平面305下方,使得相机310A、310B、310C协作以捕获图像,看起来沿光轴321向上看到水平面305上方的图像空间中,其中下方和向上是任意选择的术语来指代相机310A、310B、310C的相对位置,虚拟相机投影中心V以及图像空间,且无意限定实际相机在真实空间中的定位或定向。在根据图3A中所说明的原理建构的真实相机的一些实例中,位于平面312A、312B、 312C内的实际镜可相交,以形成其顶点位于其基座上方的反射性元件。举例来说,所述顶点可位于点P处,且反射性元件的基座可位于沿朝向虚拟相机V的光轴321的某处。
图3B的实施例300B表示宽FOV阵列相机。虚拟相机投影中心V位于水平面305 上方,使得相机310D、310E、310F协作以捕获宽FOV图像,看起来远离光轴321朝外看到水平面305周围的图像空间中,其中下方和向上是任意选择的术语来指代相机 310D、310E、310F的相对位置,虚拟相机投影中心V以及图像空间,且无意限定实际相机在真实空间中的定位或定向。在根据图3B中所说明的原理建构的真实相机的一些实例中,位于平面312D、312E、312F内的实际镜(例如平面312D中的镜330)可相交,以形成其顶点位于其基座下方的反射性元件。举例来说,所述顶点可位于点P处,且反射性元件的基座可位于沿朝向虚拟相机V的光轴321的某处。
由此,与用于实施例300A的反射反射性元件相比,用于宽FOV实施例300B的反射反射性元件是倒置式的。另外,当阵列300A“看”沿光轴321定位的图像时,阵列 300B“看”围绕轴321沿圆周定位的空间的180度全景图像,但看不到阵列300A所看到的中心图像场景。在一些实施例中,设计300A和300B可组合以形成捕获完整的半球形视野的相机。
为了根据图3A中所说明的无视差设计原理来设计或建构无视差的阵列相机,可将点V(虚拟相机的投影中心)定位在阵列相机300A的水平面305下方的任何地方。设计者或制造商可接着设定或识别相机310A、310B、310C的位置,且接着定义将每一相机的投影中心与所述虚拟相机的投影中心连接的线313A、313B、313C。接下来,设计者或制造商可定位每个区段313A、313B、313C的中间314A、314B、314C,并将镜的平面 312A、312B、312C放置在中间或大体上放置在中间314A、314B、314C处,或与所述区段正交或大体上正交。
为了根据图3B中所说明的无视差设计原理来设计或建构无视差的阵列相机,设计者或制造商可将点V(虚拟相机的投影中心)定位在阵列相机300B的水平面305下方的任何地方。设计者或制造者可接着设定或识别相机310D、310E、310F的位置,且接着产生将每一相机的投影中心与所述虚拟相机的投影中心连接的线313D、313E、313F。接下来,设计者或制造商可定位每个区段313D、313E、313F的中间314D、314E、314F,并将镜的平面312D、312E、312F放置在中间314D、314E、314F处,并与所述区段正交。如图3B中所示,可将镜330放置在其对应平面312D中的任何地方。
尽管将每一平面312A到312F说明为具有边界,但理论上,平面是无限的,且设计者可根据特定相机构建的需要来选择镜在其对应平面内的适当大小和位置,例如以防止重叠镜、相机视野的阻挡等。来自那些镜的反射将每一投影中心(在此情况下,相机310A 到310F的投影中心)发送到薄相机300A、300B的相同虚拟投影中心V。这确保了相机的视野之间的所得经拼接图像中无视差或大体上无视差。
在一些实施例中,位于平面312A到312C以及312D到312F内的镜可经布置以形成反射性元件。举例来说,平面312A到312C可从所说明的边界向外延伸,直到其相交以形成顶点在具有向下和向外倾斜的镜面小面的点P处或附近的反射性元件。作为另一实例,平面312D到312F可从所说明的边界向外延伸,直到其相交以形成顶点在具有向上和向外倾斜的镜面小面的点P处或附近的反射性元件。由此,与用于实施例300A的反射反射性元件相比,用于实施例300B的反射反射性元件是倒置式的。因此,镜无需位于针对平面312A到312F所示的位置中,且实际镜不必沿线313A到313F定位,或含有中点314A到314F,但实际上可位于无限延伸平面中的任何地方。
图3A和3B中所说明的实例包含三个相机,然而无视差设计原理对任何数目的相机起作用。个别相机的确切检视方向与视差问题无关,而是与效率和倾斜假影等有关。从相机的不同检视方向产生的图像中的此类变形可用所述事实之后应用的众所周知的投影变换以数字方式撤消。此校正对于无限小的光圈来说是准确的且对于小有限光圈(例如移动装置(例如手机、平板计算机等)的成像系统中可通常使用的光圈)来说大致为准确的。投影变换校正可通过应用适当的投影变换(其在给定镜平面和相机的定位的情况下实际上是预定义的),来去除所有或大体上所有倾斜假影。
在一些薄相机实施方案中,所述阵列的所有相机可定位在薄相机模块或相机外壳的水平面内(或物理上在其内部)。然而,在其它实施例中相机不必位于水平面305中。举例来说,对于球面相机或对于自由“中心的3D云”相机布置,所述相机不必位于水平面内。在一些阵列摄像机实施例中,相机的布置可为对称或大体上对称的,使得所有镜平面具有一个共用相交点。如果此点存在,那么其为图中,如图3A和3B中所表示的P。所述多个镜可形成具有顶点P的反射性元件。如本文所使用,术语金字塔或反射性元件可指代具有若干小面的任何三维形状,所述小面各自从基座以角度向上延伸,其中一些或所有小面在顶点P处会合。在其它情况下,可能不存在所有镜共用的点。然而,所描述的实施例中,本设计无(或大体上无)视差假影,因为所有虚拟相机(在折叠之后的真实相机的图像)不管定向如何,均从共用虚拟投影中心V看世界。如本文所使用,虚拟投影中心是指阵列中的所有相机的所投影视野(FOV)视锥看起来源自其中的虚拟相机位置的中心投影,即使是在入射光的再引导或折叠之后(例如,通过镜或折射棱镜)。
如果对称性不足,那么阵列相机设计在产生无视差图像时,仍可显示不正确的离焦模糊假影。可创建离焦模糊核心,以便至少部分地补偿来自从所有相机光圈/镜合成的共用光圈的离焦模糊。如果从位置V的视图中的某些位置或方向存在间隙和不规律性,那么模糊将看起来不自然。这是归因于真实个别相机实际上不是点的事实,但光圈各自表示在3D空间中具有定向的表面的区域。然而,在一些实施方案中,具有不足对称性的设计仍可用于捕获几乎完全对焦的场景的良好质量图像,或如果不存在特别靠近阵列相机的物体,例如距相机从大约20cm到大约50cm。
图4A到4C说明根据图3A和3B中所说明的无视差设计原理来设计的阵列相机400的实施例。图4A说明具有两个相机410A、410B的阵列。相机410A、410B各自具有大约20度的检视角度,从而针对组合式阵列相机400产生大约26度的有效检视角度。相机410A、410B看起来从同一清楚来源450捕获图像数据。每一相机410A、410所观察到的视图420A、420B以蓝色短划线突出显示。为清楚起见,相机410A、410B中未说明透镜组合件和次要反射或反射表面。在一些实施例中,在初始反射或折射之后,相机410A、410B的传感器可与光对准,然而在其它实施例中,可使用次要反射性或折射性表面,例如为了通过将相机410A、410B的传感器放入共用平面内或大体上放入共用平面内,来减小阵列的总高度。
图4B说明图4A的相机410A的检视角度420A以及镜表面415A的设计参数的一个实例。为了实现合成光圈的60度的有效检视角度(阵列400中的相机410A、410B的所有视图的总和),个别相机410A、410B各自应具有拥有至少约48度的检视角度420A、 420B的FOV。图4C说明用以实现60度检视角度的图4A的相机410A、410B的检视角度420A、420B和镜表面415A、415B两者的设计参数的实例。
图5A和5B说明根据图3A和3B中所说明的无视差设计原理来设计的四相机610A 到610D阵列相机600的实施例。图5A说明通过对单个相机的FOV关于两个平面的镜像处理来创建四相机610A到610D阵列相机600的等角视图。为清楚起见,相机610A 到610D中未说明透镜组合件和次要反射或反射表面。在一些实施例中,在初始反射或折射之后,相机610A到610D的传感器可与光对准,然而在其它实施例中,可使用次要反射性或折射性表面,例如为了通过将相机610A到610D的传感器放入共用平面内或大体上放入共用平面内,来减小阵列的总高度。视锥625A到625D是如由相机610A 到610D的透镜看到的FOV的视锥。视锥630A、630C、630D(注意:为了图的清楚起见,未说明视锥630B)是如由相机610A到610D的传感器看到的FOV的视锥。
如由上文相对于图3A和3B所述的无视差设计参数指定的镜平面312D到312F(在图3B中说明,且在图5B中大体说明为镜平面615)的位置部分地决定最终图像的形状,以及相机610A到610D所捕获的图像之间的重叠量(定位在镜平面615内的反射性表面的角度也是因素)。
如由上文相对于图3A和3B所述的无视差设计参数指定的镜平面312D到312F(在图3B中说明,且在图5A中大体说明为镜平面615)的位置部分地决定最终图像的形状,以及相机610A到610D所捕获的图像之间的重叠量(定位在镜平面615内的反射性表面的角度也是因素)。
如所说明,归因于每一相机610A到610D的FOV的偏斜,检视区域620A到620D 之间存在重叠。将所说明的四相机阵列相机600设计成所述相机的FOV之间不具有相当大的重叠,然而在一个实施例中,这可通过使邻近相机围绕其光轴旋转来实现,因为所述相机的光轴存在于同一平面内。对于邻近相机,归因于所述相机的FOV的偏斜,部分地存在重叠。此重叠可大于所示出的重叠且可偏斜,因为左相机的重叠区域实际上是从右相机的镜表面反射的,且反之亦然。
在一些实施例中,可通过使邻近相机朝虚拟光轴旋转直到它们返回到未旋转位置中为止,来产生邻近相机之间的重叠。然而,将相机放置成彼此平行可导致重叠随着物距增加而增加,而不重叠区域将不在增加的物距处增加(重叠百分比将接近100%),并且因此在某些实施例中可能不是可采用的解决方案。使相机稍微朝中心线旋转来产生一些重叠可在每一方向上导致大约10度的重叠。然而,取决于每一相机的大小和相对定位以及所述阵列的高度限制,可能不存在足够的空间可供并排放置两个旋转的相机。
图6说明根据图3A和3B中所说明的无视差设计原理来设计的阵列相机1000的实施例。图6的相机是通过扩展四相机阵列相机以包含额外的两个相机和两个镜面表面来建构的六相机910A到910F阵列相机。在此实施例中,相机910A到910F可归因于空间限制而旋转。
IV.实例图像捕获过程的概述
图7说明折叠光学图像捕获过程900的实施例。过程900开始于框905,其中提供多个成像传感器组合件。此框包含上文相对于先前图像所论述的传感器阵列配置中的任一者,其中传感器和相关联的光折叠表面是根据本文所揭示的无视差设计概念来布置的。如上文所论述,所述传感器组合件可包含定位成将来自透镜系统的光再引导到传感器上的传感器、透镜系统和折射性或反射性表面。过程900接着移动到框910,其中将至少一个折射性或反射性表面安装 成接近于所述多个图像传感器。举例来说,此框可包括将中心镜反射性元件安装 在传感器阵列的两行之间,其中所述中心镜反射性元件包括与所述阵列中的每一传感器相关联的表面。
过程900接着转到框915,其中包括使场景的目标图像的光从至少一个反射性表面朝成像传感器反射回来。举例来说,所述光的一部分可由多个表面中的每一者朝所述多个传感器中的每一者折射或反射回来。此框可进一步包含使光穿过与每一传感器相关联的透镜组合件,且还可包含将离开第二表面的光反射到传感器上。框915可进一步包括使用透镜组合件或通过所述反射性表面中的任一者的移动来聚焦所述光。
过程900接着可移动到框920,其中传感器捕获目标图像场景的多个图像。举例来说,每一传感器可捕获场景的对应于所述传感器的视野的一部分的图像。所述多个传感器的视野一起覆盖物空间中的至少所述目标图像。尽管未说明,但可将投影变换应用于所捕获图像中的一些或全部,以便以数字方式旋转用以捕获所述图像的相机的光轴。
过程900接着可转变到框925,其中执行图像拼接方法以从所述多个图像产生单个图像。在一些实施例中,图2的图像拼接模块240可执行此框。这可包含已知图像拼接技术。另外,视野中的任何重叠区域可产生所述多个图像中的重叠,其可用于在拼接过程中使所述图像对准。举例来说,框925可进一步包含识别邻近图像的重叠区域中的共同特征且使用所述共同特征来对准图像。
接下来,过程900转变到框930,其中拼接的图像按指定纵横比(例如4:3或1:1)裁剪。最后,过程在框935处存储经裁剪的图像之后结束。举例来说,图像可存储在图2 的存储装置210中,或可存储在图2的工作存储器205中以用于显示为目标场景的预览图像。
V.实施系统和术语
本文所揭示的实施方案提供用于无视差和倾斜假影的多个光圈阵列相机的系统、方法和设备。所属领域的技术人员将认识到,这些实施例可用硬件、软件、固件或其任何组合来实施。
在一些实施例中,可在无线通信装置中利用上文所论述的电路、过程和系统。无线通信装置可为用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板计算机装置等。
无线通信装置可包含:一或多个图像传感器;两个或更多个图像信号处理器;一个存储器,其包含用于实施上文所论述的过程的指令或模块。装置也可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如,显示装置)和电源/接口。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。
无线通信装置可无线地连接到另一电子装置(例如,基站)。无线通信装置或者可被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。通信装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准来操作。因此,通用术语“无线通信装置”可包含根据业界标准以变化的命名法来描述的无线通信装置(例如,接入终端、使用者设备(UE)、远端终端等)。
可将本文中所描述的功能作为一或多个指令而存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。作为实例而非限制,此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和
Figure BDA0002246078960000201
光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。应注意,计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器,其与可由计算装置或处理器执行、处理或计算的代码或指令(例如,“程序”)组合。如本文中所使用,术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
还可通过传输媒体来传输软件或指令。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如,红外线、无线电和微波)从网站、服务器或其它远程源传输软件,那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如,红外线、无线电和微波)包含在传输媒体的定义中。
本文中所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不偏离所附权利要求书的范围的情况下,方法步骤和/或动作可彼此互换。换句话说,除非正描述的方法的适当操作需要步骤或动作的特定次序,否则,在不脱离所附权利要求书的范围的情况下,可修改特定步骤和/或动作的次序和/或使用。
应注意,如本文中所使用,术语“耦合”、“正耦合”、“经耦合”或词语耦合的其它变化可指示间接连接或者直接连接。举例来说,如果第一组件“耦合”到第二组件,那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用,术语“多个”指示两个或多于两个。举例来说,多个组件指示两个或多于两个组件。
术语“确定”涵盖各种各样的动作,且因此“确定”可包含计算、估计、处理、导出、调查、查找(例如,在表、数据库或另一数据结构中查找)、查实等。并且,“确定”可包含接收(例如,接收信息)、存取(例如,在存储器中存取数据)等。并且,“确定”可包含解析、选择、挑选、建立等等。
除非以其它方式明确地指定,否则短语“基于”并不意味着“仅基于”。换句话说,短语“基于”描述“仅基于”与“至少基于”两者。
在以下描述中,给出特定细节以提供对实例的透彻理解。然而,所属领域的技术人员将理解,可在没有这些具体细节的情况下实践所述实例。举例来说,可在框图中示出电组件/装置,以免用不必要的细节混淆所述实例。在其它实例中,可详细示出此些组件、其它结构和技术以进一步解释所述实例。
本文中包含数个标题,是为了参考和辅助定位各个部分。这些标题无意限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。
还应注意,可将所述实例描述成过程,所述过程被描绘成流程图表、流程图、有限状态图、结构图或框图。虽然流程图表可将操作描述成循序过程,但许多操作可并行或同时执行,并且所述过程可重复。另外,可重新排列操作的顺序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时,过程的终止对应于功能返回到调用功能或主功能。
提供对所揭示实施方案的先前描述以使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改,且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此,本发明无意限于本文中所示的实施方案,而是将被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。

Claims (1)

1.一种用于捕获目标场景的图像的系统,所述系统包括:
多个相机的阵列,其经定位以捕获表示所述目标场景的多个部分的图像数据,所述阵列具有共用的虚拟投影中心;
所述多个相机中的每一者经定位以捕获所述图像数据的表示所述目标场景的所述多个部分中的各部分的一部分图像数据,且所述多个相机中的每一者包括:
图像传感器;
透镜组合件,其包括至少一个透镜,所述透镜组合件具有投影中心;以及
第一反射性表面,其经定位以将表示所述目标场景的所述多个部分中的一者的入射光朝所述透镜组合件反射,所述第一反射性表面提供于平面内,所述平面位于沿着将所述透镜组合件的所述投影中心与所述虚拟投影中心相连接的线的中点,且以一角度与所述线正交;
表面,其位于所述阵列与所述目标场景之间,所述表面包括光圈,所述光圈经定位以允许表示所述目标场景的光传递到所述多个相机中的每一者的所述第一反射性表面;
处理器;以及
存储器,其存储指令,所述指令配置所述处理器以至少部分地基于包含所述目标场景的所述多个部分中的每一者的所述图像数据,产生所述目标场景的所述图像;
其中所述多个相机中的每一者的所述图像传感器位于共用平面内。
CN201911017210.0A 2014-06-20 2015-05-29 使用无视差假影的折叠式光学器件的多相机系统 Active CN110647000B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015316P 2014-06-20 2014-06-20
US62/015,316 2014-06-20
US14/611,045 2015-01-30
US14/611,045 US9386222B2 (en) 2014-06-20 2015-01-30 Multi-camera system using folded optics free from parallax artifacts
CN201580029826.3A CN106462036B (zh) 2014-06-20 2015-05-29 使用无视差假影的折叠式光学器件的多相机系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580029826.3A Division CN106462036B (zh) 2014-06-20 2015-05-29 使用无视差假影的折叠式光学器件的多相机系统

Publications (2)

Publication Number Publication Date
CN110647000A CN110647000A (zh) 2020-01-03
CN110647000B true CN110647000B (zh) 2021-06-01

Family

ID=54870825

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580029826.3A Active CN106462036B (zh) 2014-06-20 2015-05-29 使用无视差假影的折叠式光学器件的多相机系统
CN201911017210.0A Active CN110647000B (zh) 2014-06-20 2015-05-29 使用无视差假影的折叠式光学器件的多相机系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580029826.3A Active CN106462036B (zh) 2014-06-20 2015-05-29 使用无视差假影的折叠式光学器件的多相机系统

Country Status (9)

Country Link
US (2) US9386222B2 (zh)
EP (1) EP3158394B1 (zh)
JP (1) JP2017524968A (zh)
KR (1) KR20170022998A (zh)
CN (2) CN106462036B (zh)
BR (1) BR112016029625A2 (zh)
CA (1) CA2951263A1 (zh)
ES (1) ES2841402T3 (zh)
WO (1) WO2015195296A2 (zh)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US10924668B2 (en) * 2011-09-19 2021-02-16 Epilog Imaging Systems Method and apparatus for obtaining enhanced resolution images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
US9857568B2 (en) 2013-07-04 2018-01-02 Corephotonics Ltd. Miniature telephoto lens assembly
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10288840B2 (en) 2015-01-03 2019-05-14 Corephotonics Ltd Miniature telephoto lens module and a camera utilizing such a lens module
DE102016200285A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016204148A1 (de) * 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
US9986223B2 (en) 2016-06-08 2018-05-29 Qualcomm Incorporated Folded optic passive depth sensing system
US9967547B2 (en) 2016-06-08 2018-05-08 Qualcomm Incorporated Wafer level optics for folded optic passive depth sensing system
WO2018027182A1 (en) * 2016-08-04 2018-02-08 Epilog Imaging Systems Method and apparatus for obtaining enhanced resolution images
WO2018053486A1 (en) * 2016-09-19 2018-03-22 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
US10748319B1 (en) 2016-09-19 2020-08-18 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
US10178026B2 (en) 2016-09-27 2019-01-08 Gigamon Inc. Flexible inline arrangements for guiding traffic through network tools
KR102558474B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
EP3553580A1 (en) 2017-02-23 2019-10-16 Corephotonics Ltd. Folded camera lens designs
US10748333B2 (en) * 2017-03-23 2020-08-18 Nvidia Corporation Finite aperture omni-directional stereo light transport
US11106018B2 (en) 2017-07-07 2021-08-31 Corephotonics Ltd. Folded camera prism design for preventing stray light
IL314519A (en) 2017-07-23 2024-09-01 Corephotonics Ltd Compact folded lenses with a large entry key
CN107870411A (zh) * 2017-11-15 2018-04-03 东莞市骏智机电科技有限公司 一种基于视觉定位技术的点胶机双向视觉识别装置
US10969652B2 (en) 2018-01-10 2021-04-06 Apple Inc. Camera with folded optics having moveable lens
JP2019128517A (ja) * 2018-01-26 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
US11092773B2 (en) 2018-01-26 2021-08-17 Apple Inc. Folded camera with actuator for moving optics
US11061213B2 (en) 2018-02-07 2021-07-13 Apple Inc. Folded camera
KR20220156109A (ko) 2018-03-02 2022-11-24 코어포토닉스 리미티드 미광을 완화시키기 위한 스페이서 설계
WO2019220255A1 (en) 2018-05-14 2019-11-21 Corephotonics Ltd. Folded camera lens designs
US11314147B1 (en) 2018-05-31 2022-04-26 Apple Inc. Folded camera with actuator for moving optics
CN114615399A (zh) 2019-01-03 2022-06-10 核心光电有限公司 双重相机
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11310405B2 (en) 2019-02-25 2022-04-19 Corephotonics Ltd. Multi-aperture cameras with at least one two state zoom camera
CN110233914A (zh) * 2019-04-25 2019-09-13 维沃移动通信有限公司 一种终端设备及其控制方法
CN110196232B (zh) * 2019-06-03 2021-11-26 中北大学 一种共焦成像装置及共焦成像方法
JP7240261B2 (ja) * 2019-06-05 2023-03-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN114578518A (zh) 2019-08-21 2022-06-03 核心光电有限公司 镜头组件
US12072609B2 (en) 2019-09-24 2024-08-27 Corephotonics Ltd. Slim pop-out cameras and lenses for such cameras
US11656538B2 (en) 2019-11-25 2023-05-23 Corephotonics Ltd. Folded zoom camera module with adaptive aperture
KR102677382B1 (ko) * 2020-01-07 2024-06-24 삼성전자 주식회사 전자 기기의 이미지 아티팩트 처리 방법 및 장치
US11689708B2 (en) 2020-01-08 2023-06-27 Corephotonics Ltd. Multi-aperture zoom digital cameras and methods of using same
CN111416948A (zh) * 2020-03-25 2020-07-14 维沃移动通信有限公司 一种图像处理方法及电子设备
US11875544B2 (en) 2020-04-30 2024-01-16 Teledyne Flir Commercial Systems, Inc. Annotation of infrared images for machine learning using beamsplitter-based camera system and methods
WO2021226554A1 (en) * 2020-05-08 2021-11-11 Flir Systems Ab Dual-band temperature detection systems and methods
EP4411475A2 (en) 2020-05-30 2024-08-07 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11516391B2 (en) * 2020-06-18 2022-11-29 Qualcomm Incorporated Multiple camera system for wide angle imaging
US12050308B2 (en) 2020-07-22 2024-07-30 Corephotonics Ltd. Folded camera lens designs including eight lenses of +−+−+++− refractive powers
US11914117B2 (en) 2020-07-31 2024-02-27 Corephotonics Ltd. Folded macro-tele camera lens designs including six lenses of ++−+−+ or +−++−+, seven lenses of ++−++−+, or eight lenses of ++−++−++ refractive powers
WO2022058807A1 (en) 2020-09-18 2022-03-24 Corephotonics Ltd. Pop-out zoom camera
KR20220079874A (ko) 2020-12-01 2022-06-14 코어포토닉스 리미티드 연속적으로 적응하는 줌 팩터를 갖는 폴디드 카메라
KR20220165823A (ko) 2021-01-25 2022-12-15 코어포토닉스 리미티드 슬림 팝-아웃 와이드 카메라 렌즈
CN115052085A (zh) * 2021-03-08 2022-09-13 深圳市万普拉斯科技有限公司 摄像头模组与电子设备
CN118210137A (zh) 2021-03-22 2024-06-18 核心光电有限公司 具有连续自适应缩放因子的相机和移动设备
CN113079290B (zh) * 2021-03-29 2023-08-22 维沃移动通信有限公司 摄像头模组及电子设备
US20230025380A1 (en) * 2021-07-16 2023-01-26 Qualcomm Incorporated Multiple camera system
US20230031023A1 (en) * 2021-07-29 2023-02-02 Qualcomm Incorporated Multiple camera system
KR102685591B1 (ko) 2021-09-23 2024-07-15 코어포토닉스 리미티드 큰 애퍼처 연속 줌 폴디드 텔레 카메라
KR102610118B1 (ko) 2021-11-02 2023-12-04 코어포토닉스 리미티드 컴팩트형 더블 폴디드 텔레 카메라
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
US11785323B1 (en) 2022-05-27 2023-10-10 Samsung Electronics Co., Ltd. Camera module including refractive member and electronic device including refractive member

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235656A (en) * 1992-01-24 1993-08-10 Grumman Aerospace Corporation Variable spatial resolution focal plane
CN101646022A (zh) * 2009-09-04 2010-02-10 深圳华为通信技术有限公司 一种图像拼接的方法、系统
CN102177468A (zh) * 2008-08-14 2011-09-07 远程保真公司 三反射镜全景相机
CN102523382A (zh) * 2011-11-29 2012-06-27 苏州生物医学工程技术研究所 一种用于目标跟踪系统的提高跟踪精度的方法

Family Cites Families (283)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2102987A5 (zh) 1970-09-09 1972-04-07 Hitachi Shipbuilding Eng Co
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5012273B1 (en) 1986-05-12 1996-10-01 Asahi Optical Co Ltd Lens shutter type of camera including zoom lens
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
JPH04114574A (ja) * 1990-09-04 1992-04-15 Ricoh Co Ltd 撮像装置
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (zh) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
DE69312257T2 (de) 1993-02-11 1998-01-29 Agfa Gevaert Nv Strahlungsfelderkennungsverfahren
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5793527A (en) * 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6992700B1 (en) 1998-09-08 2006-01-31 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
AU2002226873A1 (en) 2000-07-14 2002-04-08 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
EP1427191A4 (en) 2001-08-17 2006-08-16 Sony Corp PICTURE SETUP
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
JP2004260787A (ja) * 2002-09-09 2004-09-16 Rohm Co Ltd イメージセンサモジュール
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP2004170479A (ja) * 2002-11-18 2004-06-17 Olympus Corp 撮像装置及びその制御方法
AU2003302166A1 (en) 2003-01-02 2004-07-29 Covi Technologies, Inc. Optical block assembly
JP2004239989A (ja) * 2003-02-04 2004-08-26 Hitachi Ltd 広視野角画像撮影装置
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP2005003385A (ja) * 2003-06-09 2005-01-06 Mitsutoyo Corp 画像測定方法、および画像測定装置
CN1802583A (zh) 2003-06-09 2006-07-12 奥林巴斯株式会社 可变镜
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
JP4233394B2 (ja) * 2003-06-17 2009-03-04 オリンパス株式会社 レンズ装置及びそれを用いたデジタルカメラ
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
JPWO2005081020A1 (ja) 2004-02-19 2008-05-15 キヤノン株式会社 光学機器およびビームスプリッター
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7593057B2 (en) 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
EP2357527B1 (en) 2004-11-15 2012-10-17 Hitachi Ltd. Stereo camera having two imaging elements mounted on a common stay
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
JP4742190B2 (ja) 2005-01-13 2011-08-10 国立大学法人 奈良先端科学技術大学院大学 3次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业(深圳)有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US8139125B2 (en) 2006-05-05 2012-03-20 Nokia Corporation Optical image recording device with small height and high resolution
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
JP4917060B2 (ja) 2007-02-26 2012-04-18 Hoya株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
WO2009011153A1 (ja) 2007-07-13 2009-01-22 Mitsubishi Electric Corporation 画像読取装置
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Hoya株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US8447096B2 (en) 2007-10-11 2013-05-21 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
WO2009057436A1 (ja) 2007-11-01 2009-05-07 Konica Minolta Holdings, Inc. 撮像装置
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
WO2009088930A2 (en) 2008-01-02 2009-07-16 The Regents Of The University Of California High numerical aperture telemicroscopy apparatus
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
US7961398B2 (en) 2008-03-05 2011-06-14 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
CN101981915B (zh) 2008-03-26 2014-03-05 柯尼卡美能达精密光学株式会社 摄像装置
US8934034B2 (en) 2008-03-28 2015-01-13 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
CN101571666A (zh) 2008-04-28 2009-11-04 鸿富锦精密工业(深圳)有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
JP4435867B2 (ja) 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
US8027579B2 (en) 2008-07-24 2011-09-27 Panasonic Corporation Camera driver
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
US8305425B2 (en) 2008-08-22 2012-11-06 Promos Technologies, Inc. Solid-state panoramic image capture apparatus
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
CN102165496B (zh) 2008-09-25 2014-08-13 皇家飞利浦电子股份有限公司 三维图像数据处理
WO2010044222A1 (ja) 2008-10-14 2010-04-22 日本電産サンキョー株式会社 撮影用光学装置
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业(深圳)有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US9030530B2 (en) 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
JP5683025B2 (ja) 2010-04-19 2015-03-11 パナソニックIpマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
WO2011155318A1 (ja) 2010-06-08 2011-12-15 日本電産サンキョー株式会社 振れ補正装置、撮影用光学装置およびレンズ駆動装置
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
JP5392415B2 (ja) * 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
EP2622838B1 (en) 2010-10-01 2015-07-22 Contex A/s Signal intensity matching of image sensors
US9317761B2 (en) 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
WO2012164339A1 (en) 2011-05-27 2012-12-06 Nokia Corporation Image stitching
CN103609102B (zh) 2011-06-15 2016-09-28 微软技术许可有限责任公司 高分辨率多光谱图像捕捉
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
BR112014009255A8 (pt) 2011-10-20 2017-06-20 Monsanto Technology Llc contador de plantas
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN103428521A (zh) * 2012-05-25 2013-12-04 北京新岸线移动多媒体技术有限公司 一种3d摄像附加镜头和3d摄像头
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014012603A1 (en) 2012-07-17 2014-01-23 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
EP3168809B1 (en) 2012-08-08 2023-08-30 Dolby Laboratories Licensing Corporation Image processing for hdr images
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
US10015391B2 (en) 2014-02-13 2018-07-03 Sony Mobile Communications Inc. Method and system for adjusting camera settings using corneal reflection
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235656A (en) * 1992-01-24 1993-08-10 Grumman Aerospace Corporation Variable spatial resolution focal plane
CN102177468A (zh) * 2008-08-14 2011-09-07 远程保真公司 三反射镜全景相机
CN101646022A (zh) * 2009-09-04 2010-02-10 深圳华为通信技术有限公司 一种图像拼接的方法、系统
CN102523382A (zh) * 2011-11-29 2012-06-27 苏州生物医学工程技术研究所 一种用于目标跟踪系统的提高跟踪精度的方法

Also Published As

Publication number Publication date
WO2015195296A3 (en) 2016-02-18
JP2017524968A (ja) 2017-08-31
US20160286121A1 (en) 2016-09-29
EP3158394B1 (en) 2020-09-23
CA2951263A1 (en) 2015-12-23
ES2841402T3 (es) 2021-07-08
CN106462036A (zh) 2017-02-22
KR20170022998A (ko) 2017-03-02
US9386222B2 (en) 2016-07-05
CN110647000A (zh) 2020-01-03
US9733458B2 (en) 2017-08-15
WO2015195296A2 (en) 2015-12-23
CN106462036B (zh) 2019-11-12
US20150373263A1 (en) 2015-12-24
BR112016029625A2 (pt) 2017-08-22
EP3158394A2 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
CN110647000B (zh) 使用无视差假影的折叠式光学器件的多相机系统
US9854182B2 (en) Folded optic array camera using refractive prisms
KR102225429B1 (ko) 시차 및 틸트 아티팩트들이 없는 폴딩형 광학계를 이용한 멀티-카메라 시스템
US9843723B2 (en) Parallax free multi-camera system capable of capturing full spherical images
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
JP2017525208A (ja) 完全な広視野画像をキャプチャすることができる視差のない薄型マルチカメラシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant