Nothing Special   »   [go: up one dir, main page]

CN109328319B - 胶囊相机的透镜对准方法和设备 - Google Patents

胶囊相机的透镜对准方法和设备 Download PDF

Info

Publication number
CN109328319B
CN109328319B CN201780036954.XA CN201780036954A CN109328319B CN 109328319 B CN109328319 B CN 109328319B CN 201780036954 A CN201780036954 A CN 201780036954A CN 109328319 B CN109328319 B CN 109328319B
Authority
CN
China
Prior art keywords
lens
image
view
lens module
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780036954.XA
Other languages
English (en)
Other versions
CN109328319A (zh
Inventor
吕甘雨
戈登·威尔逊
王康怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of CN109328319A publication Critical patent/CN109328319A/zh
Application granted granted Critical
Publication of CN109328319B publication Critical patent/CN109328319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/005—Photographing internal surfaces, e.g. of pipe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0031—Implanted circuitry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/16—Optical objectives specially designed for the purposes specified below for use in conjunction with image converters or intensifiers, or for use with projectors, e.g. objectives for projection TV
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0503—Built-in units

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

一种使胶囊相机的透镜模块相对于图像传感器装置对准的方法和设备。该图像传感器装置包括多个像素阵列且该透镜模块包括多个透镜组以形成对应于与该多个透镜组相关联的多个视场的多个图像，且各透镜组形成与一个视场相关联的一个对应的像素阵列的一个图像。根据本发明的一种方法，一个或多个测试图像被呈现在与该透镜模块相关联的该多个视场中。使用该多个像素阵列捕获在该多个视场中的多个图像。基于由该多个像素阵列所捕获的该多个图像导出度量测量值。而后基于该度量测量值调整该透镜模块与该图像传感器装置之间的透镜对准。

Description

胶囊相机的透镜对准方法和设备
相关申请的交叉引用
本发明要求2016年6月13日提交的序列号为62/349,602的美国临时申请的优先权。本发明涉及2015年3月17日提交的序列号为14/660,365的美国专利申请，该申请是2010年9月8日提交的美国专利申请序列号12/877,220的继续申请，现于2015年4月7日发布的美国专利第9,001,187号，其是2009年5月11日提交的美国专利申请序列号12/463,488的部分继续申请，现于2014年5月6日发布的美国专利第8,717,413号，其是2008年5月10日提交的临时申请第61/052,180号的非临时美国专利申请。本发明还涉及2010年10月19日发布的美国专利第7,817,354号和2015年8月25日发布的美国专利第9,118,850号。美国非临时专利申请和美国临时专利申请的全部内容通过引用纳入本案。
技术领域
本发明涉及具有透镜模块和多个图像传感器阵列的胶囊相机，其中，该透镜模块包括多个透镜组。具体而言，本发明涉及执行透镜模块和多个图像传感器阵列之间对准的技术。
背景技术
本领域中已知用于在体内成像体腔或通道的装置包括内窥镜和自主封装摄像机。内窥镜是通过孔或外科手术开口而进入体内的柔性或刚性的管体，通常通过口腔进入食管或通过直肠进入结肠。使用一透镜在远端形成一图像，并通过一透镜中继系统或透过一相干光纤束传输到身体外部的近端。概念上类似的仪器可以在远端电子地记录一图像，例如，使用CCD或CMOS阵列，并通过一电缆将该图像数据作为一电信号传输到近端。内窥镜允许医生控制视野，是公认的诊断工具。然而，它们确实存在诸多限制，对患者存在风险，对患者具有侵袭性和不舒适性，并它们的成本限制了它们作为常规健康筛选工具的应用。
解决这些问题的一替代的体内图像传感器是胶囊内窥镜。一相机与用于传输数据的一无线电发射器被一起容纳在一可吞咽胶囊中，用于将主要包括由数码相机记录的图像数据传送到身体外部的一基站接收器或收发器和数据记录器。该胶囊还可以包括用于接收来自一基站发射器的指令或其他数据的一无线电接收器。可以使用低频电磁信号来代替射频传输。电力可以感应地从以外部电感器供应到胶囊内部的一内部电感器或者从胶囊内部的一电池供应。
美国专利第6,709,387号和美国专利第6,428,469号描述了这种系统的细节。一种具有记载数据存储器的自助胶囊摄像系统在2011年7月19日发布的美国第7,983,458号专利案中披露。
2010年10月19日发布的美国专利第7,817,354号公开了一种用于光学成像系统和方法，其用于产生展现胶囊摄像应用的一实质视野的全景图像。在一实施例中，此光学成像系统包括一四面反射棱锥体(pyramid)和四个折叠的透视中心，各个图像传感器阵列的入口可以位于该中心处。如此定位的各图像传感器阵列具有与其相关联的一光轴，该光轴被棱锥体的反射面折叠，位于各个折叠透视中心的各独立的图像传感器阵列均具有至少90度的一水平视场(HFOV)。因此，由组合单独视场构成的一复合HFOV为360度。
图1为根据美国专利第7,817,354号中公开的一实施例示出了一可吞服胶囊系统100的一示例。胶囊系统100在身体内部是完全自主的，其所有组件被封装在一胶囊外壳110中，该胶囊外壳110提供防潮屏障以保护内部组件不受体液的影响。胶囊外壳110是透明的，以允许来自照明系统12的发光二极管(LED)的光线穿过胶囊外壳的壳壁而到达腔壁，并允许来自腔壁的散射光在胶囊内被收集和成像。胶囊外壳110还保护腔壁不与胶囊外壳110内的异物直接接触。胶囊外壳110为一种使其能够容易地被吞咽，并随后通过肠胃道的形状。通常，胶囊外壳110是无菌的，由无毒材料所制成，并且足够光滑，以尽量减少卡顿在管腔内的机会。
如图1所示，胶囊系统100包括照明系统120和包括光学系统(140A和140B)与图像传感器160的一相机。光学系统包括多个透镜组。而在图1中仅示出了两个透镜组(140A和140B)，但是可以使用更多的透镜组(例如4组)。图像传感器160包括多个传感器阵列以匹配透镜组的数量，以便捕获由多个透镜组所投影的图像。由图像传感器160捕获的图像可以由处理子系统进行处理，电池180提供所有所需处理和控制(例如，图像处理，压缩，存储等)。
照明系统12可以通过LED实现。在图1中，LED位于相机的孔洞的附近，虽然也可能是其他配置。光源也可以在例如孔洞的后面提供。也可以使用其他光源，例如，激光二极管。或者，也可以使用白色光源或者两个或更多窄波长波段源的组合。可用的白色LED可以包括蓝色LED或紫色LED，以及由LED光所激发以发射较长波长的光的磷光材料。允许光通过的胶囊外壳10的部分可以由生物兼容剥离或聚合物制成。
美国专利第7,817,354号中公开的光学成像系统能够提供360度的组合的单个视场。在美国专利第9,001,187号和美国专利第8,717,413号中，公开了另一种光学系统，该光学系统还能够提供360度的组合的单个视场，其公开了位于每个棱镜的第一表面之前的负折射率的透镜。图2为根据美国专利第8,717,413号专利所示的采用四个折叠成像器的一部分组装的全景照相机系统的一透视图。特别的，所示的位于透镜模块外壳210内的是主轴220，四个棱镜250，负折射率的四个棱镜组件240。此附图中显示了形成在每个棱镜250的一前表面上的凹口255，和形成在每个透镜245的背面(棱镜侧)上的配合凸片845。这样的凹口和凸片在透镜240和棱镜250之间提供一安全的、正向对准(positive alignment)。
在美国专利第9118850号中，公开了一种具有多个像素阵列的一相机系统。图3示出了根据本发明的具有多个像素阵列的一集成感测组件的一示例性布局300，以支持对应于四个光路的四个图像。多个像素阵列及相关联的定时/控制电路课以及共用读出链路在诸如一半导体材料的一共用基板350上实现。集成的多像素阵列图像感测组件包括独立的像素阵列311,312,313和314。像素阵列被配置成使得每个像素阵列被适当的定位和定向以捕获由一透镜子系统所形成的一对应图像。除了像素阵列311,312,313和314，还可以在基板350上形成其他组件。例如，定时和控制区块320，用于从该像素阵列读出电输出信号的一个或多个读出链路(例如：读出链路330)，以及也可以形成在相同的基板350上的I/O环结构340。读出链路330于通过I/O环结构340发送该电信号之前，处理来自像素阵列的输出信号。在图3中，四个传感器阵列的中心用以黑点360表示。
当与一匹配的光学系统耦合时，多个像素阵列可以在一非常宽的视场或者甚至是一360度全景视图中捕获场景。相机系统使用一个或多个图像传感IC芯片，每个芯片具有位于相同半导体基板上的多个像素阵列(即，“一芯片上的多个像素阵列”)。还公开了用于捕捉图像的进一步信号处理的附加电子组件。
在具有一单个透镜组的一传统相机系统中，为了优化捕捉图像的质量，必须对单个透镜组和传感器进行对准。传统的单透镜相机系统只有一个视场。该系统可以使用对应于多个颜色成份的多个传感器。在这种情况下，二向色分束器(dichroic beam splitter)通常用于将视场中的光引导到各个传感器中。对于具有耦合到多个传感器阵列的多个透镜组的一胶囊相机而言，多个透镜组和多个传感器阵列之间的对准变得非常关键。随着传感器阵列分辨率的提高，对准变得更加关键。期望开发出用于可靠地对准多个透镜组和多个传感器阵列的技术。
发明内容
本发明揭露了一种使胶囊相机的透镜模块相对于图像传感器装置对准的方法和设备。该图像传感器装置包括多个像素阵列且该透镜模块包括多个透镜组以形成对应于与该多个透镜组相关联的多个视场的多个图像，且各透镜组形成与一个视场相关联的一个对应的像素阵列的一个图像。根据本发明的一种方法，一个或多个测试图像被呈现在与该透镜模块相关联的该多个视场中。使用该多个像素阵列捕获在该多个视场中的多个图像。基于由该多个像素阵列所捕获的该多个图像导出度量测量值。然后基于该度量测量值调整该透镜模块与该图像传感器装置之间的透镜对准。
该透镜模块与该图像传感器装置之间的该透镜对准可以以多个自由度来执行，并且在第一轮的一个或多个自由度中的第一透镜对准之后，执行第二轮的一个或多个自由度中的第二透镜对准。调整该透镜模块与该图像传感器装置之间的该透镜对准可以在该第一轮一个或多个自由度与该第二透镜对准之间迭代执行，直至满足标准。该标准对应于没有通过所述调整该透镜对准来进一步改善图像质量。
在一实施例中，该透镜模块由横向排列的四个透镜组所组成以提供360度的组合的单个视场，该图像传感器装置由四个像素阵列所组成。该四个像素阵列可以在共用基板上实现。该测试图像可选自于由“十字形细线”、“斜边”、“圈”、“点”、“网格”、“棋盘”、“光栅线”以及“正弦波”所组成的一群组。该度量测量值可对应于调制传递函数(MTF)、点扩展函数(PSF)、针孔的光斑大小、对比度或最大可实现空间分辨率。
在一实施例中，该度量测量值用于确定与该多个透镜组相关联的BFD(后焦距距离)，并且根据该多个透镜组的该BFD执行该调整该透镜对准，其中，一个透镜组的各后焦距距离是从对应于最佳聚焦的平面的图像平面到一个透镜组中的参考基准的距离。在一实施例中，该透镜模块由横向排列的四个透镜组所组成以提供360度的组合的单个视场，且该图像传感器装置由四个像素阵列组成，确定与按照顺序的四个相邻的透镜组相关联而被指定为Z1、Z2、Z3和Z4的四个后焦距距离。在另一实施例中，根据(Z1+Z2+Z3+Z4)/4确定该透镜模块与该图像传感器装置之间的纵向距离。调整围绕X-轴和Y-轴的旋转对准以分别最小化(Z2-Z4)/2d和(Z1-Z3)/2d，其中，d是两个相对侧上的两个对应的像素阵列之间的横向距离。该透镜对准被调整以最小化所有象限的对准误差，其中，该对准误差根据|Z1-Z2+Z3-Z4|/4予以确定。
调整该透镜对准还包括调整该多个透镜组的光学中心和该像素阵列的中心之间的平移偏移(Tx,Ty)，以最小化该平移偏移。在一实施例中，使用一白色圆柱形目标作为一测试图像以找到具有四个透镜组的该透镜模块的各个象限的中心，并且从该白色圆柱形目标的一图像的轮廓的一中心确定该透镜模块的各个象限的该中心，来确定该平移偏移。在另一实施例中，在找到该透镜模块的各象限的该中心之前，对该白色圆柱形目标的该图像进行滤波。
在另一实施例中，该调整该透镜对准还包括调整在Z方向上的旋转值Rz，以最小化旋转误差。该旋转值由该白色圆柱形目标的该图像的轮廓予以确定。与该透镜模块的各象限相关联的(Tx,Ty)或Rz中的最小平方误差、最小-最大标准或最大误差的最小值可被用于作为性能标准。在另一实施例中，将目标形状、图案或颜色作为测试图像以找出具有四个透镜组的该透镜模块的各象限的中心，并且与该测试图像相关联的光在一个透镜组的视场内进入瞳孔，以使该测试图像的图像足迹的至少一部分在与一个视场相关联的对应的像素阵列上可见。
在另一实施例中，调整该透镜对准还包括在调整该透镜对准完成之后，固定该透镜模块的可调位置。而后使用UV-固化粘合剂以固定该透镜模块的该可调位置。
附图说明
图1示意性地示出了胶囊相机系统，其包括具有多个透镜组和相应的多个传感器阵列的透镜模块。
图2示出了具有多个透镜组以提供360度的组合的单个视场的示例性透镜模块。
图3显示了同一基板上的多个传感器阵列及相关的定时和控制电路的一区块图。
图4示出了透镜模块和多个传感器阵列之间的不对准的示例性场景。
图5示出了具有四个透镜组以提供360度的组合的单个视场的示例性透镜模块的上视图。
图6为根据本发明的实施例所示的透镜对准方法的示例性流程图。
图7示出了基于MTF(调制传递函数)的度量测量值的实施例。
图8为根据本发明的实施例所示的使用白色圆柱形目标来找出每个象限的中心以及找出Z方向上的旋转值的一实施例。
图9示出了对四个透镜组和传感器阵列确定的平移偏移(即(Tx,Ty))和Z方向上的旋转Rz的一实施例。
具体实施方式
下列描述为实现本发明的最佳预期模式。本说明书是为了说明本发明的一般原理而提出的，然并不仅限于此。本发明的范围可参照所附的权利要求书予以确定。
如上所述，胶囊相机提供了对传统内窥镜的成本效益和无痛的改变。美国第9,001,187号专利和美国第8,717,413号专利中所公开的全景成像系统可以产生显示一大视野(例如360度)的合成全景图像。此外，如此构造的系统可以有利地展现比具有相同尺寸的现有技术系统大得多的一垂直视场(VFOV)。透镜系统形成与具有一共用光学中心的多个透镜组相关联的多个视场相对应的多个图像。在一胶囊相机系统中，透镜模块的光学组件需要被定位呈使得图像基本上对准一图像平面。换句话说，透镜模块必须与多个传感器阵列彼此对准。
在制造一胶囊相机系统期间，该胶囊相机的组件，例如透镜模块、传感器阵列、处理电路和电池必须装配在胶囊外壳内。图像形成和捕捉路径涉及透镜模块和传感器阵列。为了确保成像系统达到尽可能好的质量，透镜模块和传感器阵列必须正确地对准。本发明公开了一种使透镜模块与传感器阵列彼此系统系统地对准的一方法。
图4示出了透镜模块420与多个传感器阵列(即阵列2(412)、阵列4(414)、阵列3/1(416,418))之间不对准的一简化场景的一截面图，其中多个传感器阵列被制造在一共用基板410上。透镜模块被显示为相对于平行于多个传感器阵列的一平面430倾斜。特别的，该透镜模块相对于平面430在X方向上倾斜一角度θ。坐标系是相对于传感器阵列定义的，其中，平面430平行于(x,y)-平面。Z坐标垂直于平面430。透镜模块的各透镜组具有相应的一个或多个透镜群以及相应的反射表面(432,434)，以将来自一相应视场的入射光(incidentallight)反射到一相应的传感器阵列(412,414)上。为了简单期间，未示出用于传感器阵列3/1(416,418)的透镜模块的透镜组。此外，仅示出了用于显示两个透镜组的部分透镜群。示出了每个透镜组的后焦距(BFD)(Z1 428,Z2 422,Z3 426,Z4 424)。一透镜组的BFD是从图像平面(最佳聚焦平面)到透镜组中的一参考基准(例如，最后一个透镜表面)的距离。为了是由传感器410所捕获的图像对于每个象限展现最佳地清晰度(对焦)，每个像素阵列应该位于每个透镜组的BFD。名义上相同的透镜组具有相等的BFD，并且透镜模块应该具有零倾斜并且在Z方向上进行调整，以获得对所有像素阵列的最佳聚焦。然而，一般而言，制造可变性导致了每个透镜组的BFD的不相等(Z1、Z2、Z3和Z4不完全相等)，并且透镜模块的最佳倾斜度可能不是零。在图4的实施例中，透镜模块的最佳对准可以是θ，不等于零。
透镜模块和传感器阵列之间存在各种类型的不对准。图4示出了与透镜模块围绕X轴的倾斜相对应的不对准的一实施例。透镜模块的倾斜也可以围绕Y轴或X轴与Y轴的一组合而发生。此外，透镜模块的中心和传感器阵列的中心必须对准。图5示出了透镜模块500的一上视图，其中，显示了部分透镜群(511,512,513,514)。透镜模块的中心用黑点520表示。透镜模块中心520必须与传感器中心360对齐。此外，在图3中的轴(361,362)和图5中的轴(521,522)之间不应该有相对旋转。透镜模块和传感器阵列之间的横向配准是另一个要对准的自由度。虽然有多达六个自由度，但并非所有尺寸均可用或需要调整。例如，可以使用一机械结构(夹具)来确保透镜模块的轴(521,522)和传感器阵列(361,362)的轴之间无旋转失调。
本发明的透镜对准方法利用了传感器阵列捕获在视场中呈现的图像信号。图6示为根据本发明的一实施例示出了结合透镜对准方法的一系统的一示例性流程图。在透镜模块的视场中呈现一个或多个测试图像，如步骤610所示。使用多个传感器阵列捕获视场中的图像，如步骤620所示。然后，基于由多个传感器阵列捕获的图像数据导出度量测量值，如步骤630所示。基于度量测量值调整透镜对准，如步骤640所示。透镜对准过程可以迭代地应用，直到满足一标准。例如，如果透镜调整没有进一步提高质量，则可以终止透镜对准过程。或者，使用一非迭代方法，可以从由一个或多个测试图像导出的度量测量值中计算透镜模块的一优选为止，并且可以将透镜模块移动到所计算的位置。
透镜对准过程可用于调整一个或多个自由度。在实现所选择的一个或多个自由度的对准之后，透镜对准过程可以应用于的一个或多个其他自由度。所述的一个或多个其他自由度的对准可能影响在前一个或一个以上其他自由度中所实现的对准。因此，可以在一个或多个自由度和一个或多个其他自由度之间应用迭代透镜对准。
根据本发明的实施例，各种测试图像可用于透镜对准。例如，可以使用一个或多个“十字形细线(cross hairs)”、“斜边(slant edges)”、“圈”或“点”。还可以使用其他测试图像，例如“网格(grids)”、“棋盘(checker board)”、“光栅线(grating lines)”和“正弦波(sinusoidal waves)”。
度量测量值可以对应于调制传递函数(modulation transfer function；MTF)，其中，对具有一选定空间频率的一信号的光学响应被测量。其他度量测量值，如点扩展函数(point spread function；PSF)，针孔的光斑大小(spot size)，对比度(contrast)或可达到的最大空间分辨率(spatial resolution)。可以使用一示例性MFT来确定一单个透镜组的后焦距(back focus distances；BFDs)。图7示出了确定第i传感器阵列的BFD Zi的一实施例。Zi是最大化MTF的Z位置。图7中的曲线可以通过在Z方向上移动透镜模块，并在多个高度捕获图像，确定每个图像的MTF，以及插值拟合(interpolation fitting)一曲线(例如，样条拟合(spline fit))到所测量的MTF数据予以确定。在实践操作中，确定BFD可以使用一外部照相机来对一透镜组的目标平面成像，从而对透镜组图像平面重新成像。当传感器上下移动时，照相机拍摄像素阵列的照片。当像素处于相机中的焦点时，透镜组的最佳焦点发生。在这种情况下，必须通过透镜组在背面提供照明，以照亮传感器。
来自四个传感器阵列的测量的BFD Zi可用于确定透镜是否与传感器阵列正确地对准。例如，可以使用Tz、Rx和Ry方向上的运动来最小化聚焦误差。根据一实施例，Tz、Rx和Ry可以通过下列公式来确定：
Tz＝(Z1+Z2+Z3+Z4)/4, (1)
Rx＝(Z2-Z4)/2d,及 (2)
Ry＝(Z1-Z3)/2d (3)
就BFD而言，透镜模块和传感器阵列之间的纵向距离可以根据公式(1)确定，其中，通过平均所测量的四个BFD来确定距离。另一方面，关于x-轴和y-轴的旋转对准可分别根据公式(2)和(3)确定，其中，d是两个相应传感器阵列(左和右，或顶部和底部)之间的横向距离。因为d是固定的，所以只有Z2和Z4，或Z1和Z3之间的差异才会对测量结果产生影响。根据公式(1)-(3)对准之后的所有象限的误差为：
Error＝|Z1-Z2+Z3-Z4|/4 (4)
如前所述，每个透镜组的光学中心必须与对应的传感器阵列的中心对准。透镜组的光学中心和传感器阵列的中心之间的偏移可以用(Tx,Ty)表示。另外，透镜模块的旋转方向(Rz)需要与传感器阵列的旋转方向相匹配。透镜模块中的一透镜组和传感器阵列之间的配准可以通过捕获具有像素阵列的一图像来确定，其中，图像边缘(图像足迹的边缘)的至少一部分与阵列中的活动像素交叉。由于图像足迹的形状是已知的，所以即便整个足迹边缘没有被成像也可以确定配准。例如，对于具有圆形对称性的一透镜，图像足迹是圆形的。如果像素阵列小于足迹，一个好的对准会导致图像足迹边缘根本不会出现的图像中。
在一实施例中，使用一照明的白色圆柱形目标，并且使用单个传感器阵列捕获的白色圆柱形目标的图像来确定一单个透镜组和一传感器阵列之间的对准。只要光在视场中进入通孔，那么可以使用其他目标形状、图案和颜色，使得图像足迹的至少一部分在传感器像素阵列上可见。
在透镜模块被预制之后，透镜模块可以被预制而不具有调整透镜模块内的单个透镜组的能力。在这种情况下，虽然可以测量单个平移偏移(Txi,Tyi)和在z方向上的旋转误差(Rzi)，但是可以根据期望的性能标准实现最佳对准。例如，可以使用最小平方误差(least square error)作为性能标准。在另一实施例中，可以使用最小-最大标准(min-maxcriterion)，其中，使用(Txi,Tyi)或Rzi中的最大误差的最小值(minimum of the largesterror)。
图8为根据本发明的一实施例，所示的使用白色圆柱形目标来找出每个象限的中心并找出Z方向上的旋转值的一实施例。对四个透镜组/传感器阵列(810,820,830或840)进行处理。图像850对应于原始捕获的灰度图像。对捕获的图像进行滤波以生成平滑图像852。原始图像和滤波图像的轮廓分别在区块853和854中予以示出。基于原始灰度图像，对于四个透镜组，每个象限的中心分别被识别为812、822、832或842。基于滤波后的图像，对于四个透镜组，每个象限的中心分别被识别为814、824、834或844。轮廓是图像圈的一部分，定义了每个透镜组的图像足迹，并对应于视场的边缘。在图像圈内，图像是发光的，外侧是黑暗的。平移偏移(即(Tx,Ty))和Z方向上的旋转Rz可基于所提取的左右两侧上的轮廓来确定。
图9示出了对于四个透镜组和传感器阵列确定的平移偏移(即(Tx,Ty))和Z方向上的旋转Rz的一实施例。
图6中的流程图可以对应于在一计算机、一移动装置、一数字信号处理器或用于本发明的一可编程装置上执行的软件程序代码。该程序代码可以用各种编程语言(例如C++)编写。该流程图还可以对应于基于硬件的实现，其包括一个或多个电子电路(例如，ASIC(专用集成电路)和FPGA(现场可编程门阵列))或处理器(例如，DSP(数字信号处理器))。
在上述揭露中，演示了具有由四个透镜组所组成的一透镜模块的胶囊相机的一实施例。具有四个传感器阵列的一相应的传感器芯片被使用。然而，可以使用具有由多个传感器阵列所组成的一匹配的传感器芯片的任何多个透镜组。例如，透镜模块可以包括三个透镜组，并且该传感器芯片由三个传感器阵列所组成。
每个传感器阵列的中心被表示为一虚线圈。图9中的圈(921,922,923,924)是与图8中的轮廓相对应的图像足迹的边缘。图像足迹的每个边缘的中心由一实心点予以表示。因此，每对实心点与虚线圈之间的距离对应于一相应的(Tx,Ty)。每个透镜组和传感器阵列在Z方向上的旋转Rz由两个相应的箭头予以表示，其中，一个箭头是基于右侧轮廓导出的，而另一个箭头是基于左侧轮廓来确定的。
一旦实现了适当的对准，透镜模块的位置就可以被固定，例如，使用UV-固化粘合剂。
虽然具体的实施例是针对胶囊图像，但是根据本发明的基于图像匹配的质量的图像拼接也可以应用于不同视角所捕获的自然场景的图像。
在不背离本发明的精神或基本特征的情况下，本发明可以以其他具体形式体现。所描述的实施例在所有方面仅作为说明性而非限制性予以考虑。因此，本发明的范围是由所附权利要求书予以表示，而不是通过上述描述。属于权利要求等同含义和范围内的所有变化都应包括在本发明的范围内。

Claims (16)

1.一种使胶囊相机的透镜模块相对于图像传感器装置对准的方法，其特征在于，该图像传感器装置包括多个像素阵列且该透镜模块包括多个透镜组以形成对应于与该多个透镜组相关联的多个视场的多个图像，且各透镜组形成与一个视场相关联的一个对应的像素阵列的一个图像，该方法包括：
在与该多个透镜组相关联的该多个视场中呈现一个或多个测试图像；
使用该多个像素阵列在该多个视场中捕获多个图像；
基于由该多个像素阵列所捕获的该多个图像导出度量测量值，该度量测量值包括对应于与该多个像素阵列相关联的实质平行光路的后焦距距离(BFD)，其中，各后焦距距离与从一个像素阵列的一个图像平面到一个对应的透镜组的最后透镜表面的距离有关；以及
基于该后焦距距离的该度量测量值对于该多个透镜组调整该透镜模块与该图像传感器装置之间的透镜对准；
其中，该透镜模块由横向设置的四个透镜组所组成，以提供360度的组合的视场，且该图像传感器装置由四个像素阵列所组成，确定与四个相邻的透镜组相关联而被指定为Z1、Z2、Z3和Z4的四个后焦距距离，并且其中，各像素阵列与一个对应的透镜组用于在一个象限捕获图像；以及
其中，调整围绕X-轴和Y-轴的旋转对准以分别最小化(Z2-Z4)/2d和(Z1-Z3)/2d，并且其中，d是两个相对侧上的两个对应的像素阵列之间的横向距离，且该X-轴和该Y-轴在与该图像传感器装置平行的平面中。
2.根据权利要求1所述的方法，其特征在于，在多个自由度中执行该透镜模块与该图像传感器装置之间的该透镜对准，并且在第一轮的一个或多个自由度中的第一透镜对准之后，在第二轮的一个或多个自由度中执行第二透镜对准。
3.根据权利要求2所述的方法，其特征在于，所述调整该透镜模块与该图像传感器装置之间的该透镜对准是在该第一轮的一个或多个自由度和该第二透镜对准之间迭代执行，直至标准被满足。
4.根据权利要求3所述的方法，其特征在于，该标准对应于没有通过没有调整该透镜对准来进一步改善图像质量。
5.根据权利要求1所述的方法，其特征在于，该方法还包括在调整该透镜对准完成之后，固定该透镜模块的可调位置。
6.根据权利要求5所述的方法，其特征在于，使用UV-固化粘合剂以固定该透镜模块的该可调位置。
7.根据权利要求1所述的方法，其特征在于，所述一个或多个测试图像选自于由“十字形细线”、“斜边”、“圈”、“点”、“网格”、“棋盘”、“光栅线”以及“正弦波”所组成的群组。
8.根据权利要求1所述的方法，其特征在于，该度量测量值对应于调制传递函数(MTF)、点扩展函数(PSF)、针孔的光斑大小、对比度或最大可实现空间分辨率。
9.一种使胶囊相机的透镜模块相对于图像传感器装置对准的方法，其特征在于，该图像传感器装置包括多个像素阵列且该透镜模块包括多个透镜组以形成对应于与该多个透镜组相关联的多个视场的多个图像，且各透镜组形成与一个视场相关联的一个对应的像素阵列的一个图像，该方法包括：
在与该多个透镜组相关联的该多个视场中呈现一个或多个测试图像；
使用该多个像素阵列在该多个视场中捕获多个图像；
基于由该多个像素阵列所捕获的该多个图像导出度量测量值，该度量测量值包括对应于与该多个像素阵列相关联的实质平行光路的后焦距距离(BFD)，其中，各后焦距距离与从一个像素阵列的一个图像平面到一个对应的透镜组的最后透镜表面的距离有关；以及
基于该后焦距距离的该度量测量值对于该多个透镜组调整该透镜模块与该图像传感器装置之间的透镜对准；
其中，该透镜模块由横向设置的四个透镜组所组成，以提供360度的组合的视场，且该图像传感器装置由四个像素阵列所组成，确定与四个相邻的透镜组相关联而被指定为Z1、Z2、Z3和Z4的四个后焦距距离，并且其中，各像素阵列与一个对应的透镜组用于在一个象限捕获图像；以及
其中，调整该透镜对准以最小化该透镜模块的所有象限的对准误差，其中，该对准误差根据|Z1-Z2+Z3-Z4|/4予以确定。
10.一种使胶囊相机的透镜模块相对于图像传感器装置对准的方法，其特征在于，该图像传感器装置包括多个像素阵列且该透镜模块包括多个透镜组以形成对应于与该多个透镜组相关联的多个视场的多个图像，且各透镜组形成与一个视场相关联的一个对应的像素阵列的一个图像，该方法包括：
在与该多个透镜组相关联的该多个视场中呈现一个或多个测试图像；
使用该多个像素阵列在该多个视场中捕获多个图像；
基于由该多个像素阵列所捕获的该多个图像导出度量测量值，该度量测量值包括对应于与该多个像素阵列相关联的实质平行光路的后焦距距离(BFD)，其中，各后焦距距离与从一个像素阵列的一个图像平面到一个对应的透镜组的最后透镜表面的距离有关；以及
基于该度量测量值调整该透镜模块与该图像传感器装置之间的透镜对准，其中，所述调整该透镜对准包括调整该多个透镜组的光学中心和该像素阵列的中心之间的平移偏移(Tx,Ty)，以最小化该平移偏移；以及
其中，通过使用白色圆柱形目标作为测试图像以找到具有四个透镜组的该透镜模块的各个象限的中心，并且从该白色圆柱形目标的图像的轮廓的中心确定该透镜模块的各个象限的该中心，来确定该平移偏移。
11.根据权利要求10所述的方法，其特征在于，在找到该透镜模块的各象限的该中心之前，对该白色圆柱形目标的该图像进行滤波。
12.根据权利要求10所述的方法，其特征在于，所述调整该透镜对准包括调整在Z方向上的旋转值Rz，以最小化旋转误差，并且其中，该Z方向垂直该像素阵列的平面。
13.根据权利要求12所述的方法，其特征在于，该旋转值由该白色圆柱形目标的该图像的轮廓予以确定。
14.根据权利要求12所述的方法，其特征在于，与该透镜模块的各象限相关联的(Tx,Ty)或Rz中的最小平方误差、最小-最大标准或最大误差的最小值用于作为性能标准。
15.根据权利要求10所述的方法，其特征在于，将目标形状、图案或颜色作为测试图像以找出具有四个透镜组的该透镜模块的各象限的中心，并且与该测试图像相关联的光在一个透镜组的视场内进入瞳孔，以使该测试图像的图像足迹的至少一部分在与一个视场相关联的对应的像素阵列上可见。
16.一种用于使胶囊相机的透镜模块相对于图像传感器装置对准的设备，其特征在于，该图像传感器装置包括多个像素阵列且该透镜模块包括多个透镜组以形成对应于与该多个透镜组相关联的多个视场的多个图像，且各透镜组形成与一个视场相关联的一个对应的像素阵列的一个图像，该设备包括一个或多个电子电路、控制器或处理器，其被设置成：
在与该多个透镜组相关联的该多个视场中呈现一个或多个测试图像；
使用该多个像素阵列在该多个视场中捕获多个图像；
基于由该多个像素阵列所捕获的该多个图像导出度量测量值，该度量测量值包括对应于与该多个像素阵列相关联的实质平行光路的后焦距距离(BFD)，其中，各后焦距距离与从一个像素阵列的一个图像平面到一个对应的透镜组的最后透镜表面的距离有关；以及
基于该后焦距距离的该度量测量值对于该多个透镜组调整该透镜模块与该图像传感器装置之间的透镜对准；
其中，该透镜模块由横向设置的四个透镜组所组成，以提供360度的组合的视场，且该图像传感器装置由四个像素阵列所组成，确定与四个相邻的透镜组相关联而被指定为Z1、Z2、Z3和Z4的四个后焦距距离，并且其中，各像素阵列与一个对应的透镜组用于在一个象限捕获图像；以及
其中，调整围绕X-轴和Y-轴的旋转对准以分别最小化(Z2-Z4)/2d和(Z1-Z3)/2d，并且其中，d是两个相对侧上的两个对应的像素阵列之间的横向距离，且该X-轴和该Y-轴在与该图像传感器装置平行的平面中。
CN201780036954.XA 2016-06-13 2017-06-01 胶囊相机的透镜对准方法和设备 Active CN109328319B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662349602P 2016-06-13 2016-06-13
US62/349,602 2016-06-13
PCT/US2017/035553 WO2017218206A1 (en) 2016-06-13 2017-06-01 Method and apparatus of lens alignment for capsule camera

Publications (2)

Publication Number Publication Date
CN109328319A CN109328319A (zh) 2019-02-12
CN109328319B true CN109328319B (zh) 2021-03-26

Family

ID=60664617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780036954.XA Active CN109328319B (zh) 2016-06-13 2017-06-01 胶囊相机的透镜对准方法和设备

Country Status (3)

Country Link
US (1) US10638920B2 (zh)
CN (1) CN109328319B (zh)
WO (1) WO2017218206A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
US11375092B2 (en) * 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method
US11012598B2 (en) * 2019-08-23 2021-05-18 Asm Technology Singapore Pte Ltd Apparatus using reflective elements for aligning a lens module with an image sensor
CN113472995B (zh) * 2020-03-31 2022-12-06 深圳市安思疆科技有限公司 一种基于spad传感器接收模组的动态自动对焦系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503182A (ja) * 2001-01-16 2005-02-03 ギブン・イメージング・リミテツド 体腔の広域画像形成用のシステムおよび方法
JP2005128116A (ja) * 2003-10-22 2005-05-19 Seiko Precision Inc 光学モジュール
JP4396582B2 (ja) * 2005-02-03 2010-01-13 セイコーエプソン株式会社 光学装置の製造装置、およびその製造方法
JP2007304525A (ja) * 2006-05-15 2007-11-22 Ricoh Co Ltd 画像入力装置および電子機器および画像入力方法
US9007478B2 (en) * 2007-01-09 2015-04-14 Capso Vision, Inc. Methods to compensate manufacturing variations and design imperfections in a capsule camera
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
US9001187B2 (en) * 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
JP2014530581A (ja) * 2011-10-11 2014-11-17 ペリカン イメージング コーポレイション 適応光学要素を含むレンズスタックアレイ
US20140002674A1 (en) * 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US9638883B1 (en) * 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US20160014405A1 (en) * 2014-07-09 2016-01-14 Apple Inc. Method and apparatus for calibrating a camera

Also Published As

Publication number Publication date
US10638920B2 (en) 2020-05-05
CN109328319A (zh) 2019-02-12
US20190150717A1 (en) 2019-05-23
WO2017218206A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
US20240335094A1 (en) Endoscope system
US8535218B2 (en) Capsule endoscope
CN109328319B (zh) 胶囊相机的透镜对准方法和设备
JP6964592B2 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
EP1620012B1 (en) Panoramic field of view imaging device
US10708553B2 (en) Measurement support device, endoscope system, processor for endoscope system
US20120257030A1 (en) Endoscope apparatus and image acquisition method of the endoscope apparatus
JP7227011B2 (ja) 内視鏡
JP2006297093A (ja) Ｃｆａを含むインビボ撮像装置、インビボ撮像装置および外部受信ユニットを含むシステム、ならびにｃｆａを含む撮像装置
KR102632960B1 (ko) 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템
US12034904B2 (en) Endoscopic imaging systems for generating three dimensional images, and associated systems and methods
JP2015185947A (ja) 撮像システム
EP2719321B1 (en) Image pickup unit for endoscope and endoscope
CN110891471A (zh) 采用结构光提供生理特征尺寸测量的内窥镜
CN110811489A (zh) 一种具有3d测量功能的胶囊内窥镜及相应成像方法
JPH0820603B2 (ja) ビデオスコ−プ装置
US11051680B1 (en) Endoscope stereo imaging device
JP2019195643A (ja) 内視鏡システム
JPH0541901A (ja) 三次元計測用内視鏡装置
JP6901022B2 (ja) 撮像装置
EP4000494B1 (en) Imaging system, laparoscope and method for imaging an object
WO2016035366A1 (ja) 撮像システム
JP6549021B2 (ja) 内視鏡システム、及び計測装置の作動方法
KR20110035192A (ko) 입체 내시경 광학계

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant