Nothing Special   »   [go: up one dir, main page]

CN106662640B - 智能照明飞行时间系统和方法 - Google Patents

智能照明飞行时间系统和方法 Download PDF

Info

Publication number
CN106662640B
CN106662640B CN201580034052.3A CN201580034052A CN106662640B CN 106662640 B CN106662640 B CN 106662640B CN 201580034052 A CN201580034052 A CN 201580034052A CN 106662640 B CN106662640 B CN 106662640B
Authority
CN
China
Prior art keywords
light source
interest
view
field
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580034052.3A
Other languages
English (en)
Other versions
CN106662640A (zh
Inventor
温宗晋
J.科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106662640A publication Critical patent/CN106662640A/zh
Application granted granted Critical
Publication of CN106662640B publication Critical patent/CN106662640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

一种装置被描述为包括具有照明器的飞行时间相机系统。所述照明器具有光学部件和光源。所述光学部件和光源被设计以照明器的发射光功率上限基本上照亮在相机系统的视场中较小的区域，较小的区域基本上包含了在视场中关注的目标。

Description

智能照明飞行时间系统和方法
技术领域
本发明大体涉及相机系统，并且，更具体地，涉及智能照明飞行时间系统和方法。
背景技术
许多现有的计算系统包括一个或多个传统的图像捕获相机作为集成的外围设备。当前的趋势是通过集成深度捕获到它的图像部件而加强计算系统成像能力。深度捕获可以被用于，例如，执行各种智能目标识别功能，例如面部识别(例如安保系统解锁)或者手势识别(例如非接触式用户界面功能)。
一种被称为“飞行时间”成像的深度信息捕获方法从系统发射光到物体并且对图像传感器的多个像素中的每一个，测量光的发射和在传感器上的它的反射的图像的接收之间的时间。由飞行时间像素产生的图像对应于目标的三维轮廓，其以在每个不同的(x,y)像素位置的唯一的深度测量(z)为特征。
由于许多具有成像能力的计算系统本质上是可移动的(例如，笔记本电脑、平板电脑、智能手机等)，光源(“照明器”)集成到系统中以达成飞行时间操作呈现许多设计挑战，例如成本挑战、封装挑战和/或电源消耗挑战。
发明内容
描述了一种装置，其包括具有照明器的飞行时间相机系统。所述照明器具有光学部件和光源。所述光学部件和光源被设计以在照明器的发射光功率上限基本上照明在相机系统的视场中较小的区域，较小的区域基本上包含了在视场中的关注目标。
描述了一种装置，其包括用于在飞行时间相机的照明器的光功率上限，照明关注区域的手段，所述关注区域被成形为包含在飞行时间相机的视场中的关注目标，所述关注区域小于所述视场。装置还包括用于利用飞行时间测量技术确定在所述区域中的深度轮廓信息的手段。
附图说明
下述描述和附图被用于说明本发明的实施例。在附图中：
图1a(i)和1a(ii)涉及第一可能的智能照明特征；
图1b(i)、1b(ii)和1b(iii)涉及分区的智能照明方法；
图1c(i)和1c(ii)也涉及分区的智能照明方法；
图1d(i)和1d(ii)涉及另一可能的智能照明特征；
图1e示出了用于分区的视场的光源的实施例；
图2a到2e涉及在智能照明系统中的扫描；
图3示出了智能照明系统的实施例；
图4a到4c示出了智能照明方法的实施例；
图5示出了第一照明器实施例；
图6示出了第二照明器实施例；
图7示出了第三照明器实施例；
图8a和8b示出了第四照明器实施例；
图9示出了2D/3D相机系统；
图10示出了计算系统。
具体实施方式
智能照明飞行时间系统解决了在背景技术部分提到的一些设计挑战。如将要在下面讨论的，智能照明牵涉对飞行时间系统的发射光的任意或所有的尺寸、形状或移动的智能操作。飞行时间系统，以及特别地，集成在电池供电系统中的飞行时间系统，通常展现出在对能量供应的需求与对光信号的发射强度和接收强度的需求之间的权衡。
也就是说，随着照明光信号强度增长，接收到的光信号强度提高。更好的接收的光信号强度引起飞行时间系统的更好的准确性和性能。然而，支持更高的发射光信号强度引起更昂贵的电池解决方案和/或较大的电池寿命上的耗尽，这两者的任一个可以是在用户享受和/或具有飞行时间测量的系统的接受上的缺点。
智能照明通过聚集照明光功率到照明的较小的面积中而力争解决这个问题，所述照明的较小的面积被引导到相机视场中的关注区域上。通过聚焦光功率到照明的较小的面积中，接收的光信号强度和飞行时间系统性能被加强，而不必增加从电池汲取的能量。因此，前述用户察觉的缺点可以被可接受地最小化。
光的较小区域的使用牵涉将照明的较小的区域引导到相机视场中关注区域的能力。关注区域是，例如，小于相机视场的，并且就获得深度信息而言比视场中的其他面积优先级更高的在相机视场中的面积。关注区域的示例包括存在其深度信息是被期望的目标的区域或者之前进行的飞行时间测量产生差的接收信号强度的区域。
因此，在在视场中关注区域被识别之后，照明系统接收指示关注区域的信息并将光强度聚集在关注区域上。聚集光强度到关注区域可以牵涉在光照器的功率限度上或在光照器的功率限度附近发射光学光，但是将所述光主要引导到关注区域上。
第一示例包括，对于具有单一光源的照明器，在照明器的功率限度从光源发射光以及将光的较小的“光斑”聚焦在关注区域。第二示例包括，对于具有多个光源的照明器，在照明器的功率限度从其中一个光源发射光以使其他光源的光必需保持关闭以及将光束从照明光源引导到关注区域。
其他智能照明策略可以通过用比全照明器功率小的功率照明关注区域而利用较小的关注区域的照明。例如，如果关注区域足够小，有关区域的足够准确的信息可以是用比全照明器功率小的功率可得到的。
各种智能照明系统的可能的特征在下面详细的讨论。通常，然而，智能照明系统可以被设计为改变被照明区域的尺寸和形状两者或两者之一以便照明在相机视场中的关注目标。此外，智能照明系统可以被设计为改变被照明区域的位置，例如，通过在视场中扫描发射束。
如下面讨论的图1a到1d涉及改变被照明区域尺寸和形状的方面。相比之下，如下面讨论的图2a到2c涉及改变被照明区域位置的方面。
图1a(i)和1a(ii)说明被照明区域的尺寸可以在将被照明的关注目标的视图中被调整。也就是说，在图1a(i)的第一情形111中，第一、较小的关注目标102在相机的视场101中消耗较小的面积。因此，由照明器发射的关注的被照明区域103的尺寸被收缩到包含较小的关注目标102。相比之下，在图1a(ii)的情形112中，第二、更大的关注目标104在相机的视场101中消耗较大的面积。因此，由照明器发射的关注的被照明区域105被扩展到包含较大的关注目标104。
被照明区域103、105的尺寸的收缩和扩展可以，例如，用具有可移动光学部件(例如，可移动光源、可移动透镜、可移动反光镜等)的照明器实现。在照明器中的光学部件的被控制的移动可以被用于可控地设定被照明区域的尺寸。具有可移动光学部件的照明器的示例进一步在下面关于图5a到5c被更详细地讨论。
可替代地，如图1b(i)和1b(ii)所示，视场101可以被分区成不同的部分，所述部分可以单独地被照明(例如，如图1b(i)所示，视场被分区成九个不同的部分106_1到106_9)。如图1b(i)的情形121中所示，较小的关注目标107通过照明分区中的一个分区(分区106_1)而被照明。相比之下，如图1b(ii)的情形122中所示，较大的关注目标109通过照明分区中的四个分区(分区106_1、106_2、106_4和106_5)而被照明。因此，图1b(ii)的被关注的被照明区域110明显大于图1b(i)的被关注的被照明区域108。
参照图1b(ii)注意到整个的视场可以通过同时照明所有分区，或者，通过接连单独地照明每个分区(或两种方法的某种混合)而被照明。前种方法易于引发更弱的接收光信号。后种方法可以用在单独被照明的分区上更高的光聚集执行，但是以扫描视场需要的时间为代价。这里，接连照明每个分区对应于扫描的形式。扫描进一步在下面关于图2a到2e更详细地描述。
在视场中被分区的区域的照明可以用分区的光源实现。图1b(iii)描绘了示例性的被分区的照明器光源117的顶视图(向照明器的表面的里面看)，所述照明器光源117具有九个单独的光源113_1到113_9。在各种实施例中，每个单独的光源实施为垂直腔侧发射激光器(VCSELs)或发光二极管(LEDs)并且负责照明特定分区。所有单独光源113_1到113_9可以集成，例如，在相同的半导体芯片上。在一实施例中，每个单独的光源被实施为光源器件(VCSELs或LEDs)的阵列使得整个的光照器功率预算可以用在只照明单一区域(在这种情况下，其他区域的单独的光源必须关闭)。
如果照明器光源117被用于图1b(i)的情形121，单独的光源113_1将被开启以照明分区106_1。相比之下，如果照明器光源117被用于图1b(ii)的情形112，单独的光源113_1、113_2、113_4和113_5将被开启。更多有关具有分区的视场的照明器的细节和对应的光源实施例进一步在下面更详细地描述。
图1c(i)示出了另一个分区方法，其中分区本身不全是相同的尺寸。也就是说，存在具有不同尺寸的不同分区。由于不同尺寸的分区，被照明区域的尺寸可以通过依次照明不同尺寸的分区而改变。例如，如果只有较小的分区被照明并且然后只有较大的分区被照明，则被照明区域的尺寸将扩展。图1c(i)的分区方法的示例性的光源119如图1c(ii)所示。注意照明较大分区的单独的光源比照明较小分区的单独的光源具有较大的潜在的光学功率输出(例如，通过具有更多VCSELs或LEDs所说明的)。
注意，对相同发射光功率，被照明区域的尺寸的扩展和/或收缩(无论通过非分区的还是分区的原理)牵涉在被照明区域的尺寸和接收信号的强度之间的权衡。也就是说，对于相同的发射光功率，较小的被照明区域对应于较强的接收信号强度。相比之下，再对于恒定的发射光功率，较大的被照明区域对应于较弱的接收信号强度。
如果较大的被照明区域尺寸被期望但是在接收信号强度上无损失，则存在另一在被照明区域尺寸和将要被照明器消耗的功率的量之间的权衡。也就是说，为了增加被照明区域的尺寸但保持接收光信号强度，照明器(没有如下述的任何扫描)通常将需要发射更强的光，其将导致照明器消耗更多能量。
一些智能照明系统可以被设计为在图像传感器保持最小接收光信号强度。在关注的被照明区域收缩的情况下，光强度可以被降低，因为每单位照明表面积的足够强的光强度仍可以被保持。相反地，照明器功率可以随着关注区域的尺寸扩展而增大。
此外，在关注区域较小的情况下，因为将被照明的目标更远，发射光强度可以只稍微降低、保持恒定或甚至提高，因为接收光信号通常与从反射目标距相机的距离成反比。因此，当确定合适的照明器光功率时，智能照明系统除了考虑关注目标的尺寸还可以考虑它的距离。当设定照明特性时智能照明系统可以考虑的因素的更充分的讨论在下面关于图3被更详细地描述。
在各种实施例中，被照明区域的形状可以改变。图1d(i)示出了第一情形131，当指向束(pointed beam)被指向视场中间时，指向束基本上为圆形，但是，如图1d(ii)的情形132所示，当相同的束被指向被照明区域的视场的角时，指向束变为形状更加地椭圆。指向束的移动，如将在下面更详细地讨论的，可以用具有可移动光学部件的照明器实现。
图1e示出了用于分区视场方法的光源的实施例，其分区本身具有不同的形状。因此，只照明具有第一形状的第一分区，然后只照明具有第二、不同形状的第二分区，将对应地在视场中产生改变形状的被照明区域。
上面描述的图1a到1e涉及智能照明系统，所述智能照明系统可以随着系统试图适当地照明出现在飞行时间相机系统视场中的不同的关注目标而改变被照明区域的尺寸和/或形状。
相比之下，图2a到2c涉及在相机视场中的发射光的扫描。扫描牵涉为了捕获比被照明区域本身的尺寸大的全部的关注区域，随着时间接收照明的区域的智能改变。这里，从上面的图1a到1e回顾，随着关注区域的扩展，为了保持足够强的照明和对应的接收信号强度，发射光强度可能不得不增大。可以想象，一些关注区域可以足够大，其适当的发射光强度超过期望或允许的照明器光预算。
扫描有助于在较大的关注区域上保持或增强接收信号强度，但是发射光功率强度没有对应增大。也就是说，例如，通过在较大的关注区域上扫描照明的较小的“点”，即使用只足够照明较小的点的光功率，对于较大的关注区域，深度信息可以被收集。
图2a示出了如刚刚上面所述的扫描的示例。如图2a所示，较大的关注目标205通过扫描较小的被照明区域照明，所述扫描最初从在时间T1的位置206到在时间T2的位置207并且然后到在时间T3的位置208并且最后在时间T4的位置209。图2a的扫描可以例如用具有移动的光学部件的照明器来实现，所述光学部件能够在视场中以扫描运动指向或扫掠光束。
可替代地或结合地，如图2b所示，扫描可以用分区照明系统通过以开启和关闭序列照明不同的分区达成。也就是说，如图2b所示，第一分区211在时间T1被照明。紧接着，在时间t2，第一分区211被关闭，并且第二分区212被开启。对于第三和第四分区213、214，类似的序列紧接着在时间t3和t4发生。于是，在所有四个分区中的关注区域可以在时间t1到t4被照明。
图2c示出了扫描可以是不连贯的。也就是说，图2a和2b的实施例假设下一个在扫描中将被照明的区域是与之前刚刚被照明的区域相邻的。相比之下，图2c说明了扫描可以包括照明不相邻的两个分开的区域。这里，在时间T1，第一区域221被照明。然后，在时间T2，第二区域222被照明，所述两个区域在视场中相互不相邻。不连贯的扫描可以被执行，例如，当“关注区域”包括在需要照明的视场中的两个或更多不同的、非相邻的面积或事项。不连贯扫描可以用分区以及非分区照明策略执行。
注意，图2c的示例还示出，被照明区域的尺寸可以在扫描序列上改变(被照明区域222比被照明区域221大)。在扫描的过程中改变被照明区域尺寸不限于不连贯扫描并且可以是例如上面讨论的图2a和2b的连续扫描的特征。在分区扫描的情况下，改变被照明区域的尺寸是可能的，例如通过首先转到第一分区并且然后转到多个分区。
图2d进一步示出了某分区的智能照明系统可以被设计为在分区中执行扫描。也就是说，照明器可以既具有分区的光源又具有可移动光学部件，使得在分区中较小的束在分区的表面积中被扫描以有效地照明分区。如图2d所示，比分区尺寸较小的照明“点”在左上分区中被扫描以有效地照明左上分区。通过连续地或同时扫描每个分区(如在下面进一步关于图2e的讨论)或两种方法的某种混合，整个的视场可以被扫描。
如上面讨论的，各种照明器实施例能够改变被照明区域的尺寸(通过改变发射光的束的横截面)，同时其他照明器实施例涵盖分区的方法，其中视场被分区并且照明器能够单独地照明每个分区。图2d的方法可以被集成到具有这两个特性的照明器中。也就是说，可以想象，其设计支持改变被照明区域尺寸的照明器可以构想地形成束，所述束足够大以照明整个分区，并且还形成束，所述束比整个分区小使得它可以在分区中扫描。
图2e示出了另一分区扫描方法，其中相应的分区同时用它们自己相应的光束扫描。在一实施例中，照明器被设计为不仅同时将分开的光束引导到每个分区还能够扫描光束。能够同时扫描在视场中的多个分区的照明器设计的实施例在下面进一步地被更详细地描述。
注意，虽然图2d的实施例针对分区的方法，其他实施例可以在区域上扫描，在所述区域中照明器设计不完全包括分区的设计(例如，特定的光束可以被引导到视场中的任何地方)。然而，同时的多束的扫描包括每条束，所述每条束具有在其中扫描的其自身相应的区域。这样的区域可以被视为在同时多束扫描序列中的分区。
在上面讨论的图2a到2e的任何扫描方法，可以引入在收集关注区域的飞行时间信息所用的时间和关注区域大小之间的权衡。也就是说，对于恒定的被照明区域尺寸(例如，“点尺寸”)，随着将要被照明的被关注的区域的尺寸增长，将会消耗更多扫描时间。反之，如果关注的区域增长，扫描时间可以通过增加照明的尺寸而降低，但是以增长的发射光功率(如果每单位面积光强度被保持)或者接收信号强度(如果每单位面积光强度被允许降低)为代价。
图1a到1e和2a到2d的讨论着重说明了在智能系统中存在的一些基本权衡，例如：1)在被照明区域尺寸和接收信号强度之间的权衡；2)在接收信号强度和照明器功率消耗之间的权衡；3)在被照明区域尺寸和扫描时间之间的权衡；4)在照明器功率和关注目标和相机之间的距离之间的权衡。另外的权衡可以包括关注目标的反射和发射光功率之间的权衡。这里，一般的飞行时间照明器将发射红外(IR)光。如果将被照明的关注目标基本上反射IR光，照明器可以发射较小的光功率。相比之下，如果将被照明的关注目标没有特别好地反射IR光，照明器可以增加它的发射光功率。
哪种权衡和/或哪个方向和任意特定的权衡应该有多重要应该是围绕任意特定的照明情形的特定的环境的函数。
例如，考虑将要被照明的关注目标具有适中的尺寸并且远离相机。这里，如果可用的功率预算大并且期望在短时间内完成读取，智能照明控制系统可以选择用高照明器功率完全地照明目标区域而不进行任何扫描。相比之下，在另一情况下，其中关注的物体大并且接近相机，但是可用的功率预算小并且缺乏马上完成读取的需要，相同的智能照明系统可以选择形成较小的被照明区域并且在关注的区域上扫描它。
从这些例子，应该清楚的是，智能照明系统可以在用特定的被照明区域大小、照明器功率和是否发生任何扫描，照明特定关注区域之前考虑周围的情况。
图3示出了智能照明技术301集成到例如手持平板或智能手机的工作计算系统中。这里，智能照明技术可以，例如，在用于包括飞行时间测量能力的集成相机设备的设备驱动软件和/或固件中部分或全部地实施。软件/固件可以，例如，在计算系统的非易失性存储器中(例如，FLASH固件或系统存储器中)被存储。
如图3所示，智能照明技术软件/硬件可以被实现为方法的系统，所述方法的系统被设计为被给定对应于深度轮廓图像捕获序列的周围情况的一组输入信号在前述权衡中寻求适当的平衡。
如图3所示，智能照明方法301可以从主系统302接收一个或多个下列输入参数：1)关注目标(其可以具体为目标是什么(例如手、脸等)和/或目标位置的特性和/或在视场中的形状)；2)飞行时间测量有多么时间紧急(它需要被执行得多块)；和3)飞行时间系统和/或它的照明器的功率预算(例如，具体为最大允许功率)。产生这些输入参数的主系统302的部件可以包括智能目标识别软件应用和/或硬件逻辑电路部件(例如，用于面部识别、手识别等)。主系统302的能量管理软件、固件和/或硬件可以产生功率预算输入信息。
智能照明方法301还可以从相机系统303b自身接收输入信息，例如：1)关注目标与相机之间的距离；2)关注目标的反射性；3)关注目标的位置和/或形状；4)背景光的强度。由相机提供的任何输入参数可以在目标的(或者大体上说，视场)最初照明之后被提供。也就是说，例如，作为对来自主系统302的输入的最初响应，飞行时间系统可以最初照明目标和/或视场作为第一遍。从所述第一遍收集的数据然后被呈现给智能照明方法301使得它们可以根据哪个区域被照明和发射光应该多强而更好地优化目标的捕获。
为了产生对相机303b图像捕获控制命令，智能照明方法301用可应用的输入参数有效地确定哪种权衡控制和/或哪个方向和任何特定的权衡应该有多重要，所述控制命令指定什么区域被照明、发射光的强度、是否应用任何扫描和例如如果应用，可应用的扫描参数(例如扫描时间、扫描速度、扫描图案等)。
图4a到4c示出了图3的智能照明方法301可以被设计以执行的方法的另一实施例。如图4a所示，最初，例如基本上覆盖了相机的视场401的大面积410首先由飞行时间照明器照明。在一些实施例中，如图4a所示，大面积410可以对应于整个视场401。在其他实施例中，大面积410可以对应于大部分但是小于整个视场401(例如大约视场410的33％、50％、60％、75％)。这里，注意，在视场401中大面积410的照明可以对应于更弱的接收光强度，因为发射的照明在更宽的表面积上被“铺展”。
接收反射光的图像传感器包括测量在每个像素接收信号强度相对某阈值的电路(例如感测放大电路)。那些在弱光强度接收光的像素被识别(例如其接收光强度降低到阈值以下的像素被识别)。在许多情况下，如图4b所示，预期的是，相邻的像素组将降低到阈值以下，这进而对应于在视场401中的接收弱光信号的区域411的识别。
这里，图3的智能照明方法301可以接收所有图像传感器的像素的信号强度信息并且应用阈值以确定区域411的尺寸和位置，或者，可替代地，可以只接收从降低到阈值以下的像素的特性并且从它们确定区域411。在识别弱信号区域411时，智能照明方法将如图4c所示进行到以给飞行时间照明器指定指令以重照明这些相同区域411。
用更多聚集的光执行重照明以“提高(boost)”引导到区域411的光强度。所述聚集通过形成照明光的较小的区域(相较于照明整个视场)来实现，所述照明光，例如，具有与当视场被充溢时发射的照明器强度相同的量。利用更强的光对这些区域的重照明，飞行时间测量应该被完成，在于之前接收弱光信号的像素现在将接收足够强的光信号。
在具有可移动光学部件的照明器的情况下，需要重照明的视场的部分可以通过移动一个或多个光学部件以将光束引导到每个区域上而被重照明。在具有分区视场的照明器的情况下，需要重照明的视场的部分通过照明他们对应的分区而重照明。在一个实施例中，被用于最初照明整个视场的光功率的相同的总量可以与被用于只照明被重照明的分区的功率总量相同。
图5到8a、b提供了照明器不同的实施例，所述实施例能够执行上述智能照明技术。
图5示出了具有用于调整被照明区域尺寸(通过在光源上垂直移动透镜)以及扫描照明区域或者至少将照明引导到相机的视场内的任意面积(通过在光源上使透镜平面倾斜)的可移动透镜组件501、502的照明器的实施例。
如图5所示，光源503位于透镜501下方，并且，当照明时，发射光通过透镜传播，并进入相机的视场。光源503例如可以被实施为具有红外(IR)VCSELs或LEDs阵列的半导体芯片。阵列的使用有助于“增大”最大光输出功率，其大致与NL共同延伸地进行，其中，N是在阵列中VCSELs/LEDs的数量并且L是每个VCSELs/LEDs的最大输出功率。在一实施例中，在阵列中的所有VCSELs/LEDs接收相同的驱动电流，使得每个VCSELs/LEDs发射的光功率大约与在阵列中的其他VCSELs/LEDs相同。光输出功率通过控制驱动电流的大小而控制。
各具有弹簧复位件533、534的一对音圈马达531、532被用作致动器以限定沿透镜501的外边沿的两个点的每个的垂直位置。透镜501关于y轴的倾斜角度基本上由第一马达531对它的复位弹簧533施加的力限定。透镜502关于x轴的倾斜角度基本上由第一马达532对它的复位弹簧534施加的力限定。从这些基本的情形，透镜的任意倾斜角可以被建立为由马达施加的对应的力以及由弹簧施加的反作用力的函数。透镜支撑件501与复位弹簧的相对侧上可以存在铰链销或球关节，例如，以允许透镜支撑件501绕x和y轴枢转。
此外，透镜501的垂直位置可以通过相等地致动两个马达531、532建立。也就是说，如果两个马达531、531均向外伸出相等的量，透镜将在+z方向被抬高。相应地，如果两个马达531、531均向内凹陷相等的量，透镜将在-z方向被降低。替代上述铰链销或球关节，一个或多个另外的音圈致动器可以沿透镜支撑件502的外周被定位以进一步稳定透镜的倾斜角度和垂直定位两者(例如三个120°间隔分开的致动器，四个90°间隔分开的致动器等)。
图6示出了具有可移动光源603的照明器。光源本身可以实施为上面关于图5讨论的光源503。在图6的方法中，透镜组件定位基本上保持固定，但是光源安装在其上的平台或基底610是根据上面关于图5的透镜支撑件502讨论的相同的原则可移动的。也就是说，音圈马达致动器和复位弹簧对631/633、632/634可以被用于实现平台610关于x和y轴两者或两者之一的倾斜角度。改变平台的倾斜角度改变了发射光到透镜中的入射角度，其转而将改变从透镜发射到相机视场中的光束的指向方向。
第三音圈致动器和复位弹簧对(未示出)可以耦合在除了音圈致动器和复位弹簧对631/633、632/634被定位的两个边沿的平台610的边沿上以实现平台610沿z轴的移动，其转而将影响在相机视场中被照明区域的尺寸(点尺寸)。
图7示出了另一照明器实施例，其中光源712固定在机械臂713的下侧，所述机械臂713以一角度取向，光源以该角度定位以将光引导到安装在可移动平台710上的反射镜714。透镜和透镜支撑件在反射镜上方的位置被固定，使得从反射镜表面反射的光通过透镜传播到相机的视场中。光源可以如上面关于图5和6所讨论的被实施。
一组音圈马达致动器和复位弹簧对731/733、732/734可以被用于实现平台710关于x和y轴两者或两者之一的倾斜角度。改变平台710的倾斜角度改变了发射光到透镜中的入射角度，其转而将改变从透镜发射到相机视场中的光束的指向方向。
第三音圈致动器和复位弹簧对(未示出)可以耦合在除了音圈致动器和复位弹簧对731/733、732/734被定位的两个边沿的平台710的边沿上以实现平台710沿z轴的移动，其转而将影响在相机视场中光照区域的尺寸(点尺寸)。
图6和7的照明器设计的任一个可以被加强以包括如图5中讨论的可移动透镜布置。向图6和图7的设计中加入可移动透镜能力可以，例如，提供更快的扫描时间和/或从照明器的较大的发射角度。图6和7的每个可移动平台610、710可以实施为微机电(MEM)设备以将光源(图6)或反射镜(图7)放置在xy平面上的任意位置。
图8a和8b示出了照明器的实施例，所述照明器被设计成单独地照明视场中不同的分区。如图8a和8b中所示的，照明器801包括具有用于视场中每个分区的光源阵列806_1到806_9的半导体芯片804。虽然图8a和8b的特定的实施例示出了以正交网格布置的九个视场部分，分区的其他数量和/或布置可以被使用。类似地，虽然每个光源阵列被描绘为相同尺寸的NxN方块阵列，在相同半导体管芯上包括不同尺寸和/或形状的阵列的其他阵列图案和/或形状可以被使用。每个光源阵列106_1到106_9可以被实施为，例如，VCSELs或LEDs阵列。
根据图8a和8b，在一实施例中，照明器801还包括光学元件807，所述光学元件807在面对半导体芯片804的底面上具有微透镜阵列808并且具有用于每个分区的具有不同透镜结构805的发射表面以将从它的特定的光源阵列接收的光引导到它的对应的视场分区。微透镜阵列808的每个透镜基本表现为较小的物镜，其收集来自下侧的光源的发散光并且当光接近发射表面时在光学元件内部将光成形成较小的发散。在一个实施例中，微透镜被分配给下侧的光源阵列的每个光源并且与下侧的光源阵列的每个光源对齐，虽然其他的实施例可以存在，在所述其他实施例中，对于任意特定阵列，每个光源有更多或更少的透镜。
微透镜阵列808通过捕获大部分从下侧的激光器阵列发射的光学光和形成更聚集的束而加强光学效率。这里，各种阵列的单独的光源一般具有宽的发射光发散角度。微透镜阵列808能够从阵列的光源收集大部分或所有发散的光并且有助于形成具有较小发散角的发射光束。
从光源阵列收集大部分或所有光并且形成更低发散角的束基本上形成更高的光功率束(也就是说，每单位表面积的光强度增大)，引起在传感器对于被所述束照明的关注区域的更强的接收信号。根据计算，如果从光源阵列的发散角度是60°，降低发射束的发散角度到30°将以4.6的系数提高在传感器处的信号强度。降低发射光的发散角度到20°将以10.7的系数提高在传感器处的信号强度。
此外，光学元件807可以被设计成提供被收集光的进一步扩散，这通过，例如，用在IR光谱中为半透明的材料构建元件807和/或另外设计元件807内的光学路径以施加散射内反射(例如将元件807构造为多层结构)。如上面简要提到的，光学元件807的发射表面可以包括独特的透镜结构805，每个透镜结构805被成形为将光引导到它的正确的视场分区。如图8a和8b的实施例所示，每个透镜结构805具有圆凸形状。其他实施例可以具有，例如更锐利的梯形形状或者根本没有结构。
与上面关于图5、6和7提供的讨论一致，光学元件807还可以为可移动的，这例如通过机械地耦合，例如两个或三个音圈马达致动器和复位弹簧对来实现。通过设计光学元件807为可移动的，如上面关于图2d讨论的在分区中扫描单一束可以通过以扫描运动移动光学元件807同时只照亮与被扫描的分区相关联的光源而达到。此外，如图2e所示的多个分区的同时扫描可以通过照亮每个分区的相应的光源和以扫描运动移动光学元件807被实现。
图9示出了集成的传统相机和飞行时间图像系统900。系统900具有用于与例如较大的系统/主板电连接的连接器901，所述较大的系统/主板例如台式电脑、平板电脑或智能手机的系统/主板。根据布局和实施方式，连接器901可以连接于例如与系统/主板进行实际连接的柔性电缆，或连接器901可以直接与系统/主板进行连接。
连接器901固定于平面板902，所述平面板902实施为交替的导电层和绝缘层的多层结构，其中导电层被构图以形成支持系统900的内部电连接的电子迹线。通过连接器901，命令从较大的主系统被接收，所述命令例如在相机系统900中向配置寄存器写入配置信息或从配置寄存器读取配置信息的配置命令。此外，命令可以为例如由上述关于图3讨论的智能技术方法301提供的任何输出的与智能照明技术系统关联的任何命令。
RGBZ图像传感器903在接收透镜904下被安装于平面板902。RGBZ图像传感器903包括具有RGBZ单位像素单元的像素阵列。所述RGB像素单元被用于支持传统“2D”可见光捕获(传统的图片采集)功能。Z像素单元对IR光敏感并且被用于利用飞行时间技术支持3D深度轮廓成像。虽然基本的实施例包括用于可见图像捕获的RGB像素，其他的实施例可以使用不同的彩色像素策略(例如，青色、品红色和黄色)。
图像传感器903还可以包括用于数字化来自图像传感器的信号的ADC电路以及用于产生用于像素阵列和ADC电路的计时和控制信号的计时和控制电路。
平面板902可以包括信号迹线以将由ADC电路提供的数字信息传送给连接器901以被主计算系统的更高端的组件处理，所述主计算系统的更高端的组件例如图像信号处理流水线(例如，其被集成在应用处理器上)。
相机透镜模块904被集成在RGBZ图像传感器903之上。相机透镜模块904包含一个或多个透镜的系统以聚焦接收到的光到图像传感器903。因为相机透镜模块904接收可见光可能干扰图像传感器的飞行时间像素单元接收IR光，并且，反之，因为相机模块接收IR光可能干扰图像传感器的RGB像素单元接收可见光，图像传感器的像素阵列和透镜模块903两者或两者之一可以包含滤光片系统，所述滤光片系统被布置为基本上阻挡将由RGB像素单元接收的IR光以及基本上阻挡将由飞行时间像素单元接收的可见光。
与如在上面的讨论中解释的，与智能照明技术一致的能够在视场中照明特定区域的照明器被安装在平面板902上。照明器905可以被实施为，例如，上面关于图5到图8a、b讨论的任意照明器。光源驱动器被耦合于照明器的光源907以导致它发射具有特定强度和调制波形的光。
在一实施例中，图9的集成的系统900支持三种操作模式：1)2D模式；2)3D模式；和3)2D/3D模式。在2D模式的情况下，系统表现为传统相机。因此，照明器905被禁用并且图像传感器被用于通过它的RGB像素单元接收可见图像。在3D模式的情况下，系统在照明器905的视场下捕获目标的飞行时间深度信息。因此，照明器905被启用并且发射IR光(例如开启-关闭-开启-关闭…序列)到目标上。所述IR光从物体反射，通过相机透镜模块1504接收并且由图像传感器的Z像素感测。在2D/3D模式的情况下，上述2D模式和3D模式两者同时被激活。
图10示出了例如个人计算系统(例如台式机或笔记本)或者移动或手持计算系统的示例性计算系统1000的描绘，所述移动或手持计算系统例如平板设备或智能手机。如图10所示，基本计算系统可以包括设置在应用处理器或多核处理器1050上的中央处理单元1001(其可以包括例如多个通用处理核)和主存储器控制器1017、系统存储器1002、显示器1003(例如触屏、平板)、局部有线点对点连接(例如USB)接口1004、各种网络I/O功能1005(例如以太网接口和/或蜂窝调制解调子系统)、无线局域网络(例如WiFi)接口1006、无线点对点连接(例如蓝牙)接口1007和全球定位系统接口1008、各种传感器1009_1到1009_N、一个或多个相机1010、电池1011、电源管理控制单元1012、扬声器和麦克风1013以及音频编码器/解码器1014。
应用处理器或多核处理器1050可以包括在它的CPU 1001中的一个或多个通用处理核1015、一个或多个图形处理单元1016、主存储器控制器1017、I/O控制功能1018和一个或多个信号处理器流水线1019。通用处理核1015一般执行计算系统的操作系统和应用软件。图形处理单元1016一般执行图形密集型函数(graphics intensive functions)以，例如产生在显示器1003上呈现的图形信息。存储控制功能1017与系统存储器1002相接口。图像信号处理流水线1019从相机接收图像信息并处理原始图像信息供下游使用。能量管理控制单元1012通常控制系统1000的能量消耗。
每个触屏显示器1003、通信接口1004-1007、GPS接口1008、传感器1009、相机1010和扬声器/麦克风编码解码器1013、1014相对于在适当的情况下还包括集成的外围设备(例如一个或多个相机1010)的整个计算系统，都可以被视为各种形式的I/O(输入/输出)。根据实施方式，这些I/O部件中的各种I/O部件可以被集成在应用处理器/多核处理器1050上或者可以被定位在管芯(die)外或者应用处理器/多核处理器1050的封装外部。
在一实施例中，与在上面的讨论中被解释的智能照明技术一致，一个或多个相机1010包括能够在相机视场中照明特定区域的照明器。在应用处理器或其他处理器的通用CPU核(或者具有指令执行流水线以执行程序代码的其他功能块)上执行的应用软件、操作系统软件、设备驱动器软件和/或固件可以将智能照明命令或其他命令指向到相机系统和从相机系统接收图像数据。可以通过相机1010接收的其他命令包括上面讨论的用于进入2D、3D或2D/3D系统状态中的任一状态或从上述2D、3D或2D/3D系统状态中任一状态出来的命令。
智能照明技术本身可以被部分或全部地实施为下列中的任意一个或多个：1)在通过处理核上运行的软件；2)系统固件(例如BIOS固件)；3)专用逻辑电路(例如设置在下列中的一个或多个：相机1010上，集成在ISP 1090中；与I/O或外围控制器1080集成)。如上面讨论的智能照明技术可以从能量管理控制单元接收输入信息，所述能量控制单元本身可以被部分或全部地用一个或多个在通用处理核、系统固件、专用逻辑电路等上运行的软件实施。
本发明的实施例可以包括如上所述的各种过程。所述过程可以在机器可执行指令中体现。所述指令可以被用于引起通用或专用处理器执行某个过程。可替代地，这些过程可以由包含用于执行所述过程的硬连线逻辑的特定硬件部件执行或通过编程的计算部件和定制硬件部件的任意结合执行。
本发明的元件还可以提供为用于存储机器可执行指令的机器可读介质。所述机器可读介质可以包括，但是不限于，软磁盘、光盘、CD-ROMs、和磁光盘、FLASH存储器、ROM、RAM、EPROM、EEPROMs、磁性或光学卡、传播介质或用于存储电子指令的其他类型的介质/机器可读介质。例如，本发明可以作为计算机程序下载，所述计算机程序可以通过数据信号的方式从远程计算机(例如服务器)传送到请求计算机(例如客户机)，所述数据信号经由通信连接(例如调制解调或网络连接)以载波或其他传播媒介实现。
在前述说明书中，发明已经参考在其中的特定的示例性实施例被描述。然而，显而易见的是，在不脱离如在所附权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (17)

1.一种用于照明的装置，包括：
具有照明器的飞行时间相机系统，所述照明器具有光学部件、光源和图像传感器，
其中，所述装置被配置为：
使用飞行时间相机的照明器以光功率照明所述飞行时间相机的视场的一部分；
接收与降低到阈值以下的关注区域对应的图像传感器的像素的特性；
使用飞行时间相机的照明器以相同的光功率重照明所述关注区域，所述关注区域被成形为包含在所述飞行时间相机的视场之内的关注目标，所述关注区域比所述视场的所述部分小；以及
在被重照明的关注区域上使用飞行时间测量技术确定所述区域中的深度轮廓信息，
其中所述相机系统被配置为扫描所述视场或所述目标。
2.如权利要求1所述的装置，其中所述区域的尺寸可改变成较大尺寸的区域，并在照明所述较大尺寸的区域时，上部发射光功率范围被保持。
3.如权利要求1所述的装置，其中所述视场被预先限定成许多分区，所述区域对应于所述分区中的一个。
4.如权利要求3所述的装置，其中所述光源包括多个光源设备，在只有所述区域基本上被照明时，每个所述光源设备被照明。
5.如权利要求1所述的装置，其中所述光源包括多个光源设备，在只有所述区域基本上被照明时，每个所述光源设备被照明。
6.如权利要求5所述的装置，其中所述区域是所述照明器能够照明的最小尺寸的区域。
7.如权利要求1所述的装置，其中所述光学部件机械地耦合于电动设备，使得所述光学部件的位置相对于所述光源是可移动的。
8.如权利要求7所述的装置，其中所述光源的位置被相对于所述照明器固定。
9.如权利要求7所述的装置，其中所述光源部件包括下列中的任一个：
透镜；
反射镜。
10.如权利要求1所述的装置，其中所述光学部件机械地耦合于电动设备，使得所述光源的位置相对于所述光源是可移动的。
11.一种用于照明的方法，包括：
使用飞行时间相机的照明器以光功率照明所述飞行时间相机的视场的一部分；
接收与降低到阈值以下的关注区域对应的图像传感器的像素的特性；
使用飞行时间相机的照明器以相同的光功率重照明所述关注区域，所述关注区域被成形为包含在所述飞行时间相机的视场之内的关注目标，所述关注区域比所述视场的所述部分小；以及
在被重照明的关注区域上使用飞行时间测量技术确定所述区域内的深度轮廓信息，
其中所述相机被配置为扫描所述视场或所述目标。
12.如权利要求11所述的方法，其中所述视场被预先限定成许多分区，所述区域对应于所述分区中的一个。
13.如权利要求12所述的方法，其中所述照明包括从多个光源设备发射红外光，在只有所述区域基本上被照明时，每个所述光源设备被照明。
14.如权利要求11所述的方法，其中所述照明包括从多个光源设备发射红外光，在只有所述区域基本上被照明时，每个所述光源设备被照明。
15.如权利要求11所述的方法，其中所述区域是所述照明器能够照明的最小尺寸的区域。
16.如权利要求11所述的方法，进一步包括照明在所述视场中不同的区域。
17.一种计算系统，包括：
应用处理器，具有多个处理核和存储控制器，系统存储器耦接至存储控制器；以及
根据权利要求1-10任一项所述的装置。
CN201580034052.3A 2014-12-22 2015-11-04 智能照明飞行时间系统和方法 Active CN106662640B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/578,959 2014-12-22
US14/578,959 US20160178991A1 (en) 2014-12-22 2014-12-22 Smart illumination time of flight system and method
PCT/US2015/058945 WO2016105668A1 (en) 2014-12-22 2015-11-04 Smart illumination time of flight system and method

Publications (2)

Publication Number Publication Date
CN106662640A CN106662640A (zh) 2017-05-10
CN106662640B true CN106662640B (zh) 2022-11-29

Family

ID=56129237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580034052.3A Active CN106662640B (zh) 2014-12-22 2015-11-04 智能照明飞行时间系统和方法

Country Status (4)

Country Link
US (1) US20160178991A1 (zh)
EP (1) EP3238430A4 (zh)
CN (1) CN106662640B (zh)
WO (1) WO2016105668A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992396B1 (en) 2015-02-02 2018-06-05 Apple Inc. Focusing lighting module
KR102406327B1 (ko) * 2016-02-02 2022-06-10 삼성전자주식회사 출력 장치를 제어하는 방법 및 장치
WO2018100082A1 (en) * 2016-11-30 2018-06-07 Sony Semiconductor Solutions Corporation Apparatus and method
US20180224100A1 (en) * 2017-04-03 2018-08-09 Robe Lighting S.R.O. Follow Spot Control System
US10678220B2 (en) 2017-04-03 2020-06-09 Robe Lighting S.R.O. Follow spot control system
EP3607353B1 (en) * 2017-04-05 2023-03-01 Telefonaktiebolaget LM Ericsson (PUBL) Illuminating an environment for localisation
JP7042582B2 (ja) * 2017-09-28 2022-03-28 株式会社東芝 撮像装置及び撮像装置の距離算出方法
DE102017222970A1 (de) 2017-12-15 2019-06-19 Ibeo Automotive Systems GmbH LIDAR Messsystem
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
US11831906B2 (en) * 2019-01-02 2023-11-28 Hangzhou Taro Positioning Technology Co., Ltd. Automated film-making using image-based object tracking
CN110995992B (zh) * 2019-12-04 2021-04-06 深圳传音控股股份有限公司 补光装置、补光装置的控制方法及计算机存储介质
CN111025329A (zh) * 2019-12-12 2020-04-17 深圳奥比中光科技有限公司 一种基于飞行时间的深度相机及三维成像方法
EP4130649A4 (en) * 2020-04-01 2024-04-24 LG Electronics, Inc. MOBILE TERMINAL AND ASSOCIATED CONTROL METHOD
US11108957B1 (en) * 2020-06-17 2021-08-31 Microsoft Technology Licensing, Llc Low power operation of differential image sensor pixels
JP2023003094A (ja) * 2021-06-23 2023-01-11 ソニーセミコンダクタソリューションズ株式会社 測距装置および方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
US20140055771A1 (en) * 2012-02-15 2014-02-27 Mesa Imaging Ag Time of Flight Camera with Stripe Illumination
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7515822B2 (en) * 2006-05-12 2009-04-07 Microsoft Corporation Imaging systems' direct illumination level adjusting method and system involves adjusting operation of image sensor of imaging system based on detected level of ambient illumination
KR101184170B1 (ko) * 2007-04-20 2012-09-19 소프트키네틱 에스.에이. 볼륨 인식 방법 및 시스템
US8081797B2 (en) * 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US9361502B2 (en) * 2014-07-31 2016-06-07 Symbol Technologies, Llc System for, and method of, controlling target illumination for an imaging reader

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
US20140055771A1 (en) * 2012-02-15 2014-02-27 Mesa Imaging Ag Time of Flight Camera with Stripe Illumination
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems

Also Published As

Publication number Publication date
CN106662640A (zh) 2017-05-10
EP3238430A4 (en) 2018-08-01
WO2016105668A1 (en) 2016-06-30
US20160178991A1 (en) 2016-06-23
EP3238430A1 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
CN106662640B (zh) 智能照明飞行时间系统和方法
US10055855B2 (en) Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US9832357B2 (en) Time-of-flight camera system with scanning iluminator
EP3238432B1 (en) Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
US20180007347A1 (en) Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View
EP3351964B1 (en) Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
CN114089348A (zh) 结构光投射器、结构光系统以及深度计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant