CN112204420B - 结构化光系统的飞行时间测距仪 - Google Patents

Abstract

本公开的各方面涉及用于确定一个或多个深度的系统和方法。示例系统包括飞行时间接收器，其被配置为感测来自结构化光发射器的光的反射的脉冲。示例方法包括由飞行时间接收器感测来自结构化光发射器的光的反射的脉冲。

Description

结构化光系统的飞行时间测距仪

相关申请的交叉引用

本专利申请要求转让给本发明的受让人的于2018年5月30日提交的标题为“TIMEOF FLIGHT RANGE FINDER FOR A STRUCTURED LIGHT SYSTEM”的美国非临时申请第15/992,746号的优先权，并通过引用明确并入本文。

技术领域

本公开总体上涉及用于深度探测的系统和方法，并且具体涉及结构化光系统的飞行时间测距仪。

背景技术

设备可以使用不同的深度探测系统来确定其周围事物的距离。在确定深度时，设备可以通过发送(emit)一个或多个无线信号并测量无线信号的来自场景的反射来生成深度图，该深度图示出或以其他方式指示物体距设备的深度。两种类型的深度探测系统包括飞行时间(time-of-flight，TOF)系统和结构化光系统。

对于TOF系统，发送脉冲光，并且接收脉冲光的反射。光从发射器(transmitter)到接收器的往返时间由脉冲确定，并且从反射发送光的物体距TOF系统的距离或深度由往返时间确定。

对于结构化光系统，光的已知空间图案被发射，并且空间图案的反射被接收。发射器和接收器相隔一段距离，并且结果在接收器处出现空间图案的位移和扭曲。利用空间图案的位移和扭曲以及发射器和接收器之间的距离的三角测量被用于确定从反射发送光的物体距结构化光系统的距离或深度。

结构化光系统的图案化强度可能受到限制，因此限制了深度探测的范围。此外，用于三角测量的发射器和接收器之间的距离对应于深度测量的准确度。距离越小，物体的深度测量越不准确，随着物体距结构化光系统的深度增加，对准确度的影响也越大。

发明内容

提供本发明内容是为了以简化的形式介绍从将在下面的具体实施方式中进一步描述的概念中选择的概念。本发明内容不意图标识所要求保护的主题的关键特征或必要特征，也不意图限制所要求保护的主题的范围。

本公开的各方面涉及用于确定一个或多个深度的系统和方法。示例系统包括飞行时间接收器，其被配置为感测来自结构化光发射器的光的反射的脉冲。

在另一示例中，公开了一种用于确定一个或多个深度的方法。该方法包括由飞行时间接收器感测来自结构化光发射器的光的反射的脉冲。

在又一示例中，公开了一种存储一个或多个包含指令的程序的非暂时性计算机可读介质。由设备的一个或多个处理器执行指令使得设备通过飞行时间接收器感测来自结构化光发射器的光的反射的脉冲。

在再一示例中，公开了一种用于确定一个或多个深度的设备。该设备包括用于发射空间图案的脉冲光的装置、用于感测该空间图案的脉冲光的反射的装置、以及用于感测来自脉冲光的反射的脉冲的装置。用于感测脉冲的装置与用于感测该空间图案的光的反射的装置是分开的。

附图说明

在附图的图中，通过示例而非限制的方式示出了本公开的各方面，其中相似的附图标号指代相似的元件。

图1是结构化光系统的示意图。

图2是TOF系统的示意图。

图3是包括结构化光系统的示例设备的框图。

图4是由结构化光传感器感测的空间图案化的光的示意图。

图5是由TOF接收器感测的空间图案化的光的至少一部分的脉冲的示意图。

图6是描述用于结构化光发射的TOF测距的示例操作的流程图。

图7是描述用于结构化光发射的TOF测距的另一示例操作的流程图。

图8是描述基于TOF测量来校准结构化光接收器的示例操作的流程图。

具体实施方式

本公开的各方面可以用于深度探测系统。在一些方面，TOF传感器可以接收结构化光发射的一部分，以确定反射结构化光发射的该一部分的物体的深度。以这种方式，使用TOF信息的测距可以在结构化光系统的有效范围之外执行。

图1是结构化光系统100的示意图。结构化光系统100可以用于生成场景(具有在场景中的不同深度的物体106A和106B)的深度图(未示出)，或者可以用于物体106A和106B或场景的其他部分的测距的其他应用。结构化光系统100可以包括发射器102和接收器108。

发射器102可以被配置为将空间图案104投影到场景(包括物体106A和106B)上。发射器102可以包括一个或多个光源124(诸如激光源)、透镜126和光调制器128。在一些实施例中，光调制器128包括一个或多个衍射光学元件(Diffractive optical Element，DoE)，以将来自一个或多个光源124的发送(其可以被透镜126引导到光调制器128)衍射成额外的发送。光调制器128也可以调节发送的强度。附加地或可替代地，光源124可以被配置为调节发送的强度。

在发射器102的一些其他实施方式中，DOE可以直接耦合到光源(没有透镜126)，并且被配置为将从光源发送的光扩散为空间图案104的至少一部分。空间图案104可以是发射器投射到场景上的发送光的固定图案。例如，可以制造DOE，使得空间图案104中的黑点对应于DOE中防止来自光源124的光被发射器102发送的位置。以这种方式，在分析由接收器108接收的任何反射时，空间图案104可以是已知的。发射器102可以通过发射器102的孔径122将空间图案的光发射到场景(包括物体106A和106B)上。

接收器108可以包括孔径120，发送光的反射可以穿过该孔径，由透镜130引导并撞击传感器110。传感器110可以被配置为从场景中检测(或“感测”)空间图案化的光的一个或多个反射。如图所示，发射器102可以与接收器108位于同一参考平面上，并且发射器102和接收器108可以分开被称为“基线”的距离112。

传感器110可以包括光电二极管阵列(诸如雪崩光电二极管)，以测量或感测反射。该阵列可以耦合到互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)传感器，该CMOS传感器包括对应于阵列中光电二极管数量的多个像素或区域。由阵列产生的多个电脉冲可以触发CMOS传感器的对应像素或区域，以提供由阵列感测的反射的测量。可替代地，传感器110可以是光敏CMOS传感器，以感测或测量包括反射码字图案的反射。CMOS传感器在逻辑上可以被分成对应于空间图案104的比特大小或码字(比特片(patch ofbit))大小的像素组。

反射可以包括场景的来自不同深度(诸如物体106A和106B)的不同物体或部分的空间图案化的光的多次反射。基于基线112、感测到的空间图案104的光的位移和扭曲、以及反射的强度，结构化光系统100可以用于确定物体(诸如物体106A和106B)距结构化光系统100的一个或多个深度和位置。利用基于基线和距离的三角测量，结构化光系统100可以用于确定物体106A和106B之间的不同距离。例如，中心114与从物体106B反射的光撞击传感器110的位置116之间的第一距离小于中心114与从物体106A反射的光撞击传感器110的位置118之间的第二距离。从中心到传感器110的位置116和位置118的距离可以分别指示物体106A和106B的深度。第一距离小于第二距离可以指示物体106B比物体106A离发射器102更远。除了确定距传感器110的中心的距离之外，计算还可以包括确定撞击传感器110的光中空间图案104的位移或扭曲，以确定深度或距离。

功率受限设备(诸如智能手机、平板电脑或其他电池供电设备)中包括的结构化光系统对空间图案化的光的发射强度(其对应于提供给用于发射光的光源的功率)有限制。此外，眼睛安全问题可能促使结构化光系统制造商或设备制造商限制发射器的光强度。作为结果，结构化光系统的有效范围可能受到限制。例如，智能手机的结构化光系统可以具有最大4米的有效范围，物体距离智能手机超过4米的深度不能一致地(consistently)确定的。

对于结构化光系统，用于发射空间图案化的光的总功率是针对空间图案中的多个光点的。如果总功率专用于一个光源，则来自该一个光源的光强度将大于空间图案中的每个光点的强度。假设来自一个光源的光的场和来自空间图案中的每个光点的光的场是相同的，那么来自该一个光源的光可以比空间图案中的每个光点传播得更远。以这种方式，使用一个光源的TOF测距可以具有比使用结构化光系统确定深度更大的有效范围。此外，由于结构化光系统识别反射中的码字，因此结构化光系统的准确度可以随着物体深度的增加而降低，直到结构化光系统不再能够可靠地测量深度(这可以被认为是有效范围的上限)。相反，只要TOF系统能够识别反射，TOF系统的测量准确度就不会随着距离的增加而降低。

TOF系统的另一优点是，该系统在操作期间对组件运动不太敏感。例如，当用户(诸如通过边框)握住智能手机时，可能发生通过用户的手挤压智能手机的压力以保持对智能手机的抓握。挤压智能手机以保持抓握的压力可能导致智能手机轻微弯曲，以及智能手机内部组件轻微移动。作为结果，发射器的光源可能移动，从而因此扭曲空间图案。扭曲的空间图案可能会对深度测量产生负面影响。相反，测量往返时间的TOF系统不受此类压力或作用力的影响。例如，智能手机中的TOF系统不会受到用户通过施加可能使智能手机轻微弯曲的压力来保持对智能手机的抓握的影响。

图2是TOF系统200的示意图。TOF系统200可以用于生成场景(包括场景中被示为反射来自发射器202的光的物体206)的深度图(未示出)，或者可以用于测距的其他应用。TOF系统200可以包括发射器202和接收器208。发射器202可以被称为“发射器”、“投影仪”、“发送器(emitter)”等，并且不应该限于特定的发射组件。类似地，接收器208可以被称为“检测器”、“传感器”、“感测元件”、“光电检测器”等，并且不应该限于特定的接收组件。

发射器202可以被配置为将信号(诸如光场)发射、发送或投射到场景上(包括发射、发送或投射到物体206上)。发射器202向场景发射光204。虽然发射光204仅被示为指向物体206，但是发射器202的发送或发射场可以延伸到物体206之外(诸如朝向包括物体206的整个场景)。例如，传统的TOF系统发射器具有用于发送的固定焦距透镜，该透镜限定发送场远离发射器传播。

发射光204包括已知时间间隔(诸如周期性地)的光脉冲214。接收器208包括传感器210，以感测发射光204的反射212。反射212包括反射光脉冲216，并且TOF系统通过比较发射光脉冲的定时218和反射光脉冲的定时220来确定光的往返时间222。物体206距TOF系统的距离可以计算为往返时间的一半乘以发送速度(诸如光发送的光速)。

传感器210可以包括光电二极管阵列，以测量或感测反射。可替代地，传感器210可以包括CMOS传感器或其他合适的光敏传感器，其包括用于感测的多个像素或区域。当脉冲幅度大于阈值时，TOF系统200识别由传感器210感测的反射光脉冲216。例如，TOF系统在没有信号的情况下测量环境光和其他干扰的幅度，然后确定进一步的测量是否比先前的测量大一阈值。TOF系统的有效范围的上限可以是在感测反射之前，噪声或信号的退化导致信噪比(Signal-to-Noise Ratio，SNR)太大而使传感器不能准确地感测反射光脉冲216的距离。为了减少干扰，接收器208可以在传感器210之前包括带通滤波器，以过滤一些与发射光204不同波长的入射光。

TOF系统的分辨率(可以同时确定的距离数)可能低于结构化光系统。在场景中的物体处于不同深度的情况下，发射光的反射可以在不同时间点被接收。结构化光系统不依赖于往返时间，因此不受在多个时间点接收反射的影响。对于TOF系统，不同时间点的反射可能导致尝试确定往返时间的干扰。为了减少干扰，许多TOF系统可以聚焦一个脉冲光束，并使用接收器来确定脉冲光的一次往返时间。为了补偿使用一个光束，可以提高TOF系统的速度，以更快地确定顺序上不同点的往返时间，但是在发射光的脉冲间距方面可能存在限制。作为结果，虽然和结构化光系统相比，TOF系统在更长的距离上可能是有效的，并且不受组件移动的影响(这可能导致结构化光系统的空间图案扭曲)，但是许多TOF系统可能具有比结构化光系统更低的分辨率。

由于TOF系统可能具有比结构化光系统更低的分辨率但是更高的有效范围，因此TOF系统可以用于测距比使用结构化光系统能够确定的距离系统更远的物体或确定该物体的深度。例如，TOF系统可以用于测距应用。相反，结构化光系统可以用于物体识别或需要比TOF系统可以提供的深度点更多的深度点的应用。例如，结构化光系统可以用于面部识别和标识。此外，如果对于设备存在两个系统，则可以使用TOF系统来校准结构化光系统，或者确定使用结构化光系统确定的深度是否是错误的。

设备可以包括TOF系统和结构化光系统。然而，可能需要两个发射器和其他组件。作为结果，两个系统可能会比设备中优选的系统消耗更多的功率和空间。可替代地，结构化光接收器传感器可以被配置为感测脉冲以确定往返时间。然而，由于接收器与发射器分开基线距离，因此根据测量的往返时间计算深度被三角测量计算复杂化。此外，结构化光传感器将需要被配置为识别脉冲并且在反射中识别空间图案的码字，这可能导致结构化光接收器的设计和制造非常复杂。

例如，结构化光系统可以在近红外(near-infrared，NIR)范围内操作，并且来自结构化光发射器的光的波长可以是825纳米(nm)或940nm(尽管可以使用其他频率范围和波长)。传统的结构化光接收器传感器(其可以类似于相机传感器)可以具有每秒30帧(fps)的帧速率，以及大约33ms的曝光长度，以捕捉空间图案的光强度。以大约每秒3亿米的光速、825nm的波长和33ms的曝光窗口，在结构化光传感器的曝光窗口期间出现大量的光周期。具有传统的帧速率的传统的结构化光传感器不能区分发射光的周期。

如果发射光被脉冲化(除了光信号的自然波形)，以使传统的结构化光传感器能够感测脉冲，则结构化光传感器的曝光长度(诸如33ms)要求脉冲速率比曝光长度更慢。作为结果，可以在一段时间内确定的往返时间的数量受到传感器曝光长度的限制。TOF传感器(其可以包括雪崩光电二极管)可以具有比结构化光传感器更短的曝光长度。例如，(与示例结构化光系统的33ms相比)雪崩光电二极管的曝光长度可以是10皮秒。因此，用于TOF传感器的脉冲可以比用于确定往返时间的结构化光传感器的脉冲更接近。如果脉冲被减慢，使得结构化光传感器可以用于确定往返时间，则使用曝光长度为33ms的示例结构化光系统可以确定的往返时间的数量是使用曝光长度为10皮秒的示例TOF系统可以确定的往返时间的数量的一小部分(诸如对于结构化光系统的每1脉冲，TOF系统的理论极限高达30亿个脉冲)。

在一些示例实施方式中，与结构化光传感器分开的TOF传感器可以用于识别空间图案的至少一部分中的发射光的脉冲。结构化光接收器可以是传统的结构化光接收器。也可以使用传统的空间图案，因此不需要改变结构化光发射器。以这种方式，来自传统的结构化光系统的附加组件可以仅仅是TOF传感器。在一些示例实施方式中，TOF传感器可以是脉冲光传感器。例如，传感器可以是一个光电二极管(诸如雪崩光电二极管)，并且光电二极管可以与结构化光发射器并置(类似于传统的TOF系统中接收器相对于发射器的位置)。与传统的(诸如具有30fps的帧速率的)结构化光传感器相比，雪崩光电二极管可以具有高的到达时间分辨率。例如，雪崩光电二极管捕获光子(photon)的到达时间分辨率可以小于10皮秒。虽然TOF传感器在下面的示例中被描述为一个光电二极管，但是可以使用任何数量的光电二极管(诸如光电二极管阵列或行)。附加地或可替代地，TOF传感器可以是其他配置(诸如连续波传感器)，并且本公开不应限于所提供的示例。

在以下描述中，阐述了许多具体细节，诸如具体组件、电路和过程的示例，以提供对本公开的全面理解。本文使用的术语“耦合”意味着直接连接到或通过一个或多个中间组件或电路连接。并且，在以下描述中，出于解释的目的，阐述了特定术语，以提供对本公开的全面理解。然而，对于本领域的技术人员来说显而易见的是，实践本文公开的教导可能不需要这些具体细节。在其他情况下，公知的电路、系统和设备以框图形式示出，以避免模糊本公开的教导。以下详细描述的一些部分是根据对计算机存储器内的数据比特的操作的过程、逻辑块、处理和其他符号表示来呈现的。在本公开中，过程、逻辑块、过程等被认为是导致期望结果的步骤或指令的自洽序列。这些步骤需要对物理量进行物理操作。通常，尽管不是必须的，这些量采取能够在计算机系统中存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。

然而，应该记住，所有这些和类似的术语将与适当的物理量相关联，并且仅仅是应用于这些量的方便的标签。除非特别说明，否则从下面的讨论中显而易见的是，在整个本申请中，使用诸如“访问”、“接收”、“发射”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监控”、“比较”、“应用”、“更新”、“测量”、“推导”、“建立”等术语的讨论是指计算机系统或类似的电子计算设备的动作和过程，其将计算机系统的寄存器和存储器中表示为物理(电子)量的数据操纵和转换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备中的物理量的其他数据。

在附图中，单个块可以被描述为执行一个或多个功能；然而，在实际实践中，由该块执行的一个或多个功能可以在单个组件中或跨多个组件执行，和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性，各种说明性的组件、块、模块、电路和步骤通常根据它们的功能在下面进行描述。这种功能实施为硬件还是软件取决于特定的应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以不同的方式实施所描述的功能，但是这种实施决策不应被解释为导致脱离本公开的范围。并且，示例系统和设备可以包括除所示组件之外的组件，包括诸如处理器、存储器等熟知的组件。

本公开的各方面适用于结构化光系统的TOF测距，并且可以包括在或耦合到任何合适的电子设备或系统(诸如安全系统、智能手机、平板电脑、膝上型计算机、数码相机、车辆、无人机、虚拟现实设备或可以利用深度感测的其他设备)。虽然下面针对具有或耦合到一个结构化光系统的设备进行描述，但是本公开的各方面可以适用于具有任意数量的结构化光系统的设备。

术语“设备”不限于一个或特定数量的物理物体(诸如一个智能手机、一个控制器、一个处理系统等)。如本文所使用的，设备可以是具有可以实施本公开的至少一些部分的一个或多个部件的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开的各个方面，但是术语“设备”不限于特定的配置、类型或物体数量。另外，术语“系统”不限于多个组件或特定实施例。例如，系统可以在一个或多个印刷电路板或其他基板上实施，具有一个或多个外壳，是集成到另一设备中的一个或多个物体，并且可以具有可移动或静态组件。虽然以下描述和示例使用术语“系统”来描述本公开的各个方面，但是术语“系统”不限于特定的配置、类型或物体数量。

图3是包括结构化光系统的示例设备300的框图。在一些其他示例中，结构化光系统可以耦合到设备300。示例设备300可以包括或耦合到发射器301(诸如图1中的发射器102)、与发射器分开基线303的接收器302(诸如图1中的接收器108)、TOF接收器305、处理器304、存储指令308的存储器306和控制器310(其可以包括一个或多个信号处理器312)。设备300可以可选地包括(或耦合到)显示器314和多个输入/输出(input/output，I/O)组件316。设备300可以包括未示出的附加特征或组件。例如，无线通信设备可以包括无线接口，该无线接口可以包括多个收发器和基带处理器。设备300还可以包括电源318，该电源318可以耦合到或集成到设备300中。

发射器301和接收器302可以是由控制器310(诸如信号处理器312)和/或处理器304控制的结构化光系统(诸如图1中的结构化光系统100)的一部分。设备300可以包括或者耦合到附加的结构化光系统或者结构化光系统的不同配置。本公开不应限于任何特定的示例或图示，包括示例设备300。

存储器306可以是存储计算机可执行指令308的非瞬态性或非暂时性计算机可读介质，以执行本公开中描述的一个或多个操作的全部或一部分。处理器304可以是能够执行存储在存储器306中的一个或多个软件程序的脚本或指令(诸如指令308)的一个或多个合适的处理器。在一些方面，处理器304可以是执行指令308以使设备300执行任意数量的功能或操作的一个或多个通用处理器。在附加的或替代的方面，处理器304可以包括集成电路或其他硬件，以在不使用软件的情况下执行功能或操作。虽然在图3的示例中被示为经由处理器304相互耦合，但是处理器304、存储器306、控制器310、可选显示器314和可选I/O组件316可以以各种布置彼此耦合。例如，处理器304、存储器306、控制器310、可选显示器314和可选I/O组件316可以经由一个或多个本地总线(为简单起见未示出)彼此耦合。

显示器314可以是允许用户交互和/或呈现供用户查看的项目(诸如深度图或场景的预览图像)的任何合适的显示器或屏幕。在一些方面，显示器314可以是触敏显示器。I/O组件316可以是或包括任何合适的机制、接口或设备，以从用户接收输入(诸如命令)，并向用户提供输出。例如，I/O组件316可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器、设备300的可挤压边框或边界、位于设备300上的物理按钮等。显示器314和/或I/O组件316可以向用户提供场景的预览图像或深度图和/或接收用于调整设备300的一个或多个设置(诸如控制何时使用结构化光系统或何时执行TOF测距、控制空间图案化的光的脉冲等)的用户输入。

控制器310可以包括信号处理器312，其可以是一个或多个处理器，以处理由接收器302和TOF接收器305提供的测量，和/或控制发射器301。在一些方面，信号处理器312可以执行来自存储器的指令(诸如来自存储器306的指令308或者存储在耦合到信号处理器312的独立存储器中的指令)。在其他方面，信号处理器312可以包括用于操作的特定硬件。信号处理器312可以可替代地或附加地包括特定硬件和执行软件指令的能力的组合。

发射器301可以发送空间图案化的光，该空间图案化的光的至少一部分包括用于TOF测距的脉冲。在一些示例实施方式中，发射器301可以包括或耦合到一个或多个电源，用于调节功率以在空间图案化的光中引起脉冲。例如，发射器301可以包括耦合到用于发射空间图案化的光的多个DOE的多个激光器。激光器可以耦合到一个或多个电源(例如，每个激光器可以耦合到单独的电源)。一个或多个电源可以增加和减少一个或多个激光器的功率，使得空间图案化的光的至少一部分包括用于TOF测距的脉冲。在一些示例实施方式中，一个或多个电源被配置为在TOF测距模式下改变一个或多个光源(诸如激光器)的功率，并且在结构化光深度感测模式下保持一个或多个光源(诸如激光器)的恒定功率。在一些其他示例实施方式中，一个或多个电源被配置为总是改变一个或多个光源的功率。

TOF接收器305可以与发射器301并置，并且被配置为感测来自发射器301的空间图案化的光的至少一部分的反射。反射然后可以用于识别脉冲并确定空间图案化的光的往返时间(诸如控制器310或信号处理器312)。在一些示例实施方式中，TOF接收器305是或包括一个光电二极管(诸如雪崩光电二极管)。在一些其他示例实施方式中，TOF接收器305是光电二极管阵列。光电二极管或光电二极管阵列的视场可以变窄(诸如通过孔径或其他漏斗(funnel))，使得TOF接收器305被配置为感测空间图案化的光的特定部分的脉冲。在一些示例实施方式中，TOF接收器305可以包括一个或多个透镜，以将来自空间图案化的光的特定部分的光聚焦到TOF传感器上(诸如聚焦到光电二极管或光电二极管阵列)。如果TOF接收器305包括一个光电二极管，则可以使用TOF测距来执行场景的一个点的深度测量。

在一些示例实施方式中，与TOF接收器305相对应的空间图案化的光的部分可以是来自空间图案的零阶部分的光。例如，一个或多个DOE可以扩散来自一个或多个光源的光以产生空间图案。空间图案的零阶部分可以是DOE不扩散来自光源的光的部分。在一个示例中，零阶部分可以是来自DOE的光的点，其中光不从源激光器弯曲。在另一示例中，零阶部分可以是DOE之间的间隙(例如，存在于制造结构化光发射器的传统缺陷中),来自激光源的光在其中逃逸。

图4是由结构化光传感器感测的空间图案化的光400的示意图。如图所示，空间图案400的点402可以具有比空间图案400的其余部分更高的强度。在一些示例实施方式中，TOF接收器305可以被配置为感测空间图案400的在点402处的光脉冲。空间图案的包括点402的部分可以具有脉冲化以用于TOF测距的光。可替代地，整个空间图案的光可以是脉冲化的。在一些示例实施方式中，TOF接收器透镜可以将来自空间图案的零阶部分(其可以是点402)的反射光聚焦到一个或多个光电二极管上，并且一个或多个光电二极管可以感测来自空间图案的零阶部分的光脉冲。

脉冲可以频繁到不影响结构化光接收器的操作。例如，如果结构化光传感器的曝光长度是33ms，则在曝光长度期间可能出现多个光脉冲(诸如几十个或几百个光脉冲)。结构化光传感器的每个像素测量曝光窗口上累积的光强度，因此不会受到脉冲的影响。

图5是由TOF接收器305感测的空间图案化的光的至少一部分的脉冲的示意图。发射光502的反射强度可以在曝光长度504对应于帧开始506和帧结束508的帧期间由图3的结构化光接收器302感测。在一些示例中，光的强度可以从用于脉冲的光强度的90％到100％变化。可以使用用于脉冲的任何合适的强度范围，并且本公开不应局限于用于脉冲的光强度的特定范围或水平。

发射光502的示例部分510描绘了在结构化光接收器的帧的曝光窗口期间出现的多个脉冲。发射光的反射512描绘了由图3的TOF接收器305感测的脉冲。发射光502(如部分510所示)和反射512之间的相位差514对应于来自图3的发射器301和图3的TOF接收器305的往返时间。在一些示例实施方式中，图3的设备300(诸如控制器310、信号处理器312或处理器304)确定相位差514，并基于相位差确定往返时间。物体距设备300并对应于反射512的深度可以是往返时间的大约一半乘以发射信号的速度(诸如发射光的光速)。

图6是描述结构化光发射的TOF测距的示例操作600的流程图。虽然以下示例操作(包括示例操作600)被描述为由图3中的示例设备300执行，但是也可以使用其他设备或系统来执行示例操作，并且本公开不应局限于所提供的示例。

从602开始，图3的结构化光发射器301可以发射空间图案的脉冲光。可替代地，空间图案的脉冲光可以由与执行TOF测距的系统分开的发射器发射。本公开的一些实施方式不需要结构化光发射器。图3的TOF发射器305然后可以感测来自结构化光发射器的脉冲光的反射的脉冲(604)。例如，脉冲光的一部分可以从场景的物体反射并传播到TOF接收器305，并且TOF接收器305可以感测来自这种反射的脉冲。

图7是描述结构化光发射的TOF测距的示例操作700的流程图。从702开始，图3的结构化光发射器301可以发射空间图案的脉冲光。在一些示例实施方式中，发射器301的一个或多个激光器的功率或电流可以变化，以改变来自一个或多个激光器的光强度。图3的设备300(诸如控制器310)可以控制来自发射器301的脉冲光的脉冲，以防止图3的结构化光接收器302感测脉冲(704)。在一些示例实施方式中，设备300可以控制脉冲，使得在由结构化光接收器302捕获的每个帧的曝光窗口期间出现多个脉冲。作为结果，结构化光接收器302不感测单个脉冲。脉冲频率的增加可以在基于往返时间测量物体深度时提供增加的准确度和/或增加的点。

图3的TOF接收器305可以感测来自发射器301的脉冲光的反射的脉冲(706)。在一些示例实施方式中，光电二极管可以被配置为感测在空间图案的零阶部分中何时出现脉冲的情况。另外，结构化光接收器302可以感测该空间图案的脉冲光的反射(708)。如前所述，结构化光接收器302的曝光窗口可以长到使得结构化光接收器302不会感测到反射中的脉冲。

回头参考关于感测脉冲的步骤706，控制器310可以确定光的往返时间(710)。在一些示例实施方式中，控制器310可以比较来自发射器301的脉冲发射时间和由TOF接收器305接收或感测脉冲的时间，以确定往返时间。在一些其他示例实施方式中，控制器310可以确定发射信号和感测脉冲的信号之间的相位差，并根据相位差确定往返时间。控制器310然后可以基于往返时间来确定物体的深度(712)。例如，深度可以是往返时间的一半乘以光速。

回头参考关于感测空间图案的光的步骤708，控制器310可以在感测到的反射中识别空间图案的一个或多个部分(714)。在一些示例实施方式中，空间图案包括多个码字，并且控制器310可以在感测到的反射中识别一个或多个码字。然后，控制器310可以基于空间图案的所识别的部分来确定场景的一个或多个深度(716)。例如，基于所识别的码字的扭曲和/或感测所识别的码字的传感器上的位置，控制器310可以确定物体的深度。每个所识别的码字可以对应于一个确定的场景深度。以这种方式，设备300可以使用TOF测距来确定深度，并且可以使用根据结构化光发射的结构化光深度感测来确定深度。虽然示例操作700描绘了并行的TOF测距和结构化光深度探测，但是这些操作可以顺序执行。可替代地，可以仅使用用于确定深度的过程之一。

在一些示例实施方式中，结构化光发射的TOF测距可以具有比结构化光深度探测更高的有效范围。例如，对于包括利用TOF测距的示例性结构化光系统的智能手机，TOF测距可以最大10米有效，而结构化光深度探测可以最大4米有效。设备300可以确定是使用TOF测距还是使用结构化光来确定物体的深度。设备300可以在与距设备300的深度的第一范围(例如，距设备300最大4米)相对应的第一模式下执行结构化光深度探测，并且设备300可以在与高于第一范围的范围(例如，距设备300大于4米)相对应的第二模式下执行TOF测距。

在一些示例实施方式中，如果处于第二模式的设备300根据TOF测距确定物体在深度的第一范围内，则设备300可以切换模式以使用结构化光来进行深度探测(诸如能够确定比使用TOF系统更多的深度点)。附加地或可替代地，如果处于第一模式的设备300确定物体在深度的第一范围之外或者识别空间图案的一个或多个部分的误差大于阈值(例如，设备300不能使用结构化光准确地确定距离)，则设备300可以切换到第二模式以使用TOF测距。

尽管设备300可以基于例如物体的深度来确定是使用TOF测距还是使用结构化光深度探测，但是TOF接收器和结构化光接收器可以都是可操作的。在一些示例实施方式中，设备300可以使用TOF测距和结构化光深度探测两者来确定深度。设备300然后可以确定使用哪个深度。在一些其他示例实施方式中，设备300可以基于是使用TOF测距还是使用结构化光深度探测来确定深度而忽略来自一个接收器的测量。在一些进一步的示例实施方式中，可以在执行TOF测距时启用TOF接收器，并且可以在执行结构化光深度探测时启用结构化光接收器。

对于具有结构化光系统的设备(诸如图3的设备300)，空间图案可能由于发射器(诸如发射器301)中的组件的移动而变形。例如，用户可能在握持智能手机时挤压智能手机(以便保持握持)，使得来自结构化光发射器的空间图案扭曲。发射时空间图案的扭曲可能导致根据空间图案的反射来确定一个或多个深度的误差或不准确性。在一些示例实施方式中，设备可以使用TOF测距来校准结构化光接收器(诸如接收器302)。

图8是描述用于基于TOF测量校准结构化光接收器(诸如图3的接收器302)的示例操作800的流程图。从802开始，图3的设备300可以基于使用图3的TOF接收器305的TOF测距来确定物体距设备300的深度测量。例如，设备300可以感测来自图3的发射器301的空间图案的零阶部分中的发射光的反射的光脉冲。感测到的脉冲然后可以用于确定物体的第一深度测量。

设备300还可以基于使用结构化光接收器302的结构化光深度探测来确定物体的第二深度测量(804)。例如，设备300可以识别与由结构化光接收器302感测的反射中的空间图案的零阶部分相对应的码字，并且设备300基于所识别的码字来确定物体的第二深度测量。

在确定第一深度测量和第二深度测量之后，设备300可以确定第一深度测量和第二深度测量之间的差值(806)。假设第一深度测量是准确的(并且不容易因组件移动而产生误差)，那么设备300可以确定第二深度测量的误差对应于该差值。设备300然后可以基于该差值调整使用结构化光接收器302确定的深度测量(808)。例如，设备300可以从使用结构化光接收器确定的每个深度测量中添加或减去该差值。在一些示例实施方式中，深度测量可以对应于空间图案中的任何识别的码字(不仅仅是与空间图案的零阶部分相对应的码字)。

可替代地，为了通过结构化光深度感测来补偿误差，设备300可以基于使用TOF测距的深度测量来确定反射中识别的码字的正确位移和/或扭曲，并且设备300可以调整所测量的扭曲和位移，以校正使用结构化光深度感测的深度测量。

在一些示例实施方式中，设备300可以多达为结构化光接收器302的每个帧捕获周期性地确定差值。以这种方式，设备300可以实时和/或以任何频率校准结构化光接收器。

本文描述的技术可以以硬件、软件、固件或其任意组合来实施，除非具体描述为以特定方式实施。描述为模块或组件的任何特征也可以在集成逻辑设备中一起实施，或者作为分立但可互操作的逻辑期间单独实施。如果以软件实施(诸如改变所包括的结构化光系统的空间图案的设备)，则这些技术可以至少部分地由包括指令308的非暂时性处理器可读存储介质(诸如图3的示例设备300中的存储器306)来实现，当由处理器304(或控制器310或信号处理器312)执行该指令308时，使得设备300或深度探测系统执行一个或多个上述方法。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分，其可以包括包装材料。

非暂时性处理器可读存储介质可以包括随机存取存储器(Random AccessMemory，RAM)(诸如同步动态随机存取存储器(Synchronous Dynamic Random AccessMemory，SDRAM))、只读存储器(Read Only Memory，ROM)、非易失性随机存取存储器(Non-Volatile Random Access Memory，NVRAM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、闪存、其他已知的存储介质等。附加地或可替代地，这些技术可以至少部分地由处理器可读通信介质来实现，该通信介质携带或传达指令或数据结构形式的代码，并且可以由计算机或其他处理器来访问、读取和/或执行。

结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器(诸如图3的示例设备300中的处理器304或信号处理器312)执行。这种(多个)处理器可以包括但不限于一个或多个数字信号处理器(Digital Signal Processor，DSP)、通用微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction Set Processor，ASIP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或其他等效的集成或分立逻辑电路。本文使用的术语“处理器”可以指任何前述结构或者任何其他适合于实施本文描述的技术的结构。另外，在一些方面，本文所述的功能可以在如本文所述配置的专用软件模块或硬件模块中提供。并且，这些技术可以完全在一个或多个电路或逻辑元件中实施。通用处理器可以是微处理器，但是可替代地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心结合、或任何其他这样的配置。

虽然本公开示出了说明性的方面，但是应当注意，在不脱离所附权利要求的范围的情况下，可以在此做出各种改变和修改。例如，虽然深度探测系统的示例是关于光发送或NIR发送来描述的，但是也可以使用其他频率的信号，诸如微波、射频信号、声音信号等。另外，除非另外明确说明，否则根据本文所述方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序来执行。例如，如果由设备300、控制器310、处理器304和/或信号处理器312执行，所描述的示例操作的步骤可以以任何顺序执行。此外，尽管可以单数形式描述或要求保护元件，但是除非明确说明了对单数的限制，否则复数也是可以预期的。因此，本公开不限于所示出的示例，并且用于执行本文描述的功能的任何手段都包括在本公开的各方面中。

Claims (30)

1.一种深度探测系统，包括：

飞行时间TOF接收器，被配置为感测来自结构化光发射器的光的反射的脉冲，来自所述结构化光发射器的所述光包括光点的空间图案，其中所述光点的空间图案包括脉冲光点，其中，所述脉冲光点具有比空间图案化的光的其余部分更高的强度；以及

控制器，被配置为：

确定与感测到的脉冲相关联的信息；以及

基于所述信息，确定所述感测到的脉冲的往返时间。

2.根据权利要求1所述的深度探测系统，其中，所述控制器被配置为：

基于所述感测到的脉冲的所述往返时间来确定物体距所述TOF接收器的深度。

3.根据权利要求1所述的深度探测系统，还包括结构化光发射器，用于发射所述光点的空间图案。

4.根据权利要求3所述的深度探测系统，还包括结构化光接收器，被配置为感测所述光点的空间图案的反射，其中所述控制器还被配置为在来自所述结构化光接收器的所感测的反射中识别所述空间图案的一个或多个部分。

5.根据权利要求4所述的深度探测系统，其中，所述控制器还被配置为控制脉冲以防止所述结构化光接收器感测所述脉冲。

6.根据权利要求4所述的深度探测系统，其中，所述TOF接收器包括光电二极管。

7.根据权利要求6所述的深度探测系统，其中，所述光电二极管是雪崩光电二极管。

8.根据权利要求6所述的深度探测系统，其中，所述光电二极管被配置为感测来自所述光点的空间图案的零阶部分的光的反射的脉冲。

9.根据权利要求4所述的深度探测系统，其中，所述控制器还被配置为基于来自所述TOF接收器的所述感测到的脉冲来校准所述结构化光接收器。

10.根据权利要求4所述的深度探测系统，其中，所述控制器还被配置为当物体在距所述深度探测系统的深度的第一范围内时，使用所述结构化光接收器来确定所述物体的深度，并且还被配置为当物体在深度的第二范围内时，使用所述TOF接收器来确定所述物体的深度，其中，所述第二范围高于所述第一范围。

11.一种用于确定一个或多个深度的方法，包括：

通过飞行时间TOF接收器感测来自结构化光发射器的光的反射的脉冲，来自所述结构化光发射器的所述光包括光点的空间图案，其中所述光点的空间图案包括脉冲光点，其中，所述脉冲光点具有比空间图案化的光的其余部分更高的强度；

确定与感测到的脉冲相关联的信息；以及

基于所述信息，确定所述感测到的脉冲的往返时间。

12.根据权利要求11所述的方法，还包括基于所述感测到的脉冲的所述往返时间来确定物体距所述TOF接收器的深度。

13.根据权利要求11所述的方法，还包括由所述结构化光发射器发射所述光点的空间图案。

14.根据权利要求13所述的方法，还包括：

由结构化光接收器感测所述光点的空间图案的反射；以及

在来自所述结构化光接收器的所感测的反射中识别所述空间图案的一个或多个部分。

15.根据权利要求14所述的方法，还包括控制脉冲以防止所述结构化光接收器感测所述脉冲。

16.根据权利要求14所述的方法，其中，感测来自反射的脉冲包括感测来自所述光点的空间图案的零阶部分的光的反射的脉冲。

17.根据权利要求14所述的方法，还包括基于来自所述TOF接收器的所述感测到的脉冲来校准所述结构化光接收器。

18.根据权利要求14所述的方法，还包括：

当物体在深度的第一范围内时，使用所述结构化光接收器来确定所述物体的深度；以及

当物体在深度的第二范围内时，使用所述TOF接收器来确定所述物体的深度，其中，所述第二范围高于所述第一范围。

19.一种存储包含指令的一个或多个程序的非暂时性计算机可读介质，当所述指令由设备的一个或多个处理器执行时，使得所述设备通过执行操作来确定一个或多个深度，所述操作包括：

由飞行时间TOF接收器感测来自结构化光发射器的光的反射的脉冲，来自所述结构化光发射器的所述光包括光点的空间图案，其中所述光点的空间图案包括脉冲光点，其中，所述脉冲光点具有比空间图案化的光的其余部分更高的强度；

确定与感测到的脉冲相关联的信息；以及

基于所述信息，确定所述感测到的脉冲的往返时间。

20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行还包括以下步骤的操作：

基于感测到的脉冲的往返时间来确定物体距所述TOF接收器的深度。

21.根据权利要求19所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行还包括以下步骤的操作：

使用所述结构化光发射器发射所述光点的空间图案。

22.根据权利要求21所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行还包括以下步骤的操作：

由结构化光接收器感测所述光点的空间图案的反射；以及

在来自所述结构化光接收器的所感测的反射中识别所述空间图案的一个或多个部分。

23.根据权利要求22所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行还包括以下步骤的操作：

控制脉冲以防止所述结构化光接收器感测所述脉冲。

24.根据权利要求22所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行还包括以下步骤的操作：

感测来自所述光点的空间图案的零阶部分的光的反射的脉冲。

25.根据权利要求22所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行还包括以下步骤的操作：

基于来自所述TOF接收器的所述感测到的脉冲来校准所述结构化光接收器。

26.根据权利要求22所述的非暂时性计算机可读介质，其中，所述指令的执行使得所述设备执行还包括以下步骤的操作：

当物体在深度的第一范围内时，使用所述结构化光接收器来确定所述物体的深度；以及

当物体在深度的第二范围内时，使用所述TOF接收器来确定所述物体的深度，其中，所述第二范围高于所述第一范围。

27.一种用于确定一个或多个深度的设备，包括：

用于发射光点的空间图案的脉冲光的装置，所述光点的空间图案的至少一部分包括脉冲光点；

用于感测所述光点的空间图案的反射的装置；和

用于感测来自包括所述脉冲光点的所述光点的空间图案的所述至少一部分的反射的脉冲的装置，其中，用于感测脉冲的装置与用于感测所述空间图案中的光的反射的装置分开，其中，所述脉冲光点具有比空间图案化的光的其余部分更高的强度；以及

用于基于与感测到的脉冲相关联的信息来确定所述感测到的脉冲的往返时间的装置。

28.根据权利要求27所述的设备，还包括：

用于在所述空间图案的脉冲光的所感测的反射中识别所述空间图案的一个或多个部分的装置。

29.根据权利要求27所述的设备，还包括用于控制脉冲以防止用于感测所述空间图案的脉冲光的装置感测所述脉冲的装置。

30.根据权利要求27所述的设备，还包括用于感测来自所述空间图案的零阶部分的光的反射的脉冲的装置。