Nothing Special   »   [go: up one dir, main page]

CN106612387A - 一种组合深度图获得方法及深度相机 - Google Patents

一种组合深度图获得方法及深度相机 Download PDF

Info

Publication number
CN106612387A
CN106612387A CN201510665910.6A CN201510665910A CN106612387A CN 106612387 A CN106612387 A CN 106612387A CN 201510665910 A CN201510665910 A CN 201510665910A CN 106612387 A CN106612387 A CN 106612387A
Authority
CN
China
Prior art keywords
depth
tof
data
tof sensors
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510665910.6A
Other languages
English (en)
Other versions
CN106612387B (zh
Inventor
王靖雄
毛慧
沈林杰
俞海
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510665910.6A priority Critical patent/CN106612387B/zh
Priority to EP16854817.0A priority patent/EP3364643B1/en
Priority to US15/767,607 priority patent/US10713804B2/en
Priority to PCT/CN2016/093546 priority patent/WO2017063435A1/zh
Publication of CN106612387A publication Critical patent/CN106612387A/zh
Application granted granted Critical
Publication of CN106612387B publication Critical patent/CN106612387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明实施例公开了一种组合深度图获得方法及深度相机。一种组合深度图获得方法，应用于深度相机中的处理器，所述深度相机包括所述处理器、至少一个发光元件和至少两个飞行时间测距ToF传感器，所述至少一个发光元件的叠加照射范围覆盖所述至少两个ToF传感器的叠加视场范围。深度相机中的发光元件使用相同的调制信号对光信号进行调制后发射，ToF传感器使用相同的与调制信号对应的解调信号对接收到的物体反射回的调制光信号进行解调，生成深度数据，处理器对接收到的所有深度数据进行数据融合处理，获得组合深度图。应用本发明实施例所提供的技术方案，可以满足大的视场范围深度图的应用的需求，避免因调制解调不同步而相互干扰的问题。

Description

一种组合深度图获得方法及深度相机
技术领域
本发明涉及视频监控技术领域，特别涉及一种组合深度图获得方法及深度相机。
背景技术
深度相机，与普通相机一样具有一定的分辨率，但其各个像素点存储的并不是该像素点对应的灰度和颜色信息，而是该像素点对应物体到相机的距离，可以称之为深度，即深度相机输出的是深度图，图上每一个像素点的值都表示该像素点对应物体到相机的距离。
使用ToF(Time of flight，飞行时间测距)传感器的深度相机，是利用ToF技术进行深度图的输出。ToF技术是通过发射和接收经过调制的光信号，解析发射和接收光信号的时间差来测量反射光信号的物体与发射、接收端的距离。ToF传感器是ToF技术实际应用中的光信号接收和解析元件，其配合调制光发光元件来实现深度的测量。一般情况下，ToF传感器的输出经过一定数学变换后可以得到深度图。
目前业内使用的大都是使用单个ToF传感器的深度相机。单ToF传感器的深度相机能够测量深度的视场范围一般较小，可能无法满足某些需要大的视场范围深度图的应用的需求。为满足需要大的视场范围深度图的应用的需求，通常需要在同一个场景中使用多个单ToF传感器的深度相机，但这样又存在各个单ToF传感器的深度相机之间因调制解调不同步而互相干扰的问题。
发明内容
本发明实施例的目的在于提供一种组合深度图获得方法及深度相机，以解决多个单ToF传感器的深度相机之间互相干扰的问题。技术方案如下：
一种深度相机，包括：一个处理器、至少一个发光元件和至少两个飞行时间测距ToF传感器，所述至少一个发光元件的叠加照射范围覆盖所述至少两个ToF传感器的叠加视场范围，其中，
所述处理器，用于生成调制信号和解调信号，并将所述调制信号输出给每个发光元件，将所述解调信号输出给每个ToF传感器；接收每个ToF传感器输入的深度数据；将接收到的所有深度数据进行数据融合处理，生成组合深度数据；根据所述组合深度数据，获得组合深度图；
每个发光元件，用于接收所述处理器输入的调制信号；使用所述调制信号对自身的光信号进行调制，并向自身的照射范围内的物体发射调制光信号；
每个ToF传感器，用于接收所述处理器输入的解调信号；接收自身的视场范围内的物体反射回的调制光信号；使用所述解调信号对接收到的光信号进行解调，生成深度数据；将生成的深度数据输出给所述处理器。
在本发明的一种具体实施方式中，所述至少两个ToF传感器以传感器矩阵的方式进行排布，所述传感器矩阵包含至少一行和至少一列；
对所述传感器矩阵的每行，该行中每个ToF传感器的靶面的几何中心均位于一条直线上，该行中相邻两个ToF传感器之间的距离符合预设的第一距离要求，该行中相邻两个ToF传感器的靶面之间的夹角满足预设的夹角要求；
对所述传感器矩阵的每列，该列中每个ToF传感器的靶面的几何中心均位于一条直线上，该列中相邻两个ToF传感器之间的距离符合预设的第二距离要求，该列中相邻两个ToF传感器的靶面共面或互相平行。
在本发明的一种具体实施方式中，所述传感器矩阵的每行中相邻两个ToF传感器的靶面共面或互相平行。
在本发明的一种具体实施方式中，所述至少两个ToF传感器排布在预设球面上，不同ToF传感器在所述预设球面上的位置不同。
在本发明的一种具体实施方式中，所述处理器包括：至少一个现场可编程门阵列FPGA和与每个ToF传感器对应的ToF控制器TFC，其中，
所述FPGA，用于接收每个TFC输入的深度数据，并将接收到的所有深度数据进行数据融合处理，生成组合深度数据；根据所述组合深度数据，获得组合深度图；
所述处理器包含的TFC中的第一TFC，用于生成调制信号和解调信号，并将所述调制信号输出给每个发光元件，将所述解调信号输出给每个ToF传感器；
所述处理器包含的TFC中的每个TFC，用于接收自身对应的ToF传感器输入的深度数据，并将接收到的深度数据输出给所述FPGA。
在本发明的一种具体实施方式中，还包括：彩色摄像机，所述彩色摄像机的视场范围覆盖所述至少两个ToF传感器叠加的视场范围：
所述彩色摄像机，用于采集颜色数据，并将采集到的颜色数据输出给所述处理器；
所述处理器，还用于接收所述彩色摄像机输入的颜色数据；将接收到的颜色数据与所述组合深度数据进行对准，获得融合了深度信息的彩色图像。
一种组合深度图获得方法，应用于深度相机中的处理器，所述深度相机包括所述处理器、至少一个发光元件和至少两个飞行时间测距ToF传感器，所述至少一个发光元件的叠加照射范围覆盖所述至少两个ToF传感器的叠加视场范围，所述方法包括：
生成调制信号和解调信号；
将所述调制信号输出给每个发光元件，并将所述解调信号输出给每个ToF传感器；
针对每个ToF传感器，接收该ToF传感器采用所述解调信号对其视场范围内的物体反射回的调制光信号进行解调后，获得的深度数据，其中，所述调制光信号为具有与该ToF传感器的视场范围对应的照射范围的发光元件使用所述调制信号对自身的光信号进行调制后发射的；
将接收到的所有深度数据进行数据融合处理，生成组合深度数据；
根据所述组合深度数据，获得组合深度图。
在本发明的一种具体实施方式中，所述将接收到的所有深度数据进行数据融合处理，生成组合深度数据，包括：
确定所述至少两个ToF传感器的每个视场重叠区域；
针对每个视场重叠区域中的每个像素点，根据该像素点对应的每个ToF传感器中针对该像素点的置信度，将置信度最高值对应的ToF传感器获取的深度值作为该像素点的深度值；
根据确定的每个像素点的深度值，生成组合深度数据。
在本发明的一种具体实施方式中，所述将接收到的所有深度数据进行数据融合处理，生成组合深度数据，包括：
确定所述至少两个ToF传感器的每个视场重叠区域；
针对每个视场重叠区域中的每个像素点，根据该像素点对应的每个ToF传感器中针对该像素点的深度值的大小，确定该像素点的深度值；
根据确定的每个像素点的深度值，生成组合深度数据。
在本发明的一种具体实施方式中，所述深度相机还包括彩色摄像机，所述彩色摄像机的视场范围覆盖所述至少两个ToF传感器叠加的视场范围，所述方法还包括：
接收所述彩色摄像机输入的颜色数据；
将接收到的颜色数据与所述组合深度数据进行对准，输出融合了深度信息的彩色图像。
本发明实施例所提供的深度相机，包含一个处理器、至少一个发光元件和至少两个ToF传感器，可以满足大的视场范围深度图的应用的需求。深度相机中的发光元件使用相同的调制信号对光信号进行调制后发射，ToF传感器使用相同的与调制信号对应的解调信号对接收到的物体反射回的调制光信号进行解调，生成深度数据，可以避免因调制解调不同步而相互干扰的问题。处理器对接收到的所有深度数据进行数据融合处理，获得组合深度图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中深度相机的一种结构示意图；
图2为本发明实施例中ToF传感器的一种排布方式示意图；
图3为本发明实施例中ToF传感器的另一种排布方式示意图；
图4为本发明实施例中ToF传感器的另一种排布方式示意图；
图5为本发明实施例中ToF传感器的另一种排布方式示意图；
图6为本发明实施例中深度相机的另一种结构示意图；
图7为本发明实施例中深度相机的另一种结构示意图。
图8为本发明实施例中组合深度图获得方法的一种实施流程图；
图9为本发明实施例中真实深度相机与虚拟深度相机位置示意图；
图10为本发明实施例中空间点P在真实深度相机和虚拟深度相机中投影关系的一种示意图；
图11为本发明实施例中空间点P在真实深度相机和虚拟深度相机中投影关系的另一种示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，为本发明实施例所提供的一种深度相机的结构示意图，该深度相机包括：一个处理器、至少一个发光元件和至少两个飞行时间测距ToF传感器，所述至少一个发光元件的叠加照射范围覆盖所述至少两个ToF传感器的叠加视场范围，其中，
所述处理器，用于生成调制信号和解调信号，并将所述调制信号输出给每个发光元件，将所述解调信号输出给每个ToF传感器；接收每个ToF传感器输入的深度数据；将接收到的所有深度数据进行数据融合处理，生成组合深度数据；根据所述组合深度数据，获得组合深度图；
每个发光元件，用于接收所述处理器输入的调制信号；使用所述调制信号对自身的光信号进行调制，并向自身的照射范围内的物体发射调制光信号；
每个ToF传感器，用于接收所述处理器输入的解调信号；接收自身的视场范围内的物体反射回的调制光信号；使用所述解调信号对接收到的光信号进行解调，生成深度数据；将生成的深度数据输出给所述处理器。
本发明实施例所提供的深度相机，包含至少两个ToF传感器，ToF传感器的空间排布使得他们可以分别面向不同的视场范围区域，各视场范围区域可以组合形成较大的视场范围区域。在实际应用中，可以根据实际的视场范围的需求确定ToF传感器和发光元件的数量及排布方式，只要使得该深度相机中所有发光元件的叠加照射范围能够覆盖所有ToF传感器的叠加视场范围即可。
本发明实施例所提供的深度相机中的处理器，可以通过该深度相机的输入接口获得外部控制信号，外部控制信号可以由操作人员为设置和调整深度相机的相应参数而输入，比如用于设置或调整深度相机的曝光时间等。处理器可以根据该外部控制信号生成调制信号和解调信号，调制信号和解调信号相对应。
处理器将调制信号发送给每一个发光元件，将解调信号发送给每一个ToF传感器，也就是说，该深度相机中的所有发光元件使用的调制信号相同，该深度相机中的所有的ToF传感器使用的解调信号相同，以实现调制、解调同步。
发光元件接收到处理器发送的调制信号后，对自身的光信号进行调制，并将调制光信号发射出去。每个发光元件的照射范围内的物体会将该发光元件的调制光信号反射回来，由具有与该照射范围相对应的视场范围的ToF传感器接收。
ToF传感器接收到其视场范围内的物体反射回的调制光信号后，使用解调信号对接收到的调制光信号进行解调，生成深度数据。每个ToF传感器生成的深度数据为该ToF传感器在其视场范围区域中获取的每个像素点的深度值。每个ToF传感器将生成的深度数据输出给处理器。
处理器接收到每个ToF传感器输入的深度数据后，会将接收到的所有深度数据进行数据融合处理，对于ToF传感器的叠加视场范围内的数据选取合适的原始点进行映射，从而生成组合深度数据，并根据组合深度数据，获得组合深度图。处理器可以通过该深度相机的输出接口将获得的组合深度图输出，作为该深度相机的输出。
在实际应用中，处理器还可以根据接收到的外部控制信号生成针对ToF传感器的控制信号，为ToF传感器下发相应参数，以对ToF传感器实行相应的控制。
本发明实施例所提供的深度相机，包含一个处理器、至少一个发光元件和至少两个ToF传感器，可以满足大的视场范围深度图的应用的需求。深度相机中的发光元件使用相同的调制信号对光信号进行调制后发射，ToF传感器使用相同的与调制信号对应的解调信号对接收到的物体反射回的调制光信号进行解调，生成深度数据，可以避免因调制解调不同步而相互干扰的问题。处理器对接收到的所有深度数据进行数据融合处理，获得组合深度图。
在本发明的一个实施例中，所述至少两个ToF传感器可以以传感器矩阵的方式进行排布，所述传感器矩阵包含至少一行和至少一列；
对所述传感器矩阵的每行，该行中每个ToF传感器的靶面的几何中心均位于一条直线上，该行中相邻两个ToF传感器之间的距离符合预设的第一距离要求，该行中相邻两个ToF传感器的靶面之间的夹角满足预设的夹角要求；
对所述传感器矩阵的每列，该列中每个ToF传感器的靶面的几何中心均位于一条直线上，该列中相邻两个ToF传感器之间的距离符合预设的第二距离要求，该列中相邻两个ToF传感器的靶面共面或互相平行。
在实际应用中，ToF传感器的空间排布方式可以根据实际情况进行确定。下面例举几个实例对该深度相机包含的至少两个ToF传感器的排布方式进行说明。
实例1：
当该深度相机中的多个ToF传感器以传感器矩阵的方式进行排布，且该传感器矩阵只包含一行时，多个ToF传感器排布在同一条直线上，所有ToF传感器的靶面的几何中心均位于该直线上，且相邻两个ToF传感器之间的距离需要符合预设的第一距离要求，相邻两个ToF传感器的靶面之间的夹角需要满足预设的夹角要求，具体参见图2所示。
实例2：
上述实例1中相邻两个ToF传感器的靶面之间的夹角可以为0，即相邻两个ToF传感器的靶面共面或互相平行，具体参见图3所示。
实例3：
当该深度相机中的多个ToF传感器以传感器矩阵的方式进行排布，且该传感器矩阵包含多行和多列时，每行中的ToF传感器的具体排布方式可以与上述实例1一致。对于传感器矩阵中的每列，该列中每个ToF传感器的靶面的几何中心均位于一条直线上，该列中相邻两个ToF传感器之间的距离需要符合预设的第二距离要求，该列中相邻两个ToF传感器的靶面共面或互相平行，具体参见图4所示。
实例4：
当该深度相机中的多个ToF传感器以传感器矩阵的方式进行排布，且该传感器矩阵包含多行和多列时，每行中的ToF传感器的具体排布方式可以与上述实例2一致，每列中的ToF传感器的具体排布方式可以与上述实例3中每列中的ToF传感器的具体排布方式一致，具体参见图5所示。
需要说明的是，本发明实施例中预设的第一距离要求、预设的第二距离要求、预设的夹角要求等均可以根据实际情况进行设置和调整，如根据实际的视场范围区域的需求进行设置和调整，本发明实施例对此不做限制。
在本发明的一个实施例中，所述至少两个ToF传感器排布在预设球面上，不同ToF传感器在所述预设球面上的位置不同，能够满足实际所需的视场范围区域即可。
需要说明的是，本领域技术人员可以根据上述例举的本发明实施例所提供的深度相机中的ToF传感器的排布方式安装ToF传感器，在安装ToF传感器过程中，还需要根据ToF传感器的叠加视场范围安装发光元件，使得发光元件的发射光能够覆盖ToF传感器的叠加视场范围。当然，ToF传感器的具体排布方式不限于上述例举的几种。本领域技术人员根据上述例举的几个实例可以推导出其他不同的实例，对此本发明实施例不再赘述。
在实际应用中，深度相机中的处理器可以包含一块控制芯片，以实现多个ToF传感器共用解调信号、多个发光元件共用调制信号，该控制芯片按照ToF技术原理生成发光元件的调制信号，通过调制信号控制发光元件的发射光，同时，根据调制信号产生相应的解调信号，并将解调信号传送给所有ToF传感器用作对调制光信号的解调。
对于多ToF传感器的输出，处理器可以使用一块芯片进行多个深度数据的采集，该芯片可以是前述用于产生调制信号和解调信号的控制芯片，还可以是一块另外的独立芯片。该芯片采集到多个ToF传感器的深度数据后，对每个深度数据进行数据融合处理，获得组合深度图，即为本发明实施例中深度相机的输出。
参见图6所示，在本发明的一个实施例中，所述处理器可以包括：至少一个现场可编程门阵列FPGA和与每个ToF传感器对应的ToF控制器TFC，其中，
所述FPGA，用于接收每个TFC输入的深度数据，并将接收到的所有深度数据进行数据融合处理，生成组合深度数据；根据所述组合深度数据，获得组合深度图；
所述处理器包含的TFC中的第一TFC，用于生成调制信号和解调信号，并将所述调制信号输出给每个发光元件，将所述解调信号输出给每个ToF传感器；
所述处理器包含的TFC中的每个TFC，用于接收自身对应的ToF传感器输入的深度数据，并将接收到的深度数据输出给所述FPGA。
TFC为ToF控制器，是一种ASIC芯片，用于控制ToF系统和处理ToF传感器的输出。
在本发明实施例中，该深度相机包含的每个ToF传感器都有对应的TFC解析其输出。根据ToF传感器类型的不同，模拟信号输出的ToF传感器需要将输出进行模数转换后再送入TFC。所有的ToF传感器的解调信号都由其中某个TFC产生，以实现解调的同步，其余的TFC只负责接收相应的ToF传感器输入的深度数据。
该深度相机光照电路驱动所有发光元件用来自于前述产生解调信号的TFC的调制信号对要发射的光信号进行调制。在实际应用中，每个发光元件可以由多个LED组成，还可以由多个激光发射器和光学匀光元件组成。
在本发明实施例中，该深度相机使用至少一个FPGA对各路TFC输出的深度数据进行采集，并对所有深度数据进行数据融合处理，获得组合深度图，作为整个深度相机的输出供外部使用。同时，FPGA还可以接收外部的控制信号，并将控制信号传输给各个TFC。
在本发明实施例中，应用FPGA，便于多路信号的采集和融合计算。在实际应用中，也可以使用满足应用采集和计算能力需求的其他处理器代替。需要说明的是，图6中DDR为双倍速率同步动态随机存储器，全称为：Dual Data RateSDRAM，Flash为闪存，各个部件的位置仅是为了示意方便，并不代表实际结构中的位置。
在上述实施例中，每个ToF传感器都使用了一个TFC对其输出的深度数据进行解析。在另一个实施例中，TFC的功能可以使用FPGA实现，以节省TFC的硬件开销。参见图7所示，每个ToF传感器输出的深度数据都直接由FPGA进行采集并完成数据解析处理等一系列图6所示实施例中由TFC完成的工作。所有的调制信号、解调信号和控制信号也都由FPGA产生。当然，该实施例中的FPGA在实际应用中也可以由满足采集和计算资源要求的其他处理器代替。
在本发明的一个实施例中，该深度相机中还可以包括彩色摄像机，所述彩色摄像机的视场范围覆盖所述至少两个ToF传感器叠加的视场范围：
所述彩色摄像机，用于采集颜色数据，并将采集到的颜色数据输出给所述处理器；
所述处理器，还用于接收所述彩色摄像机输入的颜色数据；将接收到的颜色数据与所述组合深度数据进行对准，获得融合了深度信息的彩色图像，即RGB-D图像。
在深度相机中安装彩色摄像机，可以采集到颜色数据，处理器将颜色数据与组合深度数据进行对准，从而获得融合了深度信息的彩色图像，即RGB-D图像，其中，每个像素点既存储了该点的深度值，又存储了该点的灰度和颜色信息。
相应于上述的深度相机实施例，本发明实施例还提供了一种组合深度图获得方法，应用于深度相机中的处理器，该深度相机包括处理器、至少一个发光元件和至少两个飞行时间测距ToF传感器，至少一个发光元件的叠加照射范围覆盖至少两个ToF传感器的叠加视场范围。
参见图8所示，该方法可以包括以下步骤：
S110：生成调制信号和解调信号；
S120：将所述调制信号输出给每个发光元件，并将所述解调信号输出给每个ToF传感器；
S130：针对每个ToF传感器，接收该ToF传感器采用所述解调信号对其视场范围内的物体反射回的调制光信号进行解调后，获得的深度数据；
其中，所述调制光信号为具有与该ToF传感器的视场范围对应的照射范围的发光元件使用所述调制信号对自身的光信号进行调制后发射的；
S140：将接收到的所有深度数据进行数据融合处理，生成组合深度数据；
S150：根据所述组合深度数据，获得组合深度图。
为便于说明，将上述几个步骤结合起来进行说明。
本发明实施例所提供的技术方案应用于深度相机中的处理器，该深度相机包含至少两个ToF传感器，ToF传感器的空间排布使得他们可以分别面向不同的视场范围区域，各视场范围区域可以组合形成较大的视场范围区域。在实际应用中，可以根据实际的视场范围的需求确定ToF传感器和发光元件的数量及排布方式，只要使得该深度相机中所有发光元件的叠加照射范围能够覆盖所有ToF传感器的叠加视场范围即可。
处理器可以生成调制信号和解调信号，调制信号和解调信号相对应。处理器将调制信号发送给每一个发光元件，将解调信号发送给每一个ToF传感器，也就是说，该深度相机中的所有发光元件使用的调制信号相同，该深度相机中的所有的ToF传感器使用的解调信号相同，以实现调制、解调同步。
发光元件接收到处理器发送的调制信号后，对自身的光信号进行调制，并将调制光信号发射出去。每个发光元件的照射范围内的物体会将该发光元件的调制光信号反射回来，由具有与该照射范围相对应的视场范围的ToF传感器接收。
ToF传感器接收到其视场范围内的物体反射回的调制光信号后，使用解调信号对接收到的调制光信号进行解调，生成深度数据。每个ToF传感器生成的深度数据为该ToF传感器在其视场范围区域中获取的每个像素点的深度值。每个ToF传感器将生成的深度数据输出给处理器。
处理器接收到每个ToF传感器输入的深度数据后，会将接收到的所有深度数据进行数据融合处理，对于ToF传感器的叠加视场范围内的数据选取合适的原始点进行映射，从而生成组合深度数据，并根据组合深度数据，获得组合深度图。处理器可以通过该深度相机的输出接口将获得的组合深度图输出，作为该深度相机的输出。
应用本发明实施例所提供的技术方案，可以满足大的视场范围深度图的应用的需求。深度相机中的发光元件使用相同的调制信号对光信号进行调制后发射，ToF传感器使用相同的与调制信号对应的解调信号对接收到的物体反射回的调制光信号进行解调，生成深度数据，可以避免因调制解调不同步而相互干扰的问题。处理器对接收到的所有深度数据进行数据融合处理，获得组合深度图。
在本发明的一种具体实施方式中，步骤S140将接收到的所有深度数据进行数据融合处理，生成组合深度数据，可以包括以下步骤：
步骤一：确定所述至少两个ToF传感器的每个视场重叠区域；
步骤二：针对每个视场重叠区域中的每个像素点，根据该像素点对应的每个ToF传感器中针对该像素点的置信度，将置信度最高值对应的ToF传感器获取的深度值作为该像素点的深度值；
步骤三：根据确定的每个像素点的深度值，生成组合深度数据。
为便于描述，将上述三个步骤结合起来进行说明。
ToF传感器输出的深度值与真实值之间可能存在误差，通常用置信度来表示深度值与真实值之间误差的大小，一般来说，置信度越大，误差越小。置信度与深度值是一一对应的，即ToF传感器输出的深度数据中每一像素点都有对应的深度值，也有置信度。
当深度相机中包含的多个ToF传感器的视场范围有重叠时，针对视场重叠区域的每个目标像素点，存在多个深度值。ToF传感器针对每个原始像素点的深度值对应有置信度，对于视场重叠区域中的每个目标像素点，将其对应的多个原始像素点中置信度最高值对应的ToF传感器获取的深度值作为该目标像素点的深度值。
比如，ToF传感器A和ToF传感器B的视场范围有重叠区域O，对于重叠区域O中的每个像素点，既存在ToF传感器A获取到的深度值，又存在ToF传感器B获取到的深度值。在该像素点，ToF传感器A获取到的深度值对应的置信度高于ToF传感器B获取到的深度值对应的置信度，则将ToF传感器A获取到的深度值作为该像素点的深度值。
对于其他非视场重叠区域中的每个像素点均有唯一一个深度值。根据确定的每个像素点的深度值，可以生成组合深度数据。
对于步骤S140将接收到的所有深度数据进行数据融合处理，生成组合深度数据，本发明实施例提供一种具体的计算方法。
将一个包含至少两个ToF传感器的深度相机看作为由多个单ToF传感器的深度相机组成，在本实施例中对于深度相机的描述均指的是单ToF传感器的深度相机。实施该计算方法的前提条件如下：
第一个：深度相机在安装时需保证所有深度相机的光心位于一条直线上，这些深度相机为真实深度相机，且真实深度相机坐标系的y轴互相平行；
第二个：虚拟深度相机坐标系的x轴需位于真实深度相机的光心连线上。
在图9中，使用了两个位于不同位置的符合上述前提条件的真实深度相机，将虚拟深度相机定义在两个真实深度相机光心连线的中点上，并根据实际需求定义虚拟深度相机的焦距和视场范围。将两个真实深度相机的深度数据分别映射到虚拟深度相机上进行数据融合，融合过程中对于超出虚拟深度相机视场范围的数据进行丢弃，对重叠视场区域的数据根据置信度进行选择，即如果两个真实深度相机中都有点映射到了虚拟深度相机中的同一点，则保留置信度较大的那个点。图中所示的真实深度相机的成像面同虚拟深度相机的成像面之间存在夹角θ，θ的取值可以为0度，也可以为正值或负值，两个真实深度相机的夹角θ可以取不同的值，具体取值可以根据实际情况进行设定。在图9所示基础上可以扩展出两个以上真实深度相机与虚拟深度相机的对应关系。在此不再赘述。
以下开始推导从真实深度相机到虚拟深度相机的映射关系。以下推导不考虑相机镜头畸变的影响。
如图10所示，Or为某个真实深度相机的镜头光心，Ov为虚拟深度相机的镜头光心，Or与Ov的连线与虚拟深度相机的成像平面平行，该连线记为B。在Or处和Ov处分别按照相机成像的前投影模型建立直角坐标系，两坐标系的x轴共面，y轴互相平行，两坐标系x轴之间的夹角为θ。真实深度相机的焦距为f1，虚拟深度相机的焦距为f2。
空间中某一点P，在真实深度相机坐标系上的投影点为Pr，坐标为(x1,y1)，对应深度值为d1；在虚拟相机坐标系上的投影点为Pv，坐标为(x2,y2)，对应深度值为d2，P点相对于两个坐标系的y轴向坐标相等，记为yp。空间点P在两坐标系的x轴所在平面上的投影为Po，从Po分别作到Or和Ov的连线，记为dr和dv，dr与B的夹角记为α，dv与B的夹角记为β。以上各参数中，B，θ，f1，f2在计算过程中为常量。
依据三角关系有：
可以解出：
根据余弦定理有：
dv2＝dr2+B2-2*B*dr*cosα
d22＝dv2+yp2
可以解出：
令则
可以看出，对于某一确定像素点位置(x1,y1)，k1的值唯一确定。
再依据三角关系有：
令
则有：
可以看出，对于某确定像素点(x1,y1)，k2和k3可以唯一确定。
再依据三角关系有：
令可以看出，对于某确定像素点(x1,y1)，k4可以唯一确定。
综上，可以总结如下：对于在真实深度相机坐标系下的某一具有深度值d1的点(x1,y1)，其在虚拟深度相机坐标系下对应的映射点为(x2,y2)，深度值为d2。有如下关系：
其中，对于每个固定像素点(x1,y1)，系数(k1,k2,k3,k4)可以唯一确定，如下式所示：
因此，在深度相机的启动初始化过程中，即可根据每个真实深度相机参数和虚拟深度相机参数求出对于每个真实深度相机坐标系中每一点(x1,y1)对应的系数组(k1,k2,k3,k4,α)并存储在表中，之后的映射计算即可通过查表获得系数代入计算，省去计算系数所需的计算资源消耗。此外，由于-2≤k1＝2*可以得出：
当B足够小时可以认为d2＝d1，以上映射公式可进一步简化。
以上推导过程是基于Or位于Ov左边时进行的，当Or位于Ov右边时，即如图11所示结构，同理可得映射函数：
映射系数：
基于以上多深度相机结构和真实深度相机到虚拟深度相机的映射关系，对于多个深度数据的数据融合处理过程可以如下：
在真实深度相机启动初始化时，首先确定虚拟深度相机的位置和焦距，再根据虚拟深度相机的参数计算各个真实深度相机相对于虚拟深度相机的距离和倾角，之后可以根据确定下来的这些参数按照前述理论推导结果计算对于每个真实深度相机的每个像素点的映射系数(k1,k2,k3,k4,α)并生成查找表，最后对于每个真实深度相机采集获得的深度数据中每个像素点通过查表获得映射函数系数计算映射目标点位置和深度值，获得组合深度图。在映射的过程中，如果映射目标点的位置位于虚拟深度相机视场范围外，则丢弃该点，如果存在多个点同时被映射到同一个目标点的情况，则保留置信度最大值对应的深度值。
对于获得的具有大视场范围的组合深度图，可以在其上执行目标识别，跟踪等算法。例如在室内环境中，利用大视场范围的组合深度图对人员进行跟踪、定位；或者将大视场范围的组合深度图应用在体感游戏上，用于游戏中对于目标动作的识别。
在本发明的另一个具体实施方式中，步骤S140将接收到的所有深度数据进行数据融合处理，生成组合深度数据，可以包括以下步骤：
第一个步骤：确定所述至少两个ToF传感器的每个视场重叠区域；
第二个步骤：针对每个视场重叠区域中的每个像素点，根据该像素点对应的每个ToF传感器中针对该像素点的深度值的大小，确定该像素点的深度值；
第三个步骤：根据确定的每个像素点的深度值，生成组合深度数据。
为便于描述，将上述三个步骤结合起来进行说明。
当深度相机中包含的多个ToF传感器的视场范围有重叠时，针对视场重叠区域的每个像素点，存在多个深度值。可以根据这些深度值的大小，确定该像素点的深度值。
比如，ToF传感器A和ToF传感器B的视场范围有重叠区域O，对于重叠区域O中的每个像素点，既存在ToF传感器A获取到的深度值T1，又存在ToF传感器B获取到的深度值T2，如果T1>T2，则可以将ToF传感器B获取到的深度值T2作为该像素点的深度值。还可以将取T1和T2的平均值作为该像素点的深度值。
对于其他非视场重叠区域中的每个像素点均有唯一一个深度值。根据确定的每个像素点的深度值，可以生成组合深度数据。
在本发明的一个实施例中，深度相机还可以包括彩色摄像机，所述彩色摄像机的视场范围覆盖所述至少两个ToF传感器叠加的视场范围，该方法还可以包括以下步骤：
步骤一：接收所述彩色摄像机输入的颜色数据；
步骤二：将接收到的颜色数据与所述组合深度数据进行对准，输出融合了深度信息的彩色图像。
在深度相机中安装彩色摄像机，可以采集到颜色数据，处理器将颜色数据与组合深度数据进行对准，从而获得融合了深度信息的彩色图像，即RGB-D图像，其中，每个像素点既存储了该点的深度值，又存储了该点的灰度和颜色信息。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种深度相机，其特征在于，包括：一个处理器、至少一个发光元件和至少两个飞行时间测距ToF传感器，所述至少一个发光元件的叠加照射范围覆盖所述至少两个ToF传感器的叠加视场范围，其中，
所述处理器，用于生成调制信号和解调信号，并将所述调制信号输出给每个发光元件，将所述解调信号输出给每个ToF传感器；接收每个ToF传感器输入的深度数据；将接收到的所有深度数据进行数据融合处理，生成组合深度数据；根据所述组合深度数据，获得组合深度图；
每个发光元件，用于接收所述处理器输入的调制信号；使用所述调制信号对自身的光信号进行调制，并向自身的照射范围内的物体发射调制光信号；
每个ToF传感器，用于接收所述处理器输入的解调信号；接收自身的视场范围内的物体反射回的调制光信号；使用所述解调信号对接收到的光信号进行解调，生成深度数据；将生成的深度数据输出给所述处理器。
2.根据权利要求1所述的深度相机，其特征在于，所述至少两个ToF传感器以传感器矩阵的方式进行排布，所述传感器矩阵包含至少一行和至少一列；
对所述传感器矩阵的每行，该行中每个ToF传感器的靶面的几何中心均位于一条直线上，该行中相邻两个ToF传感器之间的距离符合预设的第一距离要求，该行中相邻两个ToF传感器的靶面之间的夹角满足预设的夹角要求；
对所述传感器矩阵的每列，该列中每个ToF传感器的靶面的几何中心均位于一条直线上，该列中相邻两个ToF传感器之间的距离符合预设的第二距离要求，该列中相邻两个ToF传感器的靶面共面或互相平行。
3.根据权利要求2所述的深度相机，其特征在于，所述传感器矩阵的每行中相邻两个ToF传感器的靶面共面或互相平行。
4.根据权利要求1所述的深度相机，其特征在于，所述至少两个ToF传感器排布在预设球面上，不同ToF传感器在所述预设球面上的位置不同。
5.根据权利要求1所述的深度相机，其特征在于，所述处理器包括：至少一个现场可编程门阵列FPGA和与每个ToF传感器对应的ToF控制器TFC，其中，
所述FPGA，用于接收每个TFC输入的深度数据，并将接收到的所有深度数据进行数据融合处理，生成组合深度数据；根据所述组合深度数据，获得组合深度图；
所述处理器包含的TFC中的第一TFC，用于生成调制信号和解调信号，并将所述调制信号输出给每个发光元件，将所述解调信号输出给每个ToF传感器；
所述处理器包含的TFC中的每个TFC，用于接收自身对应的ToF传感器输入的深度数据，并将接收到的深度数据输出给所述FPGA。
6.根据权利要求1至5任一项所述的深度相机，其特征在于，还包括：彩色摄像机，所述彩色摄像机的视场范围覆盖所述至少两个ToF传感器叠加的视场范围：
所述彩色摄像机，用于采集颜色数据，并将采集到的颜色数据输出给所述处理器；
所述处理器，还用于接收所述彩色摄像机输入的颜色数据；将接收到的颜色数据与所述组合深度数据进行对准，获得融合了深度信息的彩色图像。
7.一种组合深度图获得方法，其特征在于，应用于深度相机中的处理器，所述深度相机包括所述处理器、至少一个发光元件和至少两个飞行时间测距ToF传感器，所述至少一个发光元件的叠加照射范围覆盖所述至少两个ToF传感器的叠加视场范围，所述方法包括：
生成调制信号和解调信号；
将所述调制信号输出给每个发光元件，并将所述解调信号输出给每个ToF传感器；
针对每个ToF传感器，接收该ToF传感器采用所述解调信号对其视场范围内的物体反射回的调制光信号进行解调后，获得的深度数据，其中，所述调制光信号为具有与该ToF传感器的视场范围对应的照射范围的发光元件使用所述调制信号对自身的光信号进行调制后发射的；
将接收到的所有深度数据进行数据融合处理，生成组合深度数据；
根据所述组合深度数据，获得组合深度图。
8.根据权利要求7所述的方法，其特征在于，所述将接收到的所有深度数据进行数据融合处理，生成组合深度数据，包括：
确定所述至少两个ToF传感器的每个视场重叠区域；
针对每个视场重叠区域中的每个像素点，根据该像素点对应的每个ToF传感器中针对该像素点的置信度，将置信度最高值对应的ToF传感器获取的深度值作为该像素点的深度值；
根据确定的每个像素点的深度值，生成组合深度数据。
9.根据权利要求7所述的方法，其特征在于，所述将接收到的所有深度数据进行数据融合处理，生成组合深度数据，包括：
确定所述至少两个ToF传感器的每个视场重叠区域；
针对每个视场重叠区域中的每个像素点，根据该像素点对应的每个ToF传感器中针对该像素点的深度值的大小，确定该像素点的深度值；
根据确定的每个像素点的深度值，生成组合深度数据。
10.根据权利要求7至9任一项所述的方法，其特征在于，所述深度相机还包括彩色摄像机，所述彩色摄像机的视场范围覆盖所述至少两个ToF传感器叠加的视场范围，所述方法还包括：
接收所述彩色摄像机输入的颜色数据；
将接收到的颜色数据与所述组合深度数据进行对准，输出融合了深度信息的彩色图像。
CN201510665910.6A 2015-10-15 2015-10-15 一种组合深度图获得方法及深度相机 Active CN106612387B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510665910.6A CN106612387B (zh) 2015-10-15 2015-10-15 一种组合深度图获得方法及深度相机
EP16854817.0A EP3364643B1 (en) 2015-10-15 2016-08-05 Method for obtaining combined depth image, and depth camera
US15/767,607 US10713804B2 (en) 2015-10-15 2016-08-05 Method for obtaining combined depth image, and depth camera
PCT/CN2016/093546 WO2017063435A1 (zh) 2015-10-15 2016-08-05 一种组合深度图获得方法及深度相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510665910.6A CN106612387B (zh) 2015-10-15 2015-10-15 一种组合深度图获得方法及深度相机

Publications (2)

Publication Number Publication Date
CN106612387A true CN106612387A (zh) 2017-05-03
CN106612387B CN106612387B (zh) 2019-05-21

Family

ID=58517039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510665910.6A Active CN106612387B (zh) 2015-10-15 2015-10-15 一种组合深度图获得方法及深度相机

Country Status (4)

Country Link
US (1) US10713804B2 (zh)
EP (1) EP3364643B1 (zh)
CN (1) CN106612387B (zh)
WO (1) WO2017063435A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063188A (zh) * 2017-05-19 2017-08-18 深圳奥比中光科技有限公司 大视角3d视觉系统
CN108279421A (zh) * 2018-01-28 2018-07-13 深圳新亮智能技术有限公司 带有高分辨率彩色图像的飞行时间相机
CN108564614A (zh) * 2018-04-03 2018-09-21 Oppo广东移动通信有限公司 深度获取方法和装置、计算机可读存储介质和计算机设备
CN108848320A (zh) * 2018-07-06 2018-11-20 京东方科技集团股份有限公司 深度检测系统及其曝光时间调整方法
CN108897000A (zh) * 2018-06-19 2018-11-27 北京旷视科技有限公司 一种串扰抑制方法、装置、电子设备和计算机可读介质
CN108921888A (zh) * 2018-07-03 2018-11-30 京东方科技集团股份有限公司 一种深度图像检测方法、系统及计算机可读存储介质
CN108965579A (zh) * 2018-06-05 2018-12-07 Oppo广东移动通信有限公司 基于tof摄像头实现测距的方法及其装置、终端和存储介质
CN109031331A (zh) * 2018-08-07 2018-12-18 上海炬佑智能科技有限公司 飞行时间测距传感芯片及传感装置、电子设备
CN109164456A (zh) * 2018-09-21 2019-01-08 维沃移动通信有限公司 深度摄像头模组、移动终端及摄像头模组互扰处理方法
CN109343079A (zh) * 2018-10-30 2019-02-15 合肥泰禾光电科技股份有限公司 一种测距避障方法及避障装置
CN109454669A (zh) * 2018-11-14 2019-03-12 深圳蓝胖子机器人有限公司 机器人实时感知系统及具有其的感知机器人
CN109541631A (zh) * 2019-01-07 2019-03-29 杭州蓝芯科技有限公司 一种基于光飞行时间的大视场面阵探测雷达
CN109544616A (zh) * 2018-12-11 2019-03-29 维沃移动通信有限公司 一种深度信息确定方法和终端
CN109963138A (zh) * 2019-02-15 2019-07-02 深圳奥比中光科技有限公司 一种深度相机及图像获取方法
CN110276338A (zh) * 2018-03-13 2019-09-24 鸿海精密工业股份有限公司 感测模块及其电子装置
CN110278679A (zh) * 2018-03-13 2019-09-24 鸿海精密工业股份有限公司 感测模块及其电子装置
CN110349196A (zh) * 2018-04-03 2019-10-18 联发科技股份有限公司 深度融合的方法和装置
CN110363051A (zh) * 2018-04-10 2019-10-22 鸿海精密工业股份有限公司 感测模块及其电子装置
CN111458692A (zh) * 2020-02-01 2020-07-28 上海鲲游光电科技有限公司 深度信息处理方法及其系统和电子设备
CN112950517A (zh) * 2021-02-25 2021-06-11 浙江光珀智能科技有限公司 深度相机高动态范围深度图与灰度图的融合方法及装置
WO2021114036A1 (zh) * 2019-12-09 2021-06-17 南昌欧菲生物识别技术有限公司 Tof相机及电子设备
CN116365374A (zh) * 2023-03-23 2023-06-30 深圳市欧亚特电器设备有限公司 一种可远程控制的智能型配电柜及其控制方法
WO2023213172A1 (zh) * 2022-05-06 2023-11-09 追觅创新科技(苏州)有限公司 自移动设备的控制方法、设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201511551D0 (en) 2015-07-01 2015-08-12 St Microelectronics Res & Dev Photonics device
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
US10785400B2 (en) * 2017-10-09 2020-09-22 Stmicroelectronics (Research & Development) Limited Multiple fields of view time of flight sensor
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) * 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US11055866B2 (en) 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
EP3671277A1 (en) * 2018-12-21 2020-06-24 Infineon Technologies AG 3d imaging apparatus and method
CN111741283A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像处理的装置和方法
EP3930321A4 (en) 2019-03-25 2022-04-20 Huawei Technologies Co., Ltd. DUAL CAMERA + TOF LARGE APERTURE BLUR PROCESS
KR102068929B1 (ko) * 2019-05-23 2020-01-21 박배억 3차원 카메라 시스템
WO2020243901A1 (en) * 2019-06-04 2020-12-10 Texas Instruments Incorporated An optical time of flight sensor for navigation systems in robotic applications
DE102019215099B4 (de) * 2019-10-01 2022-09-29 Audi Ag Verfahren zum Bereitstellen einer aktuellen lokalen Umgebungszustandskarte für ein Kraftfahrzeug sowie Kraftfahrzeug zum Durchführen eines derartigen Verfahrens
KR102184210B1 (ko) * 2019-12-26 2020-11-27 박배억 3차원 카메라 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
CN102741651A (zh) * 2010-02-01 2012-10-17 微软公司 用于飞行时间测距系统的多个同步光源
US20150163474A1 (en) * 2013-12-05 2015-06-11 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image using the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580496B2 (en) 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
EP2405283B1 (de) 2010-07-06 2014-03-05 Mechaless Systems GmbH Optoelektronische Messanordnung mit einer Kompensationslichtquelle
WO2012137434A1 (ja) * 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
JP5924978B2 (ja) * 2012-02-28 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
KR102377634B1 (ko) * 2012-09-10 2022-03-22 에이매스, 아이엔씨. 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
AT513589B1 (de) 2012-11-08 2015-11-15 Bluetechnix Gmbh Aufnahmeverfahren für zumindest zwei ToF-Kameras
EP4016981A3 (en) * 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102741651A (zh) * 2010-02-01 2012-10-17 微软公司 用于飞行时间测距系统的多个同步光源
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
US20150163474A1 (en) * 2013-12-05 2015-06-11 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image using the same

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063188A (zh) * 2017-05-19 2017-08-18 深圳奥比中光科技有限公司 大视角3d视觉系统
CN108279421A (zh) * 2018-01-28 2018-07-13 深圳新亮智能技术有限公司 带有高分辨率彩色图像的飞行时间相机
CN108279421B (zh) * 2018-01-28 2021-09-28 深圳新亮智能技术有限公司 带有高分辨率彩色图像的飞行时间相机
CN110276338A (zh) * 2018-03-13 2019-09-24 鸿海精密工业股份有限公司 感测模块及其电子装置
CN110278679B (zh) * 2018-03-13 2021-05-04 鸿海精密工业股份有限公司 感测模块及其电子装置
CN110278679A (zh) * 2018-03-13 2019-09-24 鸿海精密工业股份有限公司 感测模块及其电子装置
CN108564614A (zh) * 2018-04-03 2018-09-21 Oppo广东移动通信有限公司 深度获取方法和装置、计算机可读存储介质和计算机设备
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN110349196A (zh) * 2018-04-03 2019-10-18 联发科技股份有限公司 深度融合的方法和装置
CN110363051A (zh) * 2018-04-10 2019-10-22 鸿海精密工业股份有限公司 感测模块及其电子装置
CN108965579A (zh) * 2018-06-05 2018-12-07 Oppo广东移动通信有限公司 基于tof摄像头实现测距的方法及其装置、终端和存储介质
CN108897000B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 一种串扰抑制方法、装置、电子设备和计算机可读介质
CN108897000A (zh) * 2018-06-19 2018-11-27 北京旷视科技有限公司 一种串扰抑制方法、装置、电子设备和计算机可读介质
CN108921888A (zh) * 2018-07-03 2018-11-30 京东方科技集团股份有限公司 一种深度图像检测方法、系统及计算机可读存储介质
CN108921888B (zh) * 2018-07-03 2022-07-19 京东方科技集团股份有限公司 一种深度图像检测方法、系统及计算机可读存储介质
CN108848320A (zh) * 2018-07-06 2018-11-20 京东方科技集团股份有限公司 深度检测系统及其曝光时间调整方法
CN108848320B (zh) * 2018-07-06 2021-01-26 京东方科技集团股份有限公司 深度检测系统及其曝光时间调整方法
CN109031331A (zh) * 2018-08-07 2018-12-18 上海炬佑智能科技有限公司 飞行时间测距传感芯片及传感装置、电子设备
CN109164456A (zh) * 2018-09-21 2019-01-08 维沃移动通信有限公司 深度摄像头模组、移动终端及摄像头模组互扰处理方法
CN109343079A (zh) * 2018-10-30 2019-02-15 合肥泰禾光电科技股份有限公司 一种测距避障方法及避障装置
CN109454669A (zh) * 2018-11-14 2019-03-12 深圳蓝胖子机器人有限公司 机器人实时感知系统及具有其的感知机器人
CN109544616A (zh) * 2018-12-11 2019-03-29 维沃移动通信有限公司 一种深度信息确定方法和终端
CN109541631B (zh) * 2019-01-07 2024-09-10 杭州蓝芯科技有限公司 一种基于光飞行时间的大视场面阵探测雷达
CN109541631A (zh) * 2019-01-07 2019-03-29 杭州蓝芯科技有限公司 一种基于光飞行时间的大视场面阵探测雷达
CN109963138A (zh) * 2019-02-15 2019-07-02 深圳奥比中光科技有限公司 一种深度相机及图像获取方法
WO2021114036A1 (zh) * 2019-12-09 2021-06-17 南昌欧菲生物识别技术有限公司 Tof相机及电子设备
CN111458692B (zh) * 2020-02-01 2023-08-25 上海鲲游科技有限公司 深度信息处理方法及其系统和电子设备
CN111458692A (zh) * 2020-02-01 2020-07-28 上海鲲游光电科技有限公司 深度信息处理方法及其系统和电子设备
CN112950517B (zh) * 2021-02-25 2023-11-03 浙江光珀智能科技有限公司 深度相机高动态范围深度图与灰度图的融合方法及装置
CN112950517A (zh) * 2021-02-25 2021-06-11 浙江光珀智能科技有限公司 深度相机高动态范围深度图与灰度图的融合方法及装置
WO2023213172A1 (zh) * 2022-05-06 2023-11-09 追觅创新科技(苏州)有限公司 自移动设备的控制方法、设备及存储介质
CN116365374A (zh) * 2023-03-23 2023-06-30 深圳市欧亚特电器设备有限公司 一种可远程控制的智能型配电柜及其控制方法
CN116365374B (zh) * 2023-03-23 2023-10-27 深圳市欧亚特电器设备有限公司 一种可远程控制的智能型配电柜及其控制方法

Also Published As

Publication number Publication date
EP3364643A1 (en) 2018-08-22
WO2017063435A1 (zh) 2017-04-20
CN106612387B (zh) 2019-05-21
US10713804B2 (en) 2020-07-14
EP3364643B1 (en) 2021-09-08
EP3364643A4 (en) 2019-04-03
US20180300891A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
CN106612387A (zh) 一种组合深度图获得方法及深度相机
US9451236B2 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
US10791320B2 (en) Non-uniform spatial resource allocation for depth mapping
US11145071B2 (en) Image processing method, non-transitory computer-readable storage medium, and electronic apparatus
CN110244282B (zh) 一种多相机系统和激光雷达联合系统及其联合标定方法
CN108702437A (zh) 用于3d成像系统的高动态范围深度生成
CN104284119B (zh) 在对象的预定义部分上投影图像的设备、系统和方法
EP3614659B1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
CN109816731B (zh) 一种rgb和深度信息精确配准的方法
CN106949836B (zh) 一种立体视觉摄像头同侧目标位置标定装置及方法
CN109087382A (zh) 一种三维重构方法及三维成像系统
CN108369089A (zh) 3维图像测量装置及方法
TW202023261A (zh) 控制方法、微處理器、電腦可讀記錄媒體及電腦設備
CN110390719A (zh) 基于飞行时间点云重建设备
CN106610490A (zh) 一种基于led和图像传感器的光定位方法、系统和装置
CN104657970B (zh) 一种全自动双目内窥镜的标定方法及标定系统
CN107783353A (zh) 用于捕捉立体影像的装置及系统
CN209787294U (zh) 一种多光谱立体成像系统
CN106331453A (zh) 多图像采集系统及图像采集方法
CN113884081B (zh) 测定定位点三维坐标的方法及设备
CN103871061A (zh) 一种基于双目视觉的眼底图像处理方法
US20240013437A1 (en) Method for providing calibration data for calibrating a camera, method for calibrating a camera, method for producing at least one predefined point-symmetric region, and device
CN109565577A (zh) 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序
CN107483815A (zh) 运动物体的拍摄方法和装置
CN102628693A (zh) 一种用于摄像机主轴与激光束进行平行配准的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Pu Shiliang

Inventor after: Wang Jingxiong

Inventor after: Mao Hui

Inventor after: Shen Linjie

Inventor after: Yu Hai

Inventor before: Wang Jingxiong

Inventor before: Mao Hui

Inventor before: Shen Linjie

Inventor before: Yu Hai

Inventor before: Pu Shiliang

GR01 Patent grant
GR01 Patent grant