Nothing Special   »   [go: up one dir, main page]

KR20120123388A - 비행 시간 범위 확인 시스템을 위한 다수의 동기화된 광원 - Google Patents

비행 시간 범위 확인 시스템을 위한 다수의 동기화된 광원 Download PDF

Info

Publication number
KR20120123388A
KR20120123388A KR1020127020213A KR20127020213A KR20120123388A KR 20120123388 A KR20120123388 A KR 20120123388A KR 1020127020213 A KR1020127020213 A KR 1020127020213A KR 20127020213 A KR20127020213 A KR 20127020213A KR 20120123388 A KR20120123388 A KR 20120123388A
Authority
KR
South Korea
Prior art keywords
optical energy
unit
woe
phase
pwoe
Prior art date
Application number
KR1020127020213A
Other languages
English (en)
Other versions
KR101804590B1 (ko
Inventor
사이러스 밤지
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20120123388A publication Critical patent/KR20120123388A/ko
Application granted granted Critical
Publication of KR101804590B1 publication Critical patent/KR101804590B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

TOF 시스템 광 전력은 무선(WOE), 또는 플러그 와이어(PWOE)일 수 있는 보조 광학 방출기 유닛을 이용하여 증대된다. WOE 유닛은 WOE에 의해 수신되는 바와 같이 방출된 TOF 시스템 광학 에너지(Sout)를 감지하며 Sout에 대한 주파수 및 위상에 바람직하게 동적으로 동기화되는 광학 에너지(Sout -n)를 방출한다. 각 WOE는 Sout를 검출하는 적어도 하나의 광학 센서, 및 WOE 방출 Sout -n 광학 에너지의 주파수 및 위상이 TOF 방출 Sout 광학 에너지의 주파수 및 위상과 동적으로 동기화되는 것을 보증하는 내부 피드백을 포함한다. PWOE 유닛은 내부 피드백을 필요로 하지 않지만 TOF 시스템 1차 광원에 의해 방출되는 것으로 PWOE 방출 광학 에너지의 주파수와 위상 사이의 정밀한 일치를 야기시키기 위해 TOF 시스템에 의해 교정된다. PWOE가 분리에 이용되면, PWOE와 TOF 1차 광학 에너지 소스 사이의 지연 차이가 소프트웨어 보상될 수 있다.

Description

비행 시간 범위 확인 시스템을 위한 다수의 동기화된 광원{MULTIPLE SYNCHRONIZED OPTICAL SOURCES FOR TIME-OF-FLIGHT RANGE FINDING SYSTEMS}
본 발명은 일반적으로 위상 기반 비행 시간(TOF(time-of-flight)) 범위 확인 시스템에 관한 것으로, 특히 1차 광학 에너지의 소스에 동적으로 주파수 동기화 및 위상 동기화되는 적어도 하나의 추가적인 광원을 갖는 그러한 시스템에 의해 이용되는 광학 에너지의 소스를 증대시키는 것이다. 그러한 추가적인 광원은 TOF 시스템으로부터 무선으로 원격 위치될 수 있거나, TOF 시스템 그 자체에 제거 가능하며 플러그 연결 가능하게 부착될 수 있다.
TOF(Time-of-flight) 시스템은 당해 기술분야에 알려져 있으며, 미국 특허 제6,323,942호 "CMOS 호환 3차원 이미지 센서 IC(CMOS-Compatible Three-Dimensional Image Sensor IC)"(2001)에 기재된 것과 같은 비위상 기반 시스템, 및 미국 특허 제6,580,496호 "양자 효율 변조를 이용한 CMOS 호환 3차원 이미지 센싱 시스템(Systems for CMOS-Compatible Three-Dimensional Image Sensing Using Quantum Efficiency Modulation)"(2003)에 기재된 것과 같은 위상 기반 시스템 둘 다를 포함하며, 이들 특허는 참조함으로써 추가적 배경 자료로서 본 명세서에 통합된다.
도 1a는 위상 기반 TOF 시스템(100), 예를 들어 미국 특허 제6,580,496호에 기재된 것과 같은 시스템을 예시한다. TOF 시스템(100)은 이동 부품을 갖지 않으면서 비교적 소수의 오프칩 소자를 가지고 단일 IC(110) 상에 구현될 수 있다. 시스템(100)은 검출기(또는 센서는)(140)의 2차원 어레이(130)를 포함하며, 그 각각은 결합된 검출기에 의한 검출 전하 출력을 처리하기 위한 전용 회로(150)를 갖는다. 집합적으로 검출기(140) 및 그 회로(150)는 픽셀(155)을 포함한다. 전형적인 응용에서, 어레이(130)는 100x100 픽셀(155)을 포함할 수 있다. 또한, IC(110)는 마이크로프로세서 또는 마이크로컨트롤러 유닛(160), 메모리(170)(랜덤 액세스 메모리 또는 RAM 및 읽기 전용 메모리 또는 ROM을 포함하는 것이 바람직한), 고속 분배가능 클록(180), 및 각종 컴퓨팅과 입/출력(I/O) 회로(190)를 포함한다.
마이크로프로세서(160)의 제어 하에, 발진기(115)에 의해 광학 에너지의 소스(120)는 주기적으로 전력을 공급받고 물체 대상(20)을 향해 렌즈(125)를 통해 광학 에너지(Sout)를 방출한다. 통상, 광학 에너지는 예를 들어 레이저 다이오드 또는 LED 장치(120)에 의해 방출되는 광이다. Sout는 가능하면 200 MHz의 변조 주파수 성분과 주기적 신호인 것이 바람직하다. 편의를 위해, Sout는 Aㆍcos(ωt)로 표현될 수 있다. Sout는 통상 수십 mW 범위에서 낮은 평균 및 피크 전력을 가지며, 그것은 방출기(120)가 비교적 좁은 대역폭, 예를 들어 수백 KHz를 갖는 저렴한 광원이 되게 할 수 있다. 방출된 광학 에너지(Sout) 중 일부는 에너지(Sin)의 복귀에 따라 대상 물체(20) 상에 반사될 것이며, 그것은 Sin = Aㆍcos(ωt + Φ)로 표현될 수 있고, 여기서 Φ는 상대 위상 시프트이다. 에너지(Sin)의 복귀(returning)는 개구 필드 스톱 및 렌즈(집합적으로 135)를 통과하고, 이미지가 형성되는 픽셀 검출기(140)의 2차원 어레이(130)와 마주친다. Sin은 활성으로 방출된 Sout 성분에 더하여 주위 에너지 성분을 포함할 수 있는 것에 주목한다.
각 픽셀(155)은 수신된 Sin의 강도(또는 진폭), 및 시스템(100)과 대상 물체(20) 사이의 왕복 이동 거리(Z)의 측정을 나타내는 수신된 Sin과 방출된 Sout 사이의 상대 위상 시프트(Φ)를 측정한다. 방출기(120)에 의해 전달되는 광학 에너지의 각 펄스에 대해서는, 대상 물체(20)의 일부의 3차원 이미지가 획득되며, 여기서 위상 시프트(Φ)는 거리(Z)를 결정하기 위해 분석된다.
시스템(100)을 향해 반사되기 전에 대상 물체(20)의 더 먼 표면 영역으로 이동하는 방출된 광학 에너지(Sout)는 대상 물체(또는 더 가까운 대상 물체)의 더 가까운 표면 부분에 도달하여 반사되는 방사보다 긴 비행 시간을 규정할 것이다. 게다가, 거리(Z)의 상이한 값은 상대 위상 시프트(Φ)의 상이한 크기로 나타날 것이다. 따라서, 상대적인 위상 시프트 위상(Φ)은 시스템(100)과 대상 물체(20) 사이의 거리(Z)의 측정을 제공할 수 있다. 픽셀 어레이(130)의 다수의 위치에 걸친 Sin 신호의 검출은 깊이 이미지로서 지칭되는 신호를 측정한다. 획득된 데이터는 대상 물체(20)의 표면 영역에 대한 거리(Z) 값을 결정하기 위해 명도 데이터(예를 들어, 신호 진폭 A), 및 정확한 TOF 상대 위상 시프트(Φ)를 포함한다.
시스템(100')에서 방출기(120)에 의해 방출되어 거리(z)를 가로질러 대상 물체(20)에 전달되는 에너지(S1 = cos(ωt)), 및 어레이(130')에서 광 검출기(140')에 의해 검출되는 복귀 에너지(S2 = Aㆍcos(ωt + Φ))에 요구되는 TOF(time-of-flight)로 인한 위상 시프트(Φ)가 존재할 것이며, 여기서 A는 검출된 반사 신호의 밝기를 나타내며 픽셀 검출기에 의해 수신되는 동일한 복귀 신호를 이용하여 측정될 수 있다. 도 1b 및 1c는 위상 시프트(Φ)와 비행 시간 사이의 관계를 도시하며, 설명의 용이함을 위해 주기 T = 2π/ω를 갖는 정현 파형을 가정한다.
비행 시간으로 인한 위상 시프트(Φ)는 하기와 같다:
Figure pct00001
여기서, C는 300,000 Km/sec의 광속이다. 따라서, 에너지 방출기로부터(그리고 검출기 어레이로부터) 대상 물체로의 거리(z)는 하기와 같이 제공된다:
Figure pct00002
3차원 이미징 데이터 획득 TOF 시스템을 포착 및 처리하는 각종 기술은 당해 기술분야에 알려져 있다. 예를 들어, Bamji 등의 미국 특허 제6,522,395호(2003)는 CMOS-호환 이미지 센서 IC로 획득가능한 3차원 정보에 적당한 잡음 감소 기술을 개시한다.
대상 물체(120)에 의해 보여지는 Sout에 의해 제공되는 유효 조명은 Z의 제곱에 반비례해서 변화한다. 따라서, 방출기(120)로부터 출력 전력의 크기를 증가시키는 것은 Z의 증가하는 크기를 통해 더 정확한 측정을 제공해서 시스템(100) 성능을 증대시킬 수 있다. 그러나, 일부 시스템에서 방출기(120)는 IC(110)에 접합될 수 있어, 방출기를 더 강력한(고와트수) 장치로 교체하는 것이 곤란해질 수 있다.
따라서, 대상 물체에 의해 보여지는 Sout 조명의 강도를 증대시키기 위해 하나 이상의 추가적인 광원이 제공될 수 있는 방법이 요구된다. 그러한 추가적인 광원은 가능하면 시스템(100)에 인접하게 위치하는 비교적 고전력 방출기, 및/또는 광 전력의 TOF 1차 소스보다 대상 물체에 더 가까이 위치하는 저전력의 방출기를 포함할 수 있다. 그러나, 최종 시스템의 적절한 동작은 각각의 추가적인 광원으로부터의 광학 에너지가 광학 에너지(Sout)와 동기화될 것을 요구한다.
본 발명은 소스 에너지(Sout)로서의 방출기(120)에 의해 발생되는 광학 에너지와 동기화되는 적어도 하나의 추가적인 광원을 제공하는 방법 및 시스템을 제공한다. 그러한 추가적인 광원은 TOF 시스템 1차 광원에 무선 동기화될 수 있으며, 및/또는 TOF 시스템 하우징에 제거 가능하게 부착되므로 무선보다는 오히려 유선일 수도 있다.
본 발명은 다수의 응용에서 적어도 대상 물체의 영역을 향해 더 많은 광학 에너지를 보내도록 위상 기반 TOF 시스템에 의해 방출되는 유효 광 전력을 증대하는 것이 바람직하다고 인지한다. 유효 광 전력 증대는 일 실시예에 있어서 TOF 시스템으로부터의 Sout 방출에 대한 변조 주파수 및 위상에 바람직하게는 광학적으로 그리고 무선으로 동적으로 동기화되는 적어도 하나의 보조 WOE(wireless optical emitter) 유닛을 포함함으로써 달성된다. WOE 유닛은 그 방출된 광학 에너지로 대상 물체의 적어도 일부를 조명하도록 배치된다. 그러한 유닛에 의해 방출되는 광 전력은 TOF 시스템에 의해 방출되는 Sout 광 전력보다 작거나, 크거나, 심지어 동일할 수 있다. 비교적 저전력 WOE 유닛의 장점은 상당히 적은 비용 및 폼 팩터와, 그것을 대상 물체에 비교적 가까이 배치하는 능력이다. 대상 물체에 가까이 배치된 그러한 유닛에 의해 제공되는 유효 광학 에너지 조명은 매우 실질적이다. 바람직하게는 각 보조 광학 방출기는 독립형 유닛이며, 배터리 동작될 수 있지만, 배터리 동작될 필요는 없다.
언급된 바와 같이, TOF 시스템에 의해 획득되는 깊이 이미지의 품질은 유입 반사 Sin 광학 에너지의 함수이다. 적절한 깊이 이미지의 생성은 모든 Sout 광학 에너지의 소스, 즉 TOF 시스템 광학 방출기 및 모든 WOE가 TOF 시스템 Sout 방출 광학 에너지에 관한 변조 주파수 및 위상에 대해 둘 다 동적으로 동기화되는 것을 필요로 한다. 바람직하게는 각 WOE 유닛은 TOF 시스템에 의해 방출되는 유입 Sout 광학 에너지에 응하는 제 1 광학 센서, 광학 에너지를 출력하는 광학 방출기, TOF 발진기의 주파수에서 명목상 동작하는 프리 러닝(free running) VCO(voltage controlled oscillator), WOE에 의해 방출되는 광학 에너지에 응하는 제 2 광학 센서, 및 WOE에 의해 방출되는 광학 에너지의 주파수 및 위상을 유입 TOF 광학 에너지(Sout)의 것과 일치시키기 위해 폐루프 피드백에서 동작하는 바람직하게는 PLL(phase lock loop) 시스템을 포함한다. 각 WOE 내에서 VCO의 주파수는 바람직하게는 PLL 회로를 이용하여 TOF 시스템 Sout 주파수에 동적으로 동기화되며, 주파수 동기화는 WOE 유닛 방출 광학 에너지를 샘플링함으로써 확인된다. WOE 유닛 방출 광학 에너지의 위상은 TOF 시스템 Sout 위상과 동기화되며, 위상 동기화는 WOE 유닛 방출 광학 에너지를 샘플링함으로써 확인된다. 바람직하게는, 각 WOE 유닛 내의 제 1 광학 센서 및 광학 방출기는 착신 Sout 광학 에너지를 더 잘 검출하며 대상 물체를 향해 유닛의 방출 광학 에너지를 더 잘 보내도록 기계적으로 선회 가능하다. 바람직하게는, TOF 시스템 내에서, 바람직하게는 하드웨어 지원으로 실행되는 소프트웨어는 Sin 신호의 초기 시간 영역을 무시할 수 있으며, 그 시간 영역 사이에 동기화 고정이 아직 달성되지 않는다. 게다가, TOF 시스템 내에서 실행되는 소프트웨어는 필요에 따라 Sin 정보를 처리하고, 필요에 따라 WOE 유닛에 대한 주파수 및 시간을 동적으로 동기하는데 필요한 시간, FOV, 출력 전력, 및 개별 WOE 유닛의 다른 특성을 고려하는 것을 지능적으로 지원할 수 있다. 바람직하게는, Sout 광학 에너지는 주파수 및/또는 위상이 변하므로 각 WOE 유닛 내의 메모리는 재동기화를 잠재적으로 촉진하기 위해 가장 최근의 PLL 동기화 파라미터를 저장할 수 있다.
제 2 실시예에 있어서, 적어도 하나의 보조 PWOE(plug-wired optical emitter) 유닛은 TOF 시스템의 하우징에, 바람직하게는 짧은 와이어 길이가 전파 지연을 최소화하는 플러그 접속에 의해 물리적으로 제거 가능하게 부착가능하다. 플러그 접속은 매우 짧은 와이어 길이가 이 PWOE를 구동 신호를 위해 TOF 1차 광학 방출기에 연결할 수 있게 한다. TOF 시스템 내의 회로는 하나씩 그러한 PWOE 유닛만을 이용하여 획득된 이미지에서 지연 래그를 검사하며, TOF 1차 광학 방출기만을 이용하여 획득된 이미지를 비교한다. TOF 시스템 회로는 분리에 이용되는 각 PWOE 유닛으로부터 광학 에너지를 이용하여 그리고 1차 광학 유닛으로부터의 광학 에너지없이 획득되는 데이터와 관련된 지연 래그를 보상할 수 있다. 대안으로, TOF 회로는 1차 광학 유닛의 지연을 일치시키기 위해 각 PWOE의 지연을 조정할 수 있다. 이와 같이 적절히 지연 보상되거나 선택된 임의의 수의 PWOE는 이 때 대상 물체와 마주치는 광학 에너지의 양을 증가시키기 위해 TOF 시스템 1차 광원과 동시에 사용될 수 있다. TOF 시스템은 필요에 따라 적어도 하나의 WOE 및 적어도 하나의 PWOE 유닛을 이용할 수 있다.
본 발명의 다른 특징 및 장점은 바람직한 실시예가 첨부 도면과 함께 상세히 설명된 이하의 설명으로부터 나타나게 될 것이다.
도 1a는 종래 기술에 따른 범용 위상 기반 TOF 시스템의 블록도이다.
도 1b는 종래 기술에 따른 도 1a의 시스템에 의해 송신되는 고주파 성분과 송신된 주기적 Sout 신호를 도시한다.
도 1c는 종래 기술에 따른 도 1b의 송신된 신호에 대한 위상 지연과 복귀 Sin 파형을 도시한다.
도 2는 본 발명의 실시예에 따른 보조 WOE(wireless optical emitter) 유닛, 및 보조 PWOE(plug-wired optical emitter) 유닛이 구비된 범용 위상 기반 TOF 시스템의 블록도이다.
도 3은 본 발명의 실시예에 따른 WOE 유닛의 예시적 상세한 설명을 도시하는 블록도이다.
TOF 시스템에 의해 획득되는 깊이 이미지 및 데이터의 품질 및 분해능은 TOF 시스템에 의해 방출되는 광학 에너지(Sout)의 크기에 부분적으로 의존한다. Sout의 에너지 크기가 증가함에 따라, 유효 Z 범위가 증가하며, 소정의 깊이(Z)에서의 획득된 깊이 데이터의 분해능이 증가한다. 일부 응용에서, 대상 물체의 일부만을 조명하는 유효 Sout 광 전력을 증가시키는 것이 바람직하거나 필요할 수 있다. 유효 Sout 광 전력 조명의 크기는 Sout 소스와 대상 물체를 분리하는 거리(Z)의 제곱에 반비례해서 변화한다. 따라서, 유효 광 전력을 증가시키는 하나의 해결법은 거리(Z)를 감소시키는 것이다. 이것은 대상 물체 가까이에 적어도 하나의 추가적인 보조 광학 에너지 유닛(WOE)을 배치함으로써 달성될 수 있다. 그러나, 이 목표는 각 WOE로부터의 방출의 주파수 및 위상이 TOF 방출기(120)로부터의 TOF 100' Sout 방출의 주파수 및 위상과 동적으로 동기화되는 것을 보증하는 것이며, 그것은 TOF 주 발진기(115)에 의해 제어된다. 이 목표는 TOF 시스템(100')에 의해 발생되는 광학 에너지(Sout)가 확산 스펙트럼 특성을 나타낼 수 있다는 점에서 벅찰 수 있다.
본 발명의 실시예는 보조 PWOE(plug-wired optical energy) 유닛 및/또는 보조 WOE(wireless optical energy) 유닛을 TOF 시스템에 제공할 수 있다. PWOE 유닛은 먼저 도 2에 관해서 설명될 것이다. TOF 시스템(100')은 하나 이상의 PWOE 유닛(210-1, 210-2), 하나 이상의 WOE 유닛(220-1, 220-2 등), 또는 적어도 하나의 PWOE 유닛 및 적어도 하나의 WOE 유닛으로 그 1차 방출기(120)로부터의 광학 에너지를 증대시킬 수 있다. PWOE 유닛 또는 WOE 유닛으로부터의 출력 광학 에너지는 TOF 시스템 1차 소스(120)에 의해 방출되는 광학 에너지(Sout)의 전력보다 크거나, 같거나, 작을 수 있다. 필요에 따라, 하나 이상의 PWOE 유닛은 방출기(120) 대신에 시스템(100') 광 전력을 발생시키기 위해 이용될 수 있다.
먼저 보조 PWOE(plug-wired optical emitter) 유닛을 참조하면, 도 2에 도시된 바와 같이, 도 2의 TOF 시스템(100')은 210-1, 210-2와 같은 적어도 하나의 보조 PWOE(plug-wired optical emitter) 유닛으로 증대되며 그리고/또는 이 유닛에 의해 대체될 수 있는 방출된 광학 에너지의 내부 1차 소스(120)를 갖는다. PWOE 유닛은 커넥터(220-1, 220-2)로 메이팅하게(matingly) 플러그되는(또는 로부터 언플러그되는) 것이 바람직하며, 그 커넥터(220-n)는 1차 광학 방출기 소스(120)에 매우 근접해 있지 않으면 인접한 TOF 시스템(100')의 하우징 상에 장착된다.
TOF 시스템(100')이 제조될 때, 1차 광학 방출기 소스(120)는 시스템에 대해 교정되었을 것이다. 개별 PWOE 유닛이 교정되지 않으면, 그리고 TOF 시스템(100') 내의 유닛과 회로 사이의 상대적 와이어 길이가 짧을지라도, 교정되지 않은 지연 시간이 내재한다. 교정되지 않았다면, PWOE 유닛 중 다수와 관련된 지연 시간은 부정확한 Z 값을 갖는 깊이 데이터를 획득할 것이다.
일 실시예에 있어서, PWOE 유닛은 다음과 같이 그 고유 지연 시간에 대해 교정된다. 초기에 TOF 시스템(100')은 1차 광학 에너지 소스(120)에 의해 방출되는 Sout 에너지만을 이용하여 알려진 대상 물체(20)로부터 깊이 데이터를 획득한다. 그 다음, 소스(120)는 일시적으로 기능 억제되며, TOF 시스템(100') 또는 대상 물체(20)를 이동시키지 않고, 새로운 깊이 데이터는 Sout210 -1을 이용하여 획득되며, 그것은 PWOE 유닛(210-1)에 의해 단독으로 방출된다. 단일 PWOE가 1차 광학 유닛(120) 없이 이용될 때, TOF 시스템 내에서 바람직한 소프트웨어는 임의의 추가적인 회로를 필요로 하지 않고 지연 차이를 보상할 수 있다.
이와 달리, TOF 시스템(100') 내의 소프트웨어 및/또는 하드웨어(177)는 이 때 그 획득된 데이터를 1차 소스(120)만을 이용할 때 획득된 데이터와 일치시키기 위해 PWOE 유닛(210-1)에 대한 지연을 미세조정할 수 있다. 그렇게 교정되면, PWOE 유닛(210-1)에 의해 방출되는 광학 에너지는 1차 소스(120)에 의해 방출되는 광학 에너지로부터 대상 물체(20)와 실질적으로 구별하기 어렵다. 각종 광원으로부터 대상 물체(20)에 의해 관찰되는 에너지는 공통 위상 및 공통 주파수를 갖는 것으로 나타날 것이다. 이러한 동일 교정 절차는 TOF 시스템(100')이 이용될 수 있는 각 PWOE 유닛에 대한 지연을 개별적으로 보상하기 위해 반복될 수 있으며, 여기서 바람직하게는 TOF 시스템(100') 내의 모듈(177)은 그와 같이 보상된다.
PWOE 유닛이 교정되면, 그 출력 광학 에너지는 1차 소스(120)의 것과 동시에 효과적으로 결합된다. 실제로 일부 응용에서, 1차 소스(120)를 이용하는 대신에 하나 이상의 PWOE 유닛을 이용하는 것이 바람직할 수 있다. 하나 이상의 PWOE 유닛은 예를 들어 1차 소스(120)보다 실질적으로 더 많은 광 전력을 출력할 수 있다. 물론, PWOE 유닛에 의한 전력 출력은 1차 소스(120)에 의한 전력 출력과 동일하거나 보다 작을 수 있다.
이제, TOF 시스템(100') 1차 소스(120)에 의해 발생되는 광학 에너지를 증대하거나 심지어 교체하기 위해 220-1, 220-2, 220-3 등과 같은 보조 WOE(wireless optical emitter) 유닛이 사용되는 본 발명의 실시예를 고려한다. 앞서 설명된 PWOE 유닛이 통상 1차 광원(120)에 매우 가까이 장착되므로, WOE 유닛은 통상 TOF 시스템(100')으로부터 떨어져서 배치될 것이다.
그 다음, 보조 WOE(wireless optical emitter) 유닛의 이용을 고려한다. 본 발명에 따른 WOE 유닛은 PWOE 유닛보다 더 복잡하다. 도 2에 의해 도시된 바와 같이, 본 발명의 실시예는 TOF 시스템(100)으로부터 Sout 방출에 대한 주파수 및 위상에 바람직하게는 무선으로 그리고 바람직하게는 광학적으로 그리고 동적으로 동기화되는 적어도 하나의 WOE 유닛(220-1, 220-2, 220-3, 220-4)을 배치함으로써 TOF 시스템(100')에 의해 방출되는 유효 광 전력을 증대한다. 언급된 바와 같이, 그러한 유닛에 의해 방출되는 광 전력은 TOF 시스템에 의해 방출되는 Sout 광 전력보다 작거나, 크거나, 같을 수 있다. 비교적 저전력 WOE의 장점은 상당히 적은 비용 및 폼 팩터와, 그것을 대상 물체에 비교적 가까이 배치하는 능력이다. 바람직하게는 각 WOE는 독립형 유닛이며, 배터리 동작될 수 있다. 각 WOE는 상이한 특성을 갖는 유닛과 다를 수 있는 출력 광학 에너지 FOV(field-of-view)를 가질 것이다. 일부 실시예는 TOF 시스템(100')으로부터 일부 Sout 에너지를 차단하며 동일한 것을 WOE 유닛으로 반사하기 위해 미러(185)와 같은 반사면을 포함할 수 있다. 당연하게도 일부 응용에서, 각종 WOE 유닛의 이상적인 위치 선정은 곤란해질 수 있으며, 반사면은 WOE 유닛의 이상적인 배치보다 보다 더 작게 수신할 수 있다.
당연하게도, 트레이드 오프는 WOE 유닛의 위치 선정 또는 위치와 그 개별 FOV 사이에 존재한다. 예를 들어 WOE 유닛(220-3)이 비교적 저출력, 가능하면 150 mW를 가질 수 있다면, 비교적 넓은 FOV만을 갖는다. 필요에 따라 더 좁은 유효 FOV 내에서 더 많은 광학 에너지를 집중하기 위해 WOE 유닛(220-3) 내의 광학 방출기에 콜리메이터를 추가할 수 있다. FOV가 너무 작으면, 방출된 광을 확장 및 확산하기 위해 광학 방출기에 확산기를 추가해서 FOV를 효과적으로 증대시킬 수 있다. 대부분, TOF 시스템(100')은 도 1a 내의 TOF 시스템(100)과 동일하지만, 프로세서, 예를 들어 프로세서(160)에 의해 실행가능한 메모리(170)에 저장되거나 저장될 수 있는 적어도 하나의 소프트웨어 루틴(175)을 포함하는 것이 바람직할 것이다. 루틴(175)의 실행은 여기에 설명된 바와 같이 하나 이상의 WOE 유닛으로 TOF 시스템(100') 동작을 쉽게 한다.
WOE 유닛에 대한 일부 위치 선정은 다른 것보다 더 좋다. 도 2에서, 명백히 TOF 100'로부터 대상 물체(20)로 직접 광학 에너지에 의해 취해지는 경로는 TOF 100'로부터 WOE 유닛(220-1)으로, 그리고 WOE 220-1로부터 대상 물체로 광학 에너지에 의해 취해지는 결합된 경로보다 더 작다. 더 좋은 수행은 WOE 유닛이 TOF 100'와 대상 물체(20) 사이의 방사상 구조 상에 배치될 수 있으면 실현된다. WOE 유닛이 TOF 100'에 비교적 가까이 배치될 때, 방사상 배열의 이상적인 조건은 일반적으로 대략 만족된다. 실제로, 내재 방사상 배열이 발생될 수 없으며, 바람직하게는 TOF 100'와 바람직하게 관련된 소프트웨어는 적절한 교정이 이루어지게 할 수 있다.
TOF 시스템의 동작 특성은 통상 수행될 응용에 의해 결정된다. 범용 TOF 시스템(100')에 대한 예시적 시스템 특성은 가능하면 방출기(120)로부터의 1 W 광 전력 출력일 수 있으며, TOF 시스템 변조 주파수(ω)는 데이터가 30-60 프레임/초에서 획득된 상태로 가능하면 50 MHz-100 MHz와 비슷할 수 있다. 최종 TOF 시스템은 가능하면 3 M의 유효 범위를 가질 것이다. 예시적 WOE 유닛은 물론 동일한 시스템 변조 주파수에 동적으로 동기화되며 TOF Sout 방출과 동일한 위상을 갖도록 동적으로 동기될 수도 있다. 개별 WOE로부터의 예시적 광 전력 출력은 가능하면 100 mW만큼 낮거나 수 와트만큼 높을 수 있다.
도 3은 도 2의 예시적 WOE 220-n, 예를 들어 유닛(220-1, 또는 220-2, 또는 220-3, 220-4 등)을 도시한다. 각 WOE 220-n은 착신 신호(Sin)로서 TOF 시스템(100')에 의해 방출되는 Sout 광학 에너지의 적어도 일부를 수신하며, 착신 신호(Sin)와 주파수(ω) 및 위상(φ)에 동기되는 광학 에너지(Sout -n)를 출력하도록 기능한다. 이 기능은 바람직하게는 PLL(phase lock loop) 시스템(230)을 각 WOE 유닛(220-n)에 바람직하게 제공함으로써 구현된다. PLL 230은 제 1 입력으로 Sin 주파수(ω) 및 위상(φ) 정보를 포함하는 신호를 수신하며, 제 2 입력으로서 Sout -n ω 및 위상(φ) 정보를 포함하는 신호를 수신한다. 폐루프 피드백은 WOE 220-n에 의해 방출되는 Sout -n 광학 에너지의 주파수(ω) 및 위상(φ)이 검출된 TOF 방출 Sin의 주파수(ω) 및 위상(φ)에 동기되게 한다. 따라서, 각 WOE 유닛에 의해 방출되는 Sout-n 광학 에너지는 주파수 및 위상에서 TOF 시스템(100')에 의해 방출되는 검출된 유입 광학 에너지(Sin)를 복제한다. 이득은 Sout -n의 크기가 Sin의 크기보다 클 수 있으며 WOE 유닛이 TOF 시스템(100')보다 대상 물체에 아주 근접해서 위치될 수 있다는 점에서 실현된다.
도 3에서, TOF 시스템(100')으로부터의 광학 에너지(Sout)(신호(Sin)로 표시되는)는 적어도 하나의 광학 센서(240-A, 240-A')에 의해 검출된다. 각종 240-A 센서는 TOF 시스템(100')에 조준하는 것을 쉽게 하며, Sout 방출을 보다 좋게 검출하기 위해 선회 기구(250)로 기계적으로 장착되는 것이 바람직하다. 도 3의 우측부를 보면, WOE 방출기(260)에 의해 방출되는 광학 에너지는 직접 또는 파이버 옵틱스(270) 등의 이용을 통해 WOE 센서(240-B)에 의해 검출된다. 바람직하게는 방출기(260)는 대상 물체(20), 또는 그 위의 영역을 향해 Sout -n 광학 에너지의 조준을 쉽게 하기 위해 선회 기구(swivel mechanism)(280)로 기계적으로 장착된다. 선회 기구(250, 280) 등은 WOE 유닛이 더 좋게 TOF 시스템으로부터 유입 Sout 광학 에너지의 크기를 증대 및 가능하게 최대화하며, 그리고/또는 대상 물체 상에 있는 WOE 유닛으로부터 방출된 광학 에너지(Sout -n)의 크기를 증대 및 가능하게 최대화할 수 있게 한다. 대상 물체에 마주치는 광학 에너지의 크기를 증가시키는 것이 바람직하며, 광학 에너지의 증대된 크기는 큰 진폭 Sin 신호가 검출을 위한 TOF 시스템으로 다시 반사되는 것을 의미한다. 물론 각종 WOE 모듈로부터의 광학 에너지(Sout -n) 기여는 TOF 시스템에 의해 방출된 것에 대하여 적당한 변조 주파수 및 위상을 갖기를 원한다. 센서(240-B)로부터의 신호는 WOE 방출 광학 에너지(Sout -n)에 관한 주파수(ω) 및 위상(φ) 정보를 포함하는 것에 주목한다.
PLL 230 내에서, 비교기 유닛(290)은 입력으로서 Sin 및 Sout -n 신호 둘 다를 수신하며 따라서 유입 광학 에너지(Sin) 및 WOE 복제 출력 광학 에너지(Sout -n) 둘 다에 관한 주파수(ω) 및 위상(φ)을 수신한다. 이 신호는 비교기(290) 내에서 비교되며, 비교기 출력 신호는 저역 통과 필터(300)에 연결된다. 필터(300)로부터의 출력 신호는 바람직하게는 전압 제어 발진기(310)를 구동하며, 그의 출력 주파수(ω) 및 출력 위상(φ)은 Sin의 주파수 및 위상에 동기되도록 피드백에 의해 강요된다. 방출기(260)로부터의 전력 출력은 TOF 시스템 방출기(120)에 의해 방출되는 광 전력과 다를 수도 있다(도 1a 참조).
이러한 방식으로, 각 WOE 유닛(220-n)은 TOF 방출 광학 에너지 신호(Sout)에 대한 주파수 및 위상에서 동적으로 동기화되는 광학 에너지(Sout -n)를 출력한다. TOF 센서 어레이(130)(도 1a 참조)에 관한 한, 모든 유입 광학 에너지(Sin)는 TOF 방출기(120)에 의해 방출될지라도 고려될 수 있다. 본래, 각 WOE 220-n은 TOF 시스템(100)으로부터 입력 파면 Sout를 사용하며, 입력 파면에 대한 주파수 및 위상에서 동기화되는 출력 파면 Sout -n을 발생시킴으로써 파면을 복제한다.
도 3에도 도시된 바와 같이, 각 WOE 유닛(220-n)은 전원(Vcc), 예를 들어 배터리뿐만 아니라, 메모리(300) 및 메모리에 저장된 적어도 하나의 루틴을 선택적으로 실행하도록 연결된 프로세서(310)를 포함하는 것이 바람직하다. 일부 실시예에 있어서, 메모리(300)는 WOE 유닛(220-n)을 위한 최신 PLL 동기 파라미터를 저장할 수 있다. 이것은 동기 조건을 위한 각 유닛의 최신 PLL 파라미터를 동적으로 저장함으로써 각 WOE 내의 주파수 및 위상 동기화가 촉진될 수 있다는 점에서 유리하다. 프로세서(310)는 가장 최근에 저장된 동기 데이터에 액세스해서 이 정보를 PLL 시스템(250)에 제공하는 것이 바람직하다. PLL 시스템(250)은 그 자체의 주파수 및 위상 동기를 달성하지만, 가장 최근에 저장된 동기 파라미터로부터의 개시는 각 WOE 내에서 동기의 달성을 신속하게 할 수 있다. TOF 시스템(100') 내에서 좋은 깊이 데이터를 발생시키는 것은 모든 Sin 신호가 TOF 방출 Sout 신호에 대한 주파수 및 위상에서 동기화되는 것을 필요로 한다. 실제로, 각 WOE 유닛은 TOF Sout 광 방출의 주파수(ω) 및 위상(φ)에 대해 안정적으로 동기화되는 Sout -n을 발생시키는데 한정된 시간이 걸린다. 바람직하게는 메모리(170)(도 2 참조) 내의 루틴(175)은 WOE에 대해 가장 긴, 즉 최적으로 안정된 그러한 동기 시간 정보를 저장할 수 있다. 이 정보는 TOF 시스템(100')에게 안정된 동기 정보가 획득되기 전에 WOE로부터 정보를 포함하는 Sin 신호의 일부를 무시하라고 효과적으로 지시하기 위해 프로세서(160)(도 1a 참조)에 의해 사용가능하다.
당연하게도, 실제로 203 및 따라서 유닛(220-1)에 도달하는 광학 에너지(Sout)는 어쩌면 가까운 부근에서 동작하는 다른 TOF 시스템으로부터 다중 경로 및/또는 기여로 인해 다수의 위상을 갖는 광학 에너지를 포함할 수도 있다. Sout 광학 에너지는 예를 들어 유닛(220-1)에 도달하기 전에 국부 환경에서 벽 또는 가구에 반사될 수 있다. 일 실시예에 있어서, 유입 Sout 광학 에너지는 예를 들어 렌즈, 예를 들어 도 3의 렌즈(232)에 통과됨으로써 공간적으로 구별된다. 렌즈(232)의 존재는 소정의 조준선으로부터 나오는 유입 TOF 시스템 광학 에너지 광선만이 240-A 상에 초점을 맺게 한다. 다른 실시예에 있어서, 다수의 센서(240-A, 240-A')가 제공될 수 있으며, 각각은 그 자체의 조준선을 갖는 것이 바람직하다. 이 복수의 센서는 공통 렌즈, 예를 들어 232'를 공유할 수 있거나, 센서(240-A)와 함께 도시된 렌즈(232)와 같은 개별 렌즈를 가질 수 있다. 이 센서는 어레이 형상으로 공통 기판 상에 구현될 수 있으며, 캘리포니아주 서니베일의 Canesta, Inc.에 수여되고 현재 Microsoft, Inc.에 양도된 다수의 미국 특허에 기재된 바와 같이 위치 기반 픽셀일 수 있는 것이 바람직하다. 복수의 센서(240-A)는 기본 깊이 이미지(234)를 형성하기 위해 이용될 수 있다. 예를 들어 WOE 220-1과 결합된 메모리(300)에 저장된 소프트웨어 루틴은 이미지(234)로부터 최적의 센서(240-A, 240-A' 등)를 지능적으로 식별 및 선택할 수 있는 것이 바람직하며, 그 광 출력 신호는 PLL 250에 의해 이용될 것이다. 대안으로, WOE 220-1로, 그 내부로, 및 그로부터의 광학 또는 전자기 에너지는 한정없이 파이버 옵틱스, 전기 케이블링 등을 포함하는 다른 기술을 이용하여 조종될 수 있다.
각종 실시예에 있어서, PLL 250 내에서 동기를 달성하는 것은 동시에 발생하지 않는 것이 이해된다. 따라서, 고유 지연을 보상하기 위해, TOF 시스템(100') 내에서, 1차 광학 에너지 방출기 또는 소스(120)로부터의 광 출력의 개시를 명령하는 클록 모듈(180) 신호는 어레이(130) 내에서 신호 통합 및 광학 에너지 검출을 제어하는 클록 신호보다 더 이른 시간에 발행될 것이다. 다른 실시예에 있어서, 각종 WOE 내에서, 내부 메모리, 예를 들어 300은 이전에 조우되고 관찰된 주파수 위상 레짐(regime)을 저장할 수 있고, 따라서 이 정보에 신속히 액세스해서 주파수 및 위상을 동기하는데 필요한 시간을 단축할 수 있다. 일부 응용에서, 적어도 하나의 WOE가 제로 위상 이외의 위상을 갖는 적어도 일부 광학 에너지를 방출하게 하고, 예를 들어 의도적으로 WOE가 반사된 광학 에너지 또는 전자기 방사선을 인지할 수 있게 하는 것이 바람직할 수 있다.
설명된 것 이외의 실시예가 또한 이용될 수 있다. 예를 들어, 도 1a 및 도 2를 참조하면, WOE로부터 착신 Sout 에너지를 샘플링하기 위해 픽셀 어레이(130) 내에서 제 1 픽셀(155)을 이용할 수 있다. 어레이 내의 제 2 픽셀(155)은 가능하면 270과 같은 파이버 옵틱스를 이용하여 TOF 시스템(100') Sout를 샘플링하기 위해 이용될 수 있다. 이 2개의 픽셀 출력으로부터 출력 신호들 사이의 에러는 동기화를 구동하기 위해 신호를 발생시킬 수 있다. 도 3에 도시된 바와 같이, 각종 WOE는 배터리 동작될 수도 있으며(그러나 동작될 필요는 없으며), 바람직하게는 어떤 광학 에너지 또는 전자기 유입 에너지가 검출되지 않을 때, 각종 WOE는 동작 전력을 보존하기 위해 정지될 수 있다. 물론, 이 유닛은 유입 에너지의 검출이 WOE로 하여금 완전히 다시 파워 온 되게 하도록 저전력 소비 대기 모드에 있을 것이다. 선택적으로, 각종 WOE 동작 파라미터는 케이블을 통해 또는 무선으로, 예를 들어 RF, 또는 가능하면 TOF 시스템(100')으로부터의 특수 변조를 이용하여 개별 유닛으로 다운로드될 수 있다.
개시된 실시예에 대한 수정 및 변화가 이하의 청구범위에 의해 정의된 바와 같은 본 발명의 주제와 사상을 벗어나지 않으면서 이루어질 수 있다.

Claims (25)

  1. 변조 주파수(ω) 및 위상(φ)을 갖는 광학 에너지(Sout)를 방출하는 1차 광원을 포함하고 거리(Z)만큼 떨어진 대상 물체에 의해 반사되어 오는 방출된 상기 광학 에너지의 적어도 일부인 Sin을 검출하며, Sin 내의 상기 위상(φ)의 시프트로부터 상기 거리(Z)를 결정하는 위상 기반 TOF(time-of-flight) 시스템으로서,
    출력 광학 에너지가 상기 대상 물체에게 상기 TOF 시스템에 의해 방출되는 광학 에너지와 실질적으로 구별하기 어려운 적어도 하나의 보조 광 방출 유닛을 더 포함하고,
    상기 보조 광 방출 유닛은 WOE(wireless optical emitting) 유닛 및 PWOE(plug-wired optical emitting) 유닛 중 적어도 하나를 포함하며,
    상기 보조 광 방출 유닛 각각에 의해 방출되는 광학 에너지는 상기 대상 물체에게 변조 주파수 및 위상이 상기 TOF 시스템에 의해 방출되는 광학 에너지(Sout)와 실질적으로 구별하기 어려운
    위상 기반 TOF 시스템.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 보조 광 방출 유닛은 상기 TOF 시스템에 의해 발생되는 방출된 상기 광학 에너지(Sout)의 일부를 수신하도록 배치된 WOE 유닛이고, 상기 Sout는 상기 WOE 유닛에 의해 수신된 변조 주파수 및 위상 시프트를 가지며, 상기 WOE 유닛은 상기 WOE 유닛에 의해 수신된 광학 에너지에 대해 변조 주파수 및 위상(φ) 중 적어도 하나에 동적으로 동기된 출력 광학 에너지(Sout -n)를 발생시키며,
    상기 적어도 하나의 WOE 유닛의 동작은 상기 대상 물체에 의해 상기 TOF 시스템을 향해 반사되어 오는 광학 에너지의 유효 전력을 증가시키는
    위상 기반 TOF 시스템.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 WOE 유닛은 (a) 상기 TOF 시스템의 외부에 배치되는 것, 및 (b) 상기 대상 물체로부터 상기 거리(Z)보다 작은 거리에 배치되는 것으로 구성되는 그룹으로부터 선택된 적어도 하나의 위치에 배치되는
    위상 기반 TOF 시스템.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 WOE 유닛은
    방출된 상기 Sout 광학 에너지의 일부를 수신하는 수단, 및
    변조 주파수 및 위상 중 적어도 하나가 상기 WOE에 의해 수신된 TOF가 발생한 상기 Sout 광학 에너지와 동기화 가능한 광학 에너지(Sout -n)를 발생시키는 수단을 포함하는
    위상 기반 TOF 시스템.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 WOE 유닛은
    VCO(voltage controlled oscillator), 및
    상기 Sout와 Sout -n 사이에서 상기 변조 주파수의 에러 및 상기 위상의 에러 중 적어도 하나를 나타내는 에러 신호를 발생시키는 PLL(phase-lock-loop) 유닛- 상기 에러 신호는 상기 Sout의 변조 주파수 및 위상에 Sout -n의 변조 주파수 및 위상 중 적어도 하나를 동기시키기 위해 발생 수단에 폐루프 피드백으로 연결됨 -을 포함하는
    위상 기반 TOF 시스템.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 WOE는 상기 WOE에 의해 수신되는 Sout로부터의 유입 광학 에너지의 양 및 상기 대상 물체에 도달하는 상기 WOE에 의해 방출된 Sout -n 광학 에너지의 양 중 적어도 하나를 증가시키도록 상기 TOF 시스템에 대해 상기 WOE 유닛을 재위치시키는 수단을 포함하는
    위상 기반 TOF 시스템.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 보조 광 방출 유닛은 상기 TOF 시스템에 제거 가능하게 연결가능한, 상기 1차 광원에 인접한 PWOE 유닛이며,
    상기 TOF 시스템은 상기 1차 광원에 대한 지연에 대해 상기 PWOE 유닛을 교정하는 수단을 포함하는
    위상 기반 TOF 시스템.
  8. 제 7 항에 있어서,
    상기 교정 수단은
    상기 1차 광원에 의해 방출되는 광학 에너지(Sout)만을 이용하여 상기 대상 물체의 1차 깊이 이미지를 획득하는 수단,
    한번에 하나의 유닛씩 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지만을 이용하여 상기 대상 물체의 깊이 이미지를 획득하는 수단,
    상기 1차 깊이 이미지와 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지를 이용하여 획득된 깊이 이미지를 하나씩 비교하는 수단, 및
    상기 1차 깊이 이미지와 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지로 획득된 깊이 이미지 사이의 차이를 보상 후에 최소화하기 위해 상기 PWOE 유닛 각각과 관련된 지연을 보상하되, PWOE 유닛의 지연을 조정하지 않고 소프트웨어를 이용하는 수단을 포함하는
    위상 기반 TOF 시스템.
  9. 제 7 항에 있어서,
    상기 교정 수단은
    상기 1차 광원에 의해 방출되는 광학 에너지(Sout)만을 이용하여 상기 대상 물체의 1차 깊이 이미지를 획득하는 수단,
    한번에 하나의 유닛씩 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지만을 이용하여 상기 대상 물체의 깊이 이미지를 획득하는 수단,
    상기 1차 깊이 이미지와 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지를 이용하여 획득된 깊이 이미지를 비교하는 수단, 및
    각각 획득된 깊이 이미지의 적어도 하나의 픽셀들 사이에서 깊이 데이터의 차이가 최소화되도록 상기 PWOE 유닛의 지연을 변경하는 수단을 포함하는
    위상 기반 TOF 시스템.
  10. 제 5 항에 있어서,
    광학 에너지(Sout)의 적어도 일부를 수신하는 센서를 포함하는 적어도 하나의 WOE 유닛을 포함하며, 상기 WOE 유닛은
    상기 WOE 유닛 내에서 적어도 제 1 센서 및 제 2 센서에 의해 획득하는 데이터를 이용해서 깊이 이미지를 형성하는 수단, 및
    상기 센서 각각으로부터의 출력 신호에서 상기 PLL을 구동할 시에 이용하는 센서 출력을 식별하는 수단을 포함하는
    위상 기반 TOF 시스템.
  11. 제 10 항에 있어서,
    상기 적어도 하나의 WOE는 상기 PLL을 동기화하는데 사용하는 최상의 동기 데이터를 저장하는 메모리를 더 포함하는
    위상 기반 TOF 시스템.
  12. 변조 주파수(ω) 및 위상(φ)을 갖는 광학 에너지(Sout)를 방출하며 거리(Z)만큼 떨어진 대상 물체에 의해 반사되어 오는 방출된 상기 광학 에너지의 적어도 일부인 Sin을 검출하며, Sin 내의 상기 위상(φ)의 시프트로부터 상기 거리(Z)를 결정하는 위상 기반 TOF(time-of-flight) 시스템의 검출 성능을 동적으로 증대시키는 방법으로서,
    출력 광학 에너지가 상기 TOF 시스템에 의해 방출되는 광학 에너지로부터 상기 대상 물체와 구별하기 어려운 적어도 하나의 보조 광 방출 유닛으로부터 광학 에너지를 이용하는 단계를 포함하고,
    상기 보조 광 방출 유닛은 WOE(wireless optical emitting) 유닛, 및 PWOE(plug-wired optical emitting) 유닛 중 적어도 하나를 포함하며,
    상기 보조 광 방출 유닛 각각에 의해 방출되는 광학 에너지는 상기 TOF 시스템에 의해 방출되는 광학 에너지(Sout)와 변조 주파수 및 위상에서 상기 대상 물체와 구별하기 어려운
    방법.
  13. 제 12 항에 있어서,
    상기 TOF 시스템에 의해 발생되는 방출된 상기 광학 에너지(Sout)의 일부를 수신하도록 상기 적어도 하나의 보조 광 방출(WOE) 유닛을 배치하는 단계- 상기 Sout는 상기 WOE 유닛에 의해 수신된 변조 주파수 및 위상 시프트를 갖고, 상기 WOE 유닛은 상기 WOE 유닛에 의해 수신되는 광학 에너지에 대해 변조 주파수 및 위상(φ) 중 적어도 하나에 동적으로 동기된 출력 광학 에너지(Sout -n)를 발생시킴 -를 포함하고,
    상기 적어도 하나의 WOE 유닛의 동작은 상기 대상 물체에 의해 상기 TOF 시스템을 향해 반사되어 오는 광학 에너지의 유효 전력을 증가시키는
    방법.
  14. 제 12 항에 있어서,
    (a) 상기 TOF 시스템의 외부에 배치되는 것, 및 (b) 상기 대상 물체로부터 상기 거리(Z)보다 작은 거리에 배치되는 것으로 구성되는 그룹으로부터 선택된 적어도 하나의 위치에 상기 적어도 하나의 WOE 유닛을 배치하는 단계를 더 포함하는
    방법.
  15. 제 12 항에 있어서,
    방출된 상기 Sout 광학 에너지의 일부를 수신하는 수단, 및
    상기 WOE에 의해 수신되는 TOF가 발생시킨 상기 Sout 광학 에너지와 변조 주파수 및 위상 중 적어도 하나에 있어 동기화 가능한 광학 에너지(Sout -n)를 발생시키는 수단을 상기 적어도 하나의 WOE 유닛에 제공하는 단계를 더 포함하는
    방법.
  16. 제 10 항에 있어서,
    상기 Sout의 변조 주파수 및 위상에 Sout -n의 변조 주파수 및 위상 중 적어도 하나를 동기화시키기 위해 폐루프 피드백 시스템을 상기 적어도 하나의 WOE 유닛에 제공하는 단계를 더 포함하는
    방법.
  17. 제 16 항에 있어서,
    상기 폐루프 피드백 시스템은
    VCO(voltage controlled oscillator), 및
    상기 Sout와 Sout -n 사이에서 상기 변조 주파수의 에러 및 상기 위상의 에러 중 적어도 하나를 나타내는 에러 신호를 발생시키는 PLL(phase-lock-loop) 유닛- 상기 에러 신호는 상기 Sout의 변조 주파수 및 위상에 Sout -n의 변조 주파수 및 위상 중 적어도 하나를 동기시키기 위해 상기 발생 수단에 폐루프 피드백으로 연결됨 -을 포함하는
    방법.
  18. 제 12 항에 있어서,
    상기 WOE에 의해 수신되는 Sout로부터의 유입 광학 에너지의 양 및 상기 대상 물체에 도달하는 상기 WOE에 의해 방출되는 Sout -n 광학 에너지의 양 중 적어도 하나를 증가시키도록 상기 TOF 시스템에 대해 상기 WOE 유닛을 재위치시키는 단계를 더 포함하는
    방법.
  19. 제 12 항에 있어서,
    상기 적어도 하나의 보조 광 방출 유닛은 상기 TOF 시스템에 제거 가능하게 연결가능한, 상기 1차 광원에 인접한 PWOE(plug-wired optical emitting) 유닛이며,
    상기 1차 광원에 대한 지연에 대해 상기 PWOE를 교정하는 수단을 상기 TOF 시스템에 제공하는 단계를 포함하는
    방법.
  20. 제 19 항에 있어서,
    상기 교정 수단은
    상기 1차 광원에 의해 방출되는 광학 에너지(Sout)만을 이용하여 상기 대상 물체의 1차 깊이 이미지를 획득하는 것,
    한번에 하나의 유닛씩 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지만을 이용하여 상기 대상 물체의 깊이 이미지를 획득하는 것,
    상기 1차 깊이 이미지와 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지를 이용하여 획득된 깊이 이미지를 비교하는 것, 및
    각각 획득된 깊이 이미지의 적어도 하나의 픽셀들 사이에서 깊이 데이터의 차이가 최소화되도록 상기 PWOE 유닛 각각과 관련된 지연을 보상하는 것을 포함하는
    방법.
  21. 제 17 항에 있어서,
    상기 TOF 시스템은 광학 에너지(Sout)의 적어도 일부를 수신하는 센서를 갖는 적어도 하나의 WOE 유닛을 포함하며, 상기 WOE 유닛은
    상기 WOE 유닛 내에서 적어도 제 1 센서 및 제 2 센서에 의해 획득하는 데이터를 이용하여 깊이 이미지를 형성하는 단계, 및
    상기 센서 각각으로부터의 출력 신호에서 상기 PLL을 구동할 시에 사용하는 센서 출력을 식별하는 단계를 수행하는
    방법.
  22. 제 19 항에 있어서,
    상기 교정 수단은
    상기 1차 광원에 의해 방출되는 광학 에너지(Sout)만을 이용하여 상기 대상 물체의 1차 깊이 이미지를 획득하는 단계,
    한번에 하나의 유닛씩 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지만을 이용하여 상기 대상 물체의 깊이 이미지를 획득하는 단계,
    상기 1차 깊이 이미지와 상기 PWOE 유닛 각각에 의해 방출되는 광학 에너지를 이용하여 획득된 깊이 이미지를 비교하는 단계, 및
    각각 획득된 깊이 이미지의 적어도 하나의 픽셀들 사이에서 깊이 데이터의 차이가 최소화되도록 상기 PWOE 유닛의 지연을 변경하는 단계를 수행하는
    방법.
  23. 제 12 항에 있어서,
    상기 보조 광 방출 유닛은 적어도 하나의 상기 PWOE 유닛이며,
    상기 1차 소스가 광학 에너지를 출력할 수 없게 하는 단계, 및
    적어도 하나의 상기 PWOE 유닛에 의한 광학 에너지 출력만을 이용하여 데이터를 획득하도록 상기 TOF 시스템을 동작시키는 단계를 더 포함하는
    방법.
  24. 제 17 항에 있어서,
    상기 TOF 시스템은 광학 에너지(Sout)의 적어도 일부를 수신하는 센서를 포함하는 적어도 하나의 WOE 유닛을 포함하며,
    상기 방법은,
    상기 WOE 유닛 내에서 적어도 제 1 센서 및 제 2 센서에 의해 획득되는 데이터를 이용하여 깊이 이미지를 상기 적어도 하나의 WOE 유닛 내에 형성하는 단계, 및
    상기 센서 각각으로부터의 출력 신호에서 상기 PLL을 구동할 시에 사용하는 센서 출력을 상기 적어도 하나의 WOE 유닛 내에서 식별하는 단계를 더 포함하는
    방법.
  25. 제 24 항에 있어서,
    상기 PLL을 동기화할 시에 사용하는 최상의 동기 데이터를 상기 WOE 유닛 각각 내에 저장하는 단계를 더 포함하는
    방법.
KR1020127020213A 2010-02-01 2011-02-01 비행 시간 범위 확인 시스템을 위한 다수의 동기화된 광원 KR101804590B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US33731510P 2010-02-01 2010-02-01
US61/337,315 2010-02-01
US13/018,293 2011-01-31
US13/018,293 US8891067B2 (en) 2010-02-01 2011-01-31 Multiple synchronized optical sources for time-of-flight range finding systems
PCT/US2011/023413 WO2011094762A2 (en) 2010-02-01 2011-02-01 Multiple synchronized optical sources for time-of-flight range finding systems

Publications (2)

Publication Number Publication Date
KR20120123388A true KR20120123388A (ko) 2012-11-08
KR101804590B1 KR101804590B1 (ko) 2017-12-04

Family

ID=44341395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127020213A KR101804590B1 (ko) 2010-02-01 2011-02-01 비행 시간 범위 확인 시스템을 위한 다수의 동기화된 광원

Country Status (8)

Country Link
US (2) US8891067B2 (ko)
EP (1) EP2531812B1 (ko)
JP (1) JP5898631B2 (ko)
KR (1) KR101804590B1 (ko)
CN (1) CN102741651B (ko)
CA (1) CA2786626C (ko)
IL (1) IL220786A (ko)
WO (1) WO2011094762A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113525A (ko) * 2016-02-08 2018-10-16 에스프로스 포토닉스 아게 다중 경로 오차를 검출하기 위한 비행 시간 거리 측정 디바이스 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8891067B2 (en) * 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
KR101975971B1 (ko) 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
KR101925028B1 (ko) * 2012-08-29 2018-12-04 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
FR2999697B1 (fr) * 2012-12-17 2015-01-02 Nexter Systems Procede d'acquisition des coordonnees d'un point de declenchement d'un projectile et conduite de tir mettant en oeuvre un tel procede
US9578311B2 (en) * 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
US10048357B2 (en) * 2015-06-15 2018-08-14 Microsoft Technology Licensing, Llc Time-of-flight (TOF) system calibration
CN106612387B (zh) * 2015-10-15 2019-05-21 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
JP2018031607A (ja) 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
CN106405567B (zh) * 2016-10-14 2018-03-02 海伯森技术（深圳）有限公司 一种基于tof的测距系统及其校正方法
DE102018113629B4 (de) 2017-06-08 2024-01-11 Ifm Electronic Gmbh Entfernungsmesssystem mit wenigstens zwei Beleuchtungsmodulen
DE102018113630B4 (de) 2017-06-08 2022-06-23 Ifm Electronic Gmbh Entfernungsmesssystem mit wenigstens zwei Beleuchtungsmodulen
CN107515403A (zh) * 2017-08-21 2017-12-26 东莞市迈科新能源有限公司 一种tof三维测距传感器
CN107515402A (zh) * 2017-08-21 2017-12-26 东莞市迈科新能源有限公司 一种tof三维测距系统
US10649410B2 (en) * 2017-10-06 2020-05-12 Thomas Broussard High resolution time-of-flight measurements
EP3525004B1 (de) * 2018-02-08 2020-10-14 Cedes AG Tof sensor mit prüfsender
CN109031331A (zh) * 2018-08-07 2018-12-18 上海炬佑智能科技有限公司 飞行时间测距传感芯片及传感装置、电子设备
WO2020148103A1 (en) * 2019-01-14 2020-07-23 Lumileds Holding B.V. Lighting device for frequency-modulated emission
JP2020153715A (ja) 2019-03-18 2020-09-24 株式会社リコー 測距装置および測距方法
JP7240947B2 (ja) * 2019-05-09 2023-03-16 株式会社アドバンテスト 光学試験用装置
CN111751833A (zh) * 2020-06-24 2020-10-09 深圳市汇顶科技股份有限公司 一种打光以及反射光数据获取方法、装置

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
DE4414514A1 (de) * 1994-04-26 1995-11-02 Klaus Deichl Verfahren zur Ermittlung der zwischen zwei Meßorten liegenden Strecke und Vorrichtung zur Durchführung des Verfahrens
JPH07301672A (ja) 1994-05-02 1995-11-14 Nissan Motor Co Ltd 車間距離レーダ装置
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
JP2907083B2 (ja) * 1995-10-30 1999-06-21 日本電気株式会社 光送信方法および光送信装置
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
AU3283497A (en) 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
JP2980169B2 (ja) * 1996-10-30 1999-11-22 日本電気株式会社 レーザ光リピータ装置
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
JP3459166B2 (ja) * 1997-11-04 2003-10-20 日本電信電話株式会社 光位相同期光源
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
JP4127579B2 (ja) 1998-12-22 2008-07-30 浜松ホトニクス株式会社 光波距離計
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6137566A (en) * 1999-02-24 2000-10-24 Eoo, Inc. Method and apparatus for signal processing in a laser radar receiver
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6580496B2 (en) * 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
DE10059156A1 (de) * 2000-11-29 2002-06-06 Sick Ag Abstandsbestimmung
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
DE102004042466A1 (de) * 2004-09-02 2006-03-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur optischen Distanzmessung
DE102004051940B4 (de) * 2004-10-25 2008-08-21 Leica Microsystems Cms Gmbh Beleuchtungseinrichtung in einem Mikroskop
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
US7379566B2 (en) 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
EP1886509B1 (en) 2005-05-17 2017-01-18 Qualcomm Incorporated Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
JP5001286B2 (ja) * 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
EP1969395B1 (en) * 2005-12-19 2017-08-09 Leddartech Inc. Object-detecting lighting system and method
DE102006004019B3 (de) 2006-01-27 2007-03-08 Audi Ag PMD-System und Verfahren zur Abstandsmessung von einem Objekt
US7450220B2 (en) * 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
US7471376B2 (en) * 2006-07-06 2008-12-30 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JP5270835B2 (ja) * 2006-12-29 2013-08-21 パナソニック株式会社 光検出素子、空間情報の検出装置
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
JP5089289B2 (ja) * 2007-08-22 2012-12-05 浜松ホトニクス株式会社 測距センサ及び測距装置
EP2232462B1 (en) 2007-12-21 2015-12-16 Leddartech Inc. Parking management system and method using lighting system
JP2009168751A (ja) 2008-01-18 2009-07-30 Toyota Motor Corp 障害物検出システム及び障害物検出方法
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
JP2010008088A (ja) * 2008-06-24 2010-01-14 Panasonic Electric Works Co Ltd 空間情報検出装置
US8368876B1 (en) * 2008-10-17 2013-02-05 Odyssey Space Research, L.L.C. Calibration system and method for imaging flash LIDAR systems
US8010316B2 (en) * 2008-12-11 2011-08-30 Intermec Ip Corp. System and method for laser range-finding
US8891067B2 (en) * 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113525A (ko) * 2016-02-08 2018-10-16 에스프로스 포토닉스 아게 다중 경로 오차를 검출하기 위한 비행 시간 거리 측정 디바이스 및 방법

Also Published As

Publication number Publication date
EP2531812A4 (en) 2015-05-27
CA2786626C (en) 2018-08-14
JP2013519092A (ja) 2013-05-23
US20150036119A1 (en) 2015-02-05
US8891067B2 (en) 2014-11-18
WO2011094762A3 (en) 2011-11-17
WO2011094762A2 (en) 2011-08-04
US10113868B2 (en) 2018-10-30
EP2531812A2 (en) 2012-12-12
JP5898631B2 (ja) 2016-04-06
US20110188027A1 (en) 2011-08-04
IL220786A (en) 2016-02-29
EP2531812B1 (en) 2019-12-11
CN102741651B (zh) 2014-01-08
KR101804590B1 (ko) 2017-12-04
CN102741651A (zh) 2012-10-17
CA2786626A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
KR101804590B1 (ko) 비행 시간 범위 확인 시스템을 위한 다수의 동기화된 광원
JP6852416B2 (ja) 距離測定装置、移動体、ロボット、装置及び３次元計測方法
US10234560B2 (en) Method and time-of-flight camera for providing distance information
US11408983B2 (en) Lidar 2D receiver array architecture
JP4971744B2 (ja) 強度変調光を用いた空間情報検出装置
US11709231B2 (en) Real time gating and signal routing in laser and detector arrays for LIDAR application
US11693102B2 (en) Transmitter and receiver calibration in 1D scanning LIDAR
CN105372667B (zh) 飞行时间装置和照明源
US9329035B2 (en) Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US11991341B2 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
US8638449B2 (en) Measuring device having multiple light emitting sources
JP6805504B2 (ja) 距離測定装置、移動体装置及び距離測定方法
WO2010098454A1 (ja) 距離測定装置
CN110691983A (zh) 具有结构光及集成照明和检测的基于lidar的3-d成像
US7221437B1 (en) Method and apparatus for measuring distances using light
JP7356454B2 (ja) 測距撮像装置
JP5663251B2 (ja) ビーム光投受光装置
US11397252B2 (en) Dispersion compensation for a frequency-modulated continuous-wave (FMCW) LIDAR system
US11802962B2 (en) Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
KR20220037939A (ko) Dmd를 구비한 3차원 이미지 장치 및 그 동작 방법
JP2017133930A (ja) 距離画像生成装置および方法
JP2002296032A (ja) 位置検出装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant