Nothing Special   »   [go: up one dir, main page]

KR102718698B1 - 3d 이미지화 시스템 및 방법 - Google Patents

3d 이미지화 시스템 및 방법 Download PDF

Info

Publication number
KR102718698B1
KR102718698B1 KR1020187028140A KR20187028140A KR102718698B1 KR 102718698 B1 KR102718698 B1 KR 102718698B1 KR 1020187028140 A KR1020187028140 A KR 1020187028140A KR 20187028140 A KR20187028140 A KR 20187028140A KR 102718698 B1 KR102718698 B1 KR 102718698B1
Authority
KR
South Korea
Prior art keywords
optical
elements
array
pixel
imaging system
Prior art date
Application number
KR1020187028140A
Other languages
English (en)
Other versions
KR20190003480A (ko
Inventor
폴 에스. 뱅크스
보도 슈미트
씨. 스튜어트 투베이
로렌조 엔. 벤네리
Original Assignee
엔라이트 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔라이트 인크. filed Critical 엔라이트 인크.
Publication of KR20190003480A publication Critical patent/KR20190003480A/ko
Application granted granted Critical
Publication of KR102718698B1 publication Critical patent/KR102718698B1/ko

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/001—Optical devices or arrangements for the control of light using movable or deformable optical elements based on interference in an adjustable optical cavity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Nonlinear Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Polarising Elements (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

3D 이미지화 시스템은 시간의 함수로서 광 펄스의 복귀된 부분을 변조하기 위한 광 변조기를 포함한다. 복귀된 광 펄스는 3D 이미지 또는 비디오가 요구되는 장면으로부터 반사 또는 산란된다. 본 3D 이미지화 시스템은 또한 상기 광 펄스의 변조된 복귀 부분을 수신하는 광학 소자들의 어레이와, 상기 광학 소자들의 어레이에 대응하는 픽셀들의 센서 어레이를 포함한다. 상기 픽셀 어레이는 상기 광학 소자 어레이로부터의 광 출력을 수산하도록 위치한다. 광학 소자 어레이는, 각각이 하나 이상의 픽셀에 대응하는 편광 소자들의 어레이를 포함한다. 편광 소자들의 편광 상태는, 복귀된 광 펄스의 비행시간 정보가 광 펄스의 복귀되어 변조된 부분에 대한 응답으로, 픽셀 어레리에 의해 생성된 신호로부터 측정될 수 있도록 구성될 수 있다.

Description

3D 이미지화 시스템 및 방법
35 U.S.C .§ 119에 따른 우선권 주장
본 출원은 그 전체 내용이 참조문헌으로 원용되는 2016년 2월 29일자 미국 가특허 출원 제62/301,587호 (발명의 명칭; "단순화된 3D 이미지화 카메라") 에 대한 우선권을 주장한다.
기술분야
본 발명은 일반적으로 3 차원(3D) 이미지화에 관한 것이며, 보다 구체적으로 3D 정보를 캡처하기 위한 카메라 또는 시스템에 관한 것이다.
장면에서 표면 및 물체의 3D 위치를 캡처하는 것이 로봇 비전(robotic vision), 자율 주행 차량 및 비디오 게임 컨트롤과 같은 용도에 점점 더 보편화되고 있다. 이상적인 3D 카메라는 오늘날의 2 차원(2D) 비디오카메라와 휴대 전화 카메라가 작동하는 것과 같은 방식으로 이미지 또는 비디오와 함께 3D 정보를 고해상도로 캡처할 수 있다. 이러한 카메라의 크기, 무게 및 전력 요구 사항은 중요한 고려 사항이다. 이를 달성하기 위한 현재의 접근법은 해상도 및 작동 범위의 약점뿐만 아니라 일부 경우 고비용 및 대형의 물리적 크기로 인해 어려움을 겪는다.
현재 장면 전체에서 이미지로서 3D 좌표를 획득하는데 사용하는 몇몇 기술에는 장점이 있지만, 고품질 3D 이미지화 및 비디오를 제공하지 못하도록 하는 약점과 근본적인 한계가 있다.
3D에 대한 일반적인 접근법, 특히 저가의 3D 접근법은, 3D 효과를 제공하기 위해 기준 거리만큼 분리된 다중 렌즈 및 센서를 사용하는 스테레오 카메라(stereoscopic camera)이다. 그러나 대다수의 스테레오 카메라는, 심지어 고급 영화촬영 장비(high-end cinematography rigs) 조차도, 사실상 3D 데이터가 없으며, 3D 효과는 디스플레이에서 착시(optical illusion)이다. 이러한 것은 3D 정보 또는 좌표가 필요한 일부 용도에는 유용하지 않다. 스테레오 이미지는 사진 측량 (photogrammetry)(두 센서의 해당 픽셀과 거리를 삼각형 분할(triangulating))을 사용하여 3D 지오메트리 데이터를 생성하는 데 사용할 수 있지만, 정확한 교정 및 기준선 분리(baseline separation)를 위한 기계적 용량(mechanical volume)뿐만 아니라 상당한 프로세싱을 필요로 한다. 효과적인 작동 범위는 전형적인 기준선의 경우보다 짧은 범위로 제한되며, 스테레오 카메라 쌍으로부터의 사진 측량 성능은 조명 상태 및 그림자에 민감하다. 이러한 디바이스는 어둡거나 까다로운 조명에서 잘 작동하지 않으며 상당한 연산 리소스가 필요하며, 이러한 특성은 소형 시스템에서 실시간 데이터를 추출하는 것을 어렵게 한다. 따라서 사진 측량법은 일부 용도에 적합한 솔루션이 아니다.
사용되는 관련 솔루션은 장면에서 물체에 조명 패턴을 투영하고, 이 패턴에서의 편차를 감지하기 위해 별도의 센서를 사용한다. 구조 광 프로젝터(structured light projector) 및 이미지 센서는 우수한 거리 퍼포먼스(distance performance)에 충분한 거리만큼 정확하게 정렬되고 분리되어야 하는 명확한 송신 및 수신 애퍼처(apertures)를 필요로 한다. 이 시스템은 범위 정보의 횡 방향 해상도를 제한하는 여러 패턴을 사용하거나, 빠르게 움직이는 물체에 사용할 수 없는 다중 이미지(multiple images)를 사용한다.
거리를 측정하는 이러한 지오메트리 솔루션 이외에도, 상당한 개발 노력이 빛이 장면 물체로 이동하고 3D 카메라 센서로 돌아오는 비행시간(time of flight)을 측정하는 시간-감도 센서(time-sensitive sensor)를 개발하는 데 집중되었다. 시간을 측정하는 데 사용되는 다양한 기술이 있지만, 모두 픽셀의 응답을 제어하고 픽셀에 대한 빛의 도달 시간(진폭 또는 위상 중 하나)을 기록하는 각 픽셀에 대응하는 회로구성(circuitry)과 관련이 있다. 이러한 회로구성의 복잡성과 기록된 광범위한 데이터는 이러한 센서의 개발을 방해했으며, 심지어 가장 진보된 시간-감도 센서도 한 면에 100 ~ 200 픽셀로 제한되었다. 픽셀 크기를 줄이는 방법을 발견할 수 있다면 더 많은 스케일링을 위해 더 큰 비용이 드는 칩 개발이 필요할 수 있다. 또한, 이러한 기술들 중 대다수가 조명 조건에 민감하며 현재까지 단거리, 실내 사용으로 제한되어 왔다. 이러한 솔루션의 경우, 각 픽셀은 마스터 클록(master clock)에 대해 그리고 범위 측정에서 만족스러운 성능을 얻기 위해 서로에 대해 정밀하게 시간이 측정되고, 최신 기술을 넘어서 시간감도 센서를 스케일링하는 능력을 더욱 복잡하게 만들어, 거친 제스처 인식(coarse gesture recognition)의 현재 사용 이상으로 널리 사용되기에는 불충분하다.
다양한 시간 변조 방식을 사용하는 소형 3D 카메라가 생산되었다. 이러한 접근법은 모두 3D 효과를 얻기 위해 새로운 전문 이미지 센서와 전자 회로구성이 필요하며, 약 200 픽셀 x 160 픽셀 어레이 또는 그 이하로 제한된다. 픽셀 수는 시간이 지남에 따라 서서히 증가했지만, 여전히 낮아서 개선하기 위해 많은 노력이 필요하다. 또한, 제한된 범위(＜5m)를 가지며 밝은 조명(예: 실외)에서 제대로 작동하지 않는다. 이 센서는 일부 산업 용도에 적합하지 않은 것으로 나타났다. 고급 3D 계측기는 필요한 성능을 일부 달성할 수 있지만, 실시간에 근접한 것은 없으며, 과도한 노동력을 필요로 하여, 많은 용도에서 요구하는 비용 목표에 대한 해결책이 아니다.
본 출원에서 개시된 3D 이미지화 접근법과 관련된 다른 공지 기술은 다양한 이미지화 용도에서 편광 그리드 및 단일 센서 어레이를 사용하는 종래의 시도를 포함한다.
센서 어레이와 결합된 편광 그리드는 입사광의 편광 상태를 측정하기 위해 사용되었다. 가장 통상적인 방법은 픽셀에서 입사광의 스톡스 벡터(Stokes vector)를 측정하는 데 사용되는 수직, 수평, 45° 및 135°와 같은 4가지 상이한 배향의 편광 소자로 구성된 그리드를 사용하는 것이다. 스톡스 벡터는 입사광의 편광 상태를 결정한다. 센서 어레이를 가로 질러 픽셀로부터 픽셀로 향하는 입사광의 편광 상태의 변화는, 센서 어레이 상에 이미지화되는 표면의 표면 법선(surface normal)에서의 변화를 추정하는데 사용될 수 있다.
3D 이미지화 용도의 경우, 표면 법선의 변화는 이미지화되는 표면의 경사 측정값을 얻어낸 다음 주위 표면에 대한 깊이 위치를 얻어내는 데 이용될 수 있다. 이 기술은 예를 들어 광학 표면의 곡률을 측정하기 위해 평활한 광학 표면에서 3D 표면을 추출하는 데 사용되고 있다.(참조: Pixelated Phase-Mask Dynamic Interferometer," Fringe 2005, Springer Berlin Heidelberg(2006) by J. Millerd, N. Brock et al. ; "CCD polarization imaging sensor with aluminum nanowire optical filters," Opt. Express 18, p. 19087- 94(201 1) by V. Gruev, R. Perkins, and T. York)
이러한 기술은 3D 용도에서 편광 그리드를 사용하여 입사광의 편광을 측정할 수 있게 만들었지만, 이러한 이전의 노력은 모두 표면 위치의 상대 측정만 한다. 이와는 대조적으로, 본 출원에 개시된 새로운 방법 및 시스템은 방출 및 반사된 광의 비행 시간을 측정하여 이미지화되는 표면의 절대 위치를 구하는데 변조기와 결합된 편광 그리드를 사용한다.
미국 특허 제7,301,138호(발명자: Yafuso)은 포켈스 셀(Pockels cell)과 결합된 단일 센서 어레이를 사용하는 접근법을 기술하고 있다. 이 접근법은 편광 소자를 거리와 분리된 두 개의 광학 경로로 분할하기 위해 월라스토 프리즘(Wollaston prism)과 일련의 광학 렌즈를 사용한다. 이 방법은 시스템에 부가적인 광학소자(optics)을 추가하여 크기와 무게뿐만 아니라 비용도 증가시키는, 더 복잡한 광학 설계를 초래한다. 단일 센서 어레이에서 생성된 이미지는 별개의 이미지이며, 근본적으로 단일 어레이에서 두 개의 독립적인 센서 어레이를 생성하다. 이 두 이미지는 두 개의 개별 센서 어레이가 사용된 것과 같은 방식으로 보정 및 등록되어야하다. 센서 배열의 정렬은 제거되지만, 두 가지 편광 상태에 대한 별도의 광학 경로는 각 상태가 두 개의 센서 어레이가 사용된 것처럼 본질적으로 동등한 보상, 등록 및 교정을 필요로 하는 특유의 왜곡을 받게 됨을 의미한다.
그중 일부가 위에서 설명된 공지의 이미지화 기술은 심각한 제한이 있기 때문에 일부 용도에서는 비실용적이거나 부적합하다. 따라서, 개선된 3D 이미지화 기술이 필요하다.
전술한 결점을 해결하기 위해, 본 명세서에 개시된 기술은 개선된 3D 이미지화 시스템을 제공한다. 본 발명의 시스템은 광 펄스의 복귀된 부분(returned portion)을 시간의 함수로서 변조하도록 구성된 광 변조기(optical modulator)를 포함한다. 또한, 본 발명의 시스템에 포함된 광학 소자들의 어레이는, 광 펄스의 변조된 복귀 부분을 수신할 수 있다. 상기 어레이의 광학 소자들 중 적어도 하나는 다른 하나의 광학 소자의 제 2 광 전송(optical transmission) 상태와 다른 제 1 광 전송 상태를 갖는다. 광학 소자들의 어레이에 대응하는 픽셀들의 센서 어레이는 광학 소자들의 어레이로부터 광 출력을 수신하기 위해 시스템 내에 위치된다.
개시된 기술들의 또 다른 측면에 의한 3D 이미지화 방법은, 광 펄스로 장면을 조명하는 단계; 상기 광 펄스의 복귀된 부분을 변조하는 단계; 광 펄스의 변조된 복귀 부분을 광학 소자들의 어레이를 통과시키는 단계를 포함한다. 적어도 하나의 광학 소자는 다른 하나의 광학 소자의 제 2 광 전송 상태와 다른 제 1 광 전송 상태를 갖는다. 픽셀들의 센서 어레이는 광학 소자들의 어레이로부터 광 출력을 수신한다. 장면에 관한 3D 정보는 광학 소자의 어레이를 통과한 광 펄스의 변조된 복귀 부분에 응답하여 센서 어레이에 의해 생성된 신호에 기초하여 발생된다.
전술한 요약은 첨부된 청구 범위의 한계를 정의하지 않는다. 다른 측면들, 특징들 및 장점들은 다음의 도면 및 상세한 설명을 검토하면 당업자에게 명백하거나 명백해질 것이다. 이러한 모든 추가적인 특징들, 측면들 및 장점들은 본 발명의 설명에 포함되고 첨부된 청구항에 의해 보호되도록 의도된 것이다.
도면들은 단지 예시를 목적으로 하는 것이며 첨부된 청구 범위의 한계를 정의하는 것이 아님을 이해해야 한다. 또한, 도면의 구성 요소는 반드시 일정한 축척을 가질 필요는 없다. 도면에서, 동일한 도면 부호는 다른 도면들 전반에 걸쳐 대응하는 부분을 가리킨다.
도 1은 변조기 및 편광 그리드 어레이를 사용하는 예시적인 3D(3차원) 카메라의 개략적인 개념도이다.
도 2a 및 도 2b는 편광 소자의 제 1 배열을 도시한 예시적인 제 1 편광 그리드 어레이의 개략적인 개념도이다.
도 3은 편광 소자들의 제 2 배열을 도시한 예시적인 제 2 편광 그리드 어레이의 개략적인 개념도이다.
도 4는 편광 소자들의 제 3 배열을 도시한 예시적인 제 3 편광 그리드 어레이의 개략적인 개념도이다.
도 5는 가드 밴드들(guard bands)을 갖는 예시적인 그리드 어레이 픽셀 구조의 측면도이다.
도 6은 가드 밴드들의 다른 배치구성(configuration)을 갖는 다른 예의 그리드 어레이 픽셀 구조의 측면도이다.
도 7은 수직 가드 밴드들을 갖는 또 다른 예의 그리드 어레이 픽셀 구조의 측면도이다.
도 8은 3D 이미지화 시스템의 다른 예를 개략적으로 도시한 것이다.
도 9는 본 발명에서 설명된 시스템을 사용하여 3D 이미지를 캡처하는 예시적인 방법을 도시한 흐름도이다.
도면을 참조하고 도면을 포함하는 다음의 상세한 설명은 하나 이상의 특정 3D 이미지화 시스템 및 방법을 설명하고 도시한다. 본 발명의 방법 및 시스템을 제한하고자 하는 것이 아니라 예시하고 가르치기 위해서만 제공되는 그 구성들이 당 분야의 기술자가 그 기술을 실시할 수 있도록 충분히 상세하게 도시되고 설명된다. 따라서, 본 발명의 시스템 및 방법을 불분명하게 하는 것을 피하는데 적절한 경우, 설명은 당 분야의 기술자에게 알려진 특정 정보를 생략할 수도 있다. 본 명세서의 개시 내용은 본 출원에 기초하여 부여될 수 있는 특허 청구 범위를 부당하게 제한하도록 해석되지 않아야 하는 예들이다.
"예시적인"이라는 단어는 본 명세서 전반에 걸쳐 "예, 실례 또는 사례로서 제공하는“ 의미로 사용된다. 본 명세서에서 "예시적인" 것으로 기술된 임의의 시스템, 방법, 장치, 기술, 카메라 특징 등은 다른 특징들 보다 반드시 바람직하거나 유리한 것으로 해석되지 않아야 한다.
일반적으로, 본 명세서에 개시된 기술은, 이미지화 센서 어레이(예를 들어 초점면 어레이(focal plane array: FPA))의 검출 표면의 픽셀 소자의 전방에 또는 전방 표면에 또는 적층(stack) 내에 광학 소자들의 그리드를 배치하는 것이다. 이 소자들은 그 신호를 상이한 변조 상태들(변조/무변조 상태를 포함함)과 구별하는데 사용될 수 있으며, 기초 변조 기술(underlying modulation technique)에 따라 설계된다. 예를 들어, 이러한 소자는, 패브리-페롯 공동(Fabry-Perot cavities)을 위한 전송 소자들의 패턴 또는 편광 변화를 초래하는. 위상 변조 및 다른 위상 변조를 위한 편광 소자들의 패턴을 사용할 수 있다. 이러한 소자는, 편광 전송, 스펙트럼 전송, 위상 전송, 세기 전송 또는 광의 유사 특성에서의 변화들(variations)을 포함하는, 시스템의 상태들을 구별하기 위해 하나 이상의 방식으로 설계되고 조합될 수 있다.
콤팩트한 3D 카메라 시스템은 본 명세서에서 명시하는 바와 같이 그 전체가 참조문헌으로 원용된 2013년 6월 25일에 출원된 미국 특허 제 8,471,895 B2호(이하, '895 특허라 함)에 기재된 변조된 센서 접근법의 소자들을, 편광 또는 전송 그리드 어레이와 집적함으로써 달성될 수 있다.
본 명세서에 설명된 방법 및 시스템을 구현하기 위해 변형될 수 있는 3D 이미지화 시스템 및 방법의 예는, '895 특허에, 예를 들어, '895 특허의 도 1 내지 12 및 이에 관한 설명에 기술되어 있다. 특히 ‘895 특허의 상기한 부분은, 본 발명의 방법을 수행하고 본 명세서에 개시된 편광 또는 전송 그리드 어레이를 포함하도록 구성될 수 있는 3D 이미지화 시스템을 기술하고 있는 것으로서, 본 명세서에 참조문헌으로 원용된다.
부가적으로 또는 대안적으로, 발명의 명칭이 "3D 이미지화에서의 깊이 센싱을 위한 견뢰성있고 확장된 조명 파형을 위한 방법 및 시스템(Method and System for Robust and Extended Illumination Waveforms for Depth Sensing in 3D Imaging)"인 2015년 4월 27일자로 출원된 미국 특허 출원 제14/696,793호에 기술된 펄스 광원 및 방법은 본 명세서에 개시된 시스템 및 방법에 사용될 수 있으며, 상기 미국 출원의 주제는 명시하는 바와 같이 그 전체가 본 명세서에 참조 문헌으로 원용된다.
본 명세서에 개시된 바와 같이, 몇몇 소자는 개별적으로 또는 조합으로 보다 콤팩트한 모놀리식 설계(monolithic design)의 가능성을 제공한다. 본 발명의 기술은 각 감광성 픽셀 뒤에 복잡한 회로구성 및 타이밍 알고리즘을 두는 대신에, 각 픽셀 또는 픽셀들 또는 감광성 소자들의 어레이 앞에 필요한 시간-의존적 소자(time-dependent element)를 둔다. 각각의 픽셀에서 전압 또는 전하 신호에 영향을 주는 전자 수단을 사용하는 대신에, 본 발명의 기술은, 광자 신호(photon signal)에 영향을 주기 위해 각 픽셀 또는 픽셀들의 그룹 앞에 광 필드(light field)에 영향을 주는 광학 수단, 전기-광학 수단, 또는 다른 수단을 사용한다. 이 광학 수단은, 입사광으로부터 시간 또는 깊이(예를 들어, z-축 거리) 정보를 추출할 수 있게 한다. 이러한 광학 수단은 비행시간 정보(time-of-flight information)를 포함하는 입사광 필드로부터 시간 또는 깊이(예를 들어 z-축 거리) 정보의 추출을 허용하기 위하여, 센서 어레이의 바로 곁에, 센서 어레이와 대응하는 광학 소자 사이에, 또는 이러한 광학 소자 앞에 둘 수 있다.
범위 정보를 인코딩하기 위하여 '895 특허에 기술된 바와 같은 변조기(센서 어레이에 대한 외부)(특히, 본 명세서에서 참조문헌으로 원용된 '895 특허에 개시된 변조기들(524, 700-701, 1124, 1224))의 사용은, 고비용의 통상적인 센서 어레이 또는 칩 개발, 특히 약 200 픽셀로 제한된 고정밀 타이밍 정보를 제공할 수 있는 칩 스케일링에 대한 요구를 배제한다. 센서 어레이에 조합되어 정렬된 편광 그리드를 상기한 변조기 접근법과 조합하는 것은, 2개의 개별 센서 어레이와 편광 빔스플리터와 같은 부피가 큰 편광 부품을 가져야 할 필요를 배제한다. 단일 센서 어레이의 경우, 두 개의 가상(virtual) 어레이 간의 정렬 및 등록이 있다. 각 편광 픽셀의 위치는 임의의 표면 법선의 위치 및 각도에서 직교 편광의 픽셀에 상대하여 자동으로 알려진다. 이는 제조 및 교정의 복잡성을 줄여준다.
편광 그리드의 사용은 또한 편광 분리 소자에 사용되는 유리 또는 다른 재료의 두께를 크게 감소시켜 구면 및 다른 광학 수차(aberration)의 양을 감소시킨다. 종래의 시스템에서, 이러한 수차는 3D 카메라의 광학 시스템의 광학 성능을 저하 시키거나, 광학 시스템이 그러한 수차를 제거하거나 보상하기 위해 통상의 설계로 구성되어야 한다. 본 명세서에 개시된 기술로, 광학 소자에 요구되는 수차 보상의 양이 감소되거나 제거된다.
또한, 편광 그리드의 사용은 변조기/편광 분리/센서 어레이를 카탈로그 광학 렌즈 또는 이미지화 소자와 직접 사용할 수 있는 근접 결합형 또는 모놀리식 광학 어셈블리로 만들 수 있는 가능성을 열어준다. 웨이퍼 스케일 제조와 같은 일부 환경에서, 광학 변조기와 센서 어레이/편광 그리드와의 사이에 렌즈 또는 릴레이 광학 소자를 배치할 필요가 없다. 이렇게 되면 3D 카메라 시스템의 크기와 비용을 줄일 수 있다.
3D 카메라에 의해 생성되고 처리되는 데이터 스트림(data streams)은 센서 어레이가 하나뿐 이므로 다른 센서 어레이와 비교할 필요가 없으므로 더 간단해 진다. 또한 '895 특허에서 도 10을 참조하여 설명된 것과 같이 다수의 3D 카메라 또는 모듈을 함께 조합하는 것(예를 들어, 달성 가능한 범위 해상도를 악화시키지 않고 범위 윈도우를 확장시키기 위하여 상이한 범위 윈도우 및 변조 파형을 이용하는 것)이 더 간단해 진다. 특히 ‘895 특허의 상기 부분은 명시하는 바와 같이 본 명세서에 참조문헌으로 원용된다.
도 1에 도시된 바와 같이, 전기-광학 모듈(21)은 픽셀의 상보형 금속 산화물 반도체(complementary metal oxide; CMOS) 어레이 또는 전하 결합 디바이스(charge coupled device: CCD)와 같은 이미지화 센서(20)의 표면 앞에 또는 그 위에 배치된 편광 소자의 그리드를 포함한다. 일부 배치구성에서, 편광 그리드 층(18)은 리소그래피 프로세싱에서 추가적인 단계 또는 단계들을 이용하여 센서 어레이(20)의 표면 상에 직접 배치될 수 있다. 다른 경우에, 그리드 층(18)은 투명 기판 상에 배치된 다음, 센서 어레이 상에 또는 그 앞에 배치될 수 있다. 다른 배치구성에서, 편광 그리드(18)는 센서 어레이의 검출기 또는 전자 사이트(electronic sites) 위에 있는 층 내에 배치될 수 있다. 편광 그리드(18)는 각 편광 소자(19)의 중심이 각 픽셀(22)의 중심과 대체로 일치하도록 정렬된다. 일부 배치구성의 경우, 그리드(18)는 교호하는(alternating) 편광 소자들이 직교하는 편광들을 통과하도록 정렬된다. 예를 들어, 제 1 편광 소자가 수직 편광을 통과하도록 배향된 경우, 행 또는 열의 다음 소자는 수평 편광을 통과하도록 배향된다. 선형 편광 소자 대신에, 좌/우 모두의 직교 원형 편광 소자가 또한 사용될 수 있다. 다른 배치구성은, 비-직교 편광들을 통과하는 소자들을 포함하는, 다른 패턴의 편광 소자들을 사용할 수 있다.
임의의 적절한 제조 기술이 편광자 소자 어레이(polarizer element array)를 구축하는데 사용될 수 있다. 예를 들어, 편광 소자(18)는, 금속 와이어-그리드 편광자, 박막 편광 층, 응력인가 폴리머(stressed polymers) 및 액정 디바이스로 만들어진 소자뿐만 아니라, 특정 편광을 다른 것보다 우선적으로 통과시키는 임의의 다른 기술을 포함하는, 다양한 기술을 사용하여 제조될 수 있다. 일부 경우에, 편광 소자는 각 펄스 사이 또는 펄스 중에 어떤 제어 신호(some control signal)로 변경될 수 있는 물질로 만들어질 수 있다. 이러한 소자는 막 부착(film deposition) 기술을 사용하는 다양한 방법으로 부착될 수 있다. 일부는 점재된(interspersed) 노출(다중 빔 또는 파장에 의한 노출을 포함함), 에칭 및 부착 단계와 같은 리소그래피 기술에 의해 만들어질 수 있다. 다른 이러한 소자는 폴리머와 같은 재료를 스트레칭하거나 아니면 응력인가하는 것에 의해 만들어질 수 있다. 일부 소자는 적절한 간격 또는 치수의 형상 및 구조의 전자 빔 또는 레이저 라이팅(writing)에 의해 만들어질 수 있다.
일부 배치구성의 경우, 파장에 민감하지 않은 소자가 다수의 조명 파장으로 또는 광대역 조명으로 3D 이미지(imagery)를 지원하는데 사용될 수 있다. 다른 배치구성에서, 좁은 수리 대역폭(acceptance bandwidth)을 갖는 소자가, 광의 원하는 파장과 원하지 않는 파장을 보다 효과적으로 구별하기 위한 편광 소자로서 사용될 수 있다.
리소그래피 제작 공정을 이용하는 것에 의해, 임의의 편광자 그리드 대 센서 어레이 오정렬 및 불균일 스페이싱, 비-이상적(non-ideal) 편광자 성능, 및 픽셀 간의 크로스-토크(cross-talk)가 감소될 수 있다. 편광자 그리드와 센서 어레이 모두는 리소그래피 공정을 사용하여 제작될 수 있기 때문에, 스페이싱의 균일성은 일반적으로 나노미터 수준의 정확도를 갖는 마스크 설계에 의해 결정된다. 정렬 기준점들(fiducials)이 두 개의 그리드를 정렬하는데 사용될 수 있고, 리소그래피 정밀도가 그리드 소자의 피치를 정확하게 맞추는 것을 허용한다.
비-이상적 편광자 성능은 출력 광의 최소 및 최대의 위치 시프트를 야기한다. 이러한 비-이상적 거동은 다양한 시간에서의 응답의 교정에 의해 처리될 수 있다. 마찬가지로, 불완전한 편광 콘트라스트(전송된 편광 및 거부된 편광의 전송 간의 비율)는 적절한 시스템 교정에 의해 관리될 수 있다. 예를 들어, 약 5:1, 10:1 또는 그 이상의 편광 콘트라스트는 허용가능한 성능으로 사용될 수 있다.
픽셀 크로스-토크의 경우에, 편광자 소자에 대응하는 것 이외에, 픽셀에 도달하는 하나의 편광 소자에 입사되는 광 또는 신호도 교정에 의해 설명될 수 있다. 상이한 교정들이 짧거나 긴 시간 스케일에서 발생할 수 있는 크로스-토크에서의 임의의 변화를 책임지기 위해 수행될 수 있다. 이러한 교정은 단일 시간에 수행될 수 있으며, 또는 여러 시간에서 또는 3D 카메라의 작동 중에 수행될 수도 있다. 이러한 교정은 룩업 테이블(lookup table: LUT) 또는 다른 함수 또는 형식을 사용하여 실행될 수 있다.
효과는, 예를 들어 수집 광학 소자(collecting optics)의 f-수(f/#)를 변화시키는 것에 의한, 입사광 변화들의 각도 내용으로서의 성능 변화일 수 있다. 높은 f/# 광학 소자가 크로스-토크를 감소시키기 위해 사용될 수도 있다.
일부 배치구성은, 픽셀들 사이에 불투명 세퍼레이터 밴드(separator band) 또는 구조를 사용하기 위하여 편광 격자를 구축하는 것에 의해 크로스-토크를 줄일 수 있다. 이러한 밴드 또는 구조는 하나의 픽셀 위치에서 이웃하는 픽셀 위치 또는 픽셀로 교차할 수 있는 빛의 양을 감소시킨다. 일부 배치구성에서, 이러한 밴드 또는 구조는 또한 전체적인 유효 전송 효율을 감소시킬 수 있다. 기판의 양 측면 상의 구조를 포함하는, 크로스-토크를 감소시키기 위해 다른 구조가 실행될 수 있다. 예를 들어, 그리드 소자를 통해 전송되는 빛이 인접한 픽셀의 검출기로 전송되는 것을 블로킹하는 픽셀들 사이의 공간에, 불투명 또는 반사 구조가 만들어 질수 있다. 이러한 구조 또는 밴드는, 편광자 어레이의 앞에, 편광자 어레이의 뒤에, 센서 어레이의 층들 내에, 또는 센서 어레이의 포토 사이트 또는 포토 사이트들 둘레에, 뿐만 아니라 편광자 어레이 자체 내에 배치될 수 있다. 일부 배치구성에서, 편광 상태들 사이의 가드 픽셀(guard pixel)이 신호가 무시되는 경우 사용될 수 있다. 예를 들어, 센서 어레이 픽셀 크기가 작으면, 예를 들어 3 미크론이면, 편광자 소자는 가드 픽셀을 커버하는 3 미크론 세퍼레이터로 9 미크론의 폭을 가질 수 있다. 대안으로, 가드 픽셀들이 소자들 사이의 그리드 구조 상에 특별한 분리가 없는 상태로 사용될 수 있다.
일부 배치구성의 경우, 편광자 어레이의 소자들 중 일부는, 정규화 신호(normalization signal)를 결정하기 위한 기초를 형성하는, 편광 특성 또는 감소된 편광 특성을 갖지 않을 수 있다. 그리드 내의 편광 소자 및 비-편광 소자의 임의의 적절한 배치가 용도 및 시스템 설계에 따라 사용될 수 있다. 비-편광 소자는 다중 파장에 대한 전송율이 대체로 균일할 수 있거나, 컬러 카메라에 대한 베이어 패턴(Bayer pattern) 또는 IR 또는 열 카메라에 대한 다른 필터 또는 다른 파장 또는 파장 영역에서의 다른 배열과 유사하게 변할 수 있다. 예를 들어, 비-편광 소자는 불투명하거나 빛을 덜 투과시킬 수 있다.
일부 배열에서, 편광자 그리드 소자는 센서 어레이의 단일 픽셀보다 더 클 수 있다. 예를 들어 2 x 2, 3 x 3, 4 x 4 또는 다른 배수로 더 클 수 있다. 이 소자들은 직사각형(예: 2 x 1, 3 x 2, 또는 다른 배수 또는 종횡비)이거나 비-직사각형의 임의의 다른 배열일 수도 있다. 그리드 소자가 하나의 픽셀보다 크다면, 전송 소자는 파장 또는 각도 또는 다른 유사한 광학 특성에 기초하여 상이한 양을 전송하는 개별 영역으로 더 분할될 수 있다.
처리 소프트웨어(processing software)에서, 센서 어레이(20) 내의 픽셀로부터의 검출된 신호는 측정의 신뢰성을 향상시키기 위하여, 노이즈 또는 다른 유해한 영향에 대한 감도를 감소시키기 위하여, 그렇지 않으면 개개의 측정의 신호 대 노이즈 비를 향상시키기 위하여, 비닝되거나(binned) 달리 처리될 수 있다. 다양한 소자 또는 다양한 형태의 소자로부터의 값이 실행된 알고리즘 및 원하는 결과에 따라 다양한 방법으로 조합될 수 있다.
대안적으로, 편광 변조가 사용되지 않는 패브리-페롯 공동 또는 다른 위상-기반 변조 방식(schem)과 같은 다른 변조 방식에 대해, 전술한 것과 유사한 일부 패턴으로 소자들 간의 전송을 변화시키는 소자들의 어레이가 편광 소자 대신에 사용될 수 있다. 일부 소자는 상대적으로 낮은 투과율 일 수 있어, 일부 소자는 패브리-페롯 공동에 필요한 피네스(finesse)를 제공하는 상대적으로 낮은 투과성일 수 있는 반면에, 일부 소자는 상대적으로 높은 투과성일 수 있다. (패브리-페롯 공동의 다른 쪽에서 고 전송 소자와 결합된) 고 전송 소자는, 변조되지 않은 기준 신호(unmodulated reference signal)를 결정하는데 사용될 수 있으며, 이는 기반 특허에 기술된 바와 같은 상대 신호의 측정을 위한 저 전송 소자에 대해 신호를 보간하는 것(interpolating)을 포함한다. 이들 픽셀의 배열은 이하에서보다 상세히 설명되는 바와 같이 다양한 방식으로 그룹화될 수 있다.
다른 배치구성의 경우, 센서 어레이의 픽셀 그룹의 개별 픽셀, 열, 행 또는 다른 배열의 이득이, 다른 값으로 조정 또는 설정되어, 유의적인 신호가 있는 소자들의 그룹들 간의 콘트라스트를 줄이거나, 또는 더 낮은 신호가 있는 픽셀들 또는 픽셀들의 그룹들 간의 콘트라스트를 증가시켜서, 센서 또는 3D 카메라의 동적 범위를 증가시킨다. 일부 배치구성은 픽셀 또는 픽셀들의 그룹 앞에 전송을 변경하는 추가 필터를 사용할 수 있다. 예를 들어, 베이어 패턴 RGB 필터가 사용될 수도 있고 전송 특성을 달리하는 다른 패턴이 사용될 수도 있다. 이러한 필터 소자는 3D 카메라용 장면을 조명하거나 특정 배경 또는 주변 조명을 얻기 위해 다중 파장의 빛이 사용되는 곳에서도 사용될 수 있다.
편광 어레이
편광 상태를 분리하기 위해 이전에 일부 3D 카메라에서 사용된 벌키한 광학 소자를 배제하는 개선된 방법은, 센서 어레이의 각 픽셀 앞에 편광 소자를 배치하는 것이다. 이러한 마이크로-그리드 편광 어레이는 절대 또는 상대 비행시간을 측정하는 데 사용할 수 있다. 절대 거리 측정은 3D 카메라에서, 무엇보다도, 특히 장면 내에 다수의 물체 또는 표면이 있는 경우와, 그것들이 연결되지 않았거나 연결이 카메라에서 보이지 않는 경우에, 에러 빌드업(error buildup)을 줄이기 위해 사용할 수 있다.
도 1은 수신 렌즈(12)를 통해 입사광(16)을 수신하는 편광 그리드 어레이(14) 및 변조기(14)를 사용하는 예시적인 3D 카메라(10)의 개략적인 사시 개념도이다. 본 발명에서, 레이저 조명(입사광)(16)은 렌즈(12)에 의해 도 1에 도시된 바와 같은 편광 방향 또는 전송 파라미터(transmission parameter)의 패턴으로 편광자 어레이(18)를 통해 카메라 센서 어레이(20) 상에 이미지화된다. 예를 들어, 이 도면은 각각의 픽셀(22) 앞에 위치하도록 배열된 어레이(18) 내의 교대하는 수평 및 수직 선형 편광자를 도시하지만, 다른 배열 및/또는 원형 또는 타원형 편광도 사용될 수 있다.
도 1에 도시된 바와 같이, 카메라(10)는 3D 정보를 캡처하고, 또한 광원(25)으로부터 방출된 조명광을 산란 또는 반사하는 물체(17)를 갖는 장면(15)으로부터 이미지 또는 비디오를 캡처할 수 있다. 광원(25)은 '895 특허에 기술된 바와 같은 조명 서브 시스템으로서 카메라(10)와 일체화되거나, 또는 대안적으로 카메라(10)로부터 분리될 수 있다. 광원(25)은, '895 특허에 기재된 것을 포함하여, 장면(15)을 조명하기 위한 임의의 적절한 수단 일 수 있다.
도 1에 분리된 소자들을 가지는 것으로 도시되지만, 카메라 시스템(10)의 일부 배치구성에서, 전기 광학 모듈(21)은 광학 변조기(14), 그리드(18), 및 센서 어레이(20)를 포함할 수 있을 뿐만 아니라, 단일 유닛으로서 함께 일체로 형성된 변조기(14) 앞의 광로에 배치된 선택적인 편광자(도시되지 않음)도 포함 할 수 있다. 전기 광학 모듈(21)의 고도로 집적된 배치구성은 본 명세서에 설명된 리소그래피, 에칭 및 부착 기술을 사용하여 만들 수 있다.
예시적인 편광자 어레이(30)의 배치가 도 2a 및 도 2b에보다 상세히 도시되어 있으며, 여기서, S는 수직 선형 편광자(32)를 나타내고, P는 수평 선형 편광자(34)를 나타낸다. (S와 P가 임의의 두 개의 서로 다른 편광인 경우, 또는 비 - 편광자를 나타내는 경우에 다른 배열도 사용할 수 있다). 어레이(30)는 도 1에서 어레이(18)로서 사용될 수 있다. 어레이(30)는 유리 기판 상에 개별적으로 제조된 다음 표준 정렬 기술을 사용하여 정렬 및 배치되어, 도 1에 도시된 바와 같이 각각의 미세 편광자의 중심이 그 기저(underlying) 픽셀의 중심과 대략 일치하도록 위치된다.
대안적으로, 편광판(30)의 그리드는 표준 리소그래피 기술을 사용하여 패시베이션 층과 같은 센서 어레이 표면 상에 직접 만들어질 수 있다. 예를 들어, 알루미늄과 같은 금속층을 상기 표면 상에 부착한 다음 포토레지스트 층을 적층하고, 적절한 마스크로 포토레지스트를 노광하고, 노광된 포토레지스트 및 금속을 에칭하여, 금속층의 일부를 우선적으로 제거한 다음, 남아있는 포토레지스트를 제거하여 원하는 금속 구조를 남겨둘 수 있다. 이러한 금속층은 어떤 경우에는 두께가 1㎛ 미만이거나 또는 두께가 5㎛ 미만이거나 다른 두께 일 수 있다. 센서 표면에 또는 센서 표면 위에 부착된 층에, 예컨대 패시베이션 층에 직접 에칭 구조를 포함하는 다른 재료 또는 기술이 편광 효과를 생성하는데 사용될 수 있다. 이러한 재료 또는 기술의 예는 스트레스가 가해진 폴리머 또는 다른 박막 편광 층을 그리드화 패턴(gridded pattern)으로 부착 또는 배열하는 것이다. 또는 액정 디바이스 또는 구조체가 부착될 수 있으며, 일부는 전기적으로 유도된 패터닝을 통해 부착될 수 있다. 다른 것들은 전자빔(e-beam)이나 레이저 라이팅(laser writing)과 같은 직접 식각 기술이 패턴화된 구조를 만드는데 사용될 수 있다. 이러한 층은 단일 단계로 또는 다중 단계로 또는 다중 층으로 또는 재료 및 기술의 조합으로 만들어질 수 있다. 유사한 기술의 실행자들에게 공지된 이들 기술 및 다른 기술이 패턴화된 편광 소자를 만드는데 사용될 수 있다.
편광 소자 어레이(30)는 또한 도 5 내지도 7의 예들에 도시된 바와 같이 센서 어레이의 상부에 있는 층들의 적층(stack) 내의 수 개의 층들 중 임의의 층에 배치될 수 있다. 센서 자체 (또는 수반되는 층) 상에 편광 소자를 만들기 위해 설명된 부착 방법들이 또한 센서 어레이의 전방에 배치될 별도의 투명 또는 반투명 기판(도 5의 층(64), 도 6의 층(84) 및 도 7의 층(104))에 편광 소자를 만드는데 사용될 수 있다. 이러한 별도의 기판 또는 집적된 층은 또한 투과율을 최대로 하거나 미광(stray light)을 최소화하기 위해 적용된 반사 방지 코팅을 가질 수 있다. 편광 상태들 간의 구별을 제공하는 임의의 적절한 기술이 본 명세서에 개시된 방법 및 시스템에 사용될 수 있다; 일부 기술은 원하는 편광 상태와 ＞500:1, 일부 경우 ＞100:1, 일부 경우 ＞50:1 및 일부 경우 ＞10:1의 원하지 않는 편광 상태 사이의 콘트라스트(또는 비율)를 제공한다.
도 2a 및 도 2b에 도시된 바와 같이, 편광 소자(32, 34)와 대략 동일한 크기의 픽셀에 대해. (1,1) 위치의 픽셀은 수직으로 편광되는 픽셀(1, 1)에 입사하는 광자속(photon flux)의 성분 에 관한 대부분에 기초하여 응답을 제공한다. (1, 2) 위치의 픽셀은 교대 편광의 픽셀(1, 2)에 입사하는 광자속의 성분에 실질적으로 비례하는 응답 레벨을 제공한다. 그리고 전체 센서의 각 픽셀에 대해서도 마찬가지이다. 대안적으로, 주 편광축은 임의의 각도로 기울어질 수 있다. 일부 배치구성의 경우, 교대하는 편광자들의 주 축들은 직교한다. 다른 배치구성의 경우, 주 축들이 직교하지 않을 수 있다. 예를 들어, 수직 편광자자 제 2 편광자 유형과 결합될 수 있으며, 편광축이 제 1 편광자에 대해 45° 각도를 형성할 수 있다. 다른 배치구성은, 3개, 4개 또는 그 이상의 편광자 유형을 사용하는 2개 이상의 편광자 유형을 사용할 수 있다. 예를 들어, 3개의 편광자 유형의 조합은, 수직에 대해 0°, 45° 및 90°, 또는 0°, 30° 및 60°, 또는 이러한 배향들의 조합으로 된 각도를 형성하는 편광 소자를 가질 수 있다. 다른 배치구성에서, 이들 각도는 수평 또는 임의의 다른 방향에 대해 배열될 수 있다. 이러한 배열들이 있는 패턴은, 또한 도 2a 및 도 2b에 도시된 체커보드(checkerboard) 패턴과 다를 수 있다. 예를 들어, S 소자는 전체 행 또는 열 중 하나에 각각 배열될 수 있고 P 소자는 교대 행 또는 열 중 하나에 배열될 수 있다. 일부 배치구성에서, 하나의 편광자 유형이 다른 하나 보다 또는 다른 것들보다 많이 존재할 수 있다.
다른 배치구성에서, 편광 소자들은 서로 그룹화된 하나 이상의 픽셀의 크기가 되도록 크기가 정해질 수 있다(한 예가 도 6에 도시됨). 예를 들어, 픽셀 크기 또는 픽셀 피치가 5.5 ㎛(2 x 2 픽셀 그룹핑) 인 경우, 편광 소자는 11 ㎛ x 11 ㎛ 일 수 있다. 이러한 픽셀 그룹핑(grouping)은 3 x 3, 1 x 2, 3 x 4 또는 임의의 다른 개수 또는 배열과 같은 다른 적절한 수의 픽셀을 포함할 수 있다. 임의의 다른 적절한 픽셀 크기 또는 피치가 본 명세서에서 설명된 어레이, 예를 들어, 3㎛ 또는 7㎛ 또는 15㎛로 사용될 수 있다. 픽셀 크기 또는 피치가 규칙적이 아닐 수 있고, 모든 픽셀이 동일한 크기일 수 있다. 일부 배치구성의 경우, 편광 소자가 픽셀 경계에 정렬될 수 있고, 또는 대응하는 픽셀의 중심에 정렬된 각 편광 소자의 중심에 정렬될 수 있다. 다른 장치구정에서, 상기 소자들의 적어도 일부는 푸리에 변환 기술 및 신호 처리 또는 다른 처리 알고리즘을 사용하여 평가될 수 있는 일부 패턴에서 오정렬될 수 있다.
대안으로, 각 픽셀에 대한 선형 편광 구조 대신에, 도 4의 원형 편광 구조(50)는 상술한 바와 같이 편광 상태를 구별하는데 사용될 수 있다. 예를 들어, 선형 편광 대신에, 도 2a 및 도 2b에서 S 소자(32)가 우측 원형 편광 소자(52)를 대신할 수 있고, P 소자(34)가 도 4에 도시된 바와 같은 좌측 원형 편광 소자(54)를 대신할 수 있다. 임의의 유형의 편광 구조 또는 구조들의 조합이 직교 편광 방향을 갖는 소자 쌍을 포함하여 개시된 카메라 시스템에서 사용될 수 있다. 일부 배치구성에서, 편광 소자는 타원 편광하는 것일 수 있다.
편광 그리드 어레이(50)에 대한 또 다른 가능한 배치가 도 3에 도시되어 있는데, 여기서 픽셀들(42)의 일부는 편광 구조체가 아니며 대신에 모든 편광들을 투과한다. 이 도면에서, 레이블없는(unlabeled) 소자(42)는 편광 소자를 갖지 않고, 다른 소자 S 및 P(44, 46)는 상기와 동일하다. 비-편광 소자(42)는 모두 동일하거나 유사한 투과 특성, 예를 들어 빛의 거의 100 %를 투과하는 특성을 가질 수 있다. 대안으로, 비-편광 소자는 입사광의 90% 보다 적은 또는 입사광의 50% 보다 적은 또는 10% 보다 적은 또는 임의의 다른 투과율로 전송시킬 수 있다. 투과율은 또한, 투과하는 소자 모두가 동일한 투과율을 갖지 않도록 고 다이나믹 레인지(high dynamic range: HDR) 이미지화 또는 다른 세기 의존성 이미지화 기술에서 사용하기 위해 패턴화될 수 있다. 다른 배치구성에서, 편광 소자들이 대응하는 편광 상태에 대해 상이한 투과 값을 가질 수 있고, 또는 상이한 투과성을 갖는 소자들이 편광 소자들과 결합될 수 있다.
비-편광 소자들은 또한 컬러 필터로서 배열될 수 있으며, 베이어 패턴과 유사하게 컬러 또는 파장에 따른 투과 백분율로 배열될 수 있다. 이 경우, 편광 소자들는 모두 동일한 유형(모두 S 또는 모두 P)일 수도 있고 또는 임의의 다른 편광 유형의 혼합일 수 있다. 컬러 필터의 그리드는 컬러 카메라를 만드는 데 사용될 수 있다. 이 카메라의 경우, 컬러 정보는 패턴에서 센서 배열 바로 앞에 배치된 마이크로 컬러 필터들의 어레이 사용하여 수집된다. 가장 보편적인 패턴은 베이어 패턴으로 알려져 있으며, 베이어의 미국 특허 제 3,971,065 호에 개시된 바와 같이, 필터 어레이는 베이어(Bayer) 필터로 알려져 있으며, 이는 본 명세서에 개시된 소자 어레이들과 함께 사용될 수 있다. 일부 픽셀은 각 파장 밴드(적색, 녹색 및 청색)에서 입사광을 단색 신호로 감지한다. 그런 다음, 디모자이크 처리(de-mosaicing)라고 알려진 프로세스를 사용하여 컬러 이미지를 발생시킨다. 이 프로세스는 측정된 값과 교정된 응답 곡선을 사용하여 다른 픽셀에서 R, G 및 B 응답을 계산한 다음 색상 값을 혼합하여 JPG와 같은 컬러 디지털 이미지 포맷으로 기록되는 R, G 및 B 값을 산출한다. 이러한 컬러 필터 그리드는 입사광의 컬러 정보를 기록하는 데 사용할 수 있다.
깊이 정보(z-치수 정보)를 얻기 위해 계산된 비율을 정규화하는 데 사용되는 정규화 이미지(normalization image)는, 반대 편광 상태의 세기를 결정하는데 사용되는 주변 픽셀의 응답과 조합된 관련 편광 상태의 세기를 결정하기 위하여, 픽셀의 응답을 사용하여 계산될 수 있다. 이는 주변 픽셀의 값들의 일부 조합을 사용하여 직교 편광 상태의 세기의의 각 픽셀에 대한 값을 보간함(interpolating)으로써 달성될 수 있다. 이 정보에 기초한 깊이 좌표(z-좌표)의 결정은, 단일 어레이 내의 값만을 사용하고 이 어레이 내의 알려진 관계와 위치를 가지기 때문에 단순화된다.
도 2a 및 도 2b에 도시된 각 픽셀에 대한 2 개의 편광 상태의 상대적인 세기는, 편광 소자 편광 상태의 측정 값과 다른 상태의 보간 값을 이용하여 결정될 수 있다. 단일 센서 어레이를 사용하여 그 범위를 얻기 위하여, 각 픽셀에 대한 정규화된 조합된 리턴(normalized combined return)이 베이어 필터 기반 컬러 디지털 카메라에서 사용되는 것과 유사한 방식으로 인접 픽셀을 기반으로 계산되거나 보간될 수 있다. 예를 들어, 도 2a 및 도 2b에 도시된 바와 같은 소자들의 어레이(30)에서, S는 픽셀 앞에 수직 편광자를 가지며, P는 픽셀 앞에 수평 편광자를 갖는다. 다른 편광 상태를 전송하지 않는 이상적인 편광자를 가정하면, 정규화 분모(normalizing denominator)는 예를 들어 최근방 알고리즘(nearest-neighbor algorithm)을 사용하여 픽셀(2,2)에 대해 계산되고
(식 1)
P 픽셀들에 대해 주변 S 픽셀들의 평균을 사용하여 유사하게 계산될 수 있다. 대부분의 이미지와 물체가 픽셀마다 크게 변경되지 않으므로, 이러한 유형의 디모자이크 처리는 신뢰할 수 있다. 대안으로, 쌍일차(bilinear), 쌍삼차(bicubic), 또는 다른 알고리즘과 같은 다른 알고리즘이 이미지 디모자이크 처리에 사용될 수 있다. 보간은 픽셀 측정 자체가 아니라 정규화 분모에 적용한다. 단일 센서 어레이로부터의 이러한 인터리빙된 픽셀은 '895 특허의도 5에 도시된 바와 같이 2 개의 별도의 센서 어레이와 조합된 편광 빔스플리터 프리즘과 같은 벌크 편광 분리 광학소자를 사용할 때 오등록(mis-registration)으로 인해 야기될 수 있는 광학 왜곡을 감소시킬 수 있다. '895 특허에 기술된 바와 같이 각 픽셀 위치에 대해 3D 범위 정보(z-축 정보)가 추출된다. 위에서 설명한 디모자이크 처리의 일부로서, 광학 및 소프트웨어 필터를 적용하여 존재하는 앨리어싱의 양(the amount of aliasing)을 변경할 수 있다. 편광 소자 어레이는 안티-앨리어싱 필터(anti-aliasing filter)로서 사용될 수 있거나 홀로그래프 소자 또는 다른 구조체와 같은 다른 앤티 앨리어싱 필터와 집적될 수 있다.
본 발명의 카메라 시스템(10)은 또한 비-이상적 편광 상태의 경우에, 또는 광학 성능(편광 또는 전송)이 복귀된 광의 입사각에 어떤 의존성이 있는 경우에도 수행할 수 있다. 일부 배치구성에서, 측정된 성능들을 대략적으로 이상적인 성능에 상관시키거나 또는 이상적인 성능으로 보정할 수 있다. 이미지화 센서 어레이 또는 편광 또는 전송 소자 중 하나의 오프셋 및 비선형 응답은 교정 단계를 사용하여 결정된 파라미터를 사용하여 보정될 수 있다.
일부 배치구성에서, 편광 그리드(비-편광 소자를 갖는 그리드를 포함함)의 위치는 픽셀의 몇 부분(fraction) 이내로 픽셀 위치에 정렬될 수 있다. 상기 부분은 ＜0.1 픽셀, ＜0.2 픽셀, ＜0.5 픽셀 또는 다른 부분일 수 있다. 이러한 효과 외에도, 개시된 단일 센서 3D 카메라의 성능에 영향을 미칠 수 있는 비-이상적 특성은, 편광자 그리드 대 센서 어레이 오정렬 및 불균일 스페이싱, 비-이상적(예를 들어, 낮은 콘트라스트) 편광자 성능, 및 픽셀들 간의 크로스-토크일 수 있다. 편광자 그리드 및 센서 어레이 모두는 리소그래피 공정을 사용하여 제작될 수 있기 때문에, 스페이싱의 균일성은 나노 미터 수준까지 정확할 수 있는 마스크 설계에 의해 결정될 수 있다. 정렬 기준들이 두 개의 그리드를 정렬하는 데 사용될 수 있고, 리소그래피 정밀도는 그리드 소자들의 피치와 정확한 부합을 허용한다. 비-이상적 편광자 성능은 변조 파형에 대한 상대적 응답 신호의 최소 및 최대의 시프트를 초래할 것이다. 이러한 비-이상적 거동은 다양한 시간 및 상이한 조건에서 응답의 교정 또는 특성화에 의해 처리될 수 있다. 일부 배치구성에서, 재료는 상이한 온도, 습도, 진동 또는 다른 환경 요인에 대해 픽셀에 대한 편광자 소자의 상대적인 이동을 최소화 또는 방지하도록 선택될 수 있다. 일부 시스템의 경우, 편광 콘트라스트는 100:1 보다 클수 있고, 일부 경우에 ＞50:1, 일부 경우에 ＞20:1, 일부 경우에 ＞10:1 일 수 있으며, 또는 그 용도에 적절한 다른 콘트라스트 비일 수 있다.
하나의 효과는 편광 소자를 통과하는 광이 인접한 픽셀에 도달하는 픽셀 크로스-토크일 수 있다. 가능한 크로스-토크를 줄이기 위해 픽셀들 사이에 불투명한 세퍼레이터 밴드 또는 가드 밴드가 사용될 수 있다. 일부 배치구성에서, 그러한 세퍼레이터 밴드는 도 5의 집적된 편광 어레이 및 센서 시스템(60)의 측면 단면도에 도시된 바와 같이 편광 소자들(70) 사이에 불투명 또는 반투명 영역(72)으로서 배치될 수 있다. 어레이 구조(60)는, 편광 소자 어레이 층(62), 하나 이상의 투명 층(64), 및 센서 기판 층(66)을 포함하며, 센서 기판 층은 기판(74), 센서 픽셀(69) 및 전자 또는 금속화(metallization) 층(68)을 포함한다.
세퍼레이터 밴드(72)가 도 5에 도시된다. 이러한 불투명 영역은 리소그래피 마스크 설계의 일부일 수 있거나, 베이어 필터와 같은 컬러 필터의 제작 공정과 유사한 도핑된 영역 또는 광 흡수 영역 일수 있다. 이러한 세퍼레이터 밴드는 입사의 각 또는 파장에 기초한 전송을 포함하는, 투과를 감소시키기 위한 반사층 또는 다른 기술로 만들어질 수 있다. 세퍼레이터 밴드 불투명 영역(72)은 임의의 적합한 재료로 만들어질 수 있으며, 그 예를 들면 알루미늄과 같은 금속, 포토레지스트, 또는 폴리머, 또는 다결정 실리콘 등의 반도체 재료 또는 다른 유형의 반도체 재료와 같은 다른 재료로 만들어 질 수 있다. 예를 들어, FPA에서 10㎛ 떨어진 마이크로-편광자들 사이의 1㎛ 가드 밴드의 경우, 입사각 ＞6°(＜f/5와 등가)가 일부 FPA 마이크로 렌즈 설계의 경우 인접한 픽셀에 도달할 수 있다. 일부 배치구성은 설계에 따라 크로스-토크를 더 줄이기 위해 2㎛ 이상과 같이 더 두꺼운 세퍼레이터 밴드를 사용할 수 있다.
도 6에 도시된 집적 편광자 센서 어레이(80)와 같은 다른 배치구성에서, 세퍼레이터 가드 밴드(92)가 픽셀 피치만큼 넓거나 또는 더 넓어서 픽셀(89)의 실질적인 부분을 적절하게 블로킹하도록 만들 수 있다. 어레이 구조(80)는 편광 소자 어레이 층(82), 하나 이상의 투명 층(84), 및 기판(94), 센서 픽셀(89) 및 전자 또는 금속화 층(88)을 포함하는 센서 기판 층(86)을 포함한다.
도 6은 2 픽셀 폭(예를 들어, 2x1 또는 2x2 또는 2x3 또는 다른 2D 배열)이며, 제 3 픽셀(89)을 커버하는 가드 밴드(G)(92)을 갖는, 편광 소자(90)를 사용하는 설계을 도시한다. 이러한 배치구성에서, 가드 밴드(92)는 크로스-토크를 감소시키기 위해 설계에 따라 불투명, 반사, 반투명 또는 투명 또는 일부 조합일 수 있다. 가드 밴드(92)는 또한 제작 비용을 감소시키거나 다른 설계 목적을 위해 편광 소자 그리드에 걸쳐 변화시킬 수 있다. 이러한 가드 밴드(92)는 전술한 편광 소자의 다양한 배치와 조합될수 있다. 픽셀들 간의 광 크로스-토크를 방지하는 것 외에도, 다른 배치구성은 결정적이며 일정할 수 있는 한 교정에 의해 픽셀 크로스-토크를 어드레스할 수 있고, 또는 일부 또는 모든 이미지화 파라미터에 대하여 특성화될 수 있다. 픽셀 크로스-토크를 줄여야 하는 경우, 더 넓은 가드 밴드가 특정되거나, 마이크로렌즈들 및 가드 밴드들의 조합이 설계에 추가될 수 있고, 또는 가드 픽셀들이 사용될 수 있다. 임의의 설계에서, 마이크로렌즈 어레이가 픽셀화된 편광자 또는 전송 그리드 구조의 앞 또는 뒤에 적절히 배치될 수 있다.
다른 배치구성에서, 불투명 또는 반사 구조가 다른 픽셀에 도달할 수 있는 크로스-토크 광의 양을 줄이기 위해 픽셀 검출기 층(106) 앞에서 투명층들의 적층(104)에 세퍼레이터 밴드 또는 가드 밴드(112)로서 포함될 수 있다. 이러한 배치구성의 일례가, 도 7의 집적 어레이(100)에 도시되어있다. 상기 어레이 구조(100)는 편광 소자 어레이 층(102), 하나 이상의 투명층(104), 및 기판(114), 센서 픽셀(109) 및 전자 또는 금속화 층(108)을 포함하는 센서 기판 층(106)을 포함한다. 도 7은 하나의 편광 소자(110)에 입사하는 광이 인접한 픽셀에 도달하는 것을 방지하기 위해 픽셀들(109) 사이의 수직 벽(112)으로서의 불투명 구조의 예시적인 배치를 도시한다. 이 구조체(112)는 편광 소자 그리드 구조 층(102)에 도달할 수 있거나, 센서 층(106)과 구조체(102) 사이의 높이의 ＞90 %, 또는 ＞75 %, 또는 ＞ 50 %에만 도달할 수 있거나, 관심있는 설계에 적절한 다른 높이에 도달할 수 있다. 일부 배치구성에서, 이러한 구조체(112)는 맨 위(센서로부터 가장 멀리)에서 더 좁고 맨 밑에서 더 넓어지는 형상을 가질 수 있다. 다른 배치구성에서는, 구조체(112)를 맨 위에서 더 넓게 하고 완전히 수직이 되게 하여 크로스-토크에 영향을 줄 수 있다. 센서(109) 설계 자체 및 금속화 층(108)은 또한 유사한 방식으로 형성될 수 있거나 또는 인접 센서 픽셀(109)에 도달 할 수 있는 광의 양을 감소시키기 위해 더 높게 할 수 있다. 다른 배치구성에서, 산란광을 줄이기 위해 흡수 재료를 사용하거나 또는 다른 구조체를 사용하여, 빛을 다른 픽셀로부터 멀리 향하게 할 수 있다. 다른 배치구성에서, 구조체(112)는 반-불투명(semi-opaque) 또는 반-반사(semi reflective) 일 수 있다.
전송-기반 어레이(Transmission-Based Arrays)
다른 배치구성에서, 둘 이상의 상태 사이의 구별은 상술한 것과 같은 편광 변화보다는 다른 전송 변화를 통해 이루어질 수 있다. 예를 들어, 가변 패브리-페롯 에탈론(variable Fabry-Perot etalon)이 편광 상태에 대한 '895 특허의 것과 유사한 일부 제어 수단에 의해 전송을 변화시키는데 사용될 수 있다. 예를 들어, 패브리-페롯 공동 내의 상이 전기 광학 재료에 전압을 인가하는 것, 압전 재료에 전압을 인가하는 것, 액정에 전압을 인가하는 것, 또는 다른 유사한 수단에 의해 변화될 수 있다. 그러한 경우에, 이미지화 센서의 픽셀들은 또한 도 3의 도시와 유사하게 상이한 그룹들로 분할될 수 있다. 도 2a에서 S로 표시된 것과 같은 하나의 픽셀 그룹은 패브리-페롯 에탈론의 원하는 피네스를 달성하기에 적절한 반사율 R의 반사 코팅을 가질 수 있다. 도 2a에서 P로 표시된 것과 같은 다른 픽셀 그룹은 100 %, 또는 ＞99 %, 또는 ＞95 %, 또는 ＞90 %, 또는 ＞80 %와 같은 투과 레벨, 또는 다른 원하는 투과 레벨을 가지는 반사 또는 반사-방지 코팅을 가질 수 있다. 이러한 고 전송 픽셀은 식(1)을 사용하여 계산된 분모로 사용될 수 있는 신호 값을 제공하며, 여기서, S 픽셀에 대한 값은 전술한 방법과 유사한 보간법에 의해 결정될 수 있다.
이러한 픽셀 그룹핑은 도 2 내지 7에 도시된 바와 같이 배열될 수 있고, 다른 배열이 바람직할 수도 있다. 2 개 이상의 그룹을 갖는, 전송의 보다 복잡한 그룹이 사용될 수도 있다. 반사 코팅은 이미지화 센서 상에, 예를 들어 센서 어레이 칩의 패시베이션 층(passivation layer)의 맨 위에 직접 부착될 수 있다. 대안적으로, 이러한 코팅은 이미지화 센서의 픽셀에 정렬된 반사 영역을 갖는 이미지화 센서 어레이 앞에 배치될 수 있는 추가 기판 상에 부착될 수 있다. 다른 배치구성에서는, 이러한 코팅을 센서를 구성하는 층들의 적층 내에 가질 수 있다. 이러한 코팅의 부착은 반사 코팅을 만드는데 알려진 기술에 의해 수행될 수 있고, 산화물 또는 불화물 또는 다른 유사한 재료와 같은 투명 재료를 사용할 수도 있고, 이 코팅은 금, 은, 알루미늄, 반도체 또는 다른 재료와 같은, 금속 또는 다른 더 불투명한 또는 반투명한 재료로 된 얇은 또는 반-투명 층으로 만들어질 수 있다. 재료는 관계있는 특정 파장에서 유리한 것으로 선택되거나, 다중 파장 또는 광대역 조명과 사용되도록 선택될 수 있다.
이러한 투과 패터닝은 단일 기판 상에 행해질 수 있고, 또는 전계인가(electric field application) 또는 다른 투과 패터닝을 위한 보다 광범위한 코팅 적층(stack)의 일부일 수 있다. 예를 들어, 패브리-페롯 변조기의 경우, 투과 그리드는 패브리-페롯 공동의 양 쪽을 형성하는 소자 상에 패터닝될 수 있다. 이러한 배치는 시스템 설계 요구 사항에 따라 선택할 수 있다.
또한, 코팅 패턴 또는 그룹핑은 단일 프로세스 단계 또는 다중 부착 및 에칭 단계에서 균일 한 두께를 유지하는 방식으로 적용될 수 있다.
도 8은 3D 이미지화 센서 시스템 또는 카메라(120)의 다른 예를 개략적으로 도시한다. 센서 시스템(120)은 '895 특허의도 5와 관련하여 도시되고 설명된 가시 이미지화 서브시스템(530)을 선택적으로 포함 할 수 있으며, 특히 '895 특허의 이 부분들은 명시하는 바와 같이 참조 문헌으로 원용된다. 서브 시스템(530)은 명확성을 위해 도 5에서 생략되어있다.
시스템(120)은 수신(Rx) 렌즈(121), 밴드-패스 필터(band-pass filter: BPF)(122), 변조기(124), 보상기(Cp.)(125), 이미지화 렌즈(126) 및 FPA(129)를 포함하며, 그 각각은 ‘895 특허의 도 5에 도시된 대응하는 구성 요소에 대해 설명한 것과 동일할 수도 있으며, 특히‘895 특허의 도 5 소자들에 대한 기술내용은 명시하는 바와 같이 본 명세서에 참조문헌으로 원용된다. 그러나, 시스템(120)은 또한 소자 어레이(128)를 포함하며, 이는 예를 들어 도 2 내지 7을 참조하여 본 명세서에 설명된 편광 어레이 또는 전송-기반 어레이 중 임의의 것일 수 있다.
일부 배치구성은 '895 특허의도 5에 도시된 모든 카메라 소자들을 사용할 수 있다. 예를 들어, 시스템(120)은 수신된 광의 일부를 FPA(119)로 지향하는 변조기 전의 임의의 적합한 위치 (여기서는 밴드패스 필터(122)와 변조기(124) 사이)에 있는 빔 세퍼레이터(123)를 포함 할 수 있으며, FPA(119)가 거기에 기초한 장면의 이미지를 얻는다. 광의 나머지는 전송되는 광을 변조하는 변조기 및 FPA(129)로 전송되고, FPA(129)가 거기에 기초한 장면의 이미지를 획득한다. 일부 배치구성에서, FPA(119)의해 획득된 이미지는 변조되지 않은 광에 기초하고, FPA(129)에 의해 획득된 이미지는 변조된 광에 기초한다는 점에서 상이할 수 있다. FPA(119)에 의해 획득된 이미지는 FPA(129)에 의해 얻어진 이미지를 정규화하는 데 사용될 수 있다. 특히, FPA(119)의 임의의 픽셀(i,j)에서의 세기는 '895 특허에서 식(8) 내지 (15)를 참조하여 설명된 거리 계산에서 값 Itotal,i,j로서 사용될 수 있으며, 그 주제는 명시하는 바와 같이 본 명세서에 참조문헌으로 원용된다. 대안적으로, 일부 배치구성서, FPA(119)에 의해 측정된 세기는 필요하지 않고, 대신에 전술한 바와 같이 FPA(129)로부터의 디모자이크된 세기 합계를 사용한다.
다른 배치구성에서, FPA(119)는 가시광 또는 적외선 또는 다른 스펙트럼 영역과 같은 상이한 파장 또는 파장들을 이미지에 사용한다. 다른 배치구성에서, 도시된 구성 소자들 중 일부는 생략되거나 순서가 변경될 수 있다. 예를 들어, 일부 배치구성에서, 빔스플리터(123)는 또 다른 다양한 편광판 또는 광학 소자로 대체될 수 있거나, 일부 경우에, 입사 편광 상태가 충분한 품질이면 모두 생략될 수 있다. 일부 배치구성에서, 보상기(125) 및/또는 이미지화 렌즈가 생략될 수 있다. 또한, 밴드패스 필터(122)가, 배경 광이 무시될 수 있는 적절한 환경의 경우 생략될 수 있다. 대안적으로, 구성 요소 124 내지 128 또는 그 일부 서브세트가 빔스플리터(123)와 FPA(119) 사이의 다른 배치구성으로 반복될 수 있다. FPA(119)와 FPA(129) 사이의 변조 패턴은 '895 특허에 기재된 바와 같이 동일하거나 상이한 길이일 수 있고, 또는 형상 또는 구조에서 다른 차이일 수 있다. FPA(119)와 FPA(129) 중 하나 또는 모두로부터 얻어진 신호는 '895 특허에 기재된 알고리즘에 조합될 수 있다.
'895 특허에 기술된 다른 기술들이 본 명세서에 설명된 전송 어레이를 사용하는 3D 카메라와 조합될 수 있다.
도 9는 본 명세서에서 설명된 시스템을 사용하여 3D 이미지를 캡처하는 예시적인 방법을 도시하는 흐름도(200)이다. 박스(202)에서, 장면은 광 펄스, 예를 들어 '895 특허에 기술된 바와 같이 광원(25)으로부터 방출된 레이저 펄스로 조명된다. 광 펄스의 일부는 장면 내의 대상물로부터 산란되거나 반사되어, 3D 카메라의 수신 광학소자로 복귀한다. 박스(204)에서, 광 펄스의 복귀된 부분은 카메라 내의 변조기에 의해 시간의 함수로서 변조된다. 변조기는 임의의 적합한 광 변조기, 예를 들어 포켈스 셀(Pockels cell) 또는 대안적으로 패브리-페롯 변조기일 수 있으며, 이들 모두는 '895 특허에 기술되어 있다.
그 다음, 박스(206)에서, 변조되고 복귀된 광 펄스 부분은 본 명세서에 개시된 임의의 소자 어레이와 같은 소자 어레이를 통과한다. 소자 어레이는 미리 정의된 방식으로 센서 어레이의 픽셀들에 대응하도록 배치된다. 박스(208)에서, 상기 광 부분은 픽셀화된 센서 어레이에서 수신되어, 수신된 광에 응답으로 전기 신호를 발생한다. 그런 다음, 신호는 디지털 신호 프로세서(DSP) 또는 마이크로 프로세서와 같은 프로세서에 의해 처리되고, 소프트웨어를 실행하여, 비행시간 정보를 결정한 다음, z-축 정보를 결정하는데 사용되어 장면의 3D 이미지를 생산한다.
예에 따라, 여기에 설명된 방법 중 어떤 것의 특정 행위 또는 사건은 다른 순서로 수행될 수 있고, 더해지거나, 병합되거나, 또는 전부 뺄 수 있음을 이해해야한다 (예를 들어, 설명된 모든 행위 또는 사건이 본 방법의 실행에 필수적인 것이 아님). 또한, 특정 예들에서, 행위 또는 사건은, 순차적인 것보다는, 예를 들어, 멀티 스레드 프로세싱, 인터럽트 프로세싱, 또는 다중 프로세서를 통해 동시에 수행될 수 있다. 또한, 본 발명의 특정 측면들이 명료함을 위해 단일 모듈 또는 구성 요소에 의해 수행되는 것으로 설명되었지만, 본 발명의 기술들은 3D 이미지화 시스템과 연관된 구성 요소들 또는 모듈들의 임의의 적절한 조합에 의해 수행될 수 있다는 것을 이해해야 한다.
요약하면, 본 명세서에 개시된 시스템 및 방법은 상이한 신호를 통과시키는 별개의 소자들의 그룹을 갖는 적절한 그리드/어레이를 사용함으로써 상대 위상 또는 다른 변조를 측정 또는 평가할 수 있다. 그리드/어레이에서 소자의 유형은 선택한 변조 기법의 필요에 따라 결정된다. 예를 들어, 편광 소자는 입사광의 편광 위상 또는 상태를 변화시키는 변조 기술에 사용될 수 있다. 또한, 전송 소자는 위상이 변조된 패브리-페롯 배열에 사용될 수 있다. 이러한 배열은 센서 어레이 내의 픽셀들에 의해 분리될 수 있는 적어도 2 개의 상이한 시간 종속 전송 기능들(time dependent transmission functions)을 허용한다.
전술한 방법, 디비아스, 카메라, 시스템 및 장치의 다른 구성 및 수정은 본 발명의 가르침을 고려하여 당업자가 용이하게 도출해낼 것이다. 따라서, 전술한 설명은 예시적인 것이지 제한하고자 하는 것은 아니다. 특정 예시적인 기술들이 설명되었지만, 이들 및 다른 기술들이 다음의 청구 범위의 범주 내에 있다.

Claims (26)

  1. 시간의 함수로서 광 펄스의 복귀된 부분을 변조하도록 구성된 광 변조기;
    상기 광 펄스의 변조된 복귀 부분을 수신하는 광학 소자들의 어레이로서, 상기 광학 소자들 중 제 1 광학 소자는 상기 광학 소자들 중 제 2 광학 소자의 제 2의 미리 결정된 광 전송 상태와 상이한 제 1의 미리 결정된 광 전송 상태를 갖는, 광학 소자들의 어레이;
    상기 광학 소자들의 어레이로부터의 광 출력을 수신하도록 위치된, 상기 광학 소자들의 어레이에 대응하는 픽셀들의 센서 어레이로서, 상기 제 1 광학 소자로부터 광출력을 수신하는 제 1 픽셀 및 상기 제 1 픽셀에 이웃하며 상기 제 2 광학 소자로부터 광출력을 수신하는 제 2 픽셀을 포함하는, 센서 어레이; 및
    상기 센서 어레이에 작동적으로 결합되고, 상기 제 1 픽셀의 제 1 픽셀 세기 및 상기 제 2 픽셀의 제 2 픽셀 세기의 상대적인 세기에 기초하여 3차원(3D) 범위 정보를 결정하도록 구성된, 프로세서;를 포함하여 구성되는, 3D 이미지화 시스템.
  2. 제 1 항에 있어서, 상기 광학 소자들의 어레이가 복수의 편광 소자를 포함하는, 3D 이미지화 시스템.
  3. 제 2 항에 있어서, 상기 편광 소자들이 서로에 대해 실질적인 직교 편광 상태를 갖는 편광 소자들을 포함하는, 3D 이미지화 시스템.
  4. 제 1 항에 있어서, 상기 광 변조기가 상기 광 펄스의 복귀된 부분의 편광 상태를 변조하도록 구성되는, 3D 이미지화 시스템.
  5. 제 1 항에 있어서, 상기 광학 소자들의 어레이가, 제 1 전송 레벨을 갖는 제 1 반사 코팅을 가진 제 1 그룹의 소자, 및 상기 제 1 전송 레벨과 다른 제 2 전송 레벨을 갖는 제 2 반사 코팅을 가진 제 2 그룹의 소자를 포함하는, 3D 이미지화 시스템.
  6. 제 1 항에 있어서, 상기 광 변조기가 가변 패브리-페롯 에탈론(Fabry-Perot etalon)을 포함하는, 3D 이미지화 시스템.
  7. 제 1 항에 있어서, 상기 광학 소자들의 어레이가 상기 픽셀들의 센서 어레이 상에 일체로 형성되는, 3D 이미지화 시스템.
  8. 제 1 항에 있어서, 상기 광학 소자들의 어레이가 상기 센서 어레이의 픽셀들 사이의 크로스-토크를 감소시키도록 구성된 하나 이상의 세퍼레이터 밴드를 포함하는, 3D 이미지화 시스템.
  9. 제 1 항에 있어서, 상기 픽셀들 사이의 크로스-토크를 감소시키기 위해, 상기 센서 어레이의 픽셀들 사이에 형성된 하나 이상의 세퍼레이터 벽을 더 포함하여 구성되는, 3D 이미지화 시스템.
  10. 제 1 항에 있어서, 상기 광 펄스를 방출하기 위한 광원을 더 포함하여 구성되는, 3D 이미지화 시스템.
  11. 제 1 항에 있어서, 상기 광 펄스의 복귀된 부분을 수신하기 위해 상기 광 변조기 앞에 위치한 수신 렌즈를 더 포함하여 구성되는, 3D 이미지화 시스템.
  12. 삭제
  13. 제 1 항에 있어서, 상기 광학 소자들의 어레이가 서로에 대해 상이한 편광 상태를 갖는 복수의 편광 소자를 포함하는, 3D 이미지화 시스템.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 제 1 항에 있어서, 상기 광 변조기가 전기 광학 모듈에 포함되고, 상기 광 변조기, 상기 센서 어레이 및 상기 광학 소자들의 어레이가 단일 유닛으로 일체로 형성되는, 3D 이미지화 시스템.
  18. 삭제
  19. 삭제
  20. 광 펄스로 장면을 조명하는 단계;
    시간의 함수로서 상기 광 펄스의 복귀된 부분을 광 변조기로 변조하는 단계;
    광학 소자들 중 제 1 광학 소자가 상기 광학 소자들 중 제 2 광학 소자의 제 2의 미리 결정된 광 전송 상태와 상이한 제 1의 미리 결정된 광 전송 상태를 갖는, 광학 소자들의 어레이를 통해 상기 광 펄스의 변조된 복귀 부분을 통과시키는 단계;
    상기 광학 소자들의 어레이에 대응하는 픽셀들의 센서 어레이이며, 상기 제 1 광학 소자로부터 광출력을 수신하는 제 1 픽셀 및 상기 제 1 픽셀에 이웃하며 상기 제 2 광학 소자로부터 광출력을 수신하는 제 2 픽셀을 포함하는 센서 어레이에서, 상기 광학 소자들의 어레이로부터 출력된 광을 수신하는 단계; 및
    상기 광학 소자들의 어레이를 통과한 광 펄스의 변조된 복귀 부분에 응답하여 상기 센서 어레이에 의해 생성되며, 제 1 픽셀의 제1 픽셀 세기 및 제2 픽셀의 제2 픽셀 세기를 나타내는, 신호들에 상기 장면에 관한 3D 범위 정보를 발생시키는 단계;를 포함하여 구성되는, 방법.
  21. 제20항에 있어서, 상기 광학 소자들의 어레이가 복수의 편광 소자를 포함하는, 방법.
  22. 제21항에 있어서 상기 편광 소자들이 서로에 대해 실질적인 직교 편광 상태를 갖는 편광 소자들을 포함하는, 방법.
  23. 제20항에 있어서, 상기 광 변조기가 상기 광 펄스의 복귀된 부분의 편광 상태를 변조하도록 구성되는, 방법.
  24. 제20항에 있어서, 상기 광학 소자들의 어레이가, 제 1 전송 레벨을 갖는 제 1 반사 코팅을 가진 제 1 그룹의 소자, 및 상기 제 1 전송 레벨과 다른 제 2 전송 레벨을 갖는 제 2 반사 코팅을 가진 제 2 그룹의 소자를 포함하는, 방법.
  25. 제20항에 있어서, 상기 광 변조기가 가변 패브리-페롯 에탈론(Fabry-Perot etalon)을 포함하는, 방법.
  26. 제20항에 있어서, 직교 편광 상태에 대응하는 주변 픽셀들의 값들에 기초하여 각 픽셀에 대한 세기 값들을 보간하는(interpolating) 단계를 더 포함하여 구성되는, 방법.
KR1020187028140A 2016-02-29 2017-02-28 3d 이미지화 시스템 및 방법 KR102718698B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662301587P 2016-02-29 2016-02-29
US62/301,587 2016-02-29
PCT/US2017/020011 WO2017151660A1 (en) 2016-02-29 2017-02-28 3d imaging system and method

Publications (2)

Publication Number Publication Date
KR20190003480A KR20190003480A (ko) 2019-01-09
KR102718698B1 true KR102718698B1 (ko) 2024-10-21

Family

ID=59680144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028140A KR102718698B1 (ko) 2016-02-29 2017-02-28 3d 이미지화 시스템 및 방법

Country Status (6)

Country Link
US (1) US11209664B2 (ko)
EP (1) EP3423858B1 (ko)
JP (1) JP2019513976A (ko)
KR (1) KR102718698B1 (ko)
CN (1) CN108780142B (ko)
WO (1) WO2017151660A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170009882A (ko) * 2014-04-26 2017-01-25 테트라뷰 인코포레이티드 3d 이미징의 심도감지용의 강력하고 확대된 광조사 파형을 위한 방법 및 시스템
WO2017210781A1 (en) * 2016-06-07 2017-12-14 Airy3D Inc. Light field imaging device and method for depth acquisition and three-dimensional imaging
JPWO2018034209A1 (ja) * 2016-08-18 2019-06-13 ソニー株式会社 撮像装置と撮像方法
US10536693B2 (en) 2016-11-22 2020-01-14 Pixvana, Inc. Analytic reprocessing for data stream system and method
US10505656B2 (en) * 2017-04-08 2019-12-10 Nokia Solutions And Networks Oy Optical wavelength selective switches with guard bands
WO2019094627A1 (en) * 2017-11-08 2019-05-16 Arizona Board Of Regents On Behalf Of The University Of Arizona Imaging method and apparatus using circularly polarized light
US11212512B2 (en) 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
DE102018205984A1 (de) * 2018-04-19 2019-10-24 Robert Bosch Gmbh Vorrichtung und Verfahren zum Bestimmen einer Position von mindestens einem Objekt
KR102514487B1 (ko) 2018-06-07 2023-03-27 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US20200041807A1 (en) * 2018-08-02 2020-02-06 Christie Digital Systems Usa, Inc. Light emitting diode display with a monolithic wire-grid polarizer for producing three-dimensional images
KR102534247B1 (ko) 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
JP6978394B2 (ja) * 2018-11-01 2021-12-08 京セラ株式会社 電磁波検出装置及び情報取得システム
JP2020071168A (ja) * 2018-11-01 2020-05-07 京セラ株式会社 電磁波検出装置および情報取得システム
KR102155329B1 (ko) * 2018-11-09 2020-09-11 경북대학교 산학협력단 라이트 필드 이미징 시스템
CN111198382B (zh) * 2018-11-16 2022-07-12 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法
JP7432600B2 (ja) 2018-11-21 2024-02-16 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 効率的な広視野蛍光寿命顕微鏡法を可能にする電気光学イメージング
JP7325949B2 (ja) * 2018-11-22 2023-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CN111398935B (zh) * 2018-12-27 2022-08-16 深圳市速腾聚创科技有限公司 激光雷达接收系统
WO2020150574A1 (en) 2019-01-18 2020-07-23 Sense Photonics, Inc. Digital pixels and operating methods thereof
WO2020160349A1 (en) 2019-01-31 2020-08-06 Sense Photonics, Inc. Strobe window dependent illumination for flash lidar
WO2020181048A1 (en) * 2019-03-06 2020-09-10 Sense Photonics, Inc. Extended dynamic range and reduced power imaging for lidar detector arrays
US11644549B2 (en) * 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
CN114303071A (zh) * 2019-06-27 2022-04-08 ams国际有限公司 成像系统和检测方法
CN114599990A (zh) * 2019-06-27 2022-06-07 ams国际有限公司 成像系统和检测方法
EP3799123A4 (en) * 2019-07-30 2021-04-28 Shenzhen Goodix Technology Co., Ltd. IMAGE SENSOR AND METHOD OF MANUFACTURING THEREOF, CHIP AND HANDHELD DEVICE
US11828851B2 (en) 2020-01-20 2023-11-28 The Board Of Trustees Of The Leland Stanford Junior University Wide-field resonant electro-optic imaging devices and applications
DE102020107450A1 (de) 2020-03-18 2021-09-23 Audi Aktiengesellschaft Lidar-Sensoreinrichtung für ein Kraftfahrzeug, Verfahren zum Betrieb einer Lidar-Sensoreinrichtung und Kraftfahrzeug
US11723763B2 (en) * 2020-05-22 2023-08-15 Innovega Inc. Article of manufacture including occlusion ring having inner/outer regions with orthogonal polarizations
CN113884019B (zh) * 2020-07-03 2024-04-05 睿镞科技(北京)有限责任公司 三维成像系统及方法
CN114442116A (zh) * 2020-10-30 2022-05-06 宁波飞芯电子科技有限公司 一种探测方法及探测系统
CN115718307A (zh) * 2021-02-02 2023-02-28 华为技术有限公司 一种探测装置、控制方法、融合探测系统及终端
CN113115017B (zh) * 2021-03-05 2022-03-18 上海炬佑智能科技有限公司 3d成像模组参数检验方法以及3d成像装置
WO2024095471A1 (ja) * 2022-11-04 2024-05-10 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012510064A (ja) * 2008-11-25 2012-04-26 テトラビュー， インコーポレイテッド 高解像度三次元撮像のシステムおよび方法
US20120281072A1 (en) * 2009-07-15 2012-11-08 Georgiev Todor G Focused Plenoptic Camera Employing Different Apertures or Filtering at Different Microlenses
US20120307018A1 (en) * 2011-06-01 2012-12-06 Gvbb Holdings S.A.R.L. Single lens 3-d camera

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1272583B (de) 1965-04-09 1968-07-11 Philips Patentverwaltung Verfahren zur photooptischen Aufzeichnung bzw. Speicherung von aus Einzelsymbolen bestehenden Informationen
US3644017A (en) 1968-12-02 1972-02-22 Baird Atomic Inc Electro-optic light modulator with area selection
JPS5636405B2 (ko) 1971-09-18 1981-08-24
CH667340A5 (de) 1985-04-30 1988-09-30 Cerberus Ag Lichtschranke.
US4967270A (en) 1989-05-08 1990-10-30 Kaman Aerospace Corporation Lidar system incorporating multiple cameras for obtaining a plurality of subimages
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
US6736321B2 (en) 1995-12-18 2004-05-18 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) system employing wavefront control methods for reducing the power of speckle-pattern noise digital images acquired by said system
US5200793A (en) 1990-10-24 1993-04-06 Kaman Aerospace Corporation Range finding array camera
US5157451A (en) 1991-04-01 1992-10-20 John Taboada Laser imaging and ranging system using two cameras
US5162861A (en) 1991-04-01 1992-11-10 Tamburino Louis A Laser imaging and ranging system using one camera
US5144482A (en) 1991-05-13 1992-09-01 Gould Dennis R Three dimensional viewing apparatus including a stack of transparent plates and related method
US5686990A (en) 1992-12-08 1997-11-11 The Charles Stark Draper Laboratory, Inc. Optical source isolator with polarization maintaining optical fiber and aspheric collimating and focusing lens
US5394413A (en) 1994-02-08 1995-02-28 Massachusetts Institute Of Technology Passively Q-switched picosecond microlaser
DE4439298A1 (de) 1994-11-07 1996-06-13 Rudolf Prof Dr Ing Schwarte 3D-Kamera nach Laufzeitverfahren
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
US5892575A (en) * 1996-05-10 1999-04-06 Massachusetts Institute Of Technology Method and apparatus for imaging a scene using a light detector operating in non-linear geiger-mode
US7796081B2 (en) 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
US7046711B2 (en) 1999-06-11 2006-05-16 High Q Laser Production Gmbh High power and high gain saturation diode pumped laser means and diode array pumping device
DE69922706T2 (de) 1999-09-08 2005-12-08 3Dv Systems Ltd. 3d- bilderzeugungssystem
US6515737B2 (en) 2000-01-04 2003-02-04 The Regents Of The University Of California High-resolution imaging and target designation through clouds or smoke
US6456793B1 (en) 2000-08-03 2002-09-24 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
US7140543B2 (en) 2000-11-24 2006-11-28 Metrologic Instruments, Inc. Planar light illumination and imaging device with modulated coherent illumination that reduces speckle noise induced by coherent illumination
US7444013B2 (en) 2001-08-10 2008-10-28 Stmicroelectronics, Inc. Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
US20040041082A1 (en) 2001-11-27 2004-03-04 Harmon Gary R. Molecular sensing array
US6707054B2 (en) 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
US6781763B1 (en) 2002-04-01 2004-08-24 The United States Of America As Represented By The Secretary Of The Air Force Image analysis through polarization modulation and combination
US7224382B2 (en) 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US7257278B2 (en) 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
US7301138B2 (en) 2003-12-19 2007-11-27 General Atomics Method and apparatus for dual polarization imaging
US7236235B2 (en) * 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
JP4566685B2 (ja) 2004-10-13 2010-10-20 株式会社トプコン 光画像計測装置及び光画像計測方法
US7535617B2 (en) 2005-08-18 2009-05-19 The United States Of America As Represented By The Secretary Of The Army Portable acousto-optical spectrometers
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US7995191B1 (en) 2006-06-29 2011-08-09 Sandia Corporation Scannerless laser range imaging using loss modulation
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US7751109B1 (en) 2006-09-14 2010-07-06 The United States Of America As Represented By The Secretary Of The Army Electro-optic shutter
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
KR20100103504A (ko) 2007-12-05 2010-09-27 일렉트로 싸이언티픽 인더스트리이즈 인코포레이티드 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치
JP4450076B2 (ja) * 2008-01-17 2010-04-14 パナソニック株式会社 三次元画像再生装置
JP5631299B2 (ja) 2008-03-28 2014-11-26 コントラスト オプティカル デザイン アンド エンジニアリング，インク． 全ビーム画像スプリッタシステム
US8823848B2 (en) * 2009-06-11 2014-09-02 The Arizona Board Of Regents On Behalf Of The University Of Arizona Microgrid imaging polarimeters with frequency domain reconstruction
WO2011071929A2 (en) * 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
US20110175981A1 (en) 2010-01-19 2011-07-21 Chun-Hung Lai 3d color image sensor
CN201707438U (zh) * 2010-05-28 2011-01-12 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像系统
US8444275B2 (en) 2010-08-12 2013-05-21 Eastman Kodak Company Light source control for projector with multiple pulse-width modulated light sources
KR101680762B1 (ko) 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8982363B2 (en) 2011-10-07 2015-03-17 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9177983B2 (en) * 2012-01-23 2015-11-03 Omnivision Technologies, Inc. Image sensor with optical filters having alternating polarization for 3D imaging
CN103460024B (zh) * 2012-02-03 2017-09-22 松下知识产权经营株式会社 摄像装置和摄像系统
WO2014125529A1 (ja) * 2013-02-15 2014-08-21 パナソニック株式会社 画像処理装置および内視鏡
US10311285B2 (en) * 2014-01-22 2019-06-04 Polaris Sensor Technologies, Inc. Polarization imaging for facial recognition enhancement system and method
KR20170009882A (ko) * 2014-04-26 2017-01-25 테트라뷰 인코포레이티드 3d 이미징의 심도감지용의 강력하고 확대된 광조사 파형을 위한 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012510064A (ja) * 2008-11-25 2012-04-26 テトラビュー， インコーポレイテッド 高解像度三次元撮像のシステムおよび方法
US20120281072A1 (en) * 2009-07-15 2012-11-08 Georgiev Todor G Focused Plenoptic Camera Employing Different Apertures or Filtering at Different Microlenses
US20120307018A1 (en) * 2011-06-01 2012-12-06 Gvbb Holdings S.A.R.L. Single lens 3-d camera

Also Published As

Publication number Publication date
WO2017151660A1 (en) 2017-09-08
CN108780142B (zh) 2023-10-31
KR20190003480A (ko) 2019-01-09
EP3423858A1 (en) 2019-01-09
EP3423858A4 (en) 2019-06-12
US20170248796A1 (en) 2017-08-31
US11209664B2 (en) 2021-12-28
CN108780142A (zh) 2018-11-09
EP3423858B1 (en) 2023-12-06
JP2019513976A (ja) 2019-05-30

Similar Documents

Publication Publication Date Title
KR102718698B1 (ko) 3d 이미지화 시스템 및 방법
KR102040368B1 (ko) 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너
EP2816389B1 (en) A method for producing a mirror for a Fabry-Perot interferomete
CA2805443C (en) Method and apparatus for imaging
US10805594B2 (en) Systems and methods for enhanced depth sensor devices
EP3466052A1 (en) Light field imaging device and method for depth acquisition and three-dimensional imaging
US10438365B2 (en) Imaging device, subject information acquisition method, and computer program
US11375174B2 (en) System and method of reducing ambient background light in a pulse-illuminated image
WO2007087372A2 (en) Spatial image modulation to improve performance of computed tomography imaging spectrometer
JP6255543B1 (ja) 光学的干渉計用ミラープレート、ミラープレートの製造方法及び光学的干渉計
US20190116355A1 (en) System and method for glint reduction
KR20210055765A (ko) 전기-광학 변조기 및 3차원 이미징을 위한 전기-광학 변조기의 사용 및 제조 방법
CA2530551C (en) Optical inclinometer
US20160173834A1 (en) Plasmonic polarization-sensitive image sensor
CN107917759A (zh) 基于阶梯相位反射镜的偏振干涉成像光谱仪及制作方法
JP2014003433A (ja) 撮像装置
CN114365019A (zh) 深度信息图像采集装置和电子设备
US11353316B1 (en) Interferometry with pixelated color discriminating elements combined with pixelated polarization masks
TWI802988B (zh) 三維測量裝置
US20240063240A1 (en) Light state imaging pixel
CN117949087A (zh) 一种基于偏振调制阵列和消色差四面角锥棱镜的偏振相机
WO2024145532A1 (en) Polarization interferometer

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant