Nothing Special   »   [go: up one dir, main page]

KR20220114535A - 이미지 높이에 기초하여 변하는 마이크로 렌즈 높이를 갖는 마이크로 렌즈 비행 시간 센서 - Google Patents

이미지 높이에 기초하여 변하는 마이크로 렌즈 높이를 갖는 마이크로 렌즈 비행 시간 센서 Download PDF

Info

Publication number
KR20220114535A
KR20220114535A KR1020227017504A KR20227017504A KR20220114535A KR 20220114535 A KR20220114535 A KR 20220114535A KR 1020227017504 A KR1020227017504 A KR 1020227017504A KR 20227017504 A KR20227017504 A KR 20227017504A KR 20220114535 A KR20220114535 A KR 20220114535A
Authority
KR
South Korea
Prior art keywords
lens
height
micro
image
individual
Prior art date
Application number
KR1020227017504A
Other languages
English (en)
Inventor
잔핑 수
베이-한 찬
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20220114535A publication Critical patent/KR20220114535A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • H01L27/14605—
    • H01L27/14625—
    • H01L27/14627—

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

가변 ML 높이 및 가변 ML 시프트로 구성된 마이크로 렌즈(ML) 어레이를 갖는 3차원 비행 시간(3D TOF) 카메라가 제공된다. ML 어레이는 이미지 렌즈를 통해 투과된 후방 산란 광을 대응하는 픽셀로 지향시키도록 구성된 마이크로 렌즈를 포함한다. ML 어레이 내의 개별 마이크로 렌즈의 높이가 이미지 높이에 따라 변한다. 예를 들어, 이미지 렌즈의 축 근처에 있는 ML 어레이의 중심에서의 마이크로 렌즈의 높이는 ML 어레이의 주변을 향하는 다른 마이크로 렌즈의 높이보다 상대적으로 클 수 있다. 또한, 대응하는 픽셀에 대한 개별 마이크로 렌즈의 시프트가 또한 이미지 높이에 따라 변할 수 있다. 예를 들어, ML 어레이의 중심에서의 마이크로 렌즈의 시프트는 ML 어레이의 주변을 향하는 다른 마이크로 렌즈의 시프트보다 상대적으로 작을 수 있다.

Description

이미지 높이에 기초하여 변하는 마이크로 렌즈 높이를 갖는 마이크로 렌즈 비행 시간 센서
비행 시간(Time of Flight; TOF) 픽셀 기반 3D 카메라는 점점 더 많은 산업 및 소비자 애플리케이션에 배포되고 있다. TOF 픽셀 기반 카메라의 소형화는 이러한 많은 애플리케이션에서 바람직하다. 기존 TOF 픽셀 기반 장치에서, 원하는 소형화를 달성하기 위해 마이크로 렌즈 어레이가 통합된다. 보다 구체적으로, 이러한 마이크로 렌즈 어레이는 후방 산란 광을 수신하고 후방 산란 광을 픽셀 어레이에 전달하는 이미지 렌즈 사이에 배치되며, 픽셀 어레이는 후방 산란 광으로 타격될 때 광전 신호를 생성한다.
불행히도, 개별 픽셀이 이러한 광전 신호를 생성할 수 있는 변조 효율은 일반적으로 픽셀 어레이 상의 이미지 높이가 증가함에 따라 감소한다. 이는 부분적으로 마이크로 렌즈 어레이에 대한 기존 설계가 후방 산란 광을 대응하는 픽셀의 관심 영역에 비효율적으로 포커싱하기 때문이다.
이러한 고려 사항 및 기타 사항과 관련하여 본 명세서에 이루어진 개시 내용이 제시된다.
본 명세서에 설명된 기술은 가변 ML 높이 및 가변 ML 시프트로 구성된 마이크로 렌즈(micro lens; ML) 어레이를 갖는 3차원 비행 시간(3D TOF) 카메라를 제공한다. 특히, ML 어레이는 이미지 렌즈를 통해 투과된 후방 산란 광을 대응하는 픽셀로 지향시키도록 구성된 복수의 마이크로 렌즈를 포함한다. 다양한 개별 픽셀 및/또는 개별 마이크로 렌즈에 대한 이미지 높이는 이미지 렌즈의 축을 기반으로 결정될 수 있다. 예시적인 실시예에서, ML 어레이 내의 개별 마이크로 렌즈의 높이가 이미지 높이에 따라 변한다. 예를 들어, 이미지 렌즈의 축 근처에 있는 ML 어레이의 중심에서의 마이크로 렌즈의 높이는 ML 어레이의 주변을 향하는 다른 마이크로 렌즈의 높이보다 상대적으로 클 수 있다. 또한, 대응하는 픽셀에 대한 개별 마이크로 렌즈의 시프트가 또한 이미지 높이에 따라 변할 수 있다. 예를 들어, ML 어레이의 중심 영역에서의 마이크로 렌즈의 시프트는 ML 어레이의 주변을 향하는 다른 마이크로 렌즈의 시프트보다 상대적으로 작을 수 있다. 본 명세서에서 상세하게 설명되는 바와 같이, 가변 ML 높이 및 가변 ML 시프트는 다양한 이미지 높이에 걸쳐 개별 픽셀에서 경험하는 체적 광출력 적중률 Rhit를 최대화하도록 선택될 수 있다. 이러한 체적 광출력 적중률 Rhit를 최대화한 결과는 기존 TOF 픽셀 기반 3D 카메라에 비해 변조 효율이 높아졌다.
예시적인 실시예에서, 3D TOF 이미지 카메라는 변조된 전기 신호를 생성하기 위한 신호 발생기를 포함한다. 3D TOF 카메라는 변조된 전기 신호에 기초하여 변조된 광을 방출하도록 구성된 발광기를 더 포함할 수 있다. 신호 발생기는 변조된 전기 신호를 위상 시프터에 동시에 디스패치할 수 있다. 3D TOF 카메라는 변조된 광이 방출된 물리적 객체에 의해 반사되는 후방 산란 광을 수신하는 이미지 렌즈를 더 포함한다. 따라서, 이미지 렌즈에서 수신되는 후방 산란 광은 주변 광에 더하여 변조된 광의 적어도 일부를 포함한다. 이미지 렌즈에서 수신되는 변조된 광의 부분은 변조된 광이 발광기에 의해 방출되는 시간 t0에서부터 시간 지연 td를 겪는다. 구체적으로, 시간 지연 td는 변조된 광이 발광기로부터 물리적 객체로 이동하고 반사될 때 물리적 객체로부터 이미지 렌즈로 이동하는 데 걸리는 시간의 양에 대응한다.
3D TOF 카메라는 ML 어레이 및 픽셀 어레이를 갖는 마이크로 렌즈 비행 시간(ML-TOF) 센서를 더 포함한다. 구체적으로, ML 어레이는 이미지 렌즈와 픽셀 어레이 사이에 배치된다. ML 어레이는 복수의 마이크로 렌즈(ML)를 포함하고, 픽셀 어레이는 복수의 픽셀을 포함한다. 개별 ML은 개별 픽셀에 대해 반사된 광의 광선을 최적으로 포커싱하도록 배치 및/또는 크기 조정될 수 있다. 예를 들어, 제1 마이크로 렌즈는 제1 픽셀에 대해 반사된 광의 광선을 포커싱하도록 크기 조정 및 배치될 수 있는 반면, 제N 마이크로 렌즈는 제N 픽셀에 대해 반사된 광의 광선을 포커싱하도록 크기 조정 및 배치될 수 있다. 보다 구체적으로, 개별 ML은 본 명세서에 정의된 체적 광출력 적중률 Rhit를 최대화하기 위해 대응하는 픽셀에 대해 크기 조정 및 배치될 수 있다.
일부 실시예에서, ML 어레이 내의 개별 ML의 높이는 축으로부터의 방사상 거리가 증가함에 따라 감소한다. 다르게 말하면, ML 어레이 내의 개별 ML의 높이는 축으로부터 개별 ML의 방사상 거리에 반비례로 관련된다. 추가적으로 또는 대안적으로, 대응하는 픽셀의 중심에 대한 개별 ML의 시프트는 축으로부터의 방사상 거리가 증가함에 따라 증가할 수 있다. 다르게 말하면, 대응하는 픽셀에 대한 개별 ML의 위치 시프트는 축으로부터 개별 ML의 방사상 거리에 직접적으로(즉, 반비례에 반대) 관련된다.
개별 픽셀은 입사 광으로 타격될 때 광전 신호를 생성하는 하나 이상의 광검출기 셀을 포함할 수 있다. 이러한 광전 신호는 ML-TOF 센서로부터 제어기로 직접 제공될 수 있으며, 제어기는 물리적 객체 및 3D TOF 카메라의 시야에 있는 임의의 다른 객체와 연관된 픽셀당 깊이 정보를 결정하기 위해 광전 신호를 분석할 수 있다.
이 요약은 아래의 상세한 설명에서 추가 설명되는 개념들의 선택을 간략화된 형태로 소개하기 위해 제공된다. 이 요약은 청구되는 주제의 주요 특징 또는 필수 특징을 식별하기 위한 것이 아니고, 청구되는 주제의 범위를 제한하기 위해 사용되는 것도 아니다. 더욱이, 청구되는 주제는 본 개시의 임의의 부분에 언급된 임의의 또는 모든 단점을 해결하는 구현으로 제한되지 않는다.
상세한 설명은 첨부 도면을 참조하여 설명된다. 도면에서, 참조 번호의 가장 왼쪽 숫자(들)는 참조 번호가 처음 나타나는 도면을 식별한다. 상이한 도면에서 동일한 참조 번호는 유사하거나 동일한 항목을 나타낸다.
복수 항목의 개별 항목에 대한 참조는 참조 번호 다음에 각각의 개별 항목을 나타내는 일련번호를 포함하는 괄호를 사용할 수 있다. 항목에 대한 일반 참조는 일련번호 없이 특정 참조 번호를 사용할 수 있다. 예를 들어, 항목은 일련번호를 포함하는 대응하는 괄호 앞의 특정 참조 번호로 집합적으로 참조될 수 있다.
도 1은 본 개시의 예시적인 실시예에 따른 가변 ML 높이 및 시프트로 구성된 마이크로 렌즈(ML) 어레이를 갖는 3차원(3D) 비행 시간(TOF) 카메라의 개략도를 도시한다.
도 2a는 본 개시의 예시적인 실시예에 따른 가변 ML 높이 및 시프트로 구성된 ML 어레이를 갖는 예시적인 마이크로 렌즈 비행 시간(ML-TOF) 센서의 평면도를 도시한다.
도 2b는 도 2a의 예시적인 ML-TOF 센서의 단면도로서, 도 2a의 라인 A-A을 따라 취해진 단면도를 도시한다.
도 3은 ML-TOF 최적화 모델을 구축하는 데 사용되는 마이크로 렌즈 비행 시간(ML-TOF) 센서와 이미지 렌즈 사이의 예시적인 광학 프레임워크를 도시한다.
도 4는 예시적인 마이크로 렌즈 비행 시간(ML-TOF) 센서 내의 픽셀과 대응하는 마이크로 렌즈의 단일 쌍에 대한 예시적인 광학 프레임워크를 도시한다.
도 5는 이미지 렌즈의 축에 평행한 기둥형 광으로 모델링된 입사 광과 다양한 ML 렌즈 파라미터에 기초하여 모델링된 복수의 광선 추적 응답을 도시한다.
도 6은 도 3과 관련하여 설명된 상부 림 광선 및 하부 림 광선에 의해 속박되는 비기둥형 광선으로 모델링된 입사 광과 도 5에서 사용된 것과 동일한 ML 렌즈 파라미터에 기초하여 모델링된 복수의 광선 추적 응답을 도시한다.
도 7은 도 6과 관련하여 모델링되고 설명된 것을 포함하는 다양한 광학 시나리오에 대한 체적 광출력 적중률을 보여주는 그래프이다.
도 8은 하부 림 광선 및 상부 림 광선 각각과 주광선 각도와 관련하여 도 3의 예시적인 광학 프레임워크의 이미지 높이 간의 비선형 관계를 보여주는 그래프이다.
도 9는 픽셀의 관심 영역에 대한 마이크로 렌즈의 시프트 효과를 체적 광출력 적중률에 대해 나타내는 복수의 광선 추적 응답을 도시한다.
도 10은 미리 결정된 이미지 높이(예를 들어, 주광선 각도로 표시됨)를 갖는 픽셀에 대한 ML-TOF 센서 내의 마이크로 렌즈의 시프트 효과를 해당 픽셀에서 경험하는 체적 광자 적중률에 대해 나타내는 그래프이다.
도 11은 미리 결정된 이미지 높이를 갖는 픽셀에 대한 ML-TOF 센서 내의 상이한 높이를 갖는 2개의 상이한 마이크로 렌즈의 시프트 효과를 해당 픽셀에서 경험하는 체적 광자 적중률에 대해 나타내는 그래프이다.
도 12는 유사한 체적 광출력 적중률 Rhit를 초래하는 2개의 상이한 광학 모델에 대한 마이크로 렌즈 시프트와 이미지 높이 간의 관계를 나타내는 그래프이다.
도 13은 도 12에서 설명되고 도시된 2개의 광학 모델에 대한 체적 광출력 적중률 Rhit의 유사성을 나타내는 그래프이다.
도 14a는 이미지 높이와 ML 높이 간의 관계에 기초하여 최적의 마이크로 렌즈 시프트를 결정하기 위해 보간 함수를 정의하기 위한 예시적인 기하학적 프레임워크를 도시한다.
도 14b는 도 14a에 도시된 시프트에 기초하여 결정되는 ML에 대한 새로운 중심 위치에 기초하여 새로운 ML 높이 및 피치 크기를 결정하는 데 사용할 수 있는 예시적인 기하학적 프레임워크를 도시한다.
도 15는 본 명세서에 설명된 기술에 따라 ML 어레이를 제조하기 위한 예시적인 프로세스를 그래픽으로 도시하는 흐름도이다.
도 16은 본 명세서에 기술된 기술에 따라 가변 높이 및/또는 시프트로 형성되는 갭리스-타입 정사각형 피치 ML 어레이의 예시적인 부분이다.
도 17은 본 명세서에 기술된 기술에 따른 마이크로 렌즈 비행 시간(ML-TOF) 센서를 설계하기 위한 예시적인 프로세스를 도시한다.
도 1은 본 개시의 예시적인 실시예에 따른 가변 ML 높이 및 시프트로 구성된 마이크로 렌즈(ML) 어레이(130)를 갖는 3차원(3D) 비행 시간(TOF) 카메라(100)의 개략도를 도시한다. 일부 실시예에서, 3D TOF 카메라(100)는 3D TOF 카메라(100)의 다양한 구성 요소에 출력 신호를 제공하고 이들로부터 입력 신호를 수신하도록 구성된 제어기(102)를 포함할 수 있다. 도시된 바와 같이, 제어기(102)는 애플리케이션(106)으로부터 하나 이상의 입력 신호(104)를 수신하는 것으로 도시되어 있다. 예를 들어, 입력 신호(104)는 3D TOF 카메라(100)에 의해 생성될 수 있는 깊이 데이터에 대한 애플리케이션(106)으로부터의 요청을 포함할 수 있다. 간단히 말해서, 깊이 데이터는 깊이 관련 정보를 포함하는 픽셀당 데이터의 하나 이상의 맵을 참조할 수 있다.
입력 신호(104)가 애플리케이션(106)으로부터 수신되는 것에 응답하여, 제어기(102)는 다양한 제어 신호를 출력하여 동작이 3D TOF 카메라(100)의 하나 이상의 다른 구성 요소에 의해 수행되게 할 수 있다. 예를 들어, 도시된 바와 같이, 제어기(102)는 변조된 전기 신호(112)를 생성하도록 구성된 신호 발생기(110)에 제어 신호(108)를 출력하는 것으로 도시되어 있다. 제어 신호(108)가 제어기(102)로부터 수신되는 것에 응답하여, 신호 발생기(110)는 변조된 전기 신호(112)를 생성할 수 있다. 일부 실시예에서, 변조된 전기 신호(112)는 임의의 주기적 변조된 전기 신호일 수 있다. 추가적으로 또는 대안적으로, 변조된 전기 신호(112)는 주파수 변조된 전기 신호일 수 있다. 변조된 전기 신호(112)가 주파수 변조된 전기 신호인 실시예에서, 변조된 전기 신호(112)는 주파수에서 변조될 수 있다. 변조된 전기 신호(112)가 진폭 변조된 전기 신호인 실시예에서, 진폭 변조는 미리 결정된 변조 주파수로 발생할 수 있다.
3D TOF 카메라(100)는 변조된 전기 신호(112)에 기초하여 변조된 광(116)을 방출하도록 구성된 발광기(114)를 더 포함할 수 있다. 예를 들어, 도시된 바와 같이, 변조된 전기 신호(112)는 신호 발생기(110)로부터 발광기(114)로 출력되며, 발광기는 차례로 변조된 전기 신호(112)에 응답하여 변조된 광(116)을 방출한다. 아래에서 추가로 도시되고 상세하게 설명되는 바와 같이, 신호 발생기(110)는 변조된 전기 신호(112)를 위상 시프터(142)에 동시에 디스패치할 수 있다. 예시적인 발광기(114)는 예를 들어 발광 다이오드(LED), 레이저 다이오드, 또는 변조된 전기 신호(112)에 기초하여 변조된 광(116)을 방출하기에 적합한 임의의 다른 광원을 포함할 수 있다. 변조된 광(116)은 변조된 전기 신호(112)가 주파수 변조된 전기 신호인 실시예에서 주파수 변조되고, 변조된 전기 신호(112)가 주기적 변조된 전기 신호인 실시예에서 주기적 변조될 수 있다. 도시된 바와 같이, 변조된 광(116)은 요청된 깊이 데이터가 생성될 물리적 객체(118)를 향해 3D TOF 카메라(100)로부터 방출된다. 추가로 도시된 바와 같이, 주변 광(120)이 또한 하나 이상의 주변 광원(122)으로부터 물리적 객체(118)를 향해 방출될 수 있다. 예를 들어, 주변 광(120)은 광을 생성하는 광원(예를 들어, 전구, 태양 등)으로부터 물리적 객체(118)를 향해 방출될 수 있다. 추가적으로 또는 대안적으로, 주변 광(120)은 전자기(EM) 스펙트럼의 적어도 일부를 반사하는 간접 수동 광원(예를 들어, 벽, 거울 등)으로부터 물리적 객체(118)를 향해 반사될 수 있다.
3D TOF 카메라(100)는 물리적 객체(118)에 의해 반사되는 후방 산란 광(126)을 수신하는 이미지 렌즈(124)를 더 포함한다. 이미지 렌즈(124)에서 수신되는 후방 산란 광(126)은 변조된 광(116)의 일부와 주변 광(120)의 일부 모두를 포함한다. 이미지 렌즈(124)에서 수신되는 변조된 광(116)의 부분은 변조된 광(116)이 발광기(114)에 의해 방출되는 시간 t0에서부터 시간 지연 td를 겪는다. 구체적으로, 시간 지연 td는 변조된 광(116)이 발광기(114)로부터 물리적 객체(118)로 이동하고 반사될 때 물리적 객체(118)로부터 이미지 렌즈(124)로 이동하는 데 걸리는 시간의 양에 대응한다.
3D TOF 카메라(100)는 ML 어레이(130) 및 픽셀 어레이(134)를 갖는 마이크로 렌즈 비행 시간(ML-TOF) 센서(128)를 더 포함한다. 도시된 바와 같이, ML 어레이(130)는 이미지 렌즈(124)와 픽셀 어레이(134) 사이에 배치된다. ML 어레이(130)는 복수의 마이크로 렌즈(ML)(136)를 포함하고, 픽셀 어레이(134)는 복수의 픽셀(138)을 포함한다. 아래에서 더 상세하게 설명되는 바와 같이, 개별 ML(136)은 개별 픽셀(138)에 대해 (이미지 렌즈(124)를 통과한) 반사된 광(126)의 광선(132)을 최적으로 포커싱하도록 배치 및/또는 크기 조정될 수 있다. 예를 들어, 도시된 바와 같이, 제1 마이크로 렌즈(136(1))는 제1 픽셀(138(1))에 대해 반사된 광(126)의 광선(132)을 포커싱하도록 크기 조정 및 배치되는 반면, 제N 마이크로 렌즈(136(N))는 제N 픽셀(138(N))에 대해 반사된 광(126)의 광선(132)을 포커싱하도록 크기 조정 및 배치된다. 아래에서 상세하게 설명되는 바와 같이, 개별 ML(136)은 아래의 수학식 9 및 10에 의해 정의되는 체적 광출력 적중률 Rhit를 최대화하기 위해 대응하는 픽셀(138)에 대해 크기 조정 및 배치될 수 있다.
ML 어레이(130) 내의 다양한 크기의 개별 ML(136)과 관련하여, 제1 ML(136(1))은 제1 높이로 제조될 수 있는 반면, 제N ML(136(N))은 제1 높이와 상이한 제N 높이로 제조될 수 있다. 일부 실시예에서, ML 어레이(130) 내의 개별 ML(136)의 높이는 이미지 렌즈(124)의 광축(140)(또는 3D TOF 카메라(100)의 임의의 다른 적절한 기준 데이터)으로부터의 거리에 따라 변경될 수 있다. 도시된 바와 같이, 예를 들어, 제1 ML(136(1))은 실질적으로 축(140)의 중심에 있는 것으로 도시되어 있는 반면, 제N ML(136(N))은 축(140)으로부터 일정 거리만큼 오프셋되어 있는 것으로 도시되어 있다. 따라서, 축(140)으로부터 제1 ML(136(1))의 방사상 거리는 축(140)으로부터 제N ML(136(N))의 방사상 거리보다 상대적으로 작다. 일부 실시예에서, ML 어레이(130) 내의 개별 ML(136)의 높이는 축(140)으로부터의 방사상 거리가 증가함에 따라 감소한다. 다르게 말하면, ML 어레이 내의 개별 ML(136)의 높이(및/또는 폭 및/또는 곡률)는 축(140)으로부터 개별 ML(136)의 방사상 거리에 반비례로 관련된다. 이 점을 예시적으로 전달하기 위해, 도 1에서, 제1 ML(136(1))은 제N ML(136(N))에 비해 상대적으로 더 큰 크기로 그려져 있다. ML(136)이 원형으로 도시되어 있지만, 이것은 ML 간의 변동을 강조하기 위한 단순한 표현이라는 점에 주목할 가치가 있다. ML의 실제 형상은 구면 렌즈 상부가 있는 정사각형일 수 있다는 것이 당업자에 의해 이해될 것이다. 도 1 및 도 2a 및 도 2b에서 ML(136)이 그 사이에 갭을 갖는 것으로 도시되어 있지만, 일부 실시예에서 ML 어레이(130)는 개별 ML(136)이 다른 ML과 접하는 갭리스-타입 ML 어레이라는 점도 주목할 가치가 있다. 또한, 선형 ML 시프트로 구성된 갭리스-타입 ML 어레이에서, 개별 ML의 정사각형 피치 크기가 일정할 수 있거나, 대안적으로는 변경될 수 있다는 점도 주목할 가치가 있다. 예를 들어, 선형 시프트(예를 들어, 대응하는 픽셀에 대해 각각의 ML에 대한 동일한 양의 시프트)를 갖는 갭리스-타입 ML 어레이에서, 개별 ML의 정사각형 피치 크기는 전체 ML 어레이에 걸쳐 일정할 수 있다. 또 다른 예로서, 비선형 시프트(예를 들어, 개별 ML에 대한 시프트 양이 이미지 높이에 따라 변경됨)를 갖는 갭리스-타입 ML 어레이에서, 개별 ML의 정사각형 피치 크기는 ML 어레이에 걸쳐 다를 수 있다.
ML 어레이(130) 내의 다양한 위치(즉, 대응하는 픽셀(138)의 중심에 대한 시프트)의 개별 ML(136)과 관련하여, 제1 ML(136(1))은 제1 픽셀(138(1))의 중심에 대해 제1 양만큼 방사상으로 시프트될 수 있는 반면, 제N ML(136(N))은 제N 픽셀(138(N))의 중심에 대해 제N 양만큼 방사상으로 시프트될 수 있으며, 제1 양은 제N 양과 상이하다. 일부 실시예에서, 대응하는 픽셀(138)에 대한 개별 ML(136)의 위치 시프트는 이미지 렌즈(124)의 축(140)(또는 3D TOF 카메라(100)의 임의의 다른 적절한 기준 데이터)으로부터의 거리에 따라 변경될 수 있다. 이 점을 설명하기 위해, 축(140)으로부터 제1 ML(136(1))의 방사상 거리는 축(140)으로부터 제N ML(136(N))의 방사상 거리보다 상대적으로 작다는 것을 기억한다. 따라서, 축으로부터의 상이한 방사상 거리로 인해, 제1 ML(136(1))과 제N ML(136(N))의 위치는 각각 제1 픽셀(138(1))과 제N 픽셀(138(N))의 중심에 대해 상이한 양만큼 시프트될 수 있다. 예시적인 실시예에서, 대응하는 픽셀(138)의 중심에 대한 개별 ML(136)의 시프트는 축(140)으로부터의 방사상 거리가 증가함에 따라 증가할 수 있다. 다르게 말하면, 대응하는 픽셀(138)에 대한 개별 ML(136)의 위치 시프트는 축(140)으로부터 개별 ML(136)의 방사상 거리와 직접적으로(즉, 반비례에 반대) 관련된다. 이 점을 예시적으로 전달하기 위해, 제1 ML(136(1))은 실질적으로 축(140)의 중심에 있기 때문에 실질적으로 제1 픽셀(138(1)) 위에서 중심에 있는 것으로 도 1에 도시되어 있다. 그러나, 대조적으로, 제N ML(136(N))은 제N 픽셀(138(N))의 중심으로부터 광축(140) 쪽으로 시프트되는 것으로 도 1에 도시되어 있으며, 따라서 제N ML(136)(N)은 ML 어레이(130)의 외부 주변을 따라 존재한다(예를 들어, 축(140)으로부터 떨어져 있거나 중심에 있지 않음).
아래에서 더 상세하게 설명되는 바와 같이, 개별 픽셀(138)은 입사 광(예를 들어, 광선(132))으로 타격될 때 (예를 들어, 광전 효과를 통해) 전류를 방출하는 하나 이상의 광검출기 셀을 포함할 수 있다. 본 개시 내에서, 입사 광에 응답하여 하나 이상의 광검출기 셀에 의해 방출되는 전류(또는 그에 대한 전압)는 광전 신호로 지칭될 수 있다. 일부 실시예에서, 이 광전 신호는 ML-TOF 센서(128)로부터 제어기(102)로 직접 제공될 수 있으며, 제어기(102)는 물리적 객체(118) 및 3D TOF 카메라(100)의 시야에 있는 임의의 다른 객체와 연관된 픽셀당 깊이 정보를 결정하기 위해 광전 신호를 분석할 수 있다.
일부 실시예에서, 3D TOF 카메라(100)는 위상 시프터(142)를 더 포함할 수 있다. 위상 시프터(142)는 또한 신호 발생기(110)로부터 변조된 전기 신호(112)를 수신하고 변조된 전기 신호(112)에 하나 이상의 위상 시프트 단계를 포함하는 위상 시프트를 적용할 수 있다. 그런 다음, 위상 시프터(142)는 신호 발생기(110)로부터 수신된 변조된 전기 신호(112)(또는 그의 일부 변형)를 ML-TOF 센서(128)로 전송할 수 있다. ML-TOF 센서(128)에 제공되는 변조된 전기 신호(112)는 입사 광이 하나 이상의 광검출기 셀을 타격하는 것에 응답하여 생성된 광전 신호와 상관될 수 있다(예를 들어, 변조된 광(116)의 일부를 포함하는 후방 산란 광(126)으로 인해). 따라서, 위상 시프터(142) 이후의 변조 신호는 광전 신호로부터 변조된 전기 신호(112)(신호 발생기(110)로부터 제공되고 이에 따라 변조된 광(116)이 방출됨)를 복조하여 이미지 렌즈(124)를 향해 물리적 객체(118)에서 반사되는 변조된 광(116)과 구체적으로 연관된 광전 신호의 하나 이상의 성분을 추출할 수 있다. 광전 신호로부터 변조된 전기 신호(112)의 복조로 인한 신호는 상관 전기 신호(144)일 수 있다는 것이 이해될 것이다.
도시된 바와 같이, 변조된 전기 신호(112)가 광전 신호로부터 복조된 후, 제어기(102)는 ML-TOF 센서(128)로부터 상관 전기 신호(144)를 수신할 수 있다. 일부 실시예에서, 광전 신호 및/또는 상관 전기 신호(144)는 제어기(102)로 전송되기 전에 증폭될 수 있다. 제어기(102)는 또한, 상관 전기 신호(144)와 변조된 전기 신호(112) 사이의 위상차에 기초하여 반사된 변조된 광의 비행 시간을 결정하도록 구성될 수 있다. 위상차 및 비행 시간은 애플리케이션(106)에 의해 요청된 깊이 데이터를 생성하기 위해 픽셀 단위로 결정될 수 있음을 이해해야 한다. 그런 다음, 깊이 데이터는 출력 신호(146)로 애플리케이션(106)에 제공될 수 있다.
일부 실시예에서 위상차가 결정될 수 있는 예시적인 알고리즘이 아래에 제공된다. 예시적인 알고리즘은 상관 전기 신호(144)와 주기적 변조된 전기 신호, 예를 들어 사인파 신호 사이의 위상차를 결정하기 위한 알고리즘이다. 이 예에서, 위상차는 물리적 객체(118)에서 반사되는 변조된 광(116)과 연관된 광전 신호의 하나의 주파수 성분과 변조된 전기 신호(112)와 연관된 하나의 주파수 성분 사이의 단순화된 상관으로 결정된다. 픽셀(138)에 의해 캡처된 하나의 프레임에 대한 주파수 성분의 상관관계는 다음과 같이 수학식 1에 의해 제공된다:
[수학식 1]
Figure pct00001
수학식 1에서, CM0는 픽셀(138)로부터 수신된 직류(DC) 신호에 대응하는 공통 모드 전압 신호이다. CM0는 발광기(114)에 의해 방출된 변조된 광(116) 및 주변 광원(122)에 의해 방출된 주변 광(120) 모두와 연관된 신호를 포함한다. CM0에 대한 공식은 아래 수학식 2에 제공된다:
[수학식 2]
Figure pct00002
수학식 2에서, N은 위상 시프트 단계의 총 수이다.
수학식 1로 돌아가서, AB0는 변조된 광(116)의 교류 전압의 진폭이고,
Figure pct00003
은 비행 시간 td0의 위상이며,
Figure pct00004
는 2π 내에서 균등하게 분포된 k번째 위상 시프트이다. AB0에 대한 공식은 아래 수학식 3에 제공된다:
[수학식 3]
Figure pct00005
또한,
Figure pct00006
에 대한 공식은 아래 수학식 4에 제공된다:
[수학식 4]
Figure pct00007
수학식 4에서, Ik는 각각의 픽셀(138)로부터 k번째 위상 시프트 단계에서 광전 신호에 의해 기여되는 전압 출력의 상관 결과이다.
위의 예는 단일 주파수에 대해 제공되었지만, 위의 예는 성분들을 합산함으로써 상이한 주파수를 갖는 다수의 성분을 포함하는 신호로 확장될 수 있다. 따라서, 단일 픽셀(138)은 복수의 상이한 파장의 광에 대한 비행 시간 데이터를 동시에 제공할 수 있다.
이제 도 2a 및 도 2b를 참조하면, 대응하는 픽셀(208)에 대해 가변 ML 높이 및 시프트로 제조되는 복수의 개별 ML(204)로 구성된 ML 어레이(202)를 갖는 예시적인 마이크로 렌즈 비행 시간(ML-TOF) 센서(200)의 평면도 및 단면도가 각각 도시되어 있다. 도 2b에 도시된 단면도는 도 2a에 도시된 라인 A-A를 따라 취해진 것이다. 도시된 예에서, ML 어레이(202)는 픽셀 어레이(210) 내의 대응하는 픽셀(208)의 개별 관심 영역(ROI)(206)에 대해 각각 배치된 36개의 개별 ML(204)을 포함한다. 도 2a 및 도 2b의 각각에서, ML(204)은 그 위치 및 구형 또는 비구면 특징 (실선) 라인을 나타내기 위해 점선 원으로 도시된다는 점에 주목할 가치가 있다. 일반적으로 ML의 피치는 갭리스 ML 프로세스 기술로 지원되는 최대 필 팩터를 갖도록 정사각형으로 형성된다는 점에 주목할 가치가 있다. 개별 ML(204)은 개별 픽셀(208)에 대해 고유하게 대응하고 이에 대해 구체적으로 배치된다. 예를 들어, 도 2a 및 도 2b에 도시된 바와 같이, 제1 ML(204(1))은 제1 픽셀(208(1))의 제1 ROI(206(1))에 고유하게 대응하고 이에 대해 구체적으로 배치되며, 제2 ML(204(2))은 제2 픽셀(208(2))의 제2 ROI(206(2))에 고유하게 대응하고 이에 대해 구체적으로 배치되는 식이다.
일부 실시예에서, 개별 픽셀(208)의 ROI(206)는 입사되는 후방 산란된 변조된 광에 의해 타격되는 것에 응답하여 전기 신호를 방출하도록 구성된 광검출기 물질의 특정 체적이다. 이와 관련하여, 일반적인 TOF 픽셀은 특정 깊이로 투영되는 제한된 전기장 변조 영역을 가지고 있다(이에 의해 체적 관심 영역을 형성함). 또한, 일반적인 TOF 픽셀에서, 이 "체적" ROI는 광자 자극에 대한 응답으로 전자를 가장 효과적으로 전달하는 TOF 픽셀의 광검출기 물질의 부분을 나타낸다. 따라서, 픽셀(208)의 ROI(206)는 전형적인 TOF 센서에서 사용되는 것과 같은 높은 변조 주파수(예를 들어, 200MHz 이상)를 갖는 광전 신호를 생성하는데 가장 적합한 픽셀(208)의 영역이다. 예시적인 이러한 ROI(206)는 실리콘의 에피택시 층으로 형성될 수 있다.
구체적으로 도 2a를 참조하면, 개별 ML(204)에 대한 광축(212)은 정사각형에 의해 경계를 이루는 십자 표시(
Figure pct00008
)로 그래픽으로 표현된다. 도시된 실시예에서, 각각의 개별 ML(204)에 대한 광축(212)은 기준 데이터(214)(
Figure pct00009
로 그래픽으로 표현됨)로부터 대응하는 픽셀(208)의 거리에 따라 변하는 시프트 양만큼 대응하는 픽셀(208)의 개별 ROI(206)에 대해 배치된다. 예시적인 이러한 기준 데이터(214)는 예를 들어 도 1에 설명된 이미지 렌즈(124)의 광축(140)일 수 있다. 기준 데이터(214)로부터의 거리에 따라 변하는 이러한 가변 시프트를 설명하기 위해, 도 2a 내에서, ML 어레이(202)의 4개의 모서리에 있는 4개의 ML(204)에 대한 개별 광축(212)은 기준 데이터(214)를 접하는 4개의 ML(204)에 대한 광축(212)보다 더 큰 거리만큼 대응하는 ROI(206)의 중심으로부터 기준 데이터(214)를 향해 시프트된다. 따라서, 도시된 실시예에서, 대응하는 픽셀(208)의 중심에 대한 각각의 ML(204)의 시프트 양(예를 들어, 마이크로미터 "㎛"로 측정됨)은 기준 데이터(214)로부터의 거리가 증가함에 따라 증가한다. 즉, 대응하는 픽셀(208)에 대한 각각의 ML(204)의 시프트 양은 기준 데이터(214)로부터 해당 ML(204)의 거리에 정비례로 관련된다.
일부 실시예에서, 개별 ML(204)은 기준 데이터(214)로부터의 거리에 따라 변하는 기하학적 파라미터(예를 들어, 크기, 높이, 폭, 렌즈 곡률 등)를 갖는다. 예를 들어, 도 2b에 도시된 실시예에서, 제1 ML(204(1)) 내지 제6 ML(204(6))은 각각 기준 데이터(214)로부터의 거리에 따라 변하는 높이 및 폭의 기하학적 파라미터를 갖는 것으로 도시되어 있다. 여기서, 제1 높이(H1)는 제1 ML(204(1))에 대해 도시되고 제3 높이(H3)는 제3 ML(204(3))에 대해 도시되며, 여기서 제1 높이(H1)는 제3 높이(H3)보다 작다. 도시된 실시예에서, 개별 ML(204)의 높이는 기준 데이터(214)로부터의 거리가 증가함에 따라 감소한다. 구체적으로, 제3 높이(H3)(ML(204(3) 및 204(4))에 대응 - 이들 ML은 기준 데이터(214)로부터의 거리가 동일하기 때문)은 ML(204(2) 및 204(5))에 대응하는 제2 높이보다 크다.(제2 높이는 표시되어 있지 않음). 또한, 제1 높이(H1)는 제3 높이(H3)보다 작고, 또한 제2 높이(H2)보다 작다. 따라서, 도시된 실시예에서, 개별 ML(204)의 기하학적 크기 파라미터(예를 들어, 높이 및/또는 폭)는 기준 데이터(214)로부터 해당 ML(204)의 거리에 반비례로 관련된다. 아래에서 더 상세하게 설명되는 바와 같이, 개별 ML에 대한 다양한 위치 시프트 및/또는 기하학적 파라미터는 아래의 수학식 9 및 10에 의해 정의되는 체적 광출력 적중률 Rhit를 최대화하도록 최적화될 수 있다.
이제 도 3을 참조하면, 이미지 렌즈(124)와 마이크로 렌즈 비행 시간(ML-TOF) 센서(200) 사이의 예시적인 광학 프레임워크(300)가 도시되어 있다. 광학 프레임워크(300)는 아래에 설명되는 바와 같이 ML-TOF 최적화 모델을 구축하는 데 사용된다. 보다 구체적으로, 다음 수학적 프레임워크와 함께 기하학적 프레임워크(300)를 사용하여 이미지 렌즈(124) 및 ML-TOF 센서(200)의 특성을 공동으로 모델링함으로써, ML 어레이(202) 내의 개별 ML의 기하학적 파라미터(예를 들어, 높이, 시프트 등)는 픽셀 변조 영역(즉, 체적의 깊은 공핍 영역)의 실리콘으로 후방 산란된 광의 체적 광출력 적중률 Rhit를 최대화하도록 최적화될 수 있다.
본 개시의 프레임워크는 TOF 픽셀과 일반 이미지 픽셀의 특성 사이의 다양한 설계 차이를 설명한다. 이러한 설계 차이 중 하나는 깊이 정보가 상관될 수 있는 광전 신호를 자극하기 위해 능동 적외선(IR) 광을 사용하는 일반적인 TOF 센서에 해당한다. 예를 들어, TOF 센서는 대략 20㎛의 실리콘으로의 침투 깊이를 갖는 850나노미터 또는 그 근처의 파장 범위에서 IR 광을 능동적으로 방출할 수 있다. 이 침투 깊이는 일반 이미지 픽셀이 감지하도록 설계된 가시광선의 침투 깊이(예를 들어, 약 3㎛)의 6배 이상이다. 또한, 기존 광학 모델에서 일반적으로 사용되는 주광선 각도(302)를 사용하는 대신, 본 개시의 프레임워크는 무작위로 생성된 입력 광선의 원뿔에 대한 외부 경계로서 주광선 각도(302)에 비해 상대적으로 더 큰 입사각을 갖는 림 광선(304)(즉, 이미지 렌즈(124)의 가장자리 부분으로부터 투영된 광선)의 투영을 사용한다. 특히, ML 어레이(202)의 전체 표면적에 걸쳐 있는 다수의 지점 상의 입력 광선은 (도 8과 관련하여 설명된 바와 같이) 주광선 각도(302) 주위의 상부 림 광선(304(U) 및 하부 림 광선(304(L))에 의해 속박되는 광학 광선 원뿔 내에서 생성되고 제한된다. 이러한 프레임워크를 사용하여, ML-TOF 센서(200)의 설계를 최적화하기 위해 프레넬 전력 적중률에 기초하여 광자 체적 밀도 메트릭이 계산될 수 있다. 예를 들어, 그리고 도 4와 관련하여 아래에서 더 상세하게 설명되는 바와 같이, 다수의 상이한 ROI 투영 슬라이스가 정의되고, 그런 다음 이들의 대응하는 흡수 행동에 의해 가중될 수 있다.
이제 도 4를 참조하면, 예시적인 마이크로 렌즈 비행 시간(ML-TOF) 센서(200) 내의 픽셀과 대응하는 마이크로 렌즈의 단일 쌍에 대한 예시적인 광학 프레임워크(400)가 도시되어 있다. 다음 논의에서, 예시적인 광학 프레임워크(400)는 개별적으로 1에서 4까지 번호가 매겨진 검은색 실선 화살표로 식별되는 일련의 4개의 영역과 관련하여 논의된다.
구체적으로 제1 영역을 참조하면, 복수의 광선(132)이 마이크로 렌즈의 표면 상의 다수의 지점에서 모델링된다. 특히, 이러한 다수의 지점 중 개별 지점에서, 상부 및 하부 림 광선(도 3 및 도 8과 관련하여 설명됨)에 의해 속박되는 원뿔형 번들의 입력 광선(132)이 형성된다. 이러한 원뿔형 번들의 입력 광선(132)은 몬테카를로 방법 또는 다양한 다른 반복된 랜덤 샘플링 기술에 의해 생성될 수 있다. 즉, 각각의 개별 원뿔형 번들의 입력 광선(132)에 대한 특정 파라미터는 도 3에 도시된 바와 같이 상이한 이미지 높이(예를 들어, 이미지 렌즈(124)의 축(140)으로부터의 방사상 거리)에 의해 변경되는 이미지 렌즈(124)의 상부 림 광선(304(U)) 및 하부 림 광선(304(L))에 의해 결정된다. 단지 3개의 입력 광선(132)이 도 4에 도시되어 있지만, 본 명세서에 설명된 기술의 실제 구현은 임의의 개별 마이크로 렌즈와 관련하여 수백 또는 심지어 수천 개의 입력 광선(132)을 생성하는 것을 포함할 수 있다는 점에 주목할 가치가 있다.
이제 구체적으로 제2 영역을 참조하면, 마이크로 렌즈의 곡률(예를 들어, 높이) 및 오프셋(예를 들어, 시프트)은 아래에 설명된 바와 같이 체적 광출력 적중률 Rhit를 최대화하도록 최적화된다. 이제 구체적으로 제3 영역을 참조하면, 광선(132)은 예를 들어 BSI(Backside Illuminated)와 같은 광학 프레임워크(400)의 후면을 통해 전파되는 것으로 모델링된다. 다양한 구현에서, 본 명세서에 설명된 최적화 기술은 마이크로 렌즈의 제1 굴절률 n1, 마이크로 렌즈 층 내에 ML 받침대 높이를 형성하는 산화물 층의 제2 굴절률 n2, 및 광학 프레임워크(400)의 후면 내의 m번째 굴절률 nm과 같은 다양한 굴절률을 설명한다. 이제 구체적으로 제4 영역을 참조하면, 예시적인 픽셀의 체적 관심 영역(ROI)이 7개의 ROI 투영 슬라이스(402)로 표현된다. 이들 여러 슬라이스는 도시된 TOF 픽셀의 깊은 공핍 영역을 나타낸다는 것을 이해해야 한다. 아래에서 상세하게 설명되는 바와 같이, 이러한 소위 ROI 투영 슬라이스(402)는 체적 최적화를 위해 사용된다.
다음으로, 도 3 및 도 4의 전술한 광학 프레임워크(300 및 400)에 기초하여 체적 광출력 적중률 Rhit에 대한 고급 공식이 정의된다. 다음의 체적 광출력 적중률 Rhit는 다음 파라미터에 기초하여 ML-TOF 센서(200) 내의 개별 픽셀의 관심 영역 내에서 광자 체적 밀도를 최적화하는 데 사용할 수 있다. 고급 공식 내에서, 모든 광학 매체를 통한 다양한 원뿔형 번들(예를 들어, 상부 림 광선(304(U)) 및 하부 림 광선(304(L))에 의해 속박됨) 내의 개별 광선(132)의 전력 투과율
Figure pct00010
는 다음과 같이 수학식 5에 의해 정의된다:
[수학식 5]
Figure pct00011
여기서, 광선 벡터
Figure pct00012
로 표시되는
Figure pct00013
는 광학 프레임워크(400)의 m번째 중간 경계(예를 들어, 후면 조명 "BSI" 프로세스 스택)에서 k번째 광선 벡터에 의해 운반되는 S 및 P 편광파를 갖는 프레넬의 투과율과 관련된다. 경계 수 m은 m = 1인 마이크로 렌즈의 외부 표면에서부터 m = M인 체적 관심 영역(ROI)(예를 들어, 실리콘)까지 계산된다. 예를 들어, 광선(132)이 전파되는 다양한 매체가 흡수를 갖는 일부 구현에서, 광학 복소 지수가 적용될 수 있다.
다음으로, 광학 활성 영역 As(즉, 광검출기 물질 내부의 주어진 깊이 j에서의 ROI)의 투영에 의해 경계를 이루는 광검출기 물질(예를 들어, 실리콘)의 체적 "파이프"에서 모든 광선(132)에 대한 투과율의 합인 투과율 합산 TAs(j)은 다음과 같이 수학식 6에 의해 정의된다:
[수학식 6]
Figure pct00014
그런 다음, 다수의 깊이 Nj의 모든 ROI 투영 슬라이스(402)에 대한 투과율의 평균 T는 다음과 같이 수학식 7에 의해 정의된다:
[수학식 7]
Figure pct00015
광검출기 물질의 흡수가 고려되는 구현에서, 수학식 7의 깊이 가중 버전이 다음과 같이 수학식 8에 의해 정의될 수 있다:
[수학식 8]
Figure pct00016
여기서 α는 주어진 파장에서 실리콘 흡수 계수이고, 깊이 j가 ㎛인 경우 850nm의 파장에서 α~1/20 이다.
전술한 바에 기초하여, 체적 광출력 적중률 Rhit는 다음과 같이 수학식 9에 의해 정의된다:
[수학식 9]
Figure pct00017
여기서, N은 최적화를 위해 생성된 총 광선 수이다. 또한, 흡수 가중 사례의 경우, 체적 광출력 적중률 Rhit는 다음과 같이 수학식 10에 의해 정의된다:
[수학식 10]
Figure pct00018
여기서 다시, N은 최적화를 위해 생성된 총 광선 수이다.
체적 광출력 적중률 Rhit를 최대화하기 위한 전술한 고급 공식을 전개하면 여러 이점을 제공한다. 이러한 이점 중 하나는 각각의 픽셀의 ROI를 통해 지향되거나 각각의 픽셀의 ROI 내에서 제한되는 광선(132)의 수를 최대화하는 것이다. IR 변조된 광의 더 긴 파장 및 이에 따른 광검출기 물질로의 더 깊은 침투로 인해, 각각의 픽셀의 ROI 내에서 제한되는 광선(132)의 수를 최대화하는 것은 일반 이미지 센서와 비교하여 TOF 센서에 대해 특히 중요하다. 이러한 이점 중 또 다른 하나는 주광선 각도(302)와는 대조적으로 더 큰 각도의 상부 림 광선(304(U)) 및 하부 림 광선(304(L))에 의해 속박되는 원뿔 번들 내의 모든 모델링된 광선에 가장 잘 응답하도록 각각의 마이크로 렌즈의 곡률을 최적화함으로써 프레넬 반사를 최소화하는 것이다. ML 어레이(200)를 최적화하기 위해 전술한 공식을 배치한 궁극적인 결과는 ROI의 관련 체적 내에서 최대화된 광자 전력이며, 따라서 누화를 최소화하면서 변조 효율을 최대화한다.
이제 도 5를 참조하면, 이미지 렌즈의 축에 평행한 기둥형 광으로 모델링된 입사 광과 다양한 ML 렌즈 파라미터에 기초하여 모델링된 복수의 광선 추적 응답(500)이 도시되어 있다. 달리 말하면, 모델링된 입사 광선은 각각의 시나리오 내에서 도시된 마이크로 렌즈를 타격하기 전에 이미지 렌즈의 축에 모두 평행하다. 이 4개의 시나리오는 각각 다양한 설계 기준에 따라 최적화된다. 보다 구체적으로, 도 5에는 4개의 상이한 시나리오(시나리오 5A 내지 5D)가 도시되어 있으며, 각각은 아래의 표 1에 정의된 대응하는 ML 렌즈 파라미터에 기초하여 모델링된 대응하는 광선 추적 응답(500(A) 내지 500(D)으로 표시됨)을 갖는다. 각각의 시나리오에서, 입사 광은 영("0") 입사각 조건(즉, 도 5에 도시된 바와 같이 똑바로 아래로 전파)에서 수신되는 기둥형 광으로 모델링된다. 또한, ML 렌즈는 시나리오 5A 내지 5D 각각에서 구면 렌즈로 모델링된다. 이러한 시나리오 각각에 사용된 최적화 기준과 관련하여: 시나리오 5A는 ROI(502(A))의 상단에서 설계된 초점(504(A))을 갖도록 최적화되고, 시나리오 5B는 ROI(502(B))의 중간 지점에서 초점(504(B))을 갖도록 최적화되고, 시나리오 5C는 ROI(502(C))의 하단에서 초점(504(C))을 갖도록 최적화되며, 시나리오 5D는 초점(504(D))이 ROI(502(D)) 아래 어딘가 - 아래쪽을 향한 화살표로 표시됨 - 에 있는 체적 기준을 갖도록 최적화된다. ML 렌즈 파라미터를 표로 정리한 표 1은 다음과 같이 아래에 나와 있다.
ML 타입 ML 크기[um] ML 반경 곡률[um] ML 높이[um] ML 받침대 높이[um]
A 3.5×3.5 2.23 2.47 2.5
B 3.5×3.5 2.31 1.7 2.1
C 3.5×3.5 2.47 1.4 1.4
D 3.5×3.5 2.40 1.5 0.1
<표 1: 도 4 및 도 5의 마이크로 렌즈 타입 파라미터>
도 5에서 알 수 있는 바와 같이, 단일 초점으로 설계하는 것은 광검출기 물질 내로 긴 파장의 IR 광의 깊은 침투로 인해 TOF 픽셀에 대해 최적화되지 않는다.
이제 도 6을 참조하면, 도 3과 관련하여 설명된 상부 림 광선(304(U)) 및 하부 림 광선(304(L))에 의해 속박되는 비기둥형 광선으로 모델링된 입사 광과 도 5의 동일한 ML 렌즈 파라미터에 기초하여 모델링된 복수의 광선 추적 응답(600)이 도시되어 있다. 상부 림 광선(304(U))과 하부 림 광선(304(L))의 경계(예를 들어, + 15도에서 -15도, 또는 일부 다른 각도 범위)로 입사 광선을 모델링하면 도 5에 도시된 것과는 상당히 상이한 광선 추적 응답이 생성된다는 것을 알 수 있다. 더욱이, 실제 TOF 구현에서 입사 광은 많은 상이한 각도(단순히 CRA(302)가 아님)에서 이미지 렌즈와 마이크로 렌즈에서 수신되기 때문에, 도 6의 광선 추적 응답(600)은 도 5의 광선 추적 응답(500)보다 실제 광학 행동의 훨씬 더 정확한 예측을 나타낸다.
도시된 바와 같이, 도 6에서 모델링된 4개의 시나리오 각각은 모델링된 입사 광의 일부를 관심 영역(502)(즉, 픽셀의 광활성 영역)으로 효과적으로 지향시킨다. 대응하는 관심 영역으로 지향되는 모델링된 입사 광의 이 부분은 특히 위의 수학식 9 및 10에 의해 정의된 체적 광출력 적중률 Rhit에 대응한다. 도 6에 도시된 바와 같이, 시나리오 6A 및 시나리오 6B에 도시된 ML 타입 A 및 ML 타입 B 각각은 상당한 양의 입사 광을 대응하는 관심 영역(502) 외부로 지향시킨다. 이는 잠재적으로 인접 픽셀 간의 바람직하지 않은 누화를 초래할 수 있다. 대조적으로, 시나리오 6C 및 시나리오 6D에 도시된 ML 타입 C 및 ML 타입 D 각각은 상당한 양의 입사 광을 대응하는 관심 영역(502)으로 지향시킨다 - 도 6에 도시된 바와 같이 모든 입사 광선이 ROI(502(D)) 내에 완벽하게 포함되는 것은 아니다. 더욱이, 구체적으로 시나리오 D를 참조하면, 도 6에 도시된 바와 같이, ML 타입 D는 거의 모든 입사 광을 관심 영역(502(D))으로 효과적으로 재지정하고 제한한다. 따라서, 도 6에 도시된 시나리오 D는 가장 높은 체적 광출력 적중률 Rhit를 나타낸다.
이제 도 7을 참조하면, 도 6과 관련하여 모델되고 설명된 것을 포함하는 다양한 광학 시나리오에 대한 체적 광출력 적중률을 보여주는 그래프가 도시되어 있다. 보다 구체적으로, 도 7에 그래프로 표시된 각각의 라인은 입사 광선이 각각 +15도 및 -15도의 상부 림 광선과 하부 림 광선에 의해 속박되는 다양한 상이한 각도에서 마이크로 렌즈의 각 지점을 타격하는 것으로 모델링되는(예를 들어, 몬테카를로 방법을 사용하여 많은 것이 무작위로 모델링됨) 광학 모델에 대응한다. 또한, 개별적으로 그래프로 표시된 각각의 라인은 위의 표 1에 설명된 바와 같이 특정 ML 크기, ML 반경 곡률 및 ML 받침대 높이(예를 들어, 도 7에서 FOC라고 함)를 갖는 마이크로 렌즈의 모델에 대응한다. 그런 다음, 모델링된 각각의 광학 시나리오마다, 체적 광출력 적중률은 도 7에서 그래프의 하부 축으로 표시된 ML 높이의 범위에 걸쳐 결정된다. 이러한 방식으로, TOF 센서의 마이크로 렌즈 어레이 내의 각각의 개별 마이크로 렌즈에 대한 광학 파라미터를 식별하여 가장 높은 체적 광출력 적중률을 달성할 수 있다.
도 7에 그래프로 표시된 각각의 라인은 도 6과 관련하여 설명된 시나리오 중 하나에 대응하는 특별히 표시된 지점이 있다. 특히, 도 7 내에서 A로 표시된 지점은 도 6과 관련하여 설명된 시나리오 6A에 해당하고, 도 7 내에서 B로 표시된 지점은 도 6과 관련하여 설명된 시나리오 6B에 해당하는 식이다. 또한, 도 7의 그래프 생성 동안 모델링된 가장 높은 체적 광자 적중률은 도 6의 시나리오 6D에 해당함을 도 7로부터 알 수 있다. 따라서, 도 7에 도시된 것과 유사한 그래프의 검토는 도 3과 관련하여 설명된 바와 같이 픽셀 어레이 내의 해당 픽셀의 이미지 높이에 기초하여 픽셀 어레이 내의 각각의 픽셀에 대한 최적의(예를 들어, 최대화된) 체적 광자 적중률을 달성하는 데 사용할 수 있는 광학 파라미터(예를 들어, ML 높이, ML 받침대 높이, ML 반경 곡률)를 나타낸다.
예시적인 구현에서, 각각의 상이한 이미지 어레이 위치(예를 들어, 각각의 픽셀)에서 최적의 TOF-ML 파라미터(예를 들어, ML 곡률, 받침대 높이 등)를 식별하기 위한 최적화 절차는 도 3과 관련하여 설명된 바와 같이 (예를 들어, 주광선 각도보다) 렌즈 출력 림 광선 원뿔에 의해 제한되는 임의의 입사각을 갖는 미리 결정된 수의 입력 광선(예를 들어, 60,000개의 입력 광선)을 생성하기 위해 몬테카를로 방법을 전개하는 것을 포함한다. 예를 들어, 픽셀 어레이 내의 중앙에 위치한 픽셀에 대해, 상부 림 광선(304(U)) 및 하부 림 광선(304(L))은 +15도에서 -15도까지 연장되는 렌즈 출력 림 광선 원뿔을 형성할 수 있다. 따라서, 이 중앙에 위치한 픽셀에 대해, 최적화 절차는 +15도에서 -15도 사이의 어딘가에 있는 무작위로 결정된 각도로 이 픽셀을 타격하는 60,000개의 입력 광선을 생성하는 것을 포함할 수 있다. 이러한 무작위로 생성된 입력 광선의 각도 제약 조건은 상이한 센서 위치(예를 들어, 이미지 높이)에서 변할 것이라는 점을 이해해야 한다. 예를 들어, 일반적으로 렌즈 출력 림 광선 원뿔은 상이한 센서 위치에서 주광선 각도와 관련하여 상이한 타일링 각도를 가질 것이다. 이 점과 관련하여, 도 8은 도 3의 예시적인 광학 프레임워크(300)의 이미지 높이에 대한 하부 림 광선(304(L)), 상부 림 광선(304(U)) 각각의 각도, 및 주광선 각도(CRA)(302)를 그래프로 도시한다.
이제 도 9를 참조하면, 픽셀의 관심 영역(502)에 대한 마이크로 렌즈의 시프트 효과를 체적 광출력 적중률에 대해 나타내는 복수의 광선 추적 응답(900)이 도시되어 있다. 보다 구체적으로, 도 9는 상이한 광학적 환경에 각각 대응하는 3개의 광선 추적 응답(900(A) 내지 900(C)으로 표시됨)을 보여준다. 본 개시를 위해, 시나리오 9A 내지 9C 각각은 2.1㎛의 ML 높이, 2.23㎛의 ML 반경 곡률 및 0.35㎛의 ML 산화물 받침대 높이로 모델링되는 일반적인 광학 환경을 갖는다.
이제 구체적으로 시나리오 9A를 참조하면, ML-TOF 센서(200)의 픽셀 어레이(210) 상의 중앙에 위치한 픽셀(예를 들어, 이미지 높이 = 0의 픽셀)에 대응하는 광선 추적 응답(900(A))이 도시되어 있다. 이러한 상황에서, 중앙에 위치한 픽셀의 주광선 각도는 0이라는 것을 알 수 있다. 따라서, 도 8을 참조하면, 이 중앙에 위치한 픽셀에 대해 생성되는 (예를 들어, 몬테카를로 방법을 사용하여 다양한 입사각의 60,000개의 입력 광선을 생성하고 마이크로 렌즈의 다양한 지점을 타격함) 광학 광선 원뿔은 +15도 내지 -15도의 림 광선 범위(도 8에 정의된 바와 같음) 내에서 제한되었다. 또한, 광선 추적 응답(900(A))을 생성하도록 모델링된 시나리오 9A에서, 마이크로 렌즈는 관심 영역(502(A))과 관련하여 0 시프트를 갖는 것으로 모델링된다. 즉, 시나리오 9A의 마이크로 렌즈는 대응하는 픽셀의 관심 영역(502(A)) 위에서 중앙에 있는 것으로 모델링된다. 도시된 바와 같이, 시나리오 9A와 관련하여 모델링된 광선 추적 응답(900(A))에서, 광선 벌크는 관심 영역(500(A)) 내에 잘 포함되어 있다.
이제 구체적으로 시나리오 9B 및 9C를 참조하면, ML-TOF 센서(200)의 픽셀 어레이(210)의 주변 영역(외부 영역) 주위에 위치한 픽셀(예를 들어, 이미지 높이가 0보다 큰 픽셀)에 대응하는 광선 추적 응답이 도시되어 있다. 보다 구체적으로, 시나리오 9B 및 9C에서, 픽셀은 이미지 렌즈(124)의 축(140)으로부터 오프셋되어 CRA가 26.83도가 된다. 이러한 특정 CRA는 예시적인 목적으로만 임의로 선택되며 많은 CRA가 도 9와 관련하여 설명된 개념을 전달하는 데에도 사용될 수 있음을 이해해야 한다. 26.83도의 이러한 특정 CRA에 기초하여, 도 8은 이 특정 이미지 높이를 갖는 픽셀에 대해 생성될 광학 광선 원뿔이 +34.26도 내지 +18.55도의 림 광선 범위 내에서 제한된다는 것을 나타낸다.
이제 구체적으로 도 9의 시나리오 9B를 참조하면, 도시된 광선 추적 응답(900(B))은 마이크로 렌즈가 관심 영역(502(B))과 관련하여 0 시프트를 갖는 것으로 모델링된 것에 기초하여 생성된다. 즉, 시나리오 9B의 마이크로 렌즈는 시나리오 9A에서와 마찬가지로 대응하는 픽셀의 관심 영역(502(B)) 위에서 중앙에 있는 것으로 모델링된다. 도시된 바와 같이, 시나리오 9B의 광학 모델의 결과인 광선 추적 응답(900(B))에서, 광선 벌크는 관심 영역(500(B))으로 지향되지 않고, 그 결과 시나리오 9A에 비해 체적 광출력 적중률 Rhit가 훨씬 더 낮다. 특히, 위에서 설명되고 광선 추적 응답(900(A) 및 900(B))을 생성하는 데 사용되는 특정 광학 파라미터에 기초하여, 시나리오 A의 체적 광출력 적중률 Rhit는 0.8307인 반면, 시나리오 B의 체적 광출력 적중률 Rhit는 0.1881로 상당히 낮다. 따라서, 시나리오 9B는 시나리오 9A에 비해 변조 효율성이 더 낮다.
시나리오 9C는 마이크로 렌즈가 이미지 렌즈(124)의 축(140)을 향해 1.1㎛ 시프트되는 것으로 모델링되는 점을 제외하고 시나리오 9B와 유사하다. 도시된 바와 같이, 시나리오 9C와 관련하여 모델링된 광선 추적 응답(900(C))에서, 광선 벌크는 관심 영역(500(B))으로 지향된다(참고: 시나리오 9B와 9C 모두에서 관심 영역은 각각 동일한 픽셀과 연관하여 모델링되기 때문에 500(B)로 표시된다). 간단히 말해서, 시나리오 9B에서 9C로 마이크로 렌즈의 시프트는 결과적인 광선 추적 응답(900(C))의 관심 영역(500(B))으로의 대응하는 시프트를 초래하고, 이 결과는 시나리오 9B에 비해 시나리오 9C에서 체적 광출력 적중률 Rhit가 훨씬 더 높다. 특히, 마이크로 렌즈 배치에 1.1㎛ 시프트를 추가하면 시나리오 C의 체적 광출력 적중률 Rhit가 0.7919로 증가한다.
이제 도 10을 참조하면, 미리 결정된 이미지 높이(예를 들어, 주광선 각도로 표시됨)를 갖는 픽셀에 대한 ML-TOF 센서 내의 마이크로 렌즈의 시프트 효과를 해당 픽셀에서 경험하는 체적 광자 적중률에 대해 나타내는 그래프 표현이 도시되어 있다. 본 명세서에서, 도 10에 도시된 그래프 표현을 생성하는 데 사용되는 광학 파라미터는 도 9에 도시된 광선 추적 응답(900(B) 및 900(C))을 생성하는 데 사용되는 것과 동일하다. 도시된 바와 같이, 0보다 큰 이미지 높이를 갖는(따라서 0보다 큰 CRA를 가짐) 픽셀에 대해, 최대 체적 광자 적중률은 마이크로 렌즈가 대응하는 픽셀의 관심 영역 위에서 완벽하게 중심에 있기 때문에(즉, 0의 시프트를 가짐) 발생하지 않는다. 오히려, 이미지 렌즈의 축으로부터 이러한 오프셋을 갖는 TOF 픽셀의 경우, 최댓값에 도달할 때까지 ML 시프트가 증가함에 따라 체적 광자 적중률이 증가하고, 그 후에 추가 시프트로 인해 체적 광자 적중률이 감소한다. 도 10에 도시된 바와 같이, 시나리오를 모델링하는 데 사용된 특정 광학 파라미터(예를 들어, CRA = 26.83도, ML 받침대 높이 = 0.35㎛, ML 높이 = 2.1㎛ 등) 하에서, 이 최대 체적 광자 적중률은 이미지 렌즈의 축을 향한 2.1㎛의 ML 시프트에서 달성된다.
이제 도 11을 참조하면, 미리 결정된 이미지 높이를 갖는 픽셀에 대한 ML-TOF 센서 내의 상이한 높이를 갖는 2개의 상이한 마이크로 렌즈의 시프트 효과를 해당 픽셀에서 경험하는 체적 광자 적중률에 대해 나타내는 그래프 표현이 도시되어 있다. 특히, 도 11의 그래프 표현은 ML 시프트 최적화 결과가 대응하는 마이크로 렌즈의 높이가 2.1㎛인 상황 및 대응하는 마이크로 렌즈의 높이가 1.4㎛인 대안적인 상황에서 26.83도의 CRA를 갖는 픽셀에 대해 그래프로 표시된 것을 제외하고는 도 10의 그래프 표현과 유사하다. 각각 특정 ML 높이에 해당하는 2개의 라인만 그래프로 표시되지만, 최적의 광학 파라미터를 식별하기 위해 더 많은 라인을 잠재적으로 포함하고 검사할 수 있다는 점은 주목할 가치가 있다. 구체적이지만 비제한적인 예로서, 도 11의 그래프는 1.1㎛의 ML 높이에 해당하는 라인, 1.2㎛의 ML 높이에 해당하는 또 다른 라인, 1.3㎛의 ML 높이에 해당하는 또 다른 라인 등을 잠재적으로 포함할 수 있다. 도 11로부터 알 수 있는 바와 같이, 특정 이미지 높이에서 픽셀 어레이에 상주하는 픽셀에 대한 모델링된 환경 하에서, 0.75㎛의 ML 시프트에서 1.4㎛의 ML 높이를 갖는 마이크로 렌즈를 사용하는 것은 1.1㎛의 상대적으로 더 큰 ML 시프트에서 2.1㎛의 상대적으로 더 큰 ML 높이를 갖는 마이크로 렌즈를 사용하는 것과 거의 동일한 체적 광자 적중률을 산출한다.
이제 도 12를 참조하면, 유사한 체적 광출력 적중률 Rhit를 초래하는 2개의 상이한 광학 모델에 대한 마이크로 렌즈 시프트와 이미지 높이 간의 관계를 나타내는 그래프가 도시되어 있다. 특히, 도 12의 그래프는 검은색 원으로 표시된 포인트를 갖는 라인을 포함하고 있으며, 이는 위에서 설명된 바와 같이 마이크로 렌즈 어레이 내의 마이크로 렌즈의 높이가 이미지 높이에 따라 변하는 광학 모델에 대응한다. 이 라인 상의 각각의 검은색 원 옆에는 대응하는 이미지 높이에서 선택된 ML 높이의 숫자 표시가 있다(예를 들어, 위의 기술 사용). 도 12의 그래프는 검은색 삼각형으로 표시된 포인트를 갖는 라인을 더 포함하고, 이는 이미지 높이에 관계없이 마이크로 렌즈 어레이 내의 마이크로 렌즈의 높이가 일정하게(예를 들어, 2.1㎛에서) 유지되는 광학 모델에 대응한다. 도 12에서 알 수 있는 바와 같이, 각각의 이미지 높이에서 유사한 체적 광출력 적중률 Rhit를 달성하는 데 필요한 시프트는 일정한 ML 높이 광학 모델에 비해 가변 ML 높이 광학 모델에 대해 상대적으로 작다. 도 13은 도 12에서 설명되고 도시된 2개의 광학 모델에 대한 체적 광출력 적중률 Rhit의 유사성을 나타내는 그래프이다. 도 13으로부터, 이미지 높이가 증가함에 따라 ML 어레이 내의 마이크로 렌즈의 ML 높이를 감소시킴으로써, 마치 ML 높이가 일정하게 유지되지만 ML 시프트가 작은 것처럼 유사한 체적 광출력 적중률 Rhit가 달성될 수 있음을 알 수 있다. 따라서, 일정한 높이의 ML 렌즈가 이미지 높이 증가에 따라 다양한 양으로 시프트되는 구현과 비교하여 ML 높이 및 ML 시프트을 모두 감소시켜도 성능 손실이 없음을 알 수 있다. 이러한 방식으로, 각각의 ML은 최상의 변조 효율 및 QE를 달성하기 위해 그리고 ML 시프트 양을 줄이기 위해 상이한 곡률 및 시프트를 가질 수 있다. ML 시프트 양을 줄이는 능력은 제조 가능성, 광학 렌즈-ML-TOF 어레이 축 정렬 견고성 및 ML 설계 유연성 측면에서 매우 유리하다는 것을 당업자는 인식할 수 있는데, 많은 기존 제조 프로세스에서 이러한 파라미터 시프트 능력은 프로세스 양자/해상도에 의해 제한될 수 있기 때문이다. 따라서, 전술한 기술은 가능한 제조 및/또는 설계 파라미터를 최적화된 결과에 근접한 설계 파라미터로 맞추기 위해 ML 시프트 양을 조정할 수 있다.
일부 실시예에서, ML 어레이 내의 개별 ML(136)의 높이는 축(140)으로부터 개별 ML(136)의 방사상 거리에 선형적으로 비례한다. 구체적이지만 비제한적인 예로서, 축과 교차하는 ML 어레이의 중심점에서 ML 높이가 2.1㎛으로 설정되고 ML 어레이의 가장자리에서 ML 높이가 1.4㎛으로 설정된다고 가정한다. 이러한 상황에서, 개별 ML의 ML 높이는 픽셀 어레이의 중심에서의 최대 ML 높이 2.1㎛에서 ML 어레이의 가장 바깥쪽 가장자리에서의 최소 ML 높이 1.4㎛까지 선형적으로 변한다.
일부 실시예에서, ML 어레이 내의 개별 ML(136)의 높이는 광축(140)으로부터 개별 ML(136)의 방사상 거리에 비선형적으로 비례한다. 이 점을 설명하기 위해, "ML 높이 가변" 라인을 따라 도 12에 표시된 가변 ML 높이는 특정 ML-TOF 센서 설계에 대해 선택되었다고 가정한다. 이러한 상황에서, 0mm의 이미지 높이에서 2.1㎛의 ML 높이, 0.23mm의 이미지 높이에서 1.9㎛의 ML 높이 등을 기반으로 다항식 기반 최적합 라인이 생성될 수 있다. 도 12에 도시된 이 최적화된 수치 데이터는 또한 본 명세서의 표 2에 나타난다는 점은 주목할 가치가 있다. 그런 다음, 이 새로 결정된 다항식 기반 최적합 라인을 사용하여 다양한 이미지 높이에서 특정 ML 높이를 규정할 수 있다.
일부 실시예에서, ML 어레이 내의 개별 ML(136)의 시프트는 축(140)으로부터 개별 ML(136)의 방사상 거리에 선형적으로 관련된다. 구체적이지만 비제한적인 예로서, 축과 교차하는 ML 어레이의 중심점에서 ML 시프트가 0.0㎛으로 설정되고(예를 들어, ML은 대응하는 픽셀 위에서 완벽하게 중심에 있음) ML 어레이의 가장자리에서 ML 시프트가 0.75㎛으로 설정된다고 가정한다. 이러한 상황에서, 개별 ML에 대한 ML 시프트는 픽셀 어레이의 중심에서의 최소 ML 시프트 0.0㎛에서 ML 어레이의 가장 바깥쪽 가장자리에서의 최대 ML 시프트 0.75㎛까지 선형적으로 변한다.
일부 실시예에서, ML 어레이 내의 개별 ML(136)의 시프트는 광축(140)으로부터 개별 ML(136)의 방사상 거리에 비선형적으로 비례한다. 이 점을 설명하기 위해, "ML 높이 가변" 라인을 따라 도 12에 표시된 가변 ML 시프트는 특정 ML-TOF 센서 설계에 대해 선택되었다고 가정한다. 이러한 상황에서, 0mm의 이미지 높이에서 0.0㎛의 ML 시프트, 0.23mm의 이미지 높이에서 0.15㎛의 ML 시프트 등을 기반으로 다항식 기반 최적합 라인이 생성될 수 있다. 즉, 표 2에 나타난 10개의 고유한 ML 시프트 대 이미지 높이 데이터 포인트를 기반으로 최적합 라인을 생성할 수 있다. 그런 다음, 이 새로 결정된 다항식 기반 최적합 라인을 사용하여 다양한 이미지 높이에서 특정 ML 시프트를 규정할 수 있다.
이제 도 14a를 참조하면, 이미지 높이와 ML 높이 간의 관계에 기초하여 최적의 마이크로 렌즈 시프트를 결정하기 위해 보간 함수를 정의하기 위한 예시적인 기하학적 프레임워크가 도시되어 있다. 또한, 도 14b는 도 14a에 도시된 시프트에 기초하여 결정되는 ML에 대한 새로운 중심 위치 (i', j')에 기초하여 새로운 ML 높이 및 피치 크기를 결정하는 데 사용할 수 있는 예시적인 기하학적 프레임워크를 도시한다. 도 14a를 참조하면, 도 12에 제시된 시뮬레이션 데이터(아래 표 2에도 나타남)에 따른 가변 ML 시프트에 대한 보간 함수가 다음과 같이 수학식 11에 의해 제공된다:
[수학식 11]
Figure pct00019
여기서 (i, j)는 기준 데이터(214)에 대한 픽셀의 중심 위치이다. 수학식 11에서, ΔS(i, j)는 반경 이미지 높이 lr(i, j)(즉, 시프트 없는 ML의 위치에 대해 센서 어레이의 중심을 향함)를 따라 픽셀의 중심에서 멀어지는 ML 시프트 거리를 나타낸다. 다양한 구현에서, 보간 함수 Func1(lr(i, j))는 다항식 유형 최적합 함수이다. 최적합을 결정하기에 적합한 다른 유형의 함수가 또한 개시된 기술에 따라 사용하기에 적합하고 고려된다.
# 1 2 3 4 5 6 7 8 9 10
이미지 높이
[mm]		 0.00 0.23 0.45 0.68 0.91 1.14 1.36 1.59 1.82 2.04
ML 시프트
[um]		 0 0.15 0.30 0.50 0.60 0.70 0.75 0.75 0.75 0.75
ML 높이
[um]		 2.1 1.9 1.8 1.7 1.7 1.6 1.5 1.5 1.5 1.4
<표 2: 3.5㎛ TOF 픽셀 조건에서 ML 시프트 및 가변 ML 높이 대 이미지 높이의 최적화된 숫자 데이터 예>
표 2의 최적화된 숫자 데이터에 기초하여, 근사화된 ML 시프트 함수 중 하나가 다음과 같이 수학식 12에 형성될 수 있다:
[수학식 12]
Figure pct00020
그런 다음, 위의 근사화된 ML 시프트 후, 표 2의 최적화된 숫자 데이터를 사용하여 다음과 같이 수학식 13에 기초하여 시뮬레이션 데이터(도 12 또는 표 2에 표시됨)와 관련된 ML 높이의 보간을 수행한다.
[수학식 13]
Figure pct00021
여기서 (i', j')는 위치 (i, j)로부터 시프트한 이후의 픽셀 중심점을 나타내는 픽셀 위치 인덱스이고, 여기서 H(i', j')는 센서의 중심(즉, 데이터(214))에 대한 반경 이미지 높이 lr(i', j')에서의 시프트된 가변 ML 높이이다. 다양한 구현예에서, 보간 함수 Func2(lr(i', j'))는 다항식 유형의 최적합 함수 또는 도 12(또한 표 2)의 ML 높이 데이터 포인트에 최고로 적합한 임의의 다른 유형의 함수이다. 이러한 방식으로, 근사화된 가변 ML 높이 함수 중 하나가 표 2로부터 다음과 같이 수학식 14에 생성될 수 있다.
[수학식 14]
Figure pct00022
여기서, 위치 (i, j)에서의 ML 시프트와 관련된 가변 ML 높이, 시프트 방향 및 양은 도 14a에 도시되어 있음을 이해해야 한다. 도 14a에 도시된 바와 같이 ML 시프트가 결정된 후, (i', j')를 중심으로 하는 ML 피치 크기는 시프트된 ML의 인접한 중심점에 의해 제한된다(4개의 라인으로 둘러싸인 직사각형; 각각의 라인은 인접한 지점의 중간을 통과한다). 일반적으로, 각각 시프트된 ML은 상이한 피치 크기와 상이한 높이를 갖는다.
이제 도 15를 참조하면, 도 14a 및 도 14b와 관련하여 위에서 설명된 프레임워크에 기초하여 결정된 특성에 따라 ML 어레이를 제조하기 위한 예시적인 프로세스(1500)를 그래픽으로 도시하는 예시적인 흐름도가 도시되어 있다.
블록(1502)에서, 포토레지스트 층(1512)이 위에 성막된 기판(1510)이 제공된다. 포토레지스트 층(1512)은 균일한 두께를 가질 수 있고 아래에서 설명되는 바와 같이 가변 높이 및/또는 곡률을 갖는 ML을 갖는 ML 어레이를 형성하는 데 여전히 사용될 수 있다.
블록(1504)에서, 마스크(1506)가 포토레지스트 층(1512)에 인접하여 배치되어 포토레지스트 층의 선택 부분을 마스킹한다. 마스크는 선택 부분이 예를 들어 자외선과 같은 일부 형태의 광에 노출되는 것을 방지하기 위해 적절한 불투명 물질일 수 있다.
블록(1506)에서, 포토레지스트 층의 마스킹되지 않은 부분이 마스크(1516)에 기초하여 포토레지스트 층을 성형하기에 적합한 광에 노출된다. 예를 들어, UV 광은 이 UV 광의 일부가 포토레지스트 층의 선택 부분에 도달하는 것을 차단하는 마스크를 갖는 포토레지스트 층 및 기판을 향해 방출될 수 있다.
블록(1508)에서, 열 리플로우 프로세스가 포토레지스트 층의 나머지 부분(1516) 상에 개시된다. 열 리플로우 프로세스의 결과는 크기 및 높이가 다양한 개별 ML(1520)을 갖는 ML 어레이(1518)의 형성이다.
다음의 상세한 방법론은 일정한 두께를 갖는 포토레지스트 층(1512)으로부터 가변 ML 높이 및 크기를 갖는 ML 어레이(1518)를 달성하기 위해 열 리플로우 프로세스를 사용하는 것을 용이하게 하기 위해 제공된다. 보다 구체적으로, 도 14a 및 도 14b와 관련하여 설명된 바와 같이 각각의 개별 픽셀에 대해 달성된 시뮬레이션 결과에 기초하여, ML 체적이 계산될 수 있고 주어진 포토레지스트 층 두께 조건에서 운반 가능한 포토레지스트 피치 크기로 변환될 수 있다.
다음 방법론은 원래 위치 (i, j)의 단일 대표 픽셀에 대해 설명되지만, ML 시프트된 중심은 가변 갭리스 ML 크기 A'(i', j) 및 포토레지스트 크기 a(i', j'), a(i', j') < A'(i', j')를 갖고 (i', j')에 위치한다. 이러한 정의된 파라미터에 기초하여, 열 리플로우에 의해 처리된 ML은 구형 표면이 있는 정사각형 모양의 ML로 접근할 수 있으므로, 해당 위치(i', j')에서의 ML 체적 V(i', j')은 아래의 수학식 14로 표현될 수 있다:
[수학식 14]
Figure pct00023
여기서 R(i', j')은 위치 (i', j')에서의 ML 곡률이고, 변수 (x, y)는 ML 피치 크기 영역 A'(i', j')에 대한 ML 영역 적분 변수를 나타내며, 항 dx와 dy는 대응하는 적분 무한소를 나타낸다. 갭리스 ML 피치 크기는 일반적으로 ML 시프트로 인해 픽셀 크기보다 작으며, 일반적으로 픽셀 크기에 대한 ML 피치 크기 감소는 1-2nm 정도라는 것을 알 수 있다. 따라서, 적분에 대한 좋은 근사값으로 원래 픽셀 크기(예를 들어, 3.5㎛)를 사용하는 것이 허용될 수 있다.
전술한 내용에 기초하여, 수학식 14와 연관되는 동일한 위치에서 가변 ML 높이 H(i', j')에 대한 곡률 반경은 다음과 같이 수학식 15로 표현될 수 있다:
[수학식 15]
Figure pct00024
여기서 d05(i', j')는 위치 (i', j')에서 ML 피치의 대각선 치수의 절반이다. 따라서, 포토레지스트의 피치 크기는 아래의 수학식 16에 정의된 바와 같이 체적 균형에 의해 결정될 수 있다.
[수학식 16]
Figure pct00025
따라서, 가변 포토 레지스트 피치 영역 크기는 다음과 같이 표현될 수 있다:
[수학식 17]
Figure pct00026
포토레지스트 층이 정사각형 형상인 실시예에서, 피치 측면 치수는
Figure pct00027
이다. 수학식 14 내지 17의 적분은 수치적 방법이나 임의의 다른 이용 가능한 방법으로 해결될 수 있음을 이해해야 한다. 더욱이, ML 포토레지스트 피치 크기는 또한 방사상 대칭이다. 반경 이미지 높이 lr(i', j')에 따른 a(i', j')의 여러 특성 값에 기초하여, 피치 크기에 대한 보간 함수가 다음과 같이 수학식 18에 의해 정의될 수 있다:
[수학식 18]
Figure pct00028
보간 함수 Func3(H(i, j))는 도 15에 도시된 바와 같이 가변 ML 포토레지스트 피치 크기를 나타내는 다항식 또는 임의의 다른 형태의 최적합 함수일 수 있다. 패턴 설계 알고리즘의 편의를 위해, 수학식 18은 다음과 같이 표현할 수도 있다:
[수학식 19]
Figure pct00029
전술한 방정식에 기초하여, 가변 ML 포토레지스트 크기는 이미지 높이 lr(i', j')의 함수로 정의되었다. 3.5㎛ 픽셀 프로세스에 대해 포토레지스트 두께 T = 2.4㎛이라고 가정하면, 표 3에 주어진 특성화된 데이터를 가질 수 있다.
가변 ML 높이 및 포토레지스트 피치 크기 대 이미지 높이의 특성화된 데이터의 예는 다음과 같이 표 3에 제공된다.
ML 식별자 1 2 3 4 5 6 7 8 9 10
이미지 높이[um] 0.00 0.23 0.45 0.68 0.91 1.14 1.36 1.59 1.82 2.04
ML 높이[um] 2.1 1.9 1.8 1.7 1.7 1.6 1.5 1.5 1.5 1.4
ML 포토레지스트 피치 크기[um]@높이 6um 2.8919 2.72125 2.6345 2.5465 2.5465 2.4577 2.3675 2.3675 2.3675 2.2759
<표 3: 가변 ML 높이 및 포토레지스트 피치 크기 대 이미지 높이의 특성화된 데이터의 예>
표 3의 데이터를 사용하여 예시적인 근사화된 ML 포토레지스트 피치 사이징 함수를 다음과 같이 수학식 20에 정의할 수 있다:
[수학식 20]
Figure pct00030
Figure pct00031
이제 도 16을 참조하면, 본 명세서에 기술된 기술에 따라 가변 높이 및 시프트로 형성될 수 있는 갭리스-타입 정사각형 피치 ML 어레이의 예시적인 부분이 도시되어 있다. 특히, 도 16에 도시된 ML 어레이의 부분은 도 1 내지 도 14b 및 도 17과 관련하여 위에서 설명된 바와 같이 결정되는 가변 높이 및 가변 시프트를 포함한다. 도 16에 도시된 표면은 ML 어레이 내의 개별 ML에 대한 구면 렌즈 기하학적 구조를 나타낸다는 것을 이해해야 한다.
이제 도 17을 참조하면, 본 명세서에 설명된 기술에 따른 마이크로 렌즈 비행 시간(ML-TOF) 센서를 설계하기 위한 예시적인 프로세스(1700)가 도시되어 있다.
블록(1702)에서, 설계되고 있는 ML-TOF 센서와 이미지 렌즈 사이의 광학 프레임워크가 결정된다. 예시적인 이러한 광학 프레임워크는 ML-TOF 센서(200)와 이미지 렌즈(124) 간의 관계를 그래프픽으로 도시하는 도 3에 도시되어 있다. 도시된 바와 같이, 광학 프레임워크(300)는 이미지 렌즈와 특정 이미지 높이 사이의 주광선 각도, 특정 이미지 높이에 대한 하부 림 광선, 및 특정 이미지 높이에 대한 상부 림 광선 중 하나 이상을 결정하는 데 사용할 수 있다.
블록(1704)에서, 블록(1702)에서 결정된 광학 프레임워크는 ML-TOF 센서 상의 복수의 이미지 높이와 관련된 복수의 입력 광선 번들을 생성하는 데 사용된다. 이러한 예시적인 입력 광선 번들은 도 6 및 도 9에 도시되어 있다. 또한, 위에서 설명된 바와 같이, 예를 들어 ML 높이, ML 시프트, ML 받침대 높이 및/또는 ML 곡률과 같은 다양한 광학 파라미터가 개별 픽셀에서 달성될 수 있는 복수의 상이한 잠재적 체적 광출력 적중률 계산하기 위해 개별 픽셀과 관련하여 전략적으로 변경될 수 있다.
블록(1706)에서, 마이크로 렌즈 높이 및 마이크로 렌즈 시프트가 설계 중인 ML-TOF 센서의 개별 이미지 높이에 대해 선택된다. 보다 구체적으로, 마이크로 렌즈 높이 및 마이크로 렌즈 시프트는 개별 픽셀에서 달성될 수 있는 상이하게 계산된 잠재적 체적 광출력 적중률을 기반으로 선택된다.
일부 실시예에서, 프로세스(1700)는 다수의 이미지 높이에 대해 블록(1706)에서 선택된 다수의 마이크로 렌즈 높이 및 마이크로 렌즈 시프트에 기초하여 다른 마이크로 렌즈 높이 및/또는 다른 마이크로 렌즈 시프트를 결정하는 단계를 포함한다. 예를 들어, 특히 도 12 및 표 2를 참조하면, 10개의 이미지 높이에 대해 결정된 10개의 마이크로 렌즈 높이 및 10개의 마이크로 렌즈 시프트(예를 들어, 표 2에 표로 표시됨)를 사용하여 최적합 라인을 생성할 수 있다.
블록(1708)에서, 다수의 마이크로 렌즈 높이에 기초하여 생성된 최적합 라인은 설계 중인 ML-TOF 센서에 걸친 복수의 다른 마이크로 렌즈 높이를 결정하는 데 사용된다. 최적합 라인은 선형 또는 비선형일 수 있다.
블록(1710)에서, 다수의 마이크로 렌즈 시프트에 기초하여 생성된 최적합 라인은 설계 중인 ML-TOF 센서에 걸친 복수의 다른 마이크로 렌즈 시프트를 결정하는 데 사용된다. 최적합 라인은 선형 또는 비선형일 수 있다.
[예시적인 조항]
본 명세서에 제시된 개시 내용은 다음 조항의 관점에서 고려될 수 있다.
예시적인 조항 A, 3차원 비행 시간 이미지 카메라로서, 변조된 전기 신호를 생성하도록 구성된 신호 발생기; 변조된 전기 신호에 따라 변조된 광을 방출하도록 구성된 발광기; 변조된 광의 적어도 일부를 포함하는 후방 산란 광을 수신하도록 구성된 이미지 렌즈; 변조된 광의 일부에 응답하여 광전 신호를 생성하도록 구성된 복수의 픽셀을 포함하는 픽셀 어레이; 및 복수의 상이한 마이크로 렌즈 높이를 갖는 복수의 마이크로 렌즈를 포함하는 마이크로 렌즈 어레이를 포함하고, 개별 마이크로 렌즈는 이미지 렌즈의 축에 대한 개별 마이크로 렌즈의 이미지 높이에 반비례로 관련되는 개별 마이크로 렌즈 높이로 구성된다.
예시적인 조항 B, 예시적인 조항 A의 3차원 비행 시간 이미지 카메라로서, 마이크로 렌즈 높이는 이미지 렌즈의 축에 대한 개별 마이크로 렌즈의 이미지 높이에 선형적으로 비례한다.
예시적인 조항 C, 예시적인 조항 A 내지 B 중 어느 하나의 3차원 비행 시간 이미지 카메라로서, 마이크로 렌즈 높이는 이미지 렌즈의 축에 대한 개별 마이크로 렌즈의 이미지 높이에 비선형적으로 관련된다.
예시적인 조항 D, 예시적인 조항 A 내지 C 중 어느 하나의 3차원 비행 시간 이미지 카메라로서, 개별 마이크로 렌즈는 또한, 이미지 렌즈의 축에 대한 개별 마이크로 렌즈의 이미지 높이에 직접적으로 관련되는 대응하는 개별 픽셀에 대한 개별 마이크로 렌즈 시프트로 구성된다.
예시적인 조항 E, 예시적인 조항 D의 3차원 비행 시간 이미지 카메라로서, 개별 마이크로 렌즈 시프트는 이미지 렌즈의 축에 대한 개별 마이크로 렌즈의 이미지 높이에 비선형적으로 관련된다.
예시적인 조항 F, 예시적인 조항 D의 3차원 비행 시간 이미지 카메라로서, 개별 마이크로 렌즈 시프트는 이미지 렌즈로부터 개별 마이크로 렌즈로 연장되는 상부 림 광선과 하부 림 광선 사이에 속박되는 개별 입력 광선 번들에 대한 최대 체적 광자 적중률에 대응한다.
예시적인 조항 G, 예시적인 조항 A 내지 F 중 어느 하나의 3차원 비행 시간 이미지 카메라로서, 복수의 마이크로 렌즈는 적어도: 변조된 광의 일부를 이미지 렌즈의 축에 대한 제1 이미지 높이에서 제1 픽셀의 제1 관심 영역으로 지향시키는 제1 마이크로 렌즈 - 제1 마이크로 렌즈는 제1 픽셀에 대한 제1 마이크로 렌즈 시프트 및 제1 마이크로 렌즈 높이를 가짐 - ; 및 변조된 광의 일부를 이미지 렌즈의 축에 대한 제2 이미지 높이에서 제2 픽셀의 제2 관심 영역으로 지향시키는 제2 마이크로 렌즈 - 제2 마이크로 렌즈는 제2 픽셀에 대한 제2 마이크로 렌즈 시프트 및 제2 마이크로 렌즈 높이를 가짐 - 를 포함하고, 제1 마이크로 렌즈 높이는 제2 마이크로 렌즈 높이보다 크고, 제1 마이크로 렌즈 시프트는 제1 이미지 높이가 제2 이미지 높이보다 작은 것에 기초하여 제2 마이크로 렌즈 시프트보다 작다.
예시적인 조항 H, 예시적인 조항 A 내지 G 중 어느 하나의 3차원 비행 시간 이미지 카메라로서, 제어기를 더 포함하고, 제어기는 변조된 광의 일부가 개별 마이크로 렌즈의 이미지 높이에 반비례로 관련되는 복수의 상이한 마이크로 렌즈 높이를 갖는 복수의 마이크로 렌즈를 통해 지향된 결과로서 광전 신호로부터 변조된 전기 신호의 복조에 적어도 부분적으로 기초하여 깊이 데이터를 생성하도록 구성된다.
예시적인 조항 I, 비행 시간 카메라로서, 변조된 전기 신호에 따라 방출되는 변조된 광으로 물리적 객체를 조명하는 발광기; 물리적 객체에 의해 반사되는 후방 산란 광을 투과시키도록 구성된 이미지 렌즈 - 후방 산란 광은 변조된 광의 반사된 부분을 포함함 - ; 및 이미지 렌즈를 통해 투과된 후방 산란 광에 응답하여 광전 신호를 생성하는 마이크로 렌즈 비행 시간(ML-TOF) 센서를 포함하고, ML-TOF 센서는: 광전 신호를 생성하도록 구성된 복수의 픽셀, 및 후방 산란 광을 복수의 픽셀의 관심 영역에 포커싱하도록 구성된 복수의 마이크로 렌즈를 포함하고, 복수의 마이크로 렌즈는 이미지 렌즈의 축에 대한 이미지 높이에 기초하여 변하는 마이크로 렌즈 높이와 마이크로 렌즈 시프트로 구성된다.
예시적인 조항 J, 예시적인 조항 I의 비행 시간 카메라로서, 마이크로 렌즈 높이는 이미지 높이에 반비례로 관련된다.
예시적인 조항 K, 예시적인 조항 I 내지 J 중 어느 하나의 비행 시간 카메라로서, 마이크로 렌즈 시프트는 이미지 높이에 직접적으로 관련된다.
예시적인 조항 L, 예시적인 조항 I 내지 K 중 어느 하나의 비행 시간 카메라로서, 마이크로 렌즈 높이와 마이크로 렌즈 시프트 모두는 이미지 높이에 비선형적으로 관련된다.
예시적인 조항 M, 예시적인 조항 I 내지 L 중 어느 하나의 비행 시간 카메라로서, 마이크로 렌즈 시프트에 대한 개별적인 양은 이미지 렌즈로부터 복수의 마이크로 렌즈 중 개별적인 렌즈로 연장되는 상부 림 광선과 하부 림 광선 사이에 속박되는 개별 입력 광선 번들에 대한 최대 체적 광자 적중률에 대응한다.
예시적인 조항 N, 예시적인 조항 I 내지 M 중 어느 하나의 비행 시간 카메라로서, 복수의 마이크로 렌즈는 또한 이미지 렌즈의 축에 대한 이미지 높이에 기초하여 변하는 구면 곡률 반경으로 구성된다.
예시적인 조항 O, 예시적인 조항 I 내지 N 중 어느 하나의 비행 시간 카메라로서, 광전 신호로부터 변조된 전기 신호의 복조에 적어도 부분적으로 기초하여 깊이 데이터를 생성하도록 구성된 제어기를 더 포함한다.
예시적인 조항 P, 방법으로서, 픽셀 어레이를 형성하는 복수의 픽셀을 갖는 마이크로 렌즈 비행 시간(ML-TOF) 센서와 이미지 렌즈 사이의 광학 프레임워크를 결정하는 단계; 광학 프레임워크에 기초하여, ML-TOF 센서 상의 복수의 이미지 높이와 관련된 복수의 입력 광선 번들을 생성하는 단계 - 개별 입력 광선 번들은 ML-TOF 센서 상의 개별 이미지 높이에 대응하고, 개별 입력 광선 번들은 이미지 렌즈로부터 ML-TOF 센서 상의 개별 이미지 높이까지 연장되는 상부 림 광선과 하부 림 광선 사이에서 제한됨 - ; ML-TOF 센서 상의 개별 이미지 높이에 대해 개별 입력 광선 번들에 대한 체적 광출력 적중률에 기초하여 적어도 마이크로 렌즈 높이 및 마이크로 렌즈 시프트를 선택하는 단계를 포함한다.
예시적인 조항 Q, 예시적인 조항 P의 방법으로서, 특정 이미지 높이에 대해 특정 마이크로 렌즈 시프트를 선택하는 단계는 특정 이미지 높이에서 특정 마이크로 렌즈 높이의 마이크로 렌즈가 달성하는 최대 체적 광자 적중률을 식별하는 단계를 포함한다.
예시적인 조항 R, 예시적인 조항 P 내지 Q 중 어느 하나의 방법으로서, ML-TOF 센서 상의 개별 이미지 높이에 대한 마이크로 렌즈 시프트에 기초하여 최적합 라인을 생성하는 단계; 및 최적합 라인에 기초하여 복수의 다른 이미지 높이에 대한 복수의 다른 마이크로 렌즈 시프트를 결정하는 단계를 더 포함한다.
예시적인 조항 S, 예시적인 조항 P 내지 R 중 어느 하나의 방법으로서, ML-TOF 센서 상의 개별 이미지 높이에 대한 마이크로 렌즈 높이에 기초하여 최적합 라인을 생성하는 단계; 및 최적합 라인에 기초하여 복수의 다른 이미지 높이에 대한 복수의 다른 마이크로 렌즈 높이를 결정하는 단계를 더 포함한다.
예시적인 조항 T, 예시적인 조항 P 내지 T 중 어느 하나의 방법으로서, 마이크로 렌즈 높이와 마이크로 렌즈 시프트 모두는 이미지 높이에 비선형적으로 관련된다.
[결론]
마지막으로, 다양한 기술이 구조적 특징 및/또는 방법론적 행위에 특정한 언어로 설명되었지만, 첨부된 표현에 정의된 주제가 반드시 설명된 특정한 특징 또는 행위로 제한되는 것이 아님을 이해해야 한다. 오히려, 특정한 특징 및 행위는 청구된 주제를 구현하는 예시적인 형태로 개시된다.

Claims (15)

  1. 3차원 비행 시간 이미지 카메라에 있어서,
    변조된 전기 신호를 생성하도록 구성된 신호 발생기;
    상기 변조된 전기 신호에 따라 변조된 광을 방출하도록 구성된 발광기;
    상기 변조된 광의 적어도 일부를 포함하는 후방 산란 광을 수신하도록 구성된 이미지 렌즈;
    상기 변조된 광의 일부에 응답하여 광전 신호를 생성하도록 구성된 복수의 픽셀을 포함하는 픽셀 어레이; 및
    복수의 상이한 마이크로 렌즈 높이를 갖는 복수의 마이크로 렌즈를 포함하는 마이크로 렌즈 어레이 - 개별 마이크로 렌즈는 상기 이미지 렌즈의 축에 대한 상기 개별 마이크로 렌즈의 이미지 높이에 반비례로 관련되는 개별 마이크로 렌즈 높이로 구성됨 -
    를 포함하는, 3차원 비행 시간 이미지 카메라.
  2. 제1항에 있어서,
    상기 마이크로 렌즈 높이는 상기 이미지 렌즈의 축에 대한 상기 개별 마이크로 렌즈의 상기 이미지 높이에 선형적으로 비례하는 것인, 3차원 비행 시간 이미지 카메라.
  3. 제1항에 있어서,
    상기 마이크로 렌즈 높이는 상기 이미지 렌즈의 축에 대한 상기 개별 마이크로 렌즈의 상기 이미지 높이에 비선형적으로 관련되는 것인, 3차원 비행 시간 이미지 카메라.
  4. 제1항에 있어서,
    상기 개별 마이크로 렌즈는 또한, 상기 이미지 렌즈의 축에 대한 상기 개별 마이크로 렌즈의 상기 이미지 높이에 직접적으로 관련되는 대응하는 개별 픽셀에 대한 개별 마이크로 렌즈 시프트로 구성되는 것인, 3차원 비행 시간 이미지 카메라.
  5. 제4항에 있어서,
    상기 개별 마이크로 렌즈 시프트는 상기 이미지 렌즈의 축에 대한 상기 개별 마이크로 렌즈의 상기 이미지 높이에 비선형적으로 관련되는 것인, 3차원 비행 시간 이미지 카메라.
  6. 제4항에 있어서,
    상기 개별 마이크로 렌즈 시프트는 상기 이미지 렌즈로부터 상기 개별 마이크로 렌즈로 연장되는 상부 림 광선과 하부 림 광선 사이에 속박되는 개별 입력 광선 번들에 대한 최대 체적 광자 적중률에 대응하는 것인, 3차원 비행 시간 이미지 카메라.
  7. 비행 시간 카메라에 있어서,
    변조된 전기 신호에 따라 방출되는 변조된 광으로 물리적 객체를 조명하는 발광기;
    상기 물리적 객체에 의해 반사되는 후방 산란 광을 투과시키도록 구성된 이미지 렌즈 - 상기 후방 산란 광은 상기 변조된 광의 반사된 부분을 포함함 - ; 및
    상기 이미지 렌즈를 통해 투과된 상기 후방 산란 광에 응답하여 광전 신호를 생성하는 마이크로 렌즈 비행 시간(ML-TOF) 센서
    를 포함하고,
    상기 ML-TOF 센서는,
    상기 광전 신호를 생성하도록 구성된 복수의 픽셀; 및
    상기 후방 산란 광을 상기 복수의 픽셀의 관심 영역에 포커싱하도록 구성된 복수의 마이크로 렌즈 - 상기 복수의 마이크로 렌즈는 상기 이미지 렌즈의 축에 대한 이미지 높이에 기초하여 변하는 마이크로 렌즈 높이 및 마이크로 렌즈 시프트로 구성됨 -
    를 포함하는 것인, 비행 시간 카메라.
  8. 제7항에 있어서,
    상기 마이크로 렌즈 높이는 상기 이미지 높이에 반비례로 관련되는 것인, 비행 시간 카메라.
  9. 제8항에 있어서,
    상기 마이크로 렌즈 시프트는 상기 이미지 높이에 직접적으로 관련되는 것인, 비행 시간 카메라.
  10. 제9항에 있어서,
    상기 마이크로 렌즈 높이 및 상기 마이크로 렌즈 시프트 모두는 상기 이미지 높이에 비선형적으로 관련되는 것인, 비행 시간 카메라.
  11. 제7항에 있어서,
    상기 마이크로 렌즈 시프트에 대한 개별적인 양은 상기 이미지 렌즈로부터 상기 복수의 마이크로 렌즈 중 개별적인 렌즈로 연장되는 상부 림 광선과 하부 림 광선 사이에 속박되는 개별 입력 광선 번들에 대한 최대 체적 광자 적중률에 대응하는 것인, 비행 시간 카메라.
  12. 제7항에 있어서,
    상기 복수의 마이크로 렌즈는 또한, 상기 이미지 렌즈의 축에 대한 이미지 높이에 기초하여 변하는 구면 곡률 반경으로 구성되는 것인, 비행 시간 카메라.
  13. 제7항에 있어서,
    상기 광전 신호로부터 상기 변조된 전기 신호의 복조에 적어도 부분적으로 기초하여 깊이 데이터를 생성하도록 구성된 제어기
    를 더 포함하는, 비행 시간 카메라.
  14. 방법에 있어서,
    픽셀 어레이를 형성하는 복수의 픽셀을 갖는 마이크로 렌즈 비행 시간(ML-TOF) 센서와 이미지 렌즈 사이의 광학 프레임워크를 결정하는 단계;
    상기 광학 프레임워크에 기초하여, 상기 ML-TOF 센서 상의 복수의 이미지 높이와 관련된 복수의 입력 광선 번들을 생성하는 단계 - 개별 입력 광선 번들은 상기 ML-TOF 센서 상의 개별 이미지 높이에 대응하고, 개별 입력 광선 번들은 상기 이미지 렌즈로부터 상기 ML-TOF 센서 상의 상기 개별 이미지 높이까지 연장되는 상부 림 광선과 하부 림 광선 사이에서 제한됨 - ;
    상기 ML-TOF 센서 상의 상기 개별 이미지 높이에 대해 상기 개별 입력 광선 번들에 대한 체적 광출력 적중률에 기초하여 적어도 마이크로 렌즈 높이 및 마이크로 렌즈 시프트를 선택하는 단계
    를 포함하는, 방법.
  15. 제14항에 있어서,
    특정 이미지 높이에 대해 특정 마이크로 렌즈 시프트를 선택하는 단계는 상기 특정 이미지 높이에서 특정 마이크로 렌즈 높이의 마이크로 렌즈가 달성하는 최대 체적 광자 적중률을 식별하는 단계를 포함하는 것인, 방법.
KR1020227017504A 2019-12-18 2020-11-11 이미지 높이에 기초하여 변하는 마이크로 렌즈 높이를 갖는 마이크로 렌즈 비행 시간 센서 KR20220114535A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/719,968 US11079515B2 (en) 2019-12-18 2019-12-18 Micro lens time-of-flight sensor having micro lens heights that vary based on image height
US16/719,968 2019-12-18
PCT/US2020/059917 WO2021126418A1 (en) 2019-12-18 2020-11-11 Micro lens time-of-flight sensor having micro lens heights that vary based on image height

Publications (1)

Publication Number Publication Date
KR20220114535A true KR20220114535A (ko) 2022-08-17

Family

ID=73726878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227017504A KR20220114535A (ko) 2019-12-18 2020-11-11 이미지 높이에 기초하여 변하는 마이크로 렌즈 높이를 갖는 마이크로 렌즈 비행 시간 센서

Country Status (4)

Country Link
US (2) US11079515B2 (ko)
EP (1) EP4078220B1 (ko)
KR (1) KR20220114535A (ko)
WO (1) WO2021126418A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690032B2 (ja) 1987-08-06 1994-11-14 日本電気株式会社 距離画像取得装置
US5581345A (en) 1990-12-03 1996-12-03 Nikon Corporation Confocal laser scanning mode interference contrast microscope, and method of measuring minute step height and apparatus with said microscope
US5579107A (en) 1995-05-25 1996-11-26 Horiba Instruments, Inc. Method and apparatus for dry particle analysis
JP3748616B2 (ja) 1996-04-02 2006-02-22 浜松ホトニクス株式会社 光波距離計
ATE254758T1 (de) 1996-09-05 2003-12-15 Rudolf Schwarte Verfahren und vorrichtung zur bestimmung der phasen- und/oder amplitudeninformation einer elektromagnetischen welle
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6376868B1 (en) 1999-06-15 2002-04-23 Micron Technology, Inc. Multi-layered gate for a CMOS imager
US7352454B2 (en) 2000-11-09 2008-04-01 Canesta, Inc. Methods and devices for improved charge management for three-dimensional and color sensing
US6515740B2 (en) 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6580496B2 (en) 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6906793B2 (en) 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
US6697010B1 (en) 2002-04-23 2004-02-24 Lockheed Martin Corporation System and method for moving target detection
JP4715216B2 (ja) 2005-02-07 2011-07-06 パナソニック電工株式会社 測距装置
EP1703741A1 (en) 2005-03-17 2006-09-20 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. 3-d imaging system
US20070127009A1 (en) 2005-12-07 2007-06-07 Su-Ling Chen Multi-modulation frequency laser range finder and method for the same
WO2008005516A2 (en) 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
JP2008076064A (ja) 2006-09-19 2008-04-03 Olympus Corp 光学式エンコーダの信号処理回路
JP5098331B2 (ja) 2006-12-28 2012-12-12 株式会社豊田中央研究所 計測装置
US7589316B2 (en) 2007-01-18 2009-09-15 Ethicon Endo-Surgery, Inc. Scanning beam imaging with adjustable detector sensitivity or gain
JP5190866B2 (ja) 2007-09-04 2013-04-24 富士フイルム株式会社 測距方法および装置
US7821619B2 (en) 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
EP2157401A1 (en) 2008-08-18 2010-02-24 Holding Prodim Systems B.V. Apparatus and method for measuring spatial co-ordinates
US8953149B2 (en) 2009-02-17 2015-02-10 Microsoft Corporation CMOS three-dimensional image sensor detectors having reduced inter-gate capacitance, and enhanced modulation contrast
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
JP2012043939A (ja) 2010-08-18 2012-03-01 Sony Corp 撮像素子および撮像装置
JP2012155010A (ja) * 2011-01-24 2012-08-16 Keyence Corp 顕微鏡システム、表面状態観察方法および表面状態観察プログラム
US9580496B2 (en) 2011-05-06 2017-02-28 Nexvet Australia Pty Ltd Therapeutic canine immunoglobulins and methods of using same
KR101696335B1 (ko) 2012-01-10 2017-01-13 소프트키네틱 센서스 엔브이 다중 스펙트럼 센서
US9741755B2 (en) 2014-12-22 2017-08-22 Google Inc. Physical layout and structure of RGBZ pixel cell unit for RGBZ image sensor
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
US10425628B2 (en) 2017-02-01 2019-09-24 Microsoft Technology Licensing, Llc Alternating frequency captures for time of flight depth sensing
US10645367B2 (en) 2017-04-20 2020-05-05 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US10607352B2 (en) 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor

Also Published As

Publication number Publication date
US11630245B2 (en) 2023-04-18
US20210190996A1 (en) 2021-06-24
US11079515B2 (en) 2021-08-03
EP4078220A1 (en) 2022-10-26
WO2021126418A1 (en) 2021-06-24
US20210356628A1 (en) 2021-11-18
EP4078220B1 (en) 2024-11-06

Similar Documents

Publication Publication Date Title
US9377540B2 (en) Radiation detection apparatus
CN102439979B (zh) 数字成像系统，全光光学设备及图像数据处理方法
US11156727B2 (en) High DQE imaging device
US8469549B2 (en) Beam shaper
TW201907140A (zh) 具有亮度增強之光學成像傳輸器
JP2022066564A (ja) 複数のｆ値レンズのための方法およびシステム
CN105991978B (zh) 具有深度检测像素的图像传感器和产生深度数据的方法
CN101842908A (zh) 透射检测器、包含相同透射检测器的系统和相关方法
CN110275606B (zh) 感测元件
TWI588981B (zh) 影像感測器
US12092836B2 (en) Optical element and optical system
KR20220114535A (ko) 이미지 높이에 기초하여 변하는 마이크로 렌즈 높이를 갖는 마이크로 렌즈 비행 시간 센서
US9423510B2 (en) Scintillation detector for improved PET performance
US9853082B2 (en) Color filter array and micro-lens structure for imaging system
JP6122903B2 (ja) 放射線検出装置
CN111261649B (zh) 一种图像探测器
JP2023548057A (ja) イメージセンシング用のカラールータ
KR20230025886A (ko) 서로 다른 형상 유닛에 기반한 마이크로 스펙트럼 칩 및 그 마이크로 나노 구조 어레이의 생성 방법
US20220350156A1 (en) Projector for Illuminating at Least One Object
JP5412892B2 (ja) レンズ形状の設計方法、レンズの形成方法、撮像素子、およびフォトマスクの設計方法
Damian et al. Performance of the EUSO-Balloon optics
Takizawa et al. Mini–EUSO optics design and tests
JP4000376B2 (ja) 物体位置検出装置、物体追尾装置および情報提供装置
JP2009295967A (ja) 固体撮像素子
CN106154563B (zh) 衍射光学元件及计测装置